TGFC Lifestyle - Powered by Discuz! Board

标题: 基于机器学习的老司机车牌自动推荐系统(新增win10 安装系统视频) [打印本页]

作者: somesun 时间: 2019-8-20 22:12 标题: 基于机器学习的老司机车牌自动推荐系统(新增win10 安装系统视频)

posted by wap, platform: iPad
https://github.com/gxtrobot/bustag

明天刚好40岁了, 作为一个老司机, 特开发此项目庆祝一下

司机不老内牛满面

Bustag 是一个基于 python 异步爬虫框架开发aspider的自动车牌推荐系统, 系统原理为定时爬取最新车牌信息, 然后可以对车牌进行打标(标示是否喜欢), 打标车牌到一定数量可以进行训练并生成模型, 以后就可以基于此模型自动对下载的车牌进行预测是否喜欢, 可以过滤掉大量不喜欢的车牌, 节约时间)

新录了个视频, 演示了如何使用docker运行项目

(linux/mac) https://pan.baidu.com/s/13a_7pE-uK0Jt7w2anVJV9A 提取码: za4m
(win10) https://pan.baidu.com/s/1dtUFvMvrYlw5plctaky46w 提取码: yd2y

系统功能
自动抓取最新车牌信息, 抓取频率可以自定义
车牌打标功能
模型训练, 基于当前所有打标数据训练模型
有了模型后, 自动预测判断是否喜欢
Docker 镜像一键运行, 省去新手配置项目的麻烦
项目访问地址: localhost:8080

其他具体信息请看上面的github页面

会玩docker的可以轻松运行项目
回头有空我可以搞个小视频, 说下怎么运行项目

有问题可以回复帖子, 说在github 发issue

本帖最后由 somesun 于 2019-8-28 22:03 通过手机版编辑

作者: jlfny 时间: 2019-8-20 22:23

基础数据要积累起来才比较好用，但是用的人多了安全会不会是问题

作者: somesun 时间: 2019-8-20 22:31

posted by wap, platform: iPad

引用:

原帖由 @jlfny 于 2019-8-20 22:23 发表
基础数据要积累起来才比较好用，但是用的人多了安全会不会是问题

数据都是下载本地的, 有啥安不安全问题

作者: sfczhw 时间: 2019-8-20 22:38

撸不动了！！！

作者: CK355 时间: 2019-8-20 23:00

posted by wap, platform: iPhone
看看……

作者: linkzero 时间: 2019-8-21 00:07

posted by wap, platform: Android
mark

作者: riva128 时间: 2019-8-21 00:36

后续有打算利用封面还有截图去做特征工程吗

作者: hwj10ten 时间: 2019-8-21 00:37

posted by edfc, platform: iPhone Xr
mark

作者: zsj1zsj 时间: 2019-8-21 00:52

Posted by: Xiaomi MI 8
mark

作者: matao 时间: 2019-8-21 08:13

posted by edfc, platform: iPhone 8 Plus
之前一直想自己写，但是每次下班在电脑前都懒得动

作者: 小冻子 时间: 2019-8-21 08:39

墙马，新买的qnap有用处了

作者: somesun 时间: 2019-8-21 09:37

posted by wap, platform: iPhone

引用:

原帖由 @riva128 于 2019-8-21 00:36 发表
后续有打算利用封面还有截图去做特征工程吗

暂时没这打算

不过后面可能会把标题作为特征数据加入

总的来说还是基于标签，文本的分析

作者: fenrile 时间: 2019-8-21 09:40

Posted by Samsung SM-N9600
技术的马克思

作者: 香蕉一号 时间: 2019-8-21 11:16

posted by wap, platform: Android
升级版？

作者: lvcha 时间: 2019-8-21 15:26

：0
好厉害。

作者: somesun 时间: 2019-8-21 17:28

posted by wap, platform: iPad
有运行成功的说一声, 尤其windows的

我没有win的开发机器, 还没试过

作者: fakecnc 时间: 2019-8-21 17:31

营养快线快干了……
依然mark

作者: Tchaikovsky 时间: 2019-8-21 21:10

markit 技术贴

作者: Simy 时间: 2019-8-21 23:23

posted by edfc, platform: iPhone SE
群晖的docker可以装哇

作者: somesun 时间: 2019-8-21 23:25

posted by wap, platform: iPad

引用:

原帖由 @Simy 于 2019-8-21 23:23 发表
posted by edfc, platform: iPhone SE
群晖的docker可以装哇

按理docker都可以

我么用过群晖, 如果你是通过命令行, 那应该可以的

可以看下我的视频, 试下看看

作者: pejaming 时间: 2019-8-22 00:42

posted by edfc, platform: iPhone Xs Max
mark 回头运行

作者: yoku 时间: 2019-8-22 04:22

posted by edfc, platform: iPhone X
搭车求av识别改名整理软件

作者: jimmy831214 时间: 2019-8-22 07:48

posted by wap, platform: Android
mark

作者: Simy 时间: 2019-8-22 11:40

引用:

原帖由 somesun 于 2019-8-21 23:25 发表
posted by wap, platform: iPad
按理docker都可以

我么用过群晖, 如果你是通过命令行, 那应该可以的

可以看下我的视频, 试下看看

对应视频里边你讲到的config.ini，我手动建了放在docker/bustag目录下面应该是没用的，
不知道在docker的bustag设置界面，config的那几项是要在“环境”选项卡里边一一添加吗？“券”下面应该怎么正确设定装载路径呢？

我目前启动一会就停止了

作者: Simy 时间: 2019-8-22 11:41

下载下来有885m这么大？

作者: 雾桑 时间: 2019-8-22 11:54

posted by wap, platform: Chrome

引用:

原帖由 @yoku 于 2019-8-22 04:22 发表
posted by edfc, platform: iPhone X
搭车求av识别改名整理软件

+1。。。

作者: somesun 时间: 2019-8-22 12:12

posted by wap, platform: iPhone

引用:

原帖由 @Simy 于 2019-8-22 11:40 发表
对应视频里边你讲到的config.ini，我手动建了放在docker/bustag目录下面应该是没用的，
不知道在docker的bustag设置界面，config的那几项是要在“环境”选项卡里边一一添加吗？“券”下面应该怎么正确设定装载路径呢？

我目前启动一会就停止了

config放在data目录下，data目录放bustag目录下

启动docker要在bustag目录下，因为要把data目录映射给docker容器

作者: somesun 时间: 2019-8-22 12:13

posted by wap, platform: iPhone

引用:

原帖由 @Simy 于 2019-8-22 11:41 发表
下载下来有885m这么大？

是的，系统软件包不少

作者: 四百肉 时间: 2019-8-22 12:17

posted by wap, platform: iPhone
马克

作者: Simy 时间: 2019-8-22 13:51

在docker下建了bugtag，下面再建data目录，里边放了config.ini，在设置界面装置路径设好了data指向/docker/bugtag/data，在环境也添加了root_path 值 https://www.cdnbus.bid，
一启动就意外停止了

作者: somesun 时间: 2019-8-22 14:04

posted by wap, platform: iPhone

引用:

原帖由 @Simy 于 2019-8-22 13:51 发表
在docker下建了bugtag，下面再建data目录，里边放了config.ini，在设置界面装置路径设好了data指向/docker/bugtag/data，在环境也添加了root_path 值 https://www.cdnbus.bid，
一启动就意外停止了

root_path是放在config.ini里面的

不是环境变量，你就按我github上给的config.ini，复制一个到data目录就好

另外你启动docker必须按我github的命令把data目录映射给docker

本帖最后由 somesun 于 2019-8-22 14:06 通过手机版编辑

作者: Simy 时间: 2019-8-22 14:07

引用:

原帖由 somesun 于 2019-8-22 14:04 发表
posted by wap, platform: iPhone
root_path是放在config.ini里面的

不是环境变量，你就按我github上给的config.ini，复制一个到data目录就好

data下面放了个手动建的config.ini ....5555

作者: somesun 时间: 2019-8-22 14:10

posted by wap, platform: iPhone

引用:

原帖由 @Simy 于 2019-8-22 14:07 发表
data下面放了个手动建的config.ini ....5555

启动成功了吗

另外启动时候要配置映射端口

然后试着访问下

作者: jinwyp 时间: 2019-8-22 16:10

posted by wap, platform: MAC OS X
没啥用, av需要的新奇, 根据历史数据推荐相似的数据没什么用. 要能推荐同一女优的不同风格作品.

作者: Simy 时间: 2019-8-22 16:18

引用:

原帖由 somesun 于 2019-8-22 14:10 发表
posted by wap, platform: iPhone
启动成功了吗

另外启动时候要配置映射端口

然后试着访问下

端口是映射了的，还是启动失败了，暂时放弃了

作者: somesun 时间: 2019-8-22 16:42

posted by wap, platform: Android

引用:

原帖由 @jinwyp 于 2019-8-22 16:10 发表
没啥用, av需要的新奇, 根据历史数据推荐相似的数据没什么用. 要能推荐同一女优的不同风格作品.

这个也是可以学习的，你经常打标某个女优片子，就会推荐她的新片子

作者: somesun 时间: 2019-8-22 17:53

posted by wap, platform: iPad

引用:

原帖由 @Simy 于 2019-8-22 16:18 发表
端口是映射了的，还是启动失败了，暂时放弃了

你能看到什么日志, 错误信息吗, 我可以看看

作者: Simy 时间: 2019-8-22 18:47

引用:

原帖由 somesun 于 2019-8-22 17:53 发表
posted by wap, platform: iPad
你能看到什么日志, 错误信息吗, 我可以看看

你好，我导出了个日志能看的出问题所在吗
https://pan.baidu.com/s/111kVm29xfLzrB10b8S1u8A

作者: somesun 时间: 2019-8-22 19:05

posted by wap, platform: iPad

引用:

原帖由 @Simy 于 2019-8-22 18:47 发表
你好，我导出了个日志能看的出问题所在吗
https://pan.baidu.com/s/111kVm29xfLzrB10b8S1u8A

9-08-22 10:43:01,stdout, os.mkdir(model_path)

2019-08-22 10:43:01,stdout,"  File \"/app/bustag/util.py\", line 47, in check_model_folder
"
2019-08-22 10:43:01,stdout, check_model_folder()

看了下, 是这么回事

系统启动, 应该会检测在data目录下是否有model目录, 没有的话会创建

现在问题是创建model目录失败

现在解决方案,  你可以手动在data目录下, 建一个model目录, 再启动试试看

这可能是权限问题,  我自己试了倒没碰到, 或者你那边系统可以设置权限的, 要把data目录权限都打开, 另外也和你运行docker 的用户权限也有关系

本帖最后由 somesun 于 2019-8-22 19:08 通过手机版编辑

作者: Simy 时间: 2019-8-22 19:22

引用:

原帖由 somesun 于 2019-8-22 19:05 发表
posted by wap, platform: iPad
9-08-22 10:43:01,stdout, os.mkdir(model_path)

2019-08-22 10:43:01,stdout," File \"/app/bustag/util.py\", line 47, in check_model_folder
"
2019-08-22 10:43:01,std ...

好的，我再试试，很多问题都是权限不够造成的。。。

作者: killua888888 时间: 2019-8-22 19:31

引用:

原帖由 somesun 于 2019-8-21 09:37 发表
posted by wap, platform: iPhone
暂时没这打算

不过后面可能会把标题作为特征数据加入

总的来说还是基于标签，文本的分析

标签还是不太准，因为标签本身可能过滤掉一些重要属性。
我觉得结合标题，封面，内部截图，做一次初级过滤，然后自动抓取链接下载到NAS或者云盘。
然后以5分钟或者更短为间隔，截取视频图片，通过图片做分析。长期训练后应该能做到，自适应的筛选出想看的片子。
其实115之类的完全可以自己做，现有价格翻5倍都应该有人买。。。
每次登陆后提示，尊敬的超VIP会员，小5已自动帮你收集你喜欢的233部片子，请查收

[ 本帖最后由 killua888888 于 2019-8-22 19:34 编辑 ]

作者: somesun 时间: 2019-8-22 20:01

posted by wap, platform: iPad

引用:

原帖由 @killua888888 于 2019-8-22 19:31 发表
标签还是不太准，因为标签本身可能过滤掉一些重要属性。
我觉得结合标题，封面，内部截图，做一次初级过滤，然后自动抓取链接下载到NAS或者云盘。
然后以5分钟或者更短为间隔，截取视频图片，通过图片做分析。长期训练后应该能做到，自适应的筛选出想看的片子。
其实115之类的完全可以自己做，现有价格翻5倍都应该有人买。。。
每次登陆后提示，尊敬的超VIP会员，小5已自动帮你收集你喜欢的233部片子，请查收

你说的要能实现那是相当牛逼的技术

话说回来, 115能做这个早发财了, 何必干这个

作者: somesun 时间: 2019-8-25 12:27

posted by wap, platform: iPhone
玩了一个多星期，每天花几分钟看下，打下标

发现打标数据到500后，模型得分大幅升高啊

原来200多条是0.5
现在500条到了0.68

看看到1000条能不能到0.8以上，到0.8就算满意了，完全可以用

省了不少时间，主要javbus现在垃圾片太多了，慢慢翻确实没啥意义

作者: 燕山隐士 时间: 2019-8-25 16:41

posted by wap, platform: Lenovo
有没有win平台的？

作者: somesun 时间: 2019-8-25 18:33

posted by wap, platform: iPad

引用:

原帖由 @燕山隐士于 2019-8-25 16:41 发表
有没有win平台的？

windows 装个docker就可以用啊

作者: 九阴玄女 时间: 2019-8-25 23:58

Posted by ZUK Z2131
技术贴马克

作者: 爬行动物 时间: 2019-8-26 00:57

Posted by: OPPO PAHM00
完全看不懂，喷了

作者: somesun 时间: 2019-8-26 09:24

posted by wap, platform: Chrome

引用:

原帖由 @爬行动物于 2019-8-26 00:57 发表
Posted by: OPPO PAHM00
完全看不懂，喷了

这个系统就是做一个自动下载最新片子数据, 根据你的喜欢推荐片子, 可以节约时间

作者: qinghelove 时间: 2019-8-28 15:16

posted by wap, platform: Android
插个眼

作者: julianx 时间: 2019-8-28 16:45

不能搜索自己以前收藏的番号打标来相关推荐嘛

作者: somesun 时间: 2019-8-28 16:57

posted by wap, platform: iPhone
有运行成功的吗

装了docker应该很容易啊

建议直接机器装docker运行，如果通过其他方式比如群晖之类，可能会有其他问题，新手难搞定

作者: somesun 时间: 2019-8-28 16:59

posted by wap, platform: iPhone

引用:

原帖由 @julianx 于 2019-8-28 16:45 发表
不能搜索自己以前收藏的番号打标来相关推荐嘛

你能不能具体说下需求

我理解是搜索某个番号，然后列出和这个番号类似片子，就像bus现在下面列的一排一样吗

如果是这个，我也想到过，后续可以加上去

作者: julianx 时间: 2019-8-28 17:09

就是搜索以前喜欢的番号，点喜欢来训练模型，感觉会更精准
相关推荐 bus有了就不用了吧

作者: somesun 时间: 2019-8-28 17:29

posted by wap, platform: iPhone

引用:

原帖由 @julianx 于 2019-8-28 17:09 发表
就是搜索以前喜欢的番号，点喜欢来训练模型，感觉会更精准
相关推荐 bus有了就不用了吧

哦，我明白了

但这个要一个非常全的库，目前自动抓取只是取最新的

不过我可以搞一个比较全的库，可以用来搜索自己以前下过的片子

作者: mzds 时间: 2019-8-28 18:34

posted by wap, platform: iPhone
好东西马克下，回头试试

作者: ureksa 时间: 2019-8-28 19:07

posted by wap, platform: Android
真的一滴也没有了

作者: somesun 时间: 2019-8-28 22:04

posted by wap, platform: iPad
没啥win机器, 只好把老得surface3 pro拿出来用下, 录了个视频, 有兴趣的可以看下

视频噪音有点大, 凑合看下

(linux/mac) https://pan.baidu.com/s/13a_7pE-uK0Jt7w2anVJV9A 提取码: za4m
(win10) https://pan.baidu.com/s/1dtUFvMvrYlw5plctaky46w 提取码: yd2y

作者: somesun 时间: 2019-8-30 23:41

posted by wap, platform: iPad
如果大家有问题, 可以回帖子, 说明以下信息, 如果有错误, 懂的话可以提供log

系统版本(win还是mac)

怎么运行的, docker? 还是自己安装, 还是群晖什么的

python版本

作者: whenkidspunk 时间: 2019-9-15 17:16

win10 家庭版装不成docker

作者: whenkidspunk 时间: 2019-9-15 17:17

CWD: D:\Program Files (x86)\bustag_win_0.1.1\bustag
dirname:D:\Program Files (x86)\bustag_win_0.1.1\bustag
Bottle v0.12.17 server starting up (using PasteServer())...
Listening on http://0.0.0.0:8000/
Hit Ctrl-C to quit.

serving on 0.0.0.0:8000 view at http://127.0.0.1:8000
/
127.0.0.1 - - [15/Sep/2019:17:13:27 +0800] "GET / HTTP/1.1" 200 2457 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36"
/tagit
127.0.0.1 - - [15/Sep/2019:17:13:31 +0800] "GET /tagit HTTP/1.1" 200 2509 "http://127.0.0.1:8000/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36"
/tagit
127.0.0.1 - - [15/Sep/2019:17:13:32 +0800] "GET /tagit?like=1 HTTP/1.1" 200 2506 "http://127.0.0.1:8000/tagit" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36"
start download
Job "download (trigger: date[2019-09-15 17:13:35 CST], next run at: 2019-09-15 17:13:35 CST)" raised an exception
Traceback (most recent call last):
File "lib\site-packages\apscheduler\executors\base.py", line 125, in run_job
File "bustag\app\schedule.py", line 18, in download
KeyError: 'download.root_path'

作者: somesun 时间: 2019-9-15 17:25

posted by wap, platform: iPad
楼上还是没有config.ini, 看下主贴

欢迎光临 TGFC Lifestyle (http://bbs.tgfcer.com/)