» 您尚未登录:请 登录 | 注册 | 标签 | 帮助 | 小黑屋 |


发新话题
打印

[其他] 咨询一下 怎么批量保存网页为TXT格式

posted by wap, platform: Android

反正无聊,等下我做个Python脚本玩玩帮你抓试试看


TOP

posted by wap, platform: Android

抓完了,这鸟站居然访问太多会封IP,测试的时候访问太多了,后来开了代理才解决,程序加注释空格之类的一共也就30来行而已。

总共20M大,743个文件,按照:书名_章节.txt 来命名的,压缩成rar有4.xM大,上传到百度网盘去了,自己下吧,地址PM给你



TOP

posted by wap, platform: Nexus 7
引用:
原帖由 @刘泪  于 2013-5-6 08:33 发表
访问太频繁的原因吧……为了防止采集。
采慢点就行了。
这个站比较恶心,开始用国内的IP采集就经常连不上,改成IE、Firefox之类的agent也不行,换国外的IP怎么采都顺畅死了


TOP

发新话题
     
官方公众号及微博