TGFC Lifestyle - Powered by Discuz! Board

标题: [其他] 咨询一下怎么批量保存网页为TXT格式 [打印本页]

作者: 老五 时间: 2013-5-5 12:00 标题: 咨询一下怎么批量保存网页为TXT格式

RT
有的TXT只有在线看没有打包下载的一个个的复制粘贴累死了
比如这个http://www.shuku.net/novels/zhentan/dygwzpj/dygwzpj.html 东野圭吾作品集别处打包没有比它全的
努力了2天已经完成一半了
每天重复这样的运动：开网页建立新文本复制粘贴删去无用文字下一章继续.....

作者: 黑暗骑士巫妖王 时间: 2013-5-5 14:46

posted by wap, platform: Android

反正无聊，等下我做个Python脚本玩玩帮你抓试试看

作者: tumuyan 时间: 2013-5-5 18:07

posted by wap, platform: Chrome

你需要一个整站下载器,批量下载html文件
然后再用工具批量转html为txt
最后用工具批量使用文本首行重命名文件

txt工具我推荐老马的作品好像叫textforever来着

作者: tumuyan 时间: 2013-5-5 18:12

posted by wap, platform: Chrome

我看了一下那页面,似乎你还得用工具,替换掉文本内单个的换行
这一步需要使用正则批量替换文件,textforever仍然可以做到

作者: 黑暗骑士巫妖王 时间: 2013-5-5 21:24

posted by wap, platform: Android

抓完了，这鸟站居然访问太多会封IP，测试的时候访问太多了，后来开了代理才解决，程序加注释空格之类的一共也就30来行而已。

总共20M大，743个文件，按照：书名_章节.txt 来命名的，压缩成rar有4.xM大，上传到百度网盘去了，自己下吧，地址PM给你

作者: 猫猫的小叔叔 时间: 2013-5-6 07:04

posted by wap, platform: GALAXY S III

什么书，贱兔脸红。。。

作者: lvcha 时间: 2013-5-6 08:18

posted by wap, platform: GALAXY NOTE II

楼上上好人

作者: 刘泪 时间: 2013-5-6 08:33

引用:

原帖由 黑暗骑士巫妖王 于 2013-5-5 21:24 发表
posted by wap, platform: Android

抓完了，这鸟站居然访问太多会封IP，测试的时候访问太多了，后来开了代理才解决，程序加注释空格之类的一共也就30来行而已。

总共20M大，743个文件，按照：书名_章节.txt 来命 ...

访问太频繁的原因吧……为了防止采集。
采慢点就行了。

作者: 黑暗骑士巫妖王 时间: 2013-5-6 09:08

posted by wap, platform: Nexus 7

引用:

原帖由 @刘泪于 2013-5-6 08:33 发表
访问太频繁的原因吧……为了防止采集。
采慢点就行了。

这个站比较恶心，开始用国内的IP采集就经常连不上，改成IE、Firefox之类的agent也不行，换国外的IP怎么采都顺畅死了

作者: 老五 时间: 2013-5-6 09:15

下好了非常感谢诸位神人
表情没了

欢迎光临 TGFC Lifestyle (http://bbs.tgfcer.com/)