一个有界面的【图片下载器】通用爬虫来一发
本帖最后由 gopythoner 于 2018-1-23 18:07 编辑这个是升级版：http://bbs.fishc.com/thread-93685-1-1.html
链接：http://pan.baidu.com/s/1kV0sX8r 密码：wrba上周末开始接触pyQT5
第一次接触这个UI界面工具，没想到居然一上手就可以写出程序，瞬间就爱上了她！
其实周六的时候就已经用pyqt5写出了第一个爬虫程序，是把自己之前写过的爬虫UI化了，感觉很爽
由于我在使用UI的时候需要用到图标，就需要去网上下载，最近一直是在千图网下载图标
但是我发现一个问题，不仅仅是这个网站的，其他的图标网站也是，居然都是需要一张一张的下载，没有能够批量下载的
这个让我有点烦了，于是……
……………………
你懂滴，我写了个爬虫，来爬图标了
……………………………………
但是问题又来了，既然都写了爬图片的爬虫，那干嘛只针对一个网站呢？
先看图片下载 的效果
………………………………………………………………
于是，我把它写成了可以在一类网站中通用的爬虫，目前试了几个网站，全部OK，其他没有试，有兴趣的可以自己去试试
暂时测试的包括http://www.58pic.com/shiliangtu/17843743.html千图网
http://sc.chinaz.com/tubiao/170508445780.htm站长素材
http://jandan.net/ooxx/page-44#comments你们最爱的煎蛋网；http://www.mmjpg.com/妹子图网
（据我所知，其实大部分的图片类网站都是可以用的，不信你们自己去试）
好了，废话不多说，直接看成果吧
先看几个界面，是我爬图片的截图，下面这个是爬http://sc.chinaz.com/tubiao/170508445780.htm站长素材的截图
下面是妹子图网的http://www.mmjpg.com/
然后是煎蛋网的
用法：其实从我的截图界面就很容易看出这个爬虫通用程序的原理
第一步：输入你要爬的网址，这个不用多数，很容易得到的，注意每行放一个
第二步：输入提取图片的正则表达式（每个网址不一样，这个要自己去改）
第三步：因为有的图片链接提取出来的只有一部分，很多都需要加前缀，比如加上“http:”或者某个网页的主页地址，等等，所有我设置了前后都可以增加字段的，用来构建图片链接（如果用正则直接提取的就是图片链接，那这2个可以空着不填）
第四步：选择图片类型，这个就看你提取的图片类型了，看着选就行，这个决定了保存图片的类型
第五步：你可以填一个文件名称，来放图片，不解释
PS:程序里面填写了默认的一些参数，这些参数是用来爬千图网的图标的，比如千图网随便输入几个链接http://ico.58pic.com/pack/3303.html
所以如果要爬其他网站需要把必要的信息改一下
以上步骤填写好了，就可以按开始了
看看进度条，很清晰的展示了下载的进度有木有！！！
还有个状态栏，可以显示目前程序进行的状态！！！！！！
看图种注释的解释
其实这个程序听简单的，爬虫的部分也非常简单
刚刚接触pyqt5，权当作练手的东西吧
其实我目前研究的是QSS，就是用来美化界面的，到时候研究好了可能把这个界面美化一下再发一次
话不多说，程序送出，看附件（我已经打包成EXE可以执行文件，64位windows可以直接运行）
这个程序有个升级版，可以保存配置和读取配置，更加方便https://github.com/Hopetree/MyTools/tree/master/PICdown
不错，不过目前这个界面看上去和用tkinter做的差不多，几乎看不出区别。除非等你用了QSS做美化以后。 jerryxjr1220 发表于 2017-5-10 08:11
不错，不过目前这个界面看上去和用tkinter做的差不多，几乎看不出区别。除非等你用了QSS做美化以后。
是的，基础模块方面差别不大，这算是很普通的win风格了，但是这个界面的形成过程比较简单啊，起码我不需要自己去手写代码，直接用设计工具设计好然后转成代码就行了
后期自己加上信号和槽函数就行了
界面优化这一块倒是能改改背景字体边框和鼠标接触等等，但是有些地方还是不清楚，这个还在摸索
昨天发现了一个比较人性化的就是，多行文本居然是可以添加富文本的的，也就是说除了图片之后还可以使用HTML网页标签形式的文本，这个就厉害了，可以通过这个改变一些文字的样式 gopythoner 发表于 2017-5-10 09:16
是的，基础模块方面差别不大，这算是很普通的win风格了，但是这个界面的形成过程比较简单啊，起码我不需 ...
aauto连程序界面都可以直接用html的格式编写 厉害
{:5_91:} 我想试试 6666666666666666 向大神致敬！ 厉害 都写出UI了 {:5_92:} 厉害厉害 图片不错~{:5_91:} 不错，来一发 试试通用到什么程度 这个不错~~~~~~ 1 666 棒棒哒{:5_91:} ......... 除非等你用了QSS做美化以后。