鱼C论坛

 找回密码
 立即注册
查看: 8419|回复: 61

[作品展示] 一个有界面的【图片下载器】通用爬虫来一发

[复制链接]
发表于 2017-5-10 00:10:26 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 gopythoner 于 2018-1-23 18:07 编辑

这个是升级版:http://bbs.fishc.com/thread-93685-1-1.html

链接:http://pan.baidu.com/s/1kV0sX8r 密码:wrba上周末开始接触pyQT5
第一次接触这个UI界面工具,没想到居然一上手就可以写出程序,瞬间就爱上了她!
其实周六的时候就已经用pyqt5写出了第一个爬虫程序,是把自己之前写过的爬虫UI化了,感觉很爽
由于我在使用UI的时候需要用到图标,就需要去网上下载,最近一直是在千图网下载图标
但是我发现一个问题,不仅仅是这个网站的,其他的图标网站也是,居然都是需要一张一张的下载,没有能够批量下载的
这个让我有点烦了,于是……
……………………

你懂滴,我写了个爬虫,来爬图标了
……………………………………
但是问题又来了,既然都写了爬图片的爬虫,那干嘛只针对一个网站呢?
先看图片下载 的效果
1.png
2.png
………………………………………………………………
于是,我把它写成了可以在一类网站中通用的爬虫,目前试了几个网站,全部OK,其他没有试,有兴趣的可以自己去试试
暂时测试的包括http://www.58pic.com/shiliangtu/17843743.html千图网
http://sc.chinaz.com/tubiao/170508445780.htm站长素材
http://jandan.net/ooxx/page-44#comments你们最爱的煎蛋网;http://www.mmjpg.com/妹子图网
(据我所知,其实大部分的图片类网站都是可以用的,不信你们自己去试)

好了,废话不多说,直接看成果吧

先看几个界面,是我爬图片的截图,下面这个是爬http://sc.chinaz.com/tubiao/170508445780.htm站长素材的截图
ico.png
下面是妹子图网的http://www.mmjpg.com/
mm.png
然后是煎蛋网的
煎蛋.png

用法:其实从我的截图界面就很容易看出这个爬虫通用程序的原理
第一步:输入你要爬的网址,这个不用多数,很容易得到的,注意每行放一个
第二步:输入提取图片的正则表达式(每个网址不一样,这个要自己去改)
第三步:因为有的图片链接提取出来的只有一部分,很多都需要加前缀,比如加上“http:”或者某个网页的主页地址,等等,所有我设置了前后都可以增加字段的,用来构建图片链接(如果用正则直接提取的就是图片链接,那这2个可以空着不填)
第四步:选择图片类型,这个就看你提取的图片类型了,看着选就行,这个决定了保存图片的类型
第五步:你可以填一个文件名称,来放图片,不解释

PS:程序里面填写了默认的一些参数,这些参数是用来爬千图网的图标的,比如千图网随便输入几个链接http://ico.58pic.com/pack/3303.html
所以如果要爬其他网站需要把必要的信息改一下


以上步骤填写好了,就可以按开始了

看看进度条,很清晰的展示了下载的进度有木有!!!
还有个状态栏,可以显示目前程序进行的状态!!!!!!

看图种注释的解释
解释.png

其实这个程序听简单的,爬虫的部分也非常简单
刚刚接触pyqt5,权当作练手的东西吧
其实我目前研究的是QSS,就是用来美化界面的,到时候研究好了可能把这个界面美化一下再发一次

话不多说,程序送出,看附件(我已经打包成EXE可以执行文件,64位windows可以直接运行)

这个程序有个升级版,可以保存配置和读取配置,更加方便https://github.com/Hopetree/MyTools/tree/master/PICdown





评分

参与人数 2荣誉 +6 鱼币 +6 贡献 +3 收起 理由
purplenight + 1 + 1 支持楼主!
jia3168 + 5 + 5 + 3

查看全部评分

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-5-10 08:11:56 From FishC Mobile | 显示全部楼层
不错,不过目前这个界面看上去和用tkinter做的差不多,几乎看不出区别。除非等你用了QSS做美化以后。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2017-5-10 09:16:53 | 显示全部楼层
jerryxjr1220 发表于 2017-5-10 08:11
不错,不过目前这个界面看上去和用tkinter做的差不多,几乎看不出区别。除非等你用了QSS做美化以后。

是的,基础模块方面差别不大,这算是很普通的win风格了,但是这个界面的形成过程比较简单啊,起码我不需要自己去手写代码,直接用设计工具设计好然后转成代码就行了
后期自己加上信号和槽函数就行了
界面优化这一块倒是能改改背景字体边框和鼠标接触等等,但是有些地方还是不清楚,这个还在摸索
昨天发现了一个比较人性化的就是,多行文本居然是可以添加富文本的的,也就是说除了图片之后还可以使用HTML网页标签形式的文本,这个就厉害了,可以通过这个改变一些文字的样式
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-5-10 10:37:14 From FishC Mobile | 显示全部楼层
gopythoner 发表于 2017-5-10 09:16
是的,基础模块方面差别不大,这算是很普通的win风格了,但是这个界面的形成过程比较简单啊,起码我不需 ...

aauto连程序界面都可以直接用html的格式编写
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-5-10 12:44:42 | 显示全部楼层
厉害
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-5-10 14:03:58 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-5-10 14:14:34 | 显示全部楼层
我想试试
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-5-10 16:05:14 | 显示全部楼层
6666666666666666
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-5-10 20:36:16 | 显示全部楼层
向大神致敬!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-5-10 22:53:53 | 显示全部楼层
厉害 都写出UI了
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-5-11 21:16:46 | 显示全部楼层
厉害厉害
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-5-11 21:28:25 | 显示全部楼层
图片不错~
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-5-12 06:34:24 | 显示全部楼层
不错,来一发
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-5-12 09:36:02 | 显示全部楼层
试试通用到什么程度
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-5-12 23:05:35 | 显示全部楼层
这个不错~~~~~~
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-5-13 15:24:20 | 显示全部楼层
1
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-5-13 22:05:24 | 显示全部楼层
666
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-5-14 16:11:54 | 显示全部楼层
棒棒哒
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-5-15 14:47:43 | 显示全部楼层
.........
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-5-15 15:36:07 | 显示全部楼层
除非等你用了QSS做美化以后。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-3-29 04:56

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表