QQ登录

只需一步,快速开始

登录 | 立即注册 | 找回密码

主题

帖子

荣誉

新鱼友

Rank: 1

积分
35
查看: 19881|回复: 925

[作品展示] Python爬取妹子图(不仅仅只有封面哦),附完整代码和思路

  [复制链接]
最佳答案
0 
累计签到:9 天
连续签到:1 天
urbanforest 发表于 2016-9-25 10:33:09 19881925 | 显示全部楼层 |阅读模式

马上注册加入鱼C,享用更多服务吧^_^

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
本帖最后由 urbanforest 于 2016-9-25 10:36 编辑

思路:1、get_totalpages(url)  通过【性。感。美。女。图】获得该版块的总页数 【首页1234567891011下一页末页211034
2、get_sercoverurl(pageurl) 版块每一页有50个系列的封面,获得每个封面的地址。
3、 进入该封面(即系列),获得该系列图片的总张数【[url=]共79页:[/url]上一页12345678910111213下一页
4、get_serurl(sercoverurl) 获得每一个图片所在页面的地址
5、urllib.request.urlretrieve(picurl, filename) 获得图片的下载地址。


跟着小甲鱼老师学了这么久,感触最深的就是要【理清编程思路,琢磨程序进度,最好通过路线图推演出来】
这个例子中,我根据网站结构,总结了 版块 -< 系列 -- 系列封面 -< 图片页面 -- 图片下载地址 的编排规律,
其中" -< " 表示 1对多,即1个版块有多个系列, 1个系列封面有多个图片;
    " -- " 表示 1对1, 如1个系列只有1个封面, 1个图片页面只有1个图片下载地址
搞清楚这些就明白哪些地方需要循环了。
废话太多,直接上代码吧!
游客,如果您要查看本帖隐藏内容请回复


无标题.jpg

评分

参与人数 4荣誉 +9 鱼币 +14 贡献 +2 收起 理由
Amano + 5 + 5 + 2 支持楼主!
杨伟朋 + 5 我要尽快学会这个技能!
小树 + 3 + 3 感谢楼主无私奉献!
人zai旅途 + 1 + 1 感谢楼主无私奉献!

查看全部评分

本帖被以下淘专辑推荐:

楼层
跳转到指定楼层
最佳答案
0 
累计签到:657 天
连续签到:1 天
lflittlegrass 发表于 2016-9-25 13:36:24 | 显示全部楼层
非常感谢楼主的思路,仔细研究一下!
最佳答案
0 
累计签到:1 天
连续签到:1 天
sarie 发表于 2016-9-25 13:56:33 | 显示全部楼层
嗯,研究一下
最佳答案
0 
累计签到:14 天
连续签到:1 天
jjj991524178 发表于 2016-9-25 16:09:23 | 显示全部楼层
我真的只是只是学习的
最佳答案
0 

尚未签到

aust123321 发表于 2016-9-25 21:26:57 | 显示全部楼层

我真的只是只是学习的
最佳答案
0 
累计签到:859 天
连续签到:1 天
旁门左道ゝ 发表于 2016-9-25 22:54:26 | 显示全部楼层
仔细研究一下!
最佳答案
0 
累计签到:14 天
连续签到:1 天
panqiang 发表于 2016-9-26 11:42:26 | 显示全部楼层
哇塞
最佳答案
0 

尚未签到

superlxw 发表于 2016-9-26 13:52:16 | 显示全部楼层
感谢分享
最佳答案
0 

尚未签到

Jannion 发表于 2016-9-26 14:26:38 | 显示全部楼层
学习一下,感谢楼主
最佳答案
1 
累计签到:160 天
连续签到:1 天
人zai旅途 发表于 2016-9-26 16:57:26 | 显示全部楼层
我是来学习Python到底能看什么事情的
最佳答案
1 
累计签到:160 天
连续签到:1 天
人zai旅途 发表于 2016-9-26 17:01:51 | 显示全部楼层
楼主,您好,请问还需要安装什么第三方库吗?
最佳答案
0 
累计签到:9 天
连续签到:1 天
urbanforest  楼主| 发表于 2016-9-26 21:31:51 | 显示全部楼层
人zai旅途 发表于 2016-9-26 17:01
楼主,您好,请问还需要安装什么第三方库吗?

我这个代码不需要其他三方库
最佳答案
1 
累计签到:160 天
连续签到:1 天
人zai旅途 发表于 2016-9-26 22:20:07 | 显示全部楼层
urbanforest 发表于 2016-9-26 21:31
我这个代码不需要其他三方库

谢谢楼主,怎么知道,程序是否执行完毕?
最佳答案
0 
累计签到:6 天
连续签到:1 天
Augustine 发表于 2016-9-26 22:44:20 | 显示全部楼层
这个要好好看下
最佳答案
0 
累计签到:7 天
连续签到:1 天
hao1234569 发表于 2016-9-26 22:52:28 | 显示全部楼层
谢谢分享
最佳答案
0 
累计签到:51 天
连续签到:1 天
紫夜.py 发表于 2016-9-26 22:55:13 | 显示全部楼层
感谢分享,学习下爬虫
最佳答案
0 
累计签到:3 天
连续签到:1 天
寒鸦遁影 发表于 2016-9-26 23:58:29 | 显示全部楼层
thanks
最佳答案
0 
累计签到:1205 天
连续签到:73 天
只爱陌生猴 发表于 2016-9-27 00:17:45 | 显示全部楼层
给力,赞一个~~~
最佳答案
0 
累计签到:187 天
连续签到:1 天
1558182394 发表于 2016-9-27 08:55:26 | 显示全部楼层
最佳答案
0 
累计签到:10 天
连续签到:1 天
kobuty 发表于 2016-9-27 10:33:36 | 显示全部楼层
就服你一个

发表回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

小甲鱼强烈推荐 上一条 /1 下一条

    移动客户端下载(未启用)
    微信公众号

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备11014136号

Copyright 2018 鱼C论坛 版权所有 All Rights Reserved.

Powered by Discuz! X3.3 Copyright
© 2001-2018 Comsenz Inc.    All Rights Reserved.

小黑屋|手机版|Archiver|鱼C工作室 ( 粤公网安备 44051102000370号 | 粤ICP备11014136号

GMT+8, 2018-6-20 00:39

快速回复 返回顶部 返回列表