鱼C论坛

 找回密码
 立即注册
查看: 5859|回复: 49

[技术交流] 27 淘宝商品图片爬虫实战2

[复制链接]
发表于 2017-6-25 09:53:12 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 和vvv 于 2017-6-26 19:40 编辑
27 淘宝商品图片爬虫实战2

在上一笔记中,已经解决了对不同商品的搜索,以及爬取1页的图片并保存到本地。本文主要是实现翻页爬取功能,以及整个项目的完整实现。

一、实现翻页功能

打开商品图书搜索结果首页(https://s.taobao.com/search?q=%E5%9B%BE%E4%B9%A6),点击下一页。观察地址栏url:
  1. https://s.taobao.com/search?q=%E5%9B%BE%E4%B9%A6&bcoffset=4&ntoffset=4&p4ppushleft=1%2C48&s=44
复制代码
精简之后:
  1. https://s.taobao.com/search?q=%E5%9B%BE%E4%B9%A6&s=44
复制代码
再点击第3页:
  1. https://s.taobao.com/search?q=%E5%9B%BE%E4%B9%A6&bcoffset=0&ntoffset=0&s=88
复制代码
精简之后:
  1. https://s.taobao.com/search?q=%E5%9B%BE%E4%B9%A6&s=88
复制代码
于是,我们就很容易的总结出规律:
  1. https://s.taobao.com/search?q=关键词&s=(页数-1)*44
复制代码
因此,我们可以构造出每页的url:
  1. for i in range(1,page):
  2.     url = "https://s.taobao.com/search?q="+key+"&s="+str((i-1)*44)
复制代码
到这个地方,翻页功能就实现了。

二、项目的完整实现

总结一下思路:首先从单页面着手,爬取图片并下载到本地。然后实现不同商品的搜索,接下来实现翻页功能。最后是把整个项目整合起来,形成一个比较完整的程序。

完整代码:
游客,如果您要查看本帖隐藏内容请回复
结果:
无标题.png


本项目还有许多值得优化的地方,希望大家多多思考、交流。

如果大家觉得还可以的话,可以到我的淘专辑(http://bbs.fishc.com/forum.php?mod=collection&action=view&ctid=742&fromop=my)看看更多相关的笔记。

评分

参与人数 3鱼币 +17 收起 理由
幽梦三影 + 5
小甲鱼 + 6 支持楼主!
不二如是 + 6 爬的不错

查看全部评分

本帖被以下淘专辑推荐:

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-6-25 18:44:04 | 显示全部楼层
很精彩,值得一看,多谢分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-7-13 15:03:47 | 显示全部楼层
6666
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-9-4 11:09:24 | 显示全部楼层
学习了哈哈哈
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-9-4 11:18:22 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-9-6 17:00:38 | 显示全部楼层
原创代码,必须支持一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-9-11 20:55:10 | 显示全部楼层
很棒
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-9-12 00:26:20 | 显示全部楼层
卡一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-9-12 08:44:23 | 显示全部楼层
kk
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-9-12 18:50:16 | 显示全部楼层
6666666666666
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-9-20 13:37:52 | 显示全部楼层
学习学习。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-9-27 11:01:46 | 显示全部楼层
感谢老铁
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-10-13 16:41:24 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-10-20 13:34:39 | 显示全部楼层
66
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-10-25 11:21:18 From FishC Mobile | 显示全部楼层
学习一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-10-25 11:28:01 | 显示全部楼层
感谢分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-11-10 13:11:20 | 显示全部楼层
666
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-11-27 23:05:26 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-11-27 23:18:54 | 显示全部楼层
不错不错
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-11-29 16:33:38 | 显示全部楼层
回复,哈哈!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-3-29 14:23

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表