【个人原创系列】Scrapy分布式爬取京东商品详情，评论和评论总结

python黑帽 · 发表于 2017-12-11 10:32:22

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由 python黑帽于 2018-3-11 21:44 编辑

JDSpider

目标：分布式爬取京东商品详情，评论和评论总结

Feature

1. 总体框架划分四部分（一总控，三爬虫）灵活分配
2. 爬虫皆为分布式部署，解决带宽和性能瓶颈
3. proxy_pool防止ip封禁
4. 禁用cookie防止浏览器记忆爬虫
5. mysql底层数据存储

Power by:

1. Python 3.6
2. Scrapy 1.4
3. pymysql
4. json
5. redis

Github：
https://github.com/Dengqlbq/JDSpider
欢迎提出意见，改进，欢迎start，fork

Project blog: http://blog.csdn.net/sinat_34200786/article/details/78770356

登录/注册后可看大图

SylarPu · 发表于 2017-12-11 13:21:23

很强。学习一下。

tiangolden · 发表于 2017-12-11 21:52:24

进来学习一下，多谢分享

Luos · 发表于 2017-12-11 22:07:16

666666

来钓鱼 · 发表于 2017-12-11 23:19:04

东墙孤影 · 发表于 2017-12-12 16:30:24

666666

小戴奋斗史 · 发表于 2017-12-12 16:48:22

kinght1147 · 发表于 2017-12-16 16:06:11

这个比较完整

2129742122 · 发表于 2017-12-22 11:50:44

ba460 · 发表于 2017-12-22 15:30:14

参观

xiaohuli · 发表于 2017-12-22 22:24:08

xxm0772 · 发表于 2017-12-23 01:29:21

顶顶顶顶

juventinia · 发表于 2017-12-25 11:45:07

前来学习

石小龙 · 发表于 2017-12-27 16:56:27

学习来了哦

heisenbug601 · 发表于 2017-12-27 21:35:14

厉害了

bolewin · 发表于 2018-1-9 01:00:27

厉害了word哥

段坤11 · 发表于 2018-1-25 14:18:30

very good

mike0724 · 发表于 2018-1-25 14:26:25

学习学习

xiaoshizi · 发表于 2018-1-27 14:32:28

学习

qq940993208 · 发表于 2018-1-27 15:34:44

很强势学习一下

账号		自动登录	找回密码
密码			立即注册

[作品展示] 【个人原创系列】Scrapy分布式爬取京东商品详情，评论和评论总结

马上注册，结交更多好友，享用更多功能^_^

评分