鱼C论坛

 找回密码
 立即注册
查看: 1949|回复: 1

请各位大神教教我怎样不被网站发现爬虫行为

[复制链接]
发表于 2017-6-12 15:46:14 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
在用python的requests库爬取网站数据,才爬了100多条数据就出现10054错误 远程主机强迫关闭了一个现有的连接
每次爬取后都time.sleep(10)
1. 不太懂如果用requests库时怎样设置代理
2. 该网站需要登录才能搜索相关信息,如果用代理访问的话,是不是每次登录也要用代理IP
3. 还想请教各位大神有没有其它什么好办法,最好有代码的
谢谢!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-6-12 15:58:06 | 显示全部楼层
不同类型的网站,防封机制不同 相对应的措施肯定不一样
1. 可以修改 user agent 等相同类型的办法来规避网站封代码访问的问题
2. 建立ip池随机选取使用ip的方式来进行ip代理
相关具体实现办法,请仔细看小甲鱼的爬虫视频最后3节课
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-3-29 16:20

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表