3474| 4
|
requests的get和urllib.request的urlopen 请求百度首页,得到内容不一样,为什么? |
50鱼币
最佳答案这个可能和百度的反爬虫策略有关吧。
如果你请求的信息中,不包含你的浏览器的信息,百度就会把你当成爬虫或者其他简易的手机浏览器来处理,给你的反馈信息中去除了javascript代码。
如果你在请求的头部信息中加入浏览器信息,比如:
这样返回的就是完整的包含javascript的执行代码。
至于urllib的urlopen函数是不是默认包含访问的头部信息的倒是没有具体研究过,不过原因的就是这样。
哪怕你用selenium访问也是一样的,sel ...
| ||
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
|
||
发表于 2017-1-22 15:44:10
|
显示全部楼层
评分 | ||
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
|
||
| ||
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
|
||
小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)
GMT+8, 2024-3-29 18:53
Powered by Discuz! X3.4
© 2001-2023 Discuz! Team.