鱼C论坛

 找回密码
 立即注册
查看: 702|回复: 7

来自一个小白的求教,python3如何爬取需要验证的网页

[复制链接]
发表于 2018-2-8 14:07:44 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
求各位大神帮我瞅瞅,感谢。。提前祝各位新年快乐。。。

如下图谷歌浏览器所抓取的POST信息,没看到有form data选项,是否该把request payload当成form data呢?,如果不是的话,该怎么爬取这类网页呢?,最后一张图是我运行的结果。。。


POST信息

POST信息

2

2

3

3

401错误

401错误
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2018-2-12 08:34:39 | 显示全部楼层
是不是没戏了。。。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-2-12 17:50:23 | 显示全部楼层
你把网址发出来,看看
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-2-13 11:46:29 | 显示全部楼层
枫树霜雪 发表于 2018-2-12 17:50
你把网址发出来,看看

是局域网的,,发出来也是连不上去的。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-2-13 13:30:41 From FishC Mobile | 显示全部楼层
你尝试正常登陆一下,你看看哪个请求里面包含有你提交的账号和密码
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-2-14 09:28:58 | 显示全部楼层
枫树霜雪 发表于 2018-2-13 13:30
你尝试正常登陆一下,你看看哪个请求里面包含有你提交的账号和密码

你看上面第一张图,payload里面就是登录信息。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-2-26 15:57:04 | 显示全部楼层
凉了凉了。。。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-3-2 14:20:14 | 显示全部楼层
建议你用fiddle或者其他工具抓一下包吧,这个没有from_data感觉有点奇怪。。。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-4-26 22:54

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表