鱼C论坛

 找回密码
 立即注册
查看: 1430|回复: 4

[已解决]呼叫各位大佬,爬虫,一个网站有一条信息解析不出来

[复制链接]
发表于 2017-10-1 16:38:58 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 丢丢yhj 于 2017-10-1 16:44 编辑

http://s.hc360.com/?w=%BB%A5%C1% ... D%AD%CA%A1&af=3
这个是慧聪网的 在解析href中发现这篇的最后一条链接解析不出来
//qs315net.b2b.hc360.com/shop/show.html
我目前用了parser lxml xml 都是缺少这一条的信息 但是在网站上又可以看到
用抓包软件看了,这个网址中没有出现异步加载了
最佳答案
2017-10-1 16:48:29
  1. import requests
  2. from bs4 import BeautifulSoup as bs

  3. doc = requests.get('http://s.hc360.com/?w=%BB%A5%C1%AA%CD%F8&mc=enterprise&ee=4&z=%D6%D0%B9%FA%3A%D5%E3%BD%AD%CA%A1&af=3').content
  4. soup = bs(doc, 'html.parser')
  5. for link in soup.find_all('a'):
  6.     print(link.get('href'))
复制代码

本帖被以下淘专辑推荐:

  • · 爬虫|主题: 1, 订阅: 0
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-10-1 16:48:20 | 显示全部楼层
我倒是弄出来了
就是有点多
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-10-1 16:48:29 | 显示全部楼层    本楼为最佳答案   
  1. import requests
  2. from bs4 import BeautifulSoup as bs

  3. doc = requests.get('http://s.hc360.com/?w=%BB%A5%C1%AA%CD%F8&mc=enterprise&ee=4&z=%D6%D0%B9%FA%3A%D5%E3%BD%AD%CA%A1&af=3').content
  4. soup = bs(doc, 'html.parser')
  5. for link in soup.find_all('a'):
  6.     print(link.get('href'))
复制代码
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2017-10-1 16:56:05 | 显示全部楼层

脑袋疼....刚刚解析方式都试了 都是没有最后一条
复制你的代码 测试了下 发现有 又测试了下我的代码 发现又不差了....
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-10-1 17:02:25 | 显示全部楼层
丢丢yhj 发表于 2017-10-1 16:56
脑袋疼....刚刚解析方式都试了 都是没有最后一条
复制你的代码 测试了下 发现有 又测试了下我的代码 发 ...

脑袋疼
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-3-19 12:01

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表