[已解决]爬虫问题

likuo

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import random
   
4. url="https://s.taobao.com/search?initiative_id=staobaoz_20180617&q=%E7%94%B5%E5%99%A8"
   
5. IP_list=["223.72.33.222:80","120.25.253.234:8118","122.72.18.35:80","39.137.77.67:80"]
   
6. headers={"User-Agent":"Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"}
   
7. res = requests.get(url,proxies={"http":random.choice(IP_list)},headers=headers)#得到网页源代码，headers是加上请求的头，以免网站认为是一个机器在访问
   
8. soup=BeautifulSoup(res.text,"html.parser") #对返回的结果进行解析，按照标准的个数进行输出
   
9. price=soup.select("#mainsrp-itemlist > div > div > div:nth-of-type(1) > div.item.J_MouserOnverReq.item-ad > div.ctx-box.J_MouseEneterLeave.J_IconMoreNew > div.row.row-1.g-clearfix > div.price.g_price.g_price-highlight > strong")#定位元素信息，并通过selector方法提取
   
10. print(price)

复制代码

尝试爬虫淘宝一个物品价格，为什么只得到一个空列表返回的是
[]

最佳答案

月排行榜 / 总排行榜

chakyam

2018-6-18 09:54:24

你把你浏览器的JavaScript关了再打开上面网址试试
那时候你看到的页面就是requests请求到的页面

跳转到最佳答案楼层

chakyam

你把你浏览器的JavaScript关了再打开上面网址试试
那时候你看到的页面就是requests请求到的页面