|
马上注册,结交更多好友,享用更多功能^_^
您需要 登录 才可以下载或查看,没有账号?立即注册
x
- import requests
- from bs4 import BeautifulSoup
- import random
- url="https://s.taobao.com/search?initiative_id=staobaoz_20180617&q=%E7%94%B5%E5%99%A8"
- IP_list=["223.72.33.222:80","120.25.253.234:8118","122.72.18.35:80","39.137.77.67:80"]
- headers={"User-Agent":"Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"}
- res = requests.get(url,proxies={"http":random.choice(IP_list)},headers=headers)#得到网页源代码,headers是加上请求的头,以免网站认为是一个机器在访问
- soup=BeautifulSoup(res.text,"html.parser") #对返回的结果进行解析,按照标准的个数进行输出
- price=soup.select("#mainsrp-itemlist > div > div > div:nth-of-type(1) > div.item.J_MouserOnverReq.item-ad > div.ctx-box.J_MouseEneterLeave.J_IconMoreNew > div.row.row-1.g-clearfix > div.price.g_price.g_price-highlight > strong")#定位元素信息,并通过selector方法提取
- print(price)
复制代码
尝试爬虫淘宝一个物品价格,为什么只得到一个空列表返回的是
[]
你把你浏览器的JavaScript关了再打开上面网址试试
那时候你看到的页面就是requests请求到的页面
|
|