鱼C论坛

 找回密码
 立即注册
查看: 1498|回复: 6

求助大神,写了个爬虫,代码如下,错误如图。

[复制链接]
发表于 2018-1-18 20:10:07 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
  1. from bs4 import BeautifulSoup
  2. import requests
  3. import time

  4. headers =  {
  5. 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36'
  6. }
  7. def judgment_sex(class_name):
  8.     if class_name == ['member_icol']:
  9.         return '女'
  10.     else:
  11.         return '男'

  12. def get_links(url):
  13.     wb_data = requests.get(url,headers=headers)
  14.     soup = BeautifulSoup(wb_data.text,'lxml')
  15.     links = soup.select('#page_list > ul > li > a')
  16.     for link in links:
  17.         href = link.get("href")
  18.         get_into(href)

  19. def get_into(url):
  20.     wb_data = requests.get(url, headers=headers)
  21.     soup = BeautifulSoup(wb_data.text, 'lxml')
  22.     tittles = soup.select('div.pho_info > h4')
  23.     addresses = soup.select('span.pr5')
  24.     prices = soup.select('#pricePart > div_day1 > span')
  25.     imgs = soup.select('#floatRightBox > div.js_box.clearfix > div.member_pic > a >img')
  26.     names = soup.select('#floatRightBox > div.js_box.clearfix > div.w_240 > h6 > a')
  27.     sexs = soup.select('#floatRightBox > div.js_box.clearfix > div.member_pic > div')
  28.     for tittle,address,price,img,name,sex in zip(tittles,addresses,prices,imgs,names,sexs):
  29.         data = {
  30.             'tittle':tittle.get_text().strip(),
  31.             'address':address.get_text().strip(),
  32.             'price':price.get_text().strip(),
  33.             'img':img.get("src"),
  34.             'name':name.get_text().strip(),
  35.             'sex':judgment_sex(sex.get("class"))
  36.         }
  37.         print(data)

  38. if __name__ == '__main__':
  39.     urls = ['http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format(number) for number in range(1,14)]
  40.     for single_url in urls:
  41.         get_links(single_url)
  42.         time.sleep(2)
复制代码
R001QKJE6G8`I6{EV8L]UNG.png
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-1-18 20:28:44 | 显示全部楼层
这不是提示的缺少lxml吗,安装一个就好了
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-1-18 20:32:37 | 显示全部楼层
WylLy 发表于 2018-1-18 20:28
这不是提示的缺少lxml吗,安装一个就好了

安装了后,不报错也没有信息啊
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-1-18 20:33:42 | 显示全部楼层
你没有安装 lxml 解析器吧
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-1-18 20:36:58 | 显示全部楼层
yjsx86 发表于 2018-1-18 20:33
你没有安装 lxml 解析器吧

安装了后,不报错也没有信息啊
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-1-18 20:53:46 | 显示全部楼层
不尴尬 发表于 2018-1-18 20:36
安装了后,不报错也没有信息啊

你的代码是直接复制的吧?
那你就应该从代码入手 打印一些关键变量 看是否有值
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-1-19 16:22:53 | 显示全部楼层
yjsx86 发表于 2018-1-18 20:53
你的代码是直接复制的吧?
那你就应该从代码入手 打印一些关键变量 看是否有值

怎么单步调试?
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-3-29 13:44

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表