鱼C论坛

 找回密码
 立即注册
查看: 1368|回复: 7

照着教程做了个爬虫,整体上没问题,可就是运行不了

[复制链接]
发表于 2018-1-18 19:19:14 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
from bs4 import BeautifulSoup
import requests
import time

headers =  {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36'
}
def judgment_sex(class_name):
    if class_name == ['member_icol']:
        return '女'
    else:
        return '男'

def get_links(url):
    wb_data = requests.get(url,headers=headers)
    soup = BeautifulSoup(wb_data.text,'lxml')
    links = soup.select('#page_list > ul > li > a')
    for link in links:
        href = link.get("href")
        get_into(href)

def get_into(url):
    wb_data = requests.get(url, headers=headers)
    soup = BeautifulSoup(wb_data.text, 'lxml')
    tittles = soup.select('div.pho_info > h4')
    addresses = soup.select('span.pr5')
    prices = soup.select('#pricePart > div_day1 > span')
    imgs = soup.select('#floatRightBox > div.js_box.clearfix > div.member_pic > a >img')
    names = soup.select('#floatRightBox > div.js_box.clearfix > div.w_240 > h6 > a')
    sexs = soup.select('#floatRightBox > div.js_box.clearfix > div.member_pic > div')
    for tittle,address,price,img,name,sex in zip(tittles,addresses,prices,imgs,names,sexs):
        data = {
            'tittle':tittle.get_text().strip(),
            'address':address.get_text().strip(),
            'price':price.get_text().strip(),
            'img':img.get("src"),
            'name':name.get_text().strip(),
            'sex':judgment_sex(sex.get("class"))
        }
        print(data)

if __name__ == '__main__':
    urls = ['http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format(number) for number in range(1,14)]
    for single_url in urls:
        get_links(single_url)
        time.sleep(2)
代码如上请指正!!!!!!!!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-1-18 20:15:15 | 显示全部楼层
没有报错吗?
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-1-18 20:17:54 | 显示全部楼层

如图
R001QKJE6G8`I6{EV8L]UNG.png
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-1-18 20:19:26 | 显示全部楼层

没有安装lxml解析库
去命令行 pip instal lxml 试试
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-1-18 20:30:40 | 显示全部楼层
°蓝鲤歌蓝 发表于 2018-1-18 20:19
没有安装lxml解析库
去命令行 pip instal lxml 试试

没有报错了,也没有信息出来啊
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-1-18 20:39:02 | 显示全部楼层
不尴尬 发表于 2018-1-18 20:30
没有报错了,也没有信息出来啊

你的names 那些东西都是列表,没有get_text()方法
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-1-18 20:40:14 | 显示全部楼层
°蓝鲤歌蓝 发表于 2018-1-18 20:39
你的names 那些东西都是列表,没有get_text()方法

你一步步调试一下啊,在tittles,addresses,names这些数据下面print一下看看
都是列表怎么get_text()
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-1-19 16:20:08 | 显示全部楼层
°蓝鲤歌蓝 发表于 2018-1-18 20:40
你一步步调试一下啊,在tittles,addresses,names这些数据下面print一下看看
都是列表怎么get_text()

怎么单步调试
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-4-25 21:38

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表