37 Scrapy爬虫数据抓取简单例子
本帖最后由 和vvv 于 2017-11-22 23:05 编辑37 Scrapy爬虫数据抓取简单例子
本文通过创建Scrapy爬虫项目，爬取赶集网的租房信息。用scrapy shell 进行网站预抓取的一步就省略了，详细情况请看：http://bbs.fishc.com/thread-90681-1-1.html
一、创建项目
（1）在cmd命令行进入相应文件夹，使用命令创建：
接下来通过pycharm（可从官网下载community免费版本，足矣）打开项目，可以发现这样的文件结构：
二、编写爬虫文件
然后在spiders下新建一个爬虫文件ganji.py。import scrapy
#创建一个爬虫类，必须继承scrapy的Spider类
class GanjiSpider(scrapy.Spider):
#爬虫名称
name = "zufang"
#爬取初始url
start_urls = ["http://zunyi.ganji.com/fang1/"]
#页面解析函数
def parse(self, response):
print(response)
#标题列表
title_list = response.xpath('//dd[@class="dd-item title"]/a/text()').extract()
#价格列表
price_list = response.xpath('//div[@class="price"]/span[@class="num"]/text()').extract()
for i,j in zip(title_list,price_list):
print(i,":",j,"元/月")
三、运行项目
首先在cmd命令行使用命令：
可以发现只有一个爬虫文件。运行项目的爬虫名以这个为准。scrapy crawl zufang有两种运行项目的方式：（1）scrapy crawl zufang。会显示许多的调试信息，对于项目的调试很有帮助。（2）scrapy crawl zufang --nolog。直接运行得出结果，命令行不显示调试信息。
第一种运行方式结果：2017-07-11 11:57:12 INFO: Enabled item pipelines:
[]
2017-07-11 11:57:12 INFO: Spider opened
2017-07-11 11:57:12 INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2017-07-11 11:57:12 DEBUG: Telnet console listening on 127.0.0.1:6023
2017-07-11 11:57:13 DEBUG: Crawled (200) <GET http://zunyi.ganji.com/robots.txt> (referer: None)
2017-07-11 11:57:14 DEBUG: Crawled (200) <GET http://zunyi.ganji.com/fang1/> (referer: None)
<200 http://zunyi.ganji.com/fang1/>
海珠广场三室办公用出租 : 2800 元/月
广珠商圈范围，两室，三室，四室，皆有住家，办公房源 : 3500 元/月
苟家井二中学校租房一套 : 1500 元/月
中华路梅岭厂老坛子茶楼临街房 适合开公司和办补习班 住房1楼 : 3000 元/月
中华路金狮山文明小区 标准小户型2房1厅 带楼顶花园 有钥匙 : 750 元/月
东方星城居家办公均可! : 1800 元/月
澳门路光达花园精装3房出租 : 2500 元/月
珠海路 凯旋城临街办公房源，精装 : 3500 元/月
中华路梅岭厂老坛子茶楼临街房 适合开公司和办补习班 住房1楼 : 3000 元/月
全新装修单间带卫生间出租 : 800 元/月
东方星城 两室两厅 精装修 租金低 : 1200 元/月
一米阳光 电梯房 一室的 1500 可季付 : 1500 元/月
丁字口国贸楼上三室两厅两卫家具家电齐全住房四楼 : 2200 元/月
桃溪路口 海丰城 电梯楼全齐 拎包入住 : 1498 元/月
精装修商住楼,高端人士的理想家园 : 750 元/月
宁波路/福州路一米阳光，装修简约清爽，拎包入住 : 1200 元/月
宁波路一米阳光二期标准一室一厅出租 : 1200 元/月
澳门路星金自能大厦大房子出租 : 2500 元/月
一米阳光二期电梯公寓2室出租 : 2000 元/月
一米阳光公寓房出租，家电家具全齐 : 1000 元/月
澳门路光达花园精装3房出租 : 2500 元/月
乌江恬园错过就是你的损失咯,拎包即可入住哦! : 900 元/月
外环路拎包即可入住,好房不等人!别犹豫了!! : 900 元/月
珠海路书香华庭住房出租 : 2500 元/月
一米阳光二期电梯公寓出租 : 1300 元/月
广珠商圈 电梯温馨公寓，一室两室皆有，欢迎来电看房 : 1800 元/月
中华路梅岭厂大门小户型2室1厅 步梯8楼顶临街的 有钥匙 : 1000 元/月
广珠商圈范围，两室，三室，四室，皆有住家，办公房源 : 3000 元/月
逸居推荐 延安路建材市场中装三房 带家电家具 随时看房 : 1300 元/月
光达花园 南北通透!户型好 : 900 元/月
工薪小区精美好房出租 : 540 元/月
找一个好相处生活有规律的人合租 : 415 元/月
松桃路唐人街超市旁6楼 中装1室1厅 带家电家具月租850元 : 850 元/月
好房出租 1200 东方星城 靠马路边适合办公用 : 1200 元/月
办公好房 ，临街好房 方便广告 繁华地段 交通方便采光好 : 2500 元/月
万里路桃溪路 万里湘江星力城精装两室 全齐配置 : 2900 元/月
中华路苟家井旁金银新村精装一室 季付出租 : 1200 元/月
丁字口中华路金银新村两室租房 采光好面积大 : 1300 元/月
上海路 时代星城新楼、新房、新装修 2室一厅 家具齐全 : 2500 元/月
连吉第小区私人房源一室一厅 : 610 元/月
好房，不论地段还是小区环境，装修程度都相当不错 : 3500 元/月
澳门路北京华联楼上临街小高层电梯房 带有大阳台 可办公开公司 : 2800 元/月
体育馆附近，北海路上海路交界处小区步梯房，低层，停车便宜方便 : 1500 元/月
上海路沪路一号高档小区电梯房，精装修家电家具齐全拎包入住 : 1500 元/月
伟业地产琳琳苟家井租房一套 : 850 元/月
办公房 出租 人民路 森林苑 122平米 精装修 : 3200 元/月
工新小区精美好房出租 : 540 元/月
中华路老坛子茶楼 步梯平台1楼 适合办公和开补习班 超大户型 : 3000 元/月
北京路火车站旱桥瑞诚商厦二室一厅出租 : 1200 元/月
中华路金银新村附近单间厕所共用 : 270 元/月
中华路金银新村站牌附近 : 700 元/月
中华路金银新村喜羊羊超市对面 : 1200 元/月
中华北路金银新村附近 : 600 元/月
工新小区精美好房出租 : 540 元/月
中华路金银新村金银井 : 1200 元/月
中华路金银新村筑神花园 : 1200 元/月
中华南路苟家井天桥附近 : 1200 元/月
中华路金银新村附近合租 : 500 元/月
2017-07-11 11:57:15 INFO: Closing spider (finished)
2017-07-11 11:57:15 INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 442,
'downloader/request_count': 2,
'downloader/request_method_count/GET': 2,
'downloader/response_bytes': 34655,
'downloader/response_count': 2,
'downloader/response_status_count/200': 2,
'finish_reason': 'finished',
'finish_time': datetime.datetime(2017, 7, 11, 3, 57, 15, 83678),
'log_count/DEBUG': 3,
'log_count/INFO': 7,
'response_received_count': 2,
'scheduler/dequeued': 1,
'scheduler/dequeued/memory': 1,
'scheduler/enqueued': 1,
'scheduler/enqueued/memory': 1,
'start_time': datetime.datetime(2017, 7, 11, 3, 57, 12, 412970)}
2017-07-11 11:57:15 INFO: Spider closed (finished)会有很多的调试信息。
第2中运行方式结果：<200 http://zunyi.ganji.com/fang1/>
广珠商圈范围，两室，三室，四室，皆有住家，办公房源 : 3500 元/月
海珠广场三室办公用出租 : 2800 元/月
苟家井二中学校租房一套 : 1500 元/月
中华路梅岭厂老坛子茶楼临街房 适合开公司和办补习班 住房1楼 : 3000 元/月
中华路金狮山文明小区 标准小户型2房1厅 带楼顶花园 有钥匙 : 750 元/月
东方星城居家办公均可! : 1800 元/月
澳门路光达花园精装3房出租 : 2500 元/月
珠海路 凯旋城临街办公房源，精装 : 3500 元/月
办公好房 ，临街好房 方便广告 繁华地段 交通方便采光好 : 2500 元/月
桃溪路口海丰城精装修两室一厅住房出租，1500每月 : 1500 元/月
海尔大道状元阁单身公寓出租可三个月一付 : 1300 元/月
广珠商圈 电梯温馨公寓，一室两室皆有，欢迎来电看房 : 1800 元/月
澳门路上海路交汇处办公室出租 : 2900 元/月
松桃路唐人街超市旁6楼 中装1室1厅 带家电家具月租850元 : 850 元/月
精装修商住楼,高端人士的理想家园 : 750 元/月
乌江恬园错过就是你的损失咯,拎包即可入住哦! : 900 元/月
外环路拎包即可入住,好房不等人!别犹豫了!! : 900 元/月
北京路火车站旱桥瑞诚商厦二室一厅出租 : 1200 元/月
中华路梅岭厂老坛子茶楼临街房 适合开公司和办补习班 住房1楼 : 3000 元/月
全新装修单间带卫生间出租 : 800 元/月
东方星城 两室两厅 精装修 租金低 : 1200 元/月
一米阳光 电梯房 一室的 1500 可季付 : 1500 元/月
丁字口国贸楼上三室两厅两卫家具家电齐全住房四楼 : 2200 元/月
光达花园 南北通透!户型好 : 900 元/月
桃溪路口 海丰城 电梯楼全齐 拎包入住 : 1498 元/月
宁波路/福州路一米阳光，装修简约清爽，拎包入住 : 1200 元/月
宁波路一米阳光二期标准一室一厅出租 : 1200 元/月
澳门路星金自能大厦大房子出租 : 2500 元/月
一米阳光二期电梯公寓2室出租 : 2000 元/月
一米阳光公寓房出租，家电家具全齐 : 1000 元/月
工薪小区精美好房出租 : 540 元/月
找一个好相处生活有规律的人合租 : 415 元/月
澳门路光达花园精装3房出租 : 2500 元/月
珠海路书香华庭住房出租 : 2500 元/月
一米阳光二期电梯公寓出租 : 1300 元/月
中华路梅岭厂大门小户型2室1厅 步梯8楼顶临街的 有钥匙 : 1000 元/月
广珠商圈范围，两室，三室，四室，皆有住家，办公房源 : 3000 元/月
逸居推荐 延安路建材市场中装三房 带家电家具 随时看房 : 1300 元/月
上海路 时代星城新楼、新房、新装修 2室一厅 家具齐全 : 2500 元/月
连吉第小区私人房源一室一厅 : 610 元/月
好房出租 1200 东方星城 靠马路边适合办公用 : 1200 元/月
万里路桃溪路 万里湘江星力城精装两室 全齐配置 : 2900 元/月
中华路苟家井旁金银新村精装一室 季付出租 : 1200 元/月
丁字口中华路金银新村两室租房 采光好面积大 : 1300 元/月
好房，不论地段还是小区环境，装修程度都相当不错 : 3500 元/月
澳门路北京华联楼上临街小高层电梯房 带有大阳台 可办公开公司 : 2800 元/月
工新小区精美好房出租 : 540 元/月
体育馆附近，北海路上海路交界处小区步梯房，低层，停车便宜方便 : 1500 元/月
上海路沪路一号高档小区电梯房，精装修家电家具齐全拎包入住 : 1500 元/月
伟业地产琳琳苟家井租房一套 : 850 元/月
建材路中段精装修家具家电齐全2楼急租 : 1600 元/月
海尔大道 老年公寓旁 精装修 准3室 家具家电全 拎包入住 : 1900 元/月
中华路金银新村，钥匙在手，随时看房 : 800 元/月
工新小区精美好房出租 : 540 元/月
中华路金银新村，钥匙在手，进出方便， : 600 元/月
中华路金银新村菜市附近 : 600 元/月
办公房 出租 人民路 森林苑 122平米 精装修 : 3200 元/月
中华路老坛子茶楼 步梯平台1楼 适合办公和开补习班 超大户型 : 3000 元/月只会有我们想要的结果。
总结：本项目只是简单地爬取了一页的租房信息，至于更多住房信息的爬取也是比较容易实现的，只需要对爬取初始链接start_urls进行处理即可。{:5_95:}
很实用！ 多谢，正在学习 学习学习 看看 正需要啊 大神 8 看看 楼主发贴辛苦了，谢谢楼主分享！ 进来学习 学习学习
为什么呢？ 看看~~ 66 感谢楼主的分享 {:5_91:} 学习啦
多谢，正在学习 66 早就想看看具体是怎么操作