|
马上注册,结交更多好友,享用更多功能^_^
您需要 登录 才可以下载或查看,没有账号?立即注册
x
本帖最后由 和vvv 于 2017-11-22 23:05 编辑
37 Scrapy爬虫数据抓取简单例子
本文通过创建Scrapy爬虫项目,爬取赶集网的租房信息。用scrapy shell 进行网站预抓取的一步就省略了,详细情况请看:http://bbs.fishc.com/thread-90681-1-1.html
一、创建项目
(1)在cmd命令行进入相应文件夹,使用命令创建:
接下来通过pycharm(可从官网下载community免费版本,足矣)打开项目,可以发现这样的文件结构:
二、编写爬虫文件
然后在spiders下新建一个爬虫文件ganji.py。- import scrapy
- #创建一个爬虫类,必须继承scrapy的Spider类
- class GanjiSpider(scrapy.Spider):
- #爬虫名称
- name = "zufang"
- #爬取初始url
- start_urls = ["http://zunyi.ganji.com/fang1/"]
- #页面解析函数
- def parse(self, response):
- print(response)
- #标题列表
- title_list = response.xpath('//dd[@class="dd-item title"]/a/text()').extract()
- #价格列表
- price_list = response.xpath('//div[@class="price"]/span[@class="num"]/text()').extract()
- for i,j in zip(title_list,price_list):
- print(i,":",j,"元/月")
复制代码
三、运行项目
首先在cmd命令行使用命令:
可以发现只有一个爬虫文件。运行项目的爬虫名以这个为准。有两种运行项目的方式:(1)scrapy crawl zufang。会显示许多的调试信息,对于项目的调试很有帮助。(2)scrapy crawl zufang --nolog。直接运行得出结果,命令行不显示调试信息。
第一种运行方式结果:- 2017-07-11 11:57:12 [scrapy.middleware] INFO: Enabled item pipelines:
- []
- 2017-07-11 11:57:12 [scrapy.core.engine] INFO: Spider opened
- 2017-07-11 11:57:12 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
- 2017-07-11 11:57:12 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
- 2017-07-11 11:57:13 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://zunyi.ganji.com/robots.txt> (referer: None)
- 2017-07-11 11:57:14 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://zunyi.ganji.com/fang1/> (referer: None)
- <200 http://zunyi.ganji.com/fang1/>
- 海珠广场三室办公用出租 : 2800 元/月
- 广珠商圈范围,两室,三室,四室,皆有住家,办公房源 : 3500 元/月
- 苟家井二中学校租房一套 : 1500 元/月
- 中华路梅岭厂老坛子茶楼临街房 适合开公司和办补习班 住房1楼 : 3000 元/月
- 中华路金狮山文明小区 标准小户型2房1厅 带楼顶花园 有钥匙 : 750 元/月
- 东方星城居家办公均可! : 1800 元/月
- 澳门路光达花园精装3房出租 : 2500 元/月
- 珠海路 凯旋城临街办公房源,精装 : 3500 元/月
- 中华路梅岭厂老坛子茶楼临街房 适合开公司和办补习班 住房1楼 : 3000 元/月
- 全新装修单间带卫生间出租 : 800 元/月
- 东方星城 两室两厅 精装修 租金低 : 1200 元/月
- 一米阳光 电梯房 一室的 1500 可季付 : 1500 元/月
- 丁字口国贸楼上三室两厅两卫家具家电齐全住房四楼 : 2200 元/月
- 桃溪路口 海丰城 电梯楼全齐 拎包入住 : 1498 元/月
- 精装修商住楼,高端人士的理想家园 : 750 元/月
- 宁波路/福州路一米阳光,装修简约清爽,拎包入住 : 1200 元/月
- 宁波路一米阳光二期标准一室一厅出租 : 1200 元/月
- 澳门路星金自能大厦大房子出租 : 2500 元/月
- 一米阳光二期电梯公寓2室出租 : 2000 元/月
- 一米阳光公寓房出租,家电家具全齐 : 1000 元/月
- 澳门路光达花园精装3房出租 : 2500 元/月
- 乌江恬园错过就是你的损失咯,拎包即可入住哦! : 900 元/月
- 外环路拎包即可入住,好房不等人!别犹豫了!! : 900 元/月
- 珠海路书香华庭住房出租 : 2500 元/月
- 一米阳光二期电梯公寓出租 : 1300 元/月
- 广珠商圈 电梯温馨公寓,一室两室皆有,欢迎来电看房 : 1800 元/月
- 中华路梅岭厂大门小户型2室1厅 步梯8楼顶临街的 有钥匙 : 1000 元/月
- 广珠商圈范围,两室,三室,四室,皆有住家,办公房源 : 3000 元/月
- 逸居推荐 延安路建材市场中装三房 带家电家具 随时看房 : 1300 元/月
- 光达花园 南北通透!户型好 : 900 元/月
- 工薪小区精美好房出租 : 540 元/月
- 找一个好相处生活有规律的人合租 : 415 元/月
- 松桃路唐人街超市旁6楼 中装1室1厅 带家电家具月租850元 : 850 元/月
- 好房出租 1200 东方星城 靠马路边适合办公用 : 1200 元/月
- 办公好房 ,临街好房 方便广告 繁华地段 交通方便采光好 : 2500 元/月
- 万里路桃溪路 万里湘江星力城精装两室 全齐配置 : 2900 元/月
- 中华路苟家井旁金银新村精装一室 季付出租 : 1200 元/月
- 丁字口中华路金银新村两室租房 采光好面积大 : 1300 元/月
- 上海路 时代星城新楼、新房、新装修 2室一厅 家具齐全 : 2500 元/月
- 连吉第小区私人房源一室一厅 : 610 元/月
- 好房,不论地段还是小区环境,装修程度都相当不错 : 3500 元/月
- 澳门路北京华联楼上临街小高层电梯房 带有大阳台 可办公开公司 : 2800 元/月
- 体育馆附近,北海路上海路交界处小区步梯房,低层,停车便宜方便 : 1500 元/月
- 上海路沪路一号高档小区电梯房,精装修家电家具齐全拎包入住 : 1500 元/月
- 伟业地产琳琳苟家井租房一套 : 850 元/月
- 办公房 出租 人民路 森林苑 122平米 精装修 : 3200 元/月
- 工新小区精美好房出租 : 540 元/月
- 中华路老坛子茶楼 步梯平台1楼 适合办公和开补习班 超大户型 : 3000 元/月
- 北京路火车站旱桥瑞诚商厦二室一厅出租 : 1200 元/月
- 中华路金银新村附近单间厕所共用 : 270 元/月
- 中华路金银新村站牌附近 : 700 元/月
- 中华路金银新村喜羊羊超市对面 : 1200 元/月
- 中华北路金银新村附近 : 600 元/月
- 工新小区精美好房出租 : 540 元/月
- 中华路金银新村金银井 : 1200 元/月
- 中华路金银新村筑神花园 : 1200 元/月
- 中华南路苟家井天桥附近 : 1200 元/月
- 中华路金银新村附近合租 : 500 元/月
- 2017-07-11 11:57:15 [scrapy.core.engine] INFO: Closing spider (finished)
- 2017-07-11 11:57:15 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
- {'downloader/request_bytes': 442,
- 'downloader/request_count': 2,
- 'downloader/request_method_count/GET': 2,
- 'downloader/response_bytes': 34655,
- 'downloader/response_count': 2,
- 'downloader/response_status_count/200': 2,
- 'finish_reason': 'finished',
- 'finish_time': datetime.datetime(2017, 7, 11, 3, 57, 15, 83678),
- 'log_count/DEBUG': 3,
- 'log_count/INFO': 7,
- 'response_received_count': 2,
- 'scheduler/dequeued': 1,
- 'scheduler/dequeued/memory': 1,
- 'scheduler/enqueued': 1,
- 'scheduler/enqueued/memory': 1,
- 'start_time': datetime.datetime(2017, 7, 11, 3, 57, 12, 412970)}
- 2017-07-11 11:57:15 [scrapy.core.engine] INFO: Spider closed (finished)
复制代码 会有很多的调试信息。
第2中运行方式结果:- <200 http://zunyi.ganji.com/fang1/>
- 广珠商圈范围,两室,三室,四室,皆有住家,办公房源 : 3500 元/月
- 海珠广场三室办公用出租 : 2800 元/月
- 苟家井二中学校租房一套 : 1500 元/月
- 中华路梅岭厂老坛子茶楼临街房 适合开公司和办补习班 住房1楼 : 3000 元/月
- 中华路金狮山文明小区 标准小户型2房1厅 带楼顶花园 有钥匙 : 750 元/月
- 东方星城居家办公均可! : 1800 元/月
- 澳门路光达花园精装3房出租 : 2500 元/月
- 珠海路 凯旋城临街办公房源,精装 : 3500 元/月
- 办公好房 ,临街好房 方便广告 繁华地段 交通方便采光好 : 2500 元/月
- 桃溪路口海丰城精装修两室一厅住房出租,1500每月 : 1500 元/月
- 海尔大道状元阁单身公寓出租可三个月一付 : 1300 元/月
- 广珠商圈 电梯温馨公寓,一室两室皆有,欢迎来电看房 : 1800 元/月
- 澳门路上海路交汇处办公室出租 : 2900 元/月
- 松桃路唐人街超市旁6楼 中装1室1厅 带家电家具月租850元 : 850 元/月
- 精装修商住楼,高端人士的理想家园 : 750 元/月
- 乌江恬园错过就是你的损失咯,拎包即可入住哦! : 900 元/月
- 外环路拎包即可入住,好房不等人!别犹豫了!! : 900 元/月
- 北京路火车站旱桥瑞诚商厦二室一厅出租 : 1200 元/月
- 中华路梅岭厂老坛子茶楼临街房 适合开公司和办补习班 住房1楼 : 3000 元/月
- 全新装修单间带卫生间出租 : 800 元/月
- 东方星城 两室两厅 精装修 租金低 : 1200 元/月
- 一米阳光 电梯房 一室的 1500 可季付 : 1500 元/月
- 丁字口国贸楼上三室两厅两卫家具家电齐全住房四楼 : 2200 元/月
- 光达花园 南北通透!户型好 : 900 元/月
- 桃溪路口 海丰城 电梯楼全齐 拎包入住 : 1498 元/月
- 宁波路/福州路一米阳光,装修简约清爽,拎包入住 : 1200 元/月
- 宁波路一米阳光二期标准一室一厅出租 : 1200 元/月
- 澳门路星金自能大厦大房子出租 : 2500 元/月
- 一米阳光二期电梯公寓2室出租 : 2000 元/月
- 一米阳光公寓房出租,家电家具全齐 : 1000 元/月
- 工薪小区精美好房出租 : 540 元/月
- 找一个好相处生活有规律的人合租 : 415 元/月
- 澳门路光达花园精装3房出租 : 2500 元/月
- 珠海路书香华庭住房出租 : 2500 元/月
- 一米阳光二期电梯公寓出租 : 1300 元/月
- 中华路梅岭厂大门小户型2室1厅 步梯8楼顶临街的 有钥匙 : 1000 元/月
- 广珠商圈范围,两室,三室,四室,皆有住家,办公房源 : 3000 元/月
- 逸居推荐 延安路建材市场中装三房 带家电家具 随时看房 : 1300 元/月
- 上海路 时代星城新楼、新房、新装修 2室一厅 家具齐全 : 2500 元/月
- 连吉第小区私人房源一室一厅 : 610 元/月
- 好房出租 1200 东方星城 靠马路边适合办公用 : 1200 元/月
- 万里路桃溪路 万里湘江星力城精装两室 全齐配置 : 2900 元/月
- 中华路苟家井旁金银新村精装一室 季付出租 : 1200 元/月
- 丁字口中华路金银新村两室租房 采光好面积大 : 1300 元/月
- 好房,不论地段还是小区环境,装修程度都相当不错 : 3500 元/月
- 澳门路北京华联楼上临街小高层电梯房 带有大阳台 可办公开公司 : 2800 元/月
- 工新小区精美好房出租 : 540 元/月
- 体育馆附近,北海路上海路交界处小区步梯房,低层,停车便宜方便 : 1500 元/月
- 上海路沪路一号高档小区电梯房,精装修家电家具齐全拎包入住 : 1500 元/月
- 伟业地产琳琳苟家井租房一套 : 850 元/月
- 建材路中段精装修家具家电齐全2楼急租 : 1600 元/月
- 海尔大道 老年公寓旁 精装修 准3室 家具家电全 拎包入住 : 1900 元/月
- 中华路金银新村,钥匙在手,随时看房 : 800 元/月
- 工新小区精美好房出租 : 540 元/月
- 中华路金银新村,钥匙在手,进出方便, : 600 元/月
- 中华路金银新村菜市附近 : 600 元/月
- 办公房 出租 人民路 森林苑 122平米 精装修 : 3200 元/月
- 中华路老坛子茶楼 步梯平台1楼 适合办公和开补习班 超大户型 : 3000 元/月
复制代码 只会有我们想要的结果。
总结:本项目只是简单地爬取了一页的租房信息,至于更多住房信息的爬取也是比较容易实现的,只需要对爬取初始链接start_urls进行处理即可。
|
评分
-
查看全部评分
|