鱼C论坛

 找回密码
 立即注册
查看: 6334|回复: 48

[技术交流] 37 Scrapy爬虫数据抓取简单例子

[复制链接]
发表于 2017-7-11 12:08:42 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 和vvv 于 2017-11-22 23:05 编辑
37 Scrapy爬虫数据抓取简单例子

本文通过创建Scrapy爬虫项目,爬取赶集网的租房信息。用scrapy shell 进行网站预抓取的一步就省略了,详细情况请看:http://bbs.fishc.com/thread-90681-1-1.html

一、创建项目
(1)在cmd命令行进入相应文件夹,使用命令创建:

1.png


接下来通过pycharm(可从官网下载community免费版本,足矣)打开项目,可以发现这样的文件结构:
图片1.png

2.png
二、编写爬虫文件


然后在spiders下新建一个爬虫文件ganji.py。
  1. import scrapy

  2. #创建一个爬虫类,必须继承scrapy的Spider类
  3. class GanjiSpider(scrapy.Spider):
  4.     #爬虫名称
  5.     name = "zufang"
  6.     #爬取初始url
  7.     start_urls = ["http://zunyi.ganji.com/fang1/"]

  8.     #页面解析函数
  9.     def parse(self, response):
  10.         print(response)
  11.         #标题列表
  12.         title_list = response.xpath('//dd[@class="dd-item title"]/a/text()').extract()
  13.         #价格列表
  14.         price_list = response.xpath('//div[@class="price"]/span[@class="num"]/text()').extract()
  15.         for i,j in zip(title_list,price_list):
  16.             print(i,":",j,"元/月")
复制代码

三、运行项目

首先在cmd命令行使用命令:


图片2.png

可以发现只有一个爬虫文件。运行项目的爬虫名以这个为准。
  1. scrapy crawl zufang
复制代码
有两种运行项目的方式:(1)scrapy crawl zufang。会显示许多的调试信息,对于项目的调试很有帮助。(2)scrapy crawl zufang --nolog。直接运行得出结果,命令行不显示调试信息。

第一种运行方式结果:
  1. 2017-07-11 11:57:12 [scrapy.middleware] INFO: Enabled item pipelines:
  2. []
  3. 2017-07-11 11:57:12 [scrapy.core.engine] INFO: Spider opened
  4. 2017-07-11 11:57:12 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
  5. 2017-07-11 11:57:12 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
  6. 2017-07-11 11:57:13 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://zunyi.ganji.com/robots.txt> (referer: None)
  7. 2017-07-11 11:57:14 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://zunyi.ganji.com/fang1/> (referer: None)
  8. <200 http://zunyi.ganji.com/fang1/>
  9. 海珠广场三室办公用出租 : 2800 元/月
  10. 广珠商圈范围,两室,三室,四室,皆有住家,办公房源 : 3500 元/月
  11. 苟家井二中学校租房一套 : 1500 元/月
  12. 中华路梅岭厂老坛子茶楼临街房 适合开公司和办补习班 住房1楼 : 3000 元/月
  13. 中华路金狮山文明小区 标准小户型2房1厅 带楼顶花园 有钥匙 : 750 元/月
  14. 东方星城居家办公均可! : 1800 元/月
  15. 澳门路光达花园精装3房出租 : 2500 元/月
  16. 珠海路 凯旋城临街办公房源,精装 : 3500 元/月
  17. 中华路梅岭厂老坛子茶楼临街房 适合开公司和办补习班 住房1楼 : 3000 元/月
  18. 全新装修单间带卫生间出租 : 800 元/月
  19. 东方星城 两室两厅 精装修 租金低 : 1200 元/月
  20. 一米阳光 电梯房 一室的 1500 可季付 : 1500 元/月
  21. 丁字口国贸楼上三室两厅两卫家具家电齐全住房四楼 : 2200 元/月
  22. 桃溪路口 海丰城 电梯楼全齐 拎包入住 : 1498 元/月
  23. 精装修商住楼,高端人士的理想家园 : 750 元/月
  24. 宁波路/福州路一米阳光,装修简约清爽,拎包入住 : 1200 元/月
  25. 宁波路一米阳光二期标准一室一厅出租 : 1200 元/月
  26. 澳门路星金自能大厦大房子出租 : 2500 元/月
  27. 一米阳光二期电梯公寓2室出租 : 2000 元/月
  28. 一米阳光公寓房出租,家电家具全齐 : 1000 元/月
  29. 澳门路光达花园精装3房出租 : 2500 元/月
  30. 乌江恬园错过就是你的损失咯,拎包即可入住哦! : 900 元/月
  31. 外环路拎包即可入住,好房不等人!别犹豫了!! : 900 元/月
  32. 珠海路书香华庭住房出租 : 2500 元/月
  33. 一米阳光二期电梯公寓出租 : 1300 元/月
  34. 广珠商圈 电梯温馨公寓,一室两室皆有,欢迎来电看房 : 1800 元/月
  35. 中华路梅岭厂大门小户型2室1厅 步梯8楼顶临街的 有钥匙 : 1000 元/月
  36. 广珠商圈范围,两室,三室,四室,皆有住家,办公房源 : 3000 元/月
  37. 逸居推荐 延安路建材市场中装三房 带家电家具 随时看房 : 1300 元/月
  38. 光达花园 南北通透!户型好 : 900 元/月
  39. 工薪小区精美好房出租 : 540 元/月
  40. 找一个好相处生活有规律的人合租 : 415 元/月
  41. 松桃路唐人街超市旁6楼 中装1室1厅 带家电家具月租850元 : 850 元/月
  42. 好房出租 1200 东方星城 靠马路边适合办公用 : 1200 元/月
  43. 办公好房 ,临街好房 方便广告 繁华地段 交通方便采光好 : 2500 元/月
  44. 万里路桃溪路 万里湘江星力城精装两室 全齐配置 : 2900 元/月
  45. 中华路苟家井旁金银新村精装一室 季付出租 : 1200 元/月
  46. 丁字口中华路金银新村两室租房 采光好面积大 : 1300 元/月
  47. 上海路 时代星城新楼、新房、新装修 2室一厅 家具齐全 : 2500 元/月
  48. 连吉第小区私人房源一室一厅 : 610 元/月
  49. 好房,不论地段还是小区环境,装修程度都相当不错 : 3500 元/月
  50. 澳门路北京华联楼上临街小高层电梯房 带有大阳台 可办公开公司 : 2800 元/月
  51. 体育馆附近,北海路上海路交界处小区步梯房,低层,停车便宜方便 : 1500 元/月
  52. 上海路沪路一号高档小区电梯房,精装修家电家具齐全拎包入住 : 1500 元/月
  53. 伟业地产琳琳苟家井租房一套 : 850 元/月
  54. 办公房 出租 人民路 森林苑 122平米 精装修 : 3200 元/月
  55. 工新小区精美好房出租 : 540 元/月
  56. 中华路老坛子茶楼 步梯平台1楼 适合办公和开补习班 超大户型 : 3000 元/月
  57. 北京路火车站旱桥瑞诚商厦二室一厅出租 : 1200 元/月
  58. 中华路金银新村附近单间厕所共用 : 270 元/月
  59. 中华路金银新村站牌附近 : 700 元/月
  60. 中华路金银新村喜羊羊超市对面 : 1200 元/月
  61. 中华北路金银新村附近 : 600 元/月
  62. 工新小区精美好房出租 : 540 元/月
  63. 中华路金银新村金银井 : 1200 元/月
  64. 中华路金银新村筑神花园 : 1200 元/月
  65. 中华南路苟家井天桥附近 : 1200 元/月
  66. 中华路金银新村附近合租 : 500 元/月
  67. 2017-07-11 11:57:15 [scrapy.core.engine] INFO: Closing spider (finished)
  68. 2017-07-11 11:57:15 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
  69. {'downloader/request_bytes': 442,
  70. 'downloader/request_count': 2,
  71. 'downloader/request_method_count/GET': 2,
  72. 'downloader/response_bytes': 34655,
  73. 'downloader/response_count': 2,
  74. 'downloader/response_status_count/200': 2,
  75. 'finish_reason': 'finished',
  76. 'finish_time': datetime.datetime(2017, 7, 11, 3, 57, 15, 83678),
  77. 'log_count/DEBUG': 3,
  78. 'log_count/INFO': 7,
  79. 'response_received_count': 2,
  80. 'scheduler/dequeued': 1,
  81. 'scheduler/dequeued/memory': 1,
  82. 'scheduler/enqueued': 1,
  83. 'scheduler/enqueued/memory': 1,
  84. 'start_time': datetime.datetime(2017, 7, 11, 3, 57, 12, 412970)}
  85. 2017-07-11 11:57:15 [scrapy.core.engine] INFO: Spider closed (finished)
复制代码
会有很多的调试信息。

第2中运行方式结果:
  1. <200 http://zunyi.ganji.com/fang1/>
  2. 广珠商圈范围,两室,三室,四室,皆有住家,办公房源 : 3500 元/月
  3. 海珠广场三室办公用出租 : 2800 元/月
  4. 苟家井二中学校租房一套 : 1500 元/月
  5. 中华路梅岭厂老坛子茶楼临街房 适合开公司和办补习班 住房1楼 : 3000 元/月
  6. 中华路金狮山文明小区 标准小户型2房1厅 带楼顶花园 有钥匙 : 750 元/月
  7. 东方星城居家办公均可! : 1800 元/月
  8. 澳门路光达花园精装3房出租 : 2500 元/月
  9. 珠海路 凯旋城临街办公房源,精装 : 3500 元/月
  10. 办公好房 ,临街好房 方便广告 繁华地段 交通方便采光好 : 2500 元/月
  11. 桃溪路口海丰城精装修两室一厅住房出租,1500每月 : 1500 元/月
  12. 海尔大道状元阁单身公寓出租可三个月一付 : 1300 元/月
  13. 广珠商圈 电梯温馨公寓,一室两室皆有,欢迎来电看房 : 1800 元/月
  14. 澳门路上海路交汇处办公室出租 : 2900 元/月
  15. 松桃路唐人街超市旁6楼 中装1室1厅 带家电家具月租850元 : 850 元/月
  16. 精装修商住楼,高端人士的理想家园 : 750 元/月
  17. 乌江恬园错过就是你的损失咯,拎包即可入住哦! : 900 元/月
  18. 外环路拎包即可入住,好房不等人!别犹豫了!! : 900 元/月
  19. 北京路火车站旱桥瑞诚商厦二室一厅出租 : 1200 元/月
  20. 中华路梅岭厂老坛子茶楼临街房 适合开公司和办补习班 住房1楼 : 3000 元/月
  21. 全新装修单间带卫生间出租 : 800 元/月
  22. 东方星城 两室两厅 精装修 租金低 : 1200 元/月
  23. 一米阳光 电梯房 一室的 1500 可季付 : 1500 元/月
  24. 丁字口国贸楼上三室两厅两卫家具家电齐全住房四楼 : 2200 元/月
  25. 光达花园 南北通透!户型好 : 900 元/月
  26. 桃溪路口 海丰城 电梯楼全齐 拎包入住 : 1498 元/月
  27. 宁波路/福州路一米阳光,装修简约清爽,拎包入住 : 1200 元/月
  28. 宁波路一米阳光二期标准一室一厅出租 : 1200 元/月
  29. 澳门路星金自能大厦大房子出租 : 2500 元/月
  30. 一米阳光二期电梯公寓2室出租 : 2000 元/月
  31. 一米阳光公寓房出租,家电家具全齐 : 1000 元/月
  32. 工薪小区精美好房出租 : 540 元/月
  33. 找一个好相处生活有规律的人合租 : 415 元/月
  34. 澳门路光达花园精装3房出租 : 2500 元/月
  35. 珠海路书香华庭住房出租 : 2500 元/月
  36. 一米阳光二期电梯公寓出租 : 1300 元/月
  37. 中华路梅岭厂大门小户型2室1厅 步梯8楼顶临街的 有钥匙 : 1000 元/月
  38. 广珠商圈范围,两室,三室,四室,皆有住家,办公房源 : 3000 元/月
  39. 逸居推荐 延安路建材市场中装三房 带家电家具 随时看房 : 1300 元/月
  40. 上海路 时代星城新楼、新房、新装修 2室一厅 家具齐全 : 2500 元/月
  41. 连吉第小区私人房源一室一厅 : 610 元/月
  42. 好房出租 1200 东方星城 靠马路边适合办公用 : 1200 元/月
  43. 万里路桃溪路 万里湘江星力城精装两室 全齐配置 : 2900 元/月
  44. 中华路苟家井旁金银新村精装一室 季付出租 : 1200 元/月
  45. 丁字口中华路金银新村两室租房 采光好面积大 : 1300 元/月
  46. 好房,不论地段还是小区环境,装修程度都相当不错 : 3500 元/月
  47. 澳门路北京华联楼上临街小高层电梯房 带有大阳台 可办公开公司 : 2800 元/月
  48. 工新小区精美好房出租 : 540 元/月
  49. 体育馆附近,北海路上海路交界处小区步梯房,低层,停车便宜方便 : 1500 元/月
  50. 上海路沪路一号高档小区电梯房,精装修家电家具齐全拎包入住 : 1500 元/月
  51. 伟业地产琳琳苟家井租房一套 : 850 元/月
  52. 建材路中段精装修家具家电齐全2楼急租 : 1600 元/月
  53. 海尔大道 老年公寓旁 精装修 准3室 家具家电全 拎包入住 : 1900 元/月
  54. 中华路金银新村,钥匙在手,随时看房 : 800 元/月
  55. 工新小区精美好房出租 : 540 元/月
  56. 中华路金银新村,钥匙在手,进出方便, : 600 元/月
  57. 中华路金银新村菜市附近 : 600 元/月
  58. 办公房 出租 人民路 森林苑 122平米 精装修 : 3200 元/月
  59. 中华路老坛子茶楼 步梯平台1楼 适合办公和开补习班 超大户型 : 3000 元/月
复制代码
只会有我们想要的结果。


总结:本项目只是简单地爬取了一页的租房信息,至于更多住房信息的爬取也是比较容易实现的,只需要对爬取初始链接start_urls进行处理即可。

评分

参与人数 2荣誉 +10 鱼币 +15 收起 理由
幽梦三影 + 5
小甲鱼 + 10 + 10 支持楼主!

查看全部评分

本帖被以下淘专辑推荐:

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-7-11 14:09:35 | 显示全部楼层
很实用!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2017-7-11 16:20:17 | 显示全部楼层
多谢,正在学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-7-11 19:55:39 From FishC Mobile | 显示全部楼层
学习学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-8-1 02:36:43 From FishC Mobile | 显示全部楼层
看看
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-9-5 10:48:06 | 显示全部楼层
正需要啊 大神
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-9-5 11:21:57 | 显示全部楼层
8
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-9-5 11:35:19 | 显示全部楼层
看看
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-9-5 11:44:29 | 显示全部楼层
楼主发贴辛苦了,谢谢楼主分享!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-9-19 00:21:02 | 显示全部楼层
进来学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-9-19 08:36:56 | 显示全部楼层
学习学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-9-26 09:59:01 | 显示全部楼层

为什么呢?
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-9-26 17:01:50 | 显示全部楼层
看看~~
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-9-26 17:10:40 | 显示全部楼层
66
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-9-27 11:42:30 | 显示全部楼层
感谢楼主的分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-9-30 20:07:02 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-9-30 21:00:35 | 显示全部楼层
学习啦
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-9-30 22:02:02 | 显示全部楼层
多谢,正在学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-10-2 19:02:12 | 显示全部楼层
66
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-10-5 13:18:11 | 显示全部楼层
早就想看看具体是怎么操作
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-3-29 18:15

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表