鱼C论坛

 找回密码
 立即注册
查看: 4527|回复: 23

[技术交流] 36 Scrapy命令交互模式

[复制链接]
发表于 2017-7-11 10:29:40 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 和vvv 于 2017-11-25 12:10 编辑
36 Scrapy命令交互模式
利用Scrapy的命令交互模式可以对目标网页进行分析与查看,如能否正常访问、返回的网页与浏览器打开是否有差别(关于scrapy的安装,网上有很多的方法。)。可以在CMD命令行下利用这条命令:
  1. scrapy shell 网址
复制代码
1.png
现在我们用百度来尝试一下:
  1. scrapy shell http://www.baidu.com/
复制代码
访问成功后会今日IPython命令模式:

1.png



返回的网页数据保存在response变量中,使用view(response)会将网页返回数据以系统默认的浏览器打开。在ipython命令行中输入response和view(response):
2.png



可以发现浏览器打开了百度首页,正是我们要爬取的网站:
3.png



再回到刚才的命令行中,我们用xpath表达式简单的提取一下网页标题:
  1. response.xpath("/html/head/title/text()").extract()
复制代码
结果:
  1. In [4]: response.xpath("/html/head/title/text()").extract()
  2. Out[4]: ['百度一下,你就知道']
复制代码


总结:在我们爬取目标网页之前,最好先用scrapy shell 查看一下。因为大多数网站都有反爬技术,这样做可以给我们减少很多不必要的工作。正如上面,命令行模式也能对网页信息进行提取。命令交互模式是一个很有用的东西,特别是对于大型项目。



评分

参与人数 2荣誉 +6 鱼币 +11 收起 理由
幽梦三影 + 5
小甲鱼 + 6 + 6 热爱鱼C^_^

查看全部评分

本帖被以下淘专辑推荐:

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-7-13 16:57:48 | 显示全部楼层
学习爬虫。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-8-1 02:34:16 From FishC Mobile | 显示全部楼层
看看
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-8-1 07:06:50 | 显示全部楼层
学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-9-5 11:37:12 | 显示全部楼层
nice
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-9-5 14:10:40 | 显示全部楼层
scrapy  hahhahahaha
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-9-7 10:50:27 | 显示全部楼层
6
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-9-19 08:42:43 | 显示全部楼层
楼主,你是一个大好人!!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-9-26 09:57:33 | 显示全部楼层

为什么呢?
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-9-26 11:02:12 | 显示全部楼层
还没看到就要回复,好无语
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-9-26 15:24:20 | 显示全部楼层
看看~~
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-9-26 22:13:53 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-9-27 11:41:28 | 显示全部楼层
谢谢楼主分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-10-2 18:42:14 | 显示全部楼层
1
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-10-12 16:58:41 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-10-12 17:27:25 From FishC Mobile | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-10-13 20:26:22 | 显示全部楼层
正想学习,多谢分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-10-13 20:42:27 | 显示全部楼层
小甲鱼都出现了,厉害
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-10-14 21:43:37 | 显示全部楼层
6666
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-10-18 10:02:55 | 显示全部楼层
kankan
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-3-29 18:36

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表