QQ登录

只需一步,快速开始

登录 | 立即注册 | 找回密码

主题

帖子

荣誉

鱼友Ⅲ

Rank: 4Rank: 4

积分
420
查看: 695|回复: 44

[学习笔记] 35 认识Scrapy框架

[复制链接]
最佳答案
17 
累计签到:189 天
连续签到:8 天
和vvv 发表于 2017-7-1 16:21:29 69544 | 显示全部楼层 |阅读模式

马上注册加入鱼C,享用更多服务吧^_^

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
本帖最后由 和vvv 于 2017-11-20 10:33 编辑
35 认识Scrapy框架

(1)为什么要认识Scrapy框架呢?这就相当于当初我为什么选择学Python语言(简单易懂效果好啊)。说起框架,先简单地说几句吧。


(2)所谓框架(先来一段),是整个或部分系统的可重用设计,表现为一组抽象构件及构件实例间交互的方法;另一种定义认为,框架是可被应用开发者定制的应用骨架。前者是从应用方面而后者是从目的方面给出的定义。不管怎样,框架有这样一个好处:一个框架是一个可复用的设计构件,能够极大程度上地提高效率和速率。


(3)Scrapy是一个使用Python编写的,轻量级的,简单轻巧,并且使用起来非常的方便。就是这样的:

        Scrapy is an application framework for crawling web sites and extracting structured data which can be used for a wide range of useful applications, like data mining, information processing or historical archival.
Even though Scrapy was originally designed for web scraping, it can also be used to extract data using APIs (such as
Amazon Associates Web Services) or as a general purpose web crawler.

这段话的意思就是说Scrapy框架和厉害,不仅仅可以用来爬取数据,进行数据的处理,还能做很多的事。一句话,牛逼!



(4)想当年,我们写的爬虫都是单个单个的文件,毫无组织毫无纪律,因此只能进行一些小动作。而学习了框架之后,你的手下就有了许多服从命令的兵,你的主要作用就是排兵布阵,进行全局的掌控。决胜千里,那些小动作,已不再需要你去做了,已经有更屌的人为你做了。


(5)学习一个框架,不能只重视学习使用,而应学习原理。框架是谁写的呢?人写的。因此,如果有一天出故障了,你怎么办。因此,我认为,学习框架的最高境界就是我自己也写出了一个不错的框架。到那时,想干什么,还不是动动手的事。


我还是这样认为的,教程还是官方文档的好(其他的做辅助)。这是Scrapy官方文档(比较新的版本):


链接:http://pan.baidu.com/s/1kVzFMtx 密码:xte8



评分

参与人数 1鱼币 +4 收起 理由
小甲鱼 + 4

查看全部评分

本帖被以下淘专辑推荐:

楼层
跳转到指定楼层
最佳答案
1 
累计签到:104 天
连续签到:1 天
karlyes 发表于 2017-7-1 17:31:45 | 显示全部楼层
为什么呢?
最佳答案
0 
累计签到:4 天
连续签到:1 天
zhengsc 发表于 2017-7-1 17:46:05 From FishC Mobile | 显示全部楼层
看看
最佳答案
2 
累计签到:33 天
连续签到:1 天
当时就吓傻了 发表于 2017-8-1 02:31:19 From FishC Mobile | 显示全部楼层
来看看
最佳答案
0 

尚未签到

cc1206 发表于 2017-8-1 03:45:29 | 显示全部楼层
学习下
最佳答案
1 
累计签到:33 天
连续签到:1 天
景命 发表于 2017-9-4 19:02:48 | 显示全部楼层
加油
最佳答案
0 

尚未签到

JKmorgan 发表于 2017-9-4 19:06:40 | 显示全部楼层
加油
最佳答案
0 

尚未签到

chinahubo 发表于 2017-9-5 10:17:29 | 显示全部楼层
新手学习
最佳答案
0 
累计签到:5 天
连续签到:1 天
hzswh557 发表于 2017-9-5 11:21:53 | 显示全部楼层
我也要学习
最佳答案
2 
累计签到:69 天
连续签到:3 天
qianlixiaozhuoz 发表于 2017-9-5 11:31:04 | 显示全部楼层
learn
最佳答案
0 
累计签到:36 天
连续签到:1 天
一个热爱学习的 发表于 2017-9-5 18:29:22 | 显示全部楼层
看看
最佳答案
0 

尚未签到

带三个表 发表于 2017-9-12 18:52:02 | 显示全部楼层
666666666666666
最佳答案
0 

尚未签到

pabc53 发表于 2017-9-19 00:14:33 | 显示全部楼层
为什么呢
最佳答案
0 
累计签到:7 天
连续签到:1 天
Jailz 发表于 2017-9-20 15:49:58 | 显示全部楼层
看看
最佳答案
2 
累计签到:413 天
连续签到:4 天
tmkuej 发表于 2017-9-26 09:56:22 | 显示全部楼层

为什么呢?
最佳答案
1 
累计签到:8 天
连续签到:1 天
了解2号 发表于 2017-9-26 10:06:37 | 显示全部楼层
爬虫最帅
最佳答案
5 
累计签到:50 天
连续签到:1 天
mass 发表于 2017-9-26 13:39:31 | 显示全部楼层
回复可见
最佳答案
0 
累计签到:2 天
连续签到:1 天
Brance 发表于 2017-9-26 15:07:06 | 显示全部楼层
了解一下
最佳答案
5 
累计签到:36 天
连续签到:1 天
文明的读书人 发表于 2017-9-26 16:59:00 | 显示全部楼层
why?
最佳答案
0 

尚未签到

瓦蓝 发表于 2017-9-26 22:18:39 | 显示全部楼层

发表回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

小甲鱼强烈推荐 上一条 /2 下一条

    移动客户端下载(未启用)
    微信公众号

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备11014136号

Copyright 2018 鱼C论坛 版权所有 All Rights Reserved.

Powered by Discuz! X3.1 Copyright
© 2001-2018 Comsenz Inc.    All Rights Reserved.

小黑屋|手机版|Archiver|鱼C工作室 ( 粤公网安备 44051102000370号 | 粤ICP备11014136号

GMT+8, 2017-12-17 14:15

快速回复 返回顶部 返回列表