QQ登录

只需一步,快速开始

登录 | 立即注册 | 找回密码

主题

帖子

荣誉

VIP至尊会员

Rank: 15Rank: 15Rank: 15

积分
156
查看: 2726|回复: 93

[技术交流] 发一只我一直在用的爬虫——爬取“解闷”动态图的爬虫,绅士不妨留步^=^

  [复制链接]
最佳答案
0 
累计签到:76 天
连续签到:1 天
疾风。意破天晴 发表于 2017-10-12 20:28:43 272693 | 显示全部楼层 |阅读模式

马上注册加入鱼C,享用更多服务吧^_^

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
本帖最后由 疾风。意破天晴 于 2017-10-12 22:04 编辑

因为GIF这种东西似乎从诞生到现在一直挺流行的,所以我今天再来爬上一记^_^
我用爬虫也不是一天两天了,所以应该有资格给新新手们指导一下了:
爬一个页面在我看来就三步,一定位想要的资源,二搞清页面的结构,三理出程序的结构。
第一和第二步做好了,你就能得到爬虫的攀爬路径,然后根据此路径便可做到第三步,届时你的程序就差不多编好了,然后就来到最终的:
while 1:
        try:
                run my app
                break
        except:
                fix my app
说一下我在刚学爬虫时遇到的问题:
1:        出现 ModuleNotFoundError: No module named "ooxxooxx"?
        那么就去pip安装相应的包(其实代码语言排错和静态语言比起来简直太容易了,基本无需Debug,只要你英语过得去,那么根据错误提示一般都能                       
        解决问题)
2:        怎么爬ajax的页面?
        在当前页面右键审查元素,然后找到Network下的xhr,当有ajax请求时会有记录
3:        网站网络不稳定,或者有反爬虫机制怎么办?
        在当前页面右键审查元素,然后把请求头复制一份,每次提取完资源后都time.sleep(second),并且每次尝试抓取做好异常处理(防止中断)并设置               
        timeout(防止死等),具体的可以参照我的代码。
好了,就这些,你以为爬虫是个什么东西?,看看学校图书馆里面那么一堆的书把你们吓的。。。作一个基本爬虫,这就是你所需要的全部。

游客,如果您要查看本帖隐藏内容请回复

福利图片:
0.gif
1.gif
2.gif
3.gif

相关网址推荐:
http://htwgif.com/(嗨图屋):(这好像是个新网站,不过每天都更新

http://www.gifjia.com/category/neihan/(GIF发源地): (这个应该都听过

http://www.fulibae.com/ (福利社)(这里面就挺杂的了,寂寞了看看吧

have good day^_^

评分

参与人数 1荣誉 +5 鱼币 +5 贡献 +3 收起 理由
膜法记者 + 5 + 5 + 3 感谢楼主无私奉献!

查看全部评分

楼层
跳转到指定楼层
最佳答案
223 
累计签到:164 天
连续签到:12 天
丶忘却的年少o 发表于 2017-10-12 20:36:25 | 显示全部楼层
放我下车,我的身体一天不如一天了,不能再上车了
最佳答案
0 
累计签到:126 天
连续签到:1 天
小木偶 发表于 2017-10-12 22:39:11 | 显示全部楼层
让鸡儿放天假
最佳答案
0 
累计签到:3 天
连续签到:1 天
熊爱荔枝 发表于 2017-10-12 23:20:54 | 显示全部楼层
啦啦啦
最佳答案
0 
累计签到:26 天
连续签到:2 天
yunzhongzhuhuo 发表于 2017-10-13 09:34:16 | 显示全部楼层
最佳答案
1 
累计签到:30 天
连续签到:1 天
WP叶超 发表于 2017-10-13 17:08:53 | 显示全部楼层
看看看看,嘿嘿嘿
最佳答案
0 

尚未签到

nobocly 发表于 2017-10-13 17:22:18 | 显示全部楼层
代码,惊现
最佳答案
0 
累计签到:782 天
连续签到:56 天
无与杰嵩1 发表于 2017-10-13 19:06:58 | 显示全部楼层
好东西啊,谢谢楼主分享
最佳答案
0 

尚未签到

瓦蓝 发表于 2017-10-13 22:20:00 | 显示全部楼层
最佳答案
0 
累计签到:1 天
连续签到:1 天
1173419450 发表于 2017-10-14 11:21:07 | 显示全部楼层
厉害了
最佳答案
0 
累计签到:61 天
连续签到:5 天
dux6159 发表于 2017-10-14 11:59:42 | 显示全部楼层
路过看看。。
最佳答案
9 
累计签到:277 天
连续签到:2 天
xindong 发表于 2017-10-14 13:07:55 | 显示全部楼层
学习代码
最佳答案
0 
累计签到:715 天
连续签到:70 天
mmggkk1000 发表于 2017-10-14 13:10:10 | 显示全部楼层
既得福利,又学知识,不错。
最佳答案
0 

尚未签到

hbxj2017 发表于 2017-10-14 15:01:52 | 显示全部楼层
见识一下
最佳答案
0 

尚未签到

Anner5 发表于 2017-10-14 21:13:47 | 显示全部楼层
学习代码
最佳答案
0 
累计签到:1 天
连续签到:1 天
aishiwei 发表于 2017-10-15 16:17:58 From FishC Mobile | 显示全部楼层
不是说不用回复就可以看码
最佳答案
0 
累计签到:1 天
连续签到:1 天
不做试验了 发表于 2017-10-15 17:32:30 | 显示全部楼层
试试看
最佳答案
0 
累计签到:1 天
连续签到:1 天
gl5703 发表于 2017-10-16 17:07:50 | 显示全部楼层
看看
最佳答案
2 
累计签到:50 天
连续签到:1 天
lakerszhy 发表于 2017-10-16 17:26:41 | 显示全部楼层
赞一个,围观网址推荐
最佳答案
0 
累计签到:3 天
连续签到:1 天
Mojito 发表于 2017-10-16 20:53:53 | 显示全部楼层
学习知识

发表回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

小甲鱼强烈推荐 上一条 /2 下一条

    移动客户端下载(未启用)
    微信公众号

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备11014136号

Copyright 2018 鱼C论坛 版权所有 All Rights Reserved.

Powered by Discuz! X3.1 Copyright
© 2001-2018 Comsenz Inc.    All Rights Reserved.

小黑屋|手机版|Archiver|鱼C工作室 ( 粤公网安备 44051102000370号 | 粤ICP备11014136号

GMT+8, 2017-12-17 14:16

快速回复 返回顶部 返回列表