QQ登录

只需一步,快速开始

登录 | 立即注册 | 找回密码

主题

帖子

荣誉

新鱼友

Rank: 1

积分
33
查看: 2159|回复: 84

[作品展示] 【申精】小甲鱼爬虫教程第56节的错误及解决方法

[复制链接]
最佳答案
0 
累计签到:29 天
连续签到:1 天
老王他师父 发表于 2016-12-4 16:59:37 215984 | 显示全部楼层 |阅读模式

马上注册加入鱼C,享用更多服务吧^_^

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
本帖最后由 老王他师父 于 2016-12-6 14:08 编辑

最近在临摹小甲鱼爬虫教学的第56章,发现如果按照小甲鱼的代码写,可能会出现一个ssl证书错误,截图如下:

QQ图片20161204165022.png

原代码如下:
  1. import urllib.request
  2. import os

  3. def get_page(url):
  4.     req = urllib.request.Request(url)
  5.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36')
  6.     response = urllib.request.urlopen(url)
  7.     html = response.read().decode('utf-8')

  8.     a = html.find('current-comment-page') + 23
  9.     b = html.find(']', a)

  10.     print(html[a:b])

  11. def find_imgs(url):
  12.     pass

  13. def save_imgs(folder, img_addrs):
  14.     pass

  15. def downloadgirls(folder = 'girls', pages = 10):
  16.     os.mkdir(folder)
  17.     os.chdir(folder)
  18.     url = 'https://jandan.net/ooxx'
  19.     page_num = int(get_page(url))

  20.     for i in range(pages):
  21.         page_num -= i
  22.         page_url = url + '/page-' + str(page_num) + '#comments'
  23.         img_addrs = find_imgs(page_url)
  24.         save_imgs(folder, img_addrs)


  25. if __name__ == '__main__':
  26.     downloadgirls()
复制代码


解决方法:

游客,如果您要查看本帖隐藏内容请回复



@小甲鱼 @康小泡 @拈花小仙 @冬雪雪冬
楼层
跳转到指定楼层
最佳答案
0 
累计签到:12 天
连续签到:1 天
wantchpigs 发表于 2016-12-5 00:18:18 | 显示全部楼层
有什么好的解决办法呢
最佳答案
0 
累计签到:16 天
连续签到:1 天
雪缘再续 发表于 2016-12-5 19:32:40 | 显示全部楼层
现在的煎蛋网采用了https协议,而小甲鱼做这个视频时,网站使用的还是http协议,所以会有这种情况,期待小甲鱼出新的视频,这个视频毕竟比较老了
最佳答案
0 
累计签到:29 天
连续签到:1 天
老王他师父  楼主| 发表于 2016-12-6 09:24:00 | 显示全部楼层
雪缘再续 发表于 2016-12-5 19:32
现在的煎蛋网采用了https协议,而小甲鱼做这个视频时,网站使用的还是http协议,所以会有这种情况,期待小 ...

爬图也爬不了了
最佳答案
0 
累计签到:9 天
连续签到:1 天
day_by_day 发表于 2016-12-6 14:34:25 | 显示全部楼层
我跟着打是能爬到煎蛋的图片的。
最佳答案
0 
累计签到:29 天
连续签到:1 天
老王他师父  楼主| 发表于 2016-12-7 16:22:31 | 显示全部楼层
day_by_day 发表于 2016-12-6 14:34
我跟着打是能爬到煎蛋的图片的。

现在不能了
最佳答案
0 
累计签到:14 天
连续签到:1 天
Death_Glory 发表于 2016-12-7 16:54:14 | 显示全部楼层
最佳答案
2 
累计签到:50 天
连续签到:1 天
qq1477821088 发表于 2016-12-19 17:16:52 | 显示全部楼层
看看
最佳答案
0 
累计签到:44 天
连续签到:1 天
wanllk 发表于 2016-12-19 18:57:18 | 显示全部楼层
hello
最佳答案
0 
累计签到:44 天
连续签到:1 天
wanllk 发表于 2016-12-19 20:11:48 | 显示全部楼层
爬虫教程是哪一个呢?
头像被屏蔽
最佳答案
0 
累计签到:20 天
连续签到:1 天
忘忧草123456 发表于 2016-12-19 23:34:09 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
最佳答案
0 
累计签到:16 天
连续签到:1 天
忘忧草456789 发表于 2016-12-19 23:48:17 | 显示全部楼层
厉害
最佳答案
0 
累计签到:26 天
连续签到:1 天
忘忧草Allen 发表于 2016-12-20 21:01:41 | 显示全部楼层
厉害
最佳答案
0 
累计签到:57 天
连续签到:2 天
spur 发表于 2016-12-29 23:02:04 | 显示全部楼层
我也现在爬不了了 估计是这么原因:
现在的煎蛋网采用了https协议,而小甲鱼做这个视频时,网站使用的还是http协议,所以会有这种情况,期待小甲鱼出新的视频,这个视频毕竟比较老了
最佳答案
2 
累计签到:69 天
连续签到:3 天
qianlixiaozhuoz 发表于 2016-12-29 23:35:43 | 显示全部楼层
学习学习
最佳答案
0 
累计签到:3 天
连续签到:1 天
Cbinger 发表于 2017-1-9 18:11:46 | 显示全部楼层
有解决办法吗?
最佳答案
0 
累计签到:37 天
连续签到:1 天
supercyt 发表于 2017-1-9 21:18:36 | 显示全部楼层
最佳答案
0 
累计签到:15 天
连续签到:1 天
woainigui888 发表于 2017-1-12 12:41:51 | 显示全部楼层
谢谢楼主分享
最佳答案
0 

尚未签到

lhy5520097 发表于 2017-1-15 20:49:31 | 显示全部楼层
最佳答案
0 
累计签到:8 天
连续签到:1 天
guangwei_cai 发表于 2017-1-16 10:17:26 | 显示全部楼层

发表回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

小甲鱼强烈推荐 上一条 /1 下一条

    移动客户端下载(未启用)
    微信公众号

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备11014136号

Copyright 2018 鱼C论坛 版权所有 All Rights Reserved.

Powered by Discuz! X3.1 Copyright
© 2001-2018 Comsenz Inc.    All Rights Reserved.

小黑屋|手机版|Archiver|鱼C工作室 ( 粤公网安备 44051102000370号 | 粤ICP备11014136号

GMT+8, 2018-4-25 18:48

快速回复 返回顶部 返回列表