~~~~(>_<)~~~~新手帮别人解答问题，但是被新的问题难到了

文明的读书人

我是一个新手，今天在论坛上看到一个求助帖，本着助人为乐的心态，去帮他把程序改了改，结果产生新的问题，下载的图片有时候是正常的，但更多的是1KB大小。 原贴链接：这个爬虫总是报错，请大神帮帮忙
http://bbs.fishc.com/thread-84061-1-1.html
(出处: 鱼C论坛)
下面是我的代码，在pycharm上运行的：

1. #coding=utf-8
   
2. import urllib
   
3. import re
   
4. url = 'http://jandan.net/ooxx'
   
5. page = urllib.urlopen(url)
   
6. html = page.read()
   
7. #print html
   
8. req = r'<img src="//(.*?)" />'
   
9. reg = re.compile(req)
   
10. img_addrs = re.findall(reg,html)
    
11. print img_addrs
    
12. for i in xrange(0,len(img_addrs)):
    
13.     img_addrs[i] = "http://"+img_addrs[i]
    
14. print img_addrs
    
15. t = len(img_addrs)
    
16. print t
    
17. x = 1
    
18. for img_url in img_addrs:
    
19.     try:
    
20.         urllib.urlretrieve(img_url,'%s.jpg' %x)
    
21.         x+=1
    
22.         print "下载完成第%d张图片:%s" %(x,img_url)
    
23.     except Exception, e:
    
24.         print "下载图片失败:%s" %(img_url)
    
25. print '报告:下载完成!'
    

复制代码

新手求大神帮忙。。。

文明的读书人

@猥琐不是错

文明的读书人

╮(╯▽╰)╭，我重新用request模块写了个，urlli模块不太会用。

1. #coding=utf-8
   
2. import re
   
3. import requests
   
4. url = 'http://jandan.net/ooxx'
   
5. html = requests.get(url).text
   
6. pic_url = re.findall(r'<img src="//(.*?)" />',html,re.S)
   
7. print pic_url #测试正则表达式是否成功
   
8. for i in xrange(0,len(pic_url)):
   
9.     pic_url[i] = "http://"+pic_url[i]
   
10. print pic_url #测试是否获取到图片链接
    
11. t = len(pic_url)
    
12. print t #图片的数量
    
13. i = 0
    
14. for each in pic_url:
    
15.     try:
    
16.         pic= requests.get(each, timeout=10)
    
17.     except requests.exceptions.ConnectionError:
    
18.         print '【错误】当前图片无法下载'
    
19.         continue
    
20.     string = '%s.jpg' %i
    
21.     fp = open(string,'wb')
    
22.     fp.write(pic._content)
    
23.     fp.close()
    
24.     i += 1
    
25. print '下载完成'

复制代码

这个是成功的。但是为嘛urllib下载的是1KB。。。

lumber2388779

文明的读书人 发表于 2017-3-12 20:45
╮(╯▽╰)╭，我重新用request模块写了个，urlli模块不太会用。

这个是成功的。但是为嘛urll ...

复制你的代码测了下
发现xrange(0,len(pic_url)):这里写错了range吧
去掉后我下载是正常的 图片基本都正常可以访问，你是不是网速问题，还是防火墙的问题
我是直接用python本身的idle运行的

文明的读书人

lumber2388779 发表于 2017-3-13 10:14
复制你的代码测了下
发现xrange(0,len(pic_url)):这里写错了range吧
去掉后我下载是正常的 图片基本 ...

xrange与range没啥区别。。。

lumber2388779

文明的读书人 发表于 2017-3-13 13:40
xrange与range没啥区别。。。

我用的是3.6版本xrange被取消了 我运行是没有问题的 下载一切正常
你试下用python原生的idle试下下载正常否

文明的读书人

估计是我的网络有问题 我用3.6的idle运行了一下。。。

deadofpeople

是不是你ip被jandan封了，试试设置user-agent，设置间隔时间下载看看

文明的读书人

deadofpeople 发表于 2017-3-13 16:16
是不是你ip被jandan封了，试试价格user-agent，设置间隔时间下载看看

ip被封了，不可能吧，我用另外一个程序，也就是二楼的那个程序，能爬取，同一台电脑。。。

deadofpeople

正常，python2.7

文明的读书人

deadofpeople 发表于 2017-3-13 16:30
正常，python2.7

哪种方法，用没用user-agent

deadofpeople

文明的读书人 发表于 2017-3-13 16:44
哪种方法，用没用user-agent

就是你贴的程序，urllib

文明的读书人

为嘛我只能下载1KB，早知道我就用python2的idle试试，上面那位仁兄用python3的idle试的，我也用3，为了兼容，又重新修改程序。。。心累，还是下载不了。。。
我估计是我网络问题，但具体是什么，由什么产生还是不懂。

lumber2388779

文明的读书人 发表于 2017-3-13 16:55
为嘛我只能下载1KB，早知道我就用python2的idle试试，上面那位仁 ...

你检查下你的电脑防火墙是不是打开了 或者是不是有什么杀毒软件给管控了
我在家在公司都可以 中间貌似有一张只有1.69K其他都是正常