[已解决]Python第56章OOXX那一章有人看吗？我照做可是不对，求帮助，谢谢

多好呀啦

我的代码是这样子的：

1. import urllib.request
   
2. import os
   
3. 
   
4. def url_open(url):
   
5.     req=urllib.request.Request(url)
   
6.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36')
   
7.     response=urllib.request.urlopen(url)
   
8.     html=response.read()
   
9.     return html
   
10. 
    
11. 
    
12. def get_page(url):
    
13. 
    
14.     html=url_open(url).decode('utf-8')
    
15.    
    
16.     a=html.find('current-comment-page')+23
    
17.     b=html.find(']',a)
    
18.     return html[a:b]
    
19.                   
    
20. 
    
21. 
    
22. def find_imgs(url):
    
23.     html=url_open(url).decode('utf-8')
    
24.     img_addrs=[]
    
25.    
    
26.     a=html.find('img src=')
    
27.     while a!=-1:
    
28.         b=html.find('.jpg',a,a+225)
    
29.         if b!=-1:
    
30.             img_addrs.append(html[a+9:b+4])
    
31.         else:
    
32.             b=a+9
    
33.         a=html.find('img src=',b)
    
34.     return img_addrs
    
35. 
    
36. 
    
37. def save_imgs(folder,img_addrs):
    
38.     for each in img_addrs:
    
39.         filename=each.split('/')[-1]
    
40.         with open(filename,'wb') as f:
    
41.             img=url_open(each)
    
42.             f.write(img)
    
43. 
    
44. 
    
45. 
    
46. def download_mm(folder='小黄图',pages=10):
    
47.     os.mkdir(folder)
    
48.     os.chdir(folder)
    
49. 
    
50.     url='http://jandan.net/ooxx/'
    
51.     page_num=int(get_page(url))
    
52. 
    
53.     for i in range(pages):
    
54.         page_num-=i
    
55.         page_url=url+'page-'+str(page_num)+'#comments'
    
56.         img_addrs=find_imgs(page_url)
    
57.         save_imgs(folder,img_addrs)
    
58.         
    
59. if __name__ == '__main__':
    
60.     download_mm()

复制代码

可是运行后文件夹出来了，里面只有一个空空的图片，错误如下：

1. Traceback (most recent call last):
   
2.   File "C:\Users\Administrator\Desktop\OOXX.py", line 60, in <module>
   
3.     download_mm()
   
4.   File "C:\Users\Administrator\Desktop\OOXX.py", line 57, in download_mm
   
5.     save_imgs(folder,img_addrs)
   
6.   File "C:\Users\Administrator\Desktop\OOXX.py", line 41, in save_imgs
   
7.     img=url_open(each)
   
8.   File "C:\Users\Administrator\Desktop\OOXX.py", line 5, in url_open
   
9.     req=urllib.request.Request(url)
   
10.   File "D:\lib\urllib\request.py", line 268, in __init__
    
11.     self.full_url = url
    
12.   File "D:\lib\urllib\request.py", line 294, in full_url
    
13.     self._parse()
    
14.   File "D:\lib\urllib\request.py", line 323, in _parse
    
15.     raise ValueError("unknown url type: %r" % self.full_url)
    
16. ValueError: unknown url type: '//ww2.sinaimg.cn/mw600/661eb95cgw1fb40ppksiwj20sg16on3k.jpg'

复制代码

我一点都不懂什么意思，麻烦大家了，谢谢

最佳答案

月排行榜 / 总排行榜

Liangmp

2016-12-26 20:43:00

同学你好，我在看视频的练习过程中也遇到了同样的问题，错误提示跟你的一样：
ValueError: unknown url type: '//ww2.sinaimg.cn/mw600/661eb95cgw1fb40ppksiwj20sg16on3k.jpg'
可以看到，错误提示里面的unknown url type缺少了'http:'，所以我们把缺少的补上就可以了，以下是我参照8楼的代码，对小甲鱼老师的原始代码的修改：

1. import urllib.request
   
2. import os
   
3. import re
   
4. 
   
5. def url_open(url):
   
6.     req=urllib.request.Request(url)
   
7.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22 Safari/537.36 SE 2.X MetaSr 1.0')
   
8.     response=urllib.request.urlopen(url)
   
9.     html=response.read()
   
10.     return html
    
11. 
    
12. 
    
13. def get_page(url):
    
14. 
    
15.     html=url_open(url).decode('utf-8')
    
16.     re_page = r'\[(\d{4,})\]'  #匹配初始页码[2290]
    
17.     findpage =re.findall(re_page,html)
    
18.     pagenum = findpage[0]
    
19.     print('start pagenum is :')
    
20.     print(pagenum)
    
21.     return pagenum
    
22.                   
    
23. def find_imgs(url):
    
24.     html=url_open(url).decode('utf-8')
    
25.     '''
    
26.     img_addrs=[]
    
27.    
    
28.     a=html.find('img src=')
    
29.     while a!=-1:
    
30.         b=html.find('.jpg',a,a+225)
    
31.         if b!=-1:
    
32.             img_addrs.append(html[a+9:b+4])
    
33.         else:
    
34.             b=a+9
    
35.         a=html.find('img src=',b)
    
36.     return img_addrs
    
37.     '''
    
38.     pattern = r'<img src="(.*?)"'
    
39.     img_addrs = re.findall(pattern,html,re.M)
    
40.     return img_addrs
    
41.    
    
42. def save_imgs(folder,img_addrs):
    
43.     for each in img_addrs:
    
44.         if 'http:' not in each:
    
45.             filename=each.split('/')[-1]
    
46.             eachhttp = 'http:' + each
    
47.             print(eachhttp)
    
48.             with open(filename,'wb') as f:
    
49.                 img=url_open(eachhttp)
    
50.                 f.write(img)
    
51.         else:
    
52.             filename=each.split('/')[-1]
    
53.             print(each)
    
54.             urllib.request.urlretrieve(each,filename)
    
55. 
    
56. def download_mm(folder='mm图',pages=10):
    
57.     os.mkdir(folder)
    
58.     os.chdir(folder)
    
59. 
    
60.     url='http://jandan.net/ooxx/'
    
61.     #url = 'http://jandan.net/pic/'  #同理，我们也可以用这份代码爬取无聊图
    
62.     page_num=int(get_page(url))
    
63. 
    
64.     for i in range(pages):
    
65.         page_num-=i
    
66.         page_url=url+'page-'+str(page_num)+'#comments'
    
67.         img_addrs=find_imgs(page_url)
    
68.         save_imgs(folder,img_addrs)
    
69.         
    
70. if __name__ == '__main__':
    
71.     download_mm()
    

复制代码

小小说明：
这份代码是把该网页上的所有图片（包括jpg格式和gif格式），所以一些与mm无关的图也可能会被爬取下来哦。
有时候会出现403error，有可能是被发现是爬虫而拦截了，你再试一两次就好。
个人认为8楼的代码写得很好，我有很多地方的修改都是参照8楼的。
亲测可用。
本人也是个新手，请多多指教~

跳转到最佳答案楼层

Liangmp

同学你好，我在看视频的练习过程中也遇到了同样的问题，错误提示跟你的一样：
ValueError: unknown url type: '//ww2.sinaimg.cn/mw600/661eb95cgw1fb40ppksiwj20sg16on3k.jpg'
可以看到，错误提示里面的unknown url type缺少了'http:'，所以我们把缺少的补上就可以了，以下是我参照8楼的代码，对小甲鱼老师的原始代码的修改：

1. import urllib.request
   
2. import os
   
3. import re
   
4. 
   
5. def url_open(url):
   
6.     req=urllib.request.Request(url)
   
7.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22 Safari/537.36 SE 2.X MetaSr 1.0')
   
8.     response=urllib.request.urlopen(url)
   
9.     html=response.read()
   
10.     return html
    
11. 
    
12. 
    
13. def get_page(url):
    
14. 
    
15.     html=url_open(url).decode('utf-8')
    
16.     re_page = r'\[(\d{4,})\]'  #匹配初始页码[2290]
    
17.     findpage =re.findall(re_page,html)
    
18.     pagenum = findpage[0]
    
19.     print('start pagenum is :')
    
20.     print(pagenum)
    
21.     return pagenum
    
22.                   
    
23. def find_imgs(url):
    
24.     html=url_open(url).decode('utf-8')
    
25.     '''
    
26.     img_addrs=[]
    
27.    
    
28.     a=html.find('img src=')
    
29.     while a!=-1:
    
30.         b=html.find('.jpg',a,a+225)
    
31.         if b!=-1:
    
32.             img_addrs.append(html[a+9:b+4])
    
33.         else:
    
34.             b=a+9
    
35.         a=html.find('img src=',b)
    
36.     return img_addrs
    
37.     '''
    
38.     pattern = r'<img src="(.*?)"'
    
39.     img_addrs = re.findall(pattern,html,re.M)
    
40.     return img_addrs
    
41.    
    
42. def save_imgs(folder,img_addrs):
    
43.     for each in img_addrs:
    
44.         if 'http:' not in each:
    
45.             filename=each.split('/')[-1]
    
46.             eachhttp = 'http:' + each
    
47.             print(eachhttp)
    
48.             with open(filename,'wb') as f:
    
49.                 img=url_open(eachhttp)
    
50.                 f.write(img)
    
51.         else:
    
52.             filename=each.split('/')[-1]
    
53.             print(each)
    
54.             urllib.request.urlretrieve(each,filename)
    
55. 
    
56. def download_mm(folder='mm图',pages=10):
    
57.     os.mkdir(folder)
    
58.     os.chdir(folder)
    
59. 
    
60.     url='http://jandan.net/ooxx/'
    
61.     #url = 'http://jandan.net/pic/'  #同理，我们也可以用这份代码爬取无聊图
    
62.     page_num=int(get_page(url))
    
63. 
    
64.     for i in range(pages):
    
65.         page_num-=i
    
66.         page_url=url+'page-'+str(page_num)+'#comments'
    
67.         img_addrs=find_imgs(page_url)
    
68.         save_imgs(folder,img_addrs)
    
69.         
    
70. if __name__ == '__main__':
    
71.     download_mm()
    

复制代码

小小说明：
这份代码是把该网页上的所有图片（包括jpg格式和gif格式），所以一些与mm无关的图也可能会被爬取下来哦。
有时候会出现403error，有可能是被发现是爬虫而拦截了，你再试一两次就好。
个人认为8楼的代码写得很好，我有很多地方的修改都是参照8楼的。
亲测可用。
本人也是个新手，请多多指教~

忘忧草001

路过

skeep

你对于url的拼接有问题

skeep

1. while a!=-1:
   
2.         b=html.find('.jpg',a,a+225)
   
3.         if b!=-1:
   
4.             img_addrs.append(html[a+9:b+4])
   
5.         else:
   
6.             b=a+9
   
7.         a=html.find('img src=',b)

复制代码

append的内容你修改修改

多好呀啦

skeep 发表于 2016-12-27 09:26
你对于url的拼接有问题

请问什么叫做拼接有问题呀？然后append那里修改了一下发现还是不行呀，照着小甲鱼使用代理前和使用代理后的代码都试过了也不可以，从来没接触过编程，拜托指导一下麻烦了！谢谢

铅笔不爱冬丶

如果你不怕我是骗子的话可以加我微信ye_feng23我也遇到这个问题了，昨晚解决的。并且在新手乐园板块发了这个帖子

多好呀啦

铅笔不爱冬丶 发表于 2016-12-27 17:55
如果你不怕我是骗子的话可以加我微信ye_feng23我也遇到这个问题了，昨晚解决的。并且在新手乐园板块发了这 ...

当然不会啦，愿意教我真是太好啦，就是我是新的不能再新的新手，如果你不嫌弃的话那我就加你啦

铅笔不爱冬丶

1. import urllib.request
   
2. import os,re
   
3. import random
   
4. 
   
5. 
   
6. 
   
7. def url_open(url):
   
8.     req = urllib.request.Request(url)
   
9.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36')
   
10. 
    
11.     response = urllib.request.urlopen(req)
    
12.     html = response.read()
    
13. 
    
14.     return html
    
15. 
    
16. 
    
17.    
    
18. def get_page(url):
    
19.     html = url_open(url).decode('utf-8')
    
20.     zhengze= r'\[(\d{4,})\]'
    
21.     page1 = re.findall(zhengze, html)
    
22.     page2 = page1[0]
    
23.     print(page2)
    
24.     return page2
    
25. 
    
26. def find_imgs(url):
    
27.     html = url_open(url).decode('utf-8')
    
28.     pat = r'<img src="(.*?)"'
    
29.     img_addrs = re.findall(pat, html, re.M)
    
30.     return img_addrs
    
31. 
    
32. 
    
33. 
    
34. def download_mm(pages=10):
    
35. 
    
36.     url = "http://jandan.net/ooxx/"
    
37.     page_num= int(get_page(url))
    
38. 
    
39.     for i in range(pages):
    
40.           page_num -=i
    
41.           page_url = url + 'page-' + str(page_num) + '#comments'
    
42.           img_addrs=find_imgs(page_url)
    
43.           for each3 in img_addrs:
    
44.             if 'http:' not in each3:
    
45.                 filename = each3.split("/")[-1]
    
46.                 each4 = 'http:' + each3
    
47.                 print(each4)
    
48.                 with open(filename,'wb') as f:
    
49.                     img = url_open(each4)
    
50.                     f.write(img)
    
51.             else:
    
52.                 filename = each3.split("/")[-1]
    
53.                 print(each3)
    
54.                 urllib.request.urlretrieve(each3,filename)
    
55.               
    
56. 
    
57. if __name__ == '__main__':
    
58.     download_mm()
    
59. 
    

复制代码

举个例子：
爬取下来的url如下：
//ww3.sinaimg.cn/mw600/661eb95cgw1fb40pjnbu3j20n50ycmzh.jpg
Python无法识别这个url
然后手动在url之前加上"http:"
url变成：http://ww3.sinaimg.cn/mw600/661eb95cgw1fb40pjnbu3j20n50ycmzh.jpg
Python就能识别并且下载了。
所以解决方法就是把img_addrs这个列表中的每一个元素，如果不包含http，就在前面加一个http
这串代码亲测可行，放在你建立的小黄图文件夹下运行就好了

z2003418

ValueError: unknown url type: '//ww2.sinaimg.cn/mw600/661eb95cgw1fb40ppksiwj20sg16on3k.jpg'
这个已经说清楚了 没有写对连接地址 应该有http：的，修改一下就好了

lucky7

Liangmp 发表于 2016-12-28 12:03
同学你好，我在看视频的练习过程中也遇到了同样的问题，错误提示跟你的一样：
ValueError: unknown url ty ...

你好，我用了你这个代码，但还是报错啊，报错原因为

pagenum = findpage[0]  IndexError: list index out of range，不知道是什么原因呀。
新手小白，请多多赐教。谢谢。