[已解决]爬某网站妹子图老是报错

waitforlove

1. import urllib.request as q
   
2. import os,re
   
3. import urllib.error
   
4. 
   
5. def readurl(url):
   
6.     head={}
   
7. 
   
8.     head['User-Agent']='Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0)'
   
9.     req=q.Request(url,headers=head)
   
10.     try:
    
11.         res=q.urlopen(url)
    
12.     except urllib.error.HTTPError as cwu:
    
13.         return cwu.code
    
14.     except urllib.error.URLError as ucwu:
    
15.         return ucwu.code
    
16. 
    
17.     html=res.read()
    
18.     return html
    
19. 
    
20. def xiazai():
    
21.     for j in range(1,445):
    
22.         if j<10:
    
23.             motenum='00'+str(j)
    
24.         elif 10<=j<100:
    
25.             motenum='0'+str(j)
    
26.         else:
    
27.             motenum=str(j)
    
28.         
    
29.         url=r'http://www.ugirls.com/Content/List/Magazine-'+ motenum+'.html'#模特总共从001到444
    
30.         
    
31.         html=readurl(url)
    
32.         if type(html)==type(int()):
    
33.             
    
34.             if 400<=html<=599:
    
35.                 print('网页错误无法下载%d'%html)
    
36.                 continue
    
37.         else:
    
38.             html=html.decode('utf-8')
    
39.             #获取模特名字
    
40.             uname=re.findall(r'<meta name="keywords" content="[\u4e00-\u9fa5]{2,5}、ugirls ([\u4e00-\u9fa5]{2,3})" />',html)
    
41.             if len(uname)==0:
    
42.                 uname='大集合'
    
43.             else:
    
44.                 uname=str(uname[0])
    
45.             print('第%d模特是%s'%(j,uname))
    
46.             
    
47.             dqian=os.getcwd()
    
48.             try:
    
49.                 os.mkdir('ugirl')
    
50.             except OSError:
    
51.                
    
52.                 os.chdir('ugirl')
    
53.             else:
    
54.                 os.chdir('ugirl')
    
55. 
    
56.             try:
    
57.                 os.mkdir(uname)
    
58.             except OSError:
    
59.                 os.chdir(uname)
    
60.             else:
    
61.                 os.chdir(uname)
    
62. 
    
63.             str1=len('05c9b11a01aebf2a2af18a030ffea553')
    
64.             str2=len('_magazine_web_m.jpg')
    
65.             imglist=re.findall(r'http://img.ugirls.tv/uploads/magazine/content/[^"]+_magazine_web_m\.jpg',html)
    
66.             for each in imglist:
    
67.                 with open(each.split('/')[-1][:str1]+'.jpg','wb') as f:
    
68.                     f.write(readurl(each[:-str2]+'.jpg'))
    
69.                 print(each[:-str2]+'.jpg',end='下载完成\n')
    
70.             print('******************************************************************')
    
71.             os.chdir(dqian)
    
72. 
    
73. xiazai()

复制代码

寂寞的兄弟有福利了

最佳答案

月排行榜 / 总排行榜

°蓝鲤歌蓝

2018-2-19 21:42:38

1. res=q.urlopen(url)

复制代码

这一行应该是

1. res=q.urlopen(req)

复制代码

跳转到最佳答案楼层

°蓝鲤歌蓝

1. res=q.urlopen(url)

复制代码

这一行应该是

1. res=q.urlopen(req)

复制代码

waitforlove

°蓝鲤歌蓝 发表于 2018-2-19 22:15
这一行应该是

可以运行，就是隔一段时间报错一次，明天照你说的地方改改再，现在睡觉了

枫树霜雪

楼上说的req的确是一个问题，如果直接用不用req伪装user-agent，他会直接拒绝你的请求的，但是单单加上一个请求头，过一段时间他一样会根据你的IP地址拒绝你的访问，所以你需要使用代理iP,具体的用法小甲鱼有教程的，免费的IP可以去哪些代理网站上爬取

綉氣

我也经常遇到这种问题，要不就加代理，要不就用最简单的办法
把请求的这段换成这样

1. def readurl(url):
   
2.     head={}
   
3. 
   
4.     head['User-Agent']='Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0)'
   
5.     req=q.Request(url,headers=head)
   
6.     try:
   
7.         res=q.urlopen(url)
   
8.     except Exception:
   
9.         readurl(url)
   
10.     html=res.read()
    
11.     return html

复制代码

遇到错误就重新请求一次