爬虫~51VOA常速英语,求加精.学英语同学的福利，2012-2016年的全集哦

wu8113

下午花了1个多小时，去51voa踩点。发现常速英语有合集，爬虫比较简单，先做了这一个2012-2016的合集。
后续计划做①常速英语2005-2011的所有合集，②慢速英语的合集
想学英语，可以关注我后续的更新。我就不出新帖了，在这个帖子里继续更新吧。
废话不说，放代码了。
ps：其实我也是刚学的爬虫，文件名的设定还不是很好，目前只是做到了名字+年份+月份，那个小伙伴知道怎么设定具体的年+月+日的，请指教下。

1. #51VOA下载爬虫,目前只有106页,2012-2016的更新
   
2. import urllib.request
   
3. import re
   
4. import os
   
5. import urllib.error
   
6. 
   
7. def open_url(url):#打开地址用的
   
8.     req=urllib.request.Request(url)
   
9.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22 Safari/537.36 SE 2.X MetaSr 1.0')
   
10.     page=urllib.request.urlopen(req)
    
11.     html=page.read()
    
12.     return html
    
13. 
    
14. def get_mainadd(url):#主网页返回网址列表
    
15.     html =open_url(url).decode('utf-8')
    
16.     p = r'<a href="/VOA_Standard_English/([^"]+\.html)"'
    
17.     page_addrs = re.findall(p, html)
    
18.     return page_addrs
    
19. 
    
20. def get_mp3add(url):
    
21.     html=open_url(url).decode('utf-8')
    
22.     p=r'<a id="mp3" href="([^"]+\.mp3)"'
    
23.     mp3_addrs=re.findall(p,html)
    
24.     return mp3_addrs
    
25. 
    
26. def save_mp3(mp3_name,mp3_adds):
    
27.     with open(mp3_name,'wb') as f:
    
28.         f.write(mp3_adds)
    
29. 
    
30. x=1
    
31. if __name__=='__main__':
    
32.     os.mkdir('51VOA_Standard')
    
33.     os.chdir('51VOA_Standard')
    
34.     num=input('请输入需要下载的总页面:')
    
35.     a='http://www.51voa.com/VOA_Standard_'
    
36.     global x
    
37.     for i in range(int(num)):
    
38.         try:
    
39.             url=a+str(i+1)+'.html'     #总网页，可分页
    
40.             page_url=get_mainadd(url)  #返回的列表还是有问题的,网址缺少了头部.
    
41.             print('正在爬取第%d页,共有%d个文章'%(i+1,len(page_url)))
    
42.             for j in page_url:
    
43.                 new_url='http://www.51voa.com/VOA_Standard_English/'+j #分网页
    
44.                 print(new_url)
    
45.                 print('正在爬取第%d个网页'%x)
    
46.                 x+=1
    
47.                 mp3_addrs=get_mp3add(new_url) #mp3所在的网址
    
48.                 for k in mp3_addrs:
    
49.                     b=k.split('/')[-2]+'-'+k.split('/')[-1]
    
50.                     mp3_open=open_url(k)          #打开网址
    
51.                     mp3_save=save_mp3(b,mp3_open) #保存mp3,这里的程序名不能有特殊符号的,如/?等
    
52.         except urllib.error.URLError as e:
    
53.             if hasattr(e, 'code'):
    
54.                 print(e.code)
    
55.                 continue
    
56.             elif hasattr(e, 'reason'):
    
57.                 print(e.reason)
    
58.                 continue        
    
59.     print('恭喜,下载结束.后面开始努力学习英语吧')
    
60.     print(' (-*-)努力吧(-*-) ')

复制代码

忘忧草456789

不过

wu8113

忘忧草456789 发表于 2016-12-25 17:23
不过

什么意思啊?

wu8113

升级版,增加了字幕和文本

1. 
   
2. #51VOA下载爬虫,目前只有106页,2012-2016的更新
   
3. import urllib.request
   
4. import re
   
5. import os
   
6. import urllib.error
   
7. 
   
8. def open_url(url):#打开地址用的
   
9.     req=urllib.request.Request(url)
   
10.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22 Safari/537.36 SE 2.X MetaSr 1.0')
    
11.     page=urllib.request.urlopen(req)
    
12.     html=page.read()
    
13.     return html
    
14. 
    
15. def get_mainadd(url):#主网页返回网址列表
    
16.     html =open_url(url).decode('utf-8')
    
17.     p = r'<a href="/VOA_Standard_English/([^"]+\.html)"'
    
18.     page_addrs = re.findall(p, html)
    
19.     return page_addrs
    
20. 
    
21. def get_mp3add(url):
    
22.     html=open_url(url).decode('utf-8')
    
23.     p=r'<a id="mp3" href="([^"]+\.mp3)"'
    
24.     mp3_addrs=re.findall(p,html)
    
25.     return mp3_addrs
    
26. 
    
27. def get_irc(html):
    
28.     p=r'<a id="lrc" href="(.+).lrc"'
    
29.     irc_addrs=re.findall(p,html)
    
30.     return irc_addrs
    
31. 
    
32. def save_mp3(mp3_name,mp3_adds):
    
33.     with open(mp3_name,'wb') as f:
    
34.         f.write(mp3_adds)
    
35. 
    
36. def save_txt(txt_name,txt_adds):
    
37.     with open(txt_name,'a') as f:
    
38.         f.write(txt_adds+'\n')
    
39.         f.write('-------我是可耻的换行符-------\n')
    
40. 
    
41. def save_irc(irc_name,irc_adds):
    
42.     with open(irc_name,'wb') as f:
    
43.         f.write(irc_adds)
    
44. 
    
45. x=1
    
46. if __name__=='__main__':
    
47.     os.mkdir('51VOA_Standard')
    
48.     os.chdir('51VOA_Standard')
    
49.     num=input('请输入需要下载的总页面:')
    
50.     a='http://www.51voa.com/VOA_Standard_'
    
51.     global x
    
52.     for i in range(int(num)):
    
53.         try:
    
54.             url=a+str(i+1)+'.html'     #总网页，可分页
    
55.             page_url=get_mainadd(url)  #返回的列表还是有问题的,网址缺少了头部.
    
56.             for j in page_url:
    
57.                 new_url='http://www.51voa.com/VOA_Standard_English/'+j #分网页
    
58.                 print(new_url)
    
59.                 print('正在爬取第%d页,第%d个网页'%(i+1,x))
    
60.                 x+=1
    
61. 
    
62.                 #mp3的处理
    
63.                 mp3_addrs=get_mp3add(new_url) #mp3所在的网址
    
64.                 for k in mp3_addrs:
    
65.                     b=k.split('/')[-2]+'-'+k.split('/')[-1]
    
66.                     mp3_open=open_url(k)          #打开网址
    
67.                     mp3_save=save_mp3(b,mp3_open) #保存mp3,这里的程序名不能有特殊符号的,如/?等
    
68. 
    
69. 
    
70.                 #txt的处理(不知道为什么一用函数,正则返回的就是空列表,不用就好了)
    
71.                 txt_1=open_url(new_url)
    
72.                 html=txt_1.decode('utf-8')
    
73.                 q=r'<P>(.+)</P>'
    
74.                 txt_2=re.findall(q,html)
    
75.                 c=b.replace('mp3','txt')     #保存后的文件名
    
76.                 print('文本爬取中......')
    
77.                 for m in txt_2:
    
78.                     aa=save_txt(c,m)
    
79. 
    
80.                 #irc文件的处理
    
81.                 open_irc=open_url(new_url)
    
82.                 open_irc1=open_irc.decode('utf-8')
    
83.                 irc_addrs=get_irc(open_irc1)
    
84.                 for n in irc_addrs:
    
85.                     if n!=[]:
    
86.                         new_irc='http://www.51voa.com'+n+'.lrc'
    
87.                         new_ircopen=open_url(new_irc)
    
88.                         d=b.replace('mp3','lrc') #保存后的文件名
    
89.                         irc_save=save_irc(d,new_ircopen)
    
90.                         print('字幕爬取中...')
    
91.                     else:
    
92.                         print('bbc很懒,没有字幕')
    
93.                                                         
    
94.         except urllib.error.URLError as e:
    
95.             if hasattr(e, 'code'):
    
96.                 print(e.code)
    
97.                 continue
    
98.             elif hasattr(e, 'reason'):
    
99.                 print(e.reason)
    
100.                 continue        
     
101.     print('恭喜,下载结束.后面开始努力学习英语吧')
     
102.     print(' (-*-)努力吧(-*-) ')
     
103.                
     
104. 
     
105.         
     
106. 
     

复制代码

忘忧草Allen

群主有爱心

wanllk

厉害，支持

wu8113

我的思路又变了,再爬取文本的过程中,我发现太慢了,而且爬了20页以后的,原来的正则表达式不适合当前的文本了,我绝对把程序切成3部分,lrc,mp3,和txt.
下面是更新的mp3:
MP3下载的更新内容如下:
1)增加了从第几页爬到第几页的功能
2)mp3文件的命名问题被我搞定了,现在的名字能体现具体的年月日了,哈哈哈哈哈哈===>(16-11-8) assisting-agriculture-in-kyrgyzstan-72473.mp3
3)文件创建文件是否重名检查,以便一次下载不完,可以多次来下载的.
4)增加一个记录的txt文件,记录当前下载的情况,防止自己忘记了,哈哈=====>2016-12-26 19:30 PM  从第61页下载到62页
5)最后我再笑几下,哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈

1. #51VOA下载爬虫,目前只有106页,2012-2016的更新
   
2. import urllib.request
   
3. import re
   
4. import os
   
5. import urllib.error
   
6. import time
   
7. 
   
8. def open_url(url):#打开地址用的
   
9.     req=urllib.request.Request(url)
   
10.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22 Safari/537.36 SE 2.X MetaSr 1.0')
    
11.     page=urllib.request.urlopen(req)
    
12.     html=page.read()
    
13.     return html
    
14. 
    
15. def get_mainadd(url):#主网页返回网址列表
    
16.     html =open_url(url).decode('utf-8')
    
17.     p = r'<a href="/VOA_Standard_English/([^"]+\.html)"'
    
18.     page_addrs = re.findall(p, html)
    
19.     return page_addrs
    
20. 
    
21. def get_pagedate(url):
    
22.     html =open_url(url).decode('utf-8')
    
23.     p = r'</a> ([^"]+)</li>'
    
24.     page_date = re.findall(p, html)
    
25.     return page_date
    
26. 
    
27. def get_mp3add(url):
    
28.     html=open_url(url).decode('utf-8')
    
29.     p=r'<a id="mp3" href="([^"]+\.mp3)"'
    
30.     mp3_addrs=re.findall(p,html)
    
31.     return mp3_addrs
    
32. 
    
33. def save_mp3(mp3_name,mp3_adds):
    
34.     with open(mp3_name,'wb') as f:
    
35.         f.write(mp3_adds)
    
36.         
    
37. def save_ac(txt_name,txt_adds):
    
38.     with open(txt_name,'a') as f:
    
39.         f.write(txt_adds+'\n')
    
40.         f.write('-------我是可耻的换行符-------\n')
    
41. x=1
    
42. if __name__=='__main__':
    
43.     #工作目录
    
44.     get_cwd=os.getcwd()
    
45.     new_cwd=get_cwd+'\\51VOA_Standard'
    
46.     if os.path.exists(new_cwd) == True:
    
47.         os.chdir(new_cwd)
    
48.     else:
    
49.         os.mkdir(new_cwd)
    
50.         os.chdir(new_cwd)
    
51. 
    
52.     #页面输入
    
53.     num1=input('请输入开始页面:')
    
54.     num2=input('请输入结束页面:')
    
55.     a='http://www.51voa.com/VOA_Standard_'
    
56.     global x
    
57.     for i in range(int(num1),int(num2)+1):
    
58.         try:
    
59.             y=0                      #爬取名字列表用的
    
60.             url=a+str(i)+'.html'     #总网页，可分页
    
61.             page_url=get_mainadd(url)  #返回的列表还是有问题的,网址缺少了头部.
    
62.             page_date=get_pagedate(url) #返回主页面各个时间的列表
    
63.             for j in page_url:
    
64.                 new_url='http://www.51voa.com/VOA_Standard_English/'+j #分网页
    
65.                 print(new_url)
    
66.                 print('正在爬取第%d页,第%d个网页'%(i,x))
    
67.                 x+=1
    
68.                 mp3_addrs=get_mp3add(new_url) #mp3所在的网址
    
69.                 for k in mp3_addrs:
    
70.                     #b=k.split('/')[-2]+'-'+k.split('/')[-1]
    
71.                     mp3_open=open_url(k)          #打开网址
    
72.                     b=page_date[y]+' '+j          #命名用
    
73.                     b=b.replace('html','mp3')
    
74.                     y+=1
    
75.                     mp3_save=save_mp3(b,mp3_open) #保存mp3,这里的程序名不能有特殊符号的,如/?等
    
76.         except urllib.error.URLError as e:
    
77.             if hasattr(e, 'code'):
    
78.                 print(e.code)
    
79.                 continue
    
80.             elif hasattr(e, 'reason'):
    
81.                 print(e.reason)
    
82.                 continue        
    
83.     print('恭喜,下载结束.本次从%d页下载到%d页'%(int(num1),int(num2)))
    
84.     print(' (-*-)努力学习吧(-*-) ')
    
85.     tt=time.strftime("%Y-%m-%d %H:%M %p", time.localtime())
    
86.    
    
87.     yy=tt+'  '+'mp3从第'+num1+'页下载到'+num2+'页'
    
88.     aa=save_ac('下载记录.txt',yy)

复制代码

wu8113

修复了:如果网页打不开,爬虫直接从第一主网页调到第二主网页的问题(中间可能漏了50个小网页

1. #51VOA下载爬虫,目前只有106页,2012-2016的更新
   
2. import urllib.request
   
3. import re
   
4. import os
   
5. import urllib.error
   
6. import time
   
7. 
   
8. def open_url(url):#打开地址用的
   
9.     req=urllib.request.Request(url)
   
10.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22 Safari/537.36 SE 2.X MetaSr 1.0')
    
11.     page=urllib.request.urlopen(req)
    
12.     html=page.read()
    
13.     return html
    
14. 
    
15. def get_mainadd(url):#主网页返回网址列表
    
16.     html =open_url(url).decode('utf-8')
    
17.     p = r'<a href="/VOA_Standard_English/([^"]+\.html)"'
    
18.     page_addrs = re.findall(p, html)
    
19.     return page_addrs
    
20. 
    
21. def get_pagedate(url):
    
22.     html =open_url(url).decode('utf-8')
    
23.     p = r'</a> ([^"]+)</li>'
    
24.     page_date = re.findall(p, html)
    
25.     return page_date
    
26. 
    
27. def get_mp3add(url):
    
28.     html=open_url(url).decode('utf-8')
    
29.     p=r'<a id="mp3" href="([^"]+\.mp3)"'
    
30.     mp3_addrs=re.findall(p,html)
    
31.     return mp3_addrs
    
32. 
    
33. def save_mp3(mp3_name,mp3_adds):
    
34.     with open(mp3_name,'wb') as f:
    
35.         f.write(mp3_adds)
    
36.         
    
37. def save_ac(txt_name,txt_adds):
    
38.     with open(txt_name,'a') as f:
    
39.         f.write(txt_adds+'\n')
    
40.         f.write('-------我是可耻的换行符-------\n')
    
41. x=1
    
42. if __name__=='__main__':
    
43.     #工作目录
    
44.     get_cwd=os.getcwd()
    
45.     new_cwd=get_cwd+'\\51VOA_Standard'
    
46.     if os.path.exists(new_cwd) == True:
    
47.         os.chdir(new_cwd)
    
48.     else:
    
49.         os.mkdir(new_cwd)
    
50.         os.chdir(new_cwd)
    
51. 
    
52.     #页面输入
    
53.     num1=input('请输入开始页面:')
    
54.     num2=input('请输入结束页面:')
    
55.     a='http://www.51voa.com/VOA_Standard_'
    
56.     global x
    
57.     for i in range(int(num1),int(num2)+1):
    
58.         try:
    
59.             y=0                      #爬取日期时间列表用的
    
60.             url=a+str(i)+'.html'     #总网页，可分页
    
61.             page_url=get_mainadd(url)  #返回的列表还是有问题的,网址缺少了头部.
    
62.             page_date=get_pagedate(url) #返回主页面各个时间的列表
    
63.             for j in page_url:
    
64.                 try:
    
65.                     new_url='http://www.51voa.com/VOA_Standard_English/'+j #分网页
    
66.                     print(new_url)
    
67.                     print('正在爬取第%d页,第%d个网页'%(i,x))
    
68.                     x+=1
    
69.                     mp3_addrs=get_mp3add(new_url) #mp3所在的网址
    
70.                     for k in mp3_addrs:
    
71.                         #b=k.split('/')[-2]+'-'+k.split('/')[-1]
    
72.                         mp3_open=open_url(k)          #打开网址
    
73.                         b=page_date[y]+' '+j          #命名用
    
74.                         b=b.replace('html','mp3')
    
75.                         y+=1
    
76.                         mp3_save=save_mp3(b,mp3_open) #保存mp3,这里的程序名不能有特殊符号的,如/?等
    
77.                 except urllib.error.URLError as e:
    
78.                     if hasattr(e, 'code'):
    
79.                         print(e.code)
    
80.                         continue
    
81.                     elif hasattr(e, 'reason'):
    
82.                         print(e.reason)
    
83.                         continue  
    
84.         except urllib.error.URLError as e:
    
85.             if hasattr(e, 'code'):
    
86.                 print(e.code)
    
87.                 continue
    
88.             elif hasattr(e, 'reason'):
    
89.                 print(e.reason)
    
90.                 continue        
    
91.     print('恭喜,下载结束.本次从%d页下载到%d页'%(int(num1),int(num2)))
    
92.     print(' (-*-)努力学习吧(-*-) ')
    
93.     tt=time.strftime("%Y-%m-%d %H:%M %p", time.localtime())
    
94.    
    
95.     yy=tt+'  '+'mp3从第'+num1+'页下载到'+num2+'页'
    
96.     aa=save_ac('下载记录.txt',yy)

复制代码

)