爬虫抓取鱼C python教程所有下载地址

fre

一个一个去打开页面 点下载 再连接到百度或者迅雷 很麻烦..
于是就写个小爬爬..抓取所有课程的对应下载地址

我想没人会要在迅雷下也在百度下.
于是设置了个输入提示,1是抓取迅雷 2是抓取百度盘

这这里是抓取好的下载地址...不想下爬虫又需要下载地址的可以直接下

游客，如果您要查看本帖隐藏内容请回复

效果如图



代码如下

1. import urllib.request
   
2. import re
   
3. 
   
4. #打开URL并读取数据返回
   
5. def open_url(url):
   
6.     req = urllib.request.Request(url)
   
7.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 5.2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.124 Safari/537.36')
   
8.     html = urllib.request.urlopen(req)
   
9.     html = html.read().decode('utf8')
   
10.     return html
    
11. 
    
12. 
    
13. #从目录页获取每个教程网址
    
14. def get_list(html):
    
15.     bookdir = re.findall(r'''<h2><a href="(.*)" rel="bookmark"''',html)
    
16.     return bookdir
    
17. 
    
18. #获取教程名称
    
19. def get_name(html):
    
20.     name = re.findall(r'''<h2>(.*)?</h2>''',html)
    
21.     name = re.sub('–','',name[0])
    
22.     return name
    
23. 
    
24. #获取迅雷快盘地址
    
25. def get_xunlei(html):
    
26.     xunlei = re.findall(r'''视频下载地址：<a href="(.*)" target="_blank">迅雷快传</a>''',html)
    
27.     try:
    
28.         xunlei[0]
    
29.     except IndexError:
    
30.         html = open_url('http://blog.fishc.com/4015.html/7')
    
31.         xunlei = re.findall(r'''视频下载地址：<a href="(.*)" target="_blank">迅雷快传</a>''',html)
    
32.     return xunlei[0]
    
33. 
    
34. #获取百度网盘地址
    
35. def get_baidu(html):
    
36.     baidu = re.findall(r'''迅雷快传</a> | <a href="?(.*)?" target="_blank">百度网盘(.*)</a''',html)
    
37.     try:
    
38.         baidu[1][0]
    
39.     except IndexError:
    
40.         html = open_url('http://blog.fishc.com/4015.html/7')
    
41.         baidu = re.findall(r'''迅雷快传</a> | <a href="?(.*)?" target="_blank">百度网盘(.*)</a''',html)
    
42.         
    
43.     return baidu
    
44. 
    
45. 
    
46. #保存文件
    
47. def save_txt(filename,txt):
    
48.     print('保存文件')
    
49.     with open(filename,'a+',encoding='utf8') as f:
    
50.         f.writelines(txt)
    
51. 
    
52. #主函数
    
53. def get_url():
    
54.     url_list = []
    
55.     for i in range(1,11):
    
56.         url = 'http://blog.fishc.com/category/python/page/%s' % i
    
57.         html = open_url(url)
    
58.         tuto_list = get_list(html)
    
59.         for each in tuto_list:
    
60.             url_list.append(each)
    
61.         print('正在获取教程网址')
    
62.         print(tuto_list)
    
63.     temp = input('输入1获取迅雷快盘地址,2获取百度盘地址:')
    
64.     for each in url_list:
    
65.         html = open_url(each)
    
66.         tutoname = get_name(html)
    
67.         print(tutoname)
    
68.         if temp == '1':
    
69.             xunlei = get_xunlei(html)
    
70.             txt = tutoname + '\n' + xunlei + '\n\n'
    
71.             save_txt('xunlei.txt',txt)
    
72.         else:
    
73.             baidu = get_baidu(html)
    
74.             txt = tutoname + '\n' + baidu[1][0] + baidu[1][1] + '\n\n'
    
75.             save_txt('baidu.txt',txt)
    
76. 
    
77.     print('抓取完毕!')
    
78. 
    
79. 
    
80. if __name__ == '__main__':
    
81.     get_url()
    

复制代码

邻家老王

喔，这个可以

yeng

爬虫抓取鱼C python教程所有下载地址 [

小甲鱼

fre 发表于 2015-8-15 12:13
其实我还有个百度网盘统一所有教程的下载地址.所有教程文件整合在一起了..不知道发上来合适不...

不合适，鉴于论坛有规定“不能分享鱼C打包资源”，请谅解~~

s1986q

谢谢楼主的分享。

乌托邦_遥远的

新人无比好奇

朱哥哥

好人啊

那年

好帖子，谢谢楼主