python爬虫 小说下载

luohaihaha

写了个下载小说的爬虫，可以下载大部分排行榜靠前的小说
效果图如下：

代码如下

1. import urllib.request
   
2. import urllib.parse
   
3. import re
   
4. import time
   
5. from bs4 import BeautifulSoup as bs
   
6. 
   
7. url_1 = 'http://www.23us.so/top/allvisit_'
   
8. 
   
9. 
   
10. #打开网页
    
11. def url_open(url):
    
12.     req = urllib.request.Request(url)
    
13.     req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:57.0)\
    
14. Gecko/20100101 Firefox/57.0')
    
15.     response = urllib.request.urlopen(req, timeout=10)
    
16.     html = response.read().decode('utf-8')
    
17.     response.close()
    
18.     return html
    
19. 
    
20. def get_url(html, word):
    
21.     search_index = word+'</a></td>(\s*?)<td class="\w"><a href="(.*?)"'
    
22.     p = re.compile(search_index)
    
23.     m = p.search(html)   
    
24.     try:
    
25.         novel_address = m.group(2)
    
26.         return novel_address
    
27.     except:
    
28.         return None
    
29.      
    
30. def get_chapters(html):
    
31.     chapter_list = []
    
32.     p = re.compile(r'a href="(.{50,70}?)">(第(.+?)章)(.*?)</a>')
    
33.     chapter_list = p.findall(html)
    
34.     return chapter_list
    
35. 
    
36. def download_chapters(chapter_list, word):
    
37.     file_name = word + '.txt'
    
38. #    p = re.compile(r'<dd id="contents">(.*?)</dd>', re.DOTALL)
    
39.     with open(file_name, 'w', encoding='utf-8') as f:
    
40.         for each in chapter_list:
    
41.             html = url_open(each[0])
    
42.             soup = bs(html, "html.parser")
    
43.             f.write('\n' +each[1] + '\n')
    
44.             temp = soup.find_all('dd', id='contents')
    
45.             f.write(temp[0].text)
    
46.               
    
47.         
    
48. def download_novel():
    
49.     word = input("请输入要下载的小说名字：")
    
50.     i = 0
    
51.     while True:
    
52.         i += 1
    
53.         novel_search = url_1 + str(i) + '.html'
    
54.         #获取小说网页
    
55.         html = url_open(novel_search)  
    
56.         novel_url = get_url(html, word)
    
57.         #获取章节网页
    
58.         if novel_url == None:
    
59.             if i>50:                        
    
60.                 print('您需要的小说暂时无法下载')
    
61.                 break
    
62.         else:
    
63.             print('正在下载中....')
    
64.             chapter_list = get_chapters(url_open(novel_url))
    
65.             download_chapters(chapter_list,word)
    
66.             print('下载完成!')
    
67.             break
    
68.    
    
69. 
    
70. if __name__ == '__main__':
    
71.     download_novel()   
    
72.    
    

复制代码

代码比较简单，更多功能有待完善

DoKo

666666666

tigeeo

这么厉害？？强大

l996501422

运行直接报错啊

wangyaoxin

麻烦楼主能解答一下 第21行  search_index 以及后面的那一串是什么意思？