多线程刷鱼c论坛帖子点击量—本帖纯属技术交流

KingHD

1. import queue, threading, time, requests
   
2. 
   
3. 
   
4. class Fetcher():
   
5. 
   
6.     def get(self, url):
   
7.         try:
   
8.             resp = requests.get(url)
   
9.         except requests.HTTPError as e:
   
10.             print(e)
    
11. 
    
12. 
    
13. class GetHtmlThread(threading.Thread):
    
14. 
    
15.     def __init__(self, req_html_queue, fetcher):
    
16.         threading.Thread.__init__(self)
    
17.         self.req_html_queue = req_html_queue
    
18.         self.fetcher = fetcher
    
19.         self.start()
    
20. 
    
21.     def run(self):
    
22.         while True:
    
23.             try:
    
24.                 print(threading.current_thread().getName())
    
25.                 url = self.req_html_queue.get(timeout = 30)
    
26.                 resp = self.fetcher.get(url)
    
27.             except queue.Empty:
    
28.                 break
    
29. 
    
30. 
    
31. class ThreadManager(threading.Thread):
    
32. 
    
33.     def __init__(self, thread_num = 50, work_num = 1000):
    
34.         self.req_html_queue = queue.Queue()
    
35.         self.fetcher = Fetcher()
    
36.         self.thread_num = thread_num
    
37.         self.work_num = work_num
    
38.         self.url = 'http://bbs.fishc.com/thread-83875-1-1.html'
    
39. 
    
40.     def start(self):
    
41.         for i in range(self.work_num):
    
42.             self.req_html_queue.put(self.url)
    
43.         thread_pool = [GetHtmlThread( self.req_html_queue, self.fetcher) for j in range(self.thread_num)]
    
44.         for t in thread_pool:
    
45.             t.join()
    
46. 
    
47. if __name__ == '__main__':
    
48.     fresh = ThreadManager()
    
49.     fresh.start()
    
50. 
    

复制代码

～风介～

楼主何不考虑个多线程爬妹子图之类的？！

KingHD

～风介～ 发表于 2017-3-10 21:18
楼主何不考虑个多线程爬妹子图之类的？！

我已经发过了呀 Python3 多线程爬虫那个就是