Python的Tkinter编程太长时间控制权不交还操作系统，求解决方案

cuibaowenown2

代码如下，点击给我爬！！！程序就会卡死，本来想把输出结果放入到Text组件中，结果程序卡死，很尴尬，求解决方案

1. from tkinter import *
   
2. import urllib.request
   
3. import urllib.error
   
4. import os
   
5. import http.client
   
6. import time
   
7. import re
   
8. import random
   
9. import math
   
10. 
    
11. class App(Frame):
    
12.     def __init__(self,mw):
    
13.         self.headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36'}
    
14.         self.enctype = 'utf-8'
    
15.         self.proxies = []
    
16. 
    
17.         Frame.__init__(self,mw)
    
18.         #初始默认值字典
    
19.         self.var = dict()
    
20.         #抓取地址----------------------------------------------------------------------------
    
21.         self.frmURL = Frame(mw)     #抓取地址框架
    
22.         
    
23.         self.lblURL = Label(self.frmURL,text="抓取地址:")  #抓取地址标签
    
24.         self.lblURL.grid(row=0,column=0,padx=10)
    
25. 
    
26.         var = StringVar()
    
27.         var.set(r"http://image.baidu.com/search/flip?tn=baiduimage&word=mai%20kuraki&pn=")
    
28.         self.var["url1"] = var
    
29.         self.entURL1 = Entry(self.frmURL,width=80,textvariable=self.var["url1"])   #地址1输入框
    
30.         self.entURL1.grid(row=0,column=1)
    
31. 
    
32.         var = StringVar()
    
33.         var.set("0")
    
34.         self.var["url2"] = var
    
35.         self.entURL2 = Entry(self.frmURL,width=6,textvariable=self.var["url2"])   #地址2输入框
    
36.         self.entURL2.grid(row=0,column=2)
    
37. 
    
38.         var = StringVar()
    
39.         var.set("")
    
40.         self.var["url3"] = var
    
41.         self.entURL3 = Entry(self.frmURL,textvariable=self.var["url3"])  #地址3输入框
    
42.         self.entURL3.grid(row=0,column=3)
    
43.         
    
44.         self.lblStep = Label(self.frmURL,text="递增的量:") #递增量标签
    
45.         self.lblStep.grid(row=0,column=4,padx=10)
    
46. 
    
47.         var = StringVar()
    
48.         var.set("1")
    
49.         self.var["step"] = var
    
50.         self.entStep = Entry(self.frmURL,width=6,textvariable=self.var["step"])  #递增量输入框
    
51.         self.entStep.grid(row=0,column=5)
    
52.         
    
53.         self.frmURL.grid(sticky=W+E,row=0,column=0,pady=5)
    
54.         #-------------------------------------------------------------------------------------
    
55.         
    
56.         #代理地址--------------------------以及times-------------------------------------------
    
57.         self.frmProxy = Frame(mw)   #代理框架
    
58. 
    
59.         self.lblProxy = Label(self.frmProxy,text="代理地址:")   #代理标签
    
60.         self.lblProxy.grid(row=0,column=0,padx=10)
    
61. 
    
62.         var = StringVar()
    
63.         var.set(r"http://www.xicidaili.com/")
    
64.         self.var["proxyurl"] = var
    
65.         self.entProxyURL = Entry(self.frmProxy,width=80,textvariable=self.var["proxyurl"])  #代理地址输入框
    
66.         self.entProxyURL.grid(row=0,column=1)
    
67. 
    
68.         var = IntVar()
    
69.         var.set(1)
    
70.         self.var["http"] = var
    
71.         self.cbtHttp = Checkbutton(self.frmProxy,text="HTTP",variable = self.var["http"])    #HTTP开关
    
72.         self.cbtHttp.grid(row=0,column=2,padx=10)
    
73. 
    
74.         var = IntVar()
    
75.         var.set(0)
    
76.         self.var["https"] = var
    
77.         self.cbtHttps = Checkbutton(self.frmProxy,text="HTTPS",variable = self.var["https"])     #HTTPS开关
    
78.         self.cbtHttps.grid(row=0,column=3,padx=10)
    
79. 
    
80.         self.lblTimes = Label(self.frmProxy,text="最大失败次数:")   #最大失败次数标签
    
81.         self.lblTimes.grid(row=0,column=4,padx=10)
    
82. 
    
83.         var = StringVar()
    
84.         var.set("5")
    
85.         self.var["times"] = var
    
86.         self.entTimes = Entry(self.frmProxy,textvariable = self.var["times"],width=6)   #最大失败次数
    
87.         self.entTimes.grid(row=0,column=5,padx=10)
    
88.         
    
89.         self.frmProxy.grid(sticky=W+E,row=1,column=0,pady=5)
    
90.         #-------------------------------------------------------------------------------------
    
91. 
    
92.         #正则表达式区域--------------------------------------------------------------------------
    
93.         self.frmre = Frame(mw)  #正则表达式框架
    
94.         
    
95.         self.frmreURL = LabelFrame(self.frmre,text="网页正则表达式",padx=10)     #网页正则表达式
    
96.         self.var["reurl"] = r'''"objURL":"(http://.+?\.(?:jpg|jpeg|gif))"'''
    
97.         self.txtURL = Text(self.frmreURL,width=60,height=10)
    
98.         self.txtURL.pack()
    
99.         self.txtURL.insert(INSERT,self.var["reurl"])
    
100.         self.frmreURL.grid(sticky=W,row=0,column=0,padx=10)
     
101. 
     
102.         self.frmreProxy = LabelFrame(self.frmre,text="代理正则表达式",padx=10)     #代理正则表达式
     
103.         self.var["reproxy"] = r'''<tr\sclass[^>]*?>\s*?
     
104.     <td>.+</td>\s*?
     
105.     <td>(.*)?</td>\s*?
     
106.     <td>(.*)?</td>\s*?
     
107.     <td>(.*)?</td>\s*?
     
108.     <td>(.*)?</td>\s*?
     
109.     <td>(.*)?</td>\s*?
     
110.     <td>(.*)?</td>\s*?
     
111. </tr>'''
     
112.         self.txtProxy = Text(self.frmreProxy,width=60,height=10)
     
113.         self.txtProxy.pack()
     
114.         self.txtProxy.insert(INSERT,self.var["reproxy"])
     
115.         self.frmreProxy.grid(sticky=E,row=0,column=1,padx=10)
     
116.         
     
117.         self.frmre.grid(sticky=W+E,row=2,column=0,pady=5)
     
118.         #--------------------------------------------------------------------------------------
     
119. 
     
120.         #文件路径区域-----------------------------------------------------------------------------
     
121.         self.frmPath = Frame(mw)    #文件路径框架
     
122. 
     
123.         self.lblPath = Label(self.frmPath,text="保存路径:")      #标签
     
124.         self.lblPath.pack(side=LEFT,padx=10)
     
125. 
     
126.         var = StringVar()
     
127.         var.set(r"G:\图片\仓木麻衣")
     
128.         self.var["path"] = var
     
129.         self.entPath = Entry(self.frmPath,textvariable=self.var["path"],width=125)    #保存路径
     
130.         self.entPath.pack(side=RIGHT,padx=10)
     
131.         
     
132.         self.frmPath.grid(sticky=W+E,row=3,column=0,pady=5)
     
133.         #---------------------------------------------------------------------------------------
     
134. 
     
135.         #按钮区域---------------------------------------------------------------------------------
     
136.         self.frmButton = Frame(mw)  #按钮框架
     
137. 
     
138.         self.btnSpide = Button(self.frmButton,text="给我爬!!!",command=self.spide) #开始爬
     
139.         self.btnSpide.pack(side=LEFT,padx=10,ipadx=60,ipady=5)
     
140. 
     
141.         self.btnExit = Button(self.frmButton,text="退出",command=quit)
     
142.         self.btnExit.pack(side=RIGHT,padx=10,ipadx=60,ipady=5)
     
143. 
     
144.         self.frmButton.grid(sticky=W+E,row=4,column=0,pady=5)
     
145.         #----------------------------------------------------------------------------------------
     
146. 
     
147.     def spide(self):
     
148.         self.get_proxy() #取得代理
     
149.         self.create_localhost()  #生成本地直接访问proxies
     
150.         self.download()  #开始下载
     
151. 
     
152.     def get_proxy(self):            #从代理页面提取代理IP及端口
     
153.         proxy_url = self.var["proxyurl"].get()
     
154.         req = urllib.request.Request(proxy_url,None,self.headers)
     
155.         response = self.get_result(req)
     
156.         html = response.read().decode('utf-8')
     
157.         p = re.compile(self.var["reproxy"],re.VERBOSE)
     
158.         proxy_list = p.findall(html)
     
159.         for each_proxy in proxy_list[1:]:
     
160.             if self.var["http"].get() == 1 and each_proxy[4] == 'HTTP' or self.var["https"].get() == 1 and each_proxy[4] == 'HTTPS':
     
161.                 self.proxies.append(each_proxy[0]+':'+each_proxy[1])
     
162. 
     
163.     def get_result(self,req_or_url,is_retrieve=False,filename = None):         #取得网页页面
     
164.         max_error_times = int(self.var["times"].get())
     
165.         error_time = 0
     
166.         while True:
     
167.             try:
     
168.                 if error_time == max_error_times:
     
169.                     print('失败次数达%d次......放弃操作' % max_error_times)
     
170.                     return None
     
171.                 error_time += 1
     
172.                 if is_retrieve:
     
173.                     return urllib.request.urlretrieve(req_or_url,filename)
     
174.                 else:
     
175.                     return urllib.request.urlopen(req_or_url)
     
176.             except urllib.error.URLError as e:
     
177.                 if hasattr(e,'code'):         
     
178.                     print(e.code,e.reason)
     
179.                     self.change_proxy()
     
180.                     continue
     
181.                 elif hasattr(e,'reason'):
     
182.                     print(e)
     
183.                     self.change_proxy()
     
184.                     continue
     
185.             except (ConnectionResetError,http.client.BadStatusLine) as e:
     
186.                 print(e)
     
187.                 self.change_proxy()
     
188.                 continue
     
189.             except TimeoutError as e:
     
190.                 print(e)
     
191.                 print('服务器长时间无响应，自动切换代理.....')
     
192.                 self.change_proxy()
     
193.                 continue
     
194. 
     
195.     def change_proxy(self):     #切换代理
     
196.         proxy = random.choice(self.proxies)
     
197.         if proxy == None:
     
198.             proxy_support = urllib.request.ProxyHandler({})
     
199.         else:
     
200.             proxy_support = urllib.request.ProxyHandler({'http':proxy})
     
201.         opener = urllib.request.build_opener(proxy_support)
     
202.         opener.addheaders = [('User-Agent',self.headers['User-Agent'])]
     
203.         urllib.request.install_opener(opener)
     
204.         print('智能切换代理：%s' % ('本机' if proxy==None else proxy))
     
205. 
     
206.     def create_localhost(self):     #生成本地直接访问的proxies
     
207.         number = int((math.sqrt(5)-1)/2 * len(self.proxies))
     
208.         for x in range(number):
     
209.             self.proxies.append(None)
     
210. 
     
211.     def download(self):     #下载图片
     
212.         save_path = self.var["path"].get()
     
213.         for pic_url in self.get_pic():         
     
214.             file_name = os.path.split(pic_url)[1]
     
215.             if not os.path.isdir(save_path):    #目录不存在就创建
     
216.                 os.makedirs(save_path)
     
217.             #如果文件已存在则跳过
     
218.             if os.path.exists(save_path+'\\'+file_name):
     
219.                 print('文件%s已存在...' % file_name)
     
220.                 continue
     
221.             self.get_result(pic_url,True,save_path+'\\'+file_name)
     
222.             print('本次成功下载编号%s! %s' % (self.var['url2'].get() , pic_url))
     
223.             self.var['url2'].set(str(int(self.var['url2'].get())+int(self.var['step'].get())))
     
224. 
     
225.     def get_pic(self):      #生成器，返回一个图片链接
     
226.         url1 = self.var['url1'].get()
     
227.         url2 = self.var['url2'].get()
     
228.         url3 = self.var['url3'].get()
     
229.         while True:
     
230.             url = url1+url2+url3
     
231.             req = urllib.request.Request(url,None,self.headers)
     
232.             response = self.get_result(req)
     
233.             if response == None:
     
234.                 print('获取页面失败.....')
     
235.                 quit
     
236.             html = response.read().decode(self.enctype)
     
237.             pic = re.compile(self.var['reurl'],re.VERBOSE)
     
238.             for pic in pic.finditer(html):
     
239.                 yield pic.group(1)
     
240.             time.sleep(5)
     
241. 
     
242. def main():
     
243.     root = Tk()
     
244.     root.title("爬虫4------Margular制作")
     
245.     root.iconbitmap("spider.ico")
     
246.     root.resizable(True,True)
     
247.     app1 = App(mw=root)
     
248.     app1.mainloop()
     
249.                     
     
250. if __name__ == '__main__':
     
251.     main()

复制代码

流氓大叔

代码太长，也没看。你试试在程序爬完之前，把所有的返回值都写在变量里面，不要写到tk的组件里面。因为图形化的列表框什么的，超频繁的读取写入会卡死的。这样反而拖慢电脑速度。另外一个就是，卡死也可能跟电脑配置有关呢。

430524tian

同意楼上。

John_farmer

同意楼上的楼上！！！

cuibaowenown2

流氓大叔 发表于 2015-9-2 11:36
代码太长，也没看。你试试在程序爬完之前，把所有的返回值都写在变量里面，不要写到tk的组件里面。因为图形 ...

考虑了下你说的，并不是你说的那个问题，我的返回值全都是在变量里的。要是由VB的DoEvents就好了，这个关键字就是循环的时候暂时交还操作系统权限，这样就不会卡，不知道Python有没有类似的，求大家帮忙查查问问，百度找不到答案

cuibaowenown2

我已经解决了，涉及到Python的一个叫做_thread的模块，使用多线程编程

guoguoing

楼主，可不可以散点鱼币，刚刚学习python的菜鸟:sweat:

shield

完全看不懂啦啦啦啦啦