新人写的，使用数据库选择代理爬取图片（有爬取代理存入数据库的方法）

枫树霜雪

1. import pymysql
   
2. import random
   
3. from bs4 import BeautifulSoup
   
4. import urllib.request
   
5. import re
   
6. import os
   
7. 
   
8. 
   
9. def get_proxy():
   
10.     #这里是连接数据库，获得所有代理，并存入列表返回
    
11.     proxys_list=[]
    
12.     conn=pymysql.connect(host="127.0.0.1",user="root",passwd="123456",db="mysql")
    
13. 
    
14.     cur=conn.cursor()
    
15.     cur.execute("USE scraping")
    
16.     cur.execute("SELECT * FROM PROXYS_LIST WHERE ID")
    
17.     for proxy in cur.fetchall():
    
18.         proxys_list.append(proxy[1])
    
19.     cur.close()
    
20.     conn.close()
    
21.     return proxys_list
    
22. 
    
23. 
    
24. def choice_proxy():
    
25.     #这里是通过random随机选择一个代理，并安装opener
    
26.     headers=("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36")
    
27.     proxy_temp=random.choice(get_proxy())
    
28.     proxy_support=urllib.request.ProxyHandler(eval(proxy_temp))
    
29.     opener=urllib.request.build_opener(proxy_support)
    
30.     opener.addheaders = [headers]
    
31.     urllib.request.install_opener(opener)
    
32.     print(proxy_temp)
    
33. 
    
34. 
    
35. def get_content(url):
    
36.     #这里首先选择代理，然后进行访问判断，如果失败，重新选择代理IP，重复上一步
    
37.     choice_proxy()
    
38.     while True:
    
39.         try:
    
40.             response=urllib.request.urlopen(url)
    
41.         except Exception as e:
    
42.             print("失败")
    
43.             choice_proxy()
    
44.             continue
    
45.         else:
    
46.             print("成功")
    
47.         print("读取完成")
    
48.         html=response.read()
    
49.         return html
    
50. 
    
51. def get_out_url():
    
52.     #这里是爬取shaofu页面的所有内链接，然后把标题和链接分别存入两个列表中
    
53.     global href_list,title_list
    
54.     href_list=[]
    
55.     title_list=[]
    
56.     out_url="http://www.symmz.com/shaofu.html "
    
57.     html=BeautifulSoup(get_content(out_url),"html.parser")
    
58.     title=html.findAll("div",{"class":"title"})
    
59.     for each in title:
    
60.         in_to=each.findAll("a",{"href":re.compile(r"/shaofu/.+")},{"title":re.compile(r".+")})
    
61.         for i in in_to:
    
62.             href_list.append(i["href"])
    
63.             title_list.append(i["title"])
    
64. 
    
65. def download(in_url,title):
    
66.     #用正则表达式匹配图片链接，然后逐个下载图片
    
67.     html=BeautifulSoup(get_content(in_url),"html.parser")
    
68.     n=0
    
69.     pic_url=html.findAll("img",{"src":re.compile("http://img.symmz.com/img/.+\.jpg$")})
    
70.     for each in pic_url:
    
71.         print(each["src"])
    
72.         n+=1
    
73.         print("第%s张"%n)
    
74.         pic_name="F://Python36//项目//图片//"+title+"//"+each["src"].split("/")[-1]
    
75.         urllib.request.urlretrieve(each["src"],pic_name)
    
76. 
    
77. def go():
    
78.     #根据前面爬取到的标题和链接，创建文件夹，还有下载图片
    
79.     for href,title in zip(href_list,title_list):
    
80.         create_dir(title)
    
81.         for num in range(1,11):
    
82.             in_url="http://www.symmz.com"+href.split("-")[0]+"-"+str(num)+".html"
    
83.             print(in_url)
    
84.             download(in_url,title)
    
85. 
    
86. def create_dir(title):
    
87.     #创建文件夹
    
88.     os.makedirs("F://Python36//项目//图片//"+title)
    
89.    
    
90. 
    
91. 
    
92. get_out_url()
    
93. go()
    

复制代码

http://bbs.fishc.com/thread-102905-1-1.html 这个是写如何从西刺爬取代理并存入数据库的方法

x3269199

mintaka