Python爬虫-下载百度图片搜索结果

Charles未晞

    之前做课设，训练网络需要大量的图片数据，于是自己写了个下载百度图片搜索结果的代码。没加多线程，有兴趣的可以在我的代码基础上修改成多线程的。
    PS：百度图库的质量真的不咋地。。。
    效果：
       
    源代码：

1. import os
   
2. import sys
   
3. import itertools
   
4. import urllib
   
5. from urllib.parse import quote
   
6. import requests
   
7. import re
   
8. 
   
9. 
   
10. # 用于解码objURL
    
11. str_table = {
    
12.         '_z2C$q': ':',
    
13.         '_z&e3B': '.',
    
14.         'AzdH3F': '/'
    
15. }
    
16. 
    
17. char_table = {
    
18.         'w': 'a',
    
19.         'k': 'b',
    
20.         'v': 'c',
    
21.         '1': 'd',
    
22.         'j': 'e',
    
23.         'u': 'f',
    
24.         '2': 'g',
    
25.         'i': 'h',
    
26.         't': 'i',
    
27.         '3': 'j',
    
28.         'h': 'k',
    
29.         's': 'l',
    
30.         '4': 'm',
    
31.         'g': 'n',
    
32.         '5': 'o',
    
33.         'r': 'p',
    
34.         'q': 'q',
    
35.         '6': 'r',
    
36.         'f': 's',
    
37.         'p': 't',
    
38.         '7': 'u',
    
39.         'e': 'v',
    
40.         'o': 'w',
    
41.         '8': '1',
    
42.         'd': '2',
    
43.         'n': '3',
    
44.         '9': '4',
    
45.         'c': '5',
    
46.         'm': '6',
    
47.         '0': '7',
    
48.         'b': '8',
    
49.         'l': '9',
    
50.         'a': '0'
    
51. }
    
52. # 转为ASCII码
    
53. char_table = {ord(key): ord(value) for key, value in char_table.items()}
    
54. 
    
55. 
    
56. # 获得所有图片下载链接
    
57. def Build_Urls(keyword):
    
58.         keyword = quote(keyword)
    
59.         url = r"http://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&fp=result&queryWord={word}&cl=2&lm=-1&ie=utf-8&oe=utf-8&st=-1&ic=0&word={word}&face=0&istype=2nc=1&pn={pn}&rn=60"
    
60.         urls = (url.format(word=keyword, pn=i) for i in itertools.count(start=0, step=60))
    
61.         return urls
    
62. 
    
63. # 解码图片URL
    
64. def decode_objURL(url):
    
65.         # 替换字符
    
66.         for key, value in str_table.items():
    
67.                 url = url.replace(key, value)
    
68.         # 替换字符
    
69.         return url.translate(char_table)
    
70. 
    
71. # 解析JSON获取图片URL
    
72. def Get_ImgUrl(html):
    
73.         re_url = re.compile(r'"objURL":"(.*?)"')
    
74.         imgUrls = [decode_objURL(x) for x in re_url.findall(html)]
    
75.         return imgUrls
    
76. 
    
77. # 下载图片到指定路径
    
78. def downImage(imgUrl, dirpath, imgName):
    
79.         #print(imgName)
    
80.         #print(dirpath)
    
81.         filename = os.path.join(dirpath, imgName)
    
82.         try:
    
83.                 res = requests.get(imgUrl, timeout=15)
    
84.         except:
    
85.                 print("[异常：]", imgUrl)
    
86.                 return False
    
87.         with open(filename, 'wb') as f:
    
88.                 f.write(res.content)
    
89.         return True
    
90. 
    
91. 
    
92. if __name__ == '__main__':
    
93.         print("*" * 55)
    
94.         print('代码功能：<自动下载百度图片搜索结果>')
    
95.         print('下载结果保存在代码所在目录下的pictures文件夹中')
    
96.         print('目前只支持单个关键词搜索，输入后按回车即可自动下载')
    
97.         print("*" * 55)
    
98.         keyword = input("请输入你要下载的图片关键词：\n")
    
99.         try:
    
100.                 IMG_NUM = int(input('请输入你要下载的图片数量：\n'))
     
101.         except:
     
102.                 IMG_NUM = 0
     
103.         # 创建pictures文件夹(若不存在)用于保存结果
     
104.         try:
     
105.                 os.mkdir("pictures")
     
106.                 dirpath = './pictures'
     
107.         except:
     
108.                 dirpath = './pictures'
     
109.         # 获得所有图片下载链接
     
110.         urls = Build_Urls(keyword)
     
111.         index = 0
     
112.         for url in urls:
     
113.                 if index > IMG_NUM-1:
     
114.                         break
     
115.                 print("[GET_URL]：", url)
     
116.                 html = requests.get(url, timeout=10).content.decode('utf-8', 'replace')
     
117.                 # 获取图片URL
     
118.                 imgUrls = Get_ImgUrl(html)
     
119.                 # 没有图片则结束
     
120.                 if len(imgUrls) == 0:
     
121.                         break
     
122.                 for imgUrl in imgUrls:
     
123.                         pic_name = "%s%s.jpg" % (str(keyword), str(index))
     
124.                         if downImage(imgUrl, dirpath, pic_name):
     
125.                                 index += 1
     
126.                                 print("已下载%s张" % index)
     
127.                                 if index > IMG_NUM-1:
     
128.                                         break
     
129.                
     

复制代码