Python小白从挖坑到脱坑之路022_关于利用Python下载文件

大头目

请各位大佬分享一下下载文件、视频或其他类型的经验链接和好文，拜谢！

小文件下载

下载小文件的话考虑的因素比较少，给了链接直接下载就好了：

1. import requests
   
2. image_url = "https://www.python.org/static/community_logos/python-logo-master-v3-TM.png"
   
3. 
   
4. r = requests.get(image_url) # create HTTP response object
   
5. 
   
6. with open("python_logo.png",'wb') as f:
   
7.     f.write(r.content)

复制代码

大文件下载

如果是小文件的话，一次性下载就OK了，但是如果文件比较大的话，那么下载下来的文件先放在内存中，内存还是比较有压力的。所以为了防止内存不够用的现象出现，我们要想办法把下载的文件分块写到磁盘中：

1. import requests
   
2. 
   
3. file_url = "http://codex.cs.yale.edu/avi/db-book/db4/slide-dir/ch1-2.pdf"
   
4. 
   
5. r = requests.get(file_url, stream=True)
   
6. 
   
7. with open("python.pdf", "wb") as pdf:
   
8.     for chunk in r.iter_content(chunk_size=1024):
   
9.         if chunk:
   
10.             pdf.write(chunk)
    

复制代码

批量文件下载：

批量文件下载的思路也很简单，首先读取网页的内容，再从网页中抽取链接信息，比如通过a标签，然后再从抽取出的链接中过滤出我们想要的链接，比如在本例中，我们只想下载MP4文件，那么我们可以通过文件名过滤所有链接：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. archive_url = "http://www-personal.umich.edu/~csev/books/py4inf/media/"
   
5. 
   
6. 
   
7. def get_video_links():
   
8.     r = requests.get(archive_url)
   
9.     soup = BeautifulSoup(r.content, 'html5lib')
   
10.     links = soup.findAll('a')
    
11.     video_links = [archive_url + link['href'] for link in links if link['href'].endswith('mp4')]
    
12. 
    
13.     return video_links
    
14. 
    
15. 
    
16. def download_video_series(video_links):
    
17.     for link in video_links:
    
18.         file_name = link.split('/')[-1]
    
19. 
    
20.         print("Downloading file:%s" % file_name)
    
21.         r = requests.get(link, stream=True)
    
22. 
    
23.         # download started
    
24.         with open(file_name, 'wb') as f:
    
25.             for chunk in r.iter_content(chunk_size=1024 * 1024):
    
26.                 if chunk:
    
27.                     f.write(chunk)
    
28. 
    
29.         print("%s downloaded!\n" % file_name)
    
30. 
    
31. 
    
32.     print("All videos downloaded!")
    
33. 
    
34.     return
    
35. 
    
36. 
    
37. if __name__ == "__main__":
    
38.     video_links = get_video_links()
    
39.     download_video_series(video_links)

复制代码

dapeng001

加油

colinshi

很好留着我备用了

ABC23

mark

ZeccThy

mark一下

kubie

mark