新手写的爬取天刀壁纸动态网页的两种方式

枫树霜雪

第一个是使用selenium+Chromedriver，在浏览器加载数据后，获得渲染好的网页代码，使用正则匹配图片链接
第二个是使用Chrom的开发者工具，找到获得数据的网址，然后在数据里面找到需要的数据，然后下载
第一个：

1. from selenium import webdriver
   
2. from bs4 import BeautifulSoup
   
3. import time
   
4. import re
   
5. import os
   
6. import urllib.request
   
7. 
   
8. driver=webdriver.Chrome("C://Program Files (x86)//Google//Chrome//Application//chromedriver_win32//chromedriver.exe")
   
9. #这里使用的Chromedriver，可以在网上下载与自己版本相同的，32位的就可以了；也可以下载PhantomJS，是一个无界面浏览器
   
10. driver.get("http://wuxia.qq.com/web201503/media-wallpaper.shtml")
    
11. 
    
12. 
    
13. time.sleep(3)
    
14. #在进入页面需要等待一段时间，等浏览器渲染好，这样就可以直接获得加载好的图片地址了
    
15. 
    
16. os.chdir("F://Python36//项目//图片//天涯明月刀")
    
17. 
    
18. html=BeautifulSoup(driver.page_source,"html.parser")
    
19. pic_url=html.findAll("a",{"href":re.compile("//game.+1920x1024\.jpg")})
    
20. #使用正则匹配图片链接
    
21. count=0
    
22. for each in pic_url:
    
23.     count+=1
    
24.     each_url="http:"+each["href"]
    
25.     pic_name=str(count)+".jpg"
    
26.     urllib.request.urlretrieve(each_url,pic_name)
    
27.     print("第 %s 张图片下载成功"%count)
    

复制代码

第二个：

1. import requests
   
2. import json
   
3. from urllib.request import urlretrieve
   
4. import os
   
5. 
   
6. 
   
7. url="http://game.gtimg.cn/images/wuxia/web201501/datas/gamedata_wallpaper.js?v=0.07262971159255338"
   
8. #这个url是网页从服务器获得的数据的真实地址，可以使用谷歌浏览器的开发者模式找到
   
9. res=requests.get(url)
   
10. res=res.content.decode("gbk")
    
11. res=res.split('"lists":',1)[1]
    
12. res=res.rsplit("}",1)[0]
    
13. res=res.replace("//"," ")
    
14. #这里获得地址貌似不是json格式的，我只能用最蠢的方法获得里面的元素
    
15. res=eval(res)
    
16. #将数据从字符串格式转为列表
    
17. os.chdir("F://Python36//项目//图片//天涯明月刀")
    
18. count=0
    
19. for each in res:
    
20.     count+=1
    
21.     pic_name=str(count)+".jpg"
    
22.     try:
    
23.         urlretrieve("http://game.gtimg.cn/images/wuxia/picture/wallpaper/"+each["dlpic"][2][1],pic_name)
    
24.         #这里的图片地址可以在网页源文件下面的js知道，加上我们从服务器返回的数据就是图片的真实地址了
    
25.     except IndexError:
    
26.         urlretrieve("http://game.gtimg.cn/images/wuxia/picture/wallpaper/"+each["dlpic"][1][1],pic_name)
    
27.     print("第%s张图片 下载成功"%count)
    
28. 
    

复制代码

来钓鱼

mintaka

我又来了

mintaka

requests和selenium分别什么时候比较合适，第二个里面的网址是API 吗，你们都是怎么找到的(′д｀ )…彡…彡

枫树霜雪

mintaka 发表于 2018-1-13 16:52
requests和selenium分别什么时候比较合适，第二个里面的网址是API 吗，你们都是怎么找到的(′д｀ )…彡… ...

selenium就是那种比较简单的方式，不需要分析，直接让程序帮你打开浏览器渲染好页面，就等同于你直接右键审查元素，就可以获得代码了，不过运行速度会比较慢；第二个网址不是api，只是用chrome浏览器，查看下面的加载内容，然后可以看出来是哪个地址给了你具体数据的

肯布鲁克

支持