我也来爬OOXX【新科技】

竹林小溪

最近看了一些关于python的教程，觉得爬虫挺好玩的（可以爬妹纸图。。。哈哈哈。。。 ）

@小甲鱼 老师在 《论一只爬虫的自我修养4：OOXX》 这课里利用python自带的urllib库结合html查找的方式获取图片的url地址，很容易学会也非常方便。

不过我觉得这题还可以有别的解法

①URL请求部分可以利用第三方的requests库代替python的urllib，使得原本五行代码一行就能搞定！

1. def url_open(url):
   
2.     return requests.get(url, headers=head)

复制代码

②匹配字符串或者图片位置的时候，可以利用xpath解决，相对于正则表达式来说，既省时又省力。

1. def find_imgs(url):
   
2.     html_re = url_open(url).content
   
3.     xpath_img = '//*[starts-with(@id,"comment-")]/div[1]/div/div[2]/p/img/@src'
   
4.     selector = etree.HTML(html_re)
   
5.     return selector.xpath(xpath_img)

复制代码

完整代码:

1. 
   
2. #照着甲鱼的代码修改的
   
3. import requests
   
4. import os
   
5. import time
   
6. from lxml import etree
   
7. 
   
8. head = {
   
9.         ......
   
10. }
    
11. 
    
12. def url_open(url):
    
13.     return requests.get(url, headers=head)
    
14. 
    
15. def get_page(url):
    
16.     html_re = url_open(url).content
    
17.     xpath_str = '//*[@id="comments"]/div[2]/div/span/text()'
    
18.     selector = etree.HTML(html_re)
    
19.     str = selector.xpath(xpath_str)[0]
    
20.     return str[1:5]
    
21. 
    
22. def find_imgs(url):
    
23.     html_re = url_open(url).content
    
24.     xpath_img = '//*[starts-with(@id,"comment-")]/div[1]/div/div[2]/p/img/@src'
    
25.     selector = etree.HTML(html_re)
    
26.     return selector.xpath(xpath_img)
    
27. 
    
28. def save_imgs(folder, urls):
    
29.     for each in urls:
    
30.         filename = each.split('/')[-1]
    
31.         with open(filename, 'wb') as f:
    
32.             img = url_open(each).content
    
33.             f.write(img)
    
34. 
    
35. def main(folder, page):
    
36.     os.mkdir(folder)
    
37.     os.chdir(folder)
    
38. 
    
39.     url = 'http://jandan.net/ooxx/'
    
40.     page_num = int(get_page(url))
    
41. 
    
42.     for i in range(page):
    
43.         page_num -= i
    
44.         page_url = url + 'page-' + str(page_num) + '#comments'
    
45.         img_urls = find_imgs(page_url)
    
46.         save_imgs(folder, img_urls)
    
47.         time.sleep(0.1)
    
48. 
    
49. if __name__ == '__main__':
    
50.     main(folder='OOXX', page=10)

复制代码

这个OOXX网站还有一个很蛋疼的问题，就是它会自动检测爬虫，那么如何解决这个问题呢

游客，如果您要查看本帖隐藏内容请回复

竹林小溪

一楼自己占哦

zooo

给力

竹林小溪

zooo 发表于 2016-2-18 11:43
给力

感谢支持哦~

aptdo

我也想知道有人分析了这个OOXX的反爬机制了嘛？

mlgj

高~~~~

鱼116

qingchen

支持楼主！

shuofxz

确实不错~
想问一下xpath也是第三方库么，具体怎么用呀，尤其是写正则表达式那块？

竹林小溪

shuofxz 发表于 2016-2-19 09:29
确实不错~
想问一下xpath也是第三方库么，具体怎么用呀，尤其是写正则表达式那块？

感谢支持~
是的，xpath是第三方库。主要用于解决XML数据（元素和属性）的读取。由于HTML与XML的格式相似，都是树状结构的。因此可以使用xpath来对HTML中的元素或属性进行索引。即从树的根出发，一级级分支，直到找到目标，因此不需要使用正则表达式。

shuofxz

竹林小溪 发表于 2016-2-19 09:41
感谢支持~
是的，xpath是第三方库。主要用于解决XML数据（元素和属性）的读取。由于HTML与XML ...

原来是这样

lijunchao

支持

z379652501

6666666

黑龍

支持楼主

s1986q

楼主的谢谢你的分享。

小甲蟹66

只爱陌生猴

福利哦！

大苹果

支持一下

过于简单

我喜欢哈哈！！！！

苦哈哈

哇塞，慢慢学习python，希望有朝一日能和楼主一样，刁刁哒