[已解决]python爬虫（爬取ooxx煎蛋妹子图）爬不了了

Cy86183570

小甲鱼视频的爬取ooxx煎蛋妹子图的时候，网站还没有对图片进行反爬处理，可现在不一样了，图片的地址经过反爬处理后爬不到了，那怎么办啊，看网上有人说是模拟浏览器的办法，但也不知道具体怎么做啊，有哪位大神知道怎么弄吗？跪求解答！！！┭┮﹏┭┮

源码比对：

网页源码：

1. <div class="text"><span class="righttext"><a href="//jandan.net/ooxx/page-104#comment-3691092">3691092</a></span><p><a href="//ws1.sinaimg.cn/large/82e98952ly1fnxv9fi71lj20zk18bk15.jpg" target="_blank" class="view_img_link">[查看原图]</a><br><img src="http://ws1.sinaimg.cn/mw600/82e98952ly1fnxv9fi71lj20zk18bk15.jpg" style="max-width: 480px; max-height: 750px;"></p>
   
2.                         </div>

复制代码

爬取下来的源码：

1. <div class="text"><span class="righttext"><a href="//jandan.net/ooxx/page-104#comment-3691073">3691073</a></span><p><img src="//img.jandan.net/img/blank.gif" onload="jandan_load_img(this)" />

复制代码

可以发现：<img src=' '>这里面的代码发生了改变了，然后我就不会改了~~~~(>_<)~~~~

最佳答案

月排行榜 / 总排行榜

mintaka

2018-1-30 18:46:11

1. import requests
   
2. import re
   
3. from  bs4 import BeautifulSoup
   
4. from selenium import webdriver
   
5. import os
   
6. 
   
7. if not os.path.exists('OOXX'):
   
8.     os.mkdir('OOXX')
   
9. os.chdir('OOXX')
   
10. url='http://jandan.net/ooxx/page-99'
    
11. driver = webdriver.PhantomJS(executable_path="D:\python3\phantomjs-2.1.1-windows\\bin\phantomjs.exe")
    
12. driver.get(url)
    
13. soup=BeautifulSoup(driver.page_source,'html.parser')
    
14. pics=soup.find_all('li',{'id':re.compile('comment-[0-9]+')})
    
15. #print(soup)
    
16. for pic in pics:
    
17.    # print(pic)
    
18.     print(pic.find("img",{'src':re.compile('.*\.jpg')})['src'])
    
19.     n = pic.find("img",{'src':re.compile('.*\.jpg')})['src']
    
20.     name = n[44:64]
    
21.     with open(name,'wb') as f:
    
22.         reponse = requests.get(n).content
    
23.         f.write(reponse)

复制代码

跳转到最佳答案楼层

ba21

图片地址已加密，换地地方吧

Cy86183570

ba21 发表于 2018-1-29 23:12
图片地址已加密，换地地方吧

我知道加密了呀，但还是想爬，原因你懂得

mms123

还在纠结煎蛋啊

Cy86183570

mms123 发表于 2018-1-29 23:16
还在纠结煎蛋啊

我第一次看内

Cy86183570

置顶！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！

gopythoner

1. var f_gelFNgGBwT99NPBsI8P1xU7376YDNVx4 = function(m, r, d) {
   
2.                 var e = "DECODE";
   
3.                 var r = r ? r : "";
   
4.                 var d = d ? d : 0;
   
5.                 var q = 4;
   
6.                 r = md5(r);
   
7.                 var o = md5(r.substr(0, 16));
   
8.                 var n = md5(r.substr(16, 16));
   
9.                 if (q) {
   
10.                         if (e == "DECODE") {
    
11.                                 var l = m.substr(0, q)
    
12.                         }
    
13.                 } else {
    
14.                         var l = ""
    
15.                 }
    
16.                 var c = o + md5(o + l);
    
17.                 var k;
    
18.                 if (e == "DECODE") {
    
19.                         m = m.substr(q);
    
20.                         k = base64_decode(m)
    
21.                 }
    
22.                 var h = new Array(256);
    
23.                 for (var g = 0; g < 256; g++) {
    
24.                         h[g] = g
    
25.                 }
    
26.                 var b = new Array();
    
27.                 for (var g = 0; g < 256; g++) {
    
28.                         b[g] = c.charCodeAt(g % c.length)
    
29.                 }
    
30.                 for (var f = g = 0; g < 256; g++) {
    
31.                         f = (f + h[g] + b[g]) % 256;
    
32.                         tmp = h[g];
    
33.                         h[g] = h[f];
    
34.                         h[f] = tmp
    
35.                 }
    
36.                 var t = "";
    
37.                 k = k.split("");
    
38.                 for (var p = f = g = 0; g < k.length; g++) {
    
39.                         p = (p + 1) % 256;
    
40.                         f = (f + h[p]) % 256;
    
41.                         tmp = h[p];
    
42.                         h[p] = h[f];
    
43.                         h[f] = tmp;
    
44.                         t += chr(ord(k[g]) ^ (h[(h[p] + h[f]) % 256]))
    
45.                 }
    
46.                 if (e == "DECODE") {
    
47.                         if ((t.substr(0, 10) == 0 || t.substr(0, 10) - time() > 0) && t.substr(10, 16) == md5(t.substr(26) + n).substr(0, 16)) {
    
48.                                 t = t.substr(26)
    
49.                         } else {
    
50.                                 t = ""
    
51.                         }
    
52.                 }
    
53.                 return t
    
54.         };
    
55. 
    
56. function jandan_load_img(b) {
    
57.         var d = $(b);
    
58.         var f = d.next("span.img-hash");
    
59.         var e = f.text();
    
60.         f.remove();
    
61.         var c = f_gelFNgGBwT99NPBsI8P1xU7376YDNVx4(e, "2cpnvo5O98HqyN4mFQlgmJ6mjmGgJH9L");
    
62.         var a = $('<a href="' + c.replace(/(\/\/\w+\.sinaimg\.cn\/)(\w+)(\/.+\.(gif|jpg|jpeg))/, "$1large$3") + '" target="_blank" class="view_img_link">[查看原图]</a>');
    
63.         d.before(a);
    
64.         d.before("<br>");
    
65.         d.removeAttr("onload");
    
66.         d.attr("src", location.protocol + c.replace(/(\/\/\w+\.sinaimg\.cn\/)(\w+)(\/.+\.gif)/, "$1thumb180$3"));
    
67.         if (/\.gif$/.test(c)) {
    
68.                 d.attr("org_src", location.protocol + c);
    
69.                 b.onload = function() {
    
70.                         add_img_loading_mask(this, load_sina_gif)
    
71.                 }
    
72.         }
    
73. }

复制代码

ba21

Cy86183570 发表于 2018-1-29 23:13
我知道加密了呀，但还是想爬，原因你懂得

还是等自己有这个能力再说吧。要不出钱也成

gopythoner

ba21 发表于 2018-1-30 11:52
还是等自己有这个能力再说吧。要不出钱也成

换个方式就能爬

Cy86183570

gopythoner 发表于 2018-1-30 13:16
换个方式就能爬

这个用的是什么语言啊

lipengcccc

gopythoner

Cy86183570 发表于 2018-1-30 16:57
这个用的是什么语言啊

这不是爬虫，我发的这段代码是煎蛋网加密的方式

mintaka

1. import requests
   
2. import re
   
3. from  bs4 import BeautifulSoup
   
4. from selenium import webdriver
   
5. import os
   
6. 
   
7. if not os.path.exists('OOXX'):
   
8.     os.mkdir('OOXX')
   
9. os.chdir('OOXX')
   
10. url='http://jandan.net/ooxx/page-99'
    
11. driver = webdriver.PhantomJS(executable_path="D:\python3\phantomjs-2.1.1-windows\\bin\phantomjs.exe")
    
12. driver.get(url)
    
13. soup=BeautifulSoup(driver.page_source,'html.parser')
    
14. pics=soup.find_all('li',{'id':re.compile('comment-[0-9]+')})
    
15. #print(soup)
    
16. for pic in pics:
    
17.    # print(pic)
    
18.     print(pic.find("img",{'src':re.compile('.*\.jpg')})['src'])
    
19.     n = pic.find("img",{'src':re.compile('.*\.jpg')})['src']
    
20.     name = n[44:64]
    
21.     with open(name,'wb') as f:
    
22.         reponse = requests.get(n).content
    
23.         f.write(reponse)

复制代码

mintaka

可能是被识别成爬虫了吧，我调用浏览器就可以直接爬到，没有加密

404NOT

我的错误是.jpg搜索不到，据说是因为网页被js加密了，怎么破。。。

Cy86183570

404NOT 发表于 2018-1-30 19:25
我的错误是.jpg搜索不到，据说是因为网页被js加密了，怎么破。。。

你看我发的代码了吗，爬取下来的妹子图的网页地址已经变了

Cy86183570

mintaka 发表于 2018-1-30 18:47
可能是被识别成爬虫了吧，我调用浏览器就可以直接爬到，没有加密

phantomjs.exe这个程序是要下载的吗

mintaka

Cy86183570 发表于 2018-1-30 19:54
phantomjs.exe这个程序是要下载的吗

对，要下载，这是一个无界面的浏览器，其实你也可以用Firefox或者 chrome

Cy86183570

mintaka 发表于 2018-1-30 20:04
对，要下载，这是一个无界面的浏览器，其实你也可以用Firefox或者 chrome

哦哦，谢谢大佬大神

°蓝鲤歌蓝

不过Python将来好像不支持plantomjs了，最好使用Chrome或者Firefox。