[已解决]有关含有JSEncrypt.js网页的抓取

hpaaclk

目前爬取网页遇到了困难，

网页中有歌曲链接，但是链接是ajax的方式获取的，

接收是json的格式，

发送用的是post请求，

发送的数据中是歌曲的id进行了加密，

加密使用的是JSEncrypt.js的RSA算法，

研究了好久不知道如何用python来模拟，

求大神帮助。

网址是：http://www.aekun.com/

最佳答案

月排行榜 / 总排行榜

json

2017-7-4 18:15:50

我猜想你可能不是需要研究通RSA加密算法（如果是这样的话，网上搜索一下，很多例子。）
我这里仅认为你是想爬虫http://www.aekun.com/这个网站，然后将歌曲下载下来
抓取网页你应该实现了（我使用requests模块来实现），相信你已经获取到了song_id了。
下面就是需要用这个song_id获取音频文件的url吧？这里需要使用这个song_id进行RSA加密算法得到songid的值（如果你是有这样的需求，python的pycrypto模块就可以实现，下面我给一个简单的例子）
假设song_id=3509519

1. #!/bin/env python
   
2. # coding=utf8
   
3. from Crypto.PublicKey import RSA
   
4. from Crypto.Cipher import PKCS1_v1_5 as Cipher_pkcs1_v1_5
   
5. import base64
   
6. import requests
   
7. 
   
8. def songid_Val(pKey, song_id):
   
9.     rsaKey = RSA.importKey(pKey)
   
10.     cipher = Cipher_pkcs1_v1_5.new(rsaKey)
    
11.     return base64.b64encode(cipher.encrypt(song_id))
    
12. 
    
13. def songInfo(songidVal):
    
14.     url = 'http://www.aekun.com/api/getMusicbyid/'
    
15.     r = requests.post(url, {
    
16.         'songid': songidVal
    
17.     })
    
18.     return r.content
    
19. 
    
20. # 获取pKey
    
21. f = open('public.pem')
    
22. pKey = f.read()
    
23. f.close()
    
24. 
    
25. # test
    
26. song_id = '3509519'
    
27. 
    
28. songidVal = songid_Val(pKey, song_id)
    
29. print songInfo(songidVal)
    

复制代码

其中public.pem就是公钥，从aekun网站的song.js中可以找到，我复制下来保存到了public.pem中了

1. -----BEGIN PUBLIC KEY-----
   
2. MIGfMA0GCSqGSIb3DQEBAQUAA4GNADCBiQKBgQCjpb+UHmzo8I3dtCi4pTRDdrtnt0fl1OK2BsdAwAp2sTIoiuXw1zVtlU/I8G9Fp0JTdNNxDo39vIvRaM6dSvCTI2kmAaikcDQf/LzOvNeoZfcVR9v5rxdyTzb2nwnkR0RG5ApN8MPpAKk26uYopbBGnbDZ8BMTO4o72KTB3xe4BQIDAQAB
   
3. -----END PUBLIC KEY-----

复制代码

执行上面的python代码就可以获取到一个json数据包（如:）

1. {"state":"success","message":"ok","action":null,"data":{"url":"http://us.aekun.com/upload/75AAB77BC2D16123F9F2E8B6C68FCB8E.mp3","song_name":"就算遇 到挫折、受到嘲笑，也要勇敢的向前跑！","coll":0,"singername":"小哥","singerpic":"https://m4.aekun.com/user_l_5973822_20170513135220.png"}}

复制代码

跳转到最佳答案楼层

sunnychou

求帮助还隐藏

SixPy

http://www.aekun.com/Content/music/song.js?v=20170362
把这个 song.js 看一遍就知道了。有中文注释

python 有 RSA 模块。

Pycrypto与RSA密码技术笔记
http://www.jianshu.com/p/6a39610122fa

hpaaclk

SixPy 发表于 2017-7-4 10:17
把这个 song.js 看一遍就知道了。有中文注释

python 有 RSA 模块。

你写过这个网站的下载代码吗？

gopythoner

隐藏是个什么鬼

json

哈哈

json

我猜想你可能不是需要研究通RSA加密算法（如果是这样的话，网上搜索一下，很多例子。）
我这里仅认为你是想爬虫http://www.aekun.com/这个网站，然后将歌曲下载下来
抓取网页你应该实现了（我使用requests模块来实现），相信你已经获取到了song_id了。
下面就是需要用这个song_id获取音频文件的url吧？这里需要使用这个song_id进行RSA加密算法得到songid的值（如果你是有这样的需求，python的pycrypto模块就可以实现，下面我给一个简单的例子）
假设song_id=3509519

1. #!/bin/env python
   
2. # coding=utf8
   
3. from Crypto.PublicKey import RSA
   
4. from Crypto.Cipher import PKCS1_v1_5 as Cipher_pkcs1_v1_5
   
5. import base64
   
6. import requests
   
7. 
   
8. def songid_Val(pKey, song_id):
   
9.     rsaKey = RSA.importKey(pKey)
   
10.     cipher = Cipher_pkcs1_v1_5.new(rsaKey)
    
11.     return base64.b64encode(cipher.encrypt(song_id))
    
12. 
    
13. def songInfo(songidVal):
    
14.     url = 'http://www.aekun.com/api/getMusicbyid/'
    
15.     r = requests.post(url, {
    
16.         'songid': songidVal
    
17.     })
    
18.     return r.content
    
19. 
    
20. # 获取pKey
    
21. f = open('public.pem')
    
22. pKey = f.read()
    
23. f.close()
    
24. 
    
25. # test
    
26. song_id = '3509519'
    
27. 
    
28. songidVal = songid_Val(pKey, song_id)
    
29. print songInfo(songidVal)
    

复制代码

其中public.pem就是公钥，从aekun网站的song.js中可以找到，我复制下来保存到了public.pem中了

1. -----BEGIN PUBLIC KEY-----
   
2. MIGfMA0GCSqGSIb3DQEBAQUAA4GNADCBiQKBgQCjpb+UHmzo8I3dtCi4pTRDdrtnt0fl1OK2BsdAwAp2sTIoiuXw1zVtlU/I8G9Fp0JTdNNxDo39vIvRaM6dSvCTI2kmAaikcDQf/LzOvNeoZfcVR9v5rxdyTzb2nwnkR0RG5ApN8MPpAKk26uYopbBGnbDZ8BMTO4o72KTB3xe4BQIDAQAB
   
3. -----END PUBLIC KEY-----

复制代码

执行上面的python代码就可以获取到一个json数据包（如:）

1. {"state":"success","message":"ok","action":null,"data":{"url":"http://us.aekun.com/upload/75AAB77BC2D16123F9F2E8B6C68FCB8E.mp3","song_name":"就算遇 到挫折、受到嘲笑，也要勇敢的向前跑！","coll":0,"singername":"小哥","singerpic":"https://m4.aekun.com/user_l_5973822_20170513135220.png"}}

复制代码