设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 技术交流 › 新手乐园 › 爬虫百度翻译的问题
返回列表 发新帖
查看: 5534|回复: 5

[已解决]爬虫百度翻译的问题

[复制链接]
fdk少东家
发表于 2018-4-17 21:49:51 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
import requests
import json

#1.获取post的url,及数据
post_url = "http://fanyi.baidu.com/v2transapi"
post_tran = {"from":"zh",
            "to":"en",
            "query":"一帆风顺",
            "transtype":"translang",
            "simple_means_flag":"3"}
headers = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36"}

#2.发送请求，获取响应
r = requests.post(post_url,headers=headers,data=post_tran)
json_str = r.content.decode()

#3.提取数据，打印
dict_response = json.loads(json_str)



#就是这一句，为什么一直是KeyError: 'trans_result'，json解析的就是这个key值啊
result = dict_response["trans_result"]["data"][0]["dst"]



print('翻译结果是：{}'.format(result))



哪个地方错了？？一直不知道！
最佳答案
月排行榜 / 总排行榜
json
2018-4-18 21:25:53
稍微看了一下，里面有一个sign算法，没有细致的分析，你可以去看看
首先翻译需要访问的url
  1. https://fanyi.baidu.com/v2transapi
复制代码

参数需要如下
  1. from: zh
  2. to: en
  3. query: (hide)
  4. simple_means_flag: 3
  5. sign: (hide)
  6. token: (hide)
复制代码

这里的query就是需要翻译的文字
simple_means_flag这里统一写成3就可以，那么还需要找到sign和token的值
token的值其实是在主页面上，之后又存储到window.common.token里，python的话访问一下主页面，正则表达式就可以获取到，下面截取一小段主页面的内容
  1. window['common'] = {
  2.     token: '9b8bb341109338ba7e875bd9a9dd88ba',
  3.     systime: '1524055777870',
复制代码

剩下就还有sign的值了，在百度翻译的index_xxxx.js文件里面可以找到如下一段小代码
  1. p={from:g.fromLang,to:g.toLang,query:a,transtype:n,simple_means_flag:3,sign:m(a),token:window.common.token};
复制代码

由此发现sign是由m函数获取，而m函数在这个文件中也给出了，下面是截取的代码
  1. function a(r) {
  2.         if (Array.isArray(r)) {
  3.             for (var o = 0, t = Array(r.length); o < r.length; o++) t[o] = r[o];
  4.             return t
  5.         }
  6.         return Array.from(r)
  7.     }

  9.     function n(r, o) {
  10.         for (var t = 0; t < o.length - 2; t += 3) {
  11.             var a = o.charAt(t + 2);
  12.             a = a >= "a" ? a.charCodeAt(0) - 87 : Number(a), a = "+" === o.charAt(t + 1) ? r >>> a : r << a, r = "+" === o.charAt(t) ? r + a & 4294967295 : r ^ a
  13.         }
  14.         return r
  15.     }

  17.     function e(r) {
  18.             // 成对的代理项对
  19.         var o = r.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]/g);
  20.         if (null === o) {
  21.             var t = r.length;
  22.             t > 30 && (r = "" + r.substr(0, 10) + r.substr(Math.floor(t / 2) - 5, 10) + r.substr(-10, 10))
  23.         } else {
  24.             for (var e = r.split(/[\uD800-\uDBFF][\uDC00-\uDFFF]/), C = 0, h = e.length, f = []; h > C; C++) "" !== e[C] && f.push.apply(f, a(e[C].split(""))), C !== h - 1 && f.push(o[C]);
  25.             var g = f.length;
  26.             g > 30 && (r = f.slice(0, 10).join("") + f.slice(Math.floor(g / 2) - 5, Math.floor(g / 2) + 5).join("") + f.slice(-10).join(""))
  27.         }
  28.         var u = void 0,
  29.             l = "" + String.fromCharCode(103) + String.fromCharCode(116) + String.fromCharCode(107);
  30.         u = null !== i ? i : (i = window[l] || "") || "";
  31.         for (var d = u.split("."), m = Number(d[0]) || 0, s = Number(d[1]) || 0, S = [], c = 0, v = 0; v < r.length; v++) {
  32.             var A = r.charCodeAt(v);
  33.             128 > A ? S[c++] = A : (2048 > A ? S[c++] = A >> 6 | 192 : (55296 === (64512 & A) && v + 1 < r.length && 56320 === (64512 & r.charCodeAt(v + 1)) ? (A = 65536 + ((1023 & A) << 10) + (1023 & r.charCodeAt(++v)), S[c++] = A >> 18 | 240, S[c++] = A >> 12 & 63 | 128) : S[c++] = A >> 12 | 224, S[c++] = A >> 6 & 63 | 128), S[c++] = 63 & A | 128)
  34.         }
  35.         for (var p = m, F = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(97) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(54)), D = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(51) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(98)) + ("" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(102)), b = 0; b < S.length; b++) p += S[b], p = n(p, F);
  36.         return p = n(p, D), p ^= s, 0 > p && (p = (2147483647 & p) + 2147483648), p %= 1e6, p.toString() + "." + (p ^ m)
  37.     }
复制代码

其中的e就是m函数了，我这里没有细致的去分析了，你可以试试翻译成python。

注意最后访问的时候其实还需要一个cookie
  1. BAIDUID=049DE15200D1E7F9BDA011E2BF2117A6:FG=1;
复制代码

而这个在访问第一次访问主页面的时候就伴随着headers返回了。

当然，我记得requests有个session，似乎在访问主页面后会自动存储这些cookie的。没有写code来验证，你如果有时间的话，希望可以验证一下。
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复

使用道具 举报

ba21
发表于 2018-4-17 21:52:15 | 显示全部楼层
因为反爬了。换别的站试咯
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

fdk少东家
 楼主| 发表于 2018-4-17 21:53:30 | 显示全部楼层
ba21 发表于 2018-4-17 21:52
因为反爬了。换别的站试咯

我去试试
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

fdk少东家
 楼主| 发表于 2018-4-17 23:23:25 | 显示全部楼层
ba21 发表于 2018-4-17 21:52
因为反爬了。换别的站试咯

我试了有道词典的，代码格式一样，开始也不能用，看来网友的帖子，换了url就行了。应该是百度的这个链接的问题。
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

json
发表于 2018-4-18 21:25:53 | 显示全部楼层    本楼为最佳答案   
稍微看了一下，里面有一个sign算法，没有细致的分析，你可以去看看
首先翻译需要访问的url
  1. https://fanyi.baidu.com/v2transapi
复制代码

参数需要如下
  1. from: zh
  2. to: en
  3. query: (hide)
  4. simple_means_flag: 3
  5. sign: (hide)
  6. token: (hide)
复制代码

这里的query就是需要翻译的文字
simple_means_flag这里统一写成3就可以，那么还需要找到sign和token的值
token的值其实是在主页面上，之后又存储到window.common.token里，python的话访问一下主页面，正则表达式就可以获取到，下面截取一小段主页面的内容
  1. window['common'] = {
  2.     token: '9b8bb341109338ba7e875bd9a9dd88ba',
  3.     systime: '1524055777870',
复制代码

剩下就还有sign的值了，在百度翻译的index_xxxx.js文件里面可以找到如下一段小代码
  1. p={from:g.fromLang,to:g.toLang,query:a,transtype:n,simple_means_flag:3,sign:m(a),token:window.common.token};
复制代码

由此发现sign是由m函数获取，而m函数在这个文件中也给出了，下面是截取的代码
  1. function a(r) {
  2.         if (Array.isArray(r)) {
  3.             for (var o = 0, t = Array(r.length); o < r.length; o++) t[o] = r[o];
  4.             return t
  5.         }
  6.         return Array.from(r)
  7.     }

  9.     function n(r, o) {
  10.         for (var t = 0; t < o.length - 2; t += 3) {
  11.             var a = o.charAt(t + 2);
  12.             a = a >= "a" ? a.charCodeAt(0) - 87 : Number(a), a = "+" === o.charAt(t + 1) ? r >>> a : r << a, r = "+" === o.charAt(t) ? r + a & 4294967295 : r ^ a
  13.         }
  14.         return r
  15.     }

  17.     function e(r) {
  18.             // 成对的代理项对
  19.         var o = r.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]/g);
  20.         if (null === o) {
  21.             var t = r.length;
  22.             t > 30 && (r = "" + r.substr(0, 10) + r.substr(Math.floor(t / 2) - 5, 10) + r.substr(-10, 10))
  23.         } else {
  24.             for (var e = r.split(/[\uD800-\uDBFF][\uDC00-\uDFFF]/), C = 0, h = e.length, f = []; h > C; C++) "" !== e[C] && f.push.apply(f, a(e[C].split(""))), C !== h - 1 && f.push(o[C]);
  25.             var g = f.length;
  26.             g > 30 && (r = f.slice(0, 10).join("") + f.slice(Math.floor(g / 2) - 5, Math.floor(g / 2) + 5).join("") + f.slice(-10).join(""))
  27.         }
  28.         var u = void 0,
  29.             l = "" + String.fromCharCode(103) + String.fromCharCode(116) + String.fromCharCode(107);
  30.         u = null !== i ? i : (i = window[l] || "") || "";
  31.         for (var d = u.split("."), m = Number(d[0]) || 0, s = Number(d[1]) || 0, S = [], c = 0, v = 0; v < r.length; v++) {
  32.             var A = r.charCodeAt(v);
  33.             128 > A ? S[c++] = A : (2048 > A ? S[c++] = A >> 6 | 192 : (55296 === (64512 & A) && v + 1 < r.length && 56320 === (64512 & r.charCodeAt(v + 1)) ? (A = 65536 + ((1023 & A) << 10) + (1023 & r.charCodeAt(++v)), S[c++] = A >> 18 | 240, S[c++] = A >> 12 & 63 | 128) : S[c++] = A >> 12 | 224, S[c++] = A >> 6 & 63 | 128), S[c++] = 63 & A | 128)
  34.         }
  35.         for (var p = m, F = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(97) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(54)), D = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(51) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(98)) + ("" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(102)), b = 0; b < S.length; b++) p += S[b], p = n(p, F);
  36.         return p = n(p, D), p ^= s, 0 > p && (p = (2147483647 & p) + 2147483648), p %= 1e6, p.toString() + "." + (p ^ m)
  37.     }
复制代码

其中的e就是m函数了，我这里没有细致的去分析了，你可以试试翻译成python。

注意最后访问的时候其实还需要一个cookie
  1. BAIDUID=049DE15200D1E7F9BDA011E2BF2117A6:FG=1;
复制代码

而这个在访问第一次访问主页面的时候就伴随着headers返回了。

当然，我记得requests有个session，似乎在访问主页面后会自动存储这些cookie的。没有写code来验证，你如果有时间的话，希望可以验证一下。
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

MONSTER123
发表于 2018-9-20 18:49:47 | 显示全部楼层
请问楼主是怎么解决的呢，我也是出现KeyError: 'trans_result'，一直不知道哪里错了
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-4-20 15:49

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表