关于网络爬虫抓取URL的思考

逸一

大家好:
最近因为在用python学网络爬虫，遇到了困惑。无法得到正确的应答。

于是在坛子里找这个问题的解决办法。方法也有很多，有些能成功，有些仍旧无法运行。但刚才找到了一个大神非常简单的修改，再经过自己的试验，得出了最简单的修改。但我不知道为什么要这样改，而通过网络抓取获得的URL却无法得到正确应答？

以下为代码：

1. import urllib.parse
   
2. 
   
3. import urllib.request
   
4. 
   
5. import json
   
6. 
   
7. 
   
8. content = input('请输入需要翻译的内容：')
   
9. 
   
10. 
    
11. #url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=fanyi.logo'    #论坛某大神给出的可执行的代码
    
12. 
    
13. url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&sessionFrom=null"                         #根据可执行的代码进行修改后的代码
    
14. 
    
15. #url = "http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule&sessionFrom=null"                        #通过网站自行抓取的URL
    
16. 
    
17. data = {}
    
18. 
    
19. data['type'] = 'AUTO'
    
20. 
    
21. data['i'] = content
    
22. 
    
23. data['doctype'] = 'json'
    
24. 
    
25. #data['xmlVersion'] = '1.8'
    
26. data['version'] = '1.8'
    
27. 
    
28. data['keyfrom'] = 'fanyi.web'
    
29. 
    
30. data['ue'] = 'UTF-8'
    
31. 
    
32. #data['action'] = 'FY_BY_CLICK_BUTTON'
    
33. 
    
34. data['typoResult'] = 'true'
    
35. 
    
36. data = urllib.parse.urlencode(data).encode('utf-8')
    
37. 
    
38. 
    
39. response = urllib.request.urlopen(url,data)
    
40. 
    
41. html = response.read().decode('utf-8')
    
42. 
    
43. 
    
44. target = json.loads(html)
    
45. 
    
46. 
    
47. print('翻译结果：%s' % (target['translateResult'][0][0]['tgt']))
    
48. 
    

复制代码

顺便贴上自己抓取的信息。