网页代码解析出现 gbk codec errors问题

SylarPu

前段时间想参与鱼C的python挑战赛，正好这期是关于爬虫的。
点我鱼Cpython挑战赛 第四季第四期

结果使用如下代码趴下来的网页，报错gbk codec errors

1. # -*- coding: utf-8 -*-
   
2. import requests
   
3. 
   
4. user_agent= 'ozilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127 Firefox/2.0.0.11'
   
5. headers = {
   
6.     'user-agent': user_agent,
   
7.     'accept': '* / *',
   
8.     'accept - encoding': 'gzip, deflate, br',
   
9.     'accept - language': 'zh - CN, zh;q = 0.9',
   
10. }
    
11. 
    
12. url = "https://daily.zhihu.com"
    
13. r = requests.get(url, headers=headers)
    
14. print(r.text)
    

复制代码

首先查看了下系统的编码

1. import sys
   
2. sys.getdefaultencoding()

复制代码

结果为 utf-8

我又查看了爬下来的代码的编码格式：

1. # -*- coding: utf-8 -*-
   
2. import requests
   
3. 
   
4. user_agent= 'ozilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127 Firefox/2.0.0.11'
   
5. headers = {
   
6.     'user-agent': user_agent,
   
7.     'accept': '* / *',
   
8.     'accept - encoding': 'gzip, deflate, br',
   
9.     'accept - language': 'zh - CN, zh;q = 0.9',
   
10. }
    
11. 
    
12. url = "https://daily.zhihu.com"
    
13. r = requests.get(url, headers=headers)
    
14. import chardet
    
15. 
    
16. print(chardet.detect(r.content))
    
17. 
    

复制代码

结果也是utf-8，

蒙蔽的我发现哪哪都是utf-8，完全没毛病好么。。
然后我就猜测是不是文件格式问题，特意使用notepad++更改了文件格式为
utf-8

随后依然报错。。

游客，如果您要查看本帖隐藏内容请回复

希望可以帮助到同样出现这种问题的童鞋

helloxiaoc

楼楼好

来钓鱼

SylarPu

helloxiaoc 发表于 2017-12-18 19:01
楼楼好

mxdxjy123

谔谔谔谔谔谔谔谔