[已解决]爬虫编码问题求解

13576112194

首先感谢大神看贴
先上图

requests抓猫眼

requests抓百度

requests抓鱼c

图1是requests抓取鱼c主页的然后打印的信息，好像都正常，
图2是requests抓百度的主页然后打印，代码中的中文没有显示
图3是requests抓猫眼的主页然后打印，直接就报错了，好像就只在print(response.get)处出了问提
print(type(response.text))--><class 'str'>
print(response.content) 二进制打印正常


模块只导入了import requests
除了图上的代码没有多余的、多写的、不该有的代码了
我估计可能是编码的问题，但是百度上的答案好像和我的不一样
百度说python2猜需要设置编码的
我用的是python3.6.4

麻烦请大神解答一下，请把猫眼的源代码和鱼c打印的效果一样


谢谢
谢谢
谢谢

最佳答案

月排行榜 / 总排行榜

塔利班

2018-3-25 20:55:46

没用过requests模块
print(response.text.decode('utf-8'))
试试

跳转到最佳答案楼层

塔利班

没用过requests模块
print(response.text.decode('utf-8'))
试试

gopythoner

我用你的代码，在pycharm中运行是没有报错的，编码格式就是utf-8
所以，应该是你的IDE的编码有问题，程序是没有问题的

第四时空

我这边倒是没问题，urllib和requests都ok。建议你换个IDE试一下，pycharm或者vscode啥的。或者到命令行里的python试一下，python自带的这个没怎么用过，可能和相关的环境变量影响有关。

JAY饭

有的时候你不能用text,用content

老笨啊

菜鸟求助：
这个爬虫程序写完了，如何在浏览器上调试？

lapo_Mu

在打印之前加一句:
r.encoding = r.apparent_encoding
90%的情况下都会成功

淫令天下

编码格式问题，看报错信息（实在不想翻译的话可以百度或有道翻译，你那两个报错的打字遮住了，我没法翻译）！其次，你直接get不隐藏浏览器头的话应该是会被猫眼直接禁止访问的！

import requests

headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
}
url = 'http://piaofang.maoyan.com/dashboard'

resonse = requests.get(url,headers = headers)

print(resonse.content.decode('utf-8'))