爬虫

S54061

我在做小甲鱼第53讲时，获取网页编码
这里用了小甲鱼的代码
import urllib.request
import chardet


def main():
    url = input("请输入URL：")

    response = urllib.request.urlopen(url)
    html = response.read()

    # 识别网页编码
    encode = chardet.detect(html)['encoding']

    if encode == 'GB2312':
        encode = 'GBK'

    print("该网页使用的编码是：%s" % encode)




if __name__ == "__main__":
    main()

为什么用快手的url最后编码是Windows-1254，我看了网页上显示的是utf-8
请输入URL：http://live.kuaishou.com
该网页使用的编码是：Windows-1254

ABC23

>>> chardet.detect(b'Hello, world!')
{'encoding': 'ascii', 'confidence': 1.0, 'language': ''}
================================
chardet是一个用来甄别编码的python第三方库。
你看confidetn字段，这里是1.0表示100%，但是并不能保证每次都是100%——总会有失误的时候嘛！再看看你的字段显示是不是1.0，如果不是就不能保证准确解析。

另外，建议使用requests库。使用requests.get(url).encoding进行编码方式的解析。

S54061

ABC23 发表于 2018-4-24 21:14
>>> chardet.detect(b'Hello, world!')
{'encoding': 'ascii', 'confidence': 1.0, 'language': ''}
==== ...

恩恩，确实不是1.0
请输入URL：https://live.kuaishou.com
{'encoding': 'Windows-1254', 'confidence': 0.4515685005820004, 'language': 'Turkish'}
使用你说的requests.get("https://live.kuaishou.com").encoding
就可以了，非常感谢