鱼C论坛

 找回密码
 立即注册
查看: 1200|回复: 0

[技术交流] 零基础学习Python53讲,动动手最后一道题

[复制链接]
发表于 2018-3-29 16:18:01 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
为什么我的百度爬出来只有两行内容??

但是其他的爬出来就是有内容的
我的代码:
#一次访问文件中的指定的站点,并将站点返回的内容存放到不同的文件中
import urllib.request as ur
import chardet as det
def readfile(urlfile):
    with open(urlfile,'r') as urlcon:
        for eachline in urlcon:
            eachline=eachline.strip('\n')
            spider(eachline)

def spider(urls):
    global num
    num+=1
    contxt=ur.urlopen(urls)
    cthtml=contxt.read()
    encode=det.detect(cthtml)['encoding']
    if encode=='GB2312':
        encode='GBK'
    cthtml=cthtml.decode(encode,'ignore')
    filename='url_'+str(num)+'.txt'
    with open(filename,'w',encoding=encode) as spdcontxt:
        spdcontxt.write(cthtml)

if __name__=='__main__':
    num=0   
    urlfile="urls.txt"
    readfile(urlfile)

1.png
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-4-24 20:09

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表