为什么我写的一个爬虫打开那么慢显示的内容也不对啊

西殴 · 发表于 2016-10-5 20:57:35

您需要登录才可以下载或查看，没有账号？立即注册

x

照着第55课写的

import urllib.request
url = 'http://www.whatismyip.com.tw'
proxy_support = urllib.request.ProxyHandler({'http':'222.68.207.11:80'})
opener = urllib.request.build_opener(proxy_support)
opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36')]
urllib.request.install_opener(opener)
response = urllib.request.urlopen(url)
html = response.read().decode('utf-8')
print(html)

复制代码

问题1: 换了很多代理ip 都出错(出错内容图1) 用自己的IP跑就不会,但是看着内容和55课上的不一样 (自己IP跑的图2)
问题2: 不管用什么IP跑都很慢每次都要一分钟左右这个是不是我电脑的问题 (注: 我电脑是windows10 64位 python是3.5.2版本)

西殴 · 发表于 2016-10-5 21:05:29

请各位鱼油指点一下谢谢

SixPy · 发表于 2016-10-5 22:41:29

西殴 · 发表于 2016-10-5 23:55:15

SixPy 发表于 2016-10-5 22:41
http://bbs.fishc.com/forum.php?mod=redirect&goto=findpost&ptid=74280&pid=2620904

代理IP这个懂一点了

那么第二个问题呢是我主机不行还是网络问题或者其它问题呢

不管我怎么弄都是很慢才跑出来

～风介～ · 发表于 2016-10-6 00:04:17

西殴发表于 2016-10-5 23:55
代理IP这个懂一点了

那么第二个问题呢是我主机不行还是网络问题或者其它问题呢

你换些收费的代理IP试试？情况应该会不一样。

西殴 · 发表于 2016-10-6 00:22:31

～风介～发表于 2016-10-6 00:04
你换些收费的代理IP试试？情况应该会不一样。

用自己的IP去也是一样慢啊

这个区别真的很大麽

～风介～ · 发表于 2016-10-6 00:26:36

西殴发表于 2016-10-6 00:22
用自己的IP去也是一样慢啊

这个区别真的很大麽

西殴 · 发表于 2016-10-6 00:30:55

～风介～发表于 2016-10-6 00:26
试试这个?http://whatismyip.org/

我觉得我电脑出问题了

复制代码

我刚刚试着跑这个也要好久

～风介～ · 发表于 2016-10-6 00:33:22

西殴发表于 2016-10-6 00:30
我觉得我电脑出问题了

我刚刚试着跑这个也要好久

1.重启试试。
2.换一台机吧。

西殴 · 发表于 2016-10-6 00:41:01

～风介～发表于 2016-10-6 00:33
1.重启试试。
2.换一台机吧。

跑了几次上面那个代码把Shell跑死了电脑没问题就是Shell会死这是什么个情况

账号		自动登录	找回密码
密码			立即注册

为什么我写的一个爬虫打开那么慢 显示的内容也不对啊