17 超时设置

和vvv

17 超时设置

      由于网络速度和对方服务器的问题，我们爬取一个网页的时候，都需要时间。有的很快，有的却慢如蜗牛。我们访问一个网页，如果该网页长时间未响应，那么我们的系统就会判断该网页超时了，即无法打开该网页。
     有的时候，我们需要根据自己的需要，来设置超时的时间值。毕竟不同的人，其财富与能力不同，有的反应快，有的反应慢。为了提高效率，我们需要据实际情况来设置超时时间值。

1. import urllib.request
   
2. for i in range(0,100):
   
3.     #异常处理
   
4.     try:
   
5.         data = urllib.request.urlopen("http://bbs.fishc.com/forum-173-1.html",timeout=0.2).read()
   
6.         print(len(data))
   
7.     except Exception as err:
   
8.         print("出现异常")

复制代码

结果：


可以发现，随着不断地访问同一网站，会发生异常。这时，为了提高速度和效率,timeout的设置就比较关键了。

在这里，由衷地给大家一个建议：不要随便地用爬虫大量访问同一个网站(除非特殊情况)，否则可能会引起不必要的麻烦。

JustForLove

很实用的。

lLYPYTH

这种感觉就行断线重连效果