鱼C论坛

 找回密码
 立即注册
查看: 1139|回复: 2

[已解决]爬虫bug

[复制链接]
发表于 2018-4-14 10:57:02 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
在把一个网站多个子网站写进一个列表里一直报错
  1. import requests
  2. import re

  3. def gethtml(url):
  4.         k = {'user-agent':'Mozilla/5.0'}
  5.         r = requests.get(url,headers = k)
  6.         r.status_code
  7.         r.encoding = r.apparent_encoding
  8.         html = r.text
  9.         return html

  10. def findip(html):
  11.     p = r'(?:(?:[0,1]?\d?\d|2[0-4]\d|25[0-5])\.){3}(?:[0,1]?\d?\d|2[0-4]\d|25[0-5])'
  12.     iplist = re.findall(p,html)

  13.     for each in iplist:
  14.             print(each)



  15. def main():
  16.         url = []
  17.         for i in range(1,20):
  18.                 u = 'http://www.66ip.cn/' + str(i) +'.html'
  19.                 url.append(u)

  20.        
  21.         for each in url:
  22.                 findip(gethtml(each))

  23.         print('爬取完毕!')

  24. main()
  25. input()
复制代码
最佳答案
2018-4-14 11:09:18
代码正确缩进啊。。

  1. import requests
  2. import re

  3. def gethtml(url):
  4.         k = {'user-agent':'Mozilla/5.0'}
  5.         r = requests.get(url,headers = k)
  6.         r.status_code
  7.         r.encoding = r.apparent_encoding
  8.         html = r.text
  9.         return html

  10. def findip(html):
  11.     p = r'(?:(?:[0,1]?\d?\d|2[0-4]\d|25[0-5])\.){3}(?:[0,1]?\d?\d|2[0-4]\d|25[0-5])'
  12.     iplist = re.findall(p,html)

  13.     for each in iplist:
  14.             print(each)



  15. def main():
  16.         url = []
  17.         for i in range(1,20):
  18.                 u = 'http://www.66ip.cn/' + str(i) +'.html'
  19.                 url.append(u)

  20.          
  21.         for each in url:
  22.                 findip(gethtml(each))

  23.         print('爬取完毕!')

  24. main()
  25. input()
复制代码


2018-04-14_110830.png
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-4-14 11:09:18 | 显示全部楼层    本楼为最佳答案   
代码正确缩进啊。。

  1. import requests
  2. import re

  3. def gethtml(url):
  4.         k = {'user-agent':'Mozilla/5.0'}
  5.         r = requests.get(url,headers = k)
  6.         r.status_code
  7.         r.encoding = r.apparent_encoding
  8.         html = r.text
  9.         return html

  10. def findip(html):
  11.     p = r'(?:(?:[0,1]?\d?\d|2[0-4]\d|25[0-5])\.){3}(?:[0,1]?\d?\d|2[0-4]\d|25[0-5])'
  12.     iplist = re.findall(p,html)

  13.     for each in iplist:
  14.             print(each)



  15. def main():
  16.         url = []
  17.         for i in range(1,20):
  18.                 u = 'http://www.66ip.cn/' + str(i) +'.html'
  19.                 url.append(u)

  20.          
  21.         for each in url:
  22.                 findip(gethtml(each))

  23.         print('爬取完毕!')

  24. main()
  25. input()
复制代码


2018-04-14_110830.png
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-4-14 11:16:43 | 显示全部楼层
ba21 发表于 2018-4-14 11:09
代码正确缩进啊。。

我从程序里原封不动copy过来的,用python一直对缩进报错。。然后从这里复制回去就能运行了。。不知道为啥。。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-3-29 08:34

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表