你们代理ip地址都是哪里找的

光宇 · 发表于 2017-4-15 15:52:36

有没有什么网站，贡献一下，找了一个一天既然只找到一个

新手·ing · 发表于 2017-4-15 16:07:40

你最好...最好...买吧
免费的真真不靠谱...

新手·ing · 发表于 2017-4-15 16:09:42

http://www.xicidaili.com/
http://www.kuaidaili.com/

光宇 · 发表于 2017-4-15 16:09:53

新手·ing 发表于 2017-4-15 16:07
你最好...最好...买吧
免费的真真不靠谱...

付费的也不一定靠谱，据说很多付费的也不能用

MSK · 发表于 2017-4-15 16:10:29

我自己写了个程序，可以获取一些免费的代理IP，要不楼主看看？

from urllib.request import *
#url = 'http://www.xicidaili.com'
def get(url='http://www.xicidaili.com'):
'返回一个叫做 ip_dict 的字典\n,格式:\nip_dict[ip] = [port,place,anonymity,form,live_time,update_time]'
url = Request(url)
url.add_header("User-Agent",'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36')
html = urlopen(url)
response = html.read().decode('utf-8')
ip_dict = {}
#the_num 为 '<img src="http://fs.xicidaili.com/images/flag/cn.png" alt="Cn" /></td>' 的位置
the_num = response.find('<img src="http://fs.xicidaili.com/images/flag/cn.png" alt="Cn" /></td>')
count = 0
while the_num != -1:
#查找IP地址
a = response.find('<td>',the_num) + 4
b = response.find('</td>',a)
ip = response[a:b]
#查找端口号
a = response.find('<td>',b) + 4
b = response.find('</td>',a)
port = response[a:b]
#查找服务器地址
a = response.find('<td>',b) + 4
b = response.find('</td>',a)
place = response[a:b]
#查找是否匿名
a = response.find('<td class="country">',b) + 20
b = response.find('</td>',a)
anonymity = response[a:b]
#查找代理类型
a = response.find('<td>',b) + 4
b = response.find('</td>',a)
form = response[a:b]
#查找存活时间
a = response.find('<td>',b) + 4
b = response.find('</td>',a)
live_time = response[a:b]
#查找更新时间
a = response.find('<td>',b) + 4
b = response.find('</td>',a)
update_time = response[a:b]
#将查找结果加入 ip_dict
ip_dict[ip] = [port,place,anonymity,form,live_time,update_time]
#为下一次查找初始化
the_num = response.find('<img src="http://fs.xicidaili.com/images/flag/cn.png" alt="Cn" /></td>',b)
#计数器
count += 1
print('一共找到%d个' % count)
return ip_dict
if __name__ == '__main__':
ip_dict = get()

复制代码

光宇 · 发表于 2017-4-15 16:37:13

MSK 发表于 2017-4-15 16:10
我自己写了个程序，可以获取一些免费的代理IP，要不楼主看看？

首先，你这个代码返回的值只是爬到的数量，并没有把ip，端口列出来。
而且，一旦爬的数量多，你在访问时肯定也需要代理ip，但你里面也没有。
当然最关键的还是，没有进行测试，网站上百分90以上的代理都是不能用的。
总结来说，用你代码，还不如去网站一个一个的去试。

光宇 · 发表于 2017-4-15 16:40:52

新手·ing 发表于 2017-4-15 16:09
http://www.xicidaili.com/
http://www.kuaidaili.com/

这两个我都去试了，十个个里面没有一个可以用的，成功率估计只有百分之几

MSK · 发表于 2017-4-15 16:43:38

怎么会没有啊，你需要用一个变量来存发get（）的返回值啊，
像这样就可以查看所有爬到的代理：

cc = get()
for each in cc.items():
print(each)

复制代码

MSK · 发表于 2017-4-15 16:45:16

get()返回的是一个字典，我为了其他程序方便调用故意这么写的

新手·ing · 发表于 2017-4-15 17:00:45

光宇发表于 2017-4-15 16:40
这两个我都去试了，十个个里面没有一个可以用的，成功率估计只有百分之几

是啊，不收费基本没有好的

光宇 · 发表于 2017-4-15 17:01:52

MSK 发表于 2017-4-15 16:45
get()返回的是一个字典，我为了其他程序方便调用故意这么写的

我说了，你这个代码最关键不是这个，而是没有进行测试，该代理ip地址是否可用，所以，用你这个代码得到ip我还得一个一个去试，和去网站试没区别。而且你这个代码没有代理，一旦量大，分分钟被屏蔽。

MSK · 发表于 2017-4-15 17:07:44

IP可不可用道是个问题，不过我只对网站发起一次访问，怎么会屏蔽啊

MSK · 发表于 2017-4-15 17:10:58

我其他程序使用这个模块的时候我加了几句代码：

#使用代理
def proxy_open(url):
no_error = True#检测是否存在异常
while no_error:
a = random.choice(ip_list)#ip_list是一个字典，存放代理IP
ip = a[0]
port = a[0][1]
proxy = ProxyHandler({ip:port})
opener = build_opener(proxy)
opener.addheaders = [("User-Agent",'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36')]
try:
html = opener.open(url)
except:
print('代理IP%s，端口%s异常' % (ip,port))
print('正在切换代理')
ip_list.remove(a)
else:
no_error = False
return html.read()

复制代码

光宇 · 发表于 2017-4-15 17:12:12

MSK 发表于 2017-4-15 17:07
IP可不可用道是个问题，不过我只对网站发起一次访问，怎么会屏蔽啊

我说了，是数量多的时候，你能先看清楚我的话在说吗。正常情况下，一页里面不见得就有一个能有ip，你肯定要去第二页访问，第三页访问，是不是?

MSK · 发表于 2017-4-15 17:13:50

光宇发表于 2017-4-15 17:12
我说了，是数量多的时候，你能先看清楚我的话在说吗。正常情况下，一页里面不见得就有一个能有ip，你肯 ...

嗯，我改改

Aifrincoo · 发表于 2017-4-16 08:27:18

我在家爬http://www.xicidaili.com/的免费代理IP，结果直接被拉黑名单了。

新手·ing · 发表于 2017-4-16 08:38:59

Aifrincoo 发表于 2017-4-16 08:27
我在家爬http://www.xicidaili.com/的免费代理IP，结果直接被拉黑名单了。

光宇 · 发表于 2017-4-17 08:53:00

Aifrincoo 发表于 2017-4-16 08:27
我在家爬http://www.xicidaili.com/的免费代理IP，结果直接被拉黑名单了。

在爬代理也要加代理ip，你不知道?

Aifrincoo · 发表于 2017-4-17 16:49:32

光宇发表于 2017-4-17 08:53
在爬代理也要加代理ip，你不知道?

被拉黑了才知道

账号		自动登录	找回密码
密码			立即注册

你们代理ip地址都是哪里找的

点评