用简单的urllib和re（不需要第三方库），爬取大长腿！

fydlgg · 发表于 2018-2-24 17:30:25

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由 fydlgg 于 2018-2-24 18:05 编辑

微信截图_20180224103102.png

学习了一周左右的《从零开始python》，终于看到了爬虫这章，跃跃欲试，照葫芦画瓢，简单的爬了一系列大长腿，跟大家分享，也希望指出问题！

import urllib.request
import os
import re
def url_open(url):
req = urllib.request.Request(url)
req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')
response = urllib.request.urlopen(req)
html = response.read()
return html
def get_links(url):#返回导航网页链接地址
html = url_open(url).decode('utf-8')
links = re.findall(r'http://www.tuimo5.com/\d{4}.html', html)
links = list(set(links))
links.sort(reverse = True)
return links
def get_img(page_url):#返回图片地址
html = url_open(page_url).decode('utf-8')
img_adds = re.findall(r'http://www.tuimo5.com/wp-content/uploads/\d{4}/\d{2}/\d{4}-\d-.{8}.jpg', html)
return img_adds
def save_img(folder, img_adds):#保存图片，用本身命名
for each in img_adds:
img = url_open(each)
name = each.split('/')[-1]
with open(name, 'wb') as f:
f.write(img)
def download_mm(folder = 'OOXX', num = 5): #主程序
os.mkdir(folder)
os.chdir(folder)
url = 'http://www.tuimo5.com/rlmt'
links = get_links(url)
for i in range(num):
page_url = links[i]
img_adds = get_img(page_url)
save_img(folder, img_adds)
if __name__ == '__main__':
download_mm()

复制代码

AndyZhou · 发表于 2018-2-24 18:44:21

waitforlove · 发表于 2018-2-24 20:40:09

可以看极客之速率革命了，还是那句话不要重复造轮子

flyinghigher · 发表于 2018-2-24 20:41:47

学习

洛水终无情 · 发表于 2018-2-24 20:51:05

moc · 发表于 2018-2-24 20:51:49

看看能不能看懂

flasher · 发表于 2018-2-24 21:13:00

二五二废弃物恶化趋势

Jason108 · 发表于 2018-2-24 21:26:01

天变杀 · 发表于 2018-2-24 21:26:45

学习

admintest166 · 发表于 2018-2-24 21:39:51

可以的

laoxing · 发表于 2018-2-24 22:17:04

这么6看来现在Python很火。。。

wanzeren · 发表于 2018-2-25 09:57:10

..66

cwm19860924 · 发表于 2018-2-25 11:45:00

很亮

小骚猫 · 发表于 2018-2-25 12:21:26

学习学习

heerbutong · 发表于 2018-2-25 13:25:11

正好也看到这里，可惜书上的不能直接用了，才转到论坛上来。

chenling851226 · 发表于 2018-2-25 13:30:26

kankan

wwwy · 发表于 2018-2-26 11:35:00

mintaka · 发表于 2018-2-26 12:28:29

fanghhh · 发表于 2018-2-26 15:00:11

学习

往事随风而去 · 发表于 2018-2-26 16:17:08

感谢分享

账号		自动登录	找回密码
密码			立即注册

[技术交流] 用简单的urllib和re（不需要第三方库），爬取大长腿！