Requests库5个入门案例展示

TommyTimfy

注：
本帖系鄙人在别处学习总结得来，但是符合小甲鱼老师的笔记规矩。
尊重下版权注明下出处：中国大学MOOC，Python网络爬虫与信息的获取
均在IDLE上运行即可。

1. # 爬取京东页面的内容
   
2. 
   
3. import requests
   
4. url = 'https://item.jd.com/4938568.html?cpdad=1DLSUE#crumb-wrap'
   
5. try:
   
6.     r = requests.get(url)
   
7.     r.raise_for_status()      # if not 200, raise HTTPError，表示只有200时才是正常获取的
   
8.     r.encoding = r.apparent_encoding   
   
9.     # r.encoding 从HTTP header中猜测的响应内容编码方式
   
10.     # r.apparent_encoding  从内容中分析出的响应内容编码方式（备选编码方式）  
    
11.     print(r.text[:1000])      # 只是展示下是否成功获得内容，因此只打印前1000个字符
    
12. except:
    
13.     print("Error Occurred")

复制代码

第二个例子是亚马逊网站，若采用上述方法，则会出现“意外错误”。这里需要修改下user-agent，改为Mozilla/5.0，就可以访问了

1. # 爬取亚马逊页面的内容
   
2. 
   
3. import requests
   
4. 
   
5. url = 'https://item.jd.com/4938568.html?cpdad=1DLSUE#crumb-wrap'
   
6. try:
   
7. 
   
8.     kv = {'user-agent':'Mozilla/5.0'}   # 修改访问的header
   
9.     r = requests.get(url, headers = kv)
   
10.     r.raise_for_status()                # if not 200, raise HTTPError
    
11.     r.encoding = r.apparent_encoding
    
12.     print(r.text[:1000])
    
13. except:
    
14.     print("Error Occurred")

复制代码

百度的关键词接口：https://www.baidu.com/s?wd=keyword
这里我们尝试返回输入Python时的内容。

1. # 百度搜索关键词提交
   
2. 
   
3. import requests
   
4. url = 'https://www.baidu.com/s'  # 需查看具体的网页
   
5. keyword = "Python"  # 关键词
   
6. try:
   
7.     kv = {'wd': keyword}
   
8.     r = requests.get(url, params = kv)
   
9.     print(r.request.url)   # 请求的地址
   
10.     r.raise_for_status()   # if not 200, raise HTTPError
    
11.     print(len(r.text))      
    
12. except:
    
13.     print("Error Occurred")

复制代码

这里我们找到了一个可以查询归属地的网站，进去搜了一个之后，了解其格式，为：
http://www.ip138.com:8080/search ... 8&action=mobile，因此代码稍作修改，即可实现：

1. # 获取ip地址，电话号码归属地查询
   
2. # 从网页中查找相应的信息
   
3. import requests
   
4. url = 'http://www.ip138.com:8080/search.asp?mobile='
   
5. try:
   
6.     r = requests.get(url + '18808080808' + '&action=mobile' )
   
7.     r.raise_for_status() # if not 200, raise HTTPError
   
8.     r.encoding = r.apparent_encoding
   
9.     print(len(r.text))
   
10.     print(r.text[3000:4000]) # 保证IDLE的使用
    
11. except:
    
12.     print("Error Occurred")

复制代码

网络图片的爬取：
思路：用到了os模块的一些命令，若没有指定的文件夹，则会创建文件夹，并在其中保存图片。

1. # 网页图片爬取,并保存其在网页上的图片名
   
2. import requests
   
3. import os
   
4. 
   
5. url = 'http://img0.dili360.com/rw14/ga/M02/33/7C/wKgBzFSbqQyAJVAuAARB8cSWH_w695.tub.jpg'
   
6. root = "E://XXX//XXX"              # 根目录地址，自己定一个
   
7. path = root + url.split('/')[-1]    # 完整路径+图片名
   
8. 
   
9. try:
   
10.     if not os.path.exists(root):
    
11.         os.mkdir(root)           # 创建单层目录
    
12.     if not os.path.exists(path):
    
13.         r = requests.get(url)
    
14.         with open(path, 'wb') as f:
    
15.             f.write(r.content)   # 默认二进制形式写入文件
    
16.             f.close()
    
17.             print("Saved successfully!")
    
18.     else:
    
19.         print("The file already exists.")
    
20. except:
    
21.     print("Error Occurred")

复制代码

ド゛゜范

谢谢了

ド゛゜范

with是默认关闭的不用写close

TommyTimfy

ド゛゜范 发表于 2017-8-29 19:16
with是默认关闭的不用写close

哈哈多谢提醒

新手·ing

能不能写注释，不是很懂一些函数

TommyTimfy

新手·ing 发表于 2017-8-29 21:46
能不能写注释，不是很懂一些函数

请问是在评论里写吗？或者可以直接修改帖子吗？

新手·ing

TommyTimfy 发表于 2017-8-30 15:01
请问是在评论里写吗？或者可以直接修改帖子吗？

修改呗，我觉得挺好的

TommyTimfy

新手·ing 发表于 2017-8-30 16:50
修改呗，我觉得挺好的

啊，回复晚了，我做好补充了