鱼C论坛

 找回密码
 立即注册
查看: 3546|回复: 16

[作品展示] 入門爬蟲爬取豆瓣圖書TOP250(小甲魚的大發現!)

[复制链接]
发表于 2017-5-11 13:58:42 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 文质彬彬胡汉三 于 2017-5-11 14:27 编辑

各位大佬好,跟著小甲魚老師學習python有一段時間了,55個課程都看完了,這一段時間內每天規劃了學習時間,定期複習,頗有收穫。
現在我已經沉迷到python的學習中,每天都要看看官方文檔,越往後面的學習,越讓我覺得python的奧妙,學好python,真的可以為生活帶來諸多便利!
興趣使然,小可決定向爬蟲方向努力深入,先用入門的定向爬蟲爬取了豆瓣讀書的圖書排行榜,大家一起交流,懇請大佬們多多指點。話不多說,直接代碼:
  1. import requests
  2. from bs4 import BeautifulSoup as bs

  3. depth = 10 #一共有10页
  4. books = [] #存储定向信息
  5. for i in range(depth):
  6.     s = i*25
  7.     r = 'https://book.douban.com/top250?start='
  8.     url = r+str(s) #获取完整的url
  9.     demo = requests.get(url).text
  10.     soup = bs(demo,'html.parser')
  11.     book = soup.find_all('td',)
  12.     for i in book:
  13.         if i.a.get('title') == None:
  14.             pass
  15.         else:
  16.             name = i.a.get('title')
  17.             text = i.p.text.split('/')
  18.             author = text[0]
  19.             price = text[-1]
  20.             rate = i.find('span',{'class':'rating_nums'}).text
  21.             try:
  22.                 info = i.find('span',{'class':'inq'}).text
  23.             except:
  24.                 info = '无信息'
  25.             adr = i.a.get('href')
  26.             books.append([name,author,price,rate,info,adr])
  27. count = 0
  28. for each in books:
  29.     count += 1
  30.     booklist = 'Top:{}\n书名:{}\n作者:{}\n定价:{}\n评分:{}\n一句话书评:{}\n信息查阅:{}\n'
  31.     print(booklist.format(count,each[0],each[1],each[2],each[3],each[4],each[5]))        
复制代码

截圖如下:
book.jpg

在查閱官方文檔的時候,發現了一個有意思的庫,turtle,使用這個庫可以使python畫圖,效果如下:
五角星.jpg
完全是Python自動畫出來的,小甲魚真厲害!
游客,如果您要查看本帖隐藏内容请回复

歡迎大家一起交流

评分

参与人数 2荣誉 +8 鱼币 +10 贡献 +6 收起 理由
狂潮丶 + 5 + 5 + 3 支持楼主!
~风介~ + 3 + 5 + 3 支持楼主!

查看全部评分

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-5-12 17:11:57 | 显示全部楼层
听说RE和爬虫更配哦~
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-5-12 18:40:16 | 显示全部楼层
加油! 看到你学习速度,再抱怨自己时间不够,才是浪费时间- -
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-5-12 22:55:07 | 显示全部楼层
感谢分享~~~~~~~~~~
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-5-12 23:13:04 | 显示全部楼层
自然水 发表于 2017-5-12 18:40
加油! 看到你学习速度,再抱怨自己时间不够,才是浪费时间- -

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-5-13 08:50:33 From FishC Mobile | 显示全部楼层
向你学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-5-13 14:58:20 | 显示全部楼层
学习学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-5-17 17:40:21 | 显示全部楼层
学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-5-18 21:39:09 | 显示全部楼层
谢谢分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-5-22 23:44:33 | 显示全部楼层
好好学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-12-13 20:37:09 | 显示全部楼层
谢谢楼主的分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-12-14 09:48:34 | 显示全部楼层
学习啦
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-12-14 20:30:13 | 显示全部楼层
不错不错
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-12-14 23:03:37 | 显示全部楼层
看看
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-2-5 20:41:43 | 显示全部楼层
666666
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-2-5 21:47:57 | 显示全部楼层
requests是什么东东
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-2-6 12:20:40 | 显示全部楼层
哇~~!!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-3-29 22:01

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表