鱼C论坛

 找回密码
 立即注册
查看: 2098|回复: 4

[技术交流] 鱼C论坛Python精英挑战赛(第四季04期)评选结果

[复制链接]
发表于 2017-12-18 09:54:41 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 jerryxjr1220 于 2017-12-18 10:19 编辑

本期挑战赛只有 1 位鱼油qwc3000正确而且非常完美地完成了题目要求,获得第一名。大家可以参考他的代码,写得非常好,运用多线程定时执行,加上第三方库pdfkit+wkhtmltopdf完美地完成了任务。春衫少年薄 也提交了解答,但没有按要求输出需要的文件和内容。

qwc3000 作为本期擂主参与下期精英挑战赛,下期挑战赛只有应用题可选,所以就不给选择了。

有请 @小甲鱼 老师颁奖,第一名奖励 50 鱼币,第二名 30 鱼币,第三名 20 鱼币。

本期竞猜获胜为“单数”。

请以下鱼油回帖领奖:

  • SylarPu
  • BngThea
  • 新手·ing
  • niefeng1988
  • lovesword
  • shawn竹肃
  • gunjang
  • timeislife
  • 張小雄
  • kislar
  • 燕清

本帖被以下淘专辑推荐:

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2017-12-18 10:04:10 | 显示全部楼层
本题的解法其实qwc3000已经写得非常好了,大家可以参考他的程序。
如果不想使用第三方库wkhtmltopdf,仅仅把爬取的网页保存为html文件其实也是可以的。但是显示效果没有pdf来的好。
但程序相对简单,附上核心程序,未添加定时爬取和多线程等功能,仅供参考。
  1. import requests
  2. from bs4 import BeautifulSoup
  3. url = 'https://daily.zhihu.com'
  4. head = {'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
  5.         'Accept-Encoding':'gzip, deflate, br',
  6.         'Accept-Language':'zh-CN,zh;q=0.9',
  7.         'Cache-Control':'max-age=0',
  8.         'Connection':'keep-alive',
  9.         'Host':'daily.zhihu.com',
  10.         'Upgrade-Insecure-Requests':'1',
  11.         'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36'}

  12. resp = requests.get(url, headers=head)
  13. bs = BeautifulSoup(resp.text, 'lxml')
  14. for item in bs.select('div.box'):
  15.     tt = item.span.text.replace('\r','').replace('\n','')
  16.     href = url+item.a.attrs['href']
  17.     content = requests.get(href, headers=head).content
  18.     with open(tt+'.html','wb') as html:
  19.         html.write(content)
复制代码

Untitled.png
基本上爬取的内容和图片都可以正常显示的,因为是html文件,还是需要联网条件下打开,离线的话,图片会显示不正常。离线推荐用wkhtmltopdf转换成pdf阅读。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-12-18 11:48:32 From FishC Mobile | 显示全部楼层
领奖

评分

参与人数 1鱼币 +5 收起 理由
jerryxjr1220 + 5 竞猜获胜

查看全部评分

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2017-12-18 12:08:44 | 显示全部楼层
难得没答贴,猜中领奖。。。

评分

参与人数 1鱼币 +5 收起 理由
jerryxjr1220 + 5 竞猜获胜

查看全部评分

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2017-12-18 14:37:40 | 显示全部楼层
回帖回帖,这三期就这期没参加,没想到还拿了个猜中奖励,看来我人品不错,回头买彩票去喽

评分

参与人数 1鱼币 +5 收起 理由
jerryxjr1220 + 5 竞猜奖励

查看全部评分

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-3-28 17:08

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表