QQ登录

只需一步,快速开始

登录 | 立即注册 | 找回密码

主题

帖子

荣誉

成熟鱼友Ⅱ

Rank: 6Rank: 6

积分
604
查看: 161|回复: 5

[技术交流] requests + BeautifulSoup + xlsxwriter爬取起点网原创风云榜内容爬取并保存到Excel

[复制链接]
最佳答案
85 
累计签到:60 天
连续签到:30 天
°蓝鲤歌蓝 发表于 2018-1-2 22:55:08 1615 | 显示全部楼层 |阅读模式

马上注册加入鱼C,享用更多服务吧^_^

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
本帖最后由 °蓝鲤歌蓝 于 2018-1-2 23:13 编辑
  1. #起点网站原创风云榜内容爬取并保存到Excel表格
  2. import requests
  3. from bs4 import BeautifulSoup
  4. import xlsxwriter

  5. url = "https://www.qidian.com/rank/yuepiao?style=1"
  6. #添加头部信息
  7. header = {
  8.       "user-agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0"
  9.   }

  10. #在E盘创建Excel文件
  11. workbook = xlsxwriter.Workbook(r'E:\test.xlsx')
  12. worksheet = workbook.add_worksheet()

  13. #设置文件第一行的信息
  14. data_list = ["小说名","作者名","小说类型","小说状态","小说更新","最新章节地址","简介内容"]
  15. row,col = 0,0
  16. for data in data_list:
  17.   worksheet.write(row, col, data)
  18.   col +=1

  19. row,col = 1,0

  20. #总共25页,从第一页开始爬取
  21. for i in range(1,26):
  22.   page_url = url + "&page=" + str(i)
  23.   res = requests.get(page_url, headers=header)
  24.   soup = BeautifulSoup(res.text, "html.parser")

  25.   for book in soup.select(".book-mid-info"):
  26.    #小说名
  27.     name = book.select("a")[0].text
  28.    #作者名
  29.     author = book.select("a")[1].text
  30.    #小说类型
  31.     _type = book.select("a")[2].text
  32.    #小说状态
  33.     state = book.select("span")[0].text
  34.    #小说更新
  35.     update = book.select("a")[3].text
  36.   #获取时间
  37.     time = book.select("span")[1].text
  38.   #最新一章地址
  39.     href = book.select("a")[3]["href"]
  40.   #简介内容
  41.     content = book.select(".intro")[0].text
  42.    
  43.     expenses = [name, author, _type, state, update, href, time, content]
  44.     for item in expenses:
  45.       worksheet.write(row, col, item)
  46.       col +=1
  47.     row += 1
  48.     col = 0

  49. workbook.close()
复制代码


图片展示的只是第一页的数据
TIM截图20180102225353.png
TIM截图20180102225845.png
TIM截图20180102225736.png
楼层
跳转到指定楼层
最佳答案
0 
累计签到:40 天
连续签到:8 天
五五66 发表于 2018-1-3 08:05:28 | 显示全部楼层
多谢指教
最佳答案
0 

尚未签到

美利坚不是国 发表于 2018-1-6 07:42:59 | 显示全部楼层
好厉害
最佳答案
0 
累计签到:23 天
连续签到:1 天
mike0724 发表于 2018-1-13 23:24:15 | 显示全部楼层
好棒
最佳答案
85 
累计签到:60 天
连续签到:30 天
°蓝鲤歌蓝  楼主| 发表于 2018-1-13 23:33:24 | 显示全部楼层
最佳答案
85 
累计签到:60 天
连续签到:30 天
°蓝鲤歌蓝  楼主| 发表于 2018-1-13 23:33:56 | 显示全部楼层

发表回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

小甲鱼强烈推荐 上一条 /2 下一条

    移动客户端下载(未启用)
    微信公众号

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备11014136号

Copyright 2018 鱼C论坛 版权所有 All Rights Reserved.

Powered by Discuz! X3.1 Copyright
© 2001-2018 Comsenz Inc.    All Rights Reserved.

小黑屋|手机版|Archiver|鱼C工作室 ( 粤公网安备 44051102000370号 | 粤ICP备11014136号

GMT+8, 2018-1-21 18:34

快速回复 返回顶部 返回列表