设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 技术交流 › Python交流 › 求助：爬取百度新闻列表，由于最后一页不足20条，无法爬 ...
返回列表 发新帖
查看: 2269|回复: 9

[已解决]求助：爬取百度新闻列表，由于最后一页不足20条，无法爬取出来，怎么办

[复制链接]
李冬阳
发表于 2017-11-30 19:45:02 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
本帖最后由 李冬阳 于 2017-11-30 19:56 编辑

请各位大神帮帮忙！
写一个python爬虫按关键词抓取百度新闻列表，每页20条，但是最后一页通常不足20条，结果导致我写的程序无法对最后一页进行爬取。
程序如下：
  1. import requests
  2. from bs4 import BeautifulSoup
  3. from datetime import datetime
  4. import pandas
  5. import re


  8. data=[]

  10. for k in range(1,36):
  11.    
  12.     date=[]
  13.     media=[]
  14.     title=[]
  15.     link=[]
  16.     more_link=[]
  17.    
  18.     newsurl='http://news.baidu.com/ns?word=%28天山股份%2C新疆天山水泥股份有限公司%29&pn='+str((k-1)*20)+'&cl=2&ct=1&tn=newsdy&rn=20&ie=utf-8&bt=1262275200&et=1451577599'

  20.     kv={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36"}
  21.     res=requests.get(newsurl,headers=kv)
  22.     res.encoding='utf-8'
  23.     soup=BeautifulSoup(res.text,'html.parser')
  24.     for i in range(20):
  25.         news=soup.find_all('div',{ 'class', 'result'})[i]
  26.    
  27.         h3=news.find( name= "a", attrs={ "target": re.compile( "_blank")})#取出每则新闻的标题
  28.         title.append(h3.text)
  29.    
  30.         m=news.find( name= "p", attrs={ "class": re.compile( "c-author")})#取出每则新闻的发布媒体
  31.         m1=m.text.split()[0]
  32.         media.append(m1)
  33.                
  34.         t=m.text.split()[1]#取出每则新闻的发布时间
  35.         dt=datetime.strptime(t,'%Y年%m月%d日')
  36.         d=dt.strftime('%Y-%m-%d')
  37.         date.append(d)
  38.         
  39.         href=news.h3.a['href']
  40.         link.append(href)
  41.         
  42.         more=news.find( name= "a", attrs={ "class": re.compile( "c-more_link")})#取出更多相关新闻链接
  43.         if more != None:
  44.             more0=more['href']
  45.             more1="http://news.baidu.com"+more0
  46.             more_link.append(more1)
  47.         else:
  48.             more_link.append("None")
  49.         
  50.         data.append((date[i], title[i], media[i],more_link[i],link[i]))


  53.     print("第" + str(k) + "页完成")


  56. df=pandas.DataFrame(data)
  57. df.to_excel('000877天山股份.xlsx')
复制代码


提示的错误是：IndexError: list index out of range

最后一页的URL是：
http://news.baidu.com/ns?word=%28天山股份%2C新疆天山水泥股份有限公司%29&pn=680&cl=2&ct=1&tn=newsdy&rn=20&ie=utf-8&bt=1262275200&et=1451577599
最后一页只有10条新闻

请大神们帮帮我，看看怎么解决这个问题，不胜感激！
最佳答案
月排行榜 / 总排行榜
chakyam
2017-11-30 22:37:41
最后一页不足20条的问题我上次答过了呀
  1. news1=soup.find_all( 'div', class_='result')
  2. for i in news1:
  3.     提取标题
  4.     提取媒体
  5.     提取时间
复制代码

  1. for k in range(1,36):
  2.    
  3.     newsurl='http://news.baidu.com/ns?word=%28天山股份%2C新疆天山水泥股份有限公司%29&pn='+str((k-1)*20)+'&cl=2&ct=1&tn=newsdy&rn=20&ie=utf-8&bt=1262275200&et=1451577599'

  5.     kv={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36"}
  6.     res=requests.get(newsurl,headers=kv)
  7.     res.encoding='utf-8'
  8.     soup=BeautifulSoup(res.text,'html.parser')
  9.     news1=soup.find_all( 'div', class_='result')
  10.     for i in news1:
  11.         h3=i.find( name= "a", attrs={ "target": re.compile( "_blank")})#取出每则新闻的标题
  12.         #title.append(h3.text)
  13.    
  14.         m=i.find( name= "p", attrs={ "class": re.compile( "c-author")})#取出每则新闻的发布媒体
  15.         m1=m.text.split()[0]
  16.         #media.append(m1)
  17.                
  18.         t=m.text.split()[1]#取出每则新闻的发布时间
  19.         dt=datetime.strptime(t,'%Y年%m月%d日')
  20.         d=dt.strftime('%Y-%m-%d')
  21.         #date.append(d)
  22.         
  23.         href=i.h3.a['href']
  24.         #link.append(href)
  25.         
  26.         more=i.find( name= "a", attrs={ "class": re.compile( "c-more_link")})#取出更多相关新闻链接
  27.         if more != None:
  28.             more0=more['href']
  29.             more1="http://news.baidu.com"+more0
  30.             #more_link.append(more1)
  31.         else:
  32.             more1='None'
  33.             #more_link.append("None")
  34.         
  35.         data.append((d, h3.txt, more1,href))


  38.     print("第" + str(k) + "页完成")
复制代码
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复

使用道具 举报

chakyam
发表于 2017-11-30 22:37:41 | 显示全部楼层    本楼为最佳答案   
最后一页不足20条的问题我上次答过了呀
  1. news1=soup.find_all( 'div', class_='result')
  2. for i in news1:
  3.     提取标题
  4.     提取媒体
  5.     提取时间
复制代码

  1. for k in range(1,36):
  2.    
  3.     newsurl='http://news.baidu.com/ns?word=%28天山股份%2C新疆天山水泥股份有限公司%29&pn='+str((k-1)*20)+'&cl=2&ct=1&tn=newsdy&rn=20&ie=utf-8&bt=1262275200&et=1451577599'

  5.     kv={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36"}
  6.     res=requests.get(newsurl,headers=kv)
  7.     res.encoding='utf-8'
  8.     soup=BeautifulSoup(res.text,'html.parser')
  9.     news1=soup.find_all( 'div', class_='result')
  10.     for i in news1:
  11.         h3=i.find( name= "a", attrs={ "target": re.compile( "_blank")})#取出每则新闻的标题
  12.         #title.append(h3.text)
  13.    
  14.         m=i.find( name= "p", attrs={ "class": re.compile( "c-author")})#取出每则新闻的发布媒体
  15.         m1=m.text.split()[0]
  16.         #media.append(m1)
  17.                
  18.         t=m.text.split()[1]#取出每则新闻的发布时间
  19.         dt=datetime.strptime(t,'%Y年%m月%d日')
  20.         d=dt.strftime('%Y-%m-%d')
  21.         #date.append(d)
  22.         
  23.         href=i.h3.a['href']
  24.         #link.append(href)
  25.         
  26.         more=i.find( name= "a", attrs={ "class": re.compile( "c-more_link")})#取出更多相关新闻链接
  27.         if more != None:
  28.             more0=more['href']
  29.             more1="http://news.baidu.com"+more0
  30.             #more_link.append(more1)
  31.         else:
  32.             more1='None'
  33.             #more_link.append("None")
  34.         
  35.         data.append((d, h3.txt, more1,href))


  38.     print("第" + str(k) + "页完成")
复制代码
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

李冬阳
 楼主| 发表于 2017-11-30 23:46:39 | 显示全部楼层
chakyam 发表于 2017-11-30 22:37
最后一页不足20条的问题我上次答过了呀

我会用两段代码去做，先用一个py文件去抓取前面每页20条的新闻，然后用另外一个py文件抓取最后一页，就是感觉好麻烦，要添加两次URL，而且要去数最后一页有几条新闻。
可不可以用一个py文件搞定!
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

chakyam
发表于 2017-12-1 00:06:50 From FishC Mobile | 显示全部楼层
我上面那个就可以了。。
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

32269100
发表于 2017-12-1 08:19:46 From FishC Mobile | 显示全部楼层
建议你学xpath定位
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

SylarPu
发表于 2017-12-1 10:34:41 | 显示全部楼层
css,xpath,re,lxml,bs4都可以帮助你
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

李冬阳
 楼主| 发表于 2017-12-1 12:26:03 | 显示全部楼层
chakyam 发表于 2017-12-1 00:06
我上面那个就可以了。。

之前粗心了，没认真看。
谢谢你，帮了我这么多！
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

李冬阳
 楼主| 发表于 2017-12-5 21:30:00 | 显示全部楼层

爬虫好像在下午4点爬取出问题，夜里11点又正常了。

本帖最后由 李冬阳 于 2017-12-5 23:38 编辑
chakyam 发表于 2017-11-30 22:37
最后一页不足20条的问题我上次答过了呀


老师，你好。
我在用之前你指导我的代码进行网络新闻抓取时，出现了一个问题，就是没办法全部抓取。比如下面的例子，网页上有277条新闻（13*20+17），最后只抓取了154条。
  1. import requests
  2. from bs4 import BeautifulSoup
  3. from datetime import datetime
  4. import pandas
  5. import re


  8. data=[]

  10. for k in range(1,15):
  11.    
  12.     newsurl="http://news.baidu.com/ns?word=%28云海金属%2C南京云海特种金属股份有限公司%29&pn="+str((k-1)*20)+"&cl=2&ct=1&tn=newsdy&rn=20&ie=utf-8&bt=1136044800&et=1451577599"
  13.     kv={"User-Agent":"Mozilla/5.0"}
  14.     res=requests.get(newsurl,headers=kv)
  15.     res.encoding='utf-8'
  16.     soup=BeautifulSoup(res.text,'html.parser')
  17.     news1=soup.find_all('div', class_='result')
  18.     for i in news1:
  19.         h3=i.find( name= "a", attrs={ "target": re.compile( "_blank")})#取出每则新闻的标题
  20.    
  21.         m=i.find( name= "p", attrs={ "class": re.compile( "c-author")})#取出每则新闻的发布媒体
  22.         media=m.text.split()[0]
  23.                
  24.         t=m.text.split()[1]#取出每则新闻的发布时间
  25.         dt=datetime.strptime(t,'%Y年%m月%d日')
  26.         d=dt.strftime('%Y-%m-%d')

  28.         href=i.h3.a['href']

  30.         more=i.find( name= "a", attrs={"class":re.compile("c-more_link")})#取出更多相关新闻链接
  31.         if more != None:
  32.             more0=more['href']
  33.             more1="http://news.baidu.com"+more0
  34.         else:
  35.             more1='None'
  36.         
  37.         data.append((d, h3.text,media, more1,href))
  38.         
  39.     print("第" + str(k) + "页完成")


  42. df=pandas.DataFrame(data)
  43. df.to_excel('002182云海金属.xlsx')
复制代码


最后一页的URL为：http://news.baidu.com/ns?word=%28云海金属%2C南京云海特种金属股份有限公司%29&pn=260&cl=2&ct=1&tn=newsdy&rn=20&ie=utf-8&bt=1136044800&et=1451577599

请老师帮我看看，我也百思不得其解。
而且对于不能完整抓取的情况，程序也不会报错。
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

chakyam
发表于 2017-12-6 12:26:58 | 显示全部楼层
for k in range(1,15):
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

chakyam
发表于 2017-12-6 13:00:59 | 显示全部楼层
改进的话可以试试找到每一页新闻下一页这个按钮所指向的链接，最后一页没有下一页按钮，用try except捕捉AttributeError然后结束爬虫
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-4-18 23:42

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表