[已解决]请教各位大神，爬取百度贴吧的问题

worry921

1. import urllib
   
2. import urllib.request
   
3. import re
   
4. 
   
5. 
   
6. class Tool:
   
7.     # 去除img标签,7位长空格
   
8.     removeImg = re.compile('<img.*?>| {7}|')
   
9.     # 删除超链接标签
   
10.     removeAddr=re.compile('<a.*?>|</a>')
    
11.     # 把换行的标签换为\n
    
12.     replaceLine=re.compile('<tr>|<div>|</div>|</p>')
    
13.     # 将制表符<td>换成\n
    
14.     replaceTD=re.compile('<td>')
    
15.     # 将段落开头换为\n加空两格
    
16.     replacePara=re.compile('<p.*?>')
    
17.     # 将换行符或双换行符替换为\n
    
18.     replaceBR=re.compile('<br><br>|<br>')
    
19.     # 将其余标签剔除
    
20.     rmExtraTag=re.compile('<.*?>')
    
21. 
    
22.     def replace(self,x):
    
23.         x=re.sub(self.removeImg,"",x)
    
24.         x=re.sub(self.removeAddr,"",x)
    
25.         x=re.sub(self.replaceLine,"\n",x)
    
26.         x=re.sub(self.replaceTD,"\t",x)
    
27.         x=re.sub(self.replacePara,"\n",x)
    
28.         x=re.sub(self.replaceBR,"\n",x)
    
29.         x=re.sub(self.rmExtraTag,"",x)
    
30.         # strip()将前后内容删除
    
31.         return x.strip()
    
32. 
    
33. class TBSpider:
    
34.     # 初始化,传入基地地址,是否只看楼主得参数
    
35.     def __init__(self, baseUrl, seeLZ,floorTag):
    
36.         self.user_agent = 'Mozilla/4.0(compatible:MSIE 5.5;Windows NT)'
    
37.         #初始化headers
    
38.         self.headers = {'User-Agent': self.user_agent}
    
39.         self.baseURL = baseUrl
    
40.         self.seeLZ = "?see_lz=" + str(seeLZ)
    
41.         # 初始化Tool工具
    
42.         self.tool=Tool()
    
43.         self.file=None
    
44.         self.floor=1
    
45.         self.defaultTitle="百度贴吧"
    
46.         self.floorTag=floorTag
    
47. 
    
48.     #传入页码,获取该页面帖子的代码
    
49.     def getPage(self, pageNum) -> object:
    
50.         try:
    
51.             url = self.baseURL + self.seeLZ + "&pn=" + str(pageNum)
    
52.             request = urllib.request.Request(url, headers=self.headers)
    
53.             reqonse = urllib.request.urlopen(request)
    
54.             content = reqonse.read().decode("utf-8")
    
55.             return content
    
56.         except urllib.error.URLError as e:
    
57.             if hasattr(e, "reason"):
    
58.                 print("连接百度贴吧失败,错误原因:", e.reason)
    
59.                 return None
    
60. 
    
61.     #获取帖子标题
    
62.     def getTitle(self,page):
    
63.         pattern = re.compile('<h1 class="core_title_txt.*?>(.*?)</h1>', re.S)
    
64.         result = re.search(pattern, page)
    
65.         if result:
    
66.             return result.group(1).strip()
    
67.         else:
    
68.             return None
    
69. 
    
70.     #提取帖子页数
    
71.     def getPageNum(self,page):
    
72.         pattern = re.compile('<li class="l_reply_num.*?</span>.*?<span.*?>(.*?)</span>', re.S)
    
73.         result = re.search(pattern, page)
    
74.         if result:
    
75.             return result.group(1).strip()
    
76.         else:
    
77.             return None
    
78. 
    
79.     def getConetent(self, page):
    
80.         pattern = re.compile('<div id="post_content_.*?>(.*?)</div>', re.S)
    
81.         items = re.findall(pattern, page)
    
82.         # 楼层
    
83.         contents=[]
    
84.         self.floor=1
    
85.         for item in items:
    
86.             content="\n"+self.tool.replace(item)+"\n"
    
87.             #contents.append(content.encode('utf-8'))就是这句出问题了,整了一个小时,终于排查出错误了
    
88.             contents.append(content)
    
89.         return contents
    
90. 
    
91. 
    
92.     def setFileTitle(self,title):
    
93.         if title is not None:
    
94.             self.file=open(title+".txt","w+",encoding = 'utf-8')
    
95.         else:
    
96.             self.file=open(self.defaultTitle+".txt","w+")
    
97. 
    
98.     def writeData(self,contents):
    
99.         for item in contents:
    
100.             if self.floorTag=='1':
     
101.                 floorLine="\n-------------"+str(self.floor)+"楼--------------\n"
     
102.                 self.file.write(floorLine)
     
103.             self.file.write(item)
     
104.             self.floor+=1
     
105. 
     
106.     def start(self):
     
107.         indexPage=self.getPage(1)
     
108.         pageNum=self.getPageNum(indexPage)
     
109. 
     
110.         title=self.getTitle(indexPage)
     
111.         self.setFileTitle(title)
     
112. 
     
113.         if pageNum==None:
     
114.             print("URL链接已经失效,请重试")
     
115.             return
     
116.         try:
     
117.             print("该帖子共有{0}页".format(str(pageNum)))
     
118.             for i in range(1,int(pageNum) + 1):
     
119.                 print("正在写入第{0}页数据".format(str(i)))
     
120.                 page=self.getPage(1)
     
121.                 contents=self.getConetent(page)
     
122.                 self.writeData(contents)
     
123.         except IOError as e:
     
124.             print("写入异常原因:",e.reason)
     
125.         finally:
     
126.             print("写入任务完成!")

复制代码

我要爬取百度贴吧的数据，目前代码出现了一点问题，请教大神，看看哪个地方出现了问题



-----------------------------------------------------------------------------------------------------------------------------------------------------------------------现在最新的情况是，代码成功了，但是只可以爬到第一页的内容，后面的内容都是和第一页是重复的

最佳答案

月排行榜 / 总排行榜

hldh214

2016-3-5 23:30:32

worry921 发表于 2016-3-5 13:28
请输入帖子代号
http://tieba.baidu.com/p/4384651713
是否只获取楼主发言，是输入1，否输入0

下次一定记得要用代码格式发帖, 不然总会出一些格式问题, 简单看了下代码, 有这几个问题:
逻辑问题: start方法里面的for循环里面的range的第二个参数存在逻辑错误, 需要+1才能实现目标, 像这样:

1. for i in range(1, int(pageNum) + 1):
   
2.     pass

复制代码

容错处理问题: 我看你代码里面也写了decode是utf8的, 咋的open文件的时候就不加上encoding呢, 像这样:

1. self.file = open(title + ".txt", "w+", encoding='utf-8')

复制代码

跳转到最佳答案楼层

worry921

_

worry921

1

～风介～

呼叫大神~@hldh214

hldh214

worry921 发表于 2016-3-5 13:28
请输入帖子代号
http://tieba.baidu.com/p/4384651713
是否只获取楼主发言，是输入1，否输入0

下次一定记得要用代码格式发帖, 不然总会出一些格式问题, 简单看了下代码, 有这几个问题:
逻辑问题: start方法里面的for循环里面的range的第二个参数存在逻辑错误, 需要+1才能实现目标, 像这样:

1. for i in range(1, int(pageNum) + 1):
   
2.     pass

复制代码

容错处理问题: 我看你代码里面也写了decode是utf8的, 咋的open文件的时候就不加上encoding呢, 像这样:

1. self.file = open(title + ".txt", "w+", encoding='utf-8')

复制代码

worry921

hldh214 发表于 2016-3-5 23:30
下次一定记得要用代码格式发帖, 不然总会出一些格式问题, 简单看了下代码, 有这几个问题:
逻 ...

不好意思，版主息怒息怒下次一定注意熟读版规。我试着用下您的修改方法，看看情况如何

worry921

已经把错误的发帖方式删掉了。版主，我是一个守规矩的人