爬取取票信息，怎么说？

bbjx

1. # -*- coding: utf-8 -*-
   
2. 
   
3. import requests
   
4. from bs4 import BeautifulSoup
   
5. import traceback
   
6. import re
   
7. 
   
8. 
   
9. def getHTMLText(url, code= 'utf-8'):
   
10.     try:
    
11.         r = requests.get(url, timeout = 30)
    
12.         r.raise_for_status()
    
13.         r.encoding = code
    
14.         return r.text
    
15.     except:
    
16.         return ""
    
17.    
    
18. def getStockList(lst, stockURL):
    
19.    
    
20.     html = getHTMLText(stockURL, 'GB2312')
    
21.     soup = BeautifulSoup(html, 'html.parser')#解析页面
    
22.     a = soup.find_all('a')#找到<a>标签里面的信息
    
23.     for i in a :
    
24.         try:
    
25.             href = i.attrs['href']
    
26.             lst.append(re.findall(r"[s][hz]\d{6}", href)[0]) # 找到股票代码
    
27.         except:
    
28.             continue        
    
29. 
    
30. def getStockInfo(lst, stockURL, fpath):
    
31.     count = 0
    
32.     for stock in lst:
    
33.         url = stockURL + stock + ".html"#得到每个股票的链接
    
34.         html = getHTMLText(url)
    
35.         try:
    
36.             if html == "":
    
37.                 continue
    
38.             infoDict = {}
    
39.             soup = BeautifulSoup(html, 'html.parser')#对相应的股票页面解析
    
40.             stockInfo = soup.find('div', attrs = {'class':'stock-bets'})
    
41.             
    
42.             name = stockInfo.find_all(attrs = {'class':'bets-name'})[0]#获得股票代码的名称
    
43.             infoDict.update({'股票名称':name.text.split()[0]})#加入字典中
    
44.             
    
45.             keyList = stockInfo.find_all('dt')
    
46.             valueList = stockInfo.find_all('dd')
    
47.             for i in range(len(keyList)):
    
48.                 key = keyList[i].text
    
49.                 val = valueList[i].text
    
50.                 infoDict[key] = val
    
51.                
    
52.             with open(fpath, 'a', encoding = 'utf-8') as f:
    
53.                 f.write(str(infoDict) + '\n')
    
54.                 count = count + 1
    
55.                 print("\r当前速度：{:.2f}%".format(count*100/len(lst)), end ="")
    
56.         except:
    
57.             count = count + 1
    
58.             print("\r当前速度：{:.2f}%".format(count*100/len(lst)), end ="")
    
59.             continue
    
60.         
    
61.         
    
62. 
    
63. def main():
    
64.     stock_list_url = 'http://quote.eastmoney.com/stocklist.html'
    
65.     stock_info_url = 'https://gupiao.baidu.com/stock/'
    
66.     output_file = 'G://anaconda_project/爬虫/baiduStockInfo.txt'
    
67.     sList = []
    
68.     getStockList(sList, stock_list_url)
    
69.     getStockInfo(sList, stock_info_url, output_file)
    
70.    
    
71. main()
    

复制代码

ooxx7788

我觉得这种完全没有说明的帖子真应该删掉

bbjx

ooxx7788 发表于 2017-12-9 16:53
我觉得这种完全没有说明的帖子真应该删掉

删啊，封我号都可以

库库熊

运行一次需要好长的时间.....