|
马上注册,结交更多好友,享用更多功能^_^
您需要 登录 才可以下载或查看,没有账号?立即注册
x
本帖最后由 fan1993423 于 2018-4-24 16:42 编辑
- import re,os,requests,json
- from bs4 import BeautifulSoup
- def openurl():
- head={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36'
- ' (KHTML, like Gecko) Chrome/47.0.2526.108 Safari/537.36 '
- '2345Explorer/8.8.3.16721',
- 'Referer':'http:// www.kuwo.cn / yinyue / 5899379?catalog = yueku2016'
- }
- a=''
- b=''
- for i in range(1,22):
- r='http://comment.kuwo.cn/com.s?type=get_comment&uid=0&prod=newWeb&digest=15&sid=5899379&page=%d&rows=20&' \
- 'f=web&gid=46fff5dd-5782-4eed-bc64-ddc5ed74d485&jpcallback=getCommentListFn&_=1524552505471'%i
- t=requests.get(r,headers=head).text
- res=re.search(r'try{var jsondata=({.+});',t).group(1)
- res=json.loads(res)
- html=res['rows']
- for each in html:
- if 'reply' not in each:
- a+=each['msg']+'\n'
- else:
- b+=each['reply']['msg']+'\n'
- print('\033[1;31m评论:'+'\n'+a+'\033[1;34m回复评论:'+'\n'+b)
- def main():
- res=openurl()
- if __name__=='__main__':
- main()
复制代码
爬取酷我音乐《美丽的神话》成龙版的评论和回复评论,我这个代码有三个问题,第一是我用‘’reply‘’这个键在不在字典each中来分开评论还是回复评论(如果不用这个if会直接报错,因为一页中评论都有,但是回复评论不全有),但是这造成了一个问题就是有回复评论的评论就没打印出来,第二是这个没有一一对应,就是一个评论如果有回复评论就马上在这个评论后面打印这个回复评论,第三是u_name好像被服务器隐藏了,所以大佬们就这几个问题求改进,求代码 |
|