Python：每日一题 117

jerryxjr1220

首先我们的玩法做了一下改变：
1. 楼主不再提供答案。
2. 请大家先独立思考，再参考各位大神的答案，这样才有助于提高自己的编程水平。
3. 鼓励大家积极答题，奖励的期限为出题后24小时内。
4. 根据答案的质量给予1~3鱼币的奖励。

题目：用Python解读十九大报告
最近的十九大报告出台，报告中例举了非常多关乎我们民生的重要议题。
那么请你用Python来解读一下，究竟报告中有哪些关键词，整体报告传达了怎样的意思？

提示：分词、词频统计

如果会画词云图，有加分！

十九大报告原文下载：
report.zip (29.8 KB, 下载次数: 36)

2017-10-26 15:07 上传

点击文件名下载附件

colinshi

偷个懒直接用了jieba的分词引擎。。。。。
结果就是去掉无意义的词那么出现次数最多(超过100次)的就是:
('党', 107), ('坚持', 132) ('社会主义',146), ('建设', 151), ('人民', 157), ('中国', 168), ('发展', 212)

1. import jieba
   
2. 
   
3. with open(r'D:\report.txt','r',encoding='utf-8') as f:
   
4.     jb=jieba.cut(f.read(), cut_all=False, HMM=True)
   
5. 
   
6.     tf={}
   
7.     for i in jb:
   
8.         #print seg
   
9.         i = ''.join(i.split())
   
10.         if (i != '' and i != "\n" and i != "\n\n") :
    
11.             if i in tf :
    
12.                 tf[i] += 1
    
13.             else :
    
14.                 tf[i] = 1
    
15.     print(sorted(tf.items(),key=lambda item:item[1]))

复制代码

bush牛

先上一下本题的，用了结巴

1. import jieba.analyse
   
2. def func():
   
3.     path = r'C:\py\doc\prom\report.txt'
   
4.     with open(path) as f:
   
5.         data = f.read()
   
6.     tags = jieba.analyse.extract_tags(data,20)
   
7.     text_split = jieba.cut(data, cut_all=False)
   
8.     text_list = list(text_split)
   
9.     d =dict()
   
10.     for i in range(20):
    
11.         d[tags[i]] = text_list.count(tags[i])
    
12.     print(d)
    
13. func()

复制代码

下面是做了个英文的【i have a dream】的演讲稿。想不用包来弄。

1. path = r'C:\py\doc\prom\oxo.txt'
   
2. words_list = []
   
3. with open(path) as f:
   
4.     text = f.read()
   
5. 
   
6. # 拆分剔除标点，存放所有单词，这儿有个问题，就是英文中的双引号，去不掉。
   
7. text = text.split('\n')
   
8. for i in text:
   
9.     for j in i.split(' '):
   
10.         if j[-1] in {':', ',', '"', '?', '!'}:
    
11.             j = j[:-1]
    
12.         elif j[0] == '"':
    
13.             j = j[1:]
    
14.         words_list.append(j)
    
15. 
    
16. # 单词和个数 对应存入字典
    
17. words_dict = dict()
    
18. for i in set(words_list):
    
19.     words_dict[i] = words_list.count(i)
    
20. 
    
21. top_word = list()
    
22. # 只取前20多的单词
    
23. top_word = sorted(zip(words_dict.values(),words_dict.keys()), reverse=True)
    
24. for i in range(20):
    
25.     print(top_word[i])

复制代码

运行后得出的结果，只能说是单词的统计，算不上统计。

solomonxian

楼主你出的题目都很有特地哈
这个难点在分词吧，还没接触过相应的工具库，
手动的话，我想将文本连续2个字、3个字、4个字取，应该就包含单词了
然后统计个数，最后肯定会有“我们的”、“，”、“。”这些用得多但是不关键的
只能人工分辨了

1. path = "report.txt"
   
2. nums = (2, 3, 4)
   
3. counter = {}
   
4. 
   
5. with open(path) as file:
   
6.     for row in file:
   
7.         for num in nums:
   
8.             for i in range(len(row)):
   
9.                 try: # 每行最后两个字会多统计几次，不过都是标点符号，算了
   
10.                     counter[row[i: i+num]] += 1
    
11.                 except KeyError:
    
12.                     counter[row[i: i+num]] = 1
    
13.     file.close()
    
14. 
    
15. result = sorted(counter.items(), key=lambda x:x[1], reverse=True)
    
16. print(result[:20]) # 给出前20

复制代码

结果是这样的

1. [('社会', 262), ('发展', 232), ('人民', 206), ('中国', 194), ('主义', 189), ('建设', 168), ('会主', 152), ('社会主', 152), ('会主义', 146), ('社会主义', 146), ('。 ', 140), ('坚持', 133), ('国家', 115), ('制度', 101), ('全面', 95), ('政治', 94), ('党的', 91), ('实现', 88), ('民族', 81), ('推进', 81)]

复制代码

jerryxjr1220

solomonxian 发表于 2017-10-30 18:52
楼主你出的题目都很有特地哈
这个难点在分词吧，还没接触过相应的工具库，
手动的话 ...

你这是用英语分词的方法进行中文分词啊
一般中文分词库的做法是根据常用词语进行分词，所以词语库的好坏就决定了分词的质量。

ooxx7788

因为我之前有做过现成的东西，也就是换个文本的事情。代码里面因为还有停用词库这种东西，就不放了，百度随便搜搜很多的那种。

bush牛

今天看到了Counter。感觉英文单词统计用这个真的简单的不要不要。。。我之前手写的完全就是渣渣。

solomonxian

去瞄了一下，发现如果工具包还挺简单的，补上个小示范

1. import jieba.analyse
   
2. from wordcloud import WordCloud
   
3. 
   
4. path = "report.txt"
   
5. topK = 20 # 出现频率排前20的热词
   
6. 
   
7. with open(path) as f:
   
8.     text = jieba.analyse.extract_tags(f.read(), topK=topK) # 这货是个生成器
   
9.     word_cloud = WordCloud(font_path='simsun.ttc', background_color='white',width=600,
   
10.                            height=480).generate(" ".join(text)) # 这个text参数要字符串
    
11.     word_cloud.to_file("report.png")
    
12.     f.close()
    
13. print("done!")

复制代码

solomonxian

ooxx7788 发表于 2017-10-31 09:45
因为我之前有做过现成的东西，也就是换个文本的事情。代码里面因为还有停用词库这种东西，就不放了，百 ...

好像很久没看到你，啥方法别藏着掖着，拿出来大伙参考参考

ooxx7788

solomonxian 发表于 2017-11-1 20:07
好像很久没看到你，啥方法别藏着掖着，拿出来大伙参考参考

就是很简单啊，把你这个代码封装一下，就变成只要给个文本就可以出图的了。代码满大街都是，也就懒得上了。

PYTHON90小菜鸟

import jieba.analyse

content=open('report.txt').read()

tags=jieba.analyse.extract_tags(content,20)

text_list=jieba.lcut(content,cut_all=False)

dict1={}

for i in range(20):
    dict1[tags[i]]=text_list.count(tags[i])

print(dict1)
   

永恒的蓝色梦想

不是很明白要做什么……