[已解决]python 分割大文件的效率问题

aiai1989

请问  有一个附件展示的文件，大概2个G左右，我现在需要按照前三个数字，分割为不同的文件。怎么样效率？如果一行一行的处理。运行十分慢。新手，我自己写了一段，感觉十分没有效率。

1. f = open('Contentviewlog_20171224.log')
   
2. f.seek(0, 0)
   
3. while 1:
   
4.     f1 = f.readline()
   
5.     F1 = list(f1)
   
6.     n = F1[:3]
   
7.     f2 = open((str(n)+'.txt'), 'a')
   
8.     f2.writelines(f1)
   
9.     f2.close()
   
10.     if n == []:
    
11.         break
    

复制代码

最佳答案

月排行榜 / 总排行榜

BngThea

2018-1-23 13:52:10

思路，先将数据分类存放，然后打开所需的文件，将数据放入
而不是每读一行就执行打开关闭文件

跳转到最佳答案楼层

BngThea

思路，先将数据分类存放，然后打开所需的文件，将数据放入
而不是每读一行就执行打开关闭文件

aiai1989

BngThea 发表于 2018-1-23 13:52
思路，先将数据分类存放，然后打开所需的文件，将数据放入
而不是每读一行就执行打开关闭文件

您好，我根据您指导的思路，通过动态变量的方式，将大文件分类存放在不同命名的列表中。但是最后在写入文件时，写入的是列表命名的字符串 而不是列表内容。比如，我通过分类，分出来一个a370 的列表，里面存放的是我分类的内容，但是写入文件时，写入的是a370这几个字符。具体代码如下，请指点一下，我感觉就是最后一段写入的代码写错了，但是不知道怎么修改

1. f = open('123.txt')
   
2. add = []
   
3. f.seek(0,0)
   
4. names = locals()
   
5. for i in f:
   
6.     names["a" + i[:3]] = [] #动态变量的方式先建立不同的空列表
   
7. f.seek(0,0)
   
8. for i in f:
   
9.     names["a" + i[:3]].append(i)  #将内容放入之前建立的列表中
   
10.    
    
11. f.seek(0,0)
    
12. for i in f:
    
13.     add.append(i[:3])
    
14.     add1 = set(add)
    
15.     add2 = list(add1)           #将所有动态变量做成一个列表
    
16. for n in range(len(add2)):
    
17.     file_name = str(add2[n]) + '.txt'
    
18.     f1 = open(file_name,'a')
    
19.     f1.writelines(('a%s' % add2[n]))   #这里有问题，不知道怎么解决。

复制代码

欧洲时报

直接用文本编辑器正则替换吧。。。