批量处理数据

     今晚写机器学习回归算法时，需要先预处理一下txt数据，原数据之间隔了不等个空格，需要处理成以逗号分隔，用Python写了一个小脚本批量处理。

原数据

 处理后的数据

 源代码如下

#!/usr/bin/python
# -*- coding: utf-8 -*-
#为了可以添加中文注释

file = 'C:\Users\zhuhuihui\Desktop\data3.txt' #原始数据目录
file_write = 'C:\Users\zhuhuihui\Desktop\data4.txt' #新写入数据目录

f = open(file,'r') #只读模式打开
f_w = open(file_write,'w')

for eachline in f:  #按行读入
    if(eachline != '\n'):
        eachline = ','.join(eachline.split()) #将连续空格替换成‘,'
        f_w.write(eachline)  #将数据写入新的txt
        f_w.write('\n')    #换行

f.close()   #关闭
f_w.close()

 

评论

1 楼 wuqi198772 2016-10-17  

perl  -i.bak  -lpe "BEGIN{@ARGV = map glob,@ARGV} s/\s+/,/g;s/,$//g"  *.txt

其实perl单行挺好用的...