环境中有5G大小的文件1千多万行,需要按行数切割,使用linux中的split工具可快速实现。
示例:测试文件造的是100万行,按行数切割:
split -d -l 80000 test.txt qiege --additional-suffix=.txt
-d表示切割后的文件按照00,01,02...排序
-l表示按100000行进行切割
test.txt 表示切割的文件
qiege表示切割后文件的前缀名
--additional-suffix=.txt 表示切割后的后缀名
如果想要按照大小进行切割使用参数 -b
参考文章:
https://www.rstk.cn/news/1118396.html?action=onClick