大文件数据处理技巧
郝伟 2021/0/0
大文件一般指100MB以上的文件。大数据在处理时，往往会受到内存容量的限制。本文主要介绍一些大文件处理的技巧。
当数据文件过大时，往往会遇到两个文件：
数据容量超过内存容量，导致数据无法一次性加载
不同原因导致的多次加载会花费太多的时间
经常数据无法一次性加载，而且即使内存可以一次性加载，如果遇到错误，也可能会导致加载的数据崩溃，从而花费更多的时间在数据加载上。
所以，分块处理非常必要。这样，以上的两个问题都是迎刃而解。很多工具，如Pandas可以按指定行的方式进行数据处理。
不要直接修改原始文件，包括修改原始文件的内容或移动原始文件的位置。
输出时最好记录文件名和路径，方式如下：
data/20210712/skgd/1df00.txt
将点和斜杠都转换为下划线，可得：
data_20210712_skgd_1df00_txt
然后建立一个文件夹，将所有的文件都放到这个文件夹下