pandas中read_csv和to_csv、read_hdf和to_hdf、read_json和to_json函数及其他各类文件的读取与存储

news2025/1/20 18:25:08

pandas I/O API 是一组访问的顶级读取器函数，如 pandas.read_csv（），通常返回一个 pandas 对象。相应的编写器函数是访问的对象方法，如 DataFrame.to_csv（）

pandas.read_csv(filepath_or_buffer, sep =',', usecols )：读取文本文件(也就是平面文件)的主力函数
- filepath_or_buffer:文件路径
- sep :分隔符，默认用","隔开
- usecols:指定读取的列名，列表形式
DataFrame.to_csv(path_or_buf=None, sep=', ’, columns=None, header=True, index=True, mode='w', encoding=None)：该方法允许将对象的内容存储为逗号分隔值文件
- path_or_buf：文件路径
- sep：分隔符，默认用","隔开
- columns：选择需要的列索引
- header：布尔或字符串列表，默认为True，是否写进列索引值
- index：是否写进行索引
- mode:'w'：重写，'a' 追加

数据准备

读取文件

执行to_csv会将索引存入到文件当中，再次读取时发现变成了单独的一列数据

若要删除索引这一列，可以指定index参数为False，删除原来的文件，重新保存一次

H5文件是以层级数据格式（HDF）第5版保存的数据文件，它包含科学数据的多维数组，HDF5文件的读取和存储需要指定一个键，值为要存储的DataFrame

pandas.read_hdf(path_or_buf，key =None，** kwargs)：从h5文件当中读取数据
- path_or_buffer：文件路径
- key：读取的键
- return：所选对象
DataFrame.to_hdf(path_or_buf, key, **kwargs)：存储数据

HDF5在存储的时候支持压缩，使用的方式是blosc，这个是速度最快的，也是pandas默认支持的，使用压缩可以提磁盘利用率，节省空间，HDF5还是跨平台的，可以轻松迁移到hadoop上面，应优先选择使用HDF5文件存储

pandas.read_json(path_or_buf=None, orient=None, typ='frame', lines=False)：将JSON格式转换成默认的Pandas DataFrame格式
- orient : string，指定预期的 JSON 字符串格式。
  - 'split' : dict like {index -> [index], columns -> [columns], data -> [values]}，split 将索引总结到索引，列名到列名，数据到数据。将三部分都分开了
  - 'records' : list like [{column -> value}, ... , {column -> value}]，records 以columns：values的形式输出
  - 'index' : dict like {index -> {column -> value}}，index以index：{columns：values}...的形式输出
  - 'columns' : dict like {column -> {index -> value}}，默认该格式，colums 以columns:{index:values}的形式输出
  - 'values' : 只有值的数组，values 直接输出值
- lines : boolean, 默认为False，按照每行读取json对象
- typ：要恢复的对象类型（series or frame），默认为“frame”，指定转换成的对象类型series或者dataframe
DataFrame.to_json(path_or_buf=None, orient=None, lines=False)：将Pandas 对象Series或DataFrame存储为json字符串格式
- path_or_buf=None：文件地址
- orient：存储的json形式，{‘split’,’records’,’index’,’columns’,’values’}
- lines：一个对象存储为一行

下表包含可用的读取器和写入器