数据集处理库Hugging Face Datasets
Datasets 首先解决数据来源问题
使用 Datasets 下载开源数据集
Datasets.load_dataset 实现原理简介
构造 DatasetBuilder 类的主要配置 BuilderConfig
如果您想向数据集添加额外的属性,例如类别标签。有两种方法来填充BuilderConfig类或其子类的属性
- 在datasets DatasetBuilder.BUILDER_CONFIGS()属性中提供预定义的BuilderConfig类(或子类)实例列表。
- 当调用load_dataset()时,各参数默认值会直接读取 BuilderConfig 类的预定义值,否则会被覆盖。
实际构造数据集的类 DatasetBuilder