前言
在模型训练的步骤中，数据的部分非常重要，它的过程主要分为数据收集、数据划分、数据读取、数据预处理。
数据收集的有原始样本和标签(Img，label)
数据集的划分需要分为训练集、验证集、测试集。
训练集负责训练模型，验证集负责验证模型是否过拟合，测试集是用来测试性能的。
数据读取主要就是DataLoader的内容
- DataLoader分为两个子模块，分别是Sampler和DataSet
Sampler的功能是生成索引(Index)
DataSet则是根据索引来读取数据
数据预处理需要用transforms来实现
DataLoader 和 Dataset
DataLoader 和 Dataset是pytorch数据读取的核心
- torch.utils.data.DataLoader
功能：构建可跌倒的数据装载器
- dataset:Dataset类，决定数据从哪读取及如何读取
- batchsize:批大小
- num_works:是否多进程读取数据
- shuffle:每个epoch是否乱序
- drop_last:当样本数不能被batchsize整除时，是否舍弃最后一批数据
Epoch：所有训练样本都一输入到模型中，称之为一个Epoch
Iteration：一批样本输入到模型中，称之为一个Iteration
Batchsize：批大小，决定一个Epoch有多少个Iteration
Dataset
torch.utils.data.Dataset
功能：Dataset抽象类，所有自定义的Dataset需要继承它，并且复写__ getitem __()
getitem:
接收一个索引，返回一个样本
数据读取的三个问题
1、读哪些数据？
2、从哪读数据？
通过os库对硬盘上的文件读取
3、怎么读数据？
if __name__ == '__main__':
random.seed(1)
dataset_dir = ps.path.join('..','data')
split_dir = ps.path.join('..','split')
train_dir = os.path.join(split_dir,'train')
valid_dir = os.path.join(split_dir,'valid')
test_dir = os.path.join(split_dir,'test')
train_pct = 0.8
valid_pct = 0.1
test_pct = 0.1
构建MyDataset实例
train_data = MyDataset(data_dir=train_dir,transform=train_transform)
valid_data = MyDataset(data_dir=train_dir,transform=valid_transform)
构建DataLoder
train_loader = DataLoader(dataset=train_data,batch_size=tensor(32,32),shuffle=True)
valid_loader = DataLoader(dataset=valid_data,batch_size=tensor(32,32))
