CIFAR（Canadian Institute For Advanced Research）是一个用于图像识别研究的数据集。CIFAR数据集包含多个子数据集，最常用的是CIFAR-10和CIFAR-100。
CIFAR-10数据集包含60000张32x32彩色图像，分为10个类别，每个类别有6000张图像。这10个类别包括飞机、汽车、鸟类、猫、鹿、狗、青蛙、船和卡车。
CIFAR-100数据集则包含60000张32x32彩色图像，分为100个类别，每个类别有600张图像。这些类别是按照更细致的分类标准划分的。
由于CIFAR数据集图像尺寸较小，处理速度较快，适合用于研究和教学。同时，CIFAR数据集也提供了数据的原始像素值和相应的类别标签，方便研究人员进行各种实验和分析。
一、下载和解压数据
数据集的地址：
CIFAR-10 and CIFAR-100 datasets
下载数据集，得到
cifar-10-python.tar.gz这个文件，将其解压缩至当前目录下，它会生成\cifar-10-batches-py这个文件夹，文件夹下的内容为：
在这个文件夹下再新建两个子文件夹：test和train，用以存放测试和训练的图片。这样，本项目的目录结构和文件内容如图：
二、生成和保存图像文件
在项目的根目录下新建python脚本unpack.py
1、获取训练用的数据集的所有文件名
import pickle
import glob
def unpickle(file): # 解压数据，本段代码来自cifar官网 http://www.cs.utoronto.ca/~kriz/cifar.html
with open(file, 'rb') as fo:
dict = pickle.load(fo, encoding='bytes')
return dict
# 输出的类别标签名，从cifar官网可以复制得到
label_name = ['airplane',
'automobile',
'bird',
'cat',
'deer',
'dog',
'frog',
'horse',
'ship',
'truck']
tran_list = glob.glob('E:\\AI_tset\\cifar10_demo\\cifar-10-python\\cifar-10-batches-py\\data_batch_*') # 获取所有需要训练的原始数据集文件名
# “glob.glob ()” 是 Python# 中的一个函数，用于查找符合特定模式的文件路径名。
# 它返回一个列表，包含所有匹配指定模式的文件路径。
# 例如，“glob.glob ('*.txt')” 将返回当前目录下所有扩展名为 “.txt” 的文件的路径。
print(tran_list) # ['E:\\AI_tset\\cifar10_demo\\cifar-10-python\\cifar-10-batches-py\\data_batch_1',
# 'E:\\AI_tset\\cifar10_demo\\cifar-10-python\\cifar-10-batches-py\\data_batch_2',
# 'E:\\AI_tset\\cifar10_demo\\cifar-10-python\\cifar-10-batches-py\\data_batch_3',
# 'E:\\AI_tset\\cifar10_demo\\cifar-10-python\\cifar-10-batches-py\\data_batch_4',
# 'E:\\AI_tset\\cifar10_demo\\cifar-10-python\\cifar-10-batches-py\\data_batch_5']
print(len(tran_list)) # 5从cifar官网可以获得解压数据的函数代码和类别标签的文字列表。至此，获得了训练用的数据集的所有文件名。
2、依次读取文件
# 依次读取每个文件
for l in tran_list: # 依次读取每个文件
l_dict = unpickle(l) # 读取文件，返回一个字典
print(l_dict.keys()) # dict_keys([b'batch_label', b'labels', b'data', b'filenames'])
'''这个数据集包含了图像数据和相关的元数据。
batch_label指的是每个数据批次的标签，
labels是具体的分类标签，
data是图像数据，
而filenames则是图像文件的名称'''
print(l_dict[b'batch_label']) # batch 1 of 5...
print(l_dict[b'labels'][:10]) # [6, 9, 9, 4, 1, 1, 2, 7, 8, 3] # 类别标签
print(l_dict[b'data'][:10]) # [102 111 196 77 117 123 134 130 141 135] # 图像数据
print(l_dict[b'filenames'][:3]) # [b'compact_car_s_001706.png', b'icebreaker_s_001689.png', b'peke_s_000545.png'] # 文件名3、转换格式
这里要知道一下cifar数据集对图像数据的存储方式：CIFAR-10数据集的data字段存储格式是原始的二进制数据，这些数据代表图像的像素值。每个图像都是32x32像素的彩色图像，因此每个图像有3072个字节（32x32x3），其中每个字节代表一个颜色通道（红、绿、蓝）的一个像素值。
具体来说，CIFAR-10数据集的data字段中，每3072个连续的字节（32x32x3）代表一张图像。
这3072个字节被分为三个部分，每个部分1024（32x32）个字节，分别对应图像的红、绿、蓝三个颜色通道。
每个颜色通道的1024个字节又被进一步分为32块，每个块包含32个字节，对应图像中的一行中的所有像素（每个像素是1列），这样的行共有32行。
例如，对于第一张图像，前1024个字节代表红色通道，接下来的1024个字节代表绿色通道，最后的1024个字节代表蓝色通道。
在Python中，将这些数据以NumPy数组的形式存储和处理，数组的形状为(3072,)，将其重塑为(3, 32, 32)的形状，以便于进行图像处理和显示。
进一步的，为了在opencv中处理图像，又将数组转置成opencv的形状。
# 依次读取每个文件
for l in tran_list: # 依次读取每个文件
l_dict = unpickle(l) # 读取文件，返回一个字典
# print(l_dict.keys()) # dict_keys([b'batch_label', b'labels', b'data', b'filenames'])
'''这个数据集包含了图像数据和相关的元数据。
batch_label指的是每个数据批次的标签，
labels是具体的分类标签，
data是图像数据，
而filenames则是图像文件的名称'''
# print(l_dict[b'batch_label']) # batch 1 of 5...
# print(l_dict[b'labels'][:10]) # [6, 9, 9, 4, 1, 1, 2, 7, 8, 3] # 类别标签
# print(l_dict[b'data'][:10]) # [102 111 196 77 117 123 134 130 141 135] # 图像数据
# print(l_dict[b'filenames'][:3]) # [b'compact_car_s_001706.png', b'icebreaker_s_001689.png', b'peke_s_000545.png'] # 文件名
for im_idx, im_data in enumerate(l_dict[b'data']): # 依次读取每个文件中的图像数据])
im_data = im_data.reshape(3, 32, 32).transpose(1, 2, 0) # 转换格式并生成图像数据
'''在CIFAR-10数据集中，图像数据的原始存储格式是(3, 32, 32)，这意味着每个图像有三个维度：红色通道、绿色通道和蓝色通道，
每个通道都是一个32x32的矩阵。这种格式是为了方便按通道存储和处理数据。然而，在大多数图像处理库中，如Pillow或OpenCV，
图像通常以(高度, 宽度, 通道)的格式存储，即(32, 32, 3)。这样的格式更符合人们直观上对图像的理解，即先看到高度，然后是宽度，
最后是颜色通道。因此，代码中的im_data.reshape(3, 32, 32).transpose(1, 2, 0)操作是为了将数据从CIFAR-10的原始存储
格式(3, 32, 32)转换为更通用的图像处理格式(32, 32, 3)。transpose(1, 2, 0)操作就是将三个维度重新排列，使得高度成为第
一个维度，宽度成为第二个维度，通道成为第三个维度。'''
im_label = l_dict[b'labels'][im_idx] # 获取类别标签
print(label_name[im_label])
cv2.imshow('show', cv2.resize(im_data, (100, 100))) # 显示图像
cv2.waitKey(0) # 等待按键运行之后：
至此，已经把元数据转换为图像数据。
4、保存图像：
im_name = l_dict[b'filenames'][im_idx] # 获取文件名
dir_name = 'E:\\AI_tset\\cifar10_demo\\cifar-10-python\\cifar-10-batches-py\\train\\'+label_name[im_label] # 当前类别文件夹名
if not os.path.exists(dir_name): # 如果不存在
os.makedirs(dir_name) # 创建文件夹
cv2.imwrite(dir_name+'\\'+im_name.decode('utf-8')+'.png', im_data) # 保存图像这样，就会创建每个分类的文件夹，并在文件夹中存储了所有的图像文件
其中一个文件夹中的图像文件：
当前进度的所有代码：
import pickle
import glob
import numpy as np
import cv2
# 解压数据，本段代码来自cifar官网 http://www.cs.utoronto.ca/~kriz/cifar.html
def unpickle(file):
with open(file, 'rb') as fo:
dict = pickle.load(fo, encoding='bytes')
return dict
# 输出的类别标签名，从cifar官网可以复制得到
label_name = ['airplane',
'automobile',
'bird',
'cat',
'deer',
'dog',
'frog',
'horse',
'ship',
'truck']
# 获取所有需要训练的原始数据集文件名
tran_list = glob.glob('E:\\AI_tset\\cifar10_demo\\cifar-10-python\\cifar-10-batches-py\\data_batch_*') # 获取所有需要训练的原始数据集文件名
# “glob.glob ()” 是 Python# 中的一个函数，用于查找符合特定模式的文件路径名。
# 它返回一个列表，包含所有匹配指定模式的文件路径。
# 例如，“glob.glob ('*.txt')” 将返回当前目录下所有扩展名为 “.txt” 的文件的路径。
# print(tran_list) # ['E:\\AI_tset\\cifar10_demo\\cifar-10-python\\cifar-10-batches-py\\data_batch_1',
# 'E:\\AI_tset\\cifar10_demo\\cifar-10-python\\cifar-10-batches-py\\data_batch_2',
# 'E:\\AI_tset\\cifar10_demo\\cifar-10-python\\cifar-10-batches-py\\data_batch_3',
# 'E:\\AI_tset\\cifar10_demo\\cifar-10-python\\cifar-10-batches-py\\data_batch_4',
# 'E:\\AI_tset\\cifar10_demo\\cifar-10-python\\cifar-10-batches-py\\data_batch_5']
# print(len(tran_list)) # 5
# 依次读取每个文件
for l in tran_list: # 依次读取每个文件
l_dict = unpickle(l) # 读取文件，返回一个字典
# print(l_dict.keys()) # dict_keys([b'batch_label', b'labels', b'data', b'filenames'])
'''这个数据集包含了图像数据和相关的元数据。
batch_label指的是每个数据批次的标签，
labels是具体的分类标签，
data是图像数据，
而filenames则是图像文件的名称'''
# print(l_dict[b'batch_label']) # batch 1 of 5...
# print(l_dict[b'labels'][:10]) # [6, 9, 9, 4, 1, 1, 2, 7, 8, 3] # 类别标签
# print(l_dict[b'data'][:10]) # [102 111 196 77 117 123 134 130 141 135] # 图像数据
# print(l_dict[b'filenames'][:3]) # [b'compact_car_s_001706.png', b'icebreaker_s_001689.png', b'peke_s_000545.png'] # 文件名
for im_idx, im_data in enumerate(l_dict[b'data']): # 依次读取每个文件中的图像数据])
im_data = im_data.reshape(3, 32, 32).transpose(1, 2, 0) # 转换格式并生成图像数据
'''在CIFAR-10数据集中，图像数据的原始存储格式是(3, 32, 32)，这意味着每个图像有三个维度：红色通道、绿色通道和蓝色通道，
每个通道都是一个32x32的矩阵。这种格式是为了方便按通道存储和处理数据。然而，在大多数图像处理库中，如Pillow或OpenCV，
图像通常以(高度, 宽度, 通道)的格式存储，即(32, 32, 3)。这样的格式更符合人们直观上对图像的理解，即先看到高度，然后是宽度，
最后是颜色通道。因此，代码中的im_data.reshape(3, 32, 32).transpose(1, 2, 0)操作是为了将数据从CIFAR-10的原始存储
格式(3, 32, 32)转换为更通用的图像处理格式(32, 32, 3)。transpose(1, 2, 0)操作就是将三个维度重新排列，使得高度成为第
一个维度，宽度成为第二个维度，通道成为第三个维度。'''
im_label = l_dict[b'labels'][im_idx] # 获取类别标签
print(label_name[im_label])
cv2.imshow('show', cv2.resize(im_data, (100, 100))) # 显示图像
cv2.waitKey(0) # 等待按键4、转换测试集图片
将上述代码稍加修改，转换测试集图片：
import os
import pickle
import glob
import numpy as np
import cv2
# 解压数据，本段代码来自cifar官网 http://www.cs.utoronto.ca/~kriz/cifar.html
def unpickle(file):
with open(file, 'rb') as fo:
dict = pickle.load(fo, encoding='bytes')
return dict
# 输出的类别标签名，从cifar官网可以复制得到
label_name = ['airplane',
'automobile',
'bird',
'cat',
'deer',
'dog',
'frog',
'horse',
'ship',
'truck']
# 获取所有需要训练的原始数据集文件名
tran_list = glob.glob('E:\\AI_tset\\cifar10_demo\\cifar-10-python\\cifar-10-batches-py\\test_batch*') # 获取所有需要训练的原始数据集文件名
# “glob.glob ()” 是 Python# 中的一个函数，用于查找符合特定模式的文件路径名。
# 它返回一个列表，包含所有匹配指定模式的文件路径。
# 例如，“glob.glob ('*.txt')” 将返回当前目录下所有扩展名为 “.txt” 的文件的路径。
# print(tran_list) # ['E:\\AI_tset\\cifar10_demo\\cifar-10-python\\cifar-10-batches-py\\data_batch_1',
# 'E:\\AI_tset\\cifar10_demo\\cifar-10-python\\cifar-10-batches-py\\data_batch_2',
# 'E:\\AI_tset\\cifar10_demo\\cifar-10-python\\cifar-10-batches-py\\data_batch_3',
# 'E:\\AI_tset\\cifar10_demo\\cifar-10-python\\cifar-10-batches-py\\data_batch_4',
# 'E:\\AI_tset\\cifar10_demo\\cifar-10-python\\cifar-10-batches-py\\data_batch_5']
# print(len(tran_list)) # 5
# 依次读取每个文件
for l in tran_list: # 依次读取每个文件
l_dict = unpickle(l) # 读取文件，返回一个字典
# print(l_dict.keys()) # dict_keys([b'batch_label', b'labels', b'data', b'filenames'])
'''这个数据集包含了图像数据和相关的元数据。
batch_label指的是每个数据批次的标签，
labels是具体的分类标签，
data是图像数据，
而filenames则是图像文件的名称'''
# print(l_dict[b'batch_label']) # batch 1 of 5...
# print(l_dict[b'labels'][:10]) # [6, 9, 9, 4, 1, 1, 2, 7, 8, 3] # 类别标签
# print(l_dict[b'data'][:10]) # [102 111 196 77 117 123 134 130 141 135] # 图像数据
# print(l_dict[b'filenames'][:3]) # [b'compact_car_s_001706.png', b'icebreaker_s_001689.png', b'peke_s_000545.png'] # 文件名
for im_idx, im_data in enumerate(l_dict[b'data']): # 依次读取每个文件中的图像数据])
im_data = im_data.reshape(3, 32, 32).transpose(1, 2, 0) # 转换格式并生成图像数据
'''在CIFAR-10数据集中，图像数据的原始存储格式是(3, 32, 32)，这意味着每个图像有三个维度：红色通道、绿色通道和蓝色通道，
每个通道都是一个32x32的矩阵。这种格式是为了方便按通道存储和处理数据。然而，在大多数图像处理库中，如Pillow或OpenCV，
图像通常以(高度, 宽度, 通道)的格式存储，即(32, 32, 3)。这样的格式更符合人们直观上对图像的理解，即先看到高度，然后是宽度，
最后是颜色通道。因此，代码中的im_data.reshape(3, 32, 32).transpose(1, 2, 0)操作是为了将数据从CIFAR-10的原始存储
格式(3, 32, 32)转换为更通用的图像处理格式(32, 32, 3)。transpose(1, 2, 0)操作就是将三个维度重新排列，使得高度成为第
一个维度，宽度成为第二个维度，通道成为第三个维度。'''
im_label = l_dict[b'labels'][im_idx] # 获取类别标签
# print(label_name[im_label])
# cv2.imshow('show', cv2.resize(im_data, (100, 100))) # 显示图像
# cv2.waitKey(0) # 等待按键
# with open(im_name, 'wb') as fo: # 保存图像
# fo.write(im_data) # 写入图像数据
im_name = l_dict[b'filenames'][im_idx] # 获取文件名
dir_name = 'E:\\AI_tset\\cifar10_demo\\cifar-10-python\\cifar-10-batches-py\\test\\'+label_name[im_label] # 当前类别文件夹名
if not os.path.exists(dir_name): # 如果不存在
os.makedirs(dir_name) # 创建文件夹
cv2.imwrite(dir_name+'\\'+im_name.decode('utf-8')+'.png', im_data) # 保存图像执行上述脚本，得到测试集的图片集。
三、
