加载 MNIST 数据库

MNIST 是机器学习领域最著名的数据集之一。

• 它有 70,000 张手写数字图像 - 下载非常简单 - 图像尺寸为 28x28 - 灰度图

from keras.datasets import mnist

# 使用 Keras 导入MNIST 数据库
(X_train, y_train), (X_test, y_test) = mnist.load_data()

print("The MNIST database has a training set of %d examples." % len(X_train))
print("The MNIST database has a test set of %d examples." % len(X_test))

 将前六个训练图像可视化

import matplotlib.pyplot as plt
%matplotlib inline
import matplotlib.cm as cm
import numpy as np

# 绘制前六幅训练图像
fig = plt.figure(figsize=(20,20))
for i in range(6):
    ax = fig.add_subplot(1, 6, i+1, xticks=[], yticks=[])
    ax.imshow(X_train[i], cmap='gray')
    ax.set_title(str(y_train[i]))

查看图像的更多细节 

def visualize_input(img, ax):
    ax.imshow(img, cmap='gray')
    width, height = img.shape
    thresh = img.max()/2.5
    for x in range(width):
        for y in range(height):
            ax.annotate(str(round(img[x][y],2)), xy=(y,x),
                        horizontalalignment='center',
                        verticalalignment='center',
                        color='white' if img[x][y]<thresh else 'black')

fig = plt.figure(figsize = (12,12)) 
ax = fig.add_subplot(111)
visualize_input(X_train[0], ax)

 预处理输入图像：通过将每幅图像中的每个像素除以 255 来调整图像比例

# 调整比例，使数值在 0 - 1 范围内 [0,255] --> [0,1]
X_train = X_train.astype('float32')/255
X_test = X_test.astype('float32')/255 

print('X_train shape:', X_train.shape)
print(X_train.shape[0], 'train samples')
print(X_test.shape[0], 'test samples')

 对标签进行预处理：使用单热方案对分类整数标签进行编码

from keras.utils import to_categorical

num_classes = 10 
# 打印前十个（整数值）训练标签
print('Integer-valued labels:')
print(y_train[:10])

# 对标签进行一次性编码
# 将类别向量转换为二进制类别矩阵
y_train = to_categorical(y_train, num_classes)
y_test = to_categorical(y_test, num_classes)

# 打印前十个（单次）训练标签
print('One-hot labels:')
print(y_train[:10])

 重塑数据以适应我们的 CNN（和 input_shape）

# 输入图像尺寸为 28x28 像素的图像。
img_rows, img_cols = 28, 28

X_train = X_train.reshape(X_train.shape[0], img_rows, img_cols, 1)
X_test = X_test.reshape(X_test.shape[0], img_rows, img_cols, 1)
input_shape = (img_rows, img_cols, 1)

print('input_shape: ', input_shape)
print('x_train shape:', X_train.shape)

定义模型架构

您必须传递以下参数：

• filters - 滤波器的数量。
• kernel_size - 指定（正方形）卷积窗口高度和宽度的数值。

还有一些额外的、可选的参数需要调整：

• strides - 卷积的步长。如果不指定任何参数，strides 将设为 1。
• padding - "有效 "或 "相同 "之一。如果不做任何指定，padding 将设置为 "有效"。
• activation - 通常为 "relu"。如果不指定任何内容，则不会应用激活。我们强烈建议你为网络中的每个卷积层添加 ReLU 激活函数。

 需要注意的事项

• 始终为 CNN 中的 Conv2D 层添加 ReLU 激活函数。除网络中的最后一层外，密集层也应具有 ReLU 激活函数。
• 在构建分类网络时，网络的最终层应是具有 softmax 激活函数的密集层。最终层的节点数应等于数据集中的类总数。

from keras.models import Sequential
from keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Dropout

# 创建模型对象
model = Sequential()

# CONV_1: 添加 CONV 层，采用 RELU 激活，深度 = 32 内核
model.add(Conv2D(32, kernel_size=(3, 3), padding='same',activation='relu',input_shape=(28,28,1)))
# POOL_1: 对图像进行下采样，选择最佳特征
model.add(MaxPooling2D(pool_size=(2, 2)))

# CONV_2: 在这里，我们将深度增加到 64
model.add(Conv2D(64, (3, 3),padding='same', activation='relu'))
# POOL_2: more downsampling
model.add(MaxPooling2D(pool_size=(2, 2)))

# 由于维度过多，我们只需要一个分类输出
model.add(Flatten())

# FC_1: 完全连接，获取所有相关数据
model.add(Dense(64, activation='relu'))

# FC_2: 输出软最大值，将矩阵压制成 10 个类别的输出概率
model.add(Dense(10, activation='softmax'))

model.summary()

需要注意的事项：

• 网络以两个卷积层的序列开始，然后是最大池化层。
• 最后一层为数据集中的每个对象类别设置了一个条目，并具有软最大激活函数，因此可以返回概率。
• Conv2D 深度从输入层的 1 增加到 32 到 64。
• 我们还想减少高度和宽度--这就是 maxpooling 的作用所在。请注意，在池化层之后，图像尺寸从 28 减小到 14。
• 可以看到，每个输出形状都用 None 代替了批量大小。这是为了便于在运行时更改批次大小。
• 最后，我们会添加一个或多个全连接层来确定图像中包含的对象。例如，如果在上一个最大池化层中发现了车轮，那么这个 FC 层将转换该信息，以更高的概率预测图像中出现了一辆汽车。如果图像中有眼睛、腿和尾巴，那么这可能意味着图像中有一只狗。

编译模型

# rmsprop 和自适应学习率 (adaDelta) 是梯度下降的流行形式，仅次于 adam 和 adagrad
# 因为我们有多个类别 (10)

# 编译模型
model.compile(loss='categorical_crossentropy', optimizer='rmsprop', 
              metrics=['accuracy'])

训练模型

from keras.callbacks import ModelCheckpoint   

# 训练模型
checkpointer = ModelCheckpoint(filepath='model.weights.best.hdf5', verbose=1, 
                               save_best_only=True)
hist = model.fit(X_train, y_train, batch_size=32, epochs=12,
          validation_data=(X_test, y_test), callbacks=[checkpointer], 
          verbose=2, shuffle=True)

 在验证集上加载分类准确率最高的模型

# 加载能获得最佳验证精度的权重
model.load_weights('model.weights.best.hdf5')

计算测试集的分类准确率 

# 评估测试的准确性
score = model.evaluate(X_test, y_test, verbose=0)
accuracy = 100*score[1]

# 打印测试精度
print('Test accuracy: %.4f%%' % accuracy)

 

注意事项：

MLP 和 CNN 通常不会产生可比较的结果。MNIST 数据集非常特别，因为它非常干净，而且经过了完美的预处理。例如，所有图像大小相同，并以 28x28 像素网格为中心。如果数字稍有偏斜或不居中，这项任务就会难得多。对于真实世界中杂乱无章的图像数据，CNN 将真正超越 MLP。

为了直观地了解为什么会出现这种情况，要将图像输入 MLP，首先必须将图像转换为矢量。然后，MLP 会将图像视为没有特殊结构的简单数字向量。它不知道这些数字原本是按空间网格排列的。

相比之下，CNN 的设计目的完全相同，即处理多维数据中的模式。与 MLP 不同的是，CNN 知道，相距较近的图像像素比相距较远的像素关系密切。