【深度学习】核心概念-人工神经网络（Artificial Neural Network, ANN）

news2025/1/13 0:39:57

人工神经网络是一种受生物神经系统启发的机器学习模型，旨在通过连接大量的节点（称为神经元或节点）来模拟人脑的学习方式。它是一种在监督学习和非监督学习中广泛应用的深度学习模型。

人工神经网络的基本结构

一个人工神经网络通常由以下三个部分组成：

输入层（Input Layer）：
接受输入数据，每个神经元代表一个特征。
隐藏层（Hidden Layers）：
通过权重、偏置和激活函数对输入进行处理，可以有一层或多层，决定了模型的表达能力。
输出层（Output Layer）：
提供最终的预测结果，输出层的神经元数目取决于任务类型（如分类的类别数）。

神经元

每个神经元的输出由输入的加权和经过激活函数计算得出：

$z = \sum_{i=1}^n w_i x_i + b$
$a = \sigma(z)$

其中：

$w_i$ ：权重
$x_i$ ：输入
$b$ ：偏置
$\sigma$ ：激活函数

激活函数

常见激活函数包括：

Sigmoid: $\sigma(x) = \frac{1}{1+e^{-x}}$
ReLU: $f(x) = \max(0, x)$
Tanh: $f(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}$
Softmax: 用于多分类任务，输出概率分布。

工作原理

前向传播（Forward Propagation）：
数据从输入层通过隐藏层到输出层，逐层计算结果。
损失函数（Loss Function）：
用于评估预测值与实际值之间的差距。例如：
- 均方误差（MSE）：回归问题
- 交叉熵（Cross Entropy）：分类问题
反向传播（Backpropagation）：
通过链式法则计算损失函数对每个参数的梯度，并用梯度下降算法更新参数，优化模型。

常见类型的人工神经网络

前馈神经网络（Feedforward Neural Network, FNN）：
数据单向流动，无环路，是最基础的神经网络类型。
卷积神经网络（Convolutional Neural Network, CNN）：
适合处理图像数据，通过卷积层提取特征。
循环神经网络（Recurrent Neural Network, RNN）：
适合处理序列数据，能够捕获时间依赖关系。
生成对抗网络（Generative Adversarial Network, GAN）：
包括生成器和判别器，用于生成与真实数据相似的样本。
自动编码器（Autoencoder）：
用于降维或去噪，通过学习输入数据的紧凑表示进行重构。

示例代码

以下是一个简单的多层感知器（MLP）在 TensorFlow 中实现的分类示例：

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
from tensorflow.keras.datasets import mnist
from tensorflow.keras.utils import to_categorical

# 加载 MNIST 数据集
(X_train, y_train), (X_test, y_test) = mnist.load_data()
X_train = X_train.reshape(-1, 28 * 28).astype('float32') / 255.0
X_test = X_test.reshape(-1, 28 * 28).astype('float32') / 255.0
y_train = to_categorical(y_train, 10)
y_test = to_categorical(y_test, 10)

# 构建模型
model = Sequential([
    Dense(128, activation='relu', input_shape=(28*28,)),
    Dense(64, activation='relu'),
    Dense(10, activation='softmax')  # 10 类分类
])

# 编译模型
model.compile(optimizer='adam',
              loss='categorical_crossentropy',
              metrics=['accuracy'])

# 训练模型
model.fit(X_train, y_train, epochs=10, batch_size=32, validation_split=0.2)

# 评估模型
loss, accuracy = model.evaluate(X_test, y_test)
print(f"Test Accuracy: {accuracy:.2f}")

运行结果

Epoch 1/10
1500/1500 [==============================] - 3s 2ms/step - loss: 0.2661 - accuracy: 0.9229 - val_loss: 0.1471 - val_accuracy: 0.9562
Epoch 2/10
1500/1500 [==============================] - 2s 2ms/step - loss: 0.1114 - accuracy: 0.9668 - val_loss: 0.1018 - val_accuracy: 0.9703
Epoch 3/10
1500/1500 [==============================] - 3s 2ms/step - loss: 0.0769 - accuracy: 0.9755 - val_loss: 0.0972 - val_accuracy: 0.9714
Epoch 4/10
1500/1500 [==============================] - 2s 1ms/step - loss: 0.0582 - accuracy: 0.9820 - val_loss: 0.0962 - val_accuracy: 0.9727
Epoch 5/10
1500/1500 [==============================] - 2s 1ms/step - loss: 0.0463 - accuracy: 0.9846 - val_loss: 0.0908 - val_accuracy: 0.9748
Epoch 6/10
1500/1500 [==============================] - 2s 2ms/step - loss: 0.0354 - accuracy: 0.9886 - val_loss: 0.1065 - val_accuracy: 0.9720
Epoch 7/10
1500/1500 [==============================] - 2s 1ms/step - loss: 0.0308 - accuracy: 0.9896 - val_loss: 0.1528 - val_accuracy: 0.9607
Epoch 8/10
1500/1500 [==============================] - 2s 1ms/step - loss: 0.0230 - accuracy: 0.9921 - val_loss: 0.1050 - val_accuracy: 0.9735
Epoch 9/10
1500/1500 [==============================] - 2s 1ms/step - loss: 0.0238 - accuracy: 0.9923 - val_loss: 0.1078 - val_accuracy: 0.9747
Epoch 10/10
1500/1500 [==============================] - 2s 1ms/step - loss: 0.0184 - accuracy: 0.9942 - val_loss: 0.1165 - val_accuracy: 0.9735
313/313 [==============================] - 1s 1ms/step - loss: 0.1037 - accuracy: 0.9741
Test Accuracy: 0.97