非常感谢华为昇思大模型平台和CSDN邀请体验昇思大模型！从今天起，我将以打卡的方式，结合原文搬运和个人思考，分享25天的学习内容与成果。为了提升文章质量和阅读体验，我会将思考部分放在最后，供大家探索讨论。同时也欢迎各位领取算力，免费体验昇思大模型！
本文介绍了如何使用昇思MindSpore框架构建基于MNIST数据集的手写数字识别模型。首先，讲解了机器学习和深度学习的背景知识，以及MindSpore的优势和架构。随后，详细描述了从数据下载、预处理到神经网络模型定义、训练和测试的完整流程。通过实例代码演示了如何使用MindSpore进行模型训练、保存和加载，并展示了模型预测的结果。最后，总结了学习过程中的重要经验和心得，鼓励读者动手实践，进一步探索和应用MindSpore。
一、昇思大模型介绍
1. 机器学习的概念
机器学习的概念诞生于20世纪50年代，起源于图灵的一个问题：计算机是否能够学习和创新？图灵的问题引出了一个与经典程序设计不同的编程范式：
这便是最初机器学习的概念。
到现在，机器学习已经发展为一套完整的流程：
深度学习是一种特殊的机器学习，主要利用多层神经网络模拟人脑，自动提取特征并进行预测。
2. 昇思MindSpore介绍
昇思MindSpore是 一个全场景深度学习框架，旨在实现易开发、高效执行、全场景统一部署三大目标。
其中，易开发表现为API友好、调试难度低；高效执行包括计算效率、数据预处理效率和分布式训练效率；全场景则指框架同时支持云、边缘以及端侧场景。
昇思MindSpore总体架构如下图所示：
昇思MindSpore架构各模块功能如下：
| 模块名称 | 描述 |
|---|---|
| ModelZoo（模型库） | 提供各种可用的深度学习算法网络，供用户直接使用。 |
| MindSpore Extend（扩展库） | 昇思MindSpore的领域扩展库，支持新领域的拓展，如图神经网络（GNN）、深度概率编程和强化学习等。 |
| MindScience（科学计算） | 基于昇思MindSpore构建的科学计算套件，包含领先的数据集、基础模型、高精度预置模型和前后处理工具，加速科学计算领域的应用开发。 |
| MindExpression（全场景统一API） | 基于Python的编程接口，融合了函数式编程和面向对象编程范式，支持AI与数值计算的表达统一，以及动静态表达和单机分布式表达的统一。 |
| 第三方前端 | 支持多语言前端表达，未来计划逐步对接C/C++等第三方前端，以扩展更多的第三方生态系统。 |
| MindSpore Data（数据处理层） | 提供高效的数据处理和常用数据集加载功能，支持用户灵活定义处理注册和管道并行优化。 |
| MindCompiler（AI编译器） | 图层的核心编译器，基于端云统一的MindIR实现三大功能：硬件无关优化、硬件相关优化以及部署推理相关优化。 |
| MindRT（全场景运行时） | 昇思MindSpore的运行时系统，包括云端主机运行时系统、端侧和轻量化IoT运行时系统。 |
| MindSpore Insight（可视化调试调优工具） | 可视化调试和调优工具，能可视化查看训练过程，优化模型性能，调试精度问题，并解释推理结果。 |
| MindSpore Armour（安全增强库） | 面向企业级应用的安全和隐私保护增强功能库，包括对抗鲁棒性、模型安全测试、差分隐私训练、隐私泄露风险评估和数据漂移检测等技术。 |
有了对昇思MindSpore总体架构的了解后，我们可以看看各个模块之间的整体配合关系，具体如图所示：
昇思MindSpore作为全场景AI框架，支持包括端（手机与IOT设备）、边（基站与路由设备）、云（服务器）在内的不同硬件系列，如昇腾系列产品、英伟达NVIDIA系列产品、Arm系列的高通骁龙、华为麒麟的芯片等。
左侧蓝色方框表示MindSpore主体框架，主要提供神经网络在训练、验证过程中相关的基础API功能，并默认提供自动微分、自动并行等功能。
蓝色方框下方是MindSpore Data模块，可用于数据预处理，包括数据采样、数据迭代、数据格式转换等操作。在训练过程中，MindSpore Insight模块通过可视化loss曲线、算子执行情况、权重参数等，帮助用户进行调试和优化。
AI安全方面，最简单的场景是从攻防视角来看，例如，攻击者在训练阶段掺入恶意数据以影响AI模型推理能力。为此，MindSpore推出了MindSpore Armour模块，为AI提供安全机制。
蓝色方框上方的内容更贴近算法开发用户，包括存放大量AI算法模型库的ModelZoo、面向不同领域的开发工具套件MindSpore DevKit，以及高阶拓展库MindSpore Extend。其中，MindSciences是MindSpore Extend中的科学计算套件，首次探索将科学计算与深度学习结合，通过深度学习支持电磁仿真、药物分子仿真等应用。
神经网络模型训练完成后，可以导出模型或加载存放在MindSpore Hub中已训练好的模型。随后，通过MindIR提供的端云统一IR格式，将模型文件与硬件平台解耦，实现一次训练、多次部署。通过IR格式，可以将模型导出到不同模块进行推理。
二、Jupyter Lab介绍
Jupyter Lab集成了很多编辑器，例如Jupyter笔记本、文本编辑器、终端和自定义组件。它提供了一个灵活的界面，可以将不同类型的文件（如笔记本、文本文件、终端等）放在一起进行管理和操作。通过Jupyter Lab，用户可以方便地编写和调试代码，记录实验过程，生成和分享报告。这种集成环境极大地提高了开发效率，是数据科学家和开发者的得力工具。
目前Jupyter运行时长限制只能运行2个小时。2个小时之后将会自动释放所有资源，请提前将所需资源下载到本地或git push到平台中。
模式介绍
在 Jupyter Lab 的 Notebook 中有两种模式，分别是编码模式（Edit mode）和命令模式（Command mode）。编码模式就是光标在 code 栏中闪烁时的模式，而命令模式就是点击 code 栏中括号后，code 栏变成灰色时的模式。
- 在编码模式下可以通过按
Esc键进入命令模式 - 在命令模式下可以通过按
Enter键进入编码模式
常用快捷键
选中cell或者在cell中按ESE按键进入到命令模式，再执行以下快捷键
| 快捷键 | 描述 |
|---|---|
Ctrl + Enter | 运行本栏代码，保持在本栏并进入命令模式 |
Shift + Enter | 运行本栏代码，跳到下一栏并进入命令模式 |
Alt + Enter | 运行本栏代码，跳到下一栏并进入编辑模式 |
a | 在本栏代码前增加一栏，并跳到新增加的一栏，仍处在命令模式下 |
b | 在本栏代码后增加一栏，并跳到新增加的一栏，仍处在命令模式下 |
dd | 删除本代码栏，并自动跳到下一栏代码栏，仍处在命令模式下 |
m | 切换到 Markdown 模式，仍处在命令模式下，按下 Enter 可进入编辑模式 |
y | 切换到 Code 模型，仍处在命令行模式下，按下 Enter 可进入编辑模式 |
三、MindSpore实战-构建基于MNIST的手写数字识别模型
通过上面对昇思大模型和Jupyter Lab的介绍，相信大家对此已经有所了解，下面我们来实战一个小型项目——通过昇思大模型构建基于MNIST数据集的手写数字识别模型。
1. 创建Python程序
创建workspace文件夹，文件夹下创建基于 Python3 的 .ipynb 程序。
重命名为 day001.ipynb，
2. 导入必要的库
首先，我们需要导入MindSpore库以及其他一些必要的模块。MindSpore是华为推出的深度学习框架，具有高效、便捷、可扩展等特点。
import mindspore
from mindspore import nn
from mindspore.dataset import vision, transforms
from mindspore.dataset import MnistDataset
from download import download
3. 下载并加载数据集
我们将使用MNIST数据集，该数据集包含手写数字的灰度图像。数据集可以通过下载功能获取，并解压到指定目录。
url = "https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/notebook/datasets/MNIST_Data.zip"
path = download(url, "./", kind="zip", replace=True)
train_dataset = MnistDataset('MNIST_Data/train')
test_dataset = MnistDataset('MNIST_Data/test')
4. 数据预处理
为了让模型更好地学习，我们需要对图像数据进行预处理。我们将图像数据归一化，并将其转换为模型可以接受的格式。
def datapipe(dataset, batch_size):
image_transforms = [
vision.Rescale(1.0 / 255.0, 0),
vision.Normalize(mean=(0.1307,), std=(0.3081,)),
vision.HWC2CHW()
]
label_transform = transforms.TypeCast(mindspore.int32)
dataset = dataset.map(image_transforms, 'image')
dataset = dataset.map(label_transform, 'label')
dataset = dataset.batch(batch_size)
return dataset
train_dataset = datapipe(train_dataset, 64)
test_dataset = datapipe(test_dataset, 64)
5. 定义神经网络模型
我们将定义一个简单的神经网络模型来进行手写数字识别。该模型包含三个全连接层和两个ReLU激活函数。
class Network(nn.Cell):
def __init__(self):
super().__init__()
self.flatten = nn.Flatten()
self.dense_relu_sequential = nn.SequentialCell(
nn.Dense(28*28, 512),
nn.ReLU(),
nn.Dense(512, 512),
nn.ReLU(),
nn.Dense(512, 10)
)
def construct(self, x):
x = self.flatten(x)
logits = self.dense_relu_sequential(x)
return logits
model = Network()
print(model)
6. 定义损失函数和优化器
我们使用交叉熵损失函数和随机梯度下降（SGD）优化器来训练我们的模型。
loss_fn = nn.CrossEntropyLoss()
optimizer = nn.SGD(model.trainable_params(), 1e-2)
7. 训练步骤和训练过程
训练过程包括前向传播、计算损失、反向传播以及更新模型参数。
def forward_fn(data, label):
logits = model(data)
loss = loss_fn(logits, label)
return loss, logits
grad_fn = mindspore.value_and_grad(forward_fn, None, optimizer.parameters, has_aux=True)
def train_step(data, label):
(loss, _), grads = grad_fn(data, label)
optimizer(grads)
return loss
def train(model, dataset):
size = dataset.get_dataset_size()
model.set_train()
for batch, (data, label) in enumerate(dataset.create_tuple_iterator()):
loss = train_step(data, label)
if batch % 100 == 0:
loss, current = loss.asnumpy(), batch
print(f"loss: {loss:>7f} [{current:>3d}/{size:>3d}]")
8. 测试过程
测试过程包括对测试数据进行预测，并计算准确率和平均损失。
def test(model, dataset, loss_fn):
num_batches = dataset.get_dataset_size()
model.set_train(False)
total, test_loss, correct = 0, 0, 0
for data, label in dataset.create_tuple_iterator():
pred = model(data)
total += len(data)
test_loss += loss_fn(pred, label).asnumpy()
correct += (pred.argmax(1) == label).asnumpy().sum()
test_loss /= num_batches
correct /= total
print(f"Test: \n Accuracy: {(100*correct):>0.1f}%, Avg loss: {test_loss:>8f} \n")
9. 训练和测试模型
我们将模型训练3个周期（epochs），并在每个周期结束后测试模型的表现。
epochs = 3
for t in range(epochs):
print(f"Epoch {t+1}\n-------------------------------")
train(model, train_dataset)
test(model, test_dataset, loss_fn)
print("Done!")
10. 保存和加载模型
训练完成后，我们将模型参数保存到文件中，并演示如何加载已保存的模型。
mindspore.save_checkpoint(model, "model.ckpt")
print("Saved Model to model.ckpt")
model = Network()
param_dict = mindspore.load_checkpoint("model.ckpt")
param_not_load, _ = mindspore.load_param_into_net(model, param_dict)
print(param_not_load)
11. 进行预测并显示结果
最后，我们使用加载的模型进行预测，并展示预测结果。
model.set_train(False)
for data, label in test_dataset:
pred = model(data)
predicted = pred.argmax(1)
print(f'Predicted: "{predicted[:10]}", Actual: "{label[:10]}"')
break
12. 完成打卡
输出我的完成时间和昇思平台账号ID：
from datetime import datetime
import pytz
beijing_tz = pytz.timezone('Asia/shanghai')
current_beijing_time = datetime.now(beijing_tz)
formatted_time=current_beijing_time.strftime('%Y-%m-%d %H:%M:%S')
print("当前北京时间:",formatted_time,'Damon_Liu')
完成打卡！
四、实战总结
今天的学习和实战让我们快速掌握了使用MindSpore构建手写数字识别模型的基本流程。通过这一过程，我有一些自己的思考和总结。
在深度学习中，数据预处理是至关重要的一步。适当的归一化和标准化可以显著提升模型的训练效果，确保模型更快收敛并达到更高的精度。数据预处理不仅能减少训练时间，还能提高模型的泛化能力，避免过拟合。虽然简单的全连接层模型在MNIST数据集上表现良好，但面对更复杂的任务时，需要设计更复杂的网络结构并进行超参数调优。选择合适的网络结构，如卷积神经网络（CNN）或递归神经网络（RNN），并通过调整学习率、批处理大小、网络层数等超参数，能够优化模型性能。同时，使用Dropout或L2正则化等技术可以防止模型过拟合。
MindSpore提供了丰富的API，使得模型构建和训练过程更加简洁高效。其动态图特性大大方便了模型的调试和开发，提高了开发效率。此外，MindSpore的自动微分和自动并行功能也让开发者能更专注于模型设计，而无需担心底层实现细节。在实战过程中，我们可能会遇到数据集不足、模型过拟合或欠拟合等挑战。通过数据增强、模型集成和早停法等方法，可以有效解决这些问题，增加数据集的多样性，提高预测准确性，并防止过拟合。
通过今天的实战，我们成功构建了一个手写数字识别模型，并对其进行了训练和测试。模型在训练集上的损失逐渐减小，准确率逐渐提高，表明模型在学习过程中不断优化。在测试集上的表现与训练集相近，说明模型具有良好的泛化能力。在接下来的24天中，期待与大家一起继续探索和学习昇思大模型的更多应用和技巧，包括高级模型应用、模型优化技巧以及实际项目实践。希望大家能通过这些学习和实践，积累更多经验，解决实际问题。
欢迎大家领取算力，免费体验昇思大模型，并分享你们的学习成果和心得！
