深度学习（十一）-PaddlePaddle

news2024/9/22 9:58:35

PaddlePaddle

PaddlePaddle（Parallel Distributed Deep Learning，中文名飞桨）是百度公司推出的开源、易学习、易使用的分布式深度学习平台
源于产业实践，在实际中有着优异表现
支持多种机器学习经典模型

优点

易用性。语法简洁，API的设计干净清晰
丰富的模型库。借助于其丰富的模型库，可以非常容易的复现一些经典方法
全中文说明文档。首家完整支持中文文档的深度学习平台
运行速度快。充分利用 GPU 集群的性能，为分布式环境的并行计算进行加速

学习资源

官网

地址：https://www.paddlepaddle.org.cn/

内容：学习指南、文档、API手册

百度云智学院

地址：http://abcxueyuan.cloud.baidu.com/#/courseDetail?id=14958

内容：教学视频

AIStudio

地址：https://aistudio.baidu.com/aistudio/projectoverview/public/1

内容：项目案例

体系结构

编译与执行过程

用户编写的python程序通过调用 Paddle 提供的算子，向Program 中添加变量（Tensor）以及对变量的操作（Operators 或者 Layers）
原始Program在框架内部转换为中间描述语言：ProgramDesc
Transpiler 接受一段 ProgramDesc ，输出一段变化后的 ProgramDesc ，作为后端Executor 最终需要执行的 Program
执行 ProgramDesc 中定义的 Operator（可以类比为程序语言中的指令），在执行过程中会为

Fluid：定义程序执行流程
Program：对用户来说一个完整的程序
executor：执行器，执行程序

张量

张量（Tensor）: 多维数组或向量，同其它主流深度学习框架一样，PaddlePaddle使用张量来承载数据

LoDTensor

LoD(Level-of-Detail) Tensor是Paddle的高级特性，是对Tensor的一种扩充。LoDTensor通过牺牲灵活性来提升训练的效率。
LoDTensor用来处理变长数据信息，将长度不一致的维度拼接为一个大的维度，并引入了一个索引数据结构（LoD）来将张量分割成序列。

Layer

表示一个独立的计算逻辑，通常包含一个或多个operator（操作），如layers.relu表示ReLU计算；

layers.pool2d表示pool操作。Layer的输入和输出为Variable。

Variable

表示一个变量，在paddle中，Variable 基本等价于 Tensor 。 Variable进入Layer计算，然后Layer返回Variable。创建变量方式：

Scope

scope 在 paddle 里可以看作变量空间，存储fluid创建的变量。变量存储于unordered_map 数据结构中，该结构类似于python中的dict，键是变量的名字，值是变量的指针。

一个 p a d d l e 程序有一个默认的全局 s c o p e （可以通过fluid.global_scope() 获取）。如果没有主动创建 scope 并且通过fluid.scope_guard() 替换当前 scope，那么所有参数都在全局 scope中。参数创建的时机不是在组网时，而是在 executor.run() 执行时。

program 和 scope 配合，才能表达完整模型（模型=网络结构+参数）