目录

模型压缩技术

权重剪枝：

量化技术：

知识蒸馏：

低秩分解：

一、权重剪枝

二、量化技术

三、知识蒸馏

四、低秩分解

---

模型压缩技术

1. 权重剪枝：

   • 描述：通过删除模型中不重要的权重来减少参数数量和计算量。
   • 举例说明：假设我们有一个神经网络模型，其中某些神经元的连接权重对模型的输出影响非常小，这些权重可以被视为“不重要”。通过剪枝技术，我们可以将这些权重置为零或完全从模型中移除，从而减少模型的复杂性和计算量。

2. 量化技术：

   • 描述：将模型参数从高精度浮点数转换为低精度整数或浮点数，以减少存储和计算成本。
   • 举例说明ÿ