30.1 低秩分解

• 基于低秩分解的深度神经网络压缩与加速的核心思想是利用矩阵或张量分解技术估计并分解深度模型中的原始卷积核
  • 卷积计算是整个卷积神经网络中计算复杂 度 最 高 的 计 算 操 作，通 过 分 解４Ｄ 卷积核张量，可以有效地减少模型内部的冗余性
  • 此外对于２Ｄ的全 连 接 层 矩 阵 参 数，同样可以利用低秩分解技术进行处理
  • 但由于卷积层与全连接层的分解方式不同，本文分别从卷积层和全连接层２个不同角度回顾与分析低秩分解技术在深度神经网络中的应用
• 从理论上利用低秩分解的技术并分析了深度神经网络存在大量的冗余信
  息，开创了基于低秩分解的深度网络模型压缩与加速的新思路
  • 如图所示，展示了主流的张量分解后卷积计算
    

30.2 总体压缩效果评价指标有哪些？

• 网络压缩评价指标包括运行效率、参数压缩率、准确率
  • 与基准模型比较衡量性能提升时,可以使用提升倍数(speedup)或提升比例(ratio)