🍉 CSDN 叶庭云：https://yetingyun.blog.csdn.net/

---

论文标题 & 发表会议：Shortened LLaMA: A Simple Depth Pruning for Large Language Models（ICLR 2024 Workshop）

论文地址：https://arxiv.org/abs/2402.02834

Github 代码地址：https://github.com/Nota-NetsPresso/shortened-llm

现代大语言模型（LLMs）的结构化剪枝已经成为降低其高计算需求的一种方式。宽度剪枝减少了投影权重矩阵的大小（例如，通过移除注意力头），同时保持层数不变。相比之下，深度剪枝则移除整个层或块，但保持剩余权重的大小不变。当前大多数研究聚焦于仅宽度剪枝或宽度与深度剪枝的结合，很少有在两者（宽度与深度）对 LLM 推理效率影响方面进行比较分析的。

为此，在这项工作中，研究者展示了一个简单的深度剪枝方法可以在零样本任务性能方面与最近的宽度剪枝方法竞争。这个剪枝方法提高了推理速度，特别是在内存受限条件下需要限制批量大小（batch sizes） 以运行 LLMs 时，此时宽度剪枝效果不佳。作者希望这项工作能帮助将 LLMs 部署在本地和边缘端设备上。

剪枝粒度的比较如示意图所示。宽度剪枝通过减小权重矩阵的大小，维持了矩阵级操作的数量。而深度剪枝则通过消除整个 Transformer 块或单个多头注意力及前馈神经网络模块，进一步减少了内存访问和矩阵级操作的次数。

Shortened LLaMA 是这篇论文提出的一种有潜力的大语言模型压缩方法，论文通过大量实验验证了其有效性。这种方法对于推动大语言模型在资源受限环境中的应用具有重要意义。以下是论文的关键要点：

论文解决了什么问题？论文针对大语言模型（LLMs）在部署时面临的高计算需求问题，提出了一种简单而有效的深度剪枝方法 —— Shortened LLaMA。该方法旨在降低 LLMs 的计算需求，同时保持或提高模型的推理效率和任务性能。论文首先对类 Transformer 大语言模型的网络宽度和深度剪枝技术进行了详尽的对比分析。具体而言，作者发现，在输入批次受限的情况下，现有的宽度剪枝算法难以实现对自回归 LLM 性能的提升。

论文的主要贡献是什么？论文的主要贡献在于提出了一种结构化剪枝方法，特别是针对深度剪枝，以压缩大语言模型。作者通过展示该方法在减小模型规模、提升推理速度以及在内存受限情况下维持出色的零样本任务性能，突显了其优势。

论文的方法与现有方法有何不同？Shortened LLaMA 是一种简单而高效的 LLM 深度剪枝策略。它通过各种模块重要性评估来识别模型中的冗余模块，并在多个粒度上对 Transformer 模块进行剪枝。此外，作者还为 Shortened LLaMA 引入了一种低成本的再训练模式，使模型能够保持对下游任务的适应性，同时提高推理效率。这种方法在零样本任务中表现出了卓越的性能。

论文的实验结果如何支持其主张？论文通过一系列实验，包括在不同 GPUs 上的效率测试、零样本任务性能评估以及与现有剪枝方法的比较，证明了 Shortened LLaMA 方法的有效性。实验结果显示，深度剪枝后的模型在推理速度和内存占用方面都有显著改进。

论文的方法有哪些潜在的局限性？论文中指出，在某些情况下，深度剪枝方法可能不及宽度剪枝方法有效，特别是在模型结构中的某些层或块对性能贡献较大时。此外，深度剪枝还可能降低模型在处理长序列或复杂任务时的性能。

论文的结果对相关领域有何启示？论文的研究结果显示，深度剪枝是一种有效的大语言模型压缩技术，尤其在资源受限的环境下表现突出。这对于推动大语言模型在边缘计算和移动设备上的实际应用具有深远意义。

论文的实验设置是否充分？论文详尽地介绍了实验设置，涉及模型选择、数据集、评估指标以及比较基准。这些精心设计的设置确保了实验结果的有效性，并为后续分析提供了坚实的基础。

论文的结论是否合理？经过充分的实验证据支持，论文的结论合理地指出了深度剪枝方法在提升大语言模型推理效率方面的潜力和优势。

论文的后续研究方向是什么？论文指明了未来研究的方向，包括探索更高效的重训练方法、深入研究校准数据集的特性，并将深度剪枝方法拓展到更大规模的 LLM 以及更复杂的任务上。

论文的写作和组织是否清晰？论文的结构清晰，逻辑性强。从问题介绍到方法提出、实验验证，再到结果分析和结论总结，整个过程条理清晰，易于理解。

---

📚️ 相关链接：

• 边缘计算设备部署 LLM？Nota Inc. 提出大语言模型专用剪枝方法 Shortened LLaMA

• Kim, B. K., Kim, G., Kim, T. H., Castells, T., Choi, S., Shin, J., & Song, H. K. (2024). Shortened LLaMA: A Simple Depth Pruning for Large Language Models. arXiv preprint arXiv:2402.02834.