大模型量化技术-AWQ
在2023年6月，Ji Lin等人发表了论文AWQ：Activation-aware Weight Quantization for LLM Compression and Acceleration。

这篇论文详细介绍了一种激活感知权重量化算法，可以用于压缩任何基于 Transformer 的语言模型，同时只有微小的性能下降。关于 AWQ 算法的详细介绍，见MIT Han Song 教授分享。