关注:青稞AI,学习最新AI技术
青稞Talk主页:qingkelab.github.io/talks
大模型的进步,正推动我们向通用人工智能迈进,然而庞大的计算和显存需求限制了其广泛应用。模型量化作为一种压缩技术,虽然可以用来加速大模型并且有效降低显存需求,但量化后也可能会带来精度风险。
在由北航、商汤、南洋理工等团队联合推出的即插即用的大模型压缩工具包:LLMC中,不仅支持DeepSeekv2(2.5)等MOE模型以及Qwen2VL、Llama3.2等VLM模型的量化,还支持包括整型量化、浮点量化等量化方案,以及AWQ、GPTQ、SmoothQuant 和 Quarot 等先进量化算法。
LLMC可以利用最先进的压缩算法提高效率并减少模型体积,同时不影响预测精度。目前已开源,大家可以直接使用
https://github.com/ModelTC/llmc
12月16日晚8点,青稞Talk第32期,商汤科技研究院谷石桥和雍洋两位模型压缩研究员,将对LLMC进行直播分享,主题为《LLMC:大语言模型压缩工具的开发实践》。
他们将从工具框架设计,常用算法解读和工具使用方式等角度,为大家详细讲解LLMC及实践,希望大家可以从中获益。
主讲嘉宾
谷石桥,商汤科技研究院模型压缩研究员,毕业于天津大学,现主要研究方向为深度学习的模型压缩技术,目前已在EMNLP,PatternRecognition, TCSVT等发表多篇论文。
雍洋,商汤科技研究院模型压缩研究员,毕业于西安交通大学,现主要研究方向为深度学习的模型压缩技术,目前已在AAAI,EMNLP,ACM MM等发表多篇论文。
主题提纲
LLMC:大语言模型压缩工具的开发实践
1、大模型压缩及量化风险
2、大模型压缩包 LLMC 的框架设计
3、LLMC 落地实践和推理后端部署
4、自定义扩展新算法、模型及评测数据
直播时间
12月16日(周一)20:00 - 21:00