在数字化浪潮的推动下，工业制造领域正经历着一场前所未有的变革。人工智能（AI）作为这场变革的关键推动者之一，正以惊人的速度颠覆传统制造业。而大模型作为AI时代最先进的科技工具之一，或将成为引领这场变革的利器，为制造业注入全新活力。
近日，阿加犀创始人、CEO孙晓刚受邀做客虎嗅智库「502线上同行」研讨会，聚焦AI工业大模型的初代落地实践，分享了阿加犀的边缘端大模型部署解决方案与AI工业质检解决方案。
在过去一年里，大模型呈现出了爆发式增长态势。国内外科技大厂都陆续推出了相关产品，将触角伸入教育、医疗、工业、办公等多个领域——“百模大战”已经开启应用场景PK战。
但是，要从聊天问答的通用大模型变成能够解决复杂问题的专业大模型，并真正落地到行业应用场景中，绝非易事。
数据与成本 工业大模型难以跨越的鸿沟
对于工业制造这样要求高可靠性、高准确性与高精密化的领域而言，厂商在将大模型应用到实际产线上时，不仅会考虑数据隐私和安全性，更会重点关注成本问题。
数据安全隐患
数据是训练大模型的基础原料，其质量和数量直接影响着大模型的性能与价值。
而工业是我国国民经济的重要支柱产业，其日常运营中涉及到大量的数据操作，如生产、研发、销售等，都可能与企业的商业机密和客户隐私密切相关。因此相较其他行业而言，工业场景中的数据不透明、难获取，且更具碎片化、多样性和复杂性。
也正是由于涉及企业的部分核心业务，从高质量数据里"调教"和"生长"出来的工业大模型必须满足更高的数据安全性和隐私性，故将其放在边缘端进行推理运算或将成为更优于云端的选择。
使用成本昂贵
大模型的使用成本相当昂贵。"ChatGPT每进行一次对话就耗费1毛钱成本"的玩笑并非空穴来风，据业界人士分析，千亿模型每个月的服务器成本就可能高达几千万美元。即便是为普通AI模型寻求服务器租赁服务，其算力与带宽费用也在每年几十万上下。
再者，因AI算力需求旺盛、供给紧张，阿里云官网已于近日暂停出租A100，未来或将停止或减少对外出租A/H服务器算力。东北证券研究所认为，行业供求矛盾升级，算力租赁行业将进入新一轮涨价周期。
对于工业厂商而言，成本是竞争力和命脉，更是可持续发展的关键。尤其是在劳动力相对廉价的中低端产业链上，"大模型使用成本居高不下"几乎就等同于"AI永远无法真正成为生产力"，这就意味工业大模型的应用只能成为部分国企和龙头企业的"探索"，难以惠及全行业。
在如此困境下，如何转换思路寻求其他算力资源并将其"压榨"出最大价值，就成了大模型顺利落地工业应用场景的关键命题。
加速奔向边缘端 大模型落地有了新出路
在"工业大模型的初代落地实践"研讨会上，阿加犀创始人、CEO孙晓刚条分缕析地阐述了大模型在工业场景中落地应用面临的难点，并分享了阿加犀大模型边缘端部署解决方案和AI工业质检解决方案。
相比大多数被炒得火热的AI芯片而言，边缘端芯片在价格上首先有着极大优势。但问题来了，大模型能在这样的设备上顺利跑起来吗？
答案是肯定的。阿加犀打造了行业领先的AI工具链：一方面能够对大模型本身进行转换和量化压缩优化，并补全AI算子，另一方面通过SoC性能调度充分释放边缘端芯片算力，提升AI运算效率。
在AI工具链的赋能下，阿加犀利用多块手机供应链芯片打造了一个边缘端AI推理集群，该集群的推理速度跟市面上的主流AI服务器不相上下，成本却仅为原方案的1/3。在降本增效的基础上，工业大模型的应用落地才有望迎来更快的进展，从而真正普惠到更多厂商、更多生产线。
"我们现在已经将阿里通义千问大模型落地到了边缘端芯片，并且跑出了很好的性能和流畅的体验。"
边缘端推理运行Qwen大模型·2023云栖大会
除通义千问以外，阿加犀还在边缘端芯片上实现了LLaMA-2、百川大模型、RedPajama、ChatGLM2、Vicuna、清华智谱等大语言模型的流畅运行；并将SAM模型、AnomalyGPT等开源视觉大模型进行调优后部署在边缘端，应用于工业质检场景中，高效完成分割、异常检测等任务。
基于大模型原理，阿加犀还结合自研模型训练平台AI Creator，进一步探索在工业质检场景中自动训练、生成模型的路径，包括利用大模型生成模拟检测图像的负样本，补齐负样本难获取、数量稀缺的短板，等等。
当然，随着工业4.0时代的到来，智能机器人与大模型的结合也为生产制造带来了无限机遇。在这方面，阿加犀也做了很多探索。
"我们有专门做机器人解决方案的部门，目前正在迁移一些多模态大模型到机械臂上，让它具备视觉识别能力和学习思考能力，而不是单纯依靠机械指令完成任务。"
将具备自主进化能力的多模态AI大模型接入基于阿加犀一芯多用解决方案设计的机器人，有望使其在单SoC满足机器人多场景、智能化需求的高性价比基础上，为用户提供更加精准化、个性化的服务。
大模型落地工业场景的进程已经拉开序幕，从某种意义上来说，只有打通整个产业链上不同的流程环节，才能最大程度实现成本的降低和效率的提升。
阿加犀也期待能与更多合作伙伴携手构建健全、完善的产业生态，共同应对资源投入、数据协作、技术协同等难题，推动工业生产方式向数字化、智能化转变，让AI真正成为生产力，为提升我国产业水平创造长远价值！
参考资料：
《“百模大战”开启应用场景比拼 短期内大规模落地仍受成本制约》，来源：财联社·科创板日报。
《阿里云A100暂停出租，算力租赁供给紧张，关注行业的三个变化》，来源：金融界。
