NPCon：AI模型技术与应用峰会北京站（参会感受）

news2024/11/26 2:23:29

8月12日，我有幸参加了在北京皇家格兰云天大酒店举行的“AI模型技术与应用峰会”。

这次会议邀请了很多技术大咖，他们围绕：

六大论点

大模型涌现，如何部署训练架构与算力芯片

LLM 应用技术栈与Agent全景解析

视觉GPU推理服务部署架构优化实践

AI大模型算力系统分析

InsCode

AI 时代的研发新范式与开发者能力演进

12：40，我准时到达签到，环顾四周，当时人还不多随着时间流逝越来越多的同行到了。

13:00 - 13:30 活动签到

第一次参加这样的会议达现场的我，感受到了这场会议的规模与氛围。皇家格兰云天大酒店挤满了来自各地的参会者。

走进这次活动的会场，宽敞的会议大厅，整齐的排列着每一张椅子，投影屏幕正在播放着滚动的活动日程，每个细节都透露出了严谨与专业。这也是我没有想到的，见识少了。

随着时间主持人也是宣布开始

第一位是知乎科技领域答主@陈巍谈芯、千芯科技董事长、人工智能算法-芯片协同设计专家陈巍带来了分享《大模型涌现，如何部署训练架构与算力芯片》

他认为在大模型训练和部署中，减少数据传输冗余，可以降低计算芯片之间的通信成本，从而提升整体训练效率他还探讨了不同算力芯片CPU、GPU、DSA、TPU。的应用，以及如何通过合理的降低使用成本等等。

第二位是Dify.AI 创始人张路宇

张路宇提到MetaPrompt 的概念，将其描述为一种结构化的方式可以引导模型进行复杂的推理和行动是引导大模型执行任务的关键工具他强调在设计应用之前应先考虑模型的输入提示，并用这种方式引导模型执行任务。

接着，美团基础研发平台视觉智能部软件开发工程师张旭在发表《美团视觉 GPU 推理服务部署架构优化的实践》主题演讲中表示拆分微服务、优化部署架构以及综合考虑多个优化层面，将模型 CPU 和 GPU 运算部分解耦，能实现模型部署工程的性能优化从而提升服务

张旭向观众透露，业界的真实 GPU 利用率怕只有 20％左右。造成服务 GPU 利用率低下的重要原因是模型服务本身存在性能瓶颈，在极限压力情况下也无法充分利用 GPU 资源。模型中 CPU 和 GPU 运算之间还存在相互影响的问题。张旭提出了解决，将模型中的 CPU 和 GPU 运算部分分别拆分为独立的微服务，从而实现了更高的 GPU 利用率和整体性能。

浪潮信息人工智能与高性能应用软件部 AI 架构师Owen以《AI 大模型算力系统分析》为主题，强调了算力、算法、数据和系统架构等多个方面

浪潮信息人工智能与高性能软件 AI 架构师 Owen

浪潮信息早就开始布局和投入AI大模型技术的研发，讲解了大模型研发过程中的数据、算力和算法，他强调了 GPT-3 和 GPT-4 等模型的重要，成熟的算法、数据产业链，配套工具链及丰富的生态链是关键因素。

CSDN 研发副总监梁灏他要介绍的 是InsCode

CSDN推出的Inscode服务是一个在线编程工具，旨在为开发者提供一个便捷的编写、运行和分享代码的环境，让开发者无需在本地搭建编程环境，即可快速编写和运行代码。

作为国内的一个在线的代码运行平台，博客分享，在线进行代码运行，学习简单的语法都具有一个很高的实用性。用户可以通过InsCode实现代码的演示，共享，存储，学习等功能基本满足了一个程序员对于代码社区的大部分需求。InsCode支持的语言比较多，更有利于解决代码的环境配置等繁杂的问题，这样的平台比较适合于在小组会议时进行临时的代码演示的时候使用，减少环境搭建，配置等时间的损耗。

梁灏强调了 InsCode 在 AI 时代的地位专业的程序员可以借助 InsCode 提高开发效率和创造能力。

开谈：AI 时代的研发新范式与开发者能力演进

CSDN 人工智能技术编辑团队主持，华为诺亚方舟实验室技术专家董振华，投研机构 INP（Infra Native Partners）创始人丁宁，CodeGeeX 团队算法专家沈磊，聆心智能创始人& CTO 郑叔亮作为嘉宾的圆桌对话正式展开这是今天最为重要的一环，多位行业专家齐聚一堂，针对AI时代的研发模式和开发者能力进行了深入讨论。这是一场跨领域的大讨论。