2024年5月16日上午

大会主席致辞【郑纬民】

郑纬民【清华大学教授、中国工程院院士】——78岁【看着精神抖擞】！牛哇

学件初步探索【周志华】

南京大学 zhouzh@nju.edu.cn   Preliminary Exploration to Learnware

土生土长的

听完介绍感觉这个研究工作很不错，可以用，嘿嘿

大模型优劣分析

大模型不是对所有任务的最佳解决方案，业界应该努力“压榨”大模型路线的技术红利

机器学习中“没有免费午餐定理”

大模型的烦恼

1. N种任务、N种大模型——新任务来不及
2. 能耗、碳耗、数据耗——（一般人）用不起: 训练时的消耗很大，放弃 or 更有效的方法
3. 新数据 + 适应环境——灾难性遗忘（自动驾驶为例，不能只有新数据学习，会冲掉旧环境中学得 宝贵信息出现安全隐患）
4. 持续/终身学习——基于NN/BP目前看不到解决方案【这个和我们组想努力的方向有点关系】
5. 需要大量训练数据——（有的训练样本数量少，例如油田定位、特定类样本少（信用卡敲诈））
6. 数据隐私/所有权问题——希望相关方放弃数据隐私/所有权，例如医院

因地制宜、因任务制宜

1. 大模型更适用于资源富集、模型离线训练/更新、高频任务

2. 未必适用于小资源、模型在线训练/更新、低频长尾任务

原创范式——学件

现在研究现状：愿意分享模型但不分享数据

学件= 模型 + 规约【Learnware = Model + Specification】

规约：对模型进行某种刻画，使模型能适当地根据未来用户的需求被找出复用

未来用户【根据用户的需求推荐可以使用的模型，不用从头开始】

1. 提交需求
2. 复用学件市场推荐的模型

大模型路线：英雄打天下

学件路线：群众的力量

规约——规约岛——规约岛可以融合——全部融合了之后变成规约世界

根据用户的需求去找到最近的规约空间

规约方法：语义规约、统计规约、RKME规约【对开发者训练数据的保护】

规约越大，刻画能力越强，但数据报数能力就越小，因此需要找到合适的中间值

锚位学件：如何查搜出对用户任务有帮助的学件而无需遍历全部学件

学件基座系统可以被理解为一种可成长可演化的异构大模型

Huggingface:可视为1.0版学件基座系统【一定程度上“验证了学件可行性”】

从学件的角度看：仅使用语义规约、使用简单的神经网络模型、对于开发者的数据不保护

Beimingwu: https://bmwu.cloud

Code repositories:

Engine & Research tookit:

https://www.gitlink.org.cn/beimingwu/learnware

https://github.com/Learnware-LAMDA/Learnware

System frontend & backend

https://www.gitlink.org.cn/beimingwu/beimingwu

https://github.com/Learnware-LAMDA/Beimingwuhttps://github.com/Learnware-LAMDA/Beimingwu

AGI之路：泛化性和专业性融合视角【周伯文】

基础模型驱动协同交互智能：系统1和系统2融合视角（原标题）
清华大学 协同交互智能研究中心 衔远科技

强人工智能（strong AI）或通用人工智能（artificial general intelligence，AGI）是具备与人类同等智能、或超越人类的人工智能，能表现正常人类所具有的所有智能行为。

AGI路径：ANI——ABI——AGI？【多层次相互依赖】

生成式AI：多头自注意力机制

人工智能战略定位：泛化性 or  专业性

提高专业性：高密度监督信号时专业化知识注入的关键

1、大小模型协同生成
通用大模型和专业小模型的协同生成框架：大模型提供高阶推理能力来指导内容框架的生成，专业小模型进行知识填充与个性化内容生成。

2、闭环修正基础：神经动力学新视角提供幻觉检测能力（NAACL 2024）

神经动力学：语言模型在学习与推理由多个相互作用的组件（全连接、自注意力等）组成的一个复杂动态系统，信息在模型内随着层数增加非线性地动态流动变化。

3、大模型的不确定性与幻觉打破知识茧房，促进科研创新【想法：这种方式打破的信息茧房好吗？推荐的内容是错误的 or 不相关的】

4、大模型促进生物医学领域的知识发现【在最新的文献中获得验证】

5、提出人在环路大模型多智能体与工具协同框架，能够提升假设发现的新颖性和相关性

自主发现能力案例：肾脏高表达心脏特异性蛋白TNNT2

相比于解决问题，提出好问题更加重要！！！

新兴技术视域下的人工智能善治发展现状、风险挑战与治理思路【梁正】

清华大学

主要分享人工智能、大模型的风险，内容比较笼统

人工智能潜在风险

1. 算法歧视和偏见【性别、种族】——有一个老师的内容就是针对这个问题的，但是会场太小，人很多，进不去！
2. 信息错误，产生幻觉、歪曲事实【生成的内容牛头不对马嘴】
3. 知识产权争议【AI生成内容，AI绘画】——有个老师分享了AI作词作曲的歌，还挺好的
4. 数据隐私泄露【浪漫人功能智能聊天机器人】
5. 深度伪造和诈骗【眼见为实吗？视频诈骗 新技术——犯罪领域】
6. AI武器，失控风险

人机对齐——教育人 vs 教育机器

以深度学习框架为牵引、构建大模型训练与应用的国产生态【胡事民】

清华大学 中国科学院

提出内容：计图大模型推理库

框架：tensorflow pytorch 国外深度学习框架占据主导

创新点：元算子、计算图

推理库：

• 动态swap机制：通过内存直接读取——提高模型加载效率【与pytorch相比模型加载效率提升40%】
• 统一内存管理：基于元算子的内存切分技术与统一内存管理，使得数据可以在显存、内存和硬盘之间快速切换

推理库优势：成本低、性能高

现在已经有多个企业基于计图框架训练大，训练大模型啥的，收敛更快，loss更低【例如青海算力中心100p算力，训练1-2个月】

计图大语言训练：支持多种大语言模型预训练

目标：构建开放共赢的人工智能生态链——推出第四届人工智能挑战赛

国产智能算力训练大模型的经验和教训【陈文光】

清华大学 ccf会士

两个国产平台上训练大模型：新神威计算机-Bagualu; 鹏城云脑II-鹏城脑海

算子库实现：新神威

并行策略选取：数据并行、张量并行、流水并行、专家并行——问题：如果生成最优的并策略？

总结了新神威超算的经验和教训

web3.0 时代下的算力网络和生成式人工智能大模型【彭绍亮】

湖大超算 ccf杰出会员

科普专著：《元宇宙/Web3.0+AIGC 100问》彭绍亮 吴洪编著

算力网络介绍

高通量药物发现AI大模型：神农GPT【ShennongGPT】

有个码可以扫

 算力网络Web3.0助力AI应用落地

讯飞星火大模型技术及国产训练推理工作进展【王士进】

科大讯飞 ccf杰出会员

这个内容主要是介绍并推荐他们公司的大模型

讨论：大模型与国产算力

总结：算力需求会越来越大【现在内容的表达上会比较委婉，不会给出肯定的回答】

2024年5月16日下午

专题论坛：数据治理与新质生产力

【个人感觉内容和这个大标题的联系不是很大，内容比较偏安全性方面】

下午的时候先去看海报交流了，所以错过了一些内容。

海报交流：内容有很多图像方面的；有很多大三大四的本科生【太卷了！！！】

推荐方向【多模态推荐  &&  捆绑推荐【涉及流行度】】的有只有两个工作，但是海报的作者没有来

AIGC溯源水印【张新鹏】

人工智能中的数据与模型安全【纪守领】

浙江大学   NESA LAB

模型安全

1. 投毒攻击：将少量设计或错误的有毒样本添加到模型的训练集中，利用训练或微调过程使模型中毒，破坏模型的可用性
2. 对抗攻击：对输入的样本故意添加一些人无法察觉的细微干扰，导致模型以高置信度给出一个错误的输出
3. 后门攻击：在训练前或训练中往数据或模型中按插后门触发器，从而在测试阶段空盒子模型的预测结果
4. 推理攻击：包含成员推理攻击和属性推理攻击
5. 重建攻击：
6. 模型窃取：获取与目标模型参数相近或功能相同的替代模型

组内工作：

1. 多维信息融合的风险建模与协同检测
2. 可解释可验证的模型鲁棒加固：现在的深度模型/大模型解释性不够或不够好

从大数据共享到移动端智能计算【郑臻哲】

上海交通大学

数据成为数据时代的生产要素

生产要素变革：农业——资本——技术——信息——智力资本（知识）

数据孤岛：数据主要在个体机构内部单独分析使用，形成数据孤岛，抑制社会发展，而大数据应用需要融合多方数据【需求和现状矛盾】发挥数据“1+1>2”的效果

数据开放共享

美国：https://www.data.gov/

英国：https://data.gov.uk/

加拿大：被盖住了

日本：http://www.data.go.jp

信息主导论——实践篇

数据商品 vs传统商品【成本构成、价值评估、真伪判别、隐私蜜柑、产权界定】

基于结构熵的感知与博弈理论及方法【彭浩】

北京航空航天大学

强化学习【国外研究多，国内研究少】

水军行为检测：无监督异常检测技术

图结构学习优化：半监督表述学习技术 SE-GSL 【www 2023】

国内集中研究深度学习，强化学习相关工作还比较少

多智能体协同技术：角色自动抽象【AAA 2023  Effectiv and Stable ... Information Principles】

状态自动抽象

技能自动学习：智能体优化技术

网络水军对抗：多智能体协同对抗技术 【AAA2024开源 Advversaial Socialbots... Information Principles】

理论工作：高效稳定强化学习【刚被拒，但作者很自信！】

超图结构熵的信息推荐技术【under review】【信息商品推荐】

超图：一个边有多个节点，更适合数据稀疏的情况，更适合推荐系统

数据流通交易可信安全研究及贵州实践【陈玉玲】

欢迎大家来贵州玩!!!

大数据【洞窟数据】——数字化转型

贵阳大数据交易所

交易内容：算力、算法、服务

数据流通交易可信安全创新研究工作

1. 交易前：多源异构数据可信安全隐私计算
2. 交易中：多源数据交易隐私保护与细粒度控制
3. 交易后：数据交易可信交付与异常溯源

晚上参加了各分会场大比武，好精彩，好优秀！！！

---

2024年5月17日

科技创新的本质【王怀民】

国防科技大学 中国科学院 ccf会士 开源发展委员会

科学发现  vs  技术发明

科技创新 = 知识创造 * 技术创新

1. 研究过程管理方法：组织性
2. 研究软件生产工具：自动化

颠覆性创新带来的军事变革

21世纪初：C4ISR系统（构建有效预警核反击能力，有效防止使用核武器，掌握核威慑制衡的主动权）

美国定义了核威慑下的信息化局部战争，捅破了传统机械化战争的“天花板”

美国定义并主导信息科技革命【第三次工业革命的核心】和新工业革命

信息化的高级阶段：信息化中的智能化

信息化发展的技术逻辑：

• 摩尔定律驱动的指数增长模式
• 数字技术低成本化驱动的万物数字化
• 宽带移动互联驱动的人机物广泛联接
• 云计算模式驱动的数据大规模汇聚

大数据驱动的智能服务：今日投条、美团点评、知乎

人机相互赋能的潜移默化学习演化

 人-机-物相互赋能的潜移默化学习演化进程

内容总结：

1. 知识创造 = 技术发明 * 科学发现
2. 科技创新 = 知识创造 * 技术创新
3. 创新体系 = 科技创新 * 体制创新

未来发展：

1. 把握信息化高级阶段孕育的智能化机遇
2. 认识人类智能与机器只能相互作用规律
3. 探索人工智能时代打过威慑博弈新范式

提升青年科研人员的精神力量【包云岗】

ccf理事 中科院研究院 开源发展委员会

一、精神力量来源：

精神力量： 目标 + 规律

三条经验性规律：

1. 开源理念观：开源代表人类进步的方向【开源芯片，载体变迁：书籍-论文--开源代码/模型】
2. 系统工程观：集成创新技术的系统能放大科研影响力【系统工程：流浪地球、浙江省数字化改革】
3. 产研协同观：与产业紧密结合促进创新技术落地应用【评价标准：从创新技术到产业落地，实现规模化应用】

学术界和工业界共享科研基础设施，促进产研融合

二、精神力量提升

探寻规律：分析和梳理内在联系和相互作用【对人：简单真心；对事；认真踏实；对物：把事做好】

主动感知：感知微小改变和微弱联系【每一份努力都产生改变——不是每一分改变都能被感知——主动感知每一分改变】

刻意练习：不断输入正面案例，加强感知【书籍：《异类（Outlier）》 刻意练习一万小时成天才】

实践检验：通过自身实践来检验和矫正认知，逼近规律【每一分努力都产生改变，需要用时间持续积累】

我的学术成长：探索交叉学科融合之路【王光宇】

北京邮电大学 研究方向：信息智能交叉，生物医学计算

为什么做学术？

1. 科学研究拓展人类的知识
2. 没有科学研究就没有技术进步

研究 vs 研发

• 研究：目的是发现新知识、发明新技术
• 研发：基于已有的知识和技术进行研制、开发

案例：小学生作文《爸爸是大学老师》——一到三月很忙

研究：开放医学场景下的智能信息处理

挑战：场景和数据复杂多样、领域知识多源异构、鲁棒性、迁移可扩展

1、问题驱动：智能影像到真实场景下的对抗训练、检测

支持医疗多模态数据及产品【2019年的论文】与医院合作进行应用并且进行了人工智能产品对抗测试

2、交叉学科的机遇：找到自己unique的方向

《给年轻科学家的信》Edward O. Wilson[作者]——最好远离热门研究的领域

AI for Science: 加速科学新发现及抗体药设计

3、打破“语义鸿沟”，开展交叉合作

• 开放、学习的心态
• 科研敏锐和品味：挖掘重要的科学问题
• 互相促进

广阔天地、大有可为【蕉绿了的“青椒”】

1. 回归实际问题、真正解决问题
2. 找到自己的Passion和方向
3. 注重合作：一些前沿的研究往往是跨学科、跨领域的研究
4. 健康体力很重要
5. 做时间的朋友

第七届CCF开源创新大赛【张锦】CLCC夏令营

开源系统：GitLink【CCF开源创新服务平台】

标注评价开源代码、基于开源解决问题、基于开源开发课程、参与开源项目创新

思想秀智启新局【李浥东主持】

教育：塑造软能力，成就硬未来【王钧】

ccf杰出会员 天地英才管理顾问有限公司总经理

组织内的个体行为：知识【经验、个体成长】、软能力【个体、组织】、精神/信仰价值观【群体归属】

社会心理学给出的14项软能力

科技越高端，合作就越重要

培养：意识【促动-强化-内化】、动机【价值-奖励-习惯】、方法【认识-实践-下意识】

软能力 = 大转型 +集体主义 vs 海盗文化

低空安全与低空经济【孙永生】

公安部治安管理局   

AI如何改变艺术创作【栾家】

山东师范大学 CCF计算艺术分会

作曲家会被AI取代吗？

片尾：欣赏AI作词作曲的歌曲

智算算力中心运营管理实践分享【陈健】

ccf杰出会员 北京并行科技股份有限公司

可以根据用户的具体需求分析

一千万——>五个亿 去年收入:6个亿

算力服务运营思路：从客户/用户角度出发，做业务/产品梳理

• 用户不关系Feature/功能
• 用户关系Benefit/收益

用户需求：

          用户需求                产品形态

1. 超算大规模应用【超级计算机/超算中心】
2. 超算中心规模应用【超算云/通用超算算力/超级云计算中心】
3. 超算任务级应用【云计算/云主机/竞价模式】
4. 智算大模型训练【裸金属/物理机/集群模式】
5. 智算常规计算/推理【云主机】
6. 智算按需计算【集群模式/作业调度】

用户决策逻辑

1. 高质量【完成计算】
2. 高性能【最快完成计算】
3. 高性价比【最低成本完成计算】

性价比要高：完成这个任务需要花多少钱

英伟达的性价比最高，华为也好用但性价比不高

电力 vs 算力 vs 住力

定价权很重要！！！

90年后的“吾国与吾民”【金丛武】

ccf宁波副主席 则将绿色理想科技有限公司

书籍:林语堂《吾国与吾民》使用英文写介绍中国——搓麻将【不会，不懂！】

情绪 社交属性【麻将火的原因】

麻将——>网游【高一孩子总结游戏的特点】

挑战：上瘾问题【社交技能、身体健康、学习成绩、社会规则  ——> 自我控制能力 责任感】

游戏载体、不同时代的游戏形式不一样【游戏是天性，需要直面它】

2024年05月17日下午

八卦炉：面向国产智能算力核心基础软件【翟季冬】

隐私保护跨域智能推荐【陈超超】

浙江大学

oppo说可以合作数据集，也是跨域的

内容没有听到多少

边缘智能与协同计算【周俊龙】

南京理工大学

研究方向：

1. 边缘部署（Edge Deployment）：移动、可靠、延迟
2. 边缘卸载：计算卸载的目的不同，低延迟、充分利用 划分：任务是否可分割【任务粒度比较细的不可拆分】
3. 边缘训练：如何训练、如何加速训练、如何优化训练【设备的能效、任务的时延、训练的成本、隐私和安全】
4. 边缘推理：如何是模型适配于边缘设备或边缘服务器、如何加速边缘推理以提供实时反馈【软件加速、硬件加速】

联邦学习：保护用户隐私的一种方式——初始话模型、选取用户、下滑模型、训练、上传模型

挑战：资源分配、通信开销大、数据不均衡、系统呈现异构性、隐私和安全

近期工作

1. 异构移动边云计算中高能效低成本联邦学习方法
2. 融合深度强化学习+专家经验的高可靠的服务供应方案：DDPG、专家经验【更高的精度、更快的收敛】

大小模型协同：知识蒸馏与意见咨询【敖翔】

中科院

小模型：LATM、GNN、GAN、Transformer、Bert

大模型时代，小模型何去何从？

大模型 vs 小模型

小模型由于轻量和便捷性，便于在端侧部署

大模型在专业领域或特定任务上可能表现不佳

工作：主要服务小模型的能力提升

大小模型协同范式——知识蒸馏

通过数据增强等方法将大型模型的知识或推理能力迁移能力迁移到较小的模型中

研究：研究多项选择问答任务大模型知识蒸馏算法

任务：同时生成回答以及解释

从大模型收集数据，采用多任务学习的框架进行知识蒸馏

大模型标注不是完全准确，但即使作答错误，大模型生成的解释也蕴含一定知识和逻辑

【研究内容没有涉及判断回答是否准确】

提出基于一致性的解释蒸馏框架【构造回答与解释之间的一致性评分模型】

如何利用大模型的错误标注

知识蒸馏目标

最终多任务学习的目标为答案生成、解释生成、答案解释一致性对齐三者的结合

大模型+ 图：如何高效协同LLM与GNN？

1. 大模型作为预测器，直接用LLM做图预测任务
2. 大模型作为顾问，GNN不确定的点咨询LMM并用LLM反馈改进GNN
3. 大模型作为增强器，用LLM增强数据再训练GNN

LOGIN：基于大模型执行的图神经网络训练模型

内容总结：

从知识蒸馏的角度介绍大小模型算法的结合和优化

单次蒸馏【LLMs-as-Teachers】——> 多轮交互【LLMs-as-Consultants】

展望：

数据存在噪声、提升效率和控制成本

现在的研究还是在数据层面的，从数据层面转向算法层面

2024年5月18日上午

创新创业主题 ，讲者是企业的

硬科技：大国竞争的前沿【米磊】

中科创星创始合伙人【米总】，中科院

时间原因【因为早上去逛了一下当地的早市】，听得不多 内容比较偏国家层面

大模型浪潮下的创新创业：协同、创新、发展【刘江】

智谱AI首席生态官，图灵公司联合创始人

主题：让机器像人一样思考

第三次人工智能浪潮：深度学习兴起、大模型GPT-3的出现、通用人工智能AGI的探索

GPT-1【openAI团队写的，成员都比较年轻】:通过生成改善理解 Improving Language Understanding by Generative Pre-Training

大模型的底层逻辑

• 万能近似定律：大模型“什么都能干”
• 规模定律：大模型能力还看不到天花板

进化：from LLM to AGI

大模型的影响：

• 交互方式：从GUI到NUI
• 计算机学科：技术体系不一样了

大模型产业格局：国外已经开始收敛，以Inflection AI被微软收购为标志【中国能够提供好的大模型的服务的并不多，企业落地依旧需要时间】； chatGPT最短时间突破1亿用户，但是增长停滞一年了。

未来方向展望：智能体——【智能中心体】

未来人人都可以写软件，而且不用学编程【那我不就失业了吗！www】

以智谱目前的研究为例，扫码就可以使用，感觉和kimi有点像

从智慧医疗看人工智能 + 行业的创业机会与挑战【刘伟奇】

同心智医科技股份有限公司创始人兼CEO  公司一年收入3个亿

医疗AI：将计算机视觉、语音识别、自然语言处理、机器学习等人工智能技术应用于医疗领域

医疗AI四大应用场景：医学影像、辅助决策、医疗机器人、药物研发

医疗大模型方兴未艾：三大要素：数据、算法、算力z

AI对于医疗行业的影响：专家知识时代【知识图谱】、深度学习时代【CNN】(比较悲观，因为不同类型疾病需要对应大量的对应的数据集，重新训练)、大模型时代【Transformer Diffusion】

AI医疗新突破

1、Med-Gemini

• 可以理解和处理多种医学数据模态
• 能够处理和理解超长的医疗文本
• 生成更简介覆盖面大的文本摘要
• 通过自我训练和实时网络搜索集成进行诊断和推理

2、AlphaFold 3(AF3)

人工智能辅助药物发现，可以生成蛋白质、核酸和更小分子的3D结构，并揭示它们如何组合在一起

目前挑战

行业监管/创新风险、医疗数据/患者隐私、人才供给/培训教育、医患信任/伦理问题、商业化困境

大模型安全与对齐【赵鑫】

ccf杰出会员 、中国人民大学教授

大模型本质：压缩世界知识

预训练本质：数据知识学习

预训练“被变成”了“数据工程”: 数据采集+ 数据清洗+数据混合+数据配比

大模型存在的两个主要问题：幻象、生成有害内容/泄露个人信息

常见的对齐技术：

• 指令微调（有监督微调）——本质上是做行为克隆，即模仿学习【完全copy 即使错误】
• 强化学习人类对齐RLHF——本质上是利用
• 红队检测：邀请人工进行漏洞检测

思考1：训练数据是“邪恶来源”【需要进行非常严格的数据清洗，但还是无法保证去除全部的“有毒内容”，而且过度清洗可能导致模型能力的下降】

思考2：现在技术仍然比较局限【尚不能做到“头痛医头脚痛医脚”、对齐技术有副作用，容易伤害模型其他能力对齐技术对于人类的帮助利用不够，对齐技术对外部监督信息的依赖较大，大模型工作机理尚不明晰，但是从提示端或输出端进行监管更加容易，但是会产生额外开销】

思考3：强模型更难监管【模型能力越强，越难监管和引导】

思考4：迭代部署是必经之路：通过结合Red Teaming等技术，在使用中迭代完善模型【大模型对齐很难一蹴而就】

思考5：多模态可能导致更多攻击【模态间可以形成联动，攻击方式更多样，防守方更加困难】

推荐阅读他们的大模型中文书：大语言模型

机密计算与人工智能安全【张殷乾】

ccf青年科技奖获得者 南方科技大学教授 三年前回国

内容离我们比较远

可信计算是机密计算的平台，机密计算是可信计算的拓展

机密计算 vs 隐私计算

人工智能需要“跑得快”，更要“走得稳”【崔鹏】

ccf杰出会员 副秘书长 青工委主任 清华大学副教授

开放阶段如何安全三个尝试【图 三个黄圈圈】