前言:2023年5月12日(周五)晚,实验室在江苏苏州天街附近举行了一次内部研讨会,主题聚焦当今学术界研究前沿和实验室下一阶段发展规划。会议期间,首先是各位与会博士生畅所欲言,探讨当前学术前沿,然后是各位老师的总结提炼,最后是对实验室下一阶段发展方向进行探讨。以下是本人在会议师生研讨中总结的一些要点。
目录
- 实验室研究方向集锦
- 前沿研究空间提炼
实验室研究方向集锦
我所在的多媒体智能安全实验室按照研究方向共分为4个小组,借此机会,我对实验室各位博士生的研究方向进行了简要梳理:
- 信息隐藏小组:可信安全、物理场景下的鲁棒水印、文本引导的含密图像生成、净化空间中的隐蔽传输和GIF水印等
- 媒体取证小组:图像主动与被动取证、多模态虚假新闻检测、deepfake虚假人脸检测和基于 stable diffusion 的主题驱动的图像生成等
- 模型安全小组:后门攻击、模式噪声隐蔽的后门攻击物理实现、可逆人脸隐私保护和隐写网络的隐藏等
- 社交机器人小组:对话生成、评论生成、个性化内容生成等
前沿研究空间提炼
以下是本人在师生发言中提炼的一些未来前沿研究指南:
- 前段时间爆火的元宇宙引发了我们对数字生命的思考,其中,涵盖语音、动画、形象、音视频、外接交互等模块的虚拟数字人技术研究火热,典型代表有虚拟歌手洛天依等。虚拟数字人的产权保护及访问控制可通过动态水印的嵌入和提取来实现;
- AI产品的知识产权保护,可通过即插即用的水印框架来实现。谷歌2023年度开发者大会中也提到,AIGC检测的两种解决方案:模型水印&元数据嵌入;
- 大语言模型(Large Language Model)辅助的现有研究问题,如操作链取证等。
AIGC时代,研究人员应当全面拥抱AIGC,结合实验室主流方向,着手开展AIGC模型的信息隐藏、版权保护及检测取证等相关研究。要想好研究的切入点,不要去和强算力组织拼刺刀。如,可着眼于有价值的数据集的构建,创新要选中前沿热点,研究方向的选取要有价值,解决实际问题……
(1)做研究的两个目标:上书架(教科书,学习价值)+ 上货架(应用价值)
(2)研究新问题、高明的问题,而非同层次竞争
(3)定制化研究:上游预训练已成熟,下游任务的可操作空间较大;个性化的同时要遵守价值观:模型的规范
(4)通用的定制:关键点训练(如:18岁的类人模型 + 50岁的类人模型 -----> 30岁的类人模型)
(5)特定任务。正面:
5.1 内容来源分辨、虚假内容检测;
5.2 大模型的生成式信息隐藏;
5.3 大模型的无盒水印;(大模型的黑盒水印是否可以抗蒸馏?)
5.4 大模型的知识产权:针对大语言模型无法准确生成回文句、成语接龙、藏头诗等缺陷,可思考将模型的知识产权通过完成特定任务来体现(特定任务作为 trigger)
5.5 大模型作为AI个人助手:实现海量数据中的关键信息提取
5.6 大模型的任务伪装:功能隐藏
(6)特定任务。反面:
6.1 虚假内容生成,产生社会效应
6.2 基于事实的有效欺骗,话术的编辑、逻辑混淆实现精准诱导
(7)标准的制定;元数据的规定方式;大模型托管(两位老师均提及此问题)
(8)大模型的知识挖掘,如精神基因表型组的挖掘与重构。可使用 prompt learning(提示学习)进行知识诱导。
(9)费孝通在《乡土中国》中提出“差序格局”的概念,即人的亲疏是由血缘关系远近来决定,他通过下定义的方式,清晰明了地对中国社会普遍存在的现象进行描述。反观AIGC时代,我们也可聚焦 AI for Society Science,通过对AI生成的内容下定义、提概念,思考大模型场景下的人文架构。
(10)模型的“动态化”;多模型间的对话生成空间;模型间交流产生的AI社区文化。智慧人文,通过反馈实现模型的成长。
(11)探讨 AI 与 人类的共生关系。 如何实现 AI 的自我意识?(想到两年前看过的一部电影《Her》,主要情节是AI与人类谈恋爱的故事。)
(12)AI 操作系统。中国工程院戴琼海院士提出5年后大模型将成为AI的“操作系统”,要紧抓大模型这一风口,做重要的问题。
相关资料
- 人工智能的人文主义,如何让AI更有爱 - 知乎 (zhihu.com)