中国计算机学会计算机视觉专委会携手合合信息举办企业交流活动,为AI安全治理打开“新思路”

news2024/12/17 14:08:50

近期,《咬文嚼字》杂志发布了2024年度十大流行语,智能向善位列其中,过去一年时间里,深度伪造、AI诈骗等话题屡次登上热搜,AI技术“野蛮生长”引发公众担忧。今年9月,全国网络安全标准化技术委员会发布了《人工智能安全治理框架》,指出人工智能既面临自身技术缺陷、不足带来的内生风险,也面临不当使用、滥用甚至恶意利用带来的外部风险。

为探寻AI安全治理道路,近期由中国计算机学会计算机视觉专委会主办,合合信息承办,中国运筹学会数学与智能分会协办的《打造大模型时代的可信AI》论坛(简称论坛)顺利举行。论坛特邀来自上海交通大学、电子技术标准化研究院、中国科学技术大学、中科院、合合信息等机构与企业的专家们,从立法、监管、前沿研究、技术实践等多个维度分享AI安全领域的最新进展,助力AI向善发展。

图说:《打造大模型时代的可信AI》分享嘉宾合影
图说:中国计算机学会计算机视觉专委会副秘书长潘金山博士致辞

AI安全治理框架:技术手段与规范管理并行

随着以 ChatGPT 为代表的AI大语言模型技术飞速发展,关于数据安全、知识产权、算法偏见和有害内容生成等大语言模型的内容安全问题引发了社会关注。安全是个抽象概念,安全对齐的过程是一个从抽象到具体的模拟过程。”论坛上,上海交通大学人工智能研究院教授、总工程师金耀辉围绕大模型训练过程,提出了“训练对齐、提示引导和文本过滤”三大安全保障手段,助力抽象的安全概念落实到具体的技术研发流程中。

图说:上海交通大学人工智能研究院教授、总工程师金耀辉进行《智能共生时代:平衡生成式AI的创新与风险》主题分享

规范标准是AI健康生长的外部力量。中国电子标准院网安中心测评实验室副主任、CCIA数安委常务副主任何延哲认为,人工智能安全检测目前还主要停留在内容安全层面,检测方法比较单一。他将人工智能安全检测评估划分为算力网络安全、数据安全、个人信息保护、算法模型安全、网络信息安全、科技伦理安全六方面,形成综合评估框架,为标准引领技术发展方向提供可行性参考。

图说:电子标准院网安中心测评实验室副主任、CCIA数安委常务副主任何延哲进行《人工智能安全检测评估的逻辑和要点》主题分享

技术实践:“看不见”的AI让伪造痕迹被看见

12月10日,Open AI正式向用户开放AI视频生成模型Sora。以Sora为代表的AI工具在给图像视频行业带来革新的同时,也引发了合成图像伪造风险。中国科学技术大学教授、国家杰青谢洪涛以特定人物深度伪造视频为研究对象,从主动防御和被动检测两个视角分享了具体治理方案。

谢洪涛提到,主动防御用于在视频生成或传播过程中加入前置保护措施,例如采用双重水印技术,给人脸图像加上“看不见”的鲁棒性水印与半脆弱性水印,方便后续取证;被动检测包括图像级不一致性和时空身份不一致性检测技术,用于在视频传播或使用后评估其真实性。

除了视频外,图像作为常见的数字内容资料形式,更容易被不法分子进行局部或全域生成式篡改。合合信息图像算法研发总监郭丰俊表示,合合信息技术团队基于数据驱动的神经网络模型,推出了行业领先水平的图像篡改检测方案,可提取篡改留下的细微痕迹,检测出多种篡改形式,在近年的2次国际性技术竞赛中获得冠军。当前文档类图像篡改检测仍然面临诸多挑战,如跨域泛化检测性能低下,纯色背景篡改检测准确率较低,压缩、传输等动作导致图像质量退化,致使检测性能下降等系列问题。大模型技术的出现为AI视觉安全的发展创造了新的可能,也为应对检测泛化能力和抗攻击能力的挑战提供了契机。

图说:合合信息图像算法研发总监郭丰俊进行《视觉内容安全技术的前沿进展与应用》主题分享

人工智能鉴别与合成技术相互博弈,密不可分。中国科学院自动化研究所研究员、IEEE/IAPR Fellow赫然博士从深度合成技术出发,详细分析了虚拟身份、身份重演和人脸驱动三种合成技术类型。他表示,深度合成技术的深入研究为鉴别提供了线索,例如模型指纹线索、图像拼接线索和时序闪烁线索等,形成多模态多线索的鉴伪方法,并有针对性地提出了图像鉴别方案,包括基于空频域信息和提示学习结合的伪造鉴别方法、基于transformer的视频鉴别方法等。

图说:中国科学院自动化研究所研究员、IEEE/IAPR Fellow赫然进行《生成式人工智能安全与治理》主题分享

生成式人工智能发展日新月异,技术革新与安全治理缺一不可,面对AI的潜在风险,加强行业内部自律,从源头做好安全措施是守护AI健康成长的第一道防线。本次活动是产学研联合探索AI安全治理的一次有效尝试。未来,合合信息会持续深耕AI视觉安全领域,积极推动行业合作与交流。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2261106.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

《计算机视觉:瓶颈之辩与未来之路》

一、计算机视觉的崛起 计算机视觉是使用计算机模仿人类视觉系统的科学,让计算机拥有类似人类提取、处理、理解和分析图像以及图像序列的能力。它是一个多学科交叉的领域,与机器视觉、图像处理、人工智能、机器学习等领域密切相关。 计算机视觉行业可分为…

Airborne使用教程

1.安装环境 前提条件:系统已安装Ruby 打开终端输入如下命令 gem install airborne 或者在Gemfile添加 gem airborne 然后运行bundle install 2.编写脚本 在项目中新建api_tests_spec.rb文件 以GET接口"https://www.thunderclient.com/welcome"为…

Hadoop其一,介绍本地模式,伪分布模式和全分布搭建

目录 一、Hadoop介绍 二、HDFS的本地模式 三、伪分布模式 四、Hdfs中的shell命令 五、全分布搭建 六、使用Java代码操作HDFS 1、环境准备 2、单元测试(Junit)​编辑 一、Hadoop介绍 Hadoop 分为三部分 : Common、HDFS 、Yarn、MapRe…

【Tomcat】第五站:Servlet容器

Tomcat启动后,获取到项目当中所有的servlet的WebServlet中的配置信息。将配置信息和类对象都写入一个map集合当中。 map就是一个key-value类型的集合。 在MyTomcat中我们获取到了类对象和注解值。 Tomcat与请求连通 1. ServletConfigMapping 1. 创建一个config包…

猫眼浏览器v4.12.1重磅升级,极速、安全、保护全方位提升

猫眼浏览器(Catsxp)是一款经过深度优化的网页浏览器,凭借其创新性的设计理念和卓越的性能表现,正在重新定义现代浏览器的标准。这款基于Chrome内核精心打造的浏览器不仅为用户带来了全方位的网络体验提升,更在保护用户…

Axure原型设计技巧与经验分享

AxureRP作为一款强大的原型设计工具,凭借其丰富的交互设计能力和高保真度的模拟效果,赢得了众多UI/UX设计师、产品经理及开发人员的青睐。本文将分享一些Axure原型设计的实用技巧与设计经验,帮助读者提升工作效率,打造更加流畅、用…

梳理你的思路(从OOP到架构设计)_UML应用:业务内涵的分析抽象表达02

目录 1、举例(二) :西方童话 童话『青蛙王子』 的故事 故事中的概念 2、举例(三) :点餐服务 『 餐馆点餐服务』 的分析步骤: 1、举例(二) :西方童话 童话『青蛙王子』 的故事 从前有一位美丽的公主,喜欢玩金球。…

DevExpress WPF中文教程:Grid - 如何移动和调整列大小?(一)

DevExpress WPF拥有120个控件和库,将帮助您交付满足甚至超出企业需求的高性能业务应用程序。通过DevExpress WPF能创建有着强大互动功能的XAML基础应用程序,这些应用程序专注于当代客户的需求和构建未来新一代支持触摸的解决方案。 无论是Office办公软件…

OpenIPC开源FPV之Adaptive-Link天空端代码解析

OpenIPC开源FPV之Adaptive-Link天空端代码解析 1. 源由2. 框架代码3. 报文处理3.1 special报文3.2 普通报文 4. 工作流程4.1 Profile 竞选4.2 Profile 研判4.3 Profile 应用 5. 总结6. 参考资料7. 补充资料7.1 RSSI 和 SNR 的物理含义7.2 信号质量加权的理论依据7.3 实际应用中…

23.DDD与微服务

学习视频来源:DDD独家秘籍视频合集 https://space.bilibili.com/24690212/channel/collectiondetail?sid1940048&ctype0 文章目录 DDD与微服务的关系1. DDD可以用微服务实现,也可以不用微服务实现2. DDD是微服务拆分的必须参考项之一3. 微服务架构…

最新全开源IM即时通讯系统源码(PC+WEB+IOS+Android)部署指南

全开源IM(即时通讯)系统源码部署是一个复杂但系统的过程,涉及多个组件和步骤。以下是一个详细的部署指南,旨在帮助开发者或系统管理员成功部署一个全开源的IM系统,如OpenIM。      IM即时通讯系统源码准备工作   …

PVE系统下——OpenWRT一键扩容脚本(x86下EXT4SquashFS)

扩容了x86上的 OpenWrt 根分区和文件系统。 1.PVE 上增加硬盘大小 2.执行脚本 安装依赖 opkg update opkg install parted losetup resize2fs下载脚本并一键执行 wget -U "" -O expand-root.sh "https://openwrt.org/_export/code/docs/guide-user/advanced…

Midjourney教程之生成同一角色的不同姿势和服装

今天给大家介绍的是在 Midjourney 中如何创建同一个角色的不同姿势。这个功能是大家期待已久的,现在它已经正式可用了。 这个功能能够创建与原始图像相似的角色。"Character Reference" 功能类似于 "Style Reference",但侧重于角色…

gitlab仓库API操作

几年没接触gitlab了,新版本装完以后代码提交到默认的main分支,master不再是主分支 项目有几十个仓库,研发提交代码后仓库地址和之前的发生了变化 先修改Group的默认分支,不会影响已存在的项目 修改gitlab全局的默认分支 这就引…

aws(学习笔记第十七课) SQS Amazon Simple Queue Service服务

aws(学习笔记第十七课) SQS Amazon Simple Queue Service服务 学习内容: 使用SQS Amazon Simple Queue Service服务整体代码(nodejs的通常工程)代码动作 1. 使用SQS Amazon Simple Queue Service服务 利用应用程序来学习SQS 创建S3$ aws s…

Swin Transformer:用Transformer实现CNN多尺度操作

文本是关于Swin Transformer基础知识的了解 论文:https://arxiv.org/pdf/2103.14030 项目:https://github. com/microsoft/Swin-Transformer. 实现一个Swin Transformer:Swin Transformer模型具体代码实现-CSDN博客 Swin Transformer mlp…

linux学习笔记02 linux中的基础设置(修改主机名、ip、防火墙、网络配置管理)

目录 修改主机名 ​编辑 修改ip地址 防火墙 关闭networkmanage 修改主机名 查看主机名 hostnamectl status 修改主机名 vim /etc/hostname 修改ip地址 vim /etc/sysconfig/network-scripts/ifcfg-ens33 输入这个命令后对照以下文件修改 TYPE"Ethernet" PROXY_M…

Windows 系统中的组策略编辑器如何打开?

组策略是 Windows 操作系统中用于设置计算机和用户配置的重要工具。它允许管理员控制各种系统功能,从桌面背景到安全设置等。对于 Windows 专业版、企业版和教育版用户来说,可以通过组策略编辑器(Group Policy Editor)来管理这些设…

【Go】Linux、Windows、Mac 搭建Go开发环境

1、Linux 第一步,在 官网 下包,如 go1.23.4.linux-386.tar.gz(注意架构区分) 第二步,将包上传至服务器,假如上传到 tmp目录下第三步,安装# 解压 tar -C /app -xzvf go1.23.4.linux-386.tar.gz#…

那一抹暖色

上海这周都是阳光明媚的天气,趁着工作日人少,来到公园看🍁 圣诞临近,一到这个节日,上海几乎一个月前,街上就有🎅🏻出没。 就先发这些吧,视频明天再做,眼睛要睁…