科技云报道:大模型的阴面:无法忽视的安全隐忧

news2024/11/24 15:57:35

科技云报道原创。

在AI大模型的身上,竟也出现了“to be or not to be”问题。

争议是伴随着大模型的能力惊艳四座而来的,争议的核心问题在于安全。安全有两个方面,一个是大模型带来的对人类伦理的思考,一个是大模型本身带来的隐私泄漏、数据安全等问题。

埃隆·马斯克应该可以说是对大模型发起质疑的企业家之一。早在ChatGPT诞生之初,马斯克等一千多名业界、学界人士联署发表公开信,呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统,暂停至少6个月。

时至今日,马斯克依旧对外表达的态度是,人工智能是一把双刃剑,对人工智能方面的监管是强烈共识,可能会出现某种形式的监管机构。

围绕着AI大模型的安全,不少国内专家学者以及企业家们也有了更多的思考和发声。9月初,中国科学院院士何积丰曾发言谈到,目前大模型面临的安全问题涵盖两方面,分别是隐私保护和价值观对齐两大难题。
在这里插入图片描述
另一方面,随着AI大模型在行业中的广泛应用,对合规和数据保护的需求急剧上升。在“云、大、物、移”四大网络安全场景之后,大模型正逐渐成为新的市场增长点。

不少企业开始围绕大模型安全视角推出产品,掀起了一阵AI安全、数据安全等新兴安全领域的火热之风。

大模型的“阴面” 安全问题不容忽视

发展至今,大模型阴阳两面,泾渭分明。不少人早已经感受到了大模型的“阳面”,应该不少人早已经开始尝试,将其作为提升工作效率的工具。

但大模型的“阴面”,关于安全的讨论不绝于耳。最典型的安全案例,三星机密数据外泄事件仍然记忆犹新。

上文中也曾提到,中国科学院院士何积丰发言指出,大模型当前面临的安全问题主要涵盖两方面,分别是隐私保护和价值观对齐两大难题。

隐私保护问题的是,在未经允许的情况下,大模型是否会收集、使用和泄露个人信息。

价值观对齐问题的是,使得大模型的价值观与人类的价值观相对齐。使得大模型按照设计者的意愿行事,而不作出超出意图之外的举动。

在价值观对齐方面,由于人类社会的价值观是多元化的,且有用的人工智能与无害的人工智能往往存在冲突,这导致了大模型价值观对齐存在很大的难度。

具体来看,大模型的包含多个关键要素,数据、算法模型以及应用层等,每一个要素中,都有不少安全问题需要面对。

在数据层,安全问题主要集中在数据泄露、数据污染等。三星的案例,其实就在于数据层面存在一定的泄漏风险。

数据可以说是构成大模型的骨骼,为其提供了基础支撑。

在机器学习和深度学习的领域中,数据的获取、加工及利用的方式决定了模型的性能和准确性。但是,数据层面的安全隐患却是不可避免的。

其中最常见的问题包括数据的非法泄漏,这可能导致敏感信息暴露;数据被恶意篡改,这可能导致训练出的模型有误导性;还有非法获取或使用未经授权的数据,这不仅违法,还可能使得模型偏离了其原本的目的。

这些隐患都可能对模型的训练和应用带来不良影响,使其失去原有的效果甚至产生误导。

与数据安全同等重要的,是算法模型的安全。

在现代社会,大模型的训练往往需要消耗巨大的计算力,因此很多资源都集中在特定的数据中心。

这就为潜在的攻击者提供了机会,他们可能会针对这些数据中心进行攻击,试图更改模型的参数或者整体结构。一旦成功,模型的输出可能会完全不可控,产生不可预知的结果。

另外,还有一种更加隐蔽的攻击方式——对抗性攻击。这种攻击的目的是使模型在某些特定的输入下产生错误的输出,这在一些关键领域如医疗诊断、金融决策等方面,可能会带来严重后果。

到应用层,安全隐患也十分严重。比如说生成内容的有害性和准确性、滥用模型生成虚假信息等。

如何防止已部署的模型被恶意篡改?如何确保在模型进行数据推断的过程中,用户的私人数据不会被非法获取或泄露?这些都是在模型部署时必须要考虑的问题。

此前,就有人尝试向大模型发问,“野生娃娃鱼的做法”,大模型给出的回答是“红烧”,并且写出了具体的步骤。这就很容易“误导”提问者。实际上,野生娃娃鱼属于国家二级保护动物,不能捕捉、捕杀甚至食用。

为了应对这些隐患,可能需要一系列的安全措施,包括但不限于数据加密、模型的版本控制和运行环境的隔离等。

AI大模型安全问题 的解决之道

大模型问题出现后,外界对于监管的呼声是最为热烈的。

在新技术飞速发展的当下,政府与各类监管机构成为确保AI大模型安全运行的重要力量。他们可以通过制定和实施严格的数据隐私法规,为大模型的安全使用提供法律保障。

今年4月,国家互联网信息办公室发布了关于《生成式人工智能服务管理办法(征求意见稿)》,旨在促进生成式人工智能健康发展和规范应用。其中的第七条涉及到生成式人工智能服务提供者数据来源的合法性问题。

这也意味着国家已经开始出手应对大模型火热带来的一些列的安全问题。

7月,网信中国官微消息称,国家网信办联合国家发展改革委、教育部、科技部、工业和信息化部、公安部、广电总局公布了《生成式人工智能服务管理暂行办法》。

这其中就明确生成式人工智能服务提供者应当依法开展预训练、优化训练等训练数据处理活动,使用具有合法来源的数据和基础模型;涉及知识产权的,不得侵害他人依法享有的知识产权;涉及个人信息的,应当取得个人同意或者符合法律、行政法规规定的其他情形;采取有效措施提高训练数据质量,增强训练数据的真实性、准确性、客观性、多样性。

此外,明确了数据标注的相关要求。

监管之下,国内的大模型也迎来了合理合法合规的发展期。最新的消息是,目前国内已经有11家大模型陆续通过《生成式人工智能服务管理暂行办法》备案,并逐步面向大众开放。

监管之下,技术本身也可以在大模型安全上有所行动。AI守护AI,技术反哺技术。

“利器攻利器”。AI技术本身不仅是可能的威胁,更是解决问题的关键。

对抗性训练就是其中的佳例,它可以让模型在面对恶意输入时仍然保持其稳定性,从而增强模型对各类对抗攻击的防御力。除此之外,我们还可以考虑利用AI技术对模型的输出进行实时监控,及时发现并纠正模型的异常行为。

另外,目前也有不少安全企业提出通过可信计算、差分隐私、联邦学习等技术手段确保数据隐私安全。

此前,清华大学人工智能研究院副院长,北京智源人工智能研究院和瑞莱智慧首席科学家朱军在接受腾讯科技采访时就曾提到过,为了解决大模型的安全问题,从技术方向来看,我们可以以“AI识别AI”的形式来应对。

朱军表示,与进攻相比,防守其实更为困难。现在,我们正积极寻求多种手段以增强模型的抵御能力,并在模型的应用和布署阶段实施多重保护策略。

比如在人脸鉴定系统中,我们设置人脸识别安全屏障,能在样本进入决策阶段前筛选并剔除携带潜在威胁或经过对抗性修改的样本,确保系统安全稳定。这一技术手段已经在银行等行业中落地使用。

为了防范未然,开发者和企业在产品层面也必须下足功夫。严格的安全标准不仅仅是一纸文件,更应该深入到每一个开发与部署的细节中。

对于开发者和企业而言,对数据的处理要严格遵循隐私保护原则,确保每一位用户的私人信息都得到妥善保管。另外,模型的开发与部署过程也需要经过严格的审查,确保其不会对用户和社会造成伤害。

大模型安全问题掀起行业新风向

目前,不少企业也关注到了大模型安全的问题,甚至推出了不少相关的产品和解决方案。这也掀起了一阵“安全潮”,风口也逐渐吹向了数据要素、网络安全和隐私计算等相关产业上。

最近一段时间,可以明显地看到网络安全行业正在迎头赶上这一挑战,大模型和数据安全新品不断亮相,旨在满足市场对于新兴技术的安全需求。

今年的网络安全博览会成为了各大厂商展示大模型安全解决方案的初舞台。比如,奇安信推出了名为Q-GPT的安全机器人,还发布了针对大模型数据泄露隐患的“大模型卫士”; 绿盟科技在发布其安全大模型的同时,也推出了基于隐私计算的“数据保险箱”。

除此之外,安恒信息、深信服、三六零集团、蚂蚁等公司也纷纷推出各自的大模型产品,为企业提供了多样的选择。这些新品的出现无疑证明了行业对于大模型安全的重视。

据中国网络安全产业联盟的数据,2022年我国网络安全产业规模达到了近633亿元,预计在未来三年内,增速将保持在10%以上。随着数据要素市场的逐步建立,大模型等前沿技术发挥出的应用价值越来越大,新的安全需求也随之涌现。

隐私计算赛道同样如此。

在2023年世界人工智能大会上,就有不少专家学者提到大模型时代隐私计算迎来全新机遇。现阶段,隐私计算中包括可信执行环境TEE、多方安全计算MPC等都有与大模型结合的探索,比如在云端部署TEE,用户在推理时将输入数据加密传输至云端,在其内部解密然后进行推理。

复旦大学教授、上海市数据科学重点实验室主任肖仰华表示,传统的隐私计算如差分隐私、联邦学习多是算法层开展工作。

不过算法工作前提是保护对象是明确的,协作机制清晰。大模型时代是海量参数化的模型,不透明、无边界、不可解释,对于以前的基于可解释、清晰、可控的技术路线的隐私计算方法提供了全新挑战。

华经产业研究院的报告显示,随着中国互联网技术的发展,中国隐私计算市场规模逐年增长,预计2025年中国隐私计算市场规模达192.2亿元。

大模型已经成为继“云、大、物、移”之后的新战场,被视为新的市场增量。

无论是为自己的客户提供基于大模型的服务,提高交付效率和竞争力,还是通过大模型应用提高企业自身生产效率,大模型正迅速进入企业IT中,与此对应的大模型安全也成为攻防焦点。

随着各大公司在大模型安全方面的持续投入和创新,预期这一市场将带动整个网络安全行业迈向新的高度。

结语

AI大模型的发展不仅带来了巨大的潜力,也伴随着重大的安全挑战。为了充分发挥AI的潜力并确保安全,政府、企业和网络安全公司需要共同努力,采取综合性的措施来解决这些问题。只有这样,我们才能在AI时代中迈出坚实的步伐。

【关于科技云报道】

专注于原创的企业级内容行家——科技云报道。成立于2015年,是前沿企业级IT领域Top10媒体。获工信部权威认可,可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1049966.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Unity实现设计模式——解释器模式

Unity实现设计模式——解释器模式 解释器模式(Interpreter Pattern)是一种按照规定语法进行解析的模式,现实项目中用得较少。 给定一门语言,定义它的文法的一种表示,并定义一个解释器,该解释器使用该表示来…

在windows的ubuntu LTS中安装及使用EZ-InSAR进行InSAR数据处理

EZ-InSAR(曾被称为MIESAR,即Matlab界面用于易于使用的合成孔径雷达干涉测量)是一个用MATLAB编写的工具箱,用于通过易于使用的图形用户界面(GUI)进行干涉合成孔径雷达(InSAR)数据处理…

网络基础(了解网络知识的前提)

前言 在正式学习网络之前,我们需要了解的一些关于计算机网络的基本知识,本文主要阐述这些基本知识,带着大家一步一步迈进互联网网络的世界; 一、局域网与广域网的概念 在正式了解这些概念的前提是我们要搞懂网络出现的意义&#x…

Linux高级应用——web网站服务

作者简介:一名云计算网络运维人员、每天分享网络与运维的技术与干货。 公众号:网络豆云计算学堂 座右铭:低头赶路,敬事如仪 个人主页: 网络豆的主页​​​​​ 目录 前言 一.Apache 1.Apache介绍 2.Apache的特…

【AI绘画】Stable Diffusion WebUI

💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:kuan 的首页,持续学…

gitee 远程仓库操作基础(一)

git remote add <远程仓库名> <仓库远程地址> :给远程仓库取个别名,简化一大堆字符串操作 git remote add origin xxx.git :取个Origin名字 git remote -v :查看本地存在的远程仓库 git pull <远程仓库名><远程分支名>:<本地分支名> 相同可取消…

【SpringBoot实践】事务和事务传播机制失效原因正确使用事务的建议

文章目录 1.概述2.事务与事务传播2.1 声明式事务说明2.2.声明式事务失效原因2.3.事务的传播机制2.4.事务传播失效原因 3.事务使用建议4.总结 1.概述 我们在开发工作中经常会使用到事务&#xff0c;来保证数据库做增、删、改操作时的数据一致性&#xff0c;在使用Spring来处理事…

【c语言】通讯录【动态版本:有排序和文件操作】

目录 一、通讯录定义 二、通讯录的实现 1、test.c中菜单的实现 2、通讯录的创建逻辑 3、初始化 4、检查容量和添加 5、查找 6、删除功能 7、修改功能 8、打印 9、查找并打印 10、qsort排序 11、摧毁 12、保存数据到文件 13、从文件中读数据 完整代码&#xff1a; 一、通讯录定…

Windows上安装 Go 环境

一、下载go环境 下载go环境&#xff1a;Go下载官网链接找到自己想下载的版本&#xff0c;点击下载&#xff0c;比如我这是windows64位的&#xff0c;我就直接点击最新的。 二、安装go环境 双击下载的.msi文件 next next 他默认的是c盘&#xff0c;你自己可以改&#xff0c;然…

Android 导入ncnn-android-yolov8-seg : 实现人体识别和人像分割

1. 前言 上篇文章我们在Android中使用OpenCV实现了人脸识别&#xff0c;这篇文章我们使用OpenCVYOLOv8NCNN 来实现人像分割的功能。 首先来看下效果&#xff0c;这里会识别出人体&#xff0c;并会用蓝色的框框出来&#xff0c;并会有标签标注识别出的物体是什么&#xff0c;概…

Python爬虫实战案例——第六例

文章中所有内容仅供学习交流使用&#xff0c;不用于其他任何目的&#xff01;严禁将文中内容用于任何商业与非法用途&#xff0c;由此产生的一切后果与作者无关。若有侵权&#xff0c;请联系删除。 目标&#xff1a;去哪儿网指定城市人气值最高的15个景点评论数据采集 地址&a…

趣解设计模式之《小王的披萨店》

〇、小故事 小王看到最近越来越多的人喜欢吃披萨了&#xff0c;所以&#xff0c;他决定自己也开一个披萨店。最初开的时候&#xff0c;他只提供了一种口味的披萨&#xff0c;因为这样先试试水&#xff0c;看看生意如何&#xff0c;如果生意不好&#xff0c;也可以快速止损。 没…

一道签到题目 签到.zip

一道签到题目 https://www.xuenixiang.com/ctfexercise-competition-589.html 下载附件&#xff1a;签到.zip双击打开zip包。 进行base64转换 在线 Unicode 编码转换 | 菜鸟工具 (runoob.com) 获得压缩包密码&#xff1a;haishi 文字倒序工具,在线文字倒序 (qqxiuzi.cn)

一招根治Windows自带杀毒软件 Microsoft Defender

以毒攻毒&#xff1a;用腾讯电脑管家的文件粉碎机将Microsoft Defender 文件粉碎&#xff0c;再卸载腾讯电脑管家。 整个世界都安静了。 开机任务管理器就能看到 Microsoft Defender 又瞎忙起来了 打开文件位置&#xff1a; 记录下此时该文件的路径&#xff08;保存在记事本里…

使用SPY++查看窗口信息去排查客户端UI软件问题

目录 1、使用SPY查看窗口的信息 2、使用SPY查看某些软件UI窗口用什么UI组件实现的 2.1、查看海康视频监控客户端安装包程序 2.2、查看华为协同办公软件WeLink 2.3、查看字节协同办公软件飞书 2.4、查看最新版本的Chrome浏览器 2.5、查看小鱼易连视频会议客户端软件 2.6…

cad图纸如何防止盗图(一个的制造设计型企业如何保护设计图纸文件)

在现代企业中&#xff0c;设计图纸是公司的重要知识产权&#xff0c;关系到公司的核心竞争力。然而&#xff0c;随着技术的发展&#xff0c;员工获取和传播设计图纸的途径越来越多样化&#xff0c;如何有效地防止员工复制设计图纸成为了企业管理的一大挑战。本文将从技术、管理…

如何用WiFi实现无线定位

一、WiFi主从模块设置 1. 实验器材 2. 实验步骤 ① 给控制板刷一套空的程序。 ② 将Esp8266模块连接到Bigfish扩展板上&#xff0c;并将扩展板插到控制板上。 ③ 在arduino的Seiral Monitor中&#xff0c;输入AT指令集&#xff0c;观察模块的相应应答。 3. 常用指令 ① 基础A…

使用不同尺寸的传感器拍照时,怎么保证拍出同样视场范围的照片?

1、问题背景 使用竞品机做图像效果对比时&#xff0c;我们通常都会要求拍摄的照片要视场范围一致&#xff0c;这样才具有可比性。之前我会考虑用同样焦距、同样分辨率的设备去拍照对比就可以了&#xff0c;觉得相机的视场范围只由镜头焦距来决定。 但如果对于不同尺寸的传感器…

5、Docker安装mysql主从复制与redis集群

安装mysql主从复制 主从搭建步骤 1.1 新建主服务器容器实例3307 docker run -p 3307:3306 --name mysql-master #3307映射到3306&#xff0c;容器名为mysql-master -v /app/mysql/mydata/mysql-master/log:/var/log/mysql #容器数据卷 -v /app/mysql/mydata/mysql-master/dat…

insightface实战:画出嘴巴和眼睛的mask

今天的目标是将人脸的嘴巴和眼睛区域抠出来&#xff0c;使用insightface简单实现出来&#xff0c;为了方便批量使用多进程跑数据&#xff0c;使用多进程的方式&#xff0c;下面是代码&#xff1a; import os import cv2 from multiprocessing import Pool import numpy as n…