大语言模型安全威胁

news2024/11/8 19:25:22

文章目录

  • 基座安全
    • 一、大模型训练阶段
      • (1)训练环境安全风险
      • (2)训练环境隔离缺陷
    • 二、大模型部署阶段
      • (1)利用不安全系统配置
      • (2)CI&CD流程攻击
      • (3)部署环境组件供应链漏洞
    • 三、大模型应用阶段
      • (1)容器集群环境探测
      • (2)容器集群环境攻击
      • (3)LLMs拒绝服务&资源耗尽
  • 数据安全
    • 一、大模型训练阶段
      • (1)内部数据保护缺陷
      • (2)不正确&恶意外部数据源
      • (3)训练数据投毒
    • 二、大模型部署阶段
      • (1)备份数据窃取
      • (2)数据传输劫持
      • (3)数据存储服务攻击
      • (4)日志和审计记录窃取
      • (5)缓存数据&索引信息窃取
    • 三、大模型应用阶段
      • (1)元Prompt泄露
      • (2)模型反演攻击
      • (3)隐私数据窃取
      • (4)模型推理API数据窃取
      • (5)成员推断攻击
      • (6)API信息泄露
  • 模型安全
    • 一、大模型训练阶段
      • (1)模型后门
      • (2)预训练模型不安全依赖
    • 二、大模型部署阶段
      • (1)模型文件窃取
      • (2)模型参数篡改
    • 三、大模型应用阶段
      • (1)模型越狱攻击
      • (2)模型幻觉风险
      • (3)非合规内容输出
      • (4)商业违法输出
      • (5)模型功能滥用
      • (6)预训练模型信息窃取与攻击
      • (7)数据漂移
  • 应用安全
    • 一、大模型训练阶段
      • (1)第三方组件漏洞
      • (2)不安全的代码实践
    • 二、大模型部署阶段
      • (1)LLMs应用源代码窃取
      • (2)LLMs应用源代码投毒
    • 三、大模型应用阶段
      • (1)Prompt注入
      • (2)间接Prompt注入
      • (3)业务应用API利用
      • (4)CoT注入攻击
      • (5)关键字混淆
      • (6)对抗编码攻击
      • (7)反向诱导&抑制攻击
  • 身份安全
    • 一、大模型训练阶段
      • (1)训练环境缺少认证授权
      • (2)训练环境过度权限分配
      • (3)LLMs插件:权限管控设计缺陷
    • 二、大模型部署阶段
      • (1)滥用部署环境凭据
      • (2)向量数据库未授权访问
      • (3)未授权访问模型部署环境
    • 三、大模型应用阶段
      • (1)角色逃逸
      • (2)权限管控不当
      • (3)模拟对话攻击
      • (4)应用会话劫持
      • (5)账户劫持风险

基座安全

一、大模型训练阶段

(1)训练环境安全风险

  • 模型开发工具漏洞
  • 训练数据管理系统漏洞

(2)训练环境隔离缺陷

二、大模型部署阶段

(1)利用不安全系统配置

  • 环境隔离缺陷
  • 云平台多租户隔离失效

(2)CI&CD流程攻击

  • 模型部署服务漏洞
  • 模型镜像污染

(3)部署环境组件供应链漏洞

  • 容器&&集群系统漏洞
  • 向量数据库漏洞
  • 云平台安全漏洞

三、大模型应用阶段

(1)容器集群环境探测

(2)容器集群环境攻击

  • 代码解析器执行逃逸

(3)LLMs拒绝服务&资源耗尽

数据安全

一、大模型训练阶段

(1)内部数据保护缺陷

  • 个人隐私数据保护缺陷
  • 企业敏感数据保护缺陷
  • 机密敏感数据保护缺陷

(2)不正确&恶意外部数据源

  • 预训练模型数据偏见

(3)训练数据投毒

  • 对话语料投毒
  • 训练数据篡改

二、大模型部署阶段

(1)备份数据窃取

(2)数据传输劫持

(3)数据存储服务攻击

(4)日志和审计记录窃取

(5)缓存数据&索引信息窃取

三、大模型应用阶段

(1)元Prompt泄露

  • 假定场景泄露
  • 假定角色泄露
  • 关键字前后定位泄露

(2)模型反演攻击

  • 触发模型异常
  • 训练数据推导

(3)隐私数据窃取

  • 个人隐私数据窃取
  • 企业机密数据窃取

(4)模型推理API数据窃取

(5)成员推断攻击

(6)API信息泄露

模型安全

一、大模型训练阶段

(1)模型后门

  • 模型序列化后门
  • 预训练模型投毒

(2)预训练模型不安全依赖

二、大模型部署阶段

(1)模型文件窃取

(2)模型参数篡改

三、大模型应用阶段

(1)模型越狱攻击

  • DAN(Do Anything Now)
  • Many-shot越狱
  • 假定场景越狱
  • 假定角色越狱
  • 对抗性后缀攻击
  • 概念激活攻击

(2)模型幻觉风险

  • 事实性幻觉
  • 忠实性幻觉

(3)非合规内容输出

  • 虚假信息生成
  • 诱导&&不当言论
  • 带有偏见、仇恨、歧视或侮辱问题
  • 恐怖主义&&带有暴力倾向
  • 政治&&军事敏感问题
  • 敏感数据泄露

(4)商业违法输出

  • 知识产权版权侵犯

(5)模型功能滥用

  • 恶意代码生成
  • 钓鱼邮件生成
  • 图片信息伪造
  • 音频信息伪造
  • 视频信息伪造

(6)预训练模型信息窃取与攻击

  • 预训练模型家族探测
  • 预训练模型本体探测
  • 代理预训练模型创建
  • 对抗样本攻击

(7)数据漂移

应用安全

一、大模型训练阶段

(1)第三方组件漏洞

  • 数据处理组件漏洞
  • RAG开发框架漏洞

(2)不安全的代码实践

  • LLMs插件:不安全输入处理
  • LLMs应用传统漏洞风险
  • LLMs应用不安全输出处理
  • LLMs插件:业务过度代理

二、大模型部署阶段

(1)LLMs应用源代码窃取

(2)LLMs应用源代码投毒

三、大模型应用阶段

(1)Prompt注入

(2)间接Prompt注入

  • XSS会话内容劫持
  • 环路Agent蠕虫
  • 应用对话Memory攻击

(3)业务应用API利用

  • SSRF模型环境探测
  • 代码执行注入

(4)CoT注入攻击

  • 思维链干扰注入
  • 思维链操纵注入

(5)关键字混淆

  • 同义词替换攻击

(6)对抗编码攻击

(7)反向诱导&抑制攻击

身份安全

一、大模型训练阶段

(1)训练环境缺少认证授权

(2)训练环境过度权限分配

(3)LLMs插件:权限管控设计缺陷

二、大模型部署阶段

(1)滥用部署环境凭据

  • 公开服务API密钥利用

(2)向量数据库未授权访问

(3)未授权访问模型部署环境

三、大模型应用阶段

(1)角色逃逸

  • 假定场景逃逸
  • 假定角色逃逸
  • 遗忘法角色逃逸
  • Prompt目标劫持

(2)权限管控不当

  • 未授权访问模型
  • 利用云凭证非法访问云端模型
  • 账户越权访问

(3)模拟对话攻击

(4)应用会话劫持

(5)账户劫持风险

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2236034.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【深度学习】论文笔记:空间变换网络(Spatial Transformer Networks)

博主简介:努力学习的22级计算机科学与技术本科生一枚🌸博主主页: Yaoyao2024往期回顾: 【机器学习】有监督学习由浅入深讲解分类算法Fisher算法讲解每日一言🌼: 今天不想跑,所以才去跑,这才是长…

基于java+SpringBoot+Vue的旅游管理系统设计与实现

项目运行 环境配置: Jdk1.8 Tomcat7.0 Mysql HBuilderX(Webstorm也行) Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。 项目技术: Springboot mybatis Maven mysql5.7或8.0等等组成&#x…

【HarmonyOS】not supported when useNormalizedOHMUrl is not true.

【HarmonyOS】 not supported when useNormalizedOHMUrl is not true. 问题背景: 集成三方库编译时,IDE提示报错信息如下: hvigor ERROR: Bytecode HARs: [cashier_alipay/cashiersdk] not supported when useNormalizedOHMUrl is not true…

如何对LabVIEW软件进行性能评估?

对LabVIEW软件进行性能评估,可以从以下几个方面着手,通过定量与定性分析,全面了解软件在实际应用中的表现。这些评估方法适用于确保LabVIEW程序的运行效率、稳定性和可维护性。 一、响应时间和执行效率 时间戳测量:使用LabVIEW的时…

gitlab项目如何修改主分支main为master,以及可能遇到的问题

如果你希望将 Git 仓库的主分支名称从 main 修改为 master: 1. 本地修改分支名称 首先,切换到 main 分支: git checkout main将 main 分支重命名为 master: git branch -m main master2. 更新远程仓库 将本地更改推送到远程仓库…

(六千字心得笔记)零基础C语言入门第八课——函数(上)

文章目录 一、函数的概念1.1 函数的概念 二、库函数2.1 标准库和头文件2.2 库函数的使用方法sqrt函数(举例)功能包含的头文件实践2.2.4 库函数文档的一般格式 三、自定义函数3.1 自定义函数的语法形式3.2 函数的举例 四、形参和实参4.1 实参4.1 形参4.3 …

案例精选 | 河北省某检察院安全运营中异构日志数据融合的实践探索

河北省某检察院是当地重要的法律监督机构,肩负着维护法律尊严和社会公平正义的重要职责。该机构依法独立行使检察权,负责对犯罪行为提起公诉,并监督整个诉讼过程,同时积极参与社会治理,保护公民权益,推动法…

DBAPI连接阿里云 maxcompute 报错

使用正确的驱动包 访问以下链接寻找驱动包 https://github.com/aliyun/aliyun-odps-jdbc/releases/tag/v3.4.3 注意要使用odps-jdbc-3.4.3-jar-with-dependencies.jar ,这个是完整的jar包 不要使用odps-jdbc-3.4.3.jar,这个不是完整的,它还…

【MongoDB】MongoDB的Java API及Spring集成(Spring Data)

文章目录 Java APISpring 集成1. 添加依赖2. 配置 MongoDB3. 创建实体类4. 创建 Repository 接口5. 创建 Service 类6. 创建 Controller 类7. 启动 Spring Boot 应用8. 测试你的 API 更多相关内容可查看 Java API maven <dependency><groupId>org.mongodb</gr…

2-Ubuntu/Windows系统启动盘制作

学习目标&#xff1a; 掌握使用Win32DiskImager、Rufus等工具制作系统启动盘的基本步骤。独立将ISO镜像文件写入USB闪存驱动器&#xff0c;确保在需要时顺利安装或修复系统。通过学习如何选择正确的源文件和目标驱动器&#xff0c;理解启动盘的使用场景和注意事项&#xff0c;…

CSS的三个重点

目录 1.盒模型 (Box Model)2.位置 (position)3.布局 (Layout)4.低代码中的这些概念 在学习CSS时&#xff0c;有三个概念需要重点理解&#xff0c;分别是盒模型、定位、布局 1.盒模型 (Box Model) 定义&#xff1a; CSS 盒模型是指每个 HTML 元素在页面上被视为一个矩形盒子。…

【贪心算法】No.1---贪心算法(1)

文章目录 前言一、贪心算法&#xff1a;二、贪心算法示例&#xff1a;1.1 柠檬⽔找零1.2 将数组和减半的最少操作次数1.3 最⼤数1.4 摆动序列1.5 最⻓递增⼦序列1.6 递增的三元⼦序列 前言 &#x1f467;个人主页&#xff1a;小沈YO. &#x1f61a;小编介绍&#xff1a;欢迎来到…

人工智能又创新!人声分离AI工具大放异彩

AI可以与人对话聊天、帮我们写PPT、做简单的图片处理等等&#xff0c;随着人工智能技术的发展&#xff0c;AI也逐渐深入到音视频编辑领域&#xff0c;很多人声分离AI工具应运而生。这些AI的作用&#xff0c;就是帮助我们从一首歌曲中将人声和伴奏分开。 AI是如何做到人声分离的…

现代Web开发:WebSocket 实时通信详解

&#x1f493; 博客主页&#xff1a;瑕疵的CSDN主页 &#x1f4dd; Gitee主页&#xff1a;瑕疵的gitee主页 ⏩ 文章专栏&#xff1a;《热点资讯》 现代Web开发&#xff1a;WebSocket 实时通信详解 现代Web开发&#xff1a;WebSocket 实时通信详解 现代Web开发&#xff1a;WebS…

物理验证Calibre LVS | SMIC Process过LVS时VNW和VPW要如何做处理?

SMIC家工艺的数字后端实现PR chipfinish写出来的带PG netlist如下图所示。我们可以看到标准单元没有VNW和VPW pin的逻辑连接关系。 前几天小编在社区星球上分享了T12nm ananke_core CPU低功耗设计项目的Calibre LVS案例&#xff0c;就是关于标准单元VPP和VBB的连接问题。 目前…

《C++类型转换:四种类型转换的规定》

C类型转换&#xff1a;四种类型转换的规定 1. 内置类型中的类型转换2. 内置类型和自定义类型的转换3. 自定义类型转换成内置类型4. 自定义类型之间的转换5. C强制类型转换5.1 static_cast5.2 reinterpret_cast5.3 const_cast5.4 dynamic_cast 6. RTTI&#xff08;了解&#xff…

安全工程师入侵加密货币交易所获罪

一名高级安全工程师被判犯有对去中心化加密货币交易所的多次攻击罪&#xff0c;在此过程中窃取了超过 1200 万美元的加密货币。 沙克布艾哈迈德&#xff08;Shakeeb Ahmed&#xff09;被判刑&#xff0c;美国检察官达米安威廉姆斯&#xff08;Damian Williams&#xff09;称其…

鸿蒙生态崛起:开发者的机遇与挑战

华为OD机试 2024E卷题库疯狂收录中&#xff0c;刷题 点这里。 实战项目访问&#xff1a;http://javapub.net.cn/ 引言 作为一名技术博主&#xff0c;我对技术趋势始终保持着敏锐的洞察力。在数字化时代&#xff0c;操作系统作为智能设备的核心&#xff0c;其重要性不言而喻。随…

夜天之书 #103 开源嘉年华纪实

上周在北京参与了开源社主办的 2024 中国开源年会。其实相比于有点明显班味的“年会”&#xff0c;我的参会体验更像是经历了一场中国开源的年度嘉年华。这也是在会场和其他参会朋友交流时共同的体验&#xff1a;在开源社的 COSCon 活动上&#xff0c;能够最大限度地一次性见到…

【Linux】信号三部曲——产生、保存、处理

信号 1. 信号的概念2. 进程如何看待信号3. 信号的产生3.1. kill命令3.2. 终端按键3.2.1. 核心转储core dump3.2.2. OS如何知道键盘在输入数据 3.3. 系统调用3.3.1. kill3.3.2. raise3.3.3. abort 3.4. 软件条件3.4.1. SIGPIPE信号3.4.2. SIGALRM信号 3.5. 硬件异常3.5.1. 除零异…