AI安全最佳实践:AI应用开发安全评估矩阵(上)

news2025/3/16 19:20:02

生成式AI开发安全范围矩阵简介

生成式AI目前可以说是当下最热门的技术,吸引各大全球企业的关注,并在全球各行各业中带来浪潮般的编个。随时AI能力的飞跃,大语言模型LLM参数达到千亿级别,它和Transformer神经网络共同驱动了我们工作生产力、创意生成能力等生活中的方方面面。

随着越来越多的公司为员工和客户提供生成式AI服务,开发人员和网络安全从业者也必须快速了解和评估这种不断快速发展的技术所涉及的风险、治理和安全控制措施。作为与全球规模最大、最复杂的客户合作的亚马逊云科技安全团队,也经常被咨询问到关于生成式AI的最新趋势、最佳实践以及安全和隐私方面的挑战。在这个大背景下,小李哥也希望分享一些关键策略,帮助大家加速生成式AI开发以及AI安全体系的建立。

这篇文章是保护生成式AI应用开发系列的上篇,希望帮助大家能建立一种安全的思维模型,让大家能够根据所部署的生成式AI应用类型来分析潜在的风险和安全影响。接下来我们会重点介绍安全和开发人员在保护生成式AI应用时需要优先考虑的关键因素。在后续的文章中,我们也将深入探讨如何开发符合安全要求的生成式AI云端解决方案、如何对生成式AI应用进行威胁建模、如何评估合规性和隐私问题,并探索如何利用生成式AI来提升企业自身的网络安全能力和西戎安全姿态。

从哪里开始上手生成式AI开发安全?

与所有新兴技术一样,建立坚实的技术基础对于理解AI开发相关的安全范围、风险、合规和安全控制方案至关重要。要更深入了解生成式AI的基础知识,大家可以先学习生成式AI的基础知识、独特术语及其使用场景,并查看各行业如何利用它来推动创新。

如果大家刚开始探索或上手生成式AI,可能会认为新的AI技术需要全新的安全体系。虽然生成式AI 确实有一些其单独适用的独特的安全考虑,但它本质上仍然是一种数据驱动的计算推理,因此可以沿用许多成熟的安全框架。如果大家多年来一直在遵循云安全的最佳实践,并参考了亚马逊云科技的Well-Architected Framework的安全准则、Well-Architected机器学习白皮书等建议,那么恭喜大家已经走在正确的AI安全道路上了。

云端应用开发核心的安全领域,例如身份与访问管理(IAM)、数据保护、隐私与合规性、应用安全和威胁建模,在生成式AI应用中仍然至关重要。例如如果生成式AI应用需要访问数据库,大家需要明确数据库的数据分类、如何保护数据、如何检测潜在威胁以及如何精细化管理访问权限。但除了传统的安全要求,生成式AI还带来了一些新的风险和额外的需要大家注意的安全考虑,这篇文章将重点介绍需要关注的在AI应用开发中的安全因素。

确定安全范围

如果企业决定采用生成式 AI 解决方案,作为安全和开发团队该做什么?和所有安全工作一样,第一步是明确我们需要实施安全控制的范围。这取决于具体的使用场景,比如我们可能选择一个托管AI服务,由云服务商负责模型和基础设施的管理,或者选择自建、自训练服务和模型。

在亚马逊云科技上安全是最第一优先级,为客户提供合适的工具对其至关重要。例大家可以使用Amazon Bedrock,这是一个无服务器、API驱动的生成式AI模型管理平台,提供AI21 Labs、Anthropic、Cohere、Meta、Stability.ai和Amazon Nova等预训练基础模型。Amazon SageMaker JumpStart还提供了额外的灵活性,支持一键通过容器部署现有的预训练的大语言模型,帮助大家更安全地加速AI应用开发。此外大家还可以在Amazon SageMaker上构建和训练自己的模型。

不同的生成式AI解决方案涉及不同的基础设施、软件、访问权限和数据模型,因此会带来不同的安全考量。为了统一管理安全评估,我们制定了一套安全范围分类方法,称为生成式AI安全范围评估矩阵(Generative AI Security Scoping Matrix),如下图所示。

生成式AI应用安全类型

下面大家可以跟随小李哥一起开始对我们的生成式AI应用进行评估。评估的第一步是确定业务的使用场景属于哪个安全类型。我们将这些范围分为1–5 级,从最低的1级使用公开的AI网页服务(如deepseek、千问、豆包)到最高的5级自主训练和部署模型。以下就是目前主流的生成式AI应用5大类型。

直接使用现有生成式AI服务:

范围 1:消费级应用

我们直接使用公开的第三方生成式AI服务(免费或付费)。此时我们无法访问或修改模型或训练数据,只能按服务协议调用其API或使用其网页应用。

示例: 一名员工使用一个生成式AI聊天网页工具(如DeepSeek),为即将开展的营销活动生成创意。

范围 2:企业级应用

企业使用了集成生成式AI功能的第三方供应商的企业软件,并与供应商建立商业合作关系。

示例: 企业使用一款具备AI会议议程生成功能的第三方的利用AI进行日程管理软件。

自建生成式AI模型解决方案:

范围 3:预训练模型

我们使用现成的第三方预训练基础模型来构建自己的应用,并通过API直接集成到我们开发的业务系统。

示例: 企业基于DeepSeek模型,使用DeepSeek-R1 API自己开发构建客服聊天机器人。

范围 4:微调模型

企业基于第三方基础模型进行微调,使用自有数据优化模型以适配特定业务场景。

示例: 企业通过API访问基础模型,并通过预训练构建营销工具,使其能生成与企业品牌风格匹配的营销内容。

范围 5:自主训练模型

企业从零开始重头完整训练生成式AI模型,完全控制数据、算法和训练过程。

示例: 一家企业希望训练一个专门针对某个拥有行业知识的大型语言模型(LLM),然后将其授权给行业客户。

关键安全领域

在生成式AI安全评估范围矩阵中,我们定义了五个关键安全领域,不同的生成式AI解决方案对这些安全领域的要求也有所不同。通过确定各位开发者的业务所处的安全范围,安全团队可以快速聚焦需要评估的核心系统,并明确划分需要评估的安全领域范围。

1. 治理与合规 – 保障业务安全运行的政策、流程和合规报告。

2. 法律与隐私 – 生成式AI解决方案的法律、合规和隐私要求。

3. 风险管理 – 识别潜在安全威胁并制定应对响应方案、策略。

4. 安全控制 – 实施必要的安全控制措施以降低风险。

5. 系统韧性 – 保障生成式AI解决方案的可用性和SLA。

在后续的生成式AI应用安全系列文章中,小李哥将继续介绍生成式AI开发安全范围评估矩阵,帮助大家理解如何根据大家所划定的AI应用范围调整安全策略和实施方案。希望大家能在业务方案设计、开发、评估和安全架构规划过程中,采用并参考这套安全评估矩阵。欢迎大家持续关注小李哥的AI安全系列文章系列,不要错过更多国际前沿的云计算方案!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2295611.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

deepseek+kimi自动生成ppt

打开deepseek官网,输入详细的需求,让他生成个ppt 接着deepseek开始思考生成了 接着复制生成了的内容 打开kimi粘贴刚才deepseek生成的内容 可以一键生成啦,下载编辑使用吧

《薄世宁医学通识50讲》以医学通识为主题,涵盖了医学的多个方面,包括医学哲学、疾病认知、治疗过程、医患关系、公共卫生等

《薄世宁医学通识50讲》是一门由薄世宁医生主讲的医学通识课程,该课程旨在通过深入浅出的方式,向广大听众普及医学知识,提升公众对医学的认知和理解。 晓北斗推荐-薄世宁医学通识 以下是对该课程的详细介绍: 一、课程概述 《薄世…

突破与重塑:逃离Java舒适区,借Go语言复刻Redis的自我突破和成长

文章目录 写在文章开头为什么想尝试用go复刻redis复刻redis的心路历程程序员对于舒适区的一点看法关于mini-redis的一些展望结语 写在文章开头 在程序员的技术生涯长河中,我们常常会在熟悉的领域中建立起自己的“舒适区”。于我而言,Java 就是这片承载…

优惠券平台(一):基于责任链模式创建优惠券模板

前景概要 系统的主要实现是优惠券的相关业务,所以对于用户管理的实现我们简单用拦截器在触发接口前创建一个单一用户。 // 用户属于非核心功能,这里先通过模拟的形式代替。后续如果需要后管展示,会重构该代码 UserInfoDTO userInfoDTO new…

TensorFlow域对抗训练DANN神经网络分析MNIST与Blobs数据集梯度反转层提升目标域适应能力可视化...

全文链接:https://tecdat.cn/?p39656 本文围绕基于TensorFlow实现的神经网络对抗训练域适应方法展开研究。详细介绍了梯度反转层的原理与实现,通过MNIST和Blobs等数据集进行实验,对比了不同训练方式(仅源域训练、域对抗训练等&am…

09vue3实战-----引入element-plus组件库中的图标

09vue3实战-----引入element-plus组件库中的图标 1.安装2.引入3.优化 element-plus中的icon图标组件的使用和其他平台组件(如el-button按钮)是不一样的。 1.安装 npm install element-plus/icons-vue2.引入 在这我们只讲述最方便的一种引入方法------完整引入。这需要从elem…

消费电子产品中的噪声对TPS54202的影响

本文章是笔者整理的备忘笔记。希望在帮助自己温习避免遗忘的同时,也能帮助其他需要参考的朋友。如有谬误,欢迎大家进行指正。 一、概述 在白色家电领域,降压转换器的应用非常广泛,为了实现不同的功能就需要不同的电源轨。TPS542…

[Meet DeepSeek] 如何顺畅使用DeepSeek?告别【服务器繁忙,请稍后再试。】

文章目录 [Meet DeepSeek] 如何顺畅使用DeepSeek?告别【服务器繁忙,请稍后再试。】引言使用渠道一:硅基流动 Chatbox AI【推荐】硅基流动 Chatbox AI的优势 使用渠道二:秘塔AI搜索秘塔AI搜索的优势 其它方案1. DeepSeek官网2. 纳…

Websocket从原理到实战

引言 WebSocket 是一种在单个 TCP 连接上进行全双工通信的网络协议,它使得客户端和服务器之间能够进行实时、双向的通信,既然是通信协议一定要从发展历史到协议内容到应用场景最后到实战全方位了解 发展历史 WebSocket 最初是为了解决 HTTP 协议在实时…

学习Cherry Studio AI服务平台,主要是各种功能的实践(deepseek 1.5b和7b的模型+ChatGLM3模型)

Cherry Studio 介绍 Cherry Studio 是一个支持多模型服务的桌面客户端,为专业用户而打造,内置 30 多个行业的智能助手,帮助用户在多种场景下提升工作效率。 CherryStudio内置众多服务商 同时也支持其他兼容OpenAI/Anthropic等API格式的服务…

【实用教程】在 Android Studio 中连接 MuMu 模拟器

MuMu 模拟器是一个非常流行的安卓模拟器,特别适合开发人员进行应用测试,我使用它的根本原因在于Android Studio自带的AVM实现是太难用了,但是Mumu模拟器启动以后不会自动被Android Studio识别到,但是其他模拟器都是能够正常被Andr…

Linux 系统搭建 Python 开发环境全流程

Linux 系统搭建 Python 开发环境全流程 Python 解释器下载 Pycharm 对应版本解压安装包进入解压后的目录启动 Pycharm创建桌面快捷方式(可选)Pycharm 配置创建第一个目录第一个程序运行补充 Python 解释器 确保电脑里已经有了python解释器,没…

第16章 Single Thread Execution设计模式(Java高并发编程详解:多线程与系统设计)

简单来说, Single Thread Execution就是采用排他式的操作保证在同一时刻只能有一个线程访问共享资源。 1.机场过安检 1.1非线程安全 先模拟一个非线程安全的安检口类,旅客(线程)分别手持登机牌和身份证接受工作人员的检查,示例代码如所示。…

【区块链】区块链密码学基础

🌈个人主页: 鑫宝Code 🔥热门专栏: 闲话杂谈| 炫酷HTML | JavaScript基础 ​💫个人格言: "如无必要,勿增实体" 文章目录 区块链密码学基础引言一、哈希函数1.1 基本概念1.2 数学表达 二、非对称加密2.1…

NCV4275CDT50RKG 车规级LDO线性电压调节器芯片——专为新能源汽车设计的高可靠性电源解决方案

产品概述: NCV4275CDT50RKG 是一款符合 AEC-Q100 车规认证的高性能LDO(低压差线性稳压器),专为新能源汽车的严苛工作环境设计。该芯片支持 输出调节为 5.0 V 或 3.3 V,最大输出电流达 450mA,具备超低静态电流&#xf…

位运算算法篇:进入位运算的世界

位运算算法篇:进入位运算的世界 本篇文章是我们位运算算法篇的第一章,那么在我们是算法世界中,有那么多重要以及有趣的算法,比如深度优先搜索算法以及BFS以及动态规划算法等等,那么我们位运算在这些算法面前相比&#…

高端入门:Ollama 本地高效部署DeepSeek模型深度搜索解决方案

目录 一、Ollama 介绍 二、Ollama下载 2.1 官网下载 2.2 GitHub下载 三、模型库 四、Ollmal 使用 4.1 模型运行(下载) 4.2 模型提问 五、Ollama 常用命令 相关推荐 一、Ollama 介绍 Ollama是一个专为在本地机器上便捷部署和运行大型语言模型&…

Cursor无法使用老版本python debug的解决办法

我服务器上的python版本是3.6.8,使用官方的python插件进行debug的时候,弹窗提示说不支持3.7以下的,建议升级python,但是我的工程就是3.6.8的屎山,辗转发现一个土办法: 手动下载老版本的python插件&#xff…

如今物联网的快速发展对hmi的更新有哪些积极影响

一、功能更加丰富 物联网的快速发展使得 HMI(人机界面)能够连接更多的设备和系统,从而实现更加丰富的功能。例如,通过与传感器网络的连接,HMI 可以实时显示设备的运行状态、环境参数等信息,为用户提供更加…

黑马 Linux零基础快速入门到精通 笔记

初识Linux Linux简介 提及操作系统,我们可能最先想到的是windows和mac,这两者都属于个人桌面操作系统领域,而Linux则属于服务器操作系统领域。无论是后端软件、大数据系统、网页服务等等都需要运行在Linux操作系统上。 Linux是一个开源的操作…