Azure AI 内容安全Content Safety Studio实战

news2024/11/17 17:40:21

Azure AI Content Safety 检测应用程序和服务中用户生成和 AI 生成的有害内容。 Azure AI 内容安全包括文本和图像 API，可用于检测有害材料。 交互式 Content Safety Studio，可用于查看、浏览和试用用于检测不同形式的有害内容的示例代码。

关注TechLead，分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，同济本复旦硕，复旦机器人智能实验室成员，阿里云认证的资深架构师，项目管理专业人士，上亿营收AI产品研发负责人

目录

    • 什么是 Azure AI 内容安全？
    • 使用场合
    • 产品类型
    • Content Safety Studio
      • Content Safety Studio 功能
      • 分析文本内容
      • 检测越狱风险
      • 分析图像内容
      • 查看和导出代码
      • 监视联机活动
      • 管理资源
    • 输入要求
    • 安全性
      • 使用 Microsoft Entra ID 或托管标识管理访问权限
      • 静态数据加密
    • Azure AI 内容安全支持的语言
      • 文本审查

file

什么是 Azure AI 内容安全？

Azure AI Content Safety 检测应用程序和服务中用户生成和 AI 生成的有害内容。 Azure AI 内容安全包括文本和图像 API，可用于检测有害材料。 交互式 Content Safety Studio，可用于查看、浏览和试用用于检测不同形式的有害内容的示例代码。内容筛选软件可以帮助你的应用遵守法规或维护用户的预期环境。

使用场合

下面是软件开发人员或团队需要使用内容审核服务的一些场景：

  • 在联机市场中审查产品目录和其他用户生成的内容。
  • 在游戏公司中审查用户生成的游戏项目和聊天室。
  • 对用户添加的图片和文字进行审查的社交通讯平台。
  • 企业媒体公司对其内容进行集中式审查。
  • K-12 教育解决方案提供商为学生和教师筛选掉不当的内容。
  • 不能使用 Azure AI 内容安全检测非法儿童剥削图像。

产品类型

此服务提供不同类型的分析。 下表介绍当前可用的 API。

类型功能
分析文本 API扫描文本以检测多种严重性级别的色情、暴力、仇恨和自残内容。
分析图像 API扫描图像以检测多种严重性级别的色情、暴力、仇恨和自残内容。
越狱风险检测（新功能）扫描文本以查找大型语言模型上的[越狱攻击风险]
受保护材料文本检测（新功能）扫描 AI 生成的文本以查找已知文本内容（例如歌词、文章、食谱、选定的 Web 内容）。

Content Safety Studio

file
Azure AI Content Safety Studio 是一种在线工具，旨在使用先进的内容审核 ML 模型处理可能存在的冒犯性、有风险或不良的内容。 它提供模板和自定义工作流，让用户能够选择和构建自己的内容审核系统。 用户可以上传自己的内容，也可以使用提供的示例内容进行试用。

Content Safety Studio 不仅包含现成的 AI 模型，还包含 Microsoft 内置术语阻止列表，用于标记不雅内容并及时了解新趋势。 你还可以上传自己的阻止列表，拓展有害内容的覆盖范围以满足特定用例。

该工作室还允许设置审核工作流，可在其中持续监视和提高内容审核性能。 可帮助你满足各种行业（如游戏、媒体、教育、电子商务等）的内容要求。 企业可以轻松地将其服务连接到该工作室，并实时审核其内容（包括用户生成的内容以及 AI 生成的内容）。

所有这些功能都由工作室及其后端处理，客户无需操心模型开发。 可以载入数据以快速验证并对 KPI 进行相应的监视，例如技术指标（延迟、准确性、召回率）或业务指标（阻止率、阻止量、类别比例、语言比例等）。 通过简单的操作和配置，客户可以快速测试不同的解决方案并找到最合适的解决方案，而无需花时间试验自定义模型或手动进行审核。

Content Safety Studio 功能

内容安全工作室中提供以下 Azure AI 内容安全服务功能：

  • 审查文本内容：使用文本审查工具，可以轻松对文本内容运行测试。 无论是要测试单个句子还是整个数据集，我们的工具都为你提供用户友好的界面，让你可以直接在门户中评估测试结果。 可以尝试使用不同的敏感度级别来配置内容筛选器和阻止列表管理，确保内容始终按照确切规范进行审核。 此外，借助导出代码的功能，可以直接在应用程序中实现该工具，从而简化工作流并节省时间。

  • 审查图像内容：使用图像审查工具，可以轻松对图像运行测试，以确保它们符合内容标准。 使用用户友好的界面，可以直接在门户中评估测试结果，并且可以尝试使用不同的敏感度级别来配置内容筛选器。 自定义设置后，可以轻松导出代码，在应用程序中实现该工具。

  • 监视联机活动：借助功能强大的监视页面，你可以轻松地跟踪不同形式的审查 API 使用情况和趋势。 使用此功能，可以访问详细的响应信息，包括类别和严重性分布情况、延迟、错误和阻止列表检测。 此信息提供内容审查性能的完整概述，让你能优化工作流，并确保内容始终按照确切规范进行审核。 使用我们的用户友好界面，可以快速轻松地导航监视页面，以访问在内容审核策略方面做出明智决策所需的信息。 你拥有随时了解内容审核性能以及实现内容目标所需的工具。

分析文本内容

“审查文本内容”页提供快速试用文本审查的功能。
file

  1. 选择“审查文本内容”面板。

  2. 将文本添加到输入字段，或从页面上的面板中选择示例文本。

    提示

    文本大小和粒度

    文本提交的默认最大长度为 10K 个字符。

  3. 选择“运行测试”。

该服务返回检测到的所有类别，以及每个类别的严重性级别（0-安全、2-低、4-中、6-高）。 它还会根据配置的筛选器返回二进制的“已接受”/“已拒绝”结果。 使用右侧“配置筛选器”选项卡中的矩阵为每个类别设置允许/禁止的严重性级别。 然后，可以再次运行文本以查看筛选器的效果。

通过右侧的“使用阻止列表”选项卡，可以创建、编辑阻止列表并将其添加到审查工作流。 如果在运行测试时启用了阻止列表，则会在“结果”下获取“阻止列表检测”面板。 该面板会报告阻止列表的任何匹配项。

检测越狱风险

在“越狱风险检测”面板中可以尝试进行越狱风险检测。 越狱攻击是用户提示，旨在激怒生成式 AI 模型展示它训练的行为，以避免或打破系统消息中设置的规则。 这些攻击可以是复杂的角色扮演，也可以是对安全目标的微妙颠覆。
file

  1. 选择“越狱风险检测”面板。
  2. 选择页面上的示例文本，或输入自己的内容进行测试。 还可以上传 CSV 文件以执行批量测试。
  3. 选择“运行测试”。

服务将返回每个样本的越狱风险级别和类型。 你还可以通过选择“详细信息”按钮来查看越狱风险检测结果的详细信息。

分析图像内容

“审查图像内容”页提供快速试用图像审查的功能。

file

  1. 选择“审查图像内容”面板。
  2. 从页面上的面板中选择示例图像，或上传自己的图像。 提交图像的最大大小为 4MB，图像尺寸必须介于 50x50 像素到 2048x2048 像素之间。 图像可以是 JPEG、PNG、GIF、BMP、TIFF 或 WEBP 格式。
  3. 选择“运行测试”。

该服务返回检测到的所有类别，以及每个类别的严重性级别（0-安全、2-低、4-中、6-高）。 它还会根据配置的筛选器返回二进制的“已接受”/“已拒绝”结果。 使用右侧“配置筛选器”选项卡中的矩阵为每个类别设置允许/禁止的严重性级别。 然后，可以再次运行文本以查看筛选器的效果。

查看和导出代码

可以使用“分析文本内容”或“分析图像内容”页中的“查看代码”功能查看和复制示例代码，其中包括严重性筛选、阻止列表和审查函数的配置。 然后，你可以自行部署代码。

file

监视联机活动

使用“监视联机活动”页可以查看 API 使用情况和趋势。

file
你可以选择要监视的媒体类型。 还可以通过选择“显示以下时间段内的数据:__”来指定要检查的时间范围。

在“每个类别的拒绝率”图表中，还可以调整每个类别的严重性阈值。
file
如果要根据“十大禁用字词”图表更改某些字词，也可以编辑阻止列表。

管理资源

若要查看资源详细信息（如名称和定价层），请选择 Content Safety Studio 主页右上角的“设置”图标，然后选择“资源”选项卡。如果有其他资源，也可以在此处切换资源。
file

输入要求

文本提交的默认最大长度为 10K 个字符。 如果需要分析较长的文本块，可以跨多个相关提交拆分输入文本（例如使用标点符号或空格）。

提交图像的最大大小为 4MB，图像尺寸必须介于 50x50 像素到 2048x2048 像素之间。 图像可以是 JPEG、PNG、GIF、BMP、TIFF 或 WEBP 格式。

安全性

使用 Microsoft Entra ID 或托管标识管理访问权限

为了实现增强的安全性，可以使用 Microsoft Entra ID 或托管实例 (MI) 来管理对资源的访问。

  • 在创建内容安全资源时，将会自动启用托管标识。
  • API 和 SDK 方案都支持 Microsoft Entra ID。

静态数据加密

了解 Azure AI 内容安全如何处理[数据的加密和解密]。 客户管理的密钥 (CMK)（也称为创建自己的密钥 (BYOK)）在创建、轮换、禁用和撤销访问控制方面具有更大的灵活性。 此外，你还可以审核用于保护数据的加密密钥。

你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

Azure AI 内容安全支持的语言

文本审查

Azure AI 内容安全文本审查功能支持多种语言，但它只针对少数语言进行了专门训练和测试。

备注

语言自动检测

无需为文本审查指定语言代码，服务会自动检测你的输入语言。

语言名称语言代码文本审查经过专门训练
南非荷兰语af✔
阿尔巴尼亚语sq✔
阿姆哈拉语am✔
阿拉伯语ar✔
亚美尼亚语hy✔
阿塞拜疆语az✔
Banglabn✔
巴斯克语eu✔
白俄罗斯语be✔
保加利亚语bg✔
保加利亚语 (拉丁文)bg-Latn✔
缅甸语my✔
加泰罗尼亚语ca✔
宿雾语ceb✔
中文zh✔✔
中文（拉丁语）zh-Latn✔
柯西嘉语co✔
克罗地亚语hr✔
捷克语cs✔
丹麦语da✔
荷兰语nl✔
英语en✔✔
世界语eo✔
爱沙尼亚语et✔
菲律宾语fil✔
芬兰语fi✔
法语fr✔✔
加利西亚语gl✔
格鲁吉亚语ka✔
德语de✔✔
希腊语el✔
希腊语（拉丁语）el-Latn✔
古吉拉特语gu✔
海地语ht✔
豪撒语ha✔
夏威夷语haw✔
希伯来语iw✔
Hindihi✔
北印度语（拉丁语脚本）hi-Latn✔
苗语（蒙古）hmn✔
匈牙利语hu✔
冰岛语is✔
伊博语ig✔
印度尼西亚语id✔
爱尔兰语ga✔
意大利语it✔✔
日语ja✔✔
日语（拉丁语）ja-Latn✔
爪哇文jv✔
哈萨克语kk✔
高棉语km✔
朝鲜语ko✔
库尔德语ku✔
柯尔克孜语ky✔
老挝语lo✔
拉丁语la✔
拉脱维亚语lv✔
立陶宛语lt✔
卢森堡语lb✔
马其顿语mk✔
马达加斯加语mg✔
马来语ms✔
马拉雅拉姆语ml✔
马耳他语mt✔
毛利语mi✔
马拉地语mr✔
蒙古语mn✔
尼泊尔语ne✔
尼昂加语ny✔
挪威语no✔
普什图语ps✔
波斯语fa✔
波兰语pl✔
葡萄牙语pt✔✔
旁遮普语pa✔
罗马尼亚语ro✔
俄语ru✔
俄语（拉丁语）ru-Latn✔
苏格兰盖尔语gd✔
塞尔维亚语sr✔
绍纳语sn✔
信德语sd✔
僧伽罗语si✔
斯洛伐克语sk✔
斯洛文尼亚语sl✔
索马里语so✔
南索托语st✔
西班牙语es✔✔
巽他语su✔
斯瓦希里语sw✔
瑞典语sv✔
塔吉克语tg✔
泰米尔语ta✔
泰卢固语te✔
泰语th✔
土耳其语tr✔
乌克兰语uk✔
未知语言und✔
乌尔都语ur✔
乌兹别克语uz✔
越南语vi✔
威尔士语cy✔
西弗里西亚语fy✔
班图语xh✔
意第绪语yi✔
约鲁巴语yo✔
祖鲁语zu✔

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1368299.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

实践论原文与解读

实践论原文与解读

文章目录 一、原文二、解读1：世界是怎样的？社会是怎样的？每一个单独的个体是怎样和这个世界广泛联系的？想要读懂实践论这是首先要解决的问题。2：认知在生命实践中起怎样的作用？命运是什么？人是否…
阅读更多...
C#.Net学习笔记——设计模式六大原则

C#.Net学习笔记——设计模式六大原则

***************基础介绍*************** 1、单一职责原则 2、里氏替换原则 3、依赖倒置原则 4、接口隔离原则 5、迪米特法原则 6、开闭原则 一、单一职责原则 举例：类T负责两个不同的职责：职责P1，职责P2。当由于职责P1需求发生改变而需要修…
阅读更多...
【Java 设计模式】设计原则

【Java 设计模式】设计原则

文章目录 ✨单一职责原则（SRP）✨开放/封闭原则（OCP）✨里氏替换原则（LSP）✨依赖倒置原则（DIP）✨接口隔离原则（ISP）✨合成/聚合复用原则（CARP&#…
阅读更多...
Golang-strconv库学习笔记

Golang-strconv库学习笔记

前言： strconv库是go官方提供的一个标准包，主要用于字符串相关的处理。通过参考官方文档、中文文档和其他工具，进行学习记录。学习重点是其中的内置方法。 本文分为Atoi，Format系列，Parse系列，Append系列,…
阅读更多...
C++每日一练（14）：对称矩阵的判定

C++每日一练（14）：对称矩阵的判定

题目描述 输入矩阵的行数&#xff0c;再依次输入矩阵的每行元素&#xff0c;判断该矩阵是否为对称矩阵&#xff0c;若矩阵对称输出“yes"&#xff0c;不对称输出”no“。 输入 第一行输入一个正整数N&#xff08;N<20&#xff09;&#xff0c;表示矩阵的行数&#xff0…
阅读更多...
UV贴图和展开初学者指南

UV贴图和展开初学者指南

在线工具推荐&#xff1a; 3D数字孪生场景编辑器 - GLTF/GLB材质纹理编辑器 - 3D模型在线转换 - Three.js AI自动纹理开发包 - YOLO 虚幻合成数据生成器 - 三维模型预览图生成器 - 3D模型语义搜索引擎 介绍 这正是本文的主题——UV贴图——登上舞台的时候。大多数 3D 建…
阅读更多...
苹果在美国被禁售有望反转！

苹果在美国被禁售有望反转！

都说开门大吉，可2024年似乎对苹果公司并不友好，一会儿是Apple Watch系列在美国被禁售，一会儿又是分析师唱衰iPhone 16，总之各种风声杂糅，给人一种苹果正遭遇重大危机的感觉。 此前美国国际贸易委员会（ITC）下达了对苹果旗下部分智能手表的进口禁令，Apple Watch Series9和…
阅读更多...
ssm基于Vue的戏剧推广网站论文

ssm基于Vue的戏剧推广网站论文

摘 要 如今社会上各行各业&#xff0c;都喜欢用自己行业的专属软件工作&#xff0c;互联网发展到这个时候&#xff0c;人们已经发现离不开了互联网。新技术的产生&#xff0c;往往能解决一些老技术的弊端问题。因为传统戏剧推广信息管理难度大&#xff0c;容错率低&#xff0c…
阅读更多...
解锁前端新潜能：如何使用 Rust 锈化前端工具链

解锁前端新潜能：如何使用 Rust 锈化前端工具链

前言 近年来&#xff0c;Rust的受欢迎程度不断上升。首先&#xff0c;在操作系统领域&#xff0c;Rust 已成为 Linux 内核官方认可的开发语言之一&#xff0c;Windows 也宣布将使用 Rust 来重写内核&#xff0c;并重写部分驱动程序。此外&#xff0c;国内手机厂商 Vivo 也宣布…
阅读更多...
【推文】企业级AI问答知识库训练营，火热开营中！

【推文】企业级AI问答知识库训练营，火热开营中！

简介&#xff1a;阿里云人工智能平台PAI【企业AI成长营】系列课程上线&#xff01;第一弹&#xff1a;企业AI问答知识库训练营&#xff0c;手把手带你从入门到实操快速完成知识库搭建&#xff0c;助力企业AI应用落地。 &#x1f4da; 企业AI问答知识库训练营&#xff1a;点击报…
阅读更多...
【习题】应用程序框架

【习题】应用程序框架

判断题 1. 一个应用只能有一个UIAbility。错误(False) 正确(True)错误(False) 2. 创建的Empty Ability模板工程&#xff0c;初始会生成一个UIAbility文件。正确(True) 正确(True)错误(False) 3. 每调用一次router.pushUrl()方法&#xff0c;页面路由栈数量均会加1。错误(Fal…
阅读更多...
综合智慧能源监测管理平台，实现能源管理“透明”化

综合智慧能源监测管理平台，实现能源管理“透明”化

能源问题是全球面临的最大问题&#xff0c;在提高经济增长的同时&#xff0c;也引发了能源供应危机及环境严重等问题&#xff0c;降低能源管理、低碳环保是我们未来发展的必经之路。 为了解决这一问题&#xff0c;智慧能源管理平台应运而生。平台采用微服务架构&#xff0c;整…
阅读更多...
局域网IP地址冲突、环路的罪魁祸首是什么？

局域网IP地址冲突、环路的罪魁祸首是什么？

中午好&#xff0c;我的网工朋友。 这个时代&#xff0c;网络已经贯穿了人们的生活&#xff0c;对企业而言&#xff0c;办公信息化更是离不开网络支持。 为了提高安全管理和信息化水平&#xff0c;很多企业都建立了完善的办公信息系统&#xff0c;但一些企业在网络建设方面还…
阅读更多...
代码随想录算法训练营第二十八天 | 93.复原IP地址、78.子集、90.子集II

代码随想录算法训练营第二十八天 | 93.复原IP地址、78.子集、90.子集II

93.复原IP地址 题目链接&#xff1a;93.复原IP地址 有效 IP 地址 正好由四个整数&#xff08;每个整数位于 0 到 255 之间组成&#xff0c;且不能含有前导 0&#xff09;&#xff0c;整数之间用 . 分隔。 例如&#xff1a;"0.1.2.201" 和 "192.168.1.1"…
阅读更多...
网站如何创建百度地图显示地理位置

网站如何创建百度地图显示地理位置

在做企业网站的时候&#xff0c;我们会放置一个地理位置&#xff0c;我们可以引用百度地图&#xff0c;来显示我们的店铺所在位置 效果演示&#xff1a; 操作步骤 1、打开百度地图https://map.baidu.com/&#xff0c;搜索输入地址 2、点击地址 3、会出现如下视图 4、点击分享…
阅读更多...
typora导出html添加目录

typora导出html添加目录

typora导出html添加目录 使用方法 首先要从typora导出html文件&#xff0c;之后用记事本编辑器html文件 找到文档最后面&#xff0c;如图&#xff1a; 用文字编辑类工具打开sideBar.txt&#xff0c;复制其中所有内容【内容在下面】 在如上图的位置插入所复制的内容 打开修改…
阅读更多...
Linux下安装JET2

Linux下安装JET2

0. 说明&#xff1a; JET2是一个基于Joint Evolutionary Trees的利用序列和结构信息预测蛋白质界面的软件&#xff0c;详情见: http://www.lcqb.upmc.fr/JET2/JET2.html&#xff0c;http://www.lgm.upmc.fr/JET/JET.html 和 https://doi.org/10.1371/journal.pcbi.1004580 本…
阅读更多...
计算机体系结构动态调度（计分板及Tomasulo）学习记录

计算机体系结构动态调度（计分板及Tomasulo）学习记录

1.动态调度核心思想&#xff1a;允许就绪指令越过前方停顿指令&#xff0c;提前进入运行&#xff08;乱序执行&#xff09; 就绪指令指不存在资源冲突、操作数已就绪的指令&#xff0c;例如&#xff0c;计分板算法使用计分板来实现&#xff0c;Tomasulo使用保留站来实现&#…
阅读更多...
白灯和黄灯哪个更保护视力？安利保护视力的护眼台灯

白灯和黄灯哪个更保护视力？安利保护视力的护眼台灯

现代社会&#xff0c;人们的生活和工作都离不开电子产品&#xff0c;长时间面对电脑、手机等设备造成的眼睛疲劳和视力衰退的问题也愈发普遍。为此&#xff0c;护眼台灯应运而生&#xff0c;旨在为用户提供更加舒适、健康的光源&#xff0c;减少对眼睛的伤害&#xff0c;同时提…
阅读更多...
pytorch09：可视化工具-TensorBoard，实现卷积核和特征图可视化

pytorch09：可视化工具-TensorBoard，实现卷积核和特征图可视化

目录 一、TensorBoard简介二、TensorBoard安装三、TensorBoard运行可视化四、TensorBoard详细使用4.1 SummaryWriter4.2 add_scalar()4.3 add_scalars()4.4 add_histogram()4.4.1实际项目开发使用 4.5 add_image()4.6 torchvision.utils.make_grid4.7 卷积核和特征图可视化4.7.…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023