使用 MongoDB 向量搜索和 OpenAI 进行反洗钱和预防欺诈

news2024/11/16 1:46:02

使用 MongoDB Vector Search 和 OpenAI 进行反洗钱和预防欺诈

欺诈和反洗钱 (AML) 是企业和消费者的主要担忧,影响金融服务和电子商务等行业。解决这些问题的传统方法包括静态、基于规则的系统和预测人工智能 (AI) 方法,这些方法虽然有效,但也有局限性,例如缺乏背景信息和特征工程开销以保持模型的相关性,这可能会耗费大量时间和成本。

通过解决这些限制,向量搜索可以显著改善 欺诈检测 和反洗钱工作,代表机器学习在打击欺诈方面的下一步发展。任何已经从实时分析中受益的组织都会发现,这一异常检测突破将欺诈和反洗钱检测准确性提升到了一个新的水平。

在这篇文章中,我们将研究Mongo Atlas Vector Search 支持的实时分析如何 帮助组织在欺诈发生之前发现深层隐藏的见解。

欺诈和风险技术的演变

在过去的几十年中,欺诈和风险技术分阶段发展,每个阶段都建立在以前方法的优势之上,同时也解决了它们的弱点:

风险 1.0: 在早期阶段(20 世纪 90 年代末至 2010 年),风险管理严重依赖人工流程和人为判断,决策基于直觉、过往经验和有限的数据分析。此时出现了基于规则的系统,使用预定义规则来标记可疑活动。这些规则通常是静态的, 缺乏对不断变化的欺诈模式的适应性

风险 2.0: 随着机器学习和高级分析的发展(从 2010 年开始),风险管理进入了 2.0 的新时代。预测建模技术被用于预测未来风险和检测欺诈行为。系统根据历史数据进行训练,变得更加集成,从而实现实时数据处理和决策过程的自动化。然而,这些系统面临着一些限制,例如:

特征工程开销: Risk 2.0 系统通常需要手动特征工程。

缺乏背景: 风险 1.0 和风险 2.0 可能没有包含广泛的变量和背景信息。

Risk 2.0 解决方案通常与基于规则的方法结合使用,因为规则是不可避免的。公司有其业务和领域特定的启发式方法以及其他必须应用的规则。

风险 3.0: 欺诈和风险技术发展的最新阶段(2023 年及以后)由矢量搜索驱动。这一进步利用实时数据馈送和持续监控来检测新出现的威胁并适应不断变化的风险形势,解决数据不平衡、手动特征工程和大量人工监督需求的局限性,同时纳入更广泛的变量和上下文信息。

根据具体的用例,组织可以组合或使用这些解决方案来有效地管理和降低与欺诈和反洗钱相关的风险。

现在,让我们看看 MongoDB Atlas Vector Search (Risk 3.0)如何帮助增强现有的欺诈检测方法。

Mongo Vector Search 如何提供帮助

矢量数据库是一种有组织的信息集合,可以更轻松地找到不同数据之间的相似性和关系。与使用独立或附加的矢量数据库相比,这一定义使 MongoDB 具有独特的高效性。MongoDB 开发人员数据平台的多功能性使用户能够将其操作数据、元数据和矢量嵌入存储在 MongoDB Atlas 上,并无缝使用 Atlas Vector Search 来索引、检索和构建高性能的 gen AI 应用程序。

实时分析和向量搜索的结合提供了强大的协同作用,使组织能够发现传统方法无法发现的见解。MongoDB 通过与 OpenAI 嵌入集成的 Atlas Vector Search 实现了这一点,如下图 1 所示。

图 1:Atlas Vector Search 在欺诈检测和反洗钱方面的实际应用

alt

商业视角:欺诈检测与反洗钱

在深入研究向量嵌入的使用之前,了解推动欺诈检测和反洗钱的不同业务目标和运营流程至关重要。

欺诈检测的 核心是识别那些通过欺骗手段获取即时经济利益的未经授权的活动。因此,检测模型会在交易数据中寻找表明此类活动的特定模式。例如,它们可能专注于高频、低价值的交易,这是欺诈行为的常见指标。另一方面, 反洗钱的 目标是掩盖非法资金来源的复杂过程。这里的模型分析更广泛、更复杂的交易网络和行为,以识别潜在的洗钱活动。例如,反洗钱可以研究较长时期内交易与实体之间的关系。

为欺诈和反洗钱创建向量嵌入

欺诈和反洗钱模型需要不同的方法,因为它们针对不同类型的犯罪活动。为了准确识别这些活动,机器学习模型使用针对每种检测类型的特征量身定制的向量嵌入。

在图 1 中突出显示的此解决方案中,使用文本、交易和交易对手数据的组合来创建用于欺诈检测的向量嵌入。相反,用于 AML 的嵌入是根据交易数据、交易对手之间的关系及其风险状况生成的。可以自定义数据源的选择,包括使用非结构化数据和创建一个或多个向量嵌入,以满足特定需求。此特定解决方案利用 OpenAI 来生成向量嵌入,但也可以使用其他软件选项。

历史向量嵌入 是将过去的交易数据和客户资料编码为向量格式的表示。演示数据库预先填充了欺诈和反洗钱嵌入的合成测试数据。在实际场景中,您可以通过将历史交易数据和客户资料编码为向量来创建嵌入。

关于 欺诈和反洗钱检测工作流程 ,如图 1 所示,传入的交易欺诈和反洗钱聚合文本用于使用 OpenAI 生成嵌入。然后使用 Atlas Vector Search 根据被标记为可疑活动的具有相似特征的先前交易的百分比来分析这些嵌入。

在图 1 中,“已分类交易 ”一词 表示已被检测系统处理和分类的交易。此分类有助于确定交易是否被视为正常、潜在欺诈或表明存在洗钱行为,从而指导进一步的行动。

如果被标记为欺诈:交易请求被拒绝。

如果没有标记:交易已成功完成,并显示确认消息。

对于被拒绝的交易,用户可以使用交易参考号联系案件管理服务以获取详细信息。成功的交易无需采取任何行动。

结合Mongo Atlas Vector Search 进行欺诈检测

通过使用带有 OpenAI 嵌入的 Atlas Vector Search,组织可以:

消除预测(风险 2.0)方法所需的批量和手动特征工程的需要。

动态整合新数据源以执行更准确的语义搜索,应对新出现的欺诈趋势。

对于移动解决方案,请采用此方法,因为传统方法通常成本高昂且性能要求高。

为什么 MongoDB 可以用于反洗钱和预防欺诈

欺诈和反洗钱检测需要整体平台方法,因为它们涉及不断变化的各种数据集。客户选择 MongoDB 是因为它是一个统一的数据平台(如下图 2 所示),无需使用专用矢量数据库等小众技术。

此外,MongoDB 的文档数据模型可以包含任何类型的数据 - 任何结构(结构化、半结构化和非结构化)、任何格式、任何来源 - 无论其变化频率如何,都可以让您创建客户的整体图景,以便更好地实时预测交易异常。

通过整合 Atlas Vector Search,机构可以:

构建由针对任何类型数据的语义搜索和生成式 AI 驱动的智能应用程序。

将向量嵌入存储在源数据和元数据旁边。数据库中插入或更新的向量会自动同步到向量索引。

使用搜索节点 优化资源消耗、提高性能并增强可用性 。

通过久经考验、完全托管的 MongoDB Atlas 开发人员数据平台消除繁重的运营工作。

图2:统一风险管理和欺诈检测数据平台

alt

鉴于欺诈检测和反洗钱的广泛性和不断发展性,这些领域通常需要多种方法和多模式方法。因此,统一的风险数据平台为旨在构建有效解决方案的组织提供了多种优势。使用 MongoDB,您可以单独或组合开发 Risk 1.0、Risk 2.0 和 Risk 3.0 的解决方案,以满足您的特定业务需求。

这些概念通过两个示例进行了演示: Risk 1.0 和 Risk 2.0 的 信用卡欺诈解决方案加速器以及 Risk 3.0 的新 向量搜索解决方案 ,如本博客中所述。值得注意的是,基于向量搜索的 Risk 3.0 解决方案可以在 Risk 1.0 和 Risk 2.0 之上实施,以提高检测准确性并减少误报。

原文链接:https://www.mongodb.com/blog/post/anti-money-laundering-fraud-prevention-mongodb-vector-search-openai

原文作者:Ainhoa Múgica、Shiv Pullepu、Jack Yallop和Paul Claret

本文由 mdnice 多平台发布

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1950042.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

数据结构--单链表代码(王道书上代码手敲!!!)c++

目录 1.带头结点的初始化以及检查单链表是否为空 2.不带头结点的单链表初始化以及表是否为空检查 3.带头结点按位序插入 4.不带头结点的按位序插入 5.带头结点的后插,前插,按位删除,删除固定节点操作 6 不带头结点的后插,前…

算法 —— 暴力枚举

目录 循环枚举 P2241 统计方形(数据加强版) P2089 烤鸡 P1618 三连击(升级版) 子集枚举 P1036 [NOIP2002 普及组] 选数 P1157 组合的输出 排列枚举 P1706 全排列问题 P1088 [NOIP2004 普及组] 火星人 循环枚举 顾名思…

C语言进阶——一文带你深入了解“C语言关键字”(中篇)

本篇文章属于C语言进阶篇的“C语言关键字”,旨在分享我对C语言关键字的深度学习和了解。同时带领大家深入浅出的走进C语言进阶知识——关键字篇! 目录 一、变量的命名规则 二、标识符的命名规则 一、变量的命名规则 1、命名应当直观且可以拼读&#x…

Linux网络:传输层协议TCP(一)

目录 一、TCP协议的定义 二、确认应答机制ACK 三、序号、确认序号 四、超时重传机制 一、TCP协议的定义 TCP 全称为 "传输控制协议(Transmission Control Protocol"). 人如其名, 要对数据的传 输进行一个详细的控制; TCP 协议段格式 • 源/目的端口号: 表示数据…

基于微信小程序+SpringBoot+Vue的美食推荐平台(带1w+文档)

基于微信小程序SpringBootVue的美食推荐平台(带1w文档) 基于微信小程序SpringBootVue的流浪动物救助(带1w文档) 当微信小程序占领了多半江山,目前不分年龄和种族,使用频率最高,覆盖面积最广。使用人群使用的大多数都是微信小程序。目前国内最…

刷题计划 day5 哈希表上

⚡刷题计划day5继续,可以点个免费的赞哦~ 今天开启哈希表刷题专题,往期可看专栏,关注不迷路, 您的支持是我的最大动力🌹~ 目录 ⚡刷题计划day5继续,可以点个免费的赞哦~ 今天开启哈希表刷题专题&#x…

多节点网络流量对比分析在业务性能分析中的应用

在现代企业网络环境中,网络流量分析已成为确保业务连续性和优化性能的关键工具。特别是多节点网络流量对比分析,通过对比不同节点间的流量,能有效发现潜在问题,提高网络运维效率。本文将探讨多节点网络流量对比分析在业务性能分析…

初识C++ · AVL树(1)

目录 前言: 1 AVL树的创建 2 部分成员函数 2.1 查找 2.2 中序遍历 2.3 插入 2.4 左旋转 2.5右旋转 前言: 上文,上上文提到了map set,二叉搜索树,其实都是为了近两文做铺垫的,虽然map的底层是红黑树…

Android statsd 埋点简析

源码基于:Android U 0. 前言 最近在研究 Android 自带的系统数据指标采集功能,框架依旧很严谨、完美,这里做个分享。 1. Android S 之后变化 stats 的代码从 framework 或 system/core 中转移到了 packages/modules/StatsD 目录中。 2. 框架…

结构拼图的艺术——组合模式(Python实现)

大家好,今天我们继续来讲结构型设计模式,上一期我们介绍了桥接模式,帮助大家理解了如何通过分离抽象部分和实现部分来实现代码的解耦。 今天,我们将介绍另一个非常实用的设计模式——组合模式,这个模式特别适合用于处…

Vue3 + Vite 打包引入图片错误

1. 具体报错 报错信息 报错代码 2. 解决方法 改为import引入&#xff0c;注意src最好引用为符引入&#xff0c;不然docker部署的时候可能也会显示不了 <template><img :src"loginBg" alt""> </template><script langts setup> …

ili9341数据手册中的常用命令

一.设置液晶显示窗口 根据液晶屏的要求&#xff0c;在发送显示数据前&#xff0c;需要先设置显示窗口确定后面发送的像素数据的显示区域。下面的0x2A和0x2B分别对应的是y轴与x轴的命令。 /********** ILI934 命令 ********************************/ #define CMD_SetCoor…

keil调试SH79F7416

仿真器JET51A, 调试设置 选择器件 再次点击调试就一切正常啦

使用moco 完成挡板测试

这里写自定义目录标题 背景使用 moco 工具完成mock挡板功能1. 下载jar包2. 简单启动2.1 准备一个简单的json文件2.2 启动 高级运用同一接口的不同返回字段部分匹配 SONPath参数结构匹配 SON Struct JSON分模块 背景 mock测试&#xff08;挡板测试&#xff09;就是在测试过程中…

在jmeter中使用javascript脚本

工作上遇到一个压力测试的需求&#xff0c;需要测试几个考试相关的接口。其中有一个获取试题详情的接口&#xff0c;和一个提交答题信息的接口。后一个接口以上一接口的返回内容为参数&#xff0c;添加上用户的答案即可。jmeter提供了非常多的方式可以实现该需求&#xff0c;这…

保障企业数据主权:安全可控的爬虫工具与管理平台

摘要 在数据驱动的时代&#xff0c;企业对数据的需求日益增长&#xff0c;但如何在保障数据主权的前提下高效采集数据&#xff1f;本文深入探讨了选择安全可控爬虫工具与管理平台的重要性&#xff0c;分析了关键特性&#xff0c;并提出实用建议&#xff0c;助力企业维护数据安…

AWT200-HPLC-M载波通讯模块/智能网关

安科瑞AWT200-HPLC-M载波通讯模块适用于对数据实时性要求不高的系统&#xff0c;数据刷新速度大于1分钟&#xff0c;比如Acrel-5000能耗管理系统 电力线载波通讯模块AWT200-HPLC-M具备载波接收和网关通讯功能&#xff0c;支持三相载波数据采集&#xff0c;协议转换和数据上传平…

【Plotly-驯化】一文教你通过plotly画出动态可视化多变量分析:create_scatterplotmatrix

【Plotly-驯化】一文教你通过plotly画出动态可视化多变量分析&#xff1a;create_scatterplotmatrix 本次修炼方法请往下查看 &#x1f308; 欢迎莅临我的个人主页 &#x1f448;这里是我工作、学习、实践 IT领域、真诚分享 踩坑集合&#xff0c;智慧小天地&#xff01; &am…

windows USB 设备驱动开发- WinUSB 简介

WinUSB 是 Windows 随附的 USB 设备的通用驱动程序。WinUSB 包括&#xff1a; 内核模式驱动程序 (Winusb.sys)&#xff1b;公开 winusb.h 中所述的 WinUSB 函数的用户模式动态链接库 (Winusb.dll)。 借助这些函数&#xff0c;你可以使用用户模式软件管理 USB 设备&#xff1b;…

软件测试产教融合高质量发展论坛举办,开源网安受邀解读国家标准

近年来&#xff0c;在国家政策引导下&#xff0c;横跨教育体系内外的产教融合改革正在进行&#xff0c;推动了教育与产业深度融合、学校与企业协同发展。在软件安全领域&#xff0c;开源网安也一直走在产教融合发展的最前线&#xff0c;与各大高校建立了深度合作&#xff0c;双…