QA特辑|剪得断,理不乱,一场直播解开关联网络与反团伙欺诈谜团

news2024/10/2 22:25:51

11月 10 日下午15:00 第九期《关联网络技术在业务安全中的应用》正式开讲。顶象数据科学家翼龙详尽的介绍了关联网络在反团伙欺诈中的作用,深度剖析了关联网络的技术框架、关联网络的图谱构建以及关联网络的复杂算法,为反团伙欺诈提供了重要的参考。

直播过程中也吸引了不少粉丝前来围观,就关联网络的技术难点提出了自己的疑问。现将部分问题整理出来,供大家参考。


Q1:关联网络的可解释性怎么样?

翼龙:可解释性是一个很大的话题。我们说可解释性的时候,往往指的是模型的可解释性。可解释性的含义是模型在给出预测结果同时给出决策的依据,以及决策的过程是否透明。

在常见的机器学习算法中,决策树、评分卡(线性模型)具有良好的可解释性;而神经网络则是一个黑盒,可解释性较差。

在一些业务场景,特别是金融、保险相关的,由于合规要求和风控要求,对模型的可解释性要求较高,所以在这类业务场景中倾向于使用决策树、评分卡等可解释性较高的模型。

一般来说,关联网络技术的可解释性较好,体现在:

1.复杂网络算法通常有明确的计算过程,例如标签传播算法、PageRank等,有明确的计算公式,然后不断地迭代;

2.可以通过关联指标(拓扑结构、社区指标等)对风险预测的结果提供证据支撑;

3.可以通过图谱展示工具进行查询、探索,验证结果。

基于关联网络的解决方案中往往还会将模型和关联网络技术结合(例如信用卡养卡套现的反欺诈方案),为了满足可解释性,往往也会使用树模型等。


Q2:最后是以机器学习平台来演示关联网络的技术方案的,那么顶象有自己单独的关联网络平台吗?

翼龙:曾经有,现在和机器学习平台合并了。有两个出发点:

1.关联网络的解决方案中往往会同时使用到图算法和机器学习算法(例如信用卡养卡套现的反欺诈方案),为了便于数据的共享,在一个平台中实现更为便捷。

2.要实际落地解决业务问题,基于关联网络的解决方案就不仅仅是算法问题,而是工程化的问题,需要将复杂的流程自动化运行。机器学习平台提供了“调度任务”的功能,能很便捷地解决工程化落地的问题。

其实关联网络也好,模型也好,甚至是统计报表,都可以视为是数据的应用。只要是数据应用,都需要平台工具提供对数据同步、数据存储、数据管理、数据加工、数据展示、数据输出到下游业务系统等功能的支持。正因为需要很多通用的功能,所以才有必要合并。顶象的机器学习平台不仅是一个建模平台,更是一个数据调度中心。


Q3:如何更好掌握关联网络?有什么好的学习途径吗?

翼龙:首先,关联网络技术其实覆盖了很多内容,其中主要涉及到图谱的构建和复杂网络算

法的应用,所以可以重点学习一下知识图谱相关和图数据挖掘的相关内容。直播中也提到,斯坦福大学的《图机器学习》是很不错的教程,值得深入学习。

其次,关联网络技术是解决具体业务问题的解决方案,因此建议多了解相关的案例,并学会举一反三,针对一个业务问题的解决思路往往可以应用到别的场景中去。本次直播中分享了三个基于关联网络的解决方案,可以说是干货满满,希望大家多总结、多思考。


Q4:关联网络技术有什么局限性?

翼龙:我认为有两点:

1、效率问题

当网络中节点和边比较多的时候,不管是构建图谱还是运用图算法,都非常耗时。

2、实时性

也正是因为效率问题,通常以离线T-1的方式构建图谱,意思是线上使用的图谱,是由昨天及昨天之前的数据构建而成的,无法做到实时更新图谱。

弥补方式:风控策略中需要用到的风险关联性指标通过流计算直接得到。


Q5:信用卡养卡套现的案例中,在使用标签传播算法之前,为何采用卡与POS机的二部图,而不进一步抽象为只有卡的同构网络?

翼龙:在二部图中使用标签传播算法时,可以理解为拆分成了计算卡和计算POS机的风险概率两部分交替进行(即风险只能从卡传播到POS机或从POS机到卡)。

实际情况是卡的数量远远多于POS机的数量,如果利用隐含关系直接从二部图中抽取卡的同构网络,边的数目会远远多于点的数目,会大大提高计算的复杂度。

在直播的案例分享中,我们还介绍了一个变体,就是通过时序关系构建卡的时序关联网络,其本质就是简化了上述卡的同构网络。


Q6:超级节点如何处理?

翼龙:首先判断这个超级节点是否是具有特殊业务属性的,评估该节点的风险程度。比如在交易网络中,可能存在支付宝之类的中间平台,它们就是超级节点,有非常多的交易与之相关。在信息有限的情况下,简单的处理方式就是从网络中去掉这个节点。如果有额外的信息,比如知道一笔交易关联了支付宝上的哪家商户,那么就可以把商户加入到网络中来,取代那个超级节点。


Q7:超级节点跟普通节点之间过度比较平滑,怎么处理那种又像超级节点,又像个中介节点的呢?

翼龙:具体可能还得结合业务和场景去分析。以下思路仅供参考:

1、核心问题是这个节点的边太多了,那就看有没有一些不重要的边可以剔除。

2、在做分割的时候,先把这个节点和边去掉,在分割后的子图中,看这个节点跟哪个子图联系更紧密。如果存在多个联系紧密的子图,就在这些子图中都添加这个节点。


Q8:子图分割有什么好的依据?

翼龙:这个问题和解释性有关。可以用模块度等的指标来证明分割后的子图的聚集性高。子图分割如果是指社区发现的话,其实在运用算法之前会删除一些关系比较弱的边;社区发现之后,也会进一步计算一些社区的拓扑结构和业务相关的指标,来表明社区的风险程度。可解释性不仅体现在存在决策的依据,也体现在决策的过程,只要过程是明确的、透明的,就有一定的可解释性。

最后再给大家简单介绍下顶象业务安全大讲堂。

顶象业务安全大讲堂汇集了业内大咖,分享万亿级业务安全攻防经验,打造时下最专业的业务安全直播课,通过“技术+方案+实践”三大核心专题,带您全面了解金融、互联网、航旅出行、跨境电商以及目前大热的NFT等各类业务风险及防范手段,深入解析背后的产品技术,抽丝剥茧攻防实战,助您打造零风险的数字业务。

下期将由顶象人工智能专家&研发总监无常带来主题为《业务安全平台核心模块解析——智能模型平台》,敬请期待!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/7370.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

6.jeecg的pom结构

1.父pom parent为springboot 1.子模块部分 包括base-core、demo、system三个 air为自己新建 2.maven仓库部分 3.dependencies 这个是主动引入的依赖,子pom会继承 4.dependencyManagement 这个有点多,主要作用是先把依赖添加进来,但是…

python安装 learn2learn库 || 在线安装方式或者本地安装

文章目录1. 去github下载完整安装包(或本文的百度网盘)2. 安装C依赖库3 本地安装4 在线安装(不想本地安装 看这儿!)1. 去github下载完整安装包(或本文的百度网盘) github连接 https://github.c…

死磕宠物食品安全,京东你凭什么?

出品| 大力财经 文 | 魏力 京东第一个站出来,破局宠物食品行业乱象。 济南女孩刘小姐很在乎宠物的饮食安全,每次换的新狗粮或者买的新零食,她都要先尝一尝,鉴定一下是否符合自家狗狗食用。随着家人式养宠的到来,宠物…

deb包格式实例详解

本文简介及包格式部分内容节选自: deb_百度百科 一、简介 DEB是Debian软件包格式的文件扩展名,跟Debian的命名一样,DEB也是因Debra Murdock而得名,她是Debian创始人Ian Murdock的太太。 Debian包是Unixar的标准归档&#xff0…

LeetCode第 91 场双周赛题解

目录2465. 不同的平均值数目2466. 统计构造好字符串的方案数2467. 树上最大得分和路径2468. 根据限制分割消息2465. 不同的平均值数目 模拟一下即可 class Solution { public:int distinctAverages(vector<int>& nums) {set<double>st;sort(nums.begin(),nums…

Intellij各个功能小件的样子

文章目录资料ControlsButtonBuilt-in buttonSplit buttonCheckboxCombo boxDescription textDrop-down listGot It tooltipGroup headerInput fieldLinkNotificationsBallonBannerProgress indicatorsLoaderProgress barProgress textRadio buttonScrollbarSearch fieldTableTa…

CSAPP实验记录(2)--------- Bomb

实验简介 本实验需要拆除一个“二进制炸弹”&#xff0c;“二进制炸弹”是一个可执行目标程序。运行时&#xff0c;它会提示用户键入6个不同的字符串。如果其中任何一个错误&#xff0c;炸弹就会“爆炸”。必须通过逆向工程和汇编语言知识&#xff0c;推导出六个字符串分别是什…

Linux权限管理

修改权限-chmod 通过chmod指令&#xff0c;可以修改文件或者目录的权限 第一种方式 - 变更权限 u:所有者 g:所有组 o:其他人 a:所有人 chmod urwx,grx,ox 文件目录名 chmod ow …

条件随机场CRF(持续更新ing...)

诸神缄默不语-个人CSDN博文目录 本文是作者学习CRF后的笔记。 最近更新时间&#xff1a;2022.11.15 最早更新时间&#xff1a;2022.11.15 条件随机场CRF是适宜于顺序预测任务的判别模型&#xff0c;可用于命名实体识别、词性标注等。 文章目录1. linear-chain CRF2. CRF目标…

使用TensorRT量化ResNet50网络(PTQ)

深度学习正在彻底改变行业提供产品和服务的方式。 这些服务包括用于计算机视觉的对象检测、分类和分割&#xff0c;以及用于基于语言的应用程序的文本提取、分类和摘要。 这些应用程序必须实时运行。 大多数模型都采用浮点 32 位算法进行训练&#xff0c;以利用更大的动态范…

python代码规范工具

文章目录一&#xff1a;Pycharm 创建文件自动头部二&#xff1a;代码门禁三 : 附录一&#xff1a;Pycharm 创建文件自动头部 Pycham —> Preferences —> 编辑器 —> 文件和代码模版 —> 文件 —> Python Script —> 填写头部 #!/usr/bin/env python # -*- c…

详解clickhouse分区目录的合并过程

数据存储底层分布 目录名类型说明202103_1_10_2目录分区目录一个或多个&#xff0c;由于分区LSM生成的detached目录通过DETACH语句卸载后的表分区存放位置format_version.txt文本文件纯文本&#xff0c;记录存储的格式 columns.txt&#xff1a;该文件是一个文本文件&#xff0c…

vue 生成二维码的两种方式

方式一&#xff1a;qrcode&#xff08;无 icon 图标&#xff09; npm i qrcodejs2 --save 完整代码 <template><div class"flex-box"><div>qrcode&#xff08;无 icon 图标&#xff09;</div><div class"qr-code" ref"…

【面试题】BFC的理解

1. BFC Block format context(BFC)&#xff0c;块级格式上下文。BFC是一个独立的布局环境&#xff0c;BFC内部的元素的渲染不会影响到边界以外的元素。 2. BFC的布局规则 BFC内部的块会在垂直方向上一个接一个的放置&#xff1b;垂直方向上的距离由margin决定&#xff0c;在…

vision transformer 剪枝论文汇总

Vision Transformer Pruning 这篇论文的核心思想很简单&#xff0c;就是剪维度&#xff0c;也就是说剪的是这个d。 具体方法就是通过一个gate&#xff0c;如图中的dimension pruning&#xff0c;输出0或者1&#xff0c;来判断不同维度的重要性&#xff0c;但是由于0和1&#xf…

最新CleanMyMac X4.12.1中文版Mac系统优化清理工具

CleanMyMac X v4.12.1是COCO玛奇朵搜集到的一款mac电脑系统清理工具&#xff0c;删除系统缓存文件 , 多余的应用程序语言包 , PowerPc软件运行库等。 CleanMyMac是一个强大的应用程序&#xff0c;清洁&#xff0c;优化和保护您的Mac多年的使用。运行即时系统清理&#xff0c;卸…

html+css实现容器显示两行文本超出部分以省略号显示

Bootstrap 给予响应式、移动设备优先的流式栅格系统提供了十分丰富的样式类&#xff0c;基于这些了可以做出很多好看的效果&#xff0c;虽让提供了常用基本样式类&#xff0c;但有一些比较特殊的需求 比如bootstrap 提供了 text-truncate 样式类&#xff0c;使用这个类可以轻松…

只开源36小时!GitHub标星139K从Java开发到软件架构师进阶笔记

什么是架构? 关于架构&#xff0c;我以前一直以为&#xff0c;只有真正从0到1&#xff0c;经历各种技术选型后搭建出来的一个系统框架&#xff0c;才算是真正的架构。 在程序员的现实世界里&#xff0c;不想当架构师的程序员不是个好程序员&#xff0c;即使你未曾主动想去当…

Mac M1 安装 brew

安装顺序&#xff1a; 1. 安装 /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" 执行完后&#xff0c;发现brew &#xff0c;还是命令找不到。 2. 还要配置&#xff1a; 复制该内容到 vim ~/.zprofile&#x…

ElasticSearch——手写一个ElasticSearch分词器(附源码)

1. 分词器插件 ElasticSearch提供了对文本内容进行分词的插件系统&#xff0c;对于不同的语言的文字分词器&#xff0c;规则一般是不一样的&#xff0c;而ElasticSearch提供的插件机制可以很好的集成各语种的分词器。 Elasticsearch 本身并不支持中文分词&#xff0c;但好在它…