【Flink银行反欺诈系统设计方案】1.短时间内多次大额交易场景的flink与cep的实现

news2025/3/6 1:58:40

【flink应用系列】1.Flink银行反欺诈系统设计方案

  • 1. 经典案例:短时间内多次大额交易
    • 1.1 场景描述
    • 1.2 风险判定逻辑
  • 2. 使用Flink实现
    • 2.1 实现思路
    • 2.2 代码实现
    • 2.3 使用Flink流处理
  • 3. 使用Flink CEP实现
    • 3.1 实现思路
    • 3.2 代码实现
  • 4. 总结

1. 经典案例:短时间内多次大额交易

1.1 场景描述

规则1:单笔交易金额超过10,000元。

规则2:同一用户在10分钟内进行了3次或更多次交易。

风险行为:同时满足规则1和规则2的交易行为。

1.2 风险判定逻辑

检测每笔交易是否满足“单笔交易金额超过10,000元”。

对同一用户,统计10分钟内的交易次数。

如果交易次数达到3次或更多,则判定为风险行为。

2. 使用Flink实现

2.1 实现思路

使用Flink的KeyedStream按用户分组。

使用ProcessFunction实现自定义窗口逻辑,统计10分钟内的交易次数。

结合规则1和规则2,判断是否为风险行为。

2.2 代码实现

// 定义交易数据POJO
public class Transaction {
    private String transactionId;
    private String userId;
    private Double amount;
    private Long timestamp;
    // getters and setters
}

// 定义风控结果POJO
public class RiskResult {
    private String userId;
    private String transactionId;
    private String riskLevel;
    private String actionTaken;
    private Long createTime;
    // getters and setters
}

// 实现风控逻辑
public class FraudDetectionProcessFunction extends KeyedProcessFunction<String, Transaction, RiskResult> {

    private transient ValueState<Integer> transactionCountState;
    private transient ValueState<Long> timerState;

    @Override
    public void open(Configuration parameters) {
        // 初始化状态
        ValueStateDescriptor<Integer> countDescriptor = new ValueStateDescriptor<>(
            "transactionCount", 
            Types.INT
        );
        transactionCountState = getRuntimeContext().getState(countDescriptor);

        ValueStateDescriptor<Long> timerDescriptor = new ValueStateDescriptor<>(
            "timerState", 
            Types.LONG
        );
        timerState = getRuntimeContext().getState(timerDescriptor);
    }

    @Override
    public void processElement(
        Transaction transaction,
        Context ctx,
        Collector<RiskResult> out) throws Exception {

        // 规则1:单笔交易金额超过10,000元
        if (transaction.getAmount() > 10000) {
            // 更新交易次数
            Integer count = transactionCountState.value();
            if (count == null) {
                count = 0;
            }
            count += 1;
            transactionCountState.update(count);

            // 如果是第一次满足规则1,设置10分钟的定时器
            if (count == 1) {
                long timer = ctx.timestamp() + 10 * 60 * 1000; // 10分钟
                ctx.timerService().registerEventTimeTimer(timer);
                timerState.update(timer);
            }

            // 规则2:10分钟内交易次数达到3次
            if (count >= 3) {
                RiskResult result = new RiskResult();
                result.setUserId(transaction.getUserId());
                result.setTransactionId(transaction.getTransactionId());
                result.setRiskLevel("HIGH");
                result.setActionTaken("ALERT");
                result.setCreateTime(System.currentTimeMillis());
                out.collect(result);
            }
        }
    }

    @Override
    public void onTimer(long timestamp, OnTimerContext ctx, Collector<RiskResult> out) throws Exception {
        // 定时器触发时,重置状态
        transactionCountState.clear();
        timerState.clear();
    }
}

2.3 使用Flink流处理

java

DataStream<Transaction> transactionStream = env.addSource(transactionSource);

DataStream<RiskResult> riskResultStream = transactionStream
    .keyBy(Transaction::getUserId)
    .process(new FraudDetectionProcessFunction());

riskResultStream.addSink(new AlertSink());

3. 使用Flink CEP实现

Flink CEP(Complex Event Processing)是Flink提供的复杂事件处理库,适合处理基于时间序列的模式匹配。以下是使用Flink CEP实现上述风控规则的示例。

3.1 实现思路

定义模式:检测10分钟内3次或更多次大额交易。

使用Flink CEP的模式匹配功能,匹配符合条件的事件序列。

3.2 代码实现

java

// 定义交易数据POJO
public class Transaction {
    private String transactionId;
    private String userId;
    private Double amount;
    private Long timestamp;
    // getters and setters
}

// 定义风控结果POJO
public class RiskResult {
    private String userId;
    private List<String> transactionIds;
    private String riskLevel;
    private String actionTaken;
    private Long createTime;
    // getters and setters
}

// 实现风控逻辑
public class FraudDetectionCEP {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 交易数据流
        DataStream<Transaction> transactionStream = env.addSource(transactionSource)
            .assignTimestampsAndWatermarks(
                WatermarkStrategy.<Transaction>forBoundedOutOfOrderness(Duration.ofSeconds(5))
                    .withTimestampAssigner((event, timestamp) -> event.getTimestamp())
            );

        // 按用户分组
        KeyedStream<Transaction, String> keyedStream = transactionStream
            .keyBy(Transaction::getUserId);

        // 定义CEP模式:10分钟内3次或更多次大额交易
        Pattern<Transaction, ?> pattern = Pattern.<Transaction>begin("first")
            .where(new SimpleCondition<Transaction>() {
                @Override
                public boolean filter(Transaction transaction) {
                    return transaction.getAmount() > 10000;
                }
            })
            .next("second")
            .where(new SimpleCondition<Transaction>() {
                @Override
                public boolean filter(Transaction transaction) {
                    return transaction.getAmount() > 10000;
                }
            })
            .next("third")
            .where(new SimpleCondition<Transaction>() {
                @Override
                public boolean filter(Transaction transaction) {
                    return transaction.getAmount() > 10000;
                }
            })
            .within(Time.minutes(10));

        // 应用模式
        PatternStream<Transaction> patternStream = CEP.pattern(keyedStream, pattern);

        // 生成风控结果
        DataStream<RiskResult> riskResultStream = patternStream.process(
            new PatternProcessFunction<Transaction, RiskResult>() {
                @Override
                public void processMatch(
                    Map<String, List<Transaction>> match,
                    Context ctx,
                    Collector<RiskResult> out) throws Exception {

                    RiskResult result = new RiskResult();
                    result.setUserId(match.get("first").get(0).getUserId());
                    result.setTransactionIds(
                        match.values().stream()
                            .flatMap(List::stream)
                            .map(Transaction::getTransactionId)
                            .collect(Collectors.toList())
                    );
                    result.setRiskLevel("HIGH");
                    result.setActionTaken("ALERT");
                    result.setCreateTime(System.currentTimeMillis());
                    out.collect(result);
                }
            }
        );

        // 输出结果
        riskResultStream.addSink(new AlertSink());

        env.execute("Fraud Detection with Flink CEP");
    }
}

4. 总结

Flink实现:通过KeyedProcessFunction和状态管理实现多规则匹配。

Flink CEP实现:通过定义复杂事件模式,简化多规则匹配的逻辑。

适用场景:

Flink适合需要自定义逻辑的场景。

Flink CEP适合基于时间序列的模式匹配场景。

通过以上实现,可以高效检测银行交易中的风险行为,并根据需要扩展更多规则

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2310293.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Flutter 学习之旅 之 flutter 使用 carousel_slider 简单实现轮播图效果

Flutter 学习之旅 之 flutter 使用 carousel_slider 简单实现轮播图效果 目录 Flutter 学习之旅 之 flutter 使用 carousel_slider 简单实现轮播图效果 一、简单介绍 二、简单介绍 carousel_slider 三、安装 carousel_slider 四、简单案例实现 五、关键代码 一、简单介…

【JavaScript—前端快速入门】JavaScript 对象与函数

JavaScript 对象 1. JavaScripe 数组 创建数组的方式 使用 new 关键字创建 使用字面量方式创建 [常用] 注意&#xff0c;JavaScipt 不要求数组元素类型都相同&#xff1b; 数组操作 读&#xff1a;使用下标的方式访问数组元素&#xff08;从0开始) 保存代码&#xff0c;打开…

java中的局部变量

文章目录 一、定义二、作用域和作用位置三、声明周期和初始化四、内存管理五、Java内存区域划分六、例子 一、定义 在java中&#xff0c;局部变量指在方法、构造方法、代码块&#xff08;如{}包裹的语句块&#xff09;内部声明的变量 class work {{int a 10;}public work() {i…

(IDE接入DeepSeek)简单了解DeepSeek接入辅助开发与本地部署建议

重点&#xff1a;IDE接入DeepSeek是否收费 收费&#xff01; 本文章主要是为了给小白避雷&#xff0c;目前很多文章告诉大家怎么接入DeepSeek&#xff0c;但是并未告知大家是否收费。如果是想白嫖的&#xff0c;就可以不用去接入了。 一、引言 最近爆火的AI人工智能工具DeepSe…

【算法学习之路】5.贪心算法

贪心算法 前言一.什么是贪心算法二.例题1.合并果子2.跳跳&#xff01;3. 老鼠和奶酪 前言 我会将一些常用的算法以及对应的题单给写完&#xff0c;形成一套完整的算法体系&#xff0c;以及大量的各个难度的题目&#xff0c;目前算法也写了几篇&#xff0c;题单正在更新&#xf…

0x03 http协议和分层架构

HTTP协议 简介 Hyper Text Transfer Protocol&#xff0c;超文本传输协议&#xff0c;规定了浏览器和服务器之间数据传输的规则 http协议基于TCP协议&#xff1a;面向连接&#xff0c;安全基于请求-响应模型&#xff1a;一次请求对应一次响应HTTP协议是无状态的协议&#xff…

智能合约安全指南 [特殊字符]️

智能合约安全指南 &#x1f6e1;️ 1. 安全基础 1.1 常见漏洞类型 重入攻击整数溢出权限控制缺陷随机数漏洞前后运行攻击签名重放 1.2 安全开发原则 最小权限原则检查-生效-交互模式状态机安全失败保护机制 2. 重入攻击防护 2.1 基本防护模式 contract ReentrancyGuarde…

【Python项目】基于Python的书籍售卖系统

【Python项目】基于Python的书籍售卖系统 技术简介&#xff1a;采用Python技术、MYSQL数据库等实现。 系统简介&#xff1a;书籍售卖系统是一个基于B/S结构的在线图书销售平台&#xff0c;主要分为前台和后台两部分。前台系统功能模块分为&#xff08;1&#xff09;用户中心模…

【Linux】【网络】UDP打洞-->不同子网下的客户端和服务器通信(未成功版)

【Linux】【网络】UDP打洞–>不同子网下的客户端和服务器通信&#xff08;未成功版&#xff09; 上次说基于UDP的打洞程序改了五版一直没有成功&#xff0c;要写一下问题所在&#xff0c;但是我后续又查询了一些资料&#xff0c;成功实现了&#xff0c;这次先写一下未成功的…

(1)udp双向通信(2)udp实现文件复制(3)udp实现聊天室

一.udp双向通信 1.fork进程实现双向通信 【1】head.h 【2】client客户端 &#xff08;1&#xff09;父进程从键盘获取字符串 &#xff08;2&#xff09;输入quit&#xff0c;发送结束子进程信号 &#xff08;3&#xff09;exit退出父进程 &#xff08;1&#xff09;子进程接受…

c高级第五天

1> 在终端提示输入一个成绩&#xff0c;通过shell判断该成绩的等级 [90,100] : A [80, 90) : B [70, 80) : C [60, 70) : D [0, 60) : 不及格 #!/bin/bash# 提示用户输入成绩 read -p "请输入成绩&#xff08;0-100&#xff09;&#xff1a;" score# 判断成…

【JQuery—前端快速入门】JQuery 操作元素

JQuery 操作元素 1. 获取/修改元素内容 三个简单的获取元素的方法&#xff1a; 这三个方法即可以获取元素的内容&#xff0c;又可以设置元素的内容. 有参数时&#xff0c;就进行元素的值设置&#xff0c;没有参数时&#xff0c;就进行元素内容的获取. 接下来&#xff0c;我们需…

标签的ref属性 vue中为什么不用id标记标签

标签的ref属性 vue中为什么不用id标记标签 假设有一对父子组件&#xff0c;如果父组件和子组件中存在id相同的标签&#xff0c;会产生冲突。通过id获取标签会获取到先加载那个标签。 标签的ref属性的用法 在父组件App中&#xff0c;引入了子组件Person。 并使用ref标记了Pe…

7.1.1 计算机网络的组成

文章目录 物理组成功能组成工作方式完整导图 物理组成 计算机网络是将分布在不同地域的计算机组织成系统&#xff0c;便于相互之间资源共享、传递信息。 计算机网络的物理组成包括硬件和软件。硬件中包含主机、前端处理器、连接设备、通信线路。软件中包含协议和应用软件。 功…

IDEA 接入 Deepseek

在本篇文章中&#xff0c;我们将详细介绍如何在 JetBrains IDEA 中使用 Continue 插件接入 DeepSeek&#xff0c;让你的 AI 编程助手更智能&#xff0c;提高开发效率。 一、前置准备 在开始之前&#xff0c;请确保你已经具备以下条件&#xff1a; 安装了 JetBrains IDEA&…

mapbox基础,使用点类型geojson加载symbol符号图层,用于标注文字

👨‍⚕️ 主页: gis分享者 👨‍⚕️ 感谢各位大佬 点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍⚕️ 收录于专栏:mapbox 从入门到精通 文章目录 一、🍀前言1.1 ☘️mapboxgl.Map 地图对象1.2 ☘️mapboxgl.Map style属性1.3 ☘️symbol符号图层样式二、🍀使用点类型…

STM32---FreeRTOS中断管理试验

一、实验 实验目的&#xff1a;学会使用FreeRTOS的中断管理 创建两个定时器&#xff0c;一个优先级为4&#xff0c;另一个优先级为6&#xff1b;注意&#xff1a;系统所管理的优先级范围 &#xff1a;5~15 现象&#xff1a;两个定时器每1s&#xff0c;打印一段字符串&#x…

HTTP 状态代码 501 502 问题

问题 单个客户端有时会出现 报错 501 或 502 如下&#xff1a; System.Net.Http.HttpRequestException: Response status code does not indicate success: 501 (Not Implemented) 分析 可以排除 服务器无法处理的问题&#xff08;测试发现 一个客户端报错&#xff0c;不会影响…

visual studio 2022 手工写一个简单的MFC程序

书籍&#xff1a;《Visual C 2017从入门到精通》的2.1.2 MFC方式中2.手工写一个简单的MFC程序 环境&#xff1a;visual studio 2022 内容&#xff1a;手工写一个简单的MFC程序 1.文件->新建->项目 2.根据以下步骤选择Windows桌面向导 3.输入项目名&#xff0c;选择保…

测试用例总结

一、通用测试用例八要素   1、用例编号&#xff1b;    2、测试项目&#xff1b;   3、测试标题&#xff1b; 4、重要级别&#xff1b;    5、预置条件&#xff1b;    6、测试输入&#xff1b;    7、操作步骤&#xff1b;    8、预期输出 二、具体分析通…