FiT 基于 Pulsar 在金融在线高并发场景的最佳实践

news2025/2/6 12:06:00

关于 FiT

腾讯金融科技(Tencent Financial Technology)是腾讯公司提供移动支付与金融服务的综合业务平台。业务领域包括移动支付、投资理财、民生服务和国际化等,作为支付业务的基石和底座,FiT 致力于建设和发展完善的支付平台能力,在微信支付、QQ 钱包等移动支付产品中持续进行功能和服务创新。

1.png

FiT 在日常的交易流程中,如信用卡、话费充值、自选股等业务中,需要通过消息中间件来实现上游和下游衔接,以实现广播、过滤、延迟推送等场景。同时由于 FiT 均是交易类场景,对消息产品的高并发、容灾有非常高的要求。比如,在可预期的业务高峰期时,对消息队列集群进行快速扩容;在非预期的可用区故障时,其余可用区可以正常提供服务,保障交易业务的流畅性。于是 TDMQ Pulsar 进入了 FiT 的消息队列技术选型范畴。

2.png

TDMQ Pulsar 由于其存算分离的架构,对于计算密集型的业务场景,仅需要添加计算层 Broker ,自动进行 Rebalance;对于海量消息堆积,存储不足时,添加新的 BK 节点即可。在容灾支撑方面,TDMQ Pulsar 专业集群支持 3AZ 跨可用区部署,以确保发生可用区故障时,也能正常提供服务;同时还提供了跨地域冷备功能,支持快速切换接入点解析,实现无需客户端修改接入点地址,而实现跨地域的容灾方案,保障业务的延续性。在场景支撑方面,TDMQ Pulsar 承载了腾讯计费、中国银行等金融场景下的核心交易链路。从各方面来说,都非常匹配 FiT 的需求。

关于 TDMQ Pulsar

腾讯云消息队列 Pulsar 版是基于 Apache Pulsar 自研的消息中间件,具备极好的云原生和 Serverless 特性,计算存储分离的架构使其在扩缩容方面具备良好的底层优势。

在完全兼容社区版的基础上,消息队列 Pulsar 版还提供了重试&死信队列、消息标签过滤、消息轨迹等高级特性。

目前消息队列 Pulsar 版已经有较大规模的应用,如王者荣耀、猫眼、微民保险、QQ 音乐、领星、长安汽车等,以及包括腾讯计费绝大部分场景,包括支付主路径、实时对账、实时监控、大数据实时分析等方面。

3.png

FiT 基于 Pulsar 的消息中间件实践

标准模型-发布订阅

第一类使用场景,是标准的 pub - sub 模式,生产者生产一条消息,任意一个消费者成功消费即可。在部署方面,客户端的生产者和消费者均解耦部署。

4.png

限定模型-消息标签过滤+自动创建订阅

第二类场景,限定模型,是使用了 TAG 消息过滤的方式,限定消息只能在某一个客户端消费。

FiT 采用单元化(SET)架构。在该场景中的业务消息,会按照一定的规则(如 UIN 等)进行分片,并要求消息限定在某个目标 SET 中消费。

6.png

如上图所示,SET 1 中生产者生产消息时,给消息打上「SET 1」的 TAG;消费时,仅消费有「SET 1」TAG 的消息。另外,Pulsar 可以支持自动创建订阅,FiT 使用该能力实现了一套插件,将 SET 做为环境变量注入到启动容器中,这样实现方式极大的方便了业务自定义配置要消费的消息,仅需要调整环境变量即可,而不需要改动业务代码。

扩散模型

第三类场景,扩散模型。在消息生产消费比例为 1:N 时,需要将业务请求,异步「扩散」到其他的多个 SET 中。

7.png

基于自动创建订阅的功能,FiT 插件实现在同一个 Topic 下创建多个订阅,灵活的根据业务需求来定义下游消息的客户端。

消息(跨集群)复制

在消息容灾场景下,FiT 基于消息复制组件,配置消息复制关系,自动将消息复制到对端的 Pulsar 集群。同一个复制对象,在不同地域的两个集群中名称需要保持一致,包括 Topic 名称、角色名称及相应的密钥等。如此,可保障当其中一个地域发生故障时,通过接入层的流量调度,将流量调度至另外一个集群。

8.png

客户评价

FiT 架构师:

得益于 TDMQ Pulsar 高吞吐、低延迟的能力,FiT 金融产品业务迁移到 TDMQ Pulsar 后,消息从生产者到消费者的耗时缩短了大约80%,消息积压情况大大缓解,积压数量减少了70%。TDMQ Pulsar 延迟消息作用于消息维度,方便业务根据自身场景对每条消息设置不同的延时时间,如延迟通知、延迟核对等。TDMQ Pulsar 运维简单,业务高峰期需要集群扩容时,在控制台一键点击升配即可,业务层无感。TDMQ Pulsar 技术支持专业迅速,及时响应业务需求解决 FiT 业务场景的痛点,如支持接入外部监控、支持灵活的消息过滤功能,较好地支撑了 FiT 业务。

总结展望

下一步,FiT 金融产品业务将继续切量至 TDMQ Pulsar,预计 2024年基本完成迁移。并且 FiT 由于承载了微信支付、银行等国民级支付产品,计划在未来实现多个自建机房的条带化部署,届时 TDMQ Pulsar 也将属地化部署(私有化部署),并作为其交易业务的核心链路。

同时,TDMQ Pulsar 版将继续打磨产品能力,服务好包含 FiT 在内的广大用户,近期我们将推出以下新功能:

1.  接入外部监控 Prometheus:支持将专业集群的监控数据,接入自建的 Prometheus ,利于用户观测的同时,可以通过监控数据对业务 Workload HPA,使得线上运维更加自动化。

2.  消息标签过滤支持更灵活的表达式:提供更加灵活的消息标签过滤表达式配置,简化业务侧的架构设计和数据链路。

3.  更加丰富的应用观测指标:提供更多更丰富的集群性能观测指标,便于客户及时排除业务链路风险,准确定位异常位置。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1598664.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

C/C++基础----数组和引入指针

数组 数组的定义 语法: 类型 变量名[数组大小] {数组内容1,数组内容2}; int array[5] {1,2,3,4,5};代码 int main(){// 定义数组,大小不写,数组内默认有多少元素大小就为多少int array_a[] {1, 2, 3, 4, 5, 6};// 定义数组长度为5&#x…

高效、稳定、兼容:中国星坤MINI PCIE连接器优势明显

电子设备的性能要求日益提高,尤其是在数据传输和连接稳定性方面。中国星坤推出的MINI PCIE连接器,以其出色的性能和显著的优势,迅速成为行业内的佼佼者,为现代电子设备提供了高效、稳定的连接解决方案。 在性能方面,中…

利物浦都在用的AI教练,真能拯救国足吗?

不久之前,在亚洲杯一场未胜之旅结束后,国足又又又一次陷入了选帅争议。而国足新帅伊万科维奇两场主胜客平新加坡,成绩也实在谈不上亮眼。这种情况下,广大球迷又开始争论,究竟哪位教练才能拯救国足。至少要止住目前一路…

时隔一年,再次讨论下AutoGPT-安装篇

AutoGPT是23年3月份推出的,距今已经1年多的时间了。刚推出时,我们还只能通过命令行使用AutoGPT的能力,但现在,我们不仅可以基于AutoGPT创建自己的Agent,我们还可以通过Web页面与我们创建的Agent进行聊天。这次的AutoGP…

java智慧校园家校互通小程序源码 Android 7.16.+小程序原生开发的全套智慧校园电子班牌云平台源码

智慧校园云平台电子班牌系统,利用先进的云计算技术,将教育信息化资源和教学管理系统进行有效整合,实现基础数据共享、应用统一管理。借助全新的智能交互识别终端和移动化教育管理系统,以考勤、课表、通知、家校互通等功能为切入点…

如何准备2024年汉字小达人:18道历年考题示例和解析、备考提醒

现在距离2024年第11届汉字小达人比赛还有六个多月的时间,如何利用这段时间有条不紊地备考呢?我的建议是两手准备:①把小学1-5年级的语文课本上的知识点熟悉,重点是字、词、成语、古诗。阅读理解不需要。②把历年真题刷刷熟&#x…

第二证券今日投资参考:铜价持续上涨 医药政策向好态势明显

昨日,A股在金融板块的带动下强势拉升,沪指涨超1%。到收盘,沪指涨1.26%报3057.38点,深证成指涨1.53%报9369.7点,创业板指涨1.85%报1795.52点,上证50指数涨2.1%;两市合计成交9971亿元,…

Oracle和PG数据库临时表的差异,PG数据库如何删除临时表

现实的开发过程中使用 PG 数据库删除临时表发现如下报错,提示表 xxx 不存在: 问题原因: 调用删除语句,但是临时表不存在了。 解决方案: PG下用下面的方式来删除临时表或不进行删除(会话级临时表会自动删除…

mac基础操作、快捷、软件快捷方式

欢迎来到我的博客,代码的世界里,每一行都是一个故事 mac基础操作、快捷、软件快捷方式 前言mac快捷操作快捷查找切换页面页面缩略访达和命令端切换创建文件夹创建文件删除文件/文件夹获取文件的路径移动文件或文件夹复制文件命令端常用命令 前言 主要是方…

姿态估计-人脸识别mesh-3d手势识别-3d目标检测-背景分割-人脸关键点

往期热门博客项目回顾:点击前往 计算机视觉项目大集合 改进的yolo目标检测-测距测速 路径规划算法 图像去雨去雾目标检测测距项目 交通标志识别项目 yolo系列-重磅yolov9界面-最新的yolo 姿态识别-3d姿态识别 深度学习小白学习路线 AI健身教练-引体向上…

用html画一个睡觉的熊动画

<!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><title>睡觉的熊动画</title><link rel"stylesheet" href"./style.css"> </head><body><div id"contain…

第二届数据安全大赛暨首届“数信杯”数据安全大赛数据安全积分争夺赛-东区预赛部分WP

这里写目录标题 1.理论题2.数据安全&#xff1a;3.数据分析&#xff1a;数据分析&#xff08;1&#xff09;数据分析&#xff08;3&#xff09; 前言&#xff1a;第一次参加数信杯&#xff0c;很荣信晋级线下&#xff0c;有点难度好多都要写脚本ovo。 1.理论题 略 2.数据安全…

git操作基本命令

Git命令操作&#xff1a; 1、服务器上面有新的修改&#xff0c;pull出现错误操作如下 git stash git pull origin master git stash pop 2、删除本地一个文件test.py,想重新download远程服务器最新的文件 #git checkout test.py 3、查看当前处于哪一个分支 #git …

中国八大古都,分别是哪8个?

中国历史上统一王朝或者在全局范围内看呈鼎立之势的大的政权的首都&#xff0c;称古都&#xff0c;又称都城、国都等&#xff0c;是古代王朝的政治中心&#xff0c;也是经济和文化中心。 1、西安 西安&#xff0c;古称长安&#xff0c;是中国历史上建都时间最长、建都朝代最多…

[管理者与领导者-167] :团队管理 - 高效执行力 -6-授权-领导者做个统筹调度的领导者,而不是做冲锋陷阵的士兵

目录 关键词&#xff1a; 前言&#xff1a; 一、管理者做自己该做的事&#xff0c;下属做下属该做的事 二、科学分配任务和职责 三、只有信任员工&#xff0c;才能有效授权 四、授权管头&#xff08;定目标&#xff09;管尾&#xff08;把结果&#xff09;&#xff0c;但…

前端开发攻略---在输入框中输入中文但是还没选中的时候,搜索事件依然存在;中文输入法导致的高频事件。

1、演示 解决前 解决后 2、输入框事件介绍 compositionstart事件在用户开始使用输入法输入时触发。这意味着用户正在进行组合输入&#xff0c;比如在中文输入法中&#xff0c;用户可能正在输入一个多个字符的词语。在这个阶段&#xff0c;输入框的内容可能还没有完全确定&#…

亚马逊云科技直冲云霄训练营活动开始啦(送考试半价券)

小李哥分享的是亚马逊科技官方免费直冲云霄训练营学习活动&#xff0c;通过该活动可以薅到以下的羊毛 1️⃣免费系统性技能培训&#xff0c;成为AWS技术大牛 2️⃣考试半价券&#xff0c;最高可省1086元人民币 3️⃣分享活动获得精美礼品 4️⃣亚马逊云科技年度全球技术大会门票…

avicat连接异常,错误编号2059-authentication plugin…

错误原因为密码方式不对&#xff0c;具体可自行百度 首先管理员执行cmd进入 mysql安装目录 bin下边 我的是C:\Program Files\MySQL\MySQL Server 8.2\bin> 执行 mysql -u -root -p 然后输入密码 123456 进入mysql数据库 use mysql 执行 ALTER USER rootlocalhost IDE…

了解以太网环网保护倒换(ERPS)

以太网环网保护交换&#xff08;ERPS&#xff09;有助于实现高可靠性和网络稳定性。本文概述了ERPS&#xff0c;包括其定义、基本概念和优点。 什么是ERPS&#xff1f; 以太网环网保护切换&#xff08;ERPS&#xff09;是一种标准化的网络设计方法&#xff0c;旨在确保以太网…

Day 23 669. 修剪二叉搜索树 108.将有序数组转换为二叉搜索树 538.把二叉搜索树转换为累加树 总结篇

修剪二叉搜索树 给定一个二叉搜索树&#xff0c;同时给定最小边界L 和最大边界 R。通过修剪二叉搜索树&#xff0c;使得所有节点的值在[L, R]中 (R>L) 。你可能需要改变树的根节点&#xff0c;所以结果应当返回修剪好的二叉搜索树的新的根节点。 ​ 最直接的想法&#xff0…