专访中欧财富伍春兰:财富管理行业数字化转型升级,数据库如何选型?

news2024/9/28 7:25:57

以下文章来源于InfoQ数字化经纬。

InfoQ数字化经纬:

InfoQ极客传媒旗下官方账号。面向数字化管理者、从业者、洞察者,提供数字化企业案例、政策解读、研究报告,做数字时代的「记录者」。

作者 | 赵钰莹

嘉宾 | 伍春兰 中欧财富技术总监

本文采访了中欧财富技术总监伍春兰,探讨了财富管理行业数字化转型面临的挑战,包括人才、安全和技术基础架构。在数据库迁移中,中欧财富通过采用分布式数据库 TiDB 解决了 MySQL 的旧有问题,强调了 HTAP 融合架构在性能和资源管理方面的重要性。文章指出,数字化转型需要跨足思维、组织、流程和平台等层面,以适应日益高效和创新的需求。阅读全文约需 12 分钟。

本文要点:

  • 财富管理领域近几年受内外部环境的变化,对技术底座能力提出敏捷高效、及时创新等较高要求;
  • 数字化转型不是一个技术问题,涉及思维、组织、流程、平台四大层面;
  • 财富管理领域企业数字化转型主要面临人才,安全、基础架构(技术)三方面的挑战;人工智能技术在财富管理领域企业内部大规模落地还需要时间;
  • 在数据库选型之前,企业需要先定位清楚需求;
  • 数据库迁移前,旧有的 MySQL 体系主要遇到的问题是大表 DDL 耗时、分库分表耗费大量人力、单节点写入易出现瓶颈等问题,最后通过分布式数据库 TiDB 解决了上述问题;
  • 在评价数据库迁移前后的效果时注意运维、资源等隐形层面的成本;
  • HTAP 融合架构在性能、资源精准消耗等层面都起到了重要作用;

中欧财富数字化转型升级的思路、难点及实践

InfoQ:财务管理公司和基金公司这几年节奏明显变快,其背后的推动力到底是什么?财务管理行业的数字化转型存在哪些痛点?

伍春兰 :最近几年,基金公司内外部环境都发生了比较大的变化。自 2013 年伴随着余额宝的兴起,整个互联网业务快速发展,这对市场带来了几个明显的变化: 第一个变化是用户基本盘迅速扩大,要想服务好用户,技术迭代速度需要更快。举例来说,一些互联网属性的公司数据刷新较快,中欧财富为了达到这个效果,整个公司做了比较大的投入和配合,包括引入人工智能技术做一些自动化的事情; 第二个变化是互联网业务比较有特点且信息较为透明,用户可以迅速看到市场上出现了哪些新的业务与渠道,这要求团队时刻保持敏捷和高效,包括与上下游业务的打通; 第三个变化是业内开始出现新的营销形式,比如通过直播的方式进行营销,或者运营新的平台,比如抖音等,这需要企业打通内部的运营流程和数据,这对技术团队提出的要求同样是及时创新、敏捷高效。

综上,公司需要抓住机会,迅速做出决策,以应对这些变化。比如,打破原来的数据孤岛,形成统一的、智能的数据中台,基于这个中台可以更好地挖掘客户特性、绘制用户画像,从而让产品更好地满足客户需求;与上下游的机构和企业合作时需要具备强大的研发能力,包括模型、算法、定制化能力等都必须与互联网大厂的研发实力相匹配。

纵观内部和外部,难点主要在于:一是人才方面,并不是每一家金融企业都匹配了强大的且对技术趋势敏锐的研发团队;二是资源投入能力,比如产品层面的投入是否跟得上;三是数据安全,在适配互联网快节奏的业务更新和及时响应的前提下保证公司内部、与上下游企业合作全链路的数据安全是非常重要的;四是在旧有基础架构上做敏态升级,包括基础设施、运维、研发、产品等。

InfoQ:第二大变化中的“打通上下游”具体指什么?

伍春兰: 数字化转型一是思维、二是组织、三是流程、四是平台。思维上,数字化转型不是某个部门的事情,过程中涉及组织及流程上的变化,需要保证大家思维统一;组织和流程上,数据打通就涉及跨部门共享,思维对齐的情况下还需要保证组织层面可以尽可能流程化,快速推动相关决策。比如新业务上线,可能涉及运营、产品、研发等多个部门,大家是否可以透明地了解整个执行链路,清楚了解公司的决策背景,只有每个部门都参与其中才能真正做到流程提效,而不仅是完成工作。平台上,数据打通之后能否真正用起来,数据质量需要达到什么程度都是平台要重点优化的事情。

InfoQ:针对人才,安全、基础架构三大难题,中欧财富是如何解决的?

伍春兰: 在人才方面,中欧财富于 2014 年左右开始筹备,招聘的大多数员工背景偏互联网和核心金融机构方向,这些员工不仅了解金融的业务形态,同时具备较高的技术能力和敏锐度,整个架构起初就适配了互联网时代的特点;安全层面,除了符合国家相关监管规范的要求,中欧财富本身也做了大量探索,比如防 DDoS 攻击、流量清洗、内网监控、数据安全和审计等,这些能力经过过去三四年的发展逐渐建立起来,但要做到完全自动化还是比较困难的。基础架构层面,如前文言,初始架构已经适配了互联网时代的特点,在过去多年的演进中,中欧财富又针对不同的模块进行了优化,包括分布式数据库体系建立、私有云体系优化等。

InfoQ:您方便举例说明中欧财富通过数字化转型取得了哪些成果?

伍春兰: 以投顾业务为例,首先该业务需要迅速理解客户需求,并基于数据驱动的逻辑做出快速、敏捷的反应,这对底层的数据能力要求较高;其次,作为国家首批五家基金投顾业务试点公司,中欧财富主要优势在于强大的自主研发能力。过去五年,中欧财富针对整个基础架构进行了升级,底层基建与行业技术演进的大趋势相匹配,实现了软件定义及弹性部署,降低了计算和运维成本。目前,公司业务全面部署在基于 K8s 的私有云上,可以很好地支持投顾等业务的发展。

InfoQ:如何看待人工智能技术在财富基金领域数字化转型中发挥的作用?

伍春兰 :对于人工智能技术的落地,我认为大规模落地还是有难度的。虽然目前很多公司在这方面都有动作,但更多的是尝试,比如智能客服、敏感词审核等。在实际业务中,人工智能更多是在扮演辅助的角色,而不是代替很多人的劳动。

具体到金融领域,因为该领域强监管且对专业性要求较高,因此目前现有的、通用型的大模型可能无法很好匹配需求,未来可能会出现针对该领域的大模型,只是还需要一些时间。

面向未来,中欧财富如何联手 PingCAP 打造分布式数据库体系?

迁移前的旧有数据库体系基于 MySQL 搭建

InfoQ:中欧财富在与 PingCAP 的 TiDB 数据库合作之前,内部的数据体系是什么状态?

伍春兰: 在此之前,中欧财富的数据库体系是基于 MySQL 搭建的。随着业务的逐渐发展,传统的数据体系遇到了一些问题,中欧财富开始思考是否存在一些新的工具、平台、产品可以更好地满足目前的诉求。

在技术层面,团队当时面临着三大比较明显的问题:一是大表的 DDL 操作,该操作一般通过 gh-ost 工具去实现,非常耗时,且会产生大量 binlog 影响下游的同步。如果遇到有分表逻辑的大表,整个 DDL 过程需要持续几天;二是分库分表,单表数据量增速非常快,时常需要进行分表处理。但开发资源有限,没有这么多人力可以投入到分表工作中;三是单节点写入,MySQL 传统的一主多从架构,主节点承担应用的写入。当有清算或跑批任务时,主节点会出现写入瓶颈。

分布式数据库选型及迁移

InfoQ:在分布式数据库选型层面,中欧财富主要看中哪些因素?

伍春兰: 中欧财富在数据库选型层面主要看中整个架构的高可用性、去中心化、性能高且没有单点故障以及可以降低运维成本。以单点性能为例,虽然 MySQL 时代可以通过增加机器的方式来解决问题,但总体无法实现弹性扩展。经过对一些互联网公司数据库选型的调研,以及对市面上现有数据库产品的了解,最终团队抱着“试一试”的心态开始接触 TiDB。

选型确定后,研发团队对 TiDB 的稳定性、可用性、扩展性等进行了半年左右的测试,整个平台都放到了 TiDB 之上,包括核心业务,综合体验其对场景的适配情况。其实,数据库是一个非常复杂、庞大且核心的工程,且需要与时俱进。TiDB 在当时提出的存算分离等理念与场景能力特别匹配,且经过多方交流,其架构足以承担未来多年数据量的持续增长。

InfoQ:中欧财富的数据库迁移主要分了哪几步?

伍春兰: 中欧财富从 2021 年开始进行调研、测试,2022 年开始部署、上线,并于今年进行深度测试并完成 30% 的业务迁移,包括组合投顾系统、营销系统、产品系统、用户系统和交易系统,未来希望可以实现全量业务运行在 TiDB 之上。

回头来看整个过程,中欧财富的方法还是比较科学的。一是,企业需要对当前的情况有充分认知,清晰定位需求并匹配合适的产品;二是团队需要充分印证升级后的数据库整体架构,对未来演进有明确的方案;三是培养人才,中欧财富和 TiDB 团队做了大半年的密切交流,并在其社区中学习,对其技术能力、研发能力、现有市场、可预见的协同、定位、技术演进方向等都有了充分了解;四是准备备案,即双轮驱动。起初,业务在 TiDB 和旧的 MySQL 体系上同时运行,这种模式下运转了大半年之后,整个技术架构完成了较好适配(当然,TiDB 本身兼容 MySQL 协议),业务运转良好后开始进行正式迁移,双方团队一起完善新老架构的兼容及下游系统适配。迁移过程中,下游不会感知到上游的架构变化,团队做了充分的准备并严格按计划执行。

生产 TiDB 集群配置如上图,为了应对复杂的业务场景,硬件层面都选择了超配。架构方面,计算层用了 5 台服务器,其中 3 台 TiDB-server 和 PD 混合部署,另外 2 台用于接收复杂 SQL 的请求(资源隔离)。每台 TiKV 服务器下挂三块盘,每一块盘都作为一个独立的 TiKV 节点,所有 TiKV 一共有 3*3=9 个节点。集群架构可见下图。

迁移后的整体评价

InfoQ:您对于数据库体系更换的整体评价是什么?

伍春兰: 一是敏捷性,不需要在资源分配层面投入过多精力,可以更快推行创新业务;二是简化了公司架构,统一数据库架构之后降低了运维难度和升级换代的难度;三是 HTAP 架构下的一些计算任务的链路缩短,风险相对更加可控;最后是有利于未来的业务创新和增长。

具体到技术层面, TiCDC 简化了数据同步 ,TiCDC 可以将 TiDB 内的数据同步至 MySQL 和 Kafka (canal - json 格式),大大降低了数据同步的改造工作; 可观测性 ,配套的 dashboard 和 grafana 非常好用。测试阶段遇到问题或性能瓶颈,可以快速地定位出问题,加大测试的效率; 服务器硬件故障 ,集群内服务器硬件故障导致宕机,没有影响任何业务;后续配件更换的停机流程也非常丝滑; Tiflash 优化模糊查询 ,业务有模糊查询的需求,通过 TiFlash 将行存数据转为列存,同时利用 MMP 对查询进行加速。

InfoQ:从运维角度来看,迁移前后的成本发生了哪些变化?

伍春兰 :整体来看,运维层面还是节省了很多成本。举例来说,原有体系需要拆分出大量集群来运营数十个应用,现在只需要一个 TiDB 集群就可以解决问题,这种运营和计算资源(服务器等)成本是隐形的,因此整个迁移过程已经满足降本增效了。当然,很多企业可能足以承担这些成本,但运营效率也是不同的。更换之后,运营效率、架构敏捷度得到了极大提升,这在当前的业务场景下至关重要。

那么,为什么前几年企业不谈这些内容呢?在非互联网、非充分竞争的情况下,这些问题可能不是最关键的,靠人力驱动也可以搞定。但是,现在的市场环境下,效率在很多时候起决定性作用,这就逼得很多企业不得不对旧有的数据体系做出调整,而且企业不需要在纠结底层的选型和适配问题,资源全部池化,企业可以把所有精力投入到业务本身来获取最终的增长。

InfoQ:研发同学对于 TiDB 有哪些使用反馈?

伍春兰: 从研发视角,首先我们对自己有清楚的认知才选择了 TiDB;其次,如上所言,运维难度和成本的降低是可以感受到的;再次,大厂倡导的分库分表技术肯定是成熟的,但对小企业来说,这带来的工作量是巨大的,在研发资源有限的情况下,这其中的成本不得不考虑;然后,业务需要及时、弹性,TiDB 的扩展能力让这一点成为可能;最后,TiDB 的 HTAP 融合架构解决了很多,以往的大批量数据计算任务对资源消耗极大且运行速度很慢,TiDB 在跑这类任务时资源隔离的情况下还能做到智能路由,资源隔离可以保证多个业务可放入一个集群,每个业务配置指定的 RU ,保证业务之间不会相互干扰。遇到突发流量,也可以控制爆炸半径,帮助精准判断资源消耗,而且性能非常好,这对业务发展非常重要。

未来计划

InfoQ:未来的迁移计划是什么?

伍春兰: 整体规划是今年完成 70%-80% 的业务迁移,目前已基本完成前期筹备工作。如果进展再快一些,今年底到明年初预计可以完成 90% 的业务迁移,基本涵盖整个互联网所有的核心业务。希望在市场新的机会到来之前,整个底层平台能力准备充分。我相信,未来是有广阔前景的。

在技术层面,未来会尝试用 TiProxy 替换 Haproxy 或 F5 ,能够保证集群无损升级,提供限流、熔断等高阶功能,未来可以抓取所有 SQL,实现流量重放,提高测试效率;功能集成,将 Dashboard、TiUniManager、DM-web,甚至 TiCDC 的管控集中在一个平台,该平台还能提供备份管理、告警调整等辅助功能;巡检功能,很多时候要靠人去分析 Dashboard 和 Grafna 的 Performanceoverview 来判断集群情况。巡检功能可以省去人力开销,依托 AI 给出准确的集群运行报告,并附上相关优化建议。

关于中欧财富

中欧财富成立于 2015 年 8 月 14 日,是中欧基金控股的销售子公司,持有中国证监会核准的基金销售业务牌照。旗下 APP 基本实现业内基金品种全覆盖,并为投资者提供基金交易、大数据选基、智慧定投、理财师咨询等专业便捷的投资工具及服务,致力为投资者及合作伙伴提供一站式互联网财富管理解决方案。中欧基金是中欧财富的股东,中欧财富与股东之间实行业务隔离。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1026105.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

如何在微信上制作自己的小程序卖东西

在当今的数字化时代,微信小程序已成为电商行业的重要平台。本文将详细解析电商微信小程序的制作流程,帮助你了解从零到上线的过程。 一、前期准备 1. 确定商城定位和目标群体:在制作电商微信小程序前,你需要明确商城的定位&#x…

解决连接数据库提示:Public Key Retrieval is not allowed

最近在使用新的用户连接mysql时,总是提示:Public Key Retrieval is not allowed 解决方法一:在(连接属性)添加allowPublicKeyRetrievaltrue 解决方法二(不建议):先在cmd上登录

爬虫 — Js 逆向案例五闪职网登录

目标网站:http://shanzhi.spbeen.com/login/ 需求:找到密码加密的过程,进行加密 案例分析 1、多输入几次错误的密码,查看哪些字段是加密的。 2、如何没有 Search 到相关的字段,可以在 JS 里面找一找。 3、如果看到 JS…

广东深圳建筑模板厂家-能强优品木业

深圳作为中国经济腾飞的重要城市,建筑业一直是该地区的重点发展领域。在建筑施工过程中,建筑模板是不可或缺的关键组成部分。于是,广东深圳拥有一家备受赞誉的建筑模板厂家,为当地建筑行业提供优质产品和服务。这家建筑模板厂家就…

rtsp转webrtc的其他几个项目

1) mpromonet/webrtc-streamer (c开发) 把rtsp转webrtc, 通过 load urls from JSON config file ./webrtc-streamer -C config.json 通过exe文件和docker项目实际测试可以显示,但不太稳定加载慢,有时候出错后很难…

Redis 面霸篇:从高频问题透视核心原理

Redis 为什么这么快? 很多人只知道是 K/V NoSQl 内存数据库,单线程……这都是没有全面理解 Redis 导致无法继续深问下去。 这个问题是基础摸底,我们可以从 Redis 不同数据类型底层的数据结构实现、完全基于内存、IO 多路复用网络模型、线程…

go 语言 负载均衡 为反向代理添加负载均衡 拓展ReverseProxy

随机负载 package randomimport ("errors""math/rand" )type RandomBalance struct {//当前索引curIndex int//存储负载均衡的地址rss []string//观察主体//conf LoadBalanceConf }func (r *RandomBalance) Add(params ...string) error {if len(params) …

华为OD机试 - 靠谱的车 - 逻辑分析(Java 2023 B卷 100分)

目录 专栏导读一、题目描述二、输入描述三、输出描述四、解题思路五、Java算法源码六、效果展示1、输入2、输出3、说明 华为OD机试 2023B卷题库疯狂收录中,刷题点这里 专栏导读 本专栏收录于《华为OD机试(JAVA)真题(A卷B卷&#…

【Phoenix】phoenix实现每个Primarykey主键保留N版本数据,CDC数据记录为Changelog格式

一、背景: CDC数据中包含了,数据的变更过程。当CDC写入传统数据库最终每一个primary key下会保存一条数据。当然可以使用特殊手段保存多分记录但是显然造成了数据膨胀。 另外数据湖Hudi(0.13.1)是不支持保存所有Changelog其Compaction机制会清除所有旧版…

语义分割笔记(二):DeepLab V3对图像进行分割(自定义数据集从零到一进行训练、验证和测试)

文章目录 一、语义分割介绍1.1 语义分割和实例分割的区别1.2 DeepLab系列对比 二、代码下载2.1 代码测试2.2 视频学习 三、数据集准备3.1 Json转png3.2 数据集划分 四、模型训练五、模型测试六、模型评估 一、语义分割介绍 语义分割是计算机视觉中的一项技术,旨在将…

在windows下持续ping ip,将返回结果及时间记录到文件中

在纯英文路径下创建文件ping.txt 在txt中写入 Dim args, flag, unsuccOut args"" otherout"" flag0If WScript.Arguments.count 0 Then WScript.Echo "Usage: cscript tping.vbs [-t] [-a] [-n count] [-l size] [-f] [-i TTL] [-v TOS]" WScr…

java中的自定义对象排序

对于数组排序我们知道有Arrays.sort()方法,但是如果遇到想要对一个对象数组中的某个属性进行排序,我们该如何去做呢? 以给学生成绩排序为例,首先创建一个存储学生对象的数组。 package JAVA_API;public class Sort_oop {public …

解密Java多线程中的锁机制:CAS与Synchronized的工作原理及优化策略

目录 CAS什么是CASCAS的应用ABA问题异常举例 Synchronized 原理基本特征加锁过程偏向锁轻量级锁重量级锁 其他优化操作锁消除锁粗化 CAS 什么是CAS CAS: 全称Compare and swap,字面意思:”比较并交换“,CAS涉及如下操作: 假设内存中的原数据…

7、DVWA——SQL盲注

文章目录 一、概述二、low2.1 通关思路(布尔盲注)(1)判断是否存在SQL注入漏洞(2)判断属于数字型注入还是字符型注入(3)判断结果集中的字段数(4)猜数据库名长度…

常见的排序算法及时间空间复杂度

排序算法是计算机科学中的基本算法之一,它用于将一组数据按照某种顺序进行排列。下面是一些常见的排序算法,以及它们的思想和时间空间复杂度,希望对大家有所帮助。北京木奇移动技术有限公司,专业的软件外包开发公司,欢…

c++qt day11

通过代码实现电子钟表 头文件 #ifndef WIDGET_H #define WIDGET_H#include <QWidget> #include<QPaintEvent> #include<QDebug> #include<QPainter> #include<QFont> #include<QTime> #include<QTimer>QT_BEGIN_NAMESPACE namespa…

pytorch的卷积层池化层和非线性变化 和机器学习线性回归

卷积层&#xff1a; 两个输出的情况 就会有两个通道 可以改变通道数的 最简单的神经网络结构&#xff1a; nn.Mudule就是继承父类 super执行的是 先执行父类函数里面的 forward执行的就是前向网络&#xff0c;就是往前推进的&#xff0c;当然也有反向转播&#xff0c;那就是…

基于Java的电影院管理系统设计与实现

前言 &#x1f497;博主介绍&#xff1a;✌全网粉丝10W,CSDN特邀作者、博客专家、CSDN新星计划导师、全栈领域优质创作者&#xff0c;博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战✌&#x1f497; &#x1f447;&#x1f3fb;…

百度收录和权重怎么提升-网站如何获得百度权重

你是否一直苦恼于网站权重的低迷&#xff1f;不知道如何开始提升网站权重&#xff0c;缺乏优质内容更新网站。不清楚如何进行关键词优化来提升网站排名和权重。SEO是一个需要持续投入时间和资源的过程。每个网站的情况都会有所不同&#xff0c;因此所花费的时间也会有所差异。然…

蓝桥杯 题库 简单 每日十题 day6

01 删除字符 题目描述 给定一个单词&#xff0c;请问在单词中删除t个字母后&#xff0c;能得到的字典序最小的单词是什么&#xff1f; 输入描述 输入的第一行包含一个单词&#xff0c;由大写英文字母组成。 第二行包含一个正整数t。 其中&#xff0c;单词长度不超过100&#x…