金融大数据平台总体技术

news2024/11/25 0:29:40

金融大数据平台应用场景
风险管理
1. 场景描述
2. 解决方案
市场营销
1. 场景描述
2. 解决方案
金融大数据信息价值链
金融大数据平台总体目标
金融大数据平台功能技术要求
1. 概述
2. 数据接入功能要求
  1. 作业调度
  2. 数据采集
  3. 消息队列
  4. 数据传输

金融大数据平台应用场景

风险管理

场景描述

风险管理以反欺诈场景为例。金融欺诈风险主要来自针对借记卡和信用卡的身份盗用、持卡人欺诈、第三人欺诈、商户欺诈，以及针对电子渠道的钓鱼网站、中间人欺诈、木马欺诈等。银行业金融机构应有效地甄别、防范和控制风险。

解决方案

金融大数据平台实时反欺诈功能通过客户的自然属性、行为属性、客户信用度、资产负债状况、交易环境等信息进行实时交易行为监测，通过交易记录、频度、位置等信息，实时分析判断交易风险，并针对不同类别和级别的疑似欺诈交易做相应处理，将传统的风险事后跟踪转变为事中控制。实时反欺诈大数据分析可以通过统一管理银行业金融机构内部多源异构数据结合依法查询外部征信数据，建立完善的风险防范体系。

市场营销

场景描述

市场营销以精准营销场景为例。在金融产品标准化、同质化的背景下，传统的营销模式效果不佳。银行业金融机构需要选择合适的时间、合适的产品推广给真正需要的客户，动态掌握市场需求的变化，提升产品营销效率

解决方案

金融大数据平台通过对客户数据进行挖掘、追踪、分析，将不同客户群体进行聚类，分析客户的消费习惯、风险收益偏好等特征信息，对细分的客户进行个性化智慧营销。例如，根据客户的购买习惯和风险偏好进行动态的理财产品组合营销。根据客户行为轨迹分析，主动推送关联产品服务，真正做到个性化的主动营销服务，提升客户整体满意度

金融大数据信息价值链

从信息价值链的角度来看，金融大数据平台面向金融大数据应用提供者、系统协调者及大数据框架提供者，核心活动在于从数据提供者处收集、处理、分析金融活动过程中的相关业务数据、用户信息、行为数据等，并结合金融业务特征支撑金融机构的各项活动和服务。金融大数据信息价值链见图1。

数据提供者为金融大数据平台提供数据或信息，包括数据源提供者、数据流通平台提供者和数据 API提供者。

系统协调者在金融领域规范和协调各类所需的数据应用活动，包括系统的配置管理、作业调度、资源调度、运行监控等活动。

大数据应用提供者满足金融领域大数据服务需求，包括收集、预处理、分析、可视化和访问

等活动。

大数据框架提供者为金融大数据应用提供者在创建具体应用时提供资源和服务。

数据消费者是金融大数据应用的最终使用者或其他系统

金融大数据平台总体目标

金融大数据平台的总体目标是帮助金融机构更高效、更快速地完成金融大数据应用的开发、部署和管理，从以交易为中心转向以数据为中心，以应对更多维、更大量、更实时的数据和互联网业务的挑战。金融机构以防范系统性风险为底线，对数据安全和业务连续性保障的技术要求通常高于其他行业。

金融大数据平台功能技术要求

概述

金融大数据平台是企业级、分布式、开放、统一的大数据平台，应包括数据接入、数据存储、数据处理、数据分析及数据服务相关组件。从功能的必要性及重要性角度看，金融大数据平台具体功能技术要求可以划分为基本要求和增强要求。增强要求是从技术的发展趋势和金融用户的前瞻性需求入手提

出的。

数据接入的基本要求应包括作业调度、数据传输、消息队列、批量采集，增强要求宜包括实时采集；数据存储的基本要求应包括分布式关系数据库、分布式存储系统（文件、对象、块）等，增强要求宜包括分布式列数据库、分布式图数据库；数据处理的基本要求应包括批处理、流处理、图计算，增强要求宜包括批流融合计算、内存计算；数据分析的基本要求应包括模型库、数据处理引擎等，增强要求宜包括数据可视化；数据服务的基本要求应包括风险管理、用户画像、营销管理、客户服务和经营分析等。

金融大数据平台技术架构见图2。

金融大数据平台由数据接入、数据存储、数据处理、数据分析、数据服务和平台运维等部分组成，主要内容如下：

数据接入提供结构化数据、非结构化数据或半结构化数据的采集、数据的导入导出以及数据流的定义等功能，支持多系统集成，支持多协议接入，如支持RESTful、RPC、异步消息接入。结构化数据包括数据库文件以及结构化文本文件等。非结构化数据包括图片、音频、视频、文档及应用数据等。半结构化数据包括XML、表格、JSON、HTML、电子邮件等。

注： REST指的是一组架构约束条件和原则，满足这些约束条件和原则的应用程序或设计称为RESTful。

数据存储提供大数据的分布式存储管理，涵盖多种存储方式和文件系统。
数据处理支持结构化、半结构化及非结构化数据，提供丰富的API接口和SDK开发包，支持分布式计算技术、流处理技术、内存计算技术，实现稳定、强大的数据处理能力。
数据分析采用数据挖掘、机器学习等技术，支持多个数据处理引擎，具备数据可视化、多种算法、建模分析等深度挖掘分析能力。
数据服务提供海量金融交易数据、用户信息数据、金融业务数据的访问、控制等基础服务，提供营销管理、风险管理、客户服务、经营分析及用户画像等高级数据服务，金融大数据平台支撑的应用场景见附录。
平台运维具备高可靠、安全、容错、易用的集群管理能力，支持大规模集群的安装部署等功能，提供分钟级别的统一风险管理，具备各类日志的指标实时采集能力、通用的SQL查询能力、可视化监控能力。

数据接入功能要求

作业调度
1. 应支持工作流任务的调度。
2. 应支持工作流的编排。
3. 应支持工作流的批量启停、导入、导出。
数据采集
1. 应支持数据库与文件系统间数据、文件的导入和导出。
2. 应支持数据的批量采集。
3. 宜支持数据的实时采集。
4. 应支持任务的并行执行，在任务失败后可以重新调度。
消息队列

消息队列的功能要求如下：
1. 应支持高吞吐、分布式消息的处理。
2. 应支持消息的缓存。
3. 应支持离线应用和在线应用对消息的使用和处理。
4. 宜支持多种客户端。
数据传输
数据传输的功能要求如下：
1. 应支持通用的数据传输协议。
2. 应支持断点续传机制。
3. 应支持同步、异步传输机制。