海量数据融合互通丨TiDB 在安徽省住房公积金监管服务平台的应用实践

news2025/3/14 20:39:08

导读

安徽省住房公积金监管服务平台通过整合全省 17 家公积金中心的数据,致力于实现数据共享、规范化管理与高效数据分析。为了应对海量数据处理需求,安徽省选择 TiDB 作为底层数据库,利用其分布式架构和 HTAP 能力,实现了快速的数据分析与治理。TiDB 的高效性能提升了平台的数据处理能力和查询效率,为全省公积金数据的统一管理与共享提供了有力支持。

本文将详细介绍 TiDB 在平台中的应用与实际效果,以及 TiDB 如何帮助安徽省提升数据分析和治理能力。


安徽省住房公积金监管服务平台是一个集成了全省 17 家公积金中心数据的监管服务平台,此平台主要目标是构建一个省级住房数据平台,以满足国家数据标准,规范并统一省内住房公积金数据的应用。此外,它还需要与住建部的全国公积金数据共享平台以及省大数据局对接,以便实现省级数据的共享,并且能够为省数据共享提供可靠的数据支撑。

为实现全省公积金数据统一数据服务,提升公积金数据标准化、规范化、数据共享和服务能力能力,安徽公积金将 TiDB 作为安徽省住房公积金监管服务平台底层数据库。经过上线实践证明,TiDB 为安徽省住房公积金在海量数据融合互通数据核查治理数据分析时效性等方面带来了显著价值。

海量数据融合互通,基础架构面临挑战

平台功能介绍

目前安徽省住房公积金监管服务平台已具备一系列功能模块,包括首页、运营分析、统计报表、智慧大屏、数据治理、风险检查和系统管理。

其中,运营分析主要用于从不同维度分析公积金业务指标,统计报表则负责生成、填报和查询住建部规定的报表,同时也支持省级用户的报表导入、核对和更新。智慧大屏提供了综合和业务两大类可视化展示,而数据治理模块则涵盖了传数统计、数据检核和人工数据核对等功能,以确保数据的质量。风险检查方面,平台不仅支持公积金中心的自我检查,也支持省厅的检查,并可以根据需要添加新的检查模型。在系统管理上,平台提供了机构、岗位、角色和用户管理,以及数据字典和菜单管理等工具。另外,平台还具有年报功能,允许各公积金中心编辑和导出年度报告,并支持中心上传自定义的年报。

安徽省住房公积金监管服务平台需要提供以下功能:

  1. 数据采集:从安徽省各市和安徽省公积金业务系统采集数据,包含公积金交易、转账等明细信息。
  2. 数据分析:基于各市公积金上报业务明细数据进行统计分析,如根据根据公积金交易明细数据计算公积金核心经验业务指标,基于业务数据进行报表可视化展示等。
  3. 数据加工治理:需要对各市级公积金上报数据进行统计、校对,并对上报数据进行统一建模加工形成统一的数据标准,确保数据规范和统一标准,以便提供与各市、外省以及全国公积金交换和共享数据。
  4. 数据共享上报:安徽公积金数据规范之后需要再往全国公积金共享平台上报数据。

数据库技术选型要求

为了实现安徽省住房公积金监管服务平台上述功能要求,解决全省 17 个公积金系统海量数据融合互通能力,提升数据分析效性和数据加工治理等生产环境面对的痛点,安徽省住房公积金监管服务平台启动了原生分布式数据库的测试选型,具体的要求包括:

  1. 数据扩展:需要数据库具备海量数据存储、汇聚和计算能力,实现多市海量数据汇聚和全省数据融合互通
  2. 数据分析:需要数据库具备高性能数据分析能力,实现高性能经营指标分析、报表可视化展示和智慧大屏等业务
  3. 数据加工治理:需要数据库具备高效数据加工能力,实现高效数据治理、统一建模等业务
  4. 高可用:需要数据库具备多副本数据存储能力,提高关键海量数据完整性和高可用能力
  5. 自主可控:需要数据库具备自主可控能力,确保业务连续性和自主可控

经过多轮对比测试和业务场景的验证,TiDB 满足了本次技术选型的所有指标。安徽省住房公积选择将 TiDB 作为国家免疫规划信息系统的底层数据库。

HTAP 架构赋能,TiDB 助力高效数据治理

经过多轮对比测试和业务场景的验证,TiDB 满足了本次技术选型的所有指标。安徽省住房公积金选择将 TiDB 作为安徽省住房公积金监管服务平台的底层数据库。

当前使用了 7 台 16vc/64G 服务器,其中 3 台服务器做 TiFlash 节点,使用 TiDB HTAP 能力一栈式支持数据分析、高并发数据汇聚和高效数据加工等能力。

系统架构图

系统架构图

目前所有应用模块已成功迁移到 TiDB 集群上,目前该系统已正式上线运行,全省 16 个市加安徽省公积金业务系统均与安徽省住房公积金监管服务平台的正式环境实现了对接,目前数据量接近 1 TB,经营指标、报表展示、智慧大屏等查询业务均在秒级别完成,显著提升了数据分析和查询效率。

总结与展望

结合系统的实际运行效果,总结 TiDB 为安徽省住房公积金带来的收益如下:

  1. 海量数据处理:TiDB 使用存算分离架构,计算和存储节点都可以按需扩展。目前已经存储接近 1 TB 数据。
  2. 高效数据分析:TiDB HTAP 能力单个 SQL 可以在多台服务器上并行计算,并且可以使用 TiFlash 列存做列存分析计算。经营指标、报表展示、智慧大屏等查询业务均在秒级别完成,提升了数据分析效率。
  3. 数据加工治理:利用 TiDB 分布式和 HTAP 能力,结合应用数据治理模块拆批能力,实现超大数据量高效数据治理能力,统一全省数据标准。
  4. 高可用:利用 TiDB 多副本和 Raft 金融级数据强一致性性,提升了数据高可用能力。
  5. 自主可控:TiDB 为自主可控的开源数据库产品,满足自主可控需求。

安徽省住房公积金监管服务平台的成功实践证明了 TiDB 在处理海量数据、提升数据分析效率以及保障数据高可用性方面的卓越能力。

通过整合全省 17 家公积金中心的数据,平台实现了数据的统一管理和高效共享,为省级数据治理和全国公积金数据交换提供了坚实的技术支撑。TiDB 的分布式架构和 HTAP 能力不仅满足了平台当前的业务需求,还为未来的数据扩展和功能升级奠定了基础。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2311321.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Linux12-UDP\TCP

一、UDP 1.特点: 尽最大努力交付,存在丢包的可能 无连接 面向数据报 机制简单,传输效率高 2.应用场景: 1.画面传输 VNC 直播:要求实时性高、允许数据丢失、 二、TCP 1.特点: 面向数据流(流式套接字) 建立连接 安全可靠的传输协议 三次握手:TCP建立连接时,…

【HeadFirst系列之HeadFirst设计模式】第14天之与设计模式相处:真实世界中的设计模式

与设计模式相处:真实世界中的设计模式 设计模式是软件开发中的经典解决方案,它们帮助我们解决常见的设计问题,并提高代码的可维护性和可扩展性。在《Head First设计模式》一书中,作者通过生动的案例和通俗的语言,深入…

自由学习记录(42)

可能会出现到后面没有教程可以看,走不动,,但还是尝试吧 过程远比想象的要多 那连Live2d的这些脚本怎么控制的都要了解一下 ------------ 文件类型和扩展名 | 编辑手册 | Live2D Manuals & Tutorials 全部导入之后 在这下载SDK Live2D…

excel vlookup的精确查询、模糊查询、反向查询、多列查询

目录 入门 精确查询 模糊查询 反向查询 (搭配 if 函数) 多列查询 (搭配 match 函数) 入门 精确查询 需求: 查找 学生编号是008 所在的班级 操作: 在I2单元格输入公式如下,VLOOKUP(H2,B1:E12,4,FALSE), 得出结果 看一下vlookup 公式每一个参数应该怎么写? 语法: vlookup…

安装remixd,在VScode创建hardhat

在终端,以管理员身份,cmd 需要科学上网 npm install -g remix-project/remixd 在vscode插件中,安装solidity插件,是暗灰色那款 1.将nodeJs的版本升级至18以上 2.在vscode打开一个新的文件,在终端输入 npx hardhat 3.…

【Python爬虫】利用代理IP爬取跨境电商AI选品分析

引言 随着DeepSeek的流行,越来越多的用户开始尝试将AI工具融入到日常工作当中,借助AI的强大功能提高工作效率。最近又掀起了一波企业出海的小高潮,那么如果是做跨境电商业务,怎么将AI融入工作流中呢?在做跨境电商的时候…

捣鼓180天,我写了一个相册小程序

🙋为什么要做土著相册这样一个产品? ➡️在高压工作之余,我喜欢浏览B站上的熊猫幼崽视频来放松心情。有天在家族群里看到了大嫂分享的侄女卖萌照片,同样感到非常解压。于是开始翻阅过去的聊天记录,却发现部分图片和视…

洛谷 P1480 A/B Problem(高精度详解)c++

题目链接:P1480 A/B Problem - 洛谷 1.题目分析 1:说明这里是高精度除以低精度的形式,为什么不是高精度除以高精度的形式,是因为它很少见,它的模拟方式是用高精度减法来做的,并不能用小学列竖式的方法模拟…

图像滑块对比功能的开发记录

背景介绍 最近,公司需要开发一款在线图像压缩工具,其中的一个关键功能是让用户直观地比较压缩前后的图像效果。因此,我们设计了一个对比组件,它允许用户通过拖动滑块,动态调整两张图像的显示区域,从而清晰…

基于Arcgis的python脚本实现相邻矢量面的高度字段取平均值

文章目录 背景效果实现逻辑步骤1、准备数据2、python脚本3、执行通过脚本工具箱来执行背景 在地理信息系统(GIS)数据处理或三维建模等实际应用场景中,我们常常会遇到需要对矢量面数据进行精细化处理的需求。其中一个常见的任务便是对相邻的矢量面中的高度字段开展特定操作。…

Golang的网络流量控制

# Golang的网络流量控制 什么是网络流量控制? 网络流量控制是指针对网络数据传输过程中的流量进行管理和调控的一种技术手段。通过网络流量控制,我们可以对网络中的数据传输速率、带宽使用情况、数据包丢失率等进行监控和调整,以达到优化网络…

Python教程(一):基本语法、流程控制、数据容器

Python(一) 文章目录 Python(一)一、基础语法二、数据类型2.1 字符串2.2 空值2.3 类型转换&运算符 三、流程控制3.1 条件判断3.2 循环3.2.1 while循环3.2.2 for循环 四、数据结构4.1 字符串str4.1.1 字符串的格式化输出4.1.1.…

【AI深度学习基础】PyTorch初探

引言 PyTorch 是由 Facebook 开源的深度学习框架,专门针对 GPU 加速的深度神经网络编程,它的核心概念包括张量(Tensor)、计算图和自动求导机制。PyTorch作为Facebook开源的深度学习框架,凭借其动态计算图和直观的API设…

UE4 组件 (对话组件)

制作一个可以生成对话气泡,显示对话台词的简单组件。这个组件要的变量:台词(外部传入)。功能:开始对话(生成气泡UI) ,结束对话。 一、对话组件创建 二、开始对话事件 1、注意这里获…

blender看不到导入的模型

参考:blender 快捷键 常见问题_blender材质预览快捷键-CSDN博客 方法一:视图-裁剪起点,设置一个很大的值 方法二:选中所有对象,对齐视图-视图对齐活动项-选择一个视图

【慕课网wiki项目学习笔记01】Spring Boot 项目搭建

2-2 新建SpringBoot项目 一、创建SpringBoot项目 (1)在SpringBoot官网创建 (2.1)在 IDEA 中创建 Group:公司名 Artifact:项目名 创建成功后开始下载Maven依赖(选择右下角的Import Changes&…

【高分论文密码】AI大模型和R语言的全类型科研图形绘制,从画图、标注、改图、美化、组合、排序分解科研绘图每个步骤

在科研成果竞争日益激烈的当下,「一图胜千言」已成为高水平SCI期刊的硬性门槛——数据显示很多情况的拒稿与图表质量直接相关。科研人员普遍面临的工具效率低、设计规范缺失、多维数据呈现难等痛点,因此科研绘图已成为成果撰写中的至关重要的一个环节&am…

vue3-pc-template后台管理之角色管理与功能权限配置实践

在开发企业级应用时,权限控制无疑是至关重要且不可或缺的一部分。合理的权限控制不仅能够有效保障系统的安全性,还能确保不同用户角色在系统中拥有合适的操作权限,从而提高系统的使用效率和稳定性。本文将详细介绍如何在 Vue3 项目中实现功能…

Android Flow 示例

在Android开发的世界里,处理异步数据流一直是一个挑战。随着Kotlin的流行,Flow作为Kotlin协程库的一部分,为开发者提供了一种全新的方式来处理这些问题。今天,我将深入探讨Flow的设计理念,并通过具体的例子展示如何在实…

前端文件加载耗时过长解决方案

从你的 Network (网络) 面板 看到,许多 JS 文件的加载时间较长(1~2秒),可能的原因如下: ✅ 可能的原因 1. 过多的 JS 请求(多个小文件加载) 你当前页面加载了很多小 JS 文件(addSi…