鄞州银行:符合中小银行质量提升的数据治理方案

news2024/12/23 8:47:35

案例简介

在数字化转型的驱动和数据治理“严监管”的推动下,为解决金融机构数据治理体系不健全、数据质量低下等问题,利用数据治理成熟度评估模型进行问题分析定位,重点围绕数据规划、组织机制、标准建设以及数据类平台建设等方面进行数据质量提升。通过应用实践,总结归纳形成全生命周期的数据治理体系,从平台、标准、管理、质量四大方面应用技术手段有效提升金融数据质量和统计报送质量,且对其他中小银行具有一定的参考性和可复用性。

创新技术/模式应用

1.1 应用工具做好规划,建立金融数据管理提升路径

1.1.1 数据治理成熟度评估模型

图1 数据治理框架

1.2 机制和管理先行,为质量提升提供制度保障

1.2.1 组织架构和制度建设

图2 数据治理组织架构

1.2.2 标准建设

标准建设主要包括技术标准、指标标准和指标口径建设。

词根:使用金融行业常用英文缩写,保证技术和业务也能通过字段名理解字段含义。

图3 数据平台词根

数据字典:包括码值、字段长度等各类技术说明,保证数据开发人员使用数据的来源一致性。

图4 数据字典

模型规范:建设9大主题模型,将数据进行有效归类,实现数据开发人员的快速入手。

图5 主题模型分类

开发规范:形成统一开发,保证技术平台和底层代码的一致性,降低维护成本和学习成本。

指标标准:形成行业规范标准,标注规范来源,实现与监管要求一致。

图6 指标标准

指标口径:实现技术口径和业务口径的统一管理,降低业务和技术的门槛。

图7 指标口径

1.3 夯实系统功能,实现数据全面管控提升报送质量

1.3.1 数据平台建设

数据平台包括数据开发平台、数据基础平台、数据模型三部分。

数据开发平台

根据词根和数据开发规范等建立统一的可视化、组件化、流程化的数据开发平台,实现代码线上化管理模式。

图8 数据开发模板

基础平台建设

数据平台采用Hadoop作为底层基础,搭配hdfs、yarn等基础组件实现数据存储、计算等功能,为海量数据的存储和计算提供了高性能的平台基础。

图9 数据平台基础架构

数据平台模型

数据平台模型保证了数据开发、数据存储、数据计算的统一,形成了标准化的流程模型。

图10 数据模型架构

1.3.2 数据治理平台建设

数据治理平台涵盖元数据采集、数据标准管理、数据血缘管理到数据质量监控等数据全生命周期的管理。

图11 数据治理平台

1.3.3 指标平台建设

指标管理平台实现指标线上流程化管理、指标的统一存储和共享、血缘关系追踪。

图12 指标平台

1.3.4 统一报送平台建设

统一报送平台支持业务数据的统一补录核对和复杂的信息检索,实现各类监管报送的统一登录、统一整合、统一指标、统一展现、统一管理,进行监管报送集中管理。

项目效果评估

通过实践经验,形成了数据平台、数据治理平台、统一报送平台的建设方案,并将开发规范纳入数据治理标准体系建设,应用大数据和人工智能技术实现数据全流程管控,归纳总结形成数据治理体系方案。

1、数据质量的提升和金融统计质量的提升

一、根据数据治理成熟度评估模型应用方法以及调查问卷信息,通过组织、机制、流程和平台建设,确保数据治理流程在系统中有序的开展,有规划性地提升开发质量。

二、通过数据治理平台质量监控实现源头数据的提升,实现客户信息和交易的质量提升,确保证件号码与各类信息区域的一致性,地址与区域的统一管理等,使质量提升有了抓手。

三、提升源头数据质量、建立各类交叉、勾稽校验规则,为金融统计在行业分类、涉农、科目产品分类等方面的质量提升提供了技术和数据的保证,实现了金融统计工作的提质增效。

四、全面梳理各报表口径,将“口口相传”的统计口径梳理成对应的技术语言,落地到指标;建立全面、完整的指标体系,实现数据的共用共享。

2、金融数据治理方案可复用性

鄞州银行的现状与大部分中小银行所处的阶段基本一致,从数据管理到平台建设的方案符合中小银行的数据治理诉求,可复制推广到其他金融机构,从而提升数据质量。整体数据治理方案主要包括制度、标准和平台建设、涵盖数据治理的全流程管控,尽可能的通过技术手段去发现数据质量问题,从而降低人员的人力投入。

3、可视化展示实现业务数据的理解

传统银行的分析系统,存在“烟囱式”架构,独立的登录界面和用户管理,导致数据和分析成果无法共享。同时业务人员过度依赖技术人员实现分析需求,导致效率太低,相似需求不断重复,数据的利用率也不够。通过建设数据平台和统一报送平台,将基础数据和汇总数据进行了全面的整合,实现数据的共用共享,业务人员可通过一个平台实现可拖拉拽的功能,从汇总指标到数据明细进行自主的数据分析和挖掘,一方面可以更快地核对数据,另一方面,可以更加高效地为经营管理提供数据支撑。

来源:未央网2023数字金融创新大赛-数据治理类

关注gzh【大数据食铁兽】,获取更多大数据资讯。

免责声明:以上报告均系本平台通过公开、合法渠道获得,报告版权归原撰写/发布机构所有,如涉侵权,请联系删除 ;资料为推荐阅读,仅供参考学习,如对内容存疑,请与原撰写/发布机构联系。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/542880.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

springboot+jsp网上药品商城销售管理系统

本设计需要实现一套方便药品管理者轻松便捷的处理药品运营工作的药品销售管理系统。设计并实现了特殊药品管理系统。系统选用B/S模式,应用java开发语言, MySQL为后台数据库。系统主要包括主页、个人中心、用户管理、药品类别管理、药品信息管理、系统管理…

Boy,Slowly...

很多朋友问我为啥写的少了。我说很多东西都是常识,老生常谈无数遍了,不想不断重复写了。常识性的东西,不断强调是对的,但是不断重复写,这就不对了。 (1)朴素 早上看一位朋友发了一条王兴过去老生…

使用Python复制某文件夹下子文件夹名为数据文件夹下的所有以DD开头的文件夹到桌面...

点击上方“Python爬虫与数据挖掘”,进行关注 回复“书籍”即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 楼阁玲珑五云起,其中绰约多仙子。 大家好,我是皮皮。 一、前言 前几天在Python最强王者群【魏哥】问了一个Python自动化办公处理…

macOS Ventura 13.4 (22F66) 正式版发布,ISO、IPSW、PKG 下载

本站下载的 macOS Ventura 软件包,既可以拖拽到 Applications(应用程序)下直接安装,也可以制作启动 U 盘安装,或者在虚拟机中启动安装。另外也支持在 Windows 和 Linux 中创建可引导介质。 请访问原文链接&#xff1a…

在 Python 中使用 OpenCV 构建 Color Catcher 游戏

介绍 你是否曾经想在 Python 中使用 OpenCV 创建自己的游戏? 今天我们将构建一个名为 Color Catcher 的游戏,该游戏挑战玩家使用手部跟踪机制接住从屏幕顶部掉落的彩球。 设置游戏窗口 构建游戏的第一步是使用 OpenCV 设置游戏窗口。我们将定义窗口大小、…

Swift静态代码检测工程实践

本文字数:22817字 预计阅读时间:58分钟 引言 随着App功能不断增加,工程代码量也随之快速增加,依靠人工CodeReview来保证项目的质量,越来越不现实,这时就有必要借助于自动化的代码审查工具,进行程…

【运维知识进阶篇】集群架构-Nginx七层负载均衡详解

为什么要使用负载均衡 当我们的Web服务器直接面向用户,往往要承载大量并发请求,单台服务器难以负荷,我使用多台Web服务器组成集群,前端使用Nginx负载均衡,将请求分散的打到我们的后端服务器集群中,实现负载…

音频品鉴与歌唱评价——音频内容理解实践

歌唱评价是K歌系统中核心技术之一。近年来,歌唱评价领域也发生着多元化和深度化的变革。本次LiveVideoStackCon 2022 北京站邀请到腾讯音乐天琴实验室高级研究员——江益靓,为大家介绍全民K歌的多维度评价技术和深度歌唱评价技术的实践,以及优…

Linux系统编程学习 NO.3 ——基础指令的学习

* 通配符 通匹配任意字符(包括空字符),用于匹配任意长度的字符串。包括空字符。加入你要匹配任何以.txt后缀的文件,只需要在*通配符后加上.txt后缀即可。 样例演示 ls *.后缀名 ls xxx* 找到匹配的字符串man指令(重要) Linux的…

理论力学专题:张量分析

张量方法的引入 自然法则与坐标无关,坐标系的引入方便分析,但也掩盖了物理本质指标符号哑标和自由标 Einstein求和约定:凡在某一项内,重复一次且仅重复一次的指标,表示对该指标在它的取值范围内求和,并称这…

【C++ 入坑指南】(10)函数

文章目录 简介定义实例函数的分文件编写 简介 函数是一组一起执行一个任务的语句。每个 C 程序都至少有一个函数,即主函数 main() ,所有简单的程序都可以定义其他额外的函数。 您可以把代码划分到不同的函数中。如何划分代码到不同的函数中是由您来决定…

分享3个深度学习练手的小案例

🤵‍♂️ 个人主页:艾派森的个人主页 ✍🏻作者简介:Python学习者 🐋 希望大家多多支持,我们一起进步!😄 如果文章对你有帮助的话, 欢迎评论 💬点赞&#x1f4…

0ctf_2017_babyheap-fastbin_dup_into_stack

参考: [1]https://uaf.io/exploitation/2017/03/19/0ctf-Quals-2017-BabyHeap2017.html [2]https://blog.csdn.net/qq_43935969/article/details/115877748 [3]https://bbs.kanxue.com/thread-223461.htm 题目下载参考[1] 说明下如何调试堆,在payload中…

chatgpt赋能Python-python3_7如何下载

Python3.7如何下载?详细步骤分享! Python是一门当今最热门、最常用、最易学的编程语言之一,且拥有庞大的社区和强大的库支持。在这篇文章中,我们将会详细介绍如何下载Python3.7版本,让大家能够轻松上手Python编程。 …

代码随想录训练营Day44| 完全背包 518. 零钱兑换 II 377. 组合总和 Ⅳ

目录 学习目标 学习内容 完全背包 518. 零钱兑换 II 377. 组合总和 Ⅳ 学习目标 完全背包 518. 零钱兑换 II 377. 组合总和 Ⅳ 学习内容 完全背包 problems/背包问题理论基础完全背包.md programmercarl/leetcode-master(代码随想录出品) - Git…

chatgpt赋能Python-python3_5怎么打开

Python 3.5怎么打开?教你几种方法 Python是目前非常流行的一种编程语言,几乎在所有行业都得到了广泛的应用。Python非常容易上手,且有强大的数据处理和科学计算能力。现在我们来说一下,如何在您的计算机上打开Python 3.5。 方法…

万劫不复之地-云原生可观测性的几大误区

传统监控厂商正把可观测性引入万劫不复之地 可观测性是当前讨论非常多的话题,这个理念由来已久,却在最近开始流行。 在20世纪60年代,该理念首次由Rudolf E. Kalman在其论文中提出,论文题目是《on a general theory of control s…

自然语言处理基础

以下所有内容来自《自然语言处理 基于预训练模型的方法》 1. 文本的表示 利用计算机对自然语言进行处理,首先要解决语言在计算机内部的存储和计算问题。使用字符串表示计算文本的语义信息的时候,往往使用基于规则的方法。如:判断一个句子编…

一文深度解读机器学习模型的评估方法

我们训练学习好的模型,通过客观地评估模型性能,才能更好实际运用决策。模型评估主要有:预测误差情况、拟合程度、模型稳定性等方面。还有一些场景对于模型预测速度(吞吐量)、计算资源耗用量、可解释性等也会有要求&…

chatgpt赋能Python-python3_8怎么降版本

Python 3.8如何降级版本 在本文中,我们将介绍如何将Python 3.8降级到旧的Python版本。这在一些情况下是有必要的,例如某些软件或库并不支持Python 3.8。Python版本降级不仅有用,还可以帮助您控制您的系统上的软件版本,以确保您的…