在这个信息爆炸的时代,数据已经成为推动企业发展的核心动力,而数据治理则是确保数据价值得以最大化发挥的关键。在整车制造的研发、生产及供应链业务中,数据治理扮演着举足轻重的角色。
· 数据治理对于提升数据质量至关重要。高质量的数据是企业决策的基础,也是实现智能化生产和服务的关键。通过数据治理,我们可以对数据进行清洗、整合和标准化处理,提高数据的准确性和可用性,为企业的发展提供有力支持。
· 数据治理在保障数据安全方面的作用。在整车的生产与运营过程中,涉及到大量的敏感数据,如用户信息、车辆运行数据等。这些数据的安全与否直接关系到客户的隐私权益和企业的声誉。因此,我们必须加强数据治理,确保数据的安全性和完整性。
· 数据治理还能够促进数据价值的挖掘和应用。在智能汽车的研发过程中,我们积累了大量的数据资源。通过数据治理,我们可以更好地挖掘这些数据的潜在价值,发现新的应用场景和业务模式,推动企业的创新发展。
这里我们举例营销域,在汽车销售行业中,这些痛点主要源于消费者需求、市场状况、技术变革以及行业特性等方面。以下是针对汽车销售痛点的具体分析和归纳:
1. 信息不对称
· 交易双方在车辆性能、价格、库存等关键信息上存在差异,导致消费者无法做出全面、准确的决策。
· 线上平台仍然存在信息不对称问题,顾客对商品和服务的信任度不高。
2. 购车流程长、效率低下
· 传统的线下购车过程通常包括试驾、询价、谈判、交付等环节,消耗了顾客大量的时间和精力。
· 消费者对于汽车购买流程的不满意度较高,影响用户体验和顾客流失。
3. 消费者需求多样化
· 不同消费者对于汽车的需求因人而异,注重性能、安全性、燃油经济性等不同方面。
· 销售人员需要根据不同消费者的需求进行差异化销售,提供符合消费者需求的车型和配置。
4. 信任危机和销售额下滑
· 虚假广告、质量问题和交付延误等问题使得在线销售受到了质疑和限制。
· 这些问题直接导致消费者对于汽车销售行业的信任度降低,同时也影响了销售额。
针对以上痛点,主机厂商多数都通过数据融合的技术收集了大量的业务数据,但业务数据的管理措施往往又缺失落地工具及实施。建立完整的数据管理体系有助于提升消费者满意度,增强行业竞争力,促进汽车销售行业的可持续发展。
01、事前数据治理管控
1.数据模型设计
业务系统的数据模型设计人员和数据仓库模型的设计人员负责模型设计。建议在模型设计环节中尽可能多地引用数据标准,确保模型设计的规范化和标准化,这需要将数据标准与模型设计结合起来,实现数据标准在模型设计中的落地。此外,在模型设计环节中存在数据标准覆盖不全的情况,通过数据建模工具的自定义标准可以补全数据标准,通过这种闭环的方式不断完善数据标准体系。
2.数据模型评审
数据模型评审涉及团队内部评审、发布上线前的正式评审等环节。内部评审的形式可以是线下的;发布上线前的评审涉及多个部门的流程审批,更适合线上的方式,完善的数据建模工具可以支持线上的数据模型评审环节。
3.生产环境监控
发布上线的数据库会进入运维阶段,这个环节的管控任务主要是确保设计环节最终评审通过后发布的数据模型与生产环节投产的数据库DDL脚本的一致性,避免在生产环节的随意修改从而对数据有血缘链路的上下游系统产生不可控影响。
解决开发态和生产态不一致问题最有效的手段是将数据模型设计、评审环节与数据库脚本发布上线和投产环节打通,整个过程通过线上化流水线方式,工具平台可以支持去手工化的方式来约束数据设计到生产环节的规范性和可控性,实现越少的人工介入,越规范化的方式来生产数据。
二、事中数据治理管控
数据标准的统一也是数据治理的重要方面。缺乏统一的数据标准,会导致企业内部各部门之间数据交流困难,甚至产生数据冲突。因此,企业需要制定统一的数据标准,并推动各部门按照标准进行数据管理和使用。
数据质量问题是制约企业数据治理的关键因素。数据不准确、不完整、不一致等问题,使得企业在分析和利用数据时面临巨大挑战。为解决这一问题,企业需要建立完善的数据质量管理制度,明确数据质量标准,并加强数据质量的监控和评估。
除了数据质量和数据标准问题外,数据治理还需要关注数据安全。随着数据泄露事件的频发,数据安全已成为企业不可忽视的问题。企业需要建立完善的数据安全管理制度,加强数据安全的防护和监控,确保数据不被非法获取和利用。
在数据治理过程中,企业还需要关注数据文化的建设。数据文化是指企业内部对数据价值的认同和尊重程度。一个良好的数据文化能够推动数据治理的顺利开展,提高数据治理的效果。
1.元数据管理
元数据及数据地图,实际上是一个数据的“导航图”。它清晰地展示了数据的来源、结构、关系等关键信息,使得数据使用者能够迅速定位所需数据,大大提高了工作效率。
此外,元数据地图还有助于数据质量的提升。通过对数据结构的清晰描述,可以更容易地发现数据中的错误和异常,从而及时进行修正。
在数据治理方面,元数据地图更是发挥了不可替代的作用。它使得数据治理更加系统化、规范化,为企业的数据决策提供了强有力的支持。然而元数据地图的建设并非易事。它需要跨部门、跨团队的协作,需要数据的全面梳理和整合。但正是这样的挑战,让我更加深入地认识到数据治理的复杂性和重要性。
总的来说,元数据管理的意义远不止于技术层面。它更是企业数据管理、治理和决策的基石。相信,在未来的数据时代,元数据地图将会发挥更加重要的作用。
2.数据标准管理
数据标准管理能够提升数据的准确性。通过制定统一的数据标准,企业能够确保数据在采集、处理、存储和传输过程中的一致性,减少数据错误和歧义。数据标准管理有助于实现数据的互通共享。当不同部门或系统使用相同的数据标准时,数据交换变得更加高效,有助于打破信息孤岛,促进信息流通。
显然,数据标准管理还能提高数据分析的效率。统一的数据标准使得数据分析人员能够更快地理解和处理数据,降低数据处理的难度和时间成本。
在数据标准管理的过程中,我也遇到了一些挑战。如何确保数据标准的持续更新和适应性是一个重要问题。这需要企业建立一个数据标准管理委员会,负责定期审查和更新数据标准。
管理应包含:基础标准、码值、业务术语、指标标准及其维度体系,标准的建立应借鉴国家标准、行业标准以及沉淀已久的企业内部标准信息。并依据数据标准的管理部门及流程进行管理权力派发,用数据治理平台工具得以实现。借助平台数据标准核标能力,对于标准落地进行检验。
3.数据质量管理
数据质量对营销数据的检验至关重要,因为它直接关系到营销决策的有效性和准确性。以下是关于数据质量如何影响营销数据检验的几个方面:
1)数据准确性和一致性
营销数据必须准确,才能为营销团队提供可靠的决策依据。如果数据中存在错误或误差,可能会导致错误的营销策略和决策。一致性同样重要。数据在不同来源和系统中应该有一致的定义、格式和度量单位,以避免在数据集成和分析时出现混乱和矛盾。
2)数据完整性和时效性
营销数据需要完整,即包含所有必要的信息和维度,以便进行全面的市场分析和客户细分。数据遗漏或缺失可能导致分析结果的不完整和误导。时效性也很重要。营销数据需要是最新的,以便及时捕捉市场变化和客户需求。过时的数据可能无法提供有效的市场洞察和预测。
3)数据质量和检验方法
为了确保营销数据的质量,可以采用多种检验方法,如记录数检查法、关键指标总量验证法、历史数据对比法、值域判断法、经验审核法和匹配判断法等。这些方法可以帮助识别数据中的错误、异常和遗漏,确保数据的准确性和可靠性。
例如,记录数检查法可以验证数据表中的记录数是否在确定的数值或范围内;关键指标总量验证法则可以对比具有相同业务含义的数据总量是否一致;历史数据对比法则可以通过观察数据变化规律来验证数据的可靠性。
4)数据质量对营销决策的影响
高质量的数据可以支持更准确的客户细分、市场定位和产品定位,从而提高营销活动的针对性和有效性。另一方面,低质量的数据可能导致错误的营销策略和决策,浪费营销预算和资源,甚至损害品牌形象和客户关系。
综上所述,数据质量对营销数据的检验具有重要影响。为了确保营销决策的有效性和准确性,需要重视数据质量管理,采用适当的检验方法和技术手段来确保数据的准确性、一致性、完整性和时效性。
4.数据安全管理
随着大数据为企业赋予了更高的潜在价值,同时也对数据安全带来全新的挑战。国家层面也对数据安全、个人信息安全越来越重视,分别出台了《数据安全法》、《个人信息保护法》,要求各省、各行业做好数据分类分级工作,保障数据安全。
数据分类分级能力是指根据数据的属性或特征,将其按一定的原则和方法进行区分和归类,并建立起分类体系的过程;并且能够按照数据内容敏感程度与危害性对数据进行定级,为数据全生命周期管理的安全策略制定提供支撑。企业要对数据实现全方位的管控,当务之急就是先梳理清楚数据资产,并且对数据资产进行建立分类分级规范,对分类分级以后的数据进行不同等级不同程度的利用和保护,加快数字化建设的同时保障数据安全。
数据分类分级工作步骤建议:
数据分类分级操作流程建议:
参考制造业遵从的数据分类分级要求,结合数据资产梳理情况细化,从而形成数据分类框架。根据用户数据分级需求、行业监管要求等内容制定数据级别,遵从国家、金融行业、监管等相关要求,明确数据分级要素及内容,包括安全等级、重要程度、影响对象、影响范围、影响程度等。
数据安全定级旨在对数据资产进行全面梳理并确立适当的数据安全分级, 是金融业机构实施有效数据分级管理的必要前提和基础,数据分级是建立统一、完善的数据生命周期安全保护框架的基础工作,能够为金融业机构制定有针对性的数据安全管控措施提供支撑。
三、事后数据资产应用
目前,数据资产目录管理已经变成了数据治理工作中不可或缺的一个环节。企业在识别出自身数据资产的基础上,进一步构建数据资产目录,能够帮助用户更好地理解、使用以及分析数据。
企业通过发现、描述和组织数据资产,形成一套企业数据资产的清单目录,提供一套上下文背景信息,为数据分析师、数据架构师、数据管理专员和其他数据用户,根据业务价值目标更好地查找和理解相关的数据资产。
如果缺少了数据资产目录管理工作的支撑,很多数据管理与应用的工作开展都如同盲人摸象,缺乏整体的数据蓝图,没有有效的指引,由此导致了诸多不便和低效。
例如:
-
数据消费者不知道有哪些数据,也无法联系到相应的负责人;
-
数据中心中承载了大量的数据,但却是一片沼泽,找到有意义的数据只能依靠人工经验进行指引;
-
组织内有多个数据源,没有统一的途径来精准识别数据源;
-
数据消费者没有适当的流程进行请求与获取目标数据;
-
数据消费者无法理解数据,更不知该如何使用数据;
数据资产目录的建设,最重要的是要以价值为导向,能够对业务起到有效的支撑作用,并具备良好的运营机制,才能体现价值,我们对数据资产目录的建设策略建议如下:
1、明确驱动力、优先选择业务价值高的应用场景,建设成果落地有效
首先结合当前及未来企业对数据管理工作的现状、挑战和需求进行分析,识别对业务支撑力较强的业务领域、数据主题、信息系统等,选择业务价值高的应用场景为建设支撑目标,在此范围内,进行数据目录管理工作目标和路径的设计,从而通过数据目录支撑到企业数据管理战略、产生更为直接的工作效益。
需要强调的一点,企业对数据资产目录价值的认识不要只停留在现有业务所积淀形成的、相对静态的数据资产,还可从行业发展的角度分析未来应具备的数据资产,构建相对前瞻性的数据资产目录。例如,电信运营商可对未来5G业务进行分析,构建数据资产目录,以迎接即将到来的5G类新业务应用的需求;汽车制造业的厂商可对新能源、车联网等业务进行前瞻性布局,从内外不同渠道获取相关数据资产进行分析、构建目录,支撑业务发展。
2、配套建设数据资产目录管理所需的组织职责、工作机制及数据文化氛围,技术与管理并重。
数据资产目录的建设与管理需要相应的组织和机制支撑,需要企业内部数据文化达到一定氛围后,才能发挥相应的价值。
对于数据目录的管理模式、评价模式、认责机制等,都需要业务部门的业务专家、数据专家深度参与其中,持续养护数据、完善数据定义、提升数据质量、分享数据成果,而数据文化与管理机制的建立和运行,并非一朝一夕、一蹴而就。
建议在数据管理团队职责和工作机制较为明确的基础之上,能够进一步推动业务部门设置数据管理相关角色、明确职责,并在数据团队与业务团队之间、多业务部门之间,建立专项小组、讨论组等多种沟通机制,促进跨团队的沟通交流、提升数据文化氛围。
1、将数据资产盘点方法论融入资产盘点工作流程,支撑企业跨业务域、跨部门、跨专业领域的常态化数据资产盘点。
2、利用智能化标签技术,对数据资产进行多维分类以及异常识别,提高资产盘点质量降低人工投入。
3、融合元数据、血缘关系、数据标准、数据质量、数据安全、认责管理等数据治理信息,构建适用不同业务场景的资产目录服务。
4、结合企业数据治理过程中典型场景,提供数据资产包、众包等功能服务对数据应用场景过程进行管理。
5、结合数据资产、业务知识、应用知识构建企业知识图谱,方便数据应用参与者高效获取技术、业务知识。
6、利用大屏作为数据资产统计的输出,利用数据资产管理指标推动数据资产运维。
数据资产目录管理是一项重要的工作,其建设过程不会是一蹴而就的,建设效果也不是立竿见影的,它本质属于“地基”类工作,因此需要且值得投入精力去认真构建,一旦建成并夯实,在其上面的数据管理和应用工作将得到良好的支撑和保障,数据应用价值也会得到极大的释放。
企业在建设和运营数据资产目录时,要具备长线思维,协调业务与技术人员共同参与,随着业务发展持续迭代并创新,保证其落地执行、输出价值。