浅谈数据中台之标签管理平台

news2024/11/24 15:39:30

在现如今的大数据时代,相信大家一定了解或者听说过下列几个场景:

购物APP:千人千面,意思不同用户使用相关的产品感觉是不一样的,不同用户看到的购物APP首页推荐内容和其他相关推荐流信息可能是完全不同的。

社交APP:社交广告,不同用户的个人主页或者其他媒体场景下的广告信息是不同的,会基于用户特征进行推荐。

资讯APP:信息价值,根据用户浏览信息,分析用户相关喜好,针对分析结果推荐相关的信息流,越关注某类内容,获取相关的信息越多。

那么这些场景是通过什么工具构建的呢,我想每个人都想了解背后的原理。在了解之前需要知道两个概念:

第一个是标签,标签在生活中非常常见,比如商品标签,个人标签,行业标签,例如提到996就想到程序员,提到程序员就想到格子衫。

第二个是用户画像,用户画像是标签集合的展示,作为一种勾画目标用户、联系用户诉求与设计方向的有效工具,把该用户相关联的数据可视化的展现,就形成了用户画像。

知道了这两个概念后,以上几种场景的逻辑就清楚了:基于不断分析用户的行为,生成用户的特征画像,然后再基于用户标签,定制化的推荐相关内容。
 

什么是标签

标签

对某一类特定群体或对象的某项特征进行的抽象分类和概括,其值(标签值)具备可分类性。

例:
对于“人”这类群体,可将“男”、“女”这类特征进行抽象概括,统称为“性别”,“性别”即一个标签;

对于“手机”这类对象,可将“骁龙835”、“骁龙845”这类特征进行抽象概括,统称为“手机处理器”,“手机处理器”即一个标签。

标签值

标签的实例,指某一标签所包含的具体内容,其特点是符合MECE原则(相互独立、完全穷尽)。

例:
对于标签“性别”,其标签值根据MECE原则可分为“男”、“女”、“未知”;

对于标签“年龄”,其标签值可分为“0-18”、“18-35”、“35-60”、“60-100”等。

用户画像

由某一特定群体或对象的多项特征构成,输出结果通常是对特征的具体描述。(也可理解为用户画像是由多个标签组合而成,其实例是由多个标签值构成)。

例:
小明是用户画像的一个实例,小明的输出结果为“男“、“20”、“iPhone”、“北京”、“足球”,是由多个标签中的具体标签值构成。

标签的分类

按统计方式分类的标签可分为事实类标签、规则类标签、预测类标签。

1) 事实类标签

事实类标签是用户画像最基础、最常见的标签,通常是基于原始数据清理后的归类,用于描述客观事实。例如,姓名、会员等级、终端类型、购买次数、购买金额等。

2) 规则类标签

规则类标签,顾名思义,是基于确定的规则而产生。与事实类标签不同的是,规则类标签拥有更多的业务属性,其业务规则需与业务人员共同制定。例如,将“活跃用户”标签可定义为,“过去30天发生a行为x次”&“过去30天发生b行为x次”,进行综合评定。

3) 预测类标签

预测类标签,基于现有事实及规则无法得出,需要运用决策树算法、贝叶斯算法等进行数据挖掘与训练,得出标签预测结果。

预测类标签复杂度高、开发周期长、开发成本高,且需要算法工程师参与,通常此类标签的占比较少。

元年方舟数据中台白皮书

什么是标签管理平台

当我们通过各种方式,计算、生成了大量的标签数据后,很快会发现一个问题:这么多的标签,该如何管理呢?这个时候需要构建产品化的标签管理平台,元年方舟数据中台之标签管理平台应运而生。

标签管理平台以打造一站式标签管理平台为目标,基于公司数据中台,构建公司级标签库,对内支撑提质增效,对外支撑数据增值变现,有效解决数据服务和数据产品灵活性差、建设周期长、成本高等问题,支撑数据中台的业务数据融通共享。标签管理平台提供一个统一的业务视角的、易操作的、高效的标签管理、分析、展现,以支撑公司基于标签或画像开展的业务应用。
 


标签管理平台以“业务精准化”为导向,涵盖标签需求梳理、标签体系设计、标签开发、标签管理与应用、标签评估优化等工作,实现标签的闭环管理。

标签需求梳理是根据标签需求,设计标签目录体系和具体的标签内容。标签开发是根据标签体系设计,完成设计确认、数据接入、标签开发、标签固化等。标签管理和应用是对标签从创建到下线的全生命周期管理,以及标签对业务应用和决策管理的支撑。标签评估优化是从标签的更新、使用、成效等方面评估,以优化标签设计。
 

如何构建标签管理平台

基于以上标签管理平台的需求,整体标签管理平台架构包括数据采集、数据加工、标签计算、标签管理、标签应用五个环节,如下图所示:


数据采集:基于采集工具按照T+1的方式采集业务系统数据以及外部互联网数据到数据中台的ODS层。通过汇聚海量数据,为后续的数据分析提炼提供数据基础。

数据加工:通过对海量数据的加工,分析和提取,按照数仓建设规范加工明细层、汇总层以及相关主题域数据,为数据标签加工提供基础数据大宽表。

标签加工:有了宽表的数据,接下来就可以创建标签体系。标签管理平台提供多种方式创建标签,包含了事实标签的映射、规则标签的加工、自定义SQL模式加工。标签创建完成形成标签的元数据和标签加工规则,系统依赖数据中台的离线计算能力和调度能力加工相关的标签结果数据物理表,标签体系通过计算沉淀业务所需的标签库。

标签管理:包括标签对象管理、标签元数据管理、标签审批、标签上下架、标签应用效果评估、衍生标签配置、标签圈群、标签画像等标签全生命周期管理功能。

标签应用:标签服务是依赖标签平台沉淀的物理表进行可视化拖拽快速生成API方便上层应用来调用标签数据。数据走了一大圈转换成标签,自然还是要回归到业务层面,通过对标签数据的分析,可以进行个性营销、精准推送和智能推荐等相关操作。
 

标签管理平台功能介绍

元年方舟数据中台之标签管理是集标签管理、定义、生产、分析、应用的一站式标签管理平台,主要包含了标签全景、标签管理、标签圈群、标签画像、标签协同、标签服务等六大功能模块。


标签全景

纵览所有标签包含标签地图,实现可视化查询标签目录、标签检索等功能,满足业务人员快速精准定位、使用管理标签。根据展示维度不同,可从标签主体、标签场景等维度检索标签及目录层级信息,支撑业务人员在不同的应用场景中检索运用标签。


标签对象管理

对离线计算加工的基础宽表进行统一配置与接入,实现对标签主体与标签源数据的有效管理。


标签管理模块

对庞大的标签体系进行统一有序的管理,通过体系化的标签全生命周期管理功能,实现对标签的统一有序管理,持续对标签进行评估优化,保证标签的实用实效。


群体筛选模块

通过基于标签与展性的目标群体筛选,让业务人员能快速筛选相应目标群体,支撑精准人的业务应用。


画像展示模块

通过画像展现的方式让标签以更加直观地方式让业务人员“看得着”,让业务人员可以直观地洞察业务对象特征。

标签系统应用成效

前面介绍了元年标签管理平台的架构和产品功能,下面介绍下在元年科技众多案例中标签管理平台产生的价值。元年科技为某省电力公司搭建的标签管理平台,充分利用数据中台的数据资源,以“数据驱动+用户驱动”理念建设用户多维度立体画像,通过固化申计规则和审计指标,以营销业务审计为试点,初步构建数字化审计以系统各单位为主体的营销域标签体系,固化营销用电用户和光伏扶贫用户标签138项,构建纳管电费回收风险分析等5个场景。通过标签管理平台整合全量营销数据,支撑客户数字化审计项目做深、做透。

结 语

本文主要介绍了标签管理平台的一些基础知识,包括标签定义、标签分类、标签画像、标签系统的数据架构。通过对平台的初步介绍,帮助读者对标签和画像以及平台有基本的了解。后续希望通过标签管理平台,基于数据中台数据资产搭建标签体系,帮助企业将技术数据转换为业务标签,实现数据的可见、可懂、可用、可运营,实现数据资产价值的萃取以及服务化,为企业的数字化转型和精细化运营赋能。

元年方舟数据中台白皮书

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/648473.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

实例:使用网络分析仪进行电缆测试

本应用测试针对非标称50Ω的线缆,包括同轴、双绞线、差分高速数据线的测试,包括阻抗参数、S参数(插损、驻波、Smith图等等),也可以绘制眼图。 根据电缆的性能,如频率范围、长度、是否差分,设置…

Linux:root用户

root用户对Linux系统拥有最大的操作权限。 普通用户的权限一般都在home目录下,超过home目录后,普通用户在很多地方只有只读和执行的权限,但没有修改权限。 1、su命令:切换到root用户的命令语法: su -root “-”符号是可…

精密空调监控:不会这个技巧,千万不要尝试

随着科技的不断进步和信息化的发展,精密空调设备被广泛应用于数据中心、通信基站、医疗设施、实验室等对温度和湿度要求严格的环境中,以保证设备的正常运行和数据的安全性。 借助动环监控系统,精密空调可以实时了解设备的运行状态、温湿度的变…

数据库迁移 | Oracle数据迁移方案之技术两三点

今年Oracle似乎又火了,火得要下掉,目前中国大概有240数据库企业,在国产信创的大趋势下,一片欣欣向荣,国库之春已然来临。到今天为止,Oracle依旧是市场份额最大的数据库,天下苦秦久矣&#xff0c…

关于使用keil瑞萨RA4M2踩过的坑

一、之前在rasc添加的组件不能删除。 下面在rasc添加ThreadX,不只是RTOS,其他组件也出现这种情况。 当去掉组件不使用,重新配置。但是组件还是显示在软件包,导致编译出错。 解决方式,自己琢磨发现: 找到工…

腾讯视频技术团队偷懒了?!

👉腾小云导读 PC Web 端、手机 H5 端、小程序端、App 安卓端、App iOS 端......在多端时代,一个应用往往需要支持多端。若每个端都独立开发一套系统来支持,将消耗巨大的人力和经费!腾讯视频团队想到一个“偷懒”的方法——能不能只…

共建智慧工厂物联网平台方案 | 6.10 IoTDB X EMQ 主题 Meetup 回顾

6 月 10 日,IoTDB X EMQ 智慧工厂主题 Meetup 在深圳成功举办。工业物联网时序数据库研发商天谋科技、物联网数据基础设施软件供应商 EMQ 的两位技术大牛,针对多行业制造流程中数据传输、故障感知、决策执行等常见难题,通过数据基础设施平台的…

更智能、更强大:OpenAI发布升级版gpt-3.5-turbo-0613/16k速度提升,长度飙升4倍

OpenAI开发者平台最近推出了两个引人注目的GPT升级版本:gpt-3.5-turbo-0613和gpt-3.5-turbo-16k。这些新版本带来了一系列令人兴奋的功能和增强,为开发者提供了更加灵活和强大的自然语言处理工具。本文将为您介绍这两个版本的主要特点和优势。 gpt-3.5-t…

vue使用外部字体自定义LCD字体(晶管体)

大屏监控中常用到液晶字体效果,如下图所示: 一、下载字体格式 1、下载地址【Techno > LCD fonts | dafont.com】 二、解压字体 1、下载后,解压后都是.ttf文件,在Font Squirrel (这个地址打开,直接可以…

Multi-headed Self-attention(多头自注意力)机制介绍

对于输入的序列 来说,与RNN/LSTM的处理过程不同,Self-attention机制能够并行对进行计算,这大大提高了对特征进行提取(即获得)的速度。结合上述Self-attention的计算过程,并行计算的原理如下图所示&#xff…

储存卡格式化,分享3个正确方法!

Dam是个摄影师,经常使用储存卡存储各种照片、视频。正好他明天又要出外景,但害怕内存不够,想把储存卡格式化,又担心自己操作失误。因此求助如何正确格式化储存卡。 储存卡为我们存储文件等带来了诸多便利。有时候,我们…

无人机上仅使用CPU实时运行Yolov5(OpenVINO实现)(下篇)

​上期中我们讲了Yolov5的前两节环境配置及简单运行,在本期中我们带来后面两节在不同处理器下的实验数据及如何训练自己的模型。​ 三、在不同处理器上的延迟与效果 为了查看Yolov5在不同设备上的延迟与效果,下面我们对Inter的i3、i5、i7三种处理器在同…

「深度学习之优化算法」笔记(三)之粒子群算法

1. 粒子群算法简介 粒子群算法(Particle Swarm Optimization,PSO)是一种模仿鸟群、鱼群觅食行为发展起来的一种进化算法。其概念简单易于编程实现且运行效率高、参数相对较少,应用非常广泛。粒子群算法于1995年提出,距今&#xff…

新世界-旧世界

以下内容是这两天朋友问答形成的一些观点,堆成一篇文章。看似没有关联性,但你仔细品味,你会感觉到它们其实讲的是一个事。至于是一个啥事,我不说,你们自己猜。 (1) 今年年初看见篇文章&#xff…

前端vue仿京东天猫简单好用的瀑布流瀑布流式布局列表组件waterfall

前端vue仿京东天猫简单好用的瀑布流瀑布流式布局列表组件waterfall&#xff0c; 下载完整代码请访问uni-app插件市场址:https://ext.dcloud.net.cn/plugin?id13046 效果图如下&#xff1a; #### 使用方法 使用方法 <!-- proList: 条目数组数据 goProDetail:条目点击事…

vue路由的两种模式 hash与history

文章目录 vue路由是什么&#xff1f;Hash 模式Hash具体的原理如下&#xff1a;Hash 模式的好处缺点 History 模式实现 History 模式的原理如下&#xff1a;History 模式的好处缺点 vue路由是什么&#xff1f; Vue 路由是 Vue.js 框架提供的一种机制&#xff0c;用于实现单页面…

驱动开发:内核解锁与强删文件

在某些时候我们的系统中会出现一些无法被正常删除的文件&#xff0c;如果想要强制删除则需要在驱动层面对其进行解锁后才可删掉&#xff0c;而所谓的解锁其实就是释放掉文件描述符&#xff08;句柄表&#xff09;占用&#xff0c;文件解锁的核心原理是通过调用ObSetHandleAttri…

【科学文献计量】关于使用metaknowledge读取文献后转化字典结构报错PD问题的解决方式

关于使用metaknowledge读取文献后转化字典结构报错PD问题的解决方式 1 问题说明2 问题探索3 问题解决4 数据核实1 问题说明 在进行文献下载完毕后,使用metaknowledge读入文献时候是正常的,但是要通过RC.makeDict()方法转化为字典结构,却发生了PD报错问题(KeyError: PD),如…

基于SpringBoot+vue的在线考试系统设计和实现

博主介绍&#xff1a; 大家好&#xff0c;我是一名在Java圈混迹十余年的程序员&#xff0c;精通Java编程语言&#xff0c;同时也熟练掌握微信小程序、Python和Android等技术&#xff0c;能够为大家提供全方位的技术支持和交流。 我擅长在JavaWeb、SSH、SSM、SpringBoot等框架下…

阿里云新人专享是什么意思?是新注册用户还是新用户或者老用户?

阿里云2023年促销活动中云服务器购买条件大多都指定为新人专享&#xff0c;有的用户购买提示“不满足购买条件”&#xff0c;有的虽然能买&#xff0c;但是点击购买之后的价格却跟活动显示价格有很大的出入&#xff0c;活动中的云服务器会提示“新人专享”&#xff0c;那么什么…