IDC 2024未来企业大奖：酷克数据携手中国联通打造湖仓一体平台

news2024/11/15 21:48:46

9月11日-12日，2024 IDC中国年度峰会暨颁奖典礼于上海圆满召开。全球权威IT市场研究和咨询公司IDC公布了 2024 未来企业大奖的优秀奖名单。中国联通与酷克数据联合申报的《中国联通筑梦数字化转型：自主可控、开放协作的混合受管理湖仓一体平台》项目，凭借其深度国产化、自主可控、高效灵活、统一管理等先进特性，成功入选 2024 未来数字基础架构领军者奖项。

IDC未来企业大奖（Future Enterprise Award, FEA）已连续征集9年，是业界首个针对不同机构、组织、个人在数字化转型背景下进行表彰的奖项，具有前瞻性、中立性和国际性的声誉。

每年，IDC都通过公开征集、公众投票和内外部专家评审的方式，票选出当年最具标杆意义的数字化转型案例，旨在表彰那些引领未来商业趋势、彰显数字化转型巨大商业价值的先锋力量。

酷克数据HashData云原生数据仓库携手中国联通打造的自主可控开放式湖仓一体平台，整合数据湖低成本存储与数据仓库高效处理的优势，构建了稳定高效的数据处理生态。基于湖仓之间无缝调度与管理能力，打破传统大数据体系的数据孤岛，实现数据湖与数据仓库之间数据的自由流通与共享。对构建开放、共享、安全、高效的数据供给体系发挥了重要作用，使数据“供得出、流得动、用得好、控得住”，充分发挥数据资源对经营业务的支撑价值。

01项目背景：大数据集约化的瓶颈与难题

在数字经济蓬勃发展的背景下，中国联通面临大数据集约化建设的需求，系统升级建设过程中遇到了诸如超大规模数据存储承载能力扩展瓶颈、数据链路中各计算引擎对同一数据无法识别、数据共享效率低等一系列难题。为此，中国联通与酷克数据合作，旨在建设自主可控的湖仓一体平台，提升网络建设、运维、服务营销、用户管理的智能化水平，进一步促进用户服务渗透率的提高。

项目核心在于平台的自主性与开放性，重点实现湖与仓的融合。项目通过分布式存储元数据和数据请求路由管理技术，形成存储集群的联邦，解决分布式存储系统的可扩展性问题。同时，对元数据信息和数据权限进行统一管理，解决Lambda架构下多计算引擎引发的数据不一致、计算成本高、数据共享难等问题。新平台通过逐级串联与打通，解决了湖上数仓高价值数据分析的“最后一公里”问题，大幅提升了数据要素流通效率，业务应用价值显著。

02HashData解决方案：元数据管理、云原生弹性、数据共享

分析型数据库是项目建设最重要的技术投资之一。经过中国联通的深入调研和多轮技术选型，最终选择了酷克数据旗下的HashData云端数据仓库作为核心技术解决方案。基于云原生架构和分布式设计，不仅满足了数据库的事务性需求，也完美适应了数据湖的应用场景。

HashData摒弃了传统的“湖上建仓”或“仓外挂湖”的模式，通过元数据、计算和存储的分离，以及智能感知数据湖元数据变化的设计，解决了湖仓数据共享问题。此外，HashData还显著提升了资源利用率、扩展性、并发支持以及扩缩容的灵活性，从而降低了运维成本。

HashData产品在中国联通OLAP数仓规模超过2000节点，具备基于异构芯片的灵活部署能力。依托存算分离架构优势和云原生调度能力，各业务租户可灵活申请资源，实现算力的弹性扩缩容，极大地提升了资源使用效率。

HashData云端数据仓库与中国联通现有Hadoop数据湖技术栈实现了高效协同工作。以数据湖作为统一存储，基于共享互通的数据组织、兼容开放的数据分析接口和高效的数据缓存能力，为联通各业务提供了高效、便捷的一体化数据加工和分析技术支撑，进一步提升了湖仓一体平台在异构数据复杂查询和超大规模数据处理方面的性能，为中国联通的数字化建设提供了强有力的支撑。

03项目价值：经营分析与营销能力显著提升

该平台自上线以来，已经全面支撑了中国联通集团及其下属省分、子公司的各类业务场景，实现了每日TB级数据高效采集与处理。平台的引入使得数据分析类业务发展核心指标的发布效率大幅提升，日报告发布时间提前了30%，月报告发布时间提前了20%，为企业的快速决策提供了有力的数据支撑。同时，依托平台高效的数据分析引擎，也极大提升了自助数据分析业务中基于全量数据的经营分析报表的业务洞察力。

值得一提的是，中国联通在数字化建设过程中，始终将数据安全与隐私保护放在首位。平台通过加强数据加密、权限控制等安全措施，确保了数据在采集、存储、处理和分析全过程中的安全性与合规性。同时，平台还积极响应国家关于网络安全和数据保护的政策法规要求，为中国联通在数字化时代的安全发展提供了坚实的保障。