云存储生态构建的技术基因和最佳实践

news2024/10/3 21:28:01

当云计算、大数据、物联网、人工智能等新技术纷至沓来，我们都在时代的洪流中亲历这样的变化——数字科技深入渗透工作生活，从消费娱乐到生活服务，再到产业革新。

智能化时代，企业 IT 趋势的四大转变

不难发现，以上云为主要特征的数字时代，最典型的特征是数据的高速增长。据相关机构预计，到 2026 年，全球数据量将高达 216ZB，其中 90% 为非结构化数据。为了应对云时代数据洪流，自如地将数据“存-管-用”，企业 IT 建设趋势也在发生变化。

第一，IT 建设的规划需要“仰望星空，脚踏实地”。不光要考虑高性价比的投入和支持现有业务信息化，更要考虑如何敏捷、快速地响应创新业务的验证和迭代，以应对快速变化的市场。

第二，数据化会带来组织效率的提升和更细粒度的分工，从而导致应用的数量增长。另外，越来越多的企业应用的云原生化和微服务化也带来应用数量的增长。因此在企业IT架构建设之初，应用数据的持久化存储和应用的可观测性就应计划实现。

第三，业务应用数据的互联互通已经不再是方向，而是在企业 IT 整体架构设计中之初就必须考虑的事情。统一设计的数据底座让这一切唾手可得。

第四，智能物联网高速发展催生了新的行业场景，近客户端快速响应、简单数据处理+云端海量存储，准实时或离线计算分析的场景越来越多，需要有云/边/端的统一数据底座部署能力。

从“量”到“质”的技术能力转变

大数据容量的“量变”需要数据处理技术的“质变”，对于企业而言，云提供了灵活的弹性伸缩、弹性存储容量、安全可靠、高可用性和稳定的性能等能力。大数据时代下，云存储得到了飞速发展，其成熟过程始终贯穿着“应用的需求”与“技术发展的推动”这两条主线。

针对不断演进的需求变化，阿里云已在存储领域完成全面布局，包括块存储、文件存储、表格存储和对象存储在内的云上存储家族，混合云 CPFS 存储、混合云阵列、云存储网关、云定义存储的混合云存储服务，以及高性能分布式存储和数据库存储等典型场景存储方案。

作为阿里云飞天系统中极其重要的一环，阿里云存储拥有统一设计的数据底座，不仅提供了丰富完整的公共云和混合云存储产品矩阵，还通过客户数据中心和边缘局点到云上的整体存储解决方案，打破了数据存储和流通的边界，帮助企业挖掘数字化经济时代的新石油，推动 IT 敏捷化和易用化的浪潮。

存储生态构建的最佳实践

基础设施为云爆发创造了先决条件，在稳定、完善、成熟的基础设施之上，海量应用方才井喷式迸发。Cloud2.0 时代，数字化转型进入深水区，需要联合所有的伙伴力量，奋楫笃行，共同打通从数字技术到具体解决业务问题的各种关节。阿里云认为，将数字技术落实到企业和组织中，形成真正能够解决业务问题、创新业务场景和商业模式的解决方案，是一个非常细致而又繁琐的工作，必须依靠广大的合作伙伴才能够完成。

阿里云的 IaaS 一直保持着技术领先，而存储作为 IaaS 的核心组成部分、IT 设施中最重要的一环，希望以被集成的方式让伙伴利用好这些原子能力，为客户构建丰富的数据存储解决方案。目前，已有不少伙伴利用阿里云存储成功构建了数据平台。

飞轮数据基于阿里云 OSS 构建云原生数仓

在这里插入图片描述

云原生是数仓基础架构的一个基本的演进方向。近几年云原生数仓创业赛道很火，也被资本市场看好和重点布局。云原生实时数仓厂商 SelectDB（北京飞轮数据科技有限公司）选择了用对象存储 OSS 构建其核心产品 SelectDB 的存储底座，完美解决各类数据汇聚，流动，提取，管理复杂，分析效率低下的数仓构建中的典型问题，帮助 SelectDB 的客户实现跨部门的数据共享，快速满足企业数据分析和管理的各类需求。

在联邦查询、即席检索等传统数仓容易出现性能瓶颈的场景，一条命令，即可实现极致的数据分析能力，提升用户使用体验。对象存储 OSS 同 Hadoop 生态的完美适配，帮助“货拉拉”、“同程数科”、“蜀海供应链”等知名 SelectDB 用户无缝对接 Hadoop 生态，还能同阿里云上函数计算，EMR 等大数据分析产品原生配合使用，让商业决策更加方便和及时。近期，在 ClickHouse 发起的分析型数据库性能测试排行榜 ClickBench 中，云原生数仓 SelectDB 强势登顶。

值得一提的是，对象存储 OSS 提供单命名空间 50 亿文件的支持和 10 万 QPS 的元数据操作能力，再配合使用阿里云文件存储 CPFS 专门针对小文件提供的百 TB 容量 280 万 IOPS 的能力，可降低 95% 的计算等待时间，大幅提升训练效率。全面服务化的形态，极致的性价比优化，无论是用户准备升级目前的数仓平台还是准备构建自己的数仓平台，都是不二首选。

观测云基于阿里云 SLS 构建可观测 SaaS 平台
在这里插入图片描述

云原生环境下，企业基础设施的部署方式和资源使用方式发生了很多变化。如应用的容器化部署方式、业务中间件微服务化架构、资源使用的 Serverless 趋势、敏捷协同的开发模式。尽管业务模块间解耦和无状态能提升模块复用率和快速响应创新型业务，但它也给问题快速定位、模块报警处理、系统状态监控、故障根因分析带来了巨大挑战。在这种情况下，传统的监控体系难以招架。

可观测性的出现，正是为了解决云原生技术栈中，用户对微服务、容器化部署模式的不可感知、无法全局洞察的问题。一个理想的可观测解决方案，需要做到以下几点：

稳定，高效的采集存储各类数据源；
方便的清洗，分类，分发数据，能正确响应，有效通知；
各类数据能融合分析，方便对接各类分析引擎；
有一定AI智能化检测，快速进行根因诊断；
要高性价比，易于扩展，免运维。

日志服务 SLS 作为云原生观测分析平台，聚焦于海量数据的采集，稳定高可靠的数据存储和基础的数据处理和分析。上海观察未来信息科技公司旗下的实时数据检测平台——观测云，就是在日志服务 SLS 的基础上，运用自己对新零售领域的理解，帮助客户快速搭建，实现对基础设施、中间件、应用层和业务层的可观测服务，满足云时代对监控的需求。

对于企业用户而言，如何读懂数据，洞察庞杂数据变化背后的趋势，识别未来的商业机会和预判未来风险尤为重要。观测云和阿里云日志服务的结合，为用户提供了强大的智能运维和业务洞察能力。用户可以利用阿里云日志服务 SLS 实现数据的采集和存储，并利用阿里云的授权机制，让观测云解读和分析日志。继而利用观测云对行业的理解和良好交互体验的产品，实现对业务关联分析、告警的智能过滤、事件有效分发通知，助力自身业务快速健康增长。

俗话说，独行快，众行远。日志服务 SLS 愿意在底层平台和能力的基础上，携手更多对行业有深度理解的伙伴一起共同服务好这个市场。