AIGC 大模型纷纷部署，企业如何为 AI 数据降本增效

news2024/11/25 16:50:10

编辑 | 宋慧

出品 | CSDN 云计算

AIGC 从年初开始持续爆火，国内各种大模型纷纷涌现，其中模型参数轻松突破千亿数量级。模型中数据的形态、部署也是多种多样的，庞大数据量背后的管理和成本不容小觑。

混合数据厂商肯睿 Cloudera 今年相继发布了系列的数据产品与方案，就是希望为所有 AI 与大模型的用户降低背后的数据成本。详细来说，Cloudera 建议用户重点去提高对数据的可观测性设计，并优化混合云的部署成本。另外对于 AI 场景的数据需求，用户可以重点关注湖仓一体的混合数据部署方式。

提升数据可观测性，优化混合云成本

经过十多年的 IT 改造和云化升级，采用混合云部署的模式正在逐渐普及和成为企业的重要选择。对于混合云场景，Cloudera 总结了三方面需要数据相关的技术团队去重点关注的工作。首先，在由容器、调度器、服务等复杂系统的混合云场景里，数据平台的可控和稳定性是第一重要的。另外，目前的管理系统对于云消耗情况和效率的可见性仍有限，所以常常会导致浪费和超支，因此技术团队需要重视对于数据底层的资源管理与控制工作。最后，对于数据系统运维来说，故障排除麻烦，提供支持的人员需要频繁地来回奔波，运维人员与平台系统的体验也是运维效率的重要保证。

因此，Cloudera 针对以上的重点技术问题，设计了可以覆盖整个 CDP 平台产品的一站式可观测性应用解决方案 Cloudera Observability。方案从财务视角、管理监控、性能优化、自动化分析等等方面去进行设计。具体功能与设计如下：

1、财务治理

通过成本管理避免超出预算
规划前的能力预测

2、主动系统监控

关于基础设施、服务、工作负载和用户的历史分析报告
当前系统监控和洞察

3、工作负载优化

性能调校建议
调节规则主动失效和刷新

4、服务健康监控

通过连续服务监控确定瓶颈
事件和日志与服务的关联性

5、自助式分析

覆盖所有能力的自动化操作
完整的影响分析和可见性

6、更快的问题解决速度

随时可用的 RCA 和处方更快的支持速度

据介绍，目前 Cloudera Observability 已经支持了 Hive、Impala 和 Spark 等 CDP 的几个主要的数据引擎，并以 Cloudera 托管的 SaaS 形式提供服务，接下来 Cloudera Observability 还将推出可本地部署的版本。根据测算，采用 Cloudera Observability 之后，数据系统的集群利用率可提升 30%以上，SLA 和 SLO 遵守率可提高 43%，RCA 和故障排除速度加快 50 倍，从数据的效果可以看到可观测性技术对于基础设施的投资回报率、收入、运营开支都有非常显著的优化。

企业大模型的数据困境，Cloudera 湖仓一体给出新答案

除了对于数据的可观测技术，对于 AI 与大模型场景下的数据应用，数据系统也面临了与以往数据分析所不同的全新技术挑战，例如企业内部大模型训练所需数据的来源、准确性、安全性等等。

以大语言模型为例，对于 Spark、Hive 等系统下数据结构与性能等不同需求

详细来说：

1、数据背景信息缺失

未在企业自身的数据上训练
企业客户背景信息至关重要

2、数据的关联性与准确性

错误的响应会带来严重的后果

3、数据的可信与安全

针对意图而不是功能的新验证理念

4、数据风险与合规

授权、溯源、治理审计追踪

Cloudera 已经积累了针对数据编织、湖仓一体、数据网格和未来数据生态系统架构要求的混合数据平台，基于混合云与多云部署，提供数据编制编排后，统一提供 AI、BI、机器学习等数据分析与应用产品。

今年 4 月 Cloudera 客户大会上 Cloudera 也重点强调了 Cloudera 混合数据平台 CDP 对数据科学与 AI、机器学习的支持。例如 Cloudera Machine Learning(CML)可以为机器学习生命周期提供端到端的工作流程支持，以及覆盖从数据专家到数据分析师等各类用户的协作式、一体化商业智能与增强功能。

针对企业训练和使用大模型对于数据的需求，Cloudera 也总结和分享了对应的产品与技术路线。目前已经分别从安全可信、混合数据应用、可扩展的三个方面提供技术能力。