生成式AI时代,数据存储管理与成本如何不失控?

news2024/10/24 18:18:03

无数据,不AI。

由生成式AI掀起的这一次人工智能浪潮,对企业的产品、服务乃至商业模式都有着颠覆性的影响。因此,在多云、大数据、生成式AI等多元技术的驱动下,数据要素变得愈发重要的同时,企业对于数据存储的需求也在发生深刻变化。

那么,生成式AI带来哪些显著不同的数据存储需求?究竟什么样的数据存储适合构建企业未来的数字底座?面对迅猛的生成式AI浪潮,企业在数据存储层面需要做好哪些准备,从而让成本不失控?

近日,在数据存储领域深耕多年的厂商Hitachi Vantara带来了它的答案:Hitachi iQ AI解决方案和单一混合云平台Virtual Storage Platform One。正如Hitachi Vantara亚太区首席技术官Matthew Hardman所言:“与其他厂商相比,Hitachi Vantara不仅仅是数据存储技术的提供商,更依靠日立集团多年的行业经验和运营技术经验,为众多行业用户带来各种行业解决方案。”

AI时代数据需求发生巨变

数据是企业在AI时代取得成功的关键。

此绝非虚言。随着数据要素的价值愈发突出,每家企业所积累的数据以及自身的数据能力,正成为其数智化转型升级中最为关键的差异化能力。

尤其是多云环境和生成式AI浪潮的兴起,数据乃企业生成式AI应用创新的关键。Gartner预测,到2026年,超过80%的企业将使用生成式AI的API或模型,或在生产环境中部署支持生成式AI的应用,这将对企业数据存储需求产生根本性影响。

具体来看,随着多云环境成为越来越多企业的基础设施环境标配,以及企业逐步对生成式AI应用进行尝试与实践,首先带来的就是远比过往复杂的数据环境。例如,多云环境必然会带来企业数据的分散式分布;而生成式AI涉及到数据收集、预处理、训练和推理等阶段,也进一步让企业数据环境走向复杂化。

另外,企业应用走向现代化以及生成式AI应用的场景愈发丰富,都会带来更加复杂且快速的数据处理需求。例如,生成式AI集群规模越大,可能会导致系统故障概率上升,随之而来的就是高频度的CheckPoint给存储带来的写入带宽挑战。

更加关键的是,数据存储作为底座,所扮演的角色在发生转变——除了安全存储和管理好数据之外,还需要承担起数据供给的重任。以多云环境为例,数据要素只有流动起来才能更好地发挥出价值,这需要底层存储提供保障;而生成式AI同样需要数据与模型的快速结合,这离不开存储系统的数据供给。

Matthew Hardman认为,今天很多企业都在考虑应用包括生成式AI在内的AI技术,也并不缺乏数据,甚至拥有了太多数据,但仍然受困于如何从数据中获取价值,“Hitachi Vantara的目标就是从实际需求的角度来提供合适的产品与解决方案,帮助企业解决AI、大数据、多云环境等具体数据存储的挑战,并迅速获得有益的成果。”

生成式AI不能让成本失控

毫无疑问,生成式AI已成为确定性趋势。

但不能否认,生成式AI的应用作为一项复杂的工程化项目,依然面临着极为复杂的技术门槛和相当高昂的成本,这也是很多企业对生成式AI“望而却步”的根本原因。

以存储为例,当前绝大部分企业在生成式AI应用上依然采用烟囱式的建设模式,数据获取、数据预处理、模型训练与评估、模型部署应用四个阶段都有独立的存储集群,各个阶段的数据流通、协同充满挑战,而且不得不承担极高的数据存储成本。

Matthew Hardman直言:“很多企业正处于对生成式AI的早期采纳探索阶段,非常容易就出现成本失控的情况。”

因此,存储层面需要化繁为简,并且针对大模型的训练、调优等承担起数据供给的重任。Gartner《Top Storage Recommendations to Support Generative AI》报告就认为,到2028年,四分之三拥有生成式 AI 训练数据的组织将部署单一存储平台来存储数据,这一比例显著高于 2024 年的 10%。

显然,“GenAI in a box”融合存储解决方案在未来会愈发重要,它通过一套存储来承载AI数据处理全流程的业务,实现数据的高效流通与协同,并且集成了主流的GPU硬件、软件能力,大幅降低生成式AI部署与应用的难度,实现开箱即用。

为此,Hitachi Vantara基于NVIDIA最新的AI技术,并结合Hitachi Vantara的下一代存储平台,带来了Hitachi iQ AI解决方案。

Hitachi iQ AI解决方案技术架构

Hitachi iQ AI解决方案不再是单一的产品,而是从客户实际需求出发,提供不同规模和配置的选项,以满足不同企业、不同场景的差异化需求。众所周知,目前数据与大模型主要有三种方式:检索增强生成(RAG)、微调和持续预训练,每种方式对于基础设施、企业能力要求是不尽相同的,因此Hitachi iQ AI解决方案可以从灵活性、可用性等方面来帮助各种类型的企业。

“在生成式AI的早期探索阶段,其实很多企业是不清楚自身具体需求和使用场景的。此时,利用Hitachi iQ AI解决方案来进行早期验证就非常合适,它不仅能够快速部署应用,还能够控制成本,而且一旦验证成熟,就可以进行大规模投资。”Matthew Hardman介绍道。

不仅如此,Hitachi Vantara还会依托Hitachi在各行各业的丰富经验、研发和实验室资源,来帮助各行各业的用户找到他们AI应用的场景和用例,从而帮助企业在AI时代找到快速获益的途径或方式。

多云时代需更好释放数据价值

除了生成式AI之外,多云环境下的数据管理也迅速成为企业不可忽视的挑战。

众所周知,随着微服务、容器等技术的迅猛发展,越来越多现代化应用不断涌现。现代化应用往往具有部署环境广泛、业务弹性多变、管理复杂和安全性要求极高等特征,对于企业的数据流动、数据协同和数据安全的要求大幅提升。

因此,一个统一的数据存储平台在未来会成为必须。统一的数据存储平台需要对包括结构化数据、非结构化数据、第三方存储数据等进行统一管理,简化数据管理等工作,提升数据的可用性,从而驱动数据的高效流动与协作。

为此,Hitachi Vantara推出了Virtual Storage Platform One(简称:VSP One)平台。VSP One产品包括:VSP One SDS块存储、VSP One SDS云存储和VSP One文件存储。

Matthew Hardman认为,VSP One的核心理念是帮助企业构建起统一的数据生态系统,通过统一的数据平面和管理平台,以及Data Fabric技术,消除数据孤岛和碎片化现象,实现跨所有数据类型、支持所有环境部署的全面数据管理。

例如,依托日立存储虚拟化操作系统(SVOS),VSP One可以确保数据实现跨设备和跨地点的收集、整合与访问,使得企业可以轻松获得数据,并利用数据驱动业务发展;在防勒索方面,VSP One将数据库备份到对象存储之中,利用对象存储数据不可逆的特性,使得企业在遇到勒索风险时可快速恢复数据;再如,在数据保护方面,VSP One块存储具有动态磁盘保护(Dynamic Drive Protection,DDP)功能,可以实现对存储资产的最高级别保护,并显著加快重建速度。

“VSP One是一个数据平台,接下来还将融入更多技术,帮助企业在现有环境中不断获得最新的技术创新,从而为数智化转型与升级注入更多动力。”Matthew Hardman最后表示道。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1842785.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

windows系统停止更新办法

windows系统停止更新 双击启动下载的文件 然后再回到系统-更新这里,选择日期就行。

万元主力机型该选什么固态硬盘,佰维NV7200、NV3500 的实用一定要让你知道

固态硬盘:变革存储技术,探索无尽可能 今年的固态市场价格一直是稳中上涨。 固态的价格上涨有技术上的因素,也有人工成本上的因素。好在国产固态技术的崛起,在固态价格上涨之下,依旧能选购到性价比和性能出众的型号。…

FFmpeg+SDL2实现音视频播放器项目

一、FFmpeg视频解码器 1.视频解码知识 1).纯净的视频解码流程 压缩编码数据->像素数据。 例如解码H.264,就是“H.264码流->YUV”。 2).一般的视频解码流程 视频码流一般存储在一定的封装格式(例如MP4、AVI等)中。封装格式中通常还…

SAP赋能食品行业,确保安全与品质的双重飞跃

品安全与品质是消费者最关心的问题,也是食品企业的生命线。随着科技的发展和消费者需求的日益多样化,食品行业正面临着前所未有的挑战和机遇。SAP作为全球领先的企业资源规划(ERP)系统,为食品行业提供了全面的解决方案…

银河麒麟4.0.2安装带有opengl的Qt5.12.9

银河麒麟4.0.2下载地址:银河麒麟-银河麒麟(云桌面系统)-银河麒麟最新版下载v4.0.2-92下载站 VirtualBox:https://www.virtualbox.org/wiki/Downloads qt下载:Index of /archive/qt/5.12/5.12.9 1安装VirtualBox:网上教材比较多 1)安装完后安…

Android14 开发之Broadcast延迟及Service常驻等新特性说明

Android14 开发之Broadcast延迟及Service常驻等新特性说明 Broadcast延迟问题 FLAG_RECEIVER_FOREGROUND 是 Android 中的一种标志,它用于将广播接收器(BroadcastReceiver)标记为前台广播。前台广播具有较高的优先级,系统会尽快…

T200HSA单路SDI/HDMI+1路3.5音频高清万能采集卡

产品简介: 同三维T200HSA单路高清万能采集卡,可以采集1路SDI/HDMI高清信号1路3.5音频信号,卡上有1个是HDMI接口1个是SDI接口1个3.5音频口,配件有: 1个小档板,PCI-E2.0 X1,分辨率最高可以达到10…

Sklearn之朴素贝叶斯应用

目录 sklearn中的贝叶斯分类器 前言 1 分类器介绍 2 高斯朴素贝叶斯GaussianNB 2.1 认识高斯朴素贝叶斯 2.2 高斯朴素贝叶斯建模案例 2.3 高斯朴素贝叶斯擅长的数据集 2.3.1 三种数据集介绍 2.3.2 构建三种数据 2.3.3 数据标准化 2.3.4 朴素贝叶斯处理数据 2.4 高斯…

Linux下手动修改服务器时间(没网环境下)

在客户服务器上更新程序时,发现服务器时间不对,现在应该是下午13:44:00,但服务器却显示为:21:40:53,所有是不对的。 date解决办法: 1、由于服务器是没有网的,只能手动设置时间,输入…

如何使用k8s安装nexus3呢

百度云盘地址 链接:https://pan.baidu.com/s/1YN1qc2RvzTU3Ba6L_zCTdg?pwd5z1i 提取码:5z1i 下载后上传到本地服务器 docker load -i nexus3 创建 nexus-deployment.yaml apiVersion: apps/v1 kind: Deployment metadata:name: nexus3-deployment spec…

2024年华为最新笔试预约流程,超详细!内附操作流程!

未注册过华为账号步骤如下 约考试或者查询考点网址:https://www.pearsonvue.com.cn/Clients/huawei.aspx 1-1进入网站后先点【登录】 1-2点击【立即注册】 1-3(手机注册方式) 填写手机号、接收验证码、设置登录密码后勾选同意两个声明 (邮箱注册方式) 填写…

易保全远程视频公证:打破传统,创新公证服务新模式

在数字化浪潮的冲击下,公证行业也在经历着深刻的变革。传统公证方式在满足人们日益增长的公证需求时,逐渐显露出一些问题与困扰。与此同时,远程视频公证作为一种创新模式,正展现出强大的发展趋势和显著的优势。 近年来&#xff0…

建筑主体沉降观测规范详解

随着城市化进程的加速,高层建筑和大型建筑项目日益增多,建筑主体的沉降观测工作显得尤为重要。沉降观测是确保建筑安全稳定的关键环节,对于预防建筑安全事故、保障人民生命财产安全具有重要意义。本文将详细解析建筑主体沉降观测的规范和要求…

SAP之我做SAP顾问那些年的辛酸苦辣终成过往

大家好:CSDN也更了有一段时间,大家可以看到,最近一直没时间更新,这里给大家道歉,对不起! 首先做为一个不算是SAP圈混的菜鸟,今天给大家分享一下我一路走来的薪路历程,比不上大厂&…

windows服务器下jenkins c语言打包的一些经验share

前言 因为一些原因,需要从linux环境下的jenkins 打包c语言转移到使用windows环境下的jenkins打包c语言,从转移的过程中,发现了一些问题和解决方案,故在此和各位运维工程师分享一下。 一、windows 下的c语言编译环境配置 这边就…

Hadoop3:MapReduce中实现自定义排序

一、场景描述 以统计号码的流量案例为基础,进行开发。 流量统计结果 我们现在要对这个数据的总流量进行自定义排序。 二、代码实现 我们要对总流量进行排序,就是对FlowBean中的sumFlow字段进行排序。 所以,我们需要让FlowBean实现Writab…

AI时代下的自动化代码审计工具

代码审计工具分享 吉祥学安全知识星球🔗除了包含技术干货:Java代码审计、web安全、应急响应等,还包含了安全中常见的售前护网案例、售前方案、ppt等,同时也有面向学生的网络安全面试、护网面试等。 这两年一直都在提“安全左移”&…

Java程序员Python一小时速成

背景 由于最近要开发一些AI LLM(Large Language Model 大语言模型)应用程序,然后又想使用LangChain(LangChain 是一个用于构建和操作大语言模型(LLMs)的框架,旨在帮助开发者更方便地集成和使用…

JavaEE多线程(2)

文章目录 1..多线程的安全1.1出现多线程不安全的原因1.2解决多线程不安全的⽅法1.3三种典型死锁场景1.4如何避免死锁问题2.线程等待通知机制2.1等待通知的作用2.2等待通知的方法——wait2.3唤醒wait的方法——notify 1…多线程的安全 1.1出现多线程不安全的原因 线程在系统中…

前端入门篇(五十二)练习6:transition过渡小动画

所以应该先找到第n个li,找到li再找img,li没有找错,底下又各自只有一个img,解决 ul li:nth-child(1) img { } 描述文字从下往上: 一开始描述也在框框下面,当hover时,translateY(0)&#xff0…