以软件定义存储实现存力与算力的协同,应对 AI 时代数据挑战

news2024/11/20 21:28:12

本文根据 XSKY 星辰天合高级副总裁张旭明在“算力与前沿技术创新发展论坛”上的演讲内容整理,略有删节。

算力与前沿技术创新发展论坛以“算力创新跃迁 赋能数字经济”为主题,8 月 17 日在汕头召开,该论坛由工业和信息化部、广东省人民政府主办,赛迪传媒、赛迪智库信息化与软件产业研究所、《软件和集成电路》杂志、大数据产业生态联盟执行,是 2023 中国数字经济创新发展大会的重要组成部分。

0f7dc8741d7d0b360f9bac1224d6b6a3.jpeg

星辰天合高级副总裁张旭明在论坛上发表主题演讲


这半年以来,跟人工智能相关最火热的概念就是大模型,他们固然对 GPU 算力有着非常突出的需求,但是在另外一个维度来说,也对存储有着不一样的需求,需要在数据中心层面实现算力与存力的协同

人工智能应用,尤其是在大模型领域,在数据层面有着几个显著的特点。其一是参数规模特别大,其二是数据来源非常广泛,这造成了非常大的数据量,因此他们在存储层面,主要有着三方面的需求:

  • 便利的数据汇聚与共享,如何将所需海量数据进行有效的保存,并且汇聚到一个中心,以便进行处理,然后将其分享出去,这是一个很高的门槛;

  • 存储需要足够的高扩展性和高性能,毕竟,对于 AI 训练而言,时间和效率,是非常重要的;

  • 在保证性能的前提下,解决方案需要具备足够好的性价比,否则无法真正实现大规模商用。


三种 SDS 产品

应对 AI 数据存储需求


星辰天合的众多客户基本上会采用三款产品来解决其 AI 数据存储的需求,以对象存储来承接海量的数据、以高性能文件存储来做模型训练,同时将相关的业务软件运行在我们的计算产品之上

这也是星辰天合在 AI 领域的通用解决方案,该解决方案接入 AI 模型训练的完整数据流程,从数据收集、数据治理到训练评估,一直到数据归档,星辰天合都可以提供相应的数据存储服务

除此之外,星辰天合还可以提供众多数据管理的功能。比如说,

  • 通过数据迁移的方式,我们可以帮助客户从各个数据源端把数据汇聚到了我们的对象存储上;

  • 在数据完成提取、抽取、清洗等步骤之后,人工智能对存储的需求就会变成高性能,毕竟,存储性能太低,就会让上层的 GPU 等待时间过长,在这个阶段,我们提供高性能文件存储协议去支持,同时也支持 AI 框架的各类生态

  • 在后一个阶段,我们可以提供数据归档、复制在内的相关数据流动功能,将计算的结果数据进行长期保存。


从高校、自动驾驶到先进制造

SDS 服务各行 AI 应用


在高校领域,由于资金有限,高校进行相关 AI 应用探索时,会格外注意成本问题。在某高校,他们希望解决两个问题,第一是利旧原有的硬件,第二是解决写性能不足的问题。这两点,正好都是软件定义存储所能够体现的价值

83746f370f2a0bf3d1b65a7067717794.jpeg

星辰天合高级副总裁张旭明分享 SDS 在 AI 领域应用案例


一方面,星辰天合的软件定义存储产品可以整合原有的硬件存储节点,将其形成一个高质量有效的存储资源;另外一方面,星辰天合的产品能够提供一个目录预取,存储产品可以感知业务需要的数据。在很多 AI 训练时会一次性读取一个训练集的数据,如果存储产品能够感知相关业务需求,相关后续的训练就会更加高效

在自动驾驶领域,自动驾驶的汽车上面载有激光雷达和摄像头,在路面运行时,会将所有的路测数据收集回来供后续研发使用。这些数据量非常大,以星辰天合的某自动驾驶领域的客户举例,他们每天会有数百 TB 的数据增量。这些数据收集回来之后,以对象存储的方式存储,清洗完之后迭代其数据源,导入到高性能文件存储中以适配它的模型训练

在先进制造行业、金融行业,我们所服务的企业也是类似的场景和需求。我们也同样提供了一种方案,由对象存储来承接其训练元数据,清洗完之后的数据在高性能文件存储中训练,训练完之后历史数据重新再利用对象存储归档


从数据存储、数据流动

到整合数据生态平台


作为技术领先的数据基础设施提供商,星辰天合以“数据常青”为使命,始终专注于软件定义存储领域,以数据价值为核心为客户提供数据服务。

3e79fbd6c432d250d01e71545d4e3ee7.jpeg

星辰天合以软件定义存储为客户提供数据服务


为更方便理解星辰天合所提供的产品和服务,我们将数据服务分为了三个层次:

第一,星辰天合可以帮助客户构筑数据存储平台,能够提供扩展性、高性能、敏捷性、灵活性、低成本的数据存储系统。

第二,星辰天合可以为客户提供数据管理平台客户的业务所使用的是数据,需要我们提供的是数据服务。在传统模式中,所有的数据存在于硬件介质中,其本身有生命周期,当硬件老化之后就可能要被替换。而软件定义存储将数据存在软件中,硬件的更换迭代不影响给业务提供数据服务;此外,需要将数据快速出现在业务想要访问它的位置,以供业务进行数据分析等,因此数据的智能流动是新一代存储架构中的重要特性,而这已经脱离了传统存储的能力范畴。

第三,企业需要对数据生态平台进行整合,星辰天合努力兼容各种业务生态,包括云计算、大数据、人工智能,以及敏态发展各类容器的业务等,这也是数据服务厂商需要支持的。

通过在软件定义存储领域的长期创新与突破,星辰天合以丰富的产品和解决方案,帮助企业实现存力与算力的协同。

在大数据与人工智能发展极为迅猛的今天,为持续满足相关应用对存储的需求,星辰天合的存储也在不断地革新中。在今年,星辰天合也即将发布一个全新的全闪架构,带动存储系统性能的大幅度进步,在更高端的领域实现存力与算力的协同进步与均衡发展

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/916828.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

养号自动化,指纹浏览器和RPA机器人解除烦恼

在这个充满科技魔力的时代,社交媒体已经成为人们生活的一部分,而Facebook更是我们分享欢乐、联络亲友的重要平台。然而,随之而来的是一个棘手的问题:如何保持账号的活跃度,而又不被沉重的养号工作压垮?别担…

Linux centos7 统计文本文件中所有单词

统计文本文件中高频词是常见操作(参考文章:Linux centos7 高频词统计)。而查找并统计文本文件中共有多少单词(独立字符串,包括中文或数字串)也是一项很好地实践项目。 本文主要应用命令替换、循环结构、so…

POSTGRESQL 如何用系统函数来诊断权限问题

开头还是介绍一下群,如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题,有需求都可以加群群内有各大数据库行业大咖,CTO,可以解决你的问题。加群请联系 liuaustin3 ,在新加的朋友会分到2群(共…

H36M VS 3DPW datasets

1采集设备方面 H36M使用了高精度的多视角摄像机动态捕捉系统获得了非常准确和连贯的3D关节坐标标注。 3DPW使用了单目摄像机与IMU的复合传感系统进行采集,存在一定程度的标注噪声。 2场景环境方面 H36M主要针对室内定向动作,背景单一简洁。 3DPW重点是室外复杂环境中人的自…

第九章,社区侧栏

9.1添加实战课程 <template><div v-if="slides.length" class="carousel slide" @mouseover="stop" @mouseout="play"><div class="carousel-inner"><transitionenter-active-class="animated…

测试基础|一文了解,这5种不同类别的软件测试工具都有啥用

介绍&#xff1a;对于任何希望确保其数字产品的质量和性能的企业来说&#xff0c;软件测试工具都是宝贵的资产。从桌面应用程序到Web平台&#xff0c;软件测试工具提供了一整套功能&#xff0c;可帮助开发人员在潜在问题成为代价高昂的问题之前识别并解决它们。彻底的测试变得至…

Filter+Listener

文章目录 1. Filter1.1 Filter快速入门1.2 Filter执行流程1.3 Filter拦截路径1.4 案例 2. Listener JavaWeb 三大组件 Servlet Servlet 是在服务器端执行的 Java 类&#xff0c;用于处理客户端请求和生成响应。它可以接收HTTP请求并返回HTTP响应&#xff0c;通常用于处理Web应用…

DNDC模型土壤碳储量、温室气体排放、农田减排、土地变化、气候变化中的实践应用

查看原文>>>DNDC模型土壤碳储量、温室气体排放、农田减排、土地变化、气候变化中的实践应用 由于全球变暖、大气中温室气体浓度逐年增加等问题的出现&#xff0c;“双碳”行动特别是碳中和已经在世界范围形成广泛影响。国家领导人在多次重要会议上讲到&#xff0c;要…

“赛意力量SNP”南京站深探智改数转新境界 精典回顾

7月28日&#xff0c;“赛意力量全国行”来到中国科技的创新中心之一&#xff0c;同样也是专精特新“小巨人”成林的城市——江苏南京&#xff0c;以“芯片”为纽带&#xff0c;聚焦高科技企业未来发展的大方向&#xff0c;带领嘉宾深度挖掘智改数转领域的新思考与新路径。通过沙…

WordArt Designer:基于用户驱动与大语言模型的艺术字生成

AIGC推荐 FaceChain人物写真开源项目&#xff0c;支持风格与穿着自定义&#xff0c;登顶github趋势榜首&#xff01; 前言 本文介绍了一个基于用户驱动&#xff0c;依赖于大型语言模型(LLMs)的艺术字生成框架&#xff0c;WordArt Designer。 该系统包含四个关键模块:LLM引擎、…

OpenCV中QR二维码的生成与识别(CIS摄像头解析)

1、QR概述 QR(Quick Response)属于二维条码的一种&#xff0c;意思是快速响应的意思。QR码不仅信息容量大、可靠性高、成本低&#xff0c;还可表示汉字及图像等多种文字信息、其保密防伪性强而且使用非常方便。更重要的是QR码这项技术是开源的&#xff0c;在移动支付、电影票、…

接口经典题目

​ White graces&#xff1a;个人主页 &#x1f649;专栏推荐:《Java入门知识》&#x1f649; &#x1f649; 内容推荐:继承与组合&#xff1a;代码复用的两种策略&#x1f649; &#x1f439;今日诗词:人似秋鸿来有信&#xff0c;事如春梦了无痕。&#x1f439; 目录 &…

7个好用的网络写作神器,助你提升写作能力

在如今数字化时代&#xff0c;网络写作已经成为许多人日常工作和创作的一部分。为了提高写作效率和质量&#xff0c;许多网络写作神器应运而生。本文将介绍7个优秀的网络写作工具&#xff0c;帮助你提升写作能力&#xff0c;提高创作效率&#xff0c;实现卓越的文笔。 …

(4)将固件加载到没有ArduPilot固件的主板上

文章目录 前言 4.1 下载驱动程序和烧录工具 4.2 下载ArduPilot固件 4.3 使用测试版和开发版 4.3.1 测试版 4.3.2 最新开发版本 4.4 将固件上传到自动驾驶仪 4.5 替代方法 4.6 将固件加载到带有外部闪存的主板上 前言 ArduPilot 的最新版本&#xff08;Copter-3.6, Pl…

HTML总结1【转】

以下内容转载和参考自&#xff1a;w3school的HTML学习内容&#xff0c;HTML 简介 。 一、概述 HTML不是一种编程语言&#xff0c;它是超文本标记语言 (Hyper Text Markup Language)&#xff0c;使用标记标签来描述网页内容。HTML标签是由尖括号包围的关键词&#xff0c;标签通…

MacBook怎么安装使用Windows软件和虚拟机?

作为一名MacBook用户&#xff0c;你可能会发现有些软件和应用程序只适用于Windows操作系统&#xff0c;但别担心&#xff01;今天我们将介绍两种方法&#xff0c;让你的MacBook轻松安装Windows软件和运行Windows虚拟机&#xff0c;为你的工作、学习和娱乐任务带来更多可能性。下…

利用TLS反调试

利用TLS反调试 今天说一下利用TLS提供的静态绑定回调函数来反调试 原理 首先说一下tls为什么可以反调试 一般我们调试时候是断点在oep&#xff08;pe文件的程序入口点&#xff09;上的&#xff0c;而tls回调函数会在加载可执行程序之前调用 首先简单描述一下程序的加载过程 …

solidity0.8.0的应用案例10:可升级合约

这个案例是代理合约的实际操作&#xff0c;代理合约实现了逻辑和数据的分离&#xff0c;就可以实现在生产环境中&#xff0c;轻松升级合约&#xff0c;这就是一个如何实际升级合约的案例。 实现一个简单的可升级合约&#xff0c;它包含3个合约&#xff1a;代理合约&#xff0c;…

Android app 打包发布之build.gradle 配置

配置描述&#xff1a;在build.gradle(:app)文件中配置 包含以下几个部分&#xff1a; plugins&#xff1a;引入的工具android&#xff1a;主要配置都在这个里面dependencies&#xff1a;依赖android.applicationVariants.all&#xff1a;打包输出路径和名称 看android配置&a…

Linux下的Shell编程——文本处理工具(五)

前言&#xff1a; Linux Shell是一种基本功&#xff0c;由于怪异的语法加之较差的可读性&#xff0c;通常被Python等脚本代替。既然是基本功&#xff0c;那就需要掌握&#xff0c;毕竟学习Shell脚本的过程中&#xff0c;还是能了解到很多Linux系统的内容。 Linux脚本大师不是…