XSKY CTO 在英特尔存储技术峰会的演讲:LLM 存储,架构至关重要

news2024/11/14 15:01:57

5 月 17 日,英特尔存储技术峰会在北京顺利举办。作为英特尔长期的合作伙伴,星辰天合受邀参加了此次峰会。星辰天合 CTO 王豪迈作为特邀嘉宾之一,作了主题为《LLM 存储:架构至关重要》的演讲,分享了大语言模型(LLM)对存储的需求以及现有存储架构的局限与挑战,与来自阿里云、英特尔等公司的诸位业界专家共同探讨了人工智能时代存储系统的发展愿景与技术趋势。


5bd4212ff29d54d5eb9b0a39963420f2.jpeg

人工智能时代的存储系统技术趋势

大模型时代企业竞争的核心要素就是数据,在数据处理和流通的过程中,数据存储是不可或缺的重要一环,而高效可靠的存储系统将成为人工智能的重要底座。

此次英特尔存储技术峰会,英特尔邀请了业界合作伙伴、专家等深度探讨了人工智能时代存储系统的发展愿景和技术趋势,包括如何发挥高性能存储介质的性能、如何利用新一代互联技术重构存储系统、如何进行下一代存储软件系统创新等等,旨在通过多方协作,为客户构建拥有极致性能、安全可靠、高可扩展性和高能效的新一代存储系统。


XSKY 主题演讲:LLM 存储,架构至关重要 

在 XSKY 主题演讲环节,XSKY CTO 王豪迈首先介绍了 CPU 和 GPU 在处理大规模 AI 应用中的不同表现。CPU 内存系统优化了低延迟和深度缓存层次结构,适合处理延迟敏感的代码,例如链表操作。相比之下,GPU 内存系统则优化了高吞吐量和高带宽缓存,更适合数据和数学密集型代码,例如向量归约。为此,高带宽存储(HBM)成为解决存储瓶颈的关键技术之一,它能够显著提升存储系统的性能,从而满足未来高性能计算和 AI 应用的需求。

王豪迈指出,HBM 是存储转型的驱动力。在大模型训练中,存储系统需要处理的大量数据写入,这使得存储写带宽成为决定性能竞争力的关键因素。特别是在多模态场景中,大量小文件的处理对底层存储性能是一个重大挑战。

c8e20399a5eda385d5f2c5ba638e3c84.jpeg

现有的传统 NAS 存储架构以及并行文件系统架构,都有对应优势和适应场景,但是都存在一些架构的限制,使得在一些问题上应对困难,比如在大语言模型的场景下,前者会遭遇写放大的严酷挑战,而后者在应对多模态场景中的海量小文件时,可能会碰到性能不足的问题。

d763af9fd90ef23a2101300a6cd0fe08.jpeg

王豪迈表示,星辰天合最新发布的 XSEA(eXtreme Shared-Everything Architecture,极速全共享架构)将是应对大语言模型存储需求的理想架构,它由于采用了全共享架构,因此在针对慢盘、亚健康网络问题时,能在 100 毫秒内快速切换,以保证系统的稳定运行;由于采用了单层 SSD 架构,可以借助 QAT 加速数据压缩/解压缩的强大能力,采用大规模的 EC+压缩,从而实现 100%的存储空间利用率;也由于采用了端到端的 NVME,因此能够实现 100 微秒的低延迟。

41851c2677bda6962a42cfa7abf0bbaf.jpeg

此外,基于 XSEA、针对大语言模型存储需求,在即将发布的新产品中,星辰天合将会通过全局 EC 和数据压缩技术,实现写放大的 100%降低,提升存储效率

XSKY 在存储架构上的这些关键技术创新,不仅减少了写放大效应,还显著提高了存储带宽利用率和整体性能,可以更好应对大语言模型对底层存储的挑战。

展望未来,王豪迈表示,随着 AI 技术的发展,存储系统需要处理的数据量和复杂度将不断增加,优化存储带宽和改进存储技术是应对这些需求的关键,XSKY 将继续致力于存储技术的研发,通过架构创新和不断的技术迭代和优化,为客户提供更高效、更可靠的存储解决方案。

他特别强调了 HBM 技术在这一过程中的核心作用。通过优化 HBM 技术,可以大幅提升存储系统的性能,以应对未来高性能计算和 AI 应用的需求。他认为,只有通过持续的技术创新和架构优化,才能在快速发展的 AI 和大数据时代保持竞争优势。


联手英特尔 持续推动存储架构创新

作为领先的专业软件定义存储企业,星辰天合致力于与芯片、操作系统、数据库、人工智能等上下游企业合作,以持续推动存储架构的创新。 作为英特尔的长期合作伙伴,星辰天合始终紧跟英特尔的技术发展进行创新和研发。在星辰天合最近发布的新一代全闪分布式存储系统 星飞 XINFINI  9000 中,就采用了英特尔 QAT 加速数据压缩/解压缩,从而大幅度提升存储系统性能,在降低了高吞吐环境下的读写时延的同时,也减少了存储软件栈中各进程的资源争用以及相互间的影响。 借助英特尔存储技术峰会这样的技术交流平台,星辰天合将会与英特尔以及更多合作伙伴,围绕人工智能、大语言模型等新生应用的存储需求,基于当前及未来的英特尔至强可扩展处理器的能力,进行进一步探索, 通过创新的软硬件组合进一步发挥分布式全闪存储的性能潜力,支撑共同的客户从数据中获得更多、更富价值的洞察  

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1702488.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

设计模式15——享元模式

写文章的初心主要是用来帮助自己快速的回忆这个模式该怎么用,主要是下面的UML图可以起到大作用,在你学习过一遍以后可能会遗忘,忘记了不要紧,只要看一眼UML图就能想起来了。同时也请大家多多指教。 享元模式(Flyweigh…

开源金融AI代理平台FinRobot;支持多翻译引擎和模式的高效浏览器翻译开源插件;使用自然语言控制生成视频的通用世界模型

✨ 1: finrobot FinRobot 是一个基于大语言模型的开源金融AI代理平台,适用于多种金融应用。 FinRobot是一个综合性的AI代理平台,超越了原有的FinGPT,旨在满足金融行业的多元化需求。它集成了各种AI技术,不仅仅局限于语言模型&am…

VSCode中snippets(代码模板)的使用

首先安装Vue VSCode Snippets,在组件库中搜索并安装。 然后打开插件文件夹 文件夹名是 "作者名.vscode-插件名-版本号"组成的. C:\Users\Administrator\.vscode\extensions\sdras.vue-vscode-snippets-3.1.1\snippets 打开vue.json "prefix"…

C++系列-定位new表达式(placement-new)

&#x1f308;个人主页&#xff1a;羽晨同学 &#x1f4ab;个人格言:“成为自己未来的主人~” 我们先来强调一个很关键的问题&#xff0c;那就是在new和delete中的一一对应的问题&#xff0c; 我们先来看一段代码&#xff1a; #include<iostream> using namespace …

K8s的CRI机制是什么?

1. 概述 进入 K8s 的世界&#xff0c;会发现有很多方便扩展的 Interface&#xff0c;包括 CRI, CSI, CNI 等&#xff0c;将这些接口抽象出来&#xff0c;是为了更好的提供开放、扩展、规范等能力。 K8s CRI(Container Runtime Interface) 是 K8s 定义的一组与容器运行时进行交…

Web3 游戏周报(5.19 - 5.25)

【5.19 - 5.25】Web3 游戏行业动态&#xff1a; Arbitrum 已开启 “2 亿枚 ARB 游戏催化剂计划”的提案投票。 STEPN 在官方 X 宣布将推出全新社交健身应用 STEPN GO。 Oasys 正式推出《足球小将》漫改 Web3 游戏《Captain Tsubasa-RIVALS-》。 Gala Games &#xff1a;已销…

8.Redis之hash类型

1.hash类型的基本介绍 哈希表[之前学过的所有数据结构中,最最重要的] 1.日常开发中,出场频率非常高. 2.面试中,非常重要的考点, Redis 自身已经是键值对结构了Redis 自身的键值对就是通过 哈希 的方式来组织的 把 key 这一层组织完成之后, 到了 value 这一层~~ value 的其中…

C++容器之向量(std::vector)

目录 1 概述2 使用实例3 接口使用3.1 construct3.2 assigns3.3 iterators3.4 capacity3.5 rezize3.6 reserve3.7 shrink_to_fit3.8 access3.9 assign3.10 push_back3.11 pop_back3.12 insert3.13 erase3.14 swap3.15 clear3.16 emplace3.17 emplace_back3.18 get_allocator1 概…

智慧树下做游戏

游戏开发工程师致力于游戏总体设计 &#xff0c;负责游戏开发工具和运营维护工具的设计与开发 &#xff0c;并配合主程序完成游戏架构及各大功能的设计、开发、调试和其他技术支持 就业方向&#xff1a; 一般有客户端游戏开发和服务器游戏开发 客户端开发&#xff1a; 主要负…

【漏洞复现】Gradio component_server 任意文件读取漏洞(CVE-2024-1561)

0x01 产品简介 Gradi0是一个开源的 Python库&#xff0c;用于创建机器学习模型的交互式界面。它使得展示和测试模型变得简单快捷&#xff0c;无需深入了解复杂的前端技术。广泛应用于数据科学、教育、研究和软件开发领域&#xff0c;尤其适合于快速原型设计、模型验证、演示和…

在没有足够测试数据的请情况下,如何验证前端页面的分页展示和渲染情况

问题描述&#xff1a;测试过程中&#xff0c;为了验证前端页面的展示效果及分页组件的展示情况&#xff0c;测试人员一般都会选择在数据库造数据&#xff0c;但遇到表格管理逻辑特别复杂的情况&#xff0c;可能会耗费大量的时间&#xff0c;此时我们可以选择使用工具模拟返回值…

关于kube-prometheus拉取镜像的问题

由于国内网络环境的问题想通过kube-prometheus配置监控但是拉取镜像会报错 包已经打好下载好镜像就可以使用&#xff1a; https://download.csdn.net/download/m0_59744084/89349768 kubectl get pod -n monitoring 问题&#xff1a;"Failed to pull image "regist…

IC解析之SN74HCS595QPWRQ1

目录 1.主要参数2. 接口定义3. 工作原理分析移位寄存器器的作用SN74HCS595QPWRQ1工作原理 4.总结 1.主要参数 2. 接口定义 其中QH‘为串行输出接口&#xff0c;QA~QH为并行输出接口&#xff0c;SER为串行输入接口&#xff0c;其他未移位以及储存控制引脚 3. 工作原理分析 移位…

26计算机操作系统408考研--操作系统设备管理篇章(五)

文章目录 一、设备是什么&#xff1f;设备管理目标和任务I/O设备分类 二、I/O系统控制方式程序直接控制方式中断控制方式DMA控制方式通道控制方式 I/O软件的组成I/O软件设计目标和原则I/O软件结构设备驱动程序设备无关软件用户层软件用户层的I/O软件 具有通道的设备管理通 道通…

R绘图学习笔记

1、R语言绘制海岸线边界 参考&#xff1a; Drawing beautiful maps programmatically with R, sf and ggplot2 — Part 1: Basics 使用R绘制世界地图及纬度统计图 Drawing maps with R. A basic tutorial&#xff1a;https://dr2blog.hcommons.org/2020/03/23/drawing-maps-wit…

第 52 期:MySQL 半同步复制频繁报错

社区王牌专栏《一问一实验&#xff1a;AI 版》全新改版归来&#xff0c;得到了新老读者们的关注。其中不乏对 ChatDBA 感兴趣的读者前来咨询&#xff0c;表达了想试用体验 ChatDBA 的意愿&#xff0c;对此我们表示感谢 &#x1f91f;。 目前&#xff0c;ChatDBA 还在最后的准备…

keepalived交叉编译

前言 Keepalived可以实现对服务器的健康检查&#xff0c;当主服务器出现故障时&#xff0c;自动将服务切换到备份服务器上&#xff0c;确保服务的连续性&#xff0c;避免单点故障。它还可以管理一个虚拟 IP 地址&#xff0c;在主备服务器之间进行灵活切换&#xff0c;对外提供…

Linux如何在目录下灵活创建、浏览、删除百万个文件

文章目录 一、创建百万级小文件1、单核CPU情况2、多核CPU情况3、执行效率对比3.1、单核的顺序执行3.2、多核的并发执行 二、如何列出/浏览这些文件1、查看目录下文件的数量2、列出&#xff1f;3、ls -f&#xff08;关闭排序功能&#xff09;3.1、执行效率对比 4、通过重定向导入…

2024深圳数字能源展推介会在巴西圣保罗举行

4月26日&#xff0c;深圳市发展和改革委员会在巴西圣保罗国际工程机械及矿山机械展上举行专题推介会&#xff0c;介绍将于今年下半年在深圳市举办的2024国际数字能源展。 深圳市发展和改革委员会主任郭子平在推介会上介绍&#xff0c;为进一步深化数字能源领域互利共赢&#xf…

“二叉堆:不是,啊?”

目录 前言一、堆的概念及结构堆的性质&#xff1a;堆的结构:最大堆最小堆堆顶注意 二、堆的实现1.初始化堆2. 堆的插入什么是堆的向上调整算法&#xff1f; 3.堆的删除什么是堆的向下调整算法&#xff1f; 4.获取堆顶的数据5.获取堆的数据个数6.堆的判空7.堆的销毁 三、建堆的时…