GS NVMe全闪存储通过XFS文件系统助力太空科研AI处理

news2024/11/26 11:55:08

用户是名列全球TOP 5的太空研究机构,专为各种卫星任务和应用开发有效载荷、仪器及天基系统,在通信、广播、导航、灾害监测、气象学、海洋学、环境监测,以及自然资源测量等方面发挥重要的作用,为探索月球、火星等天体做出了重大的贡献。

e04cdf95f14054b6c0c013b3c6551c60.jpeg

用户在太空探索中使用人工智能的范围越来越广,程度也越来越深。利用流行的Anaconda 平台进行AI和机器学习,并利用XFS高性能文件系统来管理大型数据集。卫星、遥感仪器以及其他太空探测设备拍摄了大量的图像,而用户开发了人工智能算法,对这些图像自动识别分类哪些是物体(如陨石坑、山脉)、场景(如地质构造、大气条件),以及活动(如物体运动)。从而实现有效的审核(过滤掉可能不适合分析的内容)与标记(例如“火星景观”)。 用户使用AI算法进行识别分类,能够更有效地处理分析大量视觉数据,让行星或天体特征的信息更准确详细,这对于风险评估和任务规划至关重要。在该应用场景下,用户必须使用高性能存储,才能帮助AI处理大量生成数据。

但是用户原来的存储过于陈旧,无法提供 AI 深度学习所需性能,并且存储容量不足,无法保存太空探索设备捕获的大量图像,另外必须的100GbE连接也不能满足。因此用户引进Infortrend存储解决方案,加速AI 深度学习的运行效率,在较短时间内获得更多成果及更有价值的发现。

用户采用两台 Infortrend 超高性能的GS 4024U NVMe混合闪存阵列,以及两台JB 3016扩展柜。为了最大程度地提高性能,GS 4024U设备通过100GbE QSFP28前端通道连接网络交换机。存储安装16颗7.68TB的U.3 NVMe SSD(PCIe Gen 4),处理AI深度学习产生的I/O 密集型工作负载。JB 3016扩展柜安装26颗3.5英寸企业级硬盘(18TB、SAS 12Gb/s、7200RPM)。该解决方案总共提供590TB容量保存太空探索设备捕捉的视觉数据。GS存储解决方案还具有高扩展性,应对不断增加的AI工作负载:添加更多SSD到存储,线性提高性能与容量,每台设备能够提供高达17 GB/s的读、6 GB/s的写。自动分层功能将AI工作负载的热数据分配到高性能SSD磁盘池,已经分析过的冷数据迁移到HDD磁盘池,以节省成本。单一命名空间让分布在各台GS 的数据看起来就像保存在一台GS上 ,使用户能够轻松定位和访问数据。

ec49b3bd6454c961a6eaa7e13317e12e.jpeg

在Infortrend的存储方案运行后,该机构地球观测部数据可视化组主管给予了相当的肯定:“在高性能存储选型时,Infortrend的存储解决方案是我们唯一的选择。如果不是Infortrend存储,我们用于图像分析和解释的人工神经网络将无法运行。从某种程度上讲,Infortrend存储在我们的太空探索工作发挥了关键作用。”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1875764.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

pafination官网自制

1.pafination.js 参考element ui 中 prev表示上一页,next为下一页 // const itemsPerPage 10; // const totalItems 30; var itemsPerPage ; var totalItems ; let currentPage 1; var pagerCount5 // 设置最大页码按钮数 var totalPages Math.ceil(totalItem…

Flutter循序渐进==>封装、继承、多态、抽象类以及属性修改

导言 新学一门编程语言,最难以理解的莫过于类了。如果类没用,也就算了,它偏偏很有用,我们必须得掌握,不然怎么好意思说自己会面向对象编程呢? 抽象类(Abstract Class)在面向对象编程中扮演着…

前后端分离项目面试总结

一:是否登录状态 服务端登录的时候,给分配一个session用于存储数据,同时将sessionID返回给浏览器,浏览器通过cookie把sessionID存储起来,下次访问时携带上,服务端就可以通过sessionID来确定用户是否登录。 …

uview文本框组件计数count报错u--textarea

报错内容: [Vue warn]: Error in render: “TypeError: Cannot read property ‘length’ of null” found in —> at uni_modules/uview-ui/components/u-textarea/u-textarea.vue at uni_modules/uview-ui/components/u–textarea/u–textarea.vue mp.runtime.…

Flutter循序渐进==>基金管理APP首页

目录 查看版本 组件 组件源码学习 做个基金APP首页源代码 效果 查看版本 组件 组件的本质就是个类。 import package:flutter/material.dart;void main() {runApp(const OurFirstApp(),); } OurFirstApp()实例化,就是给runApp用的,runApp就是运行实…

Java的NIO体系

目录 NIO1、操作系统级别下的IO模型有哪些?2、Java语言下的IO模型有哪些?3、Java的NIO应用场景?相比于IO的优势在哪?4、Java的IO、NIO、AIO 操作文件读写5、NIO的核心类 :Buffer(缓冲区)、Channel&#xff…

用GPT-4纠错GPT-4 OpenAI推出CriticGPT模型

根据OpenAI周四(6月27日)发布的新闻稿,该公司新推出了一个基于GPT-4的模型——CriticGPT,用于捕获ChatGPT代码输出中的错误。CriticGPT的作用相当于让人们用GPT-4来查找GPT-4的错误。该模型可以对ChatGPT响应结果做出批评评论&…

Echarts地图实现:山东省报考人数

Echarts地图实现:山东省报考人数 效果预览 设计思路 数据可视化:选择地图作为数据展示的方式,可以直观地展示山东省不同城市的报考人数分布。交互性:通过ECharts的交互功能,如提示框(tooltip)…

Redis 7.x 系列【11】数据类型之位图(Bitmap)

有道无术,术尚可求,有术无道,止于术。 本系列Redis 版本 7.2.5 源码地址:https://gitee.com/pearl-organization/study-redis-demo 文章目录 1. 概述2. 基本命令2.1 SETBIT2.2 GETBIT2.3 BITCOUNT2.4 BITPOS2.5 BITFIELD2.6 BITF…

二叉搜索数的最小绝对差-二叉树

需要用到中序遍历 中序遍历 94. 二叉树的中序遍历 - 力扣&#xff08;LeetCode&#xff09; 递归 class Solution { public:vector<int> inorderTraversal(TreeNode* root) {vector<int> res;inoder(root,res);return res;}void inoder(TreeNode* root , vector…

从零开始搭建spring boot多模块项目

一、搭建父级模块 1、打开idea,选择file–new–project 2、选择Spring Initializr,选择相关java版本,点击“Next” 3、填写父级模块信息 选择/填写group、artifact、type、language、packaging(后面需要修改)、java version(后面需要修改成和第2步中版本一致)。点击“…

计算机Java项目|基于SpringBoot的新闻稿件管理系统

作者主页&#xff1a;编程指南针 作者简介&#xff1a;Java领域优质创作者、CSDN博客专家 、CSDN内容合伙人、掘金特邀作者、阿里云博客专家、51CTO特邀作者、多年架构师设计经验、腾讯课堂常驻讲师 主要内容&#xff1a;Java项目、Python项目、前端项目、人工智能与大数据、简…

数据结构历年考研真题对应知识点(数组和特殊矩阵)

目录 3.4数组和特殊矩阵 3.4.2数组的存储结构 【二维数组按行优先存储的下标对应关系(2021)】 3.4.3特殊矩阵的压缩存储 【对称矩阵压缩存储的下标对应关系(2018、2020)】 【上三角矩阵采用行优先存储的应用(2011)】 【三对角矩阵压缩存储的下标对应关系(2016)】 3.4.…

PyTorch Tensor进阶操作指南(二):深度学习中的关键技巧

本文主要讲tensor的裁剪、索引、降维和增维 Tensor与numpy互转、Tensor运算等&#xff0c;请看这篇文章 目录 9.1、首先看torch.squeeze()函数&#xff1a; 示例9.1&#xff1a;&#xff08;基本的使用&#xff09; 小技巧1&#xff1a;如何看维数 示例9.2&#xff1a;&a…

优化数据库字段使用位运算-php语言示例

背景&#xff1a;一个会员有三个状态&#xff0c;A、B、C&#xff0c;其中一个人可以为 A、B、C、AB&#xff1b;之前数据表结构加了三个字段is_a、is_b、is_c; 本人实在不想这样粗糙的实现需求&#xff0c;遂决定用位运算优化。 上代码&#xff1a; 位运算可以用来处理状态值…

业务代码插件式开发实践

在学习编程初期&#xff0c;会接触到设计模式的概念&#xff1a;23种设计模式&#xff0c;单例模式&#xff0c;策略模式&#xff0c;… 。接触业务研发后&#xff0c;对设计模式的使用和实践有了更深的见解。 使用设计模式是目的为了更高效的支撑业务诉求&#xff0c;如何在保…

【面试干货】Object 类中的公共方法详解

【面试干货】Object 类中的公共方法详解 1、clone() 方法2、equals(Object obj) 方法3、hashCode() 方法4、getClass() 方法5、wait() 方法6、notify() 和 notifyAll() 方法 &#x1f496;The Begin&#x1f496;点点关注&#xff0c;收藏不迷路&#x1f496; 在 Java 中&#…

高频面试题基本总结回顾1(含笔试高频算法整理)

干货分享&#xff0c;感谢您的阅读&#xff01; &#xff08;暂存篇---后续会删除&#xff0c;完整版和持续更新见高频面试题基本总结回顾&#xff08;含笔试高频算法整理&#xff09;&#xff09; 备注&#xff1a;引用请标注出处&#xff0c;同时存在的问题请在相关博客留言…

如何使用飞书快捷指令无感记账,ios版

总结 很多人无法长期坚持记账&#xff0c;主要是每次消费需要打开手机软件&#xff0c;一系列繁琐的操作&#xff0c;导致过程中可能就忘了。 今天给大家带来飞书自动记账。 演示视频 点击查看&#xff1a;https://www.douyin.com/video/7312857946382241063 安装 下载快捷…

【机器学习300问】135、决策树算法ID3的局限性在哪儿?C4.5算法做出了怎样的改进?

ID3算法是一种用于创建决策树的机器学习算法&#xff0c;该算法基于信息论中的信息增益概念来选择最优属性进行划分。信息增益是原始数据集熵与划分后数据集熵的差值&#xff0c;熵越小表示数据集的纯度越高。有关ID3算法的详细步骤和算法公式在我之前的文章中谈到&#xff0c;…