焱融科技为国家重点实验室打造海量高性能存储

news2024/11/29 4:31:21

中国科学院大气物理研究所大气科学和地球流体力学数值模拟国家重点实验室(英文缩写 LASG)是国家级重点实验室。LASG 主要研究方向为地球气候系统模式的研发与应用;天气气候动力学理论、气候系统变化规律及其异常发生机制;天气气候可预报性、气候预测的新理论和新方法;地球流体宏观演变规律和机理。LASG 是蜚声国内外的大气科学和地球流体力学研究机构。

 地球系统模式是模拟气候系统行为和变化的重要工具,在气候研究中扮演着重要的角色。地球系统模式主要由大气环流模式、路表过程模式、海洋环流模式、海冰模式等圈层模式组成,并通过耦合器(CPL)将它们组合在一起。中国科学院地球系统模式(CAS-ESM )是复杂巨系统大规模高性能计算的典型应用,是我国高度自主化研发的完整地球系统模式。CAS-ESM 是开展地球系统数值模拟必不可少的载体,集对地球各圈层运动规律认识之集合,将地球各个圈层及其相互作用综合起来,用系统科学的观点去研究认识地球,从而成为地球科学研究的基础工具之一。

地球系统模式:典型的高性能计算

正是由于 CAS-ESM 极其复杂,计算量巨大,对高性能计算提出了极高要求。随着地球系统模式分量模式的增多、复杂度和模式分辨率的提高,高效率计算成为关键技术。

当前地球系统模式的科研工作主要面临两方面的挑战:一是模式的研究从单一的物理气候系统模式走向系统的、复杂的地球系统模式,需要综合大气、海洋、冰雪等系统模式进行定量研究;二是系统模式研究对于高分辨率模式的需求。在新形势下,地球(气候)系统模式的研发工作给计算机技术的发展提出了新的需求、新的挑战。该实验室在建造新型数据中心的过程中,性能、可扩展能力、海量文件支持、安全性等方面是重点考虑的因素:

  • 在性能方面,CAS-ESM 系统包含了众多的分(子)系统模式,单一分(子)模式计算过程中需要数百乃至上万个处理器核进行并行计算处理,同时也需要存储系统能够提供相应的 IO 性能,对于单个存储节点还是集群,都提出了较高的性能需求;
  • 在可扩展能力方面,在当前的效能计算体系中,该实验室需要搭建数 PB 级的高速并行可扩展存储,主要用于地球模式系统,其中包含着不少图片、专业气象文件等非结构化数据。传统的存储体系很难支撑海量的数据存储需求,更难以跟上数据激增的步伐,存储平台的可扩展性也受限;
  • 在海量文件支持方面,根据不同系统模型,每次模型运算都将产生 TB 级的数据;并且科研工作者在进行不同课题研究时也会产生数十乃至数百 TB 级数据,存储系统需要足以支撑大量的科研成果数据;
  • 在安全性方面,工信部在持续建立健全行业数据安全保障体系,所以实验室在建立存储平台过程中也要时刻关注数据安全性问题,在不断探索新技术研究应用过程中,逐步实现安全防护技术的智能化和自主可控。

借助引领性的基础设施 颠覆技术创新

为进一步建设先进全面的科研模式,实验室选择与焱融科技达成此次合作,共同建设高效的国家级实验室数据存储平台,为科研工作长足发展奠定基础。

业务平台建设方案架构图

通过焱融科技所提供的存储解决方案,该实验室搭建起大规模高速并行可扩展存储的数据平台,满足了基础研究需要的同时,有了更多性能方面的提升。

实现性能及容量的线性扩展

传统 NAS 存储容量及性能的扩展受制于控制器,横向扩展能力较差,无法实现线性扩展。而通过 YRCloudFile 将多台存储服务器上硬盘的读写能力聚合形成聚合带宽,搭建通用 X86 服务器,实现软硬件解耦,可按需部署,灵活扩展,使存储系统总体性能呈线性增长。实验室后续可通过增加服务器的方式,提升整个存储系统的容量及性能。本次部署的焱融存储集群即采用此种模式,在客户数据中心原有硬件的基础上部署焱融 YRCloudFile 分布式存储软件组成存储集群,提供数 PB 级的使用空间。

海量文件支持

作为数据的核心层,焱融 YRCloudFile 具备海量结构化和非结构化数据管理能力,海量小文件操作和大文件处理的能力。不同科研人员可根据业务需求采用相应存储接口对接到计算平台,YRCloudFile 所具备的大集群资源管理功能 QoS、配额管理等服务,能够更好的提升整体存储服务能力。

满足数据平台全方位需求 数据管理效能大幅提升

此次项目建设中实验室充分利用现有硬件,通过分布式文件存储 YRCloudFile 搭建存储集群,采用全对称架构充分发挥硬件性能。提供全局单一文件系统和统一命名空间存储服务,便于平台管理和业务使用。不仅解决了实验室科研系统的高并发访问数据、数据共享安全及数据可扩展能力的难题,还充分发挥了 YRCloudFile 高性能、高扩展、高可用的特性。在提升海量文件数据存储能力的同时,实验室也实现了全生命周期的数据管理能力,保证百亿级文件操作性能提升的同时,全面提升数据管理效能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/49264.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

排行榜谁最稳?

在 RedMonk 编程语言排行榜中,前端JavaScript 编程语言从2015年开始便稳居榜首,可以说是所有编程语言中最稳定的一个。 01 JavaScript 常年居于榜首原因 JavaScript 编程语言可以常年居于排行榜榜首位置,和它是前端工程师使用的唯一编程语言…

【树莓派】刷机、基础配置及多种方式登录

目录一、树莓派刷机二、树莓派登录1、HDMI线连接显示器登录2、串口方式登录(1)USB-TTL模块连接树莓派串口(2)修改系统配置,启用串口(3)用secureCRT登录树莓派3、网络方式登录(1&…

基于51单片机霍尔传感器测速(仿真+源程序)

资料编号:196 下面是该资料仿真演示视频: 196-基于51单片机霍尔传感器测速(仿真源程序全套资料)功能简介: 51单片机计数测速转速测量,在仿真中等价于测量外部脉冲频率;如果修改输入脉冲的频率&…

前端小白科普:小程序组件与插件有啥区别?怎么用?

一直以为小程序组件和小程序插件是一回事,只是措辞不一样,导致造成乌龙,其实完全是两回事,插件是可以直接提供服务的,组件是给开发者提供的轮子,不能直接提供服务。 先看看微信是如何定义小程序插件的&…

[附源码]计算机毕业设计springboot健身房信息管理

项目运行 环境配置: Jdk1.8 Tomcat7.0 Mysql HBuilderX(Webstorm也行) Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。 项目技术: SSM mybatis Maven Vue 等等组成,B/S模式 M…

Flutter 离线数据方案 Flutter_Data 包

Flutter 离线数据方案 Flutter_Data 包 原文 https://levelup.gitconnected.com/flutter-offline-first-with-flutter-data-62bad61097be 前言 通过离线优先来改善您的用户体验 Flutter Data 是一个让你的应用程序先离线的软件包。 离线时,它在设备上使用 Hive 存储…

DirectX12 - Triangle Culling and Winding Order(三角形的剔除与绕序)

这里是SunshineBooming,GPU公司一枚小小的Driver工程师,主要工作是写DirectX12 Driver,我会持续更新这个DX12 Spec系列,可能比较冷门,但是都是干货和工作中的心得体会,有任何GPU相关的问题都可以在评论区互…

Chapter9.2:线性系统的状态空间分析与综合(下)

此系列属于胡寿松《自动控制原理题海与考研指导》(第三版)习题精选,仅包含部分经典习题,需要完整版习题答案请自行查找,本系列属于知识点巩固部分,搭配如下几个系列进行学习,可用于期末考试和考研复习。 自动控制原理(…

GJB 5000B二级-LD领导作用

概要:GJB 5000B将GJB 5000A三级中的LD领导作用划分为二级内容,将组织类目标下沉至二级 借鉴GJB 9001C中的领导作用,结合各个行业优秀的实践,将5000A中的共用目标、实践进行了提炼、总结最终形成GJB 5000B中的领导作用实践域。 目的:进一步强化上层的领导作用,由高层、中层…

DOPE修饰岩藻多糖 Fucoidan-DOPE 岩藻多糖-二油酰基磷脂酰乙醇胺

DOPE修饰岩藻多糖 Fucoidan-DOPE 岩藻多糖-二油酰基磷脂酰乙醇胺 中文名称:岩藻多糖-二油酰基磷脂酰乙醇胺 英文名称:Fucoidan-DOPE 别称:DOPE修饰岩藻多糖,DOPE-岩藻多糖 外观:固体或粘性液体,取决于分子量 PEG分…

天问一号(Tianwen-1)详细介绍

天问一号(Tianwen-1)是中国第二个火星探测项目。2020年4月24日,中国行星探测任务被命名为“天问系列”,火星探测任务被命名为天问一号,后续行星探测任务依次编号。中国首次火星探测任务标识为“揽星九天”。 火星探测任…

基于stm32的智能药盒

提示:记录2022年4月做的毕设 文章目录前言一、任务书1.1设计(研究)目标:1.2设计(研究)内容:二、框架思路三、硬件四、联系我们五、相关功能介绍六、喜欢请点赞哦!前言 基于STM32的智能药盒,主控使用STM32F103(正点原子战舰板子&a…

word 中添加图片目录、内部链接

目录1. 图片、表格添加目录1.1 插入题注1.2 添加目录2. 添加内部链接1. 图片、表格添加目录 1.1 插入题注 只有正确地插入题注,图表目录才能快速生成。 (1)两个方法调用“题注”功能(任选1个) 方法一:在菜…

【论文阅读 ICTIR‘2022】Revisiting Open Domain Query Facet Extraction and Generation

文章目录Revisiting Open Domain Query Facet Extraction and GenerationMotivationContributionsMethodFacet Extraction and GenerationFacet Extraction as Sequence LabelingAutoregressive Facet GenerationFacet Generation as Extreme Multi-Label ClassificationFacet …

【Pandas数据处理100例】(九十八):Pandas使用between_time()筛选出给定时间区间的数据

前言 大家好,我是阿光。 本专栏整理了《Pandas数据分析处理》,内包含了各种常见的数据处理,以及Pandas内置函数的使用方法,帮助我们快速便捷的处理表格数据。 正在更新中~ ✨ 🚨 我的项目环境: 平台:Windows10语言环境:python3.7编译器:PyCharmPandas版本:1.3.5N…

影响工业产品设计的主要因素

设计师对工业产品的产品外观设计主要依靠形状、图案和颜色的结合,创造出具有一定功能性质的新产品。在这个过程中,设计师需要充分利用各种因素,外观工业设计公司强调材料的机制和颜色。那么,影响产品设计的主要因素是什么呢? 一、…

IMMA~~

搬来自斯坦福的研究者提出了 IMMA, 一种利用隐空间多层图 (multiplex latent graphs) 来表征多种独立的交互类型,并使用一种新型的多层图注意力机制 (multiplex attention mechanism) 来描述个体间交互强度的行为及轨迹预测模型。该方法不仅大幅提升了预测的准确度&…

中小企业如何进行云灾备?

随着IT服务在企业运营和运维的影响权重日益增强,企业IT投入也越来越高,而随着云计算的逐步渗透,企业们逐渐将本地数据迁移到云上,以节省本地服务器的部署与运维等成本。如雨后新笋般冒出的中小企业,难以负荷高成本的本…

从 select、poll、epoll 回答IO多路复用

前言 先大概了解一下这方面的知识 IO多路复用指的是单个进程或者线程能同时监听处理多个IO请求, select、epoll、poll是LinuxAPI提供的复用方式。本质上是由操作系统内核缓存fd文件描述符, 使得单个进程线程能监视多个文件描述符。 select是将所有文件…

Spire.PDF 8.11.10 supports .NET 7.0 and PDF to PPTX

度娘找破解版Spire.PDF for .NET is a professional PDF API applied to creating, writing, editing, handling and reading PDF files without any external dependencies within .NET ( C#, VB.NET, ASP.NET, .NET Core, .NET 5.0, .NET 6.0, MonoAndroid and Xamarin.iOS )…