亚马逊云科技HPC解决方案,帮助浙江大学实现成本和科研任务的双丰收

news2024/11/13 15:01:57

浙江大学土壤学科是朱祖祥院士等几代土壤科学家共同创建的A+国家重点学科,整体实力雄厚,优势特色明显,总体水平居国内前列。在亚马逊云科技科研创新支持计划(Amazon Web Services Cloud Credits for Research)的多次支持下,运用亚马逊云科技的高性能计算和专属行业解决方案,浙江大学土壤学科研团队整体在2个月内,成功完成了土壤微生物宏基因组数据自动化处理,总计超过5000个测序数据。

 

该团队目前使用的亚马逊云科技服务包括:Amazon Batch、Amazon Step Functions、Amazon DynamoDB、Amazon Graviton2、Amazon Simple Storage Service(Amazon S3)等。

机会:科研IT系统环境和技术挑战

土壤微生物作为地球上生物多样性的重要组成部分,在支撑陆地生态系统过程和功能中发挥着不可替代的作用。然而长期以来,由于土壤生物系统的复杂性以及受限于土壤生物学研究技术手段,人们对土壤微生物的多样性和功能的认知仍然相当有限。随着科研领域的不断拓展和深化,越来越多的科学问题需要依靠强大的算力支持来进行模拟、计算和分析。

在上云前,该团队的IT系统采用了学校机房自建服务器、租用的IDC服务器以及超算中心。由于学校机房自建服务器的存储利用率已超过95%,浙江大学土壤学科研团队宏基因数据分析的科研任务出现了资源不足的瓶颈,不同科研课题都受到了算力短缺的限制,影响了研究进展。另外,租用的IDC服务器和超算中心仅提供硬件资源,难以提供专业的服务。

“经过我们的调研发现,国外同行业的科研机构利用亚马逊云科技的HPC解决方案以及NCBI公开数据集进行科研,在短时间内获得了分析结果并发表了高质量论文。”浙江大学土壤学王轶玲博士说道:“此外,我们在阅读文献的过程中发现了一篇论文,该论文基于亚马逊云进行计算流程设计,符合我们的期望,于是开始应用亚马逊云科技。”

解决方案:按需定制HPC解决方案,实现成本和完成科研任务的双丰收

浙江大学土壤学科与亚马逊云科技展开合作,在土壤微生物科研上应用了亚马逊云科技在生信行业基于Amazon Batch的容器化HPC解决方案。亚马逊云科技为不同的科研课题提供定制化的解决方案,帮助他们解决各自的痛点。

针对宏基因组数据处理自动化流程改造,亚马逊云科技提供Amazon Step Functions和Amazon Batch解决方案,实现了自动化的数据处理;针对大规模微生物信息挖掘任务,亚马逊云科技提供了基于Amazon Batch的HPC解决方案,轻松实现批量计算作业;针对大规模微生物序列比对计算,解决方案基于HPC架构,并且额外进行了Amazon Graviton2处理器的优化,在性能和成本效益方面都取得了巨大的提升。

宏基因组数据处理自动化流程改造:

Amazon Step Functions+Amazon Batch解决方案

宏基因组数据处理通常需要进行多个分析步骤,整个流程冗长而繁琐。Amazon Step Functions能够将多个亚马逊云科技服务协调到无服务器工作流中,自动触发和追踪每个步骤。在此基础上借助Amazon Batch在容器化改造及任务调度方面的能力,最终让宏基因组数据处理实现了流程自动化,从而实现应用的快速构建和更新,同时快速查询处理异常任务,让科研工作者更加专注于科研任务,而无需手动运行繁琐的步骤。

 

大规模微生物信息挖掘任务:基于Amazon Batch的HPC解决方案

大规模微生物信息挖掘任务所使用的HPC涉及大量算力,如何让分布式算力得到妥善应用,需要对算力资源有良好而清晰的规划与安排。Amazon Batch能根据提交的批处理作业的数量和特定资源要求,动态预置计算资源的最佳数量和类型,从而最大限度地提升计算效率和性能。即使科研团队需要同时运行数千个任务,同时启动大量的容器来处理,Amazon Batch也能轻松调度。

 

大规模微生物宏基因测序:基于Amazon Batch的HPC解决方案,

额外进行Amazon Graviton2优化

由于微生物序列比对计算任务量较大,需要耗费大量的时间和费用。相较于传统的X86架构,亚马逊云科技自研的基于ARM架构的Amazon Graviton处理器具有更高的性价比。在科研团队应用Graviton2处理器后,发现其性能表现良好,大约有一半的任务可以通过Amazon Graviton以更低成本高效地运行,最终帮助科研人员顺利完成科研任务的同时,兼具成本效益。

 

业务成果:2个月内完成5000+宏基因组数据分析任务实现创新科研

亚马逊云科技的HPC解决方案加速了土壤微生物信息挖掘,助力浙江大学土壤学科研团队在2个月内成功完成了5000+的宏基因组数据分析。

创新科研合作,2个月内完成过去1年时间才能完成的数据分析任务

亚马逊云科技在云端科研业务及高性能计算HPC业务中的优势不仅体现在合成生物学、微生物等科研领域,还为环境工程、食品工业(含酒业)、化学工程、生命科学工程等研究领域提供了从实验室到产业化研发的全链路数字化革新解决方案,例如:云上科研实验室、云上科研数据分析平台、高性能计算、量子计算、知识图谱等。

降本增效,整体性价比提升32.8%

科研团队利用Amazon EC2 Spot实例和Amazon S3智能分层等服务来优化成本。通过使用Spot实例,客户能够以较低的价格获得计算资源,而智能分层则帮助客户根据数据的访问模式将存储成本降低到最低。

除此之外,通过在Graviton上进行代码改造,亚马逊云科技进一步帮助客户提升了性能并降低了成本。经过测试和实践,使用Graviton处理器可以将成本降低约20%,同时性能提升16%,综合实现了32.8%的性价比提升。这意味着客户可以以更低的成本获得更高的性能,为其宏基因组数据分析提供了更优化的解决方案。这些改进措施和技术优化为客户节省了大量的成本,并提升了整体的性能表现。

客户至尚,以及远超行业水准的专业服务

亚马逊云科技提供NCBI公开数据集,包含了丰富的宏基因测序数据,可以帮助客户进行实验和研究。这些数据集帮助客户节省了数据收集和准备的时间成本,同时也提供了标准化的参考,使客户能够更加方便地进行比较和分析。

此外,亚马逊云科技客户服务团队具备专业的行业知识和经验,能够理解客户的实际应用场景,并提供针对性的解决方案。浙江大学土壤学王轶玲博士说道:“亚马逊云科技的解决方案架构师团队帮助我们不断优化性能和成本,还协助进行POC(概念验证)阶段的实施,确保科研团队成功实施项目。”

亚马逊云科技不仅致力于提供稳定可靠的技术和解决方案,还注重提供全方位的支持和服务,帮助客户在合成生物学、微生物研究领域取得卓越的成果。

未来,双方将通过进一步的创新科研合作,提升浙江大学土壤学科的国际影响力,帮助浙江大学土壤学科研团队更有效地开展学术研究活动。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/824617.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

发掘JavaScript潜力:掌握高级技巧,成为JavaScript编程大师!

🎬 岸边的风:个人主页 🔥 个人专栏 :《 VUE 》 《 javaScript 》 ⛺️ 生活的理想,就是为了理想的生活 ! 📚 前言 众所周知,JavaScript 是一种非常流行🔥的编程语言,它已经成为了网…

3000字详解:风控核心岗位及核心价值

01、信贷场景中所谓风控是什么? 从一个小故事说起: “风控是什么?” “你走过大桥么?” “桥上有栏杆么?” “有” “你过桥时会扶栏杆么” “一般不扶” “那栏杆是不是没必要有呢” “那还是得有啊&#xf…

SpringBoot统一功能处理(AOP思想实现)(统一用户登录权限验证 / 异常处理 / 数据格式返回)

主要是三个处理: 1、统一用户登录权限验证; 2、统一异常处理; 3、统一数据格式返回。 目录 一、用户登录权限校验 🍅 1、使用拦截器 🎈 1.1自定义拦截器 🎈 1.2 设置自定义拦截器 🎈创建cont…

vue3中使用原始标签制作一个拖拽和点击上传组件上传成功后展示

在Vue3中&#xff0c;可以使用<input type"file">标签来实现上传文件的功能&#xff0c;同时可以通过<div>标签来实现拖拽上传的功能。 首先&#xff0c;在template中定义一个包含<input>和<div>标签的组件&#xff1a; <template>&…

使用Vscode编辑keil工程

一、需要安装的插件 1. Keil Assistant 2. C/C 3. 中文配置&#xff1a; 二、插件配置 1. Keil Assistant 添加Keil的安装路径 接下来就可以使用vscode编辑Keil的工程了&#xff0c;调试编译和下载程序需要返回到Keil中进行操作。 三、Vscode常用快捷键 可以自定义进行配置…

【Unity实用插件篇】| 学会使用 可编程瓦片Tile Map,快速搭建2D地图

前言【Unity 实用插件篇】| 学会使用 可编程瓦片Tile Map,快速搭建2D地图一、导入 Tile Map Editor二、创建调色板 Tile Palette三、快速绘制地图四、TilePalette 调色板功能介绍五、TileMap 相关组件属性介绍GirdTilemapTilemap Renderer 瓦片地图渲染器Tile Assets 瓦片资源…

如何创建百度百科词条?教你如何在百度百科上创建个人专业词条

百度百科是一个拥有海量内容的知识库&#xff0c;每天有数百万人访问该网站以获取有用的信息和知识。如果您是一家企业、一位专业人士或学者&#xff0c;那么在百度百科上创建一个词条是一个很好的品牌推广或个人形象塑造的机会。在本文中&#xff0c;一秒推小编将讲述如何创建…

安防视频综合管理合平台EasyCVR可支持的视频播放协议有哪些?

EasyDarwin开源流媒体视频EasyCVR安防监控平台可提供视频监控直播、云端录像、云存储、录像检索与回看、智能告警、平台级联、云台控制、语音对讲、智能分析等能力。 视频监控综合管理平台EasyCVR具备视频融合能力&#xff0c;平台基于云边端一体化架构&#xff0c;具有强大的…

JVM基础篇-方法区与运行时常量池

JVM基础篇-方法区与运行时常量池 方法区 Java 虚拟机有一个在所有 Java 虚拟机线程之间共享的方法区。方法区类似于传统语言的编译代码的存储区或者类似于操作系统进程中的“文本”段。它存储每个类的结构&#xff0c;例如运行时常量池、字段和方法数据&#xff0c;以及方法和…

图像处理库(Opencv, Matplotlib, PIL)以及三者之间的转换

文章目录 1. Opencv2. Matplotlib3. PIL4. 三者的区别和相互转换5. Torchvision 中的相关转换库5.1 ToPILImage([mode])5.2 ToTensor5.3 PILToTensor 1. Opencv opencv的基本图像类型可以和numpy数组相互转化&#xff0c;因此可以直接调用torch.from_numpy(img) 将图像转换成t…

Sql server 2005 卸载之后重新安装

Sql server 2005 卸载之后重新安装 Sql sercer 2005在重新安装之前先要进行卸载操作&#xff0c;由于Sql sercer 2005组件都是分散的&#xff0c;所以卸载时要找到对应的位置一个一个卸载&#xff0c;不卸载干净的情况下再次安装时会出现很多问题&#xff0c;导致安装失败。这…

KubeSphere部署芋道源码ruoyi-vue-pro

KubeSphere环境准备 新建企业空间 新建项目 创建harbor镜像服务信息 新建DevOps 项目 创建git,harbor,kubeconfig凭证 中间件部署 MySQL8部署redis6部署 后端部署 修改pom.xml <!-- pom.xml添加内容&#xff1a;--> <profiles><!-- 本地环境 --><pro…

《当今奇人周兴和》励志小说连载之三 ● 饥饿寒冷童年梦

饥饿寒冷童年梦 Hungry and cold childhood 兴和至今也记得&#xff0c;这年冬天特别冷。 Xinghe still remembers that the winter was particularly cold in that year. 那一天&#xff0c;放了学的小兴和背着书兜&#xff0c;又冷又饿地从毛公乡小学出来&#xff0c;艰难…

渠道控价的常见方法

品牌渠道一般分为线上和线下&#xff0c;现在常见要治理的渠道一般指的是线上&#xff0c;因为线上渠道数据变化快&#xff0c;价格波动也很大&#xff0c;促销信息有很多&#xff0c;如果遇到大促&#xff0c;涉及的价格变化将会更明显&#xff0c;所以线上渠道是非常值得控价…

OA办公自动化系统设计与实现(论文+源码)_kaic

摘要 随着信息化建设的日益深入&#xff0c;无论是政府还是企事业单位&#xff0c;部门之间的信息沟通与协调工作越来越重要。人们迫切需要一个能充分利用网络优势&#xff0c;并可以管理企业的各种重要信息的软件平台&#xff0c;利用该平台快速建立自己的信息网络和办公管理系…

华为PMS API client token auth failed

对接华为pms时出现问题&#xff0c;提示华为PMS API client token auth failed 主要是权限的问题&#xff0c;创建项目的时候选择N/A

u盘数据不知道什么时候全没了怎么恢复

案例&#xff1a;“你好&#xff0c;我发现我的U盘上的所有数据都不知何时消失了&#xff0c;我之前保存了许多重要的文件和照片&#xff0c;U盘数据不知道什么时候全没了怎么恢复&#xff1f;大神你知道么” 随着U盘的广泛应用&#xff0c;数据丢失问题也日益突出。很多人发现…

【雕爷学编程】MicroPython动手做(28)——物联网之Yeelight 4

知识点&#xff1a;什么是掌控板&#xff1f; 掌控板是一块普及STEAM创客教育、人工智能教育、机器人编程教育的开源智能硬件。它集成ESP-32高性能双核芯片&#xff0c;支持WiFi和蓝牙双模通信&#xff0c;可作为物联网节点&#xff0c;实现物联网应用。同时掌控板上集成了OLED…

chrome扩展在popup、background、content之间通信解决传输文件问题

文章目录 背景介绍案例介绍代码示例popup页面&#xff0c;上传文件页面popup页面&#xff0c;js上传代码&#xff0c;file文件转base64background监听消息&#xff0c;base64转file文件&#xff0c;axios上传 附-转base64后直接下载 背景介绍 示例扩展API版本MV2。 以弹…

Linux下安装配置Redis

文章目录 安装依赖库上传安装包并解压 启动默认启动指定配置启动开机自启 安装 依赖库 Redis是基于C语言编写的&#xff0c;因此首先需要安装Redis所需要的gcc依赖&#xff1a; yum install -y gcc tcl上传安装包并解压 将Redis安装包上传到服务器的任意目录&#xff0c;例…