IBM Spectrum LSF 作业调度系统,让用户、IT 和业务充分利用 HPC
要点
通过隐藏工作负载密集型计算环境的 复杂性,提高用户生产效率;
简化计算集群管理并划分工作负载优先级, 以快速满足竞争激烈的行业瞬息万变的需求;
通过优化系统的利用率,最大限度提高投 资回报率 (ROI)。
高性能计算 (HPC) 不再只是适用于大型组织和技术技能熟练的用户。 在当今竞争激烈的商业环境中,几乎每个行业都要求缩短设计周期并实现 更高质量的成果,HPC 适合任何规模的组织。它适合需要分析海量数据 并从中获得答案的用户。不过,就 HPC 环境所做工作和完成这些工作所 需计算基础架构的性质而言,HPC 是复杂的。这意味着组织需要有效的 工具让 HPC 基础架构更易于使用和管理并对工作划分优先级,从而最大 限度地提高 HPC 基础架构的价值。
IBM® Spectrum™ LSF Suites 提供高度集成的解决方案,从而提供组织 所需的系统管理和工作负载优先级处理功能,同时通过隐藏复杂性帮 助提高用户生产效率。
在当今的世界,当简单地部署工作负载调度器无法满足需求时, IBM Spectrum LSF Suites 可以帮助满足 HPC 环境面临的一系列需求。 对于用户,它可以帮助利用各种技术,例如旨在加速取得成果的加速器。 对于基础架构,它可以帮助在工作负载峰值期间充分利用云中可用的额外 计算容量。对于组织,它可以帮助应对推动各个项目和整个企业的优先事 项不断转变的市场变化。与此同时,它可以帮助降低成本和提高 ROI。
IBM Spectrum LSF Suites 以三种方式满足日益增长的 HPC 需求
随着来自大数据源和物联网的信息增长,各种规模和类型的组 织加入了采用 HPC 的传统用户的行列,例如科学研究者、 大学和政府。到 2021 年,预计 HPC 环境存储市场将较 2016 年实现 7.8% 的年复合增长率,服务器市场将增长 5.8%。
为了满足这些需求,IBM Spectrum LSF Suites 旨在提供从海量 数据提取意义的新方法,从而降低处理延迟,并加速应用。 实现核心管理和优先级处理功能是所有安装的核心工 作,IBM Spectrum LSF Suites 提供三个版本,功能逐渐增强: “Workgroup”,可扩展至多达 128 个节点;“HPC”,可扩展至 多达 1,024 个节点;“Enterprise”,不存在节点限制。
让用户、IT 和业务充分利用 HPC
HPC 环境中的硬件质量非常重要,而 HPC 基础架构的真正价 值来自于组织可以从中获得什么,包括减少产品开发和研究所 需要的时间,或改善使用它的人员的资源访问和运营效力。不 过,在许多情况下,随着 HPC 环境规模的扩大和复杂性的提 高,这种价值变得越来越难以实现。
IBM Spectrum LSF Suites 让组织可以通过隐藏复杂性等手段实 现价值,它的接口支持作为现场专家而非技术专家(工程师或内 科医生等)的用户快速、轻松地访问数据,以执行研究和分析。 它让技术团队可以监测集群、作业和日志,并将它们的使用情况 报告给经理和利益相关方。该解决方案还支持用户通过面向 Microsoft Windows 环境的高度集成的客户端和面向 Google Android 和 Apple iOS 平台的移动客户端,与集群进行交互。
智能的数据暂存有助于确保用户在需要时可以获得他们需要的信息。利用 IBM Spectrum LSF Suites,在分配作业前传输数 据,让用户可以在他们占用计算资源时避免在暂存数据的作业。这可以提高集群利用率。此外,当多个作业需要相同信息 时,仅从数据源位置传输数据一次,然后缓存数据。这有助于 改善吞吐量,并可以降低数据传输总成本。
智能响应不断变化的业务需求
企业 HPC 意味着高资源需求、各种不同的用户群体运行在不 同的应用上。这通常导致需求出现峰值和低谷。随着峰值成为 一条直线并超过总的计算和存储容量,可能会发生严重的资源 短缺和更长的解决时间。为了应对这个挑战,IBM Spectrum LSF Suites 可以动态地配置来自 IBM Cloud™ 等许多不同云提 供商的外部云资源,直到峰值负载消退。这让计算容量可以根 据需求扩大和缩小,因此您只需为您使用的容量付费。
轻松利用新技术
图形处理单元 (GPU) 加速的计算现在在企业 HPC 环境中随处 可见,GPU 支持正在出现在数量不断增长的应用之中。与计 算环境中的任何其他资源一样,GPU 必须得到智能管理以实 现最大效力。从 NVIDIA GPU 配置到支持,IBM Spectrum LSF Suites 提供简化的体验,让用户可以更快地提高生产效 率。NVIDIA GPU 在 IBM Spectrum LSF Suites 中得到自动检 测和配置,大幅简化了 GPU 服务器的管理工作。此外,凭借 对 NVIDIA DCGM 的支持,IBM Spectrum LSF Suites 提供了 许多先进功能,包括 NVIDIA GPU 行为监测、运行情况和诊 断以及 GPU 工作负载的记账和流程统计。这些功能有助于组 织充分利用他们的异构计算基础架构。
IBM Spectrum LSF Suites 还向采用容器技术的组织提供支持, 帮助简化应用程序的构建、测试和发运,让应用程序堆栈一致 地部署在组织内部和云中。IBM Spectrum LSF Suites 还提供通 用接口,支持 Docker、Shifter 和 Singularity 容器技术。提交 到 IBM Spectrum LSF Suites 的容器化作业受益于资源绑定、 交互式并行作业支持,以及在故障期间重新运行容器带来的可 靠性。利用访问控制定义什么容器映像可在环境中运行,则可 以让组织更加高枕无忧。
最终,IBM Spectrum LSF Suites 向其核心时间安排和管理功 能添加的能力,可以提高整个环境的生产效率。复杂的 HPC 环境可能维护成本高昂,IT 团队生产效率的提升有助于降低 成本。用户界面降低出现代价高昂的最终用户错误的几率, 帮助用户更快提高生产效率,并让用户可以专注于成果而非 如何使用环境。
"过去十年,IBM Spectrum Computing 软 件对于我们在一级方程式赛车取得的 成功起到关键作用。红牛车队利用计 算流体动力学 (CFD) 优化空气动力学 表现。IBM Spectrum LSF 为管理复杂 工作流程提供易于使用的界面。这让 我们的空气动力学家可以专注于汽车 设计的 CFD,而非执行具体的手动步 骤。这种水平的简化和自动化将培训 时间从数天缩短至数小时,并让新用 户能以破纪录的速度运行完整的 CFD 工作流程。"
—Matt Cadieux,红牛车队 CIO