深势科技基于 Serverless 容器为科研人员打造高效的开发平台

作者：李样兵、刘杉、木环、玖宇、鼎岳

云端的科学研究，AI for Science 新范式

以往科学家们的科研工作需要经过大量实验的重复验证、复杂数学计算，以及长年累月的不断试错和苦苦探索。云计算基础服务的发展和人工智能技术 AI 的兴起，也给科研领域带来了新转变。

2019 年，事件视界望远镜（EHT）团队公布了首张黑洞照片，这是全球 30 多个科研机构在云端协作的结果；团队成员可在全球调用各类云资源，数据处理周期从原本的数周压缩到数天。

哥伦比亚大学在云上进行气候科学研究，构建复杂的地球系统模型（ESM）模拟来理解模式并进行预测。利用卫星、无人机和传感器监测大陆、海洋和大气的不断增长的环境数据，来预测自然灾害和评估地球的状态。

北卡罗来纳大学教堂山分校和芬兰 Techila 合作将图形重建的时长从一个月缩短到 18 小时，原来本地个人电脑上需要进行一到两周的 MATLAB 40GB 的数学实验，转移到云上 100 个节点进行后只需要两三个小时。

深势科技很早就认准了 AI for Science 赛道， 开创性地提出了「多尺度建模+机器学习+高性能计算」的革命性科学研究新范式，自研的计算平台服务为药物、材料领域带来极具突破性的计算模拟及设计工具。

深势科技科学计算平台——Bohrium® 科研云平台，致力于为科研人员提供开箱即用的计算环境，同时支持基于命令行和图形界面的任务提交方式。通过提供兼具速度与效率的微观模拟工具，Bohrium® 帮助研发人员进行光学、电学、磁学、力学的物理性质计算，并细致研究材料微观结构组分与作用机理。合金、电池、半导体、催化等材料的高通量理性设计正在 Bohrium® 平台中成为现实。

Bohrium® 提供开箱即用的计算环境，同时支持基于命令行和图形界面的任务提交方式。Bohrium® 实现了对多云、多超算计算资源的高效池化，兼具云上的高弹性与超算的高性能等特点。通过对任务的智能调度，平台为用户提供“多、快、省”的计算体验。

深势科技开发平台之难点与技术概览

Borhrium® 科学计算平台自 2018 年在阿里云构建，任务训练部分的技术架构方案基于 ACK Serverless 容器升级改造并平稳运行。随着业界对 AI for Science的认知与使用不断发展，深势科技希望能够对开发调试部分升级迭代，并实现一体化开发-训练流程。

在技术指标上，深势科技希望开发平台可以支持成百上千科研人员同时开启在线实验研究，至少具备以下四方面重要能力：

支持 2000+ 人同时启用，且秒级快速开机关机能力；
如遇到实验机异常，可以继续实验而不需要重新开始；
平台无需大量支持人力投入、实现零技术支持与零运维成本；
同时兼顾业务安全和主机安全。

最初，开发平台容器 AI 技术架构采用的是经典的容器服务 ACK 集群纳管云服务器 ECS 方式，而非 Serverless 容器模式。旧版方案存在两大问题： 一方面，因为科研人员的开发周期较长，在过程中会数次开机关机，为了便于下次打开继续实验，需要通过容器镜像打包的方式保存环境，但是这样的关机时间过长且镜像会不断膨胀变得过大；另一方面，存在低概率的意外宕机情况，除非客户恰好在宕机前手动保存，否则信息、数据全部丢失，亟需能够帮助广大用户做到随时的自动保存。

总结而言，深势科技需求如下：

对应而言，其技术难点挑战是：

大规模资源高并发请求

开发机支持快速启停和关机（秒级），最高希望支持 2000+ 位科研人员同时在线使用。开发机申请云端 CPU、GPU 资源，需要支持跨可用区、垮地域调度/重启，并且做到用户无感知。
中途退出的环境保存

用户关机时能够释放实例资源，但需要保留用户容器数据和临时数据，以便于回溯。同时，由于用户误操作导致的容器重启甚至开发机实例被释放，也要保留重启/释放前容器环境和临时数据。支持重新启动开发机，并能继续进行之前中止的实验。
镜像数据膨胀

解决传统开发机方案的数据增加问题，传统方案关机保存镜像，开机使用关机镜像恢复环境，多次开关机之后，镜像层数大小不断增加，带来额外成本。
业务数据联动与自动管理

基于 ECI 的开发机不但需要访问阿里云的 NAS 还需要支持第三方的 JuiceFS 存储，并且需要支持两个存储之间自动的数据拷贝。
多租环境的强隔离与稳定性

开发机和开发机之间要做到强数据、资源隔离；某一台开发机故障，或底层节点宕机，不影响其他开发机。
运维便捷性

开发机支持不断迭代升级，并支持自动镜像缓存制作。

基于 Serverless 容器打造高效的科研开发平台

经过多次深入沟通，阿里云与深势科技共同敲定了如下的 Serverless容器解决方案：

整体架构设计上，开发机采用了跨地域多 K8s 集群方案，在确保整体的可靠性与容灾性的同时，能更大范围调度不同地域的算力资源；在 K8s 管控侧，选用阿里云容器服务 Serverless版（ ACK Serverless ），可以免除很多运维负担，如无需维护节点池、无需预先缓存镜像、无需维护 K8s 组建托管等，底层 ECI 弹性容器实例相比传统云服务 ECS 可以快速启动与关闭，并且遵循 Serverless 按需使用、按需付费的理念；在应用镜像、AI 模型文件等制品管理上，选择阿里云容器镜像仓库企业版（ACR EE）一站式解决方案，可实现全球同步加速、大规模/大镜像分发加速，且与容器服务 ACK 无缝集成。

更值得一提的是，阿里云独家提供的 ACK Fluid 方案可以无缝接入第三方存储挂载，并提供多用户数据安全共享隔离功能。 同时，ACK Fluid 还实现了数据管理的自动化，进一步提升了系统的效率和易用性。

科研开发平台的 Serverless 容器方案架构图

对于重启/释放后异常点可恢复的诉求，即仍保留容器环境和临时数据以便于查看或者再继续实验，可以参考如下的 CRD 生命周期设计。在开发机的生命周期中，开机、关机和重启均可以做到 20s 内，同时，通过 ACK Fluid 支持数据挂载到 ECI 的时长缩短到 5s 以内（包括阿里云 NAS 和第三方存储）。