2023Q4 私有化版本发布,和鲸 ModelWhale 持续赋能大科研、高校教改的 AI for Science

news2025/2/24 2:12:00

作为数据科学多人协同平台,和鲸 ModelWhale 从一而终地为各级用户提供完备而周全的解决方案,覆盖数据研究、算法探索、模型调优、Python 案例教学等多个场景。特别地,如果对研究分析平台有更高的安全合规要求、希望兼容原有业务系统(比如已有的服务器资源、数据平台等)、或者有其他定制化需求我们建议采买 ModelWhale 私有化独立部署服务:支持定制化解决方案设计、独立产品功能开发、专属的客户成功系列服务等。

2023Q4 私有化部署版本,已顺利通过公测并将于近期部署到客户环境中。本季度主要进行了以下迭代:

  • 硬件分析环境:新增 算力节点池,支持算力独享、按需跨部门共享的调度策略
  • 软件分析环境:新增 使用 API 接入数据、常用分析软件及模板接入
  • 科研:AI4S 大科研探索分析能力拓展,包括:大模型开发训练、复杂任务编排、算法封装交付
  • 高校:Python 案例实训教学(OBE)能力拓展,新增 分组作业、老师-学生视角切换、优化结课存档
  • 更规范的资产管理:优化 元数据及 DOI 管理(FAIR 原则),新增 门户内容公开申请、优化 资产搜索查询
  • 更便捷的账号迁移(已有第三方用户系统打通、免登录)、更丰富的开放接口支持国际化多语言(中/英)切换

一、硬件分析环境管理:新增 算力节点池,支持算力独享、按需跨部门共享的调度策略

组织内顺畅的开放协同、合力研究,需要统一的分析平台进行资源及成果共享。而算力方面,在更开放的协作场景,部门间的算力“相互支援、按需调度”,可以实现更充分的算力利用、释放研发效能。平台现已支持将不同部门的机器构成不同的节点池(资源池);用户启用算力时,平台会依据优先级策略调度算力:独立(非共享)节点池 > 共享节点池。

而在不同节点池下,平台支持接入超算集群(HPC)、GPU 集群、普通 GPU 及 CPU,实现比本地更细颗粒的算力分配使用、监控管理、伸缩调度。

算力节点池监控

超算集群(HPC)使用

二、软件分析环境:新增 API 数据接入、常用分析软件及模板接入

1、新增 API 数据连接,继承原有第三方系统权限管控

平台支持多种数据源的接入和使用,包括:关键数据成果(数据集)、研究源数据(NAS 数据源、Vertica 及其他常用数据库、对象存储)、其他第三方存储数据(服务接口调用、API 数据连接)、大模型 Common Data(超算自有存储)。

如果数据存储在“第三方系统”并已有一套严格的数据使用权限设计,平台支持继承已有权限管控:原有权限不会失效,亦无需在分析平台再次配置权限。只需填写由该第三方系统提供的 API 配置,即可在平台实现对这些数据产品的调用分析

2、新增 常用分析软件、研究框架丝滑迁移

本地常用的分析软件、分析框架、团队内标准的 SOP 工作流,均已支持迁移到平台使用。

  • 新增 软件仓库:支持在平台 Notebook 在线调用本地常用的 Python 库、可执行程序及其他软件
  • 新增 预注入代码、脚本:支持在数据分析前预加载某些工具库、分析代码、文件,或者提前注入环境变量、shell 指令,快捷构建所需研究环境。
  • 优化 分析模板复用:团队内标准的 SOP 工作流(如分析框架模板、研究报告模板、数据处理模板),可以在团队内分发共享,避免重复造轮,提高生产效率

三、科研:AI4S 大科研探索分析能力拓展

1、“模型开发 - 训练 - 部署 - 运维”能力提升

大模型(如 LLM)的开发训练对算力、存储、分析工具、多人协作工具均提出了较高要求,平台拥有适用于模型“开发 - 训练 - 部署 - 运维”的全流程基础设施,可帮助工程师、科学家们更好地进行大模型开发训练、多人协同研究以及其他 AI for Science 分析探索

模型开发训练阶段,平台提供训练过程记录(Tracking)及可视化比对分析,同时兼容 MLFlow,全面协力模型参数的尝试与调整、最优结果记录及部署;服务调用环节,支持灵活的同步/异步请求以及精细的算力扩容管理;平台的模型运维监控系统,提供你详细的模型调用记录、算力使用追踪,以便调整运行策略(扩容/回收)、二次调优模型

平台也支持开源预训练模型的快捷部署(如 Github 上的 gradio 项目),供大家便捷体验模型使用效果。

2、“复杂任务的编排、运行”能力提升(新模块 ✓)

大小模型结合或多节点复杂任务,建议使用平台 Workflow 进行任务编排、并行计算。Workflow 任务节点支持 Notebook、Bash 脚本Python 脚本、R 脚本多种类型;同时支持使用超算集群、GPU集群、GPU、CPU 组合运算,以及配置定时运行策略、结果重试策略

3、“多人算法开发 - 成果封装复用”能力提升

平台 Canvas 拥有 “算法封装”+“算法快捷使用” 能力,组织内算法工程师可以【自研 Canvas 组件】封装代码,【分发 Canvas 分析模板】供组织成员直接使用、快速搭建研究框架、低代码完成数据分析工作。本季度我们对“Canvas 多人自研开发流程”进行了升级迭代:开发流程更规范、开发权限更清爽、组件使用更便捷。

四、高校:Python 案例实训教学(OBE)能力拓展

为促进高校教改,依据 OBE 成果导向的教育模式,平台帮助学生真实 Coding、快速理解数据科学方法、逐步形成数据科学思维。老师可以调用平台丰富的案例教材、教学工具,设计实践作业、分组作业、自动评审作业等,构建案例实训教学课程。教学平台本季度新增:

  • 分组作业:支持区分小组得分/个人得分、批量设置/管理小组、作业在线预览评审、作业导出留存。
  • “老师-学生”视角切换:老师可以随时检查课程展示是否符合预期,及时调整教学策略。
  • 测验题批量上传至课程题库:更方便“课题组”迁移教学内容和“老师”复用调整。
  • 也优化了结课存档相关设施,如:分作业权重配置及总成绩计算导出、课程归档、课程复用等。

分组作业

“老师-学生”视角切换

测验题批量上传(至课程题库)

结课存档

五、更规范的资产管理

为实现科学数据更规范的管理、展示、使用,平台已应用 FAIR 原则:通过“元数据体系”,保证数据资产的可发现(Findable)、可访问(Accessible)、可互操作(Interoperable)、可重用(Reusable)。我们也提供了规范的 DOI 和数据引用格式,以便数据使用者可以更便捷、更规范地标记数据来源。

此外,平台还提供“独立门户”,作为内容分享窗口,连接外部伙伴。为促进生态共建、内容共享的积极氛围,现已支持由组织成员自主申请公开其工作成果,比如再分析数据、研究代码报告、机器学习算法、大模型探索实践、模型服务应用等。

优化 元数据及 DOI 管理

新增 门户内容公开申请

优化 资产搜索查询

六、更便捷的账号迁移、更丰富的开放接口、支持多语言(中/英)切换

平台支持与客户已有的第三方用户系统打通:直接使用已有第三方账号(如 Authing, User-OneID, 其他 OA 账号)即可完成平台的注册、登录/免登录。我们也提供丰富的数据接口,可灵活对接其他平台系统;以及数据埋点相关设施,帮助进行业务分析、监控。

此外,为助力国际化业务发展,我们进行了语言版本的全面升级,新增 支持多语言(中/英)双语切换,让多语言人才的沟通协作更流畅。

以上,就是本季度 ModelWhale 私有化版本更新的全部内容。

进入 Modelwhale 官网,免费试用 Modelwhale 专业版(个人研究)或团队版(组织协同),获赠 CPU、GPU 算力!(建议使用 pc 端体验试用)

若对 ModelWhale 有任何建议、疑问,或有试用续期需求,欢迎点击【联系产品顾问】,MoMo 很高兴为你服务、与你交流(咨询备注“私有化产品咨询”)。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1286023.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

自定义构建jdk镜像

(1)准备jdk压缩包、创建Dockerfile文件 jdk压缩包、Dockerfile文件在同一目录,如下 Dockerfile文件内容如下 # 指定基础镜像 FROM centos:latest # 作者和电子邮件 MAINTAINER vinegar93 "vinegar93163.com" # 指定工作目录 WORK…

【JavaScript手撕代码】浅拷贝的五种实现

目录 Object.assign扩展运算符数组方法slice()concat 手写 Object.assign ES6提供的方法,接收多个参数,第一个参数是目标对象,后面的参数是源对象 ,这个API将源对象复制到目标对象上,但是注意: 若源对象和…

StarGAN 使用指南:一个模型实现多个域的迁移

StarGAN 使用指南 网络结构多数据集训练使用指南StarGAN v2 论文地址:https://arxiv.org/pdf/1711.09020.pdf 我们有猫的图片集、狗的图片集和兔子的图片集。 目标是让猫的图片看起来像狗的图片,狗的图片看起来像兔子的图片,兔子的图片看起…

CUDA简介——CUDA内存模式

1. 引言 前序博客: CUDA简介——基本概念CUDA简介——编程模式CUDA简介——For循环并行化CUDA简介——Grid和Block内Thread索引 CUDA内存模式,采用分层设计,是CUDA程序与正常C程序的最大不同之处: Thread-Memory Correspondenc…

Linux信息收集

Linux信息收集 本机基本信息 #管理员 $普通用户 之前表示登录的用户名称,之后表示主机名,再之后表示当前所在目录 / 表示根目录 ~表示当前用户家目录1、内核,操作系统和设备信息 uname -a 打印所有可用的系统信息 uname -r 内核版本 u…

每日一题 2477. 到达首都的最少油耗(中等,树)

去参加CCF软件大会,好多天没做每日一题了 我的思路: 看到题目是一个由叶子节点向根节点汇聚的过程,就想到拓扑排序每次移动都只将叶子节点向前移动一格,并删除它,此时移动的目标节点数量加一,并根据该叶子…

vue创建项目,使用可视化界面安装插件

安装项目: vue create vue-app 选择默认配置就行,也可以按需选择自定义配置 vue ui通过可视化管理项目 通过可视化安装全家桶插件

文件重命名:删除文件名中的空格,提高文件可读性和可管理性的方法

在计算机科学中,有效的文件管理对于提高工作效率和保持数据的一致性至关重要。工作中经常会遇到文件名中包含空格的情况,这不仅会使文件在某些情况下难以读取,而且可能导致管理上的困扰。在文件名中添加空格可能会使文件名变得模糊和不明确&a…

批量创建/更新外协工序采购信息记录

批量创建/更新没有物料号的外协工序采购信息记录。 执行事务代码ZME1X_OP,下载模板。(此程序可同时用于外协工序的创建和修改)创建外协工序的时候如果是新建则不需要输入采购信息记录号,如果是要更新外协工序价格,则必须输入采购信息记录号。价格单位默认为‘1’,货币代码…

Flannel源码解析

Flannel源码解析 项目地址: https://github.com/flannel-io/flannel 更多文章访问 https://www.cyisme.top flannel中有三种工作模式: udp。 性能最低,利用tun/tap设备,通过udp封装ip包。中间需要经过多次内核态和用户态的切换。vxlan。 性能中等&…

JavaWeb(六)

一、Maven的常用命令 maven的常用命令有:compile(编译)、clean(清理)、test(测试)、package(打包)、install(安装)。 1.1、compile(编译) compile(编译)的作用有如下两点: 1、从阿里云下载编译需要的jar包,在本地仓库也能看到下载好的插件(远程仓库配置的是阿里…

【希尔排序和直接插入排序】

文章目录 一. 直接插入排序代码实现:过程思想:性能分析: 希尔排序基本思想:代码实现:特性总结:希尔排序由于gap的取值有很多方法和组,导致没有一定规律去计算,因此目前为止众多大佬通过大量实验证明例如,Kn…

[每周一更]-(第75期):Go相关粗浅的防破解方案

Go作为编译语言,天然存在跨平台的属性,我们在编译完成后,可以再不暴露源代码的情况下,运行在对应的平台中,但是 还是架不住有逆向工程师的反编译、反汇编的情形;(当然我们写的都不希望被别人偷了…

如何在应用程序中实现在线更新功能

大家好,我是咕噜-凯撒。随着技术的不断发展和应用程序的普及,保持应用的最新版本成为开发者们必须面对的挑战之一。在线更新功能的引入可以帮助开发者简化用户体验,用户始终使用的都是最新版本的应用。下面简单的介绍一下如何在应用程序中实现…

【JavaEE进阶】 Spring核⼼与设计思想

文章目录 🌲Spring 是什么?🎄什么是IoC呢?🎈传统程序开发🎈传统程序开发的缺陷🎈如何解决传统程序的缺陷?🎈控制反转式程序开发🎈对⽐总结规律 🍀…

想考研到电子类,未来从事芯片设计,目前该怎么准备?

最近看不少天坑学子想考研微电子专业,但却不知道该怎么准备?接下来就带大家一起来具体了解一下~ 首先是目标院校的选择? 目前所设的微电子专业学校里,比较厉害的有北京大学、清华大学、中国科学院大学、复旦大学、上海交通大学、…

关系型数据库的数据隔离级别Read Committed与Repeatable Read

一、背景 数据库隔离级别会影响到我们的查询,本文试图以生产中的示例,给你一个直观的认识。 所谓,理论要结合实践,才能让我们理解得更加透彻。 另外,隔离级别的知识面很大,本文也不可能俱全,…

大数据SpringBoot项目|基于SpringBoot+MyBatis框架健身房管理系统的设计与实现

大数据SpringBoot项目|基于SpringBootMyBatis框架健身房管理系统的设计与实现 摘 要:本文基于Spring Boot和MyBatis框架,设计并实现了一款综合功能强大的健身房管理系统。该系统涵盖了会员卡查询、会员管理、员工管理、器材管理以及课程管理等核心功能,…

理解js中原型链的封装继承多态

前言 面向对象有三大特性:封装继承多态。 不过,js和java的封装继承多态是不一样的,我和从事java开发的朋友有过一次对话(抬杠 !--)。 我说:javascript也是面向对象语言, 他说:不对吧,js不是面向对象吧。 我说:是的,官方说的就是面向对象语言。 他说:那你知道三大特性吗?…

彼此的远方

那天两个人互相表白了心意,在那天那刻确定了彼此相爱,没有鲜花,没有礼物。 男孩的世界曾陷入黑暗,冷清而又孤寂,女孩带着光和热来了,后来,女孩成为了男孩的太阳。女孩以为男孩是远方的风…