多模块更新,助力模型训练及应用|ModelWhale 版本更新

news2024/11/28 20:53:03

绿暗红稀,蝉鸣草长。本次更新中,ModelWhale 带来了一系列的功能优化,期待为你提供更好的使用体验。

本次更新中,ModelWhale 主要进行了以下功能迭代:

• 优化 模型与人工组合式数据标注(团队版✓ )

• 优化 Notebook 内文件下载及解压(基础版✓ 专业版✓ 团队版✓ )

• 优化 Notebook 内文件编辑(基础版✓ 专业版✓ 团队版✓ )

• 新增 模型服务依赖数据配置(专业版✓ 团队版✓ )

• 优化 模型服务调试日志查看(专业版✓ 团队版✓ )

• 新增 高性能计算机群(HPC)接入(私有化)

• 新增 离线任务结果跨项目保存整合(专业版✓ 团队版✓ )

• 新增 按群组批量停用账号(团队版✓ )

• 新增 功能模块文件夹(团队版✓ )

1、优化 模型与人工组合式数据标注(团队版✓ )

经标注处理的结构化数据可以更好地被算法模型训练使用,ModelWhale 标注工具支持模型打标、多人标注、多人审核等流程的组合式标注,现新增一目了然的工作流概览、更清晰的个人任务入口,同时优化了任务配置流程,满足多种协作场景的标注需求,如:(1)模型预打标:标注者在模型预打标的基础上进行人工标注调整,节省打标人力成本;(2)模型标注+自动审核:模型标注结果较准确的数据(打标分数大于你设置的阈值)自动审核通过,不准确的由人工审核调整;(3)多人标注(不使用模型辅助标注):人工标注后,人工审核;更多详见数据标注手册。

Tips:标注任务创建者、审核者可以点击“工作流卡片”,了解每一环节的具体工作进度。

2、优化 Notebook 内文件下载及解压(基础版✓ 专业版✓ 团队版✓ )

Notebook 项目整合分析过程的数据、代码、文件及环境信息于一体。进行大模型训练时,往往需要调用大量数据、大量文件。现 .zip/.tar/.tar.gz/.rar 格式的压缩文件均已支持在线解压;文件的解压进度、数据集的挂载进度,都可以通过右上角查看。

Tips:和 Notebook 一样,Canvas 也支持上述功能。

3、优化 Notebook 内文件编辑(基础版✓ 专业版✓ 团队版✓ )

一些模型文件、模型训练代码、模型调优代码可能来源于开源社区。在 Notebook 文件树上传这些 .ipynb 代码文件 后(或者通过压缩包形式上传并完成解压后),ModelWhale 现已支持直接将其打开为 “在线 Notebook” 以便你进行编辑修改(请选择“打开文件”)。文本文件(如 .txt/.md)现也已支持在 Notebook 内编辑修改(请选择“编辑文件”)。

Tips:文件树的目录层级现也已支持点击跳转。

4、新增 模型服务依赖数据配置(专业版✓ 团队版✓ )

ModelWhale 支持灵活的模型部署和使用,让模型成果的跨部门交付更加简单,业务人员也可以低代码、甚至零代码使用这些高价值的模型成果。当算法研究人员进行模型部署时,需要选择服务的相关配置,包括依赖语言、环境、文件等;依赖数据,现也已支持同时配置,可以来源于数据集、模型库、NAS(依赖数据、权重文件不再需要上传到 Notebook project 目录下)。相关依赖字段,平台会自动根据当前项目为你匹配填写,帮助提高工作效率。更多详见模型服务使用手册。

5、优化 模型服务调试日志查看(专业版✓ 团队版✓ )

将模型文件部署为服务后,你可以使用平台提供的「调试测试」功能:即时调用当前的模型服务进行数据预测,检测模型的可用性。通过查看下方的“测试结果”、分析“服务日志” 可以帮助你定位问题;更多详见模型服务使用手册。

6、新增 高性能计算机群(HPC)接入(私有化)

不少研究任务需要高性能算力的支持,ModelWhale 数据研究平台除了支持使用 CPU、GPU、GPU 集群资源外,也支持接入你已有的高性能计算机群(HPC)在平台上进行算力调用。组织管理员完成相关配置,并让用户配置自己的 “Slurm 用户名”、“Slurm Token”后,即可在 ModelWhale 调用 HPC。为高效完成复杂的运算任务,建议同时搭配使用 ModelWhale 提供的离线任务功能(常用于云端托管训练),更多详见离线任务操作手册。

Tips:该功能面向私有化客户开放;公有云用户建议使用「离线任务 + GPU 集群」的方式进行复杂的任务训练、代码运算。

7、新增 离线任务结果跨项目保存整合(专业版✓ 团队版✓ )

对重要用户群组进行周期性数据分析,可以帮助业务方及时了解当前用户情况以及变化趋势。算法工程师在创建分析模板后,可以通过输入不同用户参数、配置定时任务(每周/每双周/每月)、跨项目保存整合的方式,使用 ModelWhale 生成并整合相关数据周报。业务方获得周报后,可以基于 Notebook 的输入/输出直观了解分析逻辑;也可以自行调整 Notebook 代码、更改分析维度,形成更具针对性的分析报告。

Tips:ModelWhale 离线任务支持使用不同参数组合运行同一个 Notebook、定时运行、跨项目保存整合等功能,更多详见离线任务操作手册。

8、新增 按群组批量停用账号(团队版✓ )

数据科学是一门实践性很强的学科,真实动手实践可以帮助学生更好地理解数据科学方法,逐步认识到可以如何应用它们思考问题、解决问题。ModelWhale 配有专业的数据研究工具设施、丰富的学习资源,供学生高效学习;同时配有完善的课堂管理系统,供老师便捷开课。授课结束后,老师可以按群组批量停用账号(如:停用“八班”学生账号),达到释放账号、算力给新一期同学的目的。

Tips:平行班授课,往往使用同一份课堂教材,老师可以使用「课程复用」功能进行线上内容的快速复制。更多教学功能的使用,详见教学实训使用手册。

9、新增 功能模块文件夹(团队版✓ )

ModelWhale 工作台左侧边栏展示众多功能模块,你可以自行拖拽排序使其符合你的工作习惯。此外,现在也支持组织管理员通过“文件夹”对功能模块进行分类管理,为成员分发已经整理的功能结构,以便他们按照自身工作流使用平台设施完成工作。

以上就是本期 ModelWhale 版本更新的全部内容。

进入 ModelWhale.com,免费试用专业版(个人研究)或试用团队版(组织协同),获赠 CPU 和 GPU 算力!(建议使用电脑端进行试用体验)

如果对 ModelWhale 有任何建议、疑问,或有试用续期需求,欢迎【联系MW】,MoMo 很高兴为你服务、与你交流。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/572710.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

基于stm32F407的hal库,移植FreeRTOS的具体步骤和遇到的问题(看正点原子的视频)

1. 资料准备 因为板子是stm32F407的第二版的,所以开始下的资料是旧版本的,但是旧版本的FreeRTOS工程没有hal库的,都是标准库的,这里是下载stm32F407最新版的资料,进行移植。 资料可以在正点原子官网下载,…

格式化输出Printf总结说明

一,简介 在C语言运行调试过程中,需要使用printf进行打印log信息,本文主要介绍常用的printf打印格式信息,方便提高调试的效率。 二,Printf转换说明 printf函数的转换说明由字符%和跟随其后的最多5个不同的选项构成&a…

PHP快速实战18-PHP使用PHPMailer来发送邮件

文章目录 前言安裝与实现步骤1:下载PHPMailer步骤2:包含PHPMailer文件步骤3:设置SMTP服务器和端口号步骤4:设置发件人和收件人步骤5:设置邮件主题和内容步骤6:添加附件(可选)步骤7&a…

深度学习-第T8周——猫狗识别

深度学习-第T8周——猫狗识别 深度学习-第T8周——猫狗识别一、前言二、我的环境三、前期工作1、导入数据集2、查看图片数目 四、数据预处理1、 加载数据1.1、设置图片格式1.2、划分训练集1.3、划分验证集1.4、查看标签1.5、再次检查数据1.6、配置数据集 2、数据可视化 五、搭建…

GMesh网格选项介绍

GMesh网格介绍 2D mesh algorithm MeshAdapt:这是一种自适应网格算法,可在需要更大的精度或在某些区域需要更密集的网格时自动添加额外的网格。该算法的优点包括较高的收敛性和灵活性,它可以让用户在需要的地方添加更多的网格,但…

隐形黑客潜入美国和关岛关键基础设施而未被发现

微软和“五眼联盟”国家周三表示,一个隐秘的组织成功地在美国和关岛的关键基础设施组织中建立了一个持久的立足点,而没有被发现。 这家科技巨头的威胁情报团队正在以伏特台风(Volt Typhoon)的名义跟踪这些活动,包括入侵后的凭证访问和网络系…

如何实现torna文档生成管理工具api接口从内网到外网的访问?

企业接口文档解决方案,目标是让文档管理变得更加方便、快捷。Torna采用团队协作的方式管理和维护项目API文档,将不同形式的文档纳入进来,形成一个统一的维护方式。下面简单给大家介绍一下torna接口文档管理工具都有哪些功能特性: …

【Java EE 初阶】TCP协议的安全效率机制

目录 1.应用层协议 2.传输层协议 3.UDP协议格式 4.TCP协议格式 5.TCP的安全效率机制 1.确认应答机制 2.超时重传机制 但是,主机A未收到B发来的确认应答,也可能是因为ACK丢失了; 3.连接管理机制 面试题:会不会有可能变成三…

【A卡,Windows】stable diffusion webui下载安装避坑指南

观前提醒 本文内容都是本人亲身经历的,一个一个安装下载测试所感,当然如果你更想用傻瓜式集成包的,那还是跳过这篇文章吧。 当然我不推荐这篇文章的操作,因为我用了差不多1h才有一副图,有N卡,就用N卡&…

jdk14——独立打包工具jpackage

jpackage是jdk14正式加入的一个用于独立打包的工具; 官网简介翻译: jpackage工具将以Java应用程序和Java运行时映像作为输入,并生成一个包含所有必要依赖项的Java应用程序映像。它可以生成特定于平台格式的本机软件包,例如Windo…

【UE】制作可拖动的UI

效果 步骤 1. 新建一个控件蓝图并打开 这里我在画布面板中加了一个垂直框,垂直框内包含一个按钮和一个图像控件 我设置图像控件占垂直框的2/3,按钮占1/3 添加按钮按压事件、松开事件 在控件蓝图的事件图表中添加如下节点,其中“Close”、“…

通达信三重滤网交易系统指标公式(含强力指数指标)

三重滤网交易系统由《以交易为生》的作者亚历山大埃尔德(Alexander Elder)发明的,1986年首次公开,后续又不断改进,增加或者改变了一些细节,但是使用多重时间周期和技术指标进行分析决策的原理没变。 一、强力指数指标 《以交易为…

Taro 项目怎么获取元素的高度和视口高度

最近做小程序,用的Taro,需要设置空状态居中显示,因为空状态出现的地方不一样,所以需要动态设置,那么就需要获取元素的高度来计算 文档翻了一遍也没有找到,原生js获取高度得到的是null,百度了下…

点云拟合平面原理和实现(Halcon)

最近学习了一下拟合平面的原理,看了这篇文章最小二乘拟合平面(C版) - 知乎 讲到了以下几种方法,我这里在halcon中对其一一实现。 一、算法原理 1,直接求解法 2.使用拉格朗日乘子法 3 SVD分解法 二、Halcon实现 1.各方法对比 在halcon中…

Python - 面向对象编程 - 类变量、实例变量/类属性、实例属性

什么是对象和类 什么是 Python 类、类对象、实例对象 类变量、实例变量/类属性、实例属性 前言 只是叫法不一样 实例属性 实例变量 类属性 类变量 个人认为叫属性更恰当 类属性和实例属性区别 类属性,所有实例对象共享该属性实例属性,属于某一…

win10系统如何设置虚拟回环

在日常生活中,人们(特别是IT行业者)通常需要在一台机上进行软件测试,而同一台计算上通常只能使用一个地址,而在需要同时使用两个地址进行测试的时候就显得捉襟见肘。此方法通过配置window10自带的环回适配器,达到上述目的。 win1…

如何用chatgpt写作论文 GPT写毕业论文的技巧

如何用chatgpt写作论文 GPT写论文的技巧 经常被问到为什么万事知天下小程序不能写论文。也不是不能写,只是GPT3.5的上下文只有4K,一般论文要写上万字,所以不可能你直接输入一个论文标题就直出结果的。 不过手工分一下步骤就可以了。先让写…

适用于中小企业的5种采购策略

与大企业不同,在采购管理方面,中小企业往往不得不在更有限的资源范围内运作,并且没有同等水平的经验丰富的采购专业人员或先进的采购技术。这会使优化采购流程并实现与大型企业相同水平的成本节约和风险管理变得更具挑战性。但是,…

docker idea直接部署到腾讯云镜像服务

首先创建一个Dockerfile 编写Dockerfile的信息 FROM java:8 MAINTAINER clarkshixxx.com RUN /bin/cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && echo Asia/Shanghai >/etc/timezone ENV ACTIVE"pre" ENV loggingpath"/zhibo/logs"…

【Flutter 工程】005-代码分离实践:flutter_hooks functional_widget

【Flutter 工程】005-代码分离实践:flutter_hooks & functional_widget 文章目录 【Flutter 工程】005-代码分离实践:flutter_hooks & functional_widget一、概述1、Flutter “嵌套地狱”2、代码分离实践 二、实践1、安装 flutter_hooks & f…