cube-studio开源一站式机器学习平台，在线ide，jupyter，vscode，matlab，rstudio，ssh远程连接，tensorboard

news2024/11/16 9:47:31

全栈工程师开发手册 （作者：栾鹏）
一站式云原生机器学习平台

前言

开源地址：https://github.com/tencentmusic/cube-studio

cube studio 腾讯开源的国内最热门的一站式机器学习mlops/大模型训练平台，支持多租户，sso单点登录，支持在线镜像调试，在线ide开发，数据集管理，图文音标注和自动化标注，任务模板自定义，拖拉拽任务流，模型分布式多机多卡训练，超参搜索，模型管理，推理服务弹性伸缩，支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布，以及配套资源监控和算力，存储资源管理。支持机器学习，深度学习，大模型 开发训练推理发布全链路。支持元数据管理，维表，指标，sqllab，数据etl等数据中台对接功能。支持多集群，边缘集群，serverless集群方式部署。支持计量计费，资源额度限制，支持vgpu，rdma，国产gpu，arm64架构。

aihub模型市场：支持AI hub模型市场，支持400+开源模型应用一键开发，一键微调，一键部署。

gpt大模型：支持40+开源大模型部署一键部署，支持ray，volcano,spark等分布式计算框架，支持tf,pytorch,mxnet,mpi,paddle,mindspre分布式多机多卡训练框架，支持deepspeed，colossalai，horovod分布式加速框架，支持llama chatglm baichuan qwen系列大模型微调。支持llama-factory 100+llm微调，支持大模型vllm推理加速，支持智能体私有知识库，智能机器人。

在线开发是一个很重要的功能，对于大部分用户来说，在线的IDE比命令vim是要方便很多。cube主要提供了vscode和jupyter两种在线ide。并没有将代码和数据进行分割存储。所以在notebok中打开的就是完全用户自己的代码和数据，可以方便的进行调试。

vscode

theia是一个在线vscode，更像本地IDE，主要服务纯代码开发（多实例，一个人可以同时开多个theia）

在这里插入图片描述

工作目录默认是/mnt，归档目录是/archives，可以把一些想永久保存，不易被误删的文件放在归档目录。

在这里插入图片描述

在vscode里面（本质为theia），用户跟本地vscode基本一致，上传下载文件/文件夹，也可以在theia中打开命令行终端。并且在其中封装了用户的基本环境需求，比如python。

需要说明的是，由于theia的功能中有些进程，例如rg进程，会不停的搜索扫描目录下的所有文件。由于个人目录下包含了用户的代码和用户的数据，文件可能非常多（千万到亿级别的文件数量）。这些进程扫描会严重拖慢分布式存储的性能。所以cube做了定时检杀的功能，能够及时检杀rg和git进程，提高在线vscode的响应速度。

jupyter

在这里插入图片描述

数据挖掘的用户使用jupyter会更多一些。在jupyter里面跟vscode里面相同，也安装了一些实用的插件，比如tensorboard，使用jupyter pro版本可以在jupyter里面打开。

比如我们在pipeline/example/tensorboard中有一个示例文件demo.py，运行这个文件，会生成一个fit_logs文件夹，这就是tf的log目录，进入这个目录，然后使用tensorboard按钮启动tensorboard，就可以查看该训练的情况。

大数据版本

大数据版本的Jupyter notebook，创建notebook时选择Jupyter（bigdata）镜像，集成了大数据常用的基础包，比如spark、flink等。支持爬虫、数据分析、数据挖掘和可视化等常用Python包的使用。

机器学习版本

机器学习版本的Jupyter notebook，创建notebook时选择Jupyter（machinelearning）镜像，集成了机器学习常用的基础包，比如sklearn、scipy等。

深度学习版本

深度学习版本的Jupyter notebook，创建notebook时选择Jupyter（DeepLearning）镜像，集成了深度学习常用的基础包，比如TensorFlow、Keras等。

rstudio

R版本的notebook，创建notebook时选择rstudio（bigdata）镜像，集成了R语言的在线IDE，IDE名称为Rstudio。

matlab

MATLAB版本的notebook，创建notebook时选择matlab（DeepLearning）镜像，集成了MATLAB的在线IDE。

pro版本

Pro版本的Jupyter中使用不同版本的Python内核，从python2.7到python3.9均可支持。

在这里插入图片描述

tensorboard可视化训练

pro版本的Jupyter有tensorboard，创建notebook时镜像选择jupyter-conda-pro（cpu），创建一个pro版本的jupyter，运行/mnt/$username/pipeline/example/tensorboard/demo.py，运行结束会产生结果文件。进入结果文件夹，此时点击“+”符号，打开tensorboard，再选择需要进行可视化的文件，即可查看可视化结果，如下图所示。

在这里插入图片描述

需要注意的是，集成了tensorboard的notebook是CPU版本的，因此，如果我们需要用GPU来训练模型，并且用tensorboard做可视化，可以用GPU版本的notebook来做模型训练，把需要可视化的结果文件写到分布式存储中，再在pro版本的notebook中打开tensorboard。

密码保护

需要修改config.py配置文件中ENABLE_JUPYTER_PASSWORD设置为True并更新到线上，重启后端，则会在每个jupyter后面会自动生成密码，每次进入jupyter要使用这个密码。

在这里插入图片描述

登录jupyter时需要密码

在这里插入图片描述

ssh远程连接jupyter功能

实现原理

jupyter版本的notebook中提供了sshd，会在notebook创建时自动启动ssh-server，并且会自动生成配置文件example/ssh链接

并为每个notebook的pod配置一个单独的service，service使用ip和端口的形式对外暴漏，每个notebook使用的端口为10000+10*id+1

需要公司网络能通过ip+端口的形式访问notebook的服务

操作方法

按照example/ssh链接 文件中的描述，在本地~/.ssh/config中添加链接配置文件

# 将此文件内容追加到~/.ssh/config   ssh root登录密码 cube-studio
# ssh-copy-id -p PORT root@HOST  本地设置免密登录

Host cube-studio
  HostName xx.xx.xx.xx
  Port xx
  User root
  IdentityFile ~/.ssh/id_rsa
  ServerAliveInterval 10
  ControlMaster auto
  ControlPath ~/.ssh/master-%r@%h:%p
  ForwardAgent yes

然后就可以ssh链接远程notebook了，并且可以在本地将文件拖拽到本地vscode，这样文件就是自动同步到在线notebook中

单端口代理jupyter内部ssh server

要实现这个目标，您可以使用SSH端口转发功能。具体来说，您可以在内网中设置一个跳板机（也称为SSH代理服务器），并通过它连接到其他内网SSH服务器。以下是如何实现这个目标的步骤：

  1. 首先，确保您可以从本地客户端访问内网中的跳板机。例如，假设跳板机的IP地址为192.168.1.1，端口号为22，用户为user1。

  2. 在本地客户端上设置SSH代理隧道。这将允许您通过跳板机访问其他内网SSH服务器。例如，假设您希望连接到内网中的SSH服务器A（IP地址：192.168.1.2，端口：10022，用户：user2）和SSH服务器B（IP地址：192.168.1.3，端口：10023，用户：user3）。在本地客户端上，运行以下命令以创建SSH隧道：

    ssh -L 10022:192.168.1.2:10022 -L 10023:192.168.1.3:10023 user1@192.168.1.1 -p 22

    user1 是您在跳板机上的用户名。这将在您的本地客户端上创建两个端口转发（10022和10023），分别连接到内网中的SSH服务器A和B。

  3. 现在，您可以通过本地客户端上的端口10022和10023来访问内网中的SSH服务器A和B。例如，要连接到SSH服务器A，您可以运行以下命令：

    ssh user2@127.0.0.1 -p 10022

    要连接到SSH服务器B，您可以运行以下命令：

    ssh user3@127.0.0.1 -p 10023

    在这两个命令中，user2，user3 是您在SSH服务器A和B上的用户名。

通过这种方法，您可以通过仅可以访问的内网IP和端口来访问内网中的不同SSH服务器。

jupyter里面链接spark

对于需要连接数据中台的场景，例如连接Hive或Spark集群，我们可以在自定义Notebook中预先配置好相关的XML文件，以便用户直接使用。这样，开发者只需要配置一次，普通用户就可以直接使用，无需再次配置。

在jupyter中启动提交spark任务，作为driver端需要监听端口，每个notebook在创建的时候会预留 P O R T 1 和 PORT1和 PORT1和PORT2两个环境变量代表的端口来对外监听，同时在$SERVICE_EXTERNAL_IP环境变量代表的主机上进行监听，所以需要告诉spark的master，driver的服务监听地址，这样能让master返回数据到driver端

# 创建 SparkSession
spark = SparkSession.builder \
    .appName("PythonPi") \
    .master('spark://myspark-master-0.myspark-headless.kubeflow.svc.cluster.local:7077') \
    .config("spark.executor.memory", "2g") \
    .config("spark.executor.cores", "2") \
    .config("spark.cores.max", "8") \
    .config("spark.driver.memory", "2g") \
    .config("spark.ui.enabled", False) \
    .config("spark.driver.port", os.getenv('PORT1')) \
    .config("spark.blockManager.port", os.getenv('PORT2')) \
    .config("spark.driver.bindAddress", '0.0.0.0') \
    .config("spark.driver.host", os.getenv('SERVICE_EXTERNAL_IP')) \
    .getOrCreate()

tensorboard

使用pro版本的jupyter，在左侧目录树，进入到tensorboard对应的日志目录，再打开右侧的tensorboard按钮

在这里插入图片描述

就可以查看日志目录中所包含的记录的训练过程中的信息和模型的信息

在这里插入图片描述

git功能

pro版本的notebook中，可以直接使用git。比如直接clone一个项目到notebook中，修改文件，点击git图标，就能直接看到原文件和修改后文件的对比。

在这里插入图片描述

gpu监控，cpu，内存监控

图示按钮，可帮助用户在notebook中查看资源的使用情况。需要注意的是，只有GPU版本的notebook可以在notebook中查看GPU监控，其他版本的notebook即使调用了GPU，也只能在grafana中统一查看GPU资源的监控。

在这里插入图片描述

jupyter多内核态

在使用自定义Notebook时，需要注意的是，安装包时应该先激活对应的环境，然后再进行安装。这是因为Jupyter的内核和conda环境是两个不同的概念，需要分别进行管理。

在线ide的资源占用问题

cube采用的方案是只设置notebook的pod的limit，而不设置request，这种方案就对不资源进行独占，这样也就不用清理notebook，只是允许了notebook中的资源干扰。

GPU的占用方式上，允许独占、共享、VGPU三种方式，gpu申请(单位卡)，示例:填写1，2，表示训练任务每个容器独占整卡。填写-1为共享占用方式，填写小数(0.1)为vgpu方式，申请具体的卡型号，可以类似 1(V100),目前支持T4/V100/A100。

在这里插入图片描述

在线ide的环境重置问题

如果notebook因为oom，定时清理，机器故障，主动reset等可能原因而重启，notebook中的环境就会丢失，但分布式存储下的内容都会保留，也就是/mnt/$username文件夹下的内容都会保留。

所以我们如果需要环境保存，有两个方案：

  1. cube添加了notebook启动后自动执行/mnt/$username/init.sh脚本，用户只需要在init.sh中定义notebook特定的环境，就可以在启动notebook后拥有自己独特的环境了。

  2. 在notebook中有一个“镜像保存”按钮，每次notebook环境更改之后，都可以点击这个按钮，保存环境，下次重启就会自动用这个镜像来启动notebook，如下图所示。

notebook镜像保存

多实例的virtualservice代理

多实例在线IDE图示

每个用户可以配置多个在线IDE，可以自己配置资源，镜像，类型。每个在线IDE都是通过istio virtualservice来代理的。所以只要在线IDE的镜像启动的web服务支持url prefix，就可以被加进来作为在线IDE，比如matlab，rstudio。每个在线IDE实例，都有独立的以名称为prefix的url地址，在virtualservice配置绑定istio ingressgateway，这样来实现多实例。

名为admin-9d3d的在线IDE的url prefix：

名为admin-e00f的在线IDE的url prefix：

在线ide镜像保存

如果想保存自己notebook中的环境，可以在notebook列表中点击"镜像保存"的按钮，平台将自动将该notebook的pod通过docker commit成镜像，镜像名称为jupyter-user:$notebook-name，并推送到仓库，所以还需要管理员提前配置自己内网的仓库地址和账号密码

在线ide清理和需求

默认情况下在线ide每天晚上会清理三天前的，清理只是关闭容器，不会清理文件，重启容器，环境会丢失。

定时清理任务的配置

在config.py的task_delete_notebook，注释这个任务，可以停止定时清理notebook，每次notebook有效期为3天，清理前一天会提醒用户进行续期。

任务续期

点击对应notebook后的续期按钮，可以为当前notebook续期三天使用时间。

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1859469.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

微博默认按照最新时间排序

微博默认按照最新时间排序

微博默认按照最新时间排序 目前微博会默认按照推荐顺序排序，如果你想要默认按照时间顺序排序的话，可以使用这个油猴脚本。 演示： 脚本安装地址 源代码地址 参考 本项目基于 vite-plugin-monkey 开发 菜单切换（useOption&…
阅读更多...
设计模式原则——单一职责原则（SPS）

设计模式原则——单一职责原则（SPS）

设计模式原则 设计模式示例代码库地址： https://gitee.com/Jasonpupil/designPatterns 单一职责原则（SPS）： 又称单一功能原则，面向对象五个基本原则（SOLID）之一原则定义：一个类应…
阅读更多...
深度学习工具jupyter创建并检测pytorch环境以及安装工具包

深度学习工具jupyter创建并检测pytorch环境以及安装工具包

1. 前言 确保已经安装Python和anaconda（anaconda一般自带jupyter）。然后创建一个jupyter环境，查看启动后的new有没有环境选项。 如果遇到了EnvironmentLocationNotFound:Not such a environment。说明conda环境安装位置有问题，往…
阅读更多...
Qt6 windows10下悬浮按钮栏实现

Qt6 windows10下悬浮按钮栏实现

打王者荣耀的时候，你是否有看到中间的按钮是悬浮在屏幕的左右侧，以及中下位置，背景则是一个播放着视频的画面。 从程序的角度来看，它就是实现了一个悬浮按钮栏的功能。当然了，你也可以做成悬浮列表，悬浮下拉框，悬浮xxx等控件。 这里，我们实现在Windows的版本。手机版…
阅读更多...
Vue45 scope

Vue45 scope

scope 限制css的作用范围 用法 <template><div class"demo"><h2 >学生姓名&#xff1a;{{name}}</h2><h2>学生性别&#xff1a;{{sex}}</h2></div> </template><script>export default {name:Student,data…
阅读更多...
240624_昇思学习打卡-Day6-张量Tensor

240624_昇思学习打卡-Day6-张量Tensor

240624_昇思学习打卡-Day6-张量Tensor 今儿扭头回来看看基础&#xff0c;看看最基本的数据结构&#xff0c;张量&#xff08;Tensor&#xff09;。 张量和数组、矩阵非常相似。是MindSpore网络运算中的基本数据结构&#xff0c;本文主要介绍张量和稀疏张量的属性及用法。 文章…
阅读更多...
提示词绕过大模型安全限制

提示词绕过大模型安全限制

大模型安全绕过策略 简介 本文使用简单的提示词&#xff0c;可以在所有场景中实现针对某开源模型的安全策略绕过。 glm-4-9b-chat 的安全措施还有待完善。 上一代的6b比这一代的9B&#xff0c;要安全&#xff1b;上一代的6B大模型这一招没有用。 正常对话 若在下述正常互动…
阅读更多...
小程序安卓手机点击uni-data-select 下拉框选择器会出现蓝色阴影

小程序安卓手机点击uni-data-select 下拉框选择器会出现蓝色阴影

解决方法&#xff1a;在导入的包中找到uni-data-select.vue&#xff0c;接着找到.uni-stat__select样式&#xff0c;把cursor: pointer去掉。 如果出现穿透问题&#xff0c;uni-select__selector的z-index加高&#xff0c;默认是2。
阅读更多...
基于Istio服务网格的熔断限流实现

基于Istio服务网格的熔断限流实现

在微服务架构的宏大图景中&#xff0c;Istio服务网格如同一位精巧的交通指挥官&#xff0c;它不仅确保了服务间通信的顺畅无阻&#xff0c;还通过先进的熔断与限流机制&#xff0c;为系统的稳定性筑起了一道坚固的防线。接下来&#xff0c;让我们一窥Istio如何在不改动服务代码…
阅读更多...
Python武器库开发-武器库篇之Thinkphp5 SQL注入漏洞（六十六）

Python武器库开发-武器库篇之Thinkphp5 SQL注入漏洞（六十六）

Python武器库开发-武器库篇之Thinkphp5 SQL注入漏洞&#xff08;六十六&#xff09; 漏洞环境搭建 这里我们使用Kali虚拟机安装docker并搭建vulhub靶场来进行ThinkPHP漏洞环境的安装&#xff0c;我们进入 ThinkPHP漏洞环境&#xff0c;可以 cd ThinkPHP&#xff0c;然后通过 …
阅读更多...
Arduino IDE下载、安装和配置

Arduino IDE下载、安装和配置

文章开始先把我自己网盘里的安装包分享给大家&#xff0c;链接&#xff1a;https://pan.baidu.com/s/1cb2_3m0LnuSKLnWP_YoWPw?pwdwwww 提取码&#xff1a;wwww 里面一个是Arduino IDE的安装包&#xff0c;另一个是即将发布的版本。 第一个安装包打开直接按照我的步骤安装就…
阅读更多...
AI视频教程下载-数据分析中的提示工程：Python、Pandas、ChatGPT

AI视频教程下载-数据分析中的提示工程：Python、Pandas、ChatGPT

Prompt Engineering for Data Analysis Python, Pandas, ChatGPT ChatGPT与Python&#xff1a;无需编程。借助ChatGPT、Python、Pandas及提示工程进行数据分析与数据可视化 "利用Python、Pandas和ChatGPT进行数据分析的提示工程"是一门开创性的课程&#xff0c;它通…
阅读更多...
Harris角点检测原理及其在python-opencv的调用

Harris角点检测原理及其在python-opencv的调用

文章目录 原理测试 原理 Harris 角点检测的基本思路如下&#xff1a;考虑一个局部的区域&#xff0c;将其作为一个窗口四处移动&#xff0c;若窗口灰度发生了较大的变化&#xff0c;那么&#xff0c;就认为窗口内存在角点&#xff0c;否则窗口内就不存在角点。 对于图像 I ( …
阅读更多...
FruitJuice for Mac：智能优化电池寿命，Mac持久续航不再难！

FruitJuice for Mac：智能优化电池寿命，Mac持久续航不再难！

FruitJuice for Mac 是一款专为Mac用户设计的电池优化管理工具。它拥有智能的电池健康监测功能&#xff0c;可以实时显示Mac电池的当前状态&#xff0c;并提供个性化的优化建议&#xff0c;帮助用户更好地管理电池使用。 通过FruitJuice&#xff0c;Mac用户可以轻松查看电池的…
阅读更多...
240621_昇思学习打卡-Day3-余弦退火+周期性重启+warm up

240621_昇思学习打卡-Day3-余弦退火+周期性重启+warm up

240621_昇思学习打卡-Day3-余弦退火周期性重启warm up 先展示一个完整的余弦退火周期性重启warm up调整学习率的流程&#xff08;横轴为epoch&#xff0c;纵轴为学习率&#xff09;&#xff1a; 我们换一个收敛较慢的图进行详细说明&#xff1a; Warm up 在神经网络刚开始训练…
阅读更多...
若依框架下拉单选框根据js动态加载，如何使select2的下拉搜素功能同时生效（达到select下拉框的样式不变的效果）

若依框架下拉单选框根据js动态加载，如何使select2的下拉搜素功能同时生效（达到select下拉框的样式不变的效果）

直接上代码&#xff0c;不废话 $(select[name"sealType"]).change(function (event) {let value event.target.valuequeeryDeptListBySealType(value)})// 获取科目信息function queeryDeptListBySealType(value){$.ajax({type: "post",url: prefix &quo…
阅读更多...
【Linux】Linux基础开发工具(yum)

【Linux】Linux基础开发工具(yum)

Linux 软件包管理器 yum 什么是软件包 在Linux下安装软件, 一个通常的办法是下载到程序的源代码, 并进行编译, 得到可执行程序.但是这样太麻烦了, 于是有些人把一些常用的软件提前编译好, 做成软件包(可以理解成windows上的安 装程序)放在一个服务器上, 通过包管理器可以很方便…
阅读更多...
__FILE__ 一个非常实用的宏

__FILE__ 一个非常实用的宏

经常在VS和QtCreator这两个开发环境之间切换的同志肯定会发现这两个开发环境生成的可执行程序的文件路径不一样&#xff0c;VS是在项目文件目录里面&#xff0c;而qt creator是在和项目文件夹同一目录下。如下图所示&#xff1a; QtCreator: VS: 这就导致了一个问题,若要获取项…
阅读更多...
面向对象的编程思想

面向对象的编程思想

面向对象的编程思想 一、什么是面向对象&#xff1f; 面向对象编程的核心思想是把构成问题的各个事物分解成各个对象&#xff0c;建立对象的目的不是为了完成一个步骤&#xff0c;而是为了描述一个事物在解决问题的过程中经历的步骤和行为。对象作为程序的基本单位&#xff0…
阅读更多...
如何开发、使用 Starter

如何开发、使用 Starter

开发 第一步&#xff1a;创建starter工程hello-spring-boot-starter并配置pom.xml文件 <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0"xmlns:xsi"http://www.w3.org/2001/XMLSchem…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023