OrionX vGPU 研发测试场景下最佳实践之Jupyter模式

news2024/11/15 19:34:53

在上周的文章中，我们讲述了OrionX vGPU研发测试场景下最佳实践之SSH模式，今天，让我们走进 Jupyter模式下的最佳实践。

  • • Jupyter模式：Jupyter是最近几年算法人员使用比较多的一种工具，很多企业已经将其改造集成开发工具，将Jupyter部署在容器或者虚机给算法人员使用。

环境准备

环境包含物理机器或者虚机，网络环境、GPU卡，操作系统以及容器平台。

硬件环境

本次POC环境准备三台虚机，其中一台CPU节点，两台GPU节点，每台GPU节点有一块T4卡。

操作系统为ubuntu 18.04

管理网络：千兆TCP

远程调用网络：100G RDMA

Kubernetes环境

三个节点安装k8s环境，可以使用kubeadm来安装，或者一些部署工具：

  • • kubekey

  • • KUBOARD 喷雾

当前部署kubernetes环境如下：

root@sc-poc-master-1:~# kubectl get node
NAME              STATUS   ROLES                         AGE    VERSION
sc-poc-master-1   Ready    control-plane,master,worker   166d   v1.21.5
sc-poc-worker-1   Ready    worker                        166d   v1.21.5
sc-poc-worker-2   Ready    worker                        166d   v1.21.5

其中master为CPU节点，worker节点为2个T4 GPU节点。

OrionX vGPU 池化环境

参考趋动科技《OrionX 实施方案-k8s版》

部署完之后我们可以在orion的namespace查看OrionX组件：

root@sc-poc-master-1:~# kubectl get pod -n orion 
NAME                                 READY   STATUS    RESTARTS   AGE
orion-container-runtime-hgb5p        1/1     Running   3          63d
orion-container-runtime-qmghq        1/1     Running   1          63d
orion-container-runtime-rhc7s        1/1     Running   1          46d
orion-exporter-fw7vr                 1/1     Running   0          2d21h
orion-exporter-j98kj                 1/1     Running   0          2d21h
orion-gui-controller-all-in-one-0    1/1     Running   2          87d
orion-plugin-87grh                   1/1     Running   6          87d
orion-plugin-kw8dc                   1/1     Running   8          87d
orion-plugin-xpvgz                   1/1     Running   8          87d
orion-scheduler-5d5bbd5bc9-bb486     2/2     Running   7          87d
orion-server-6gjrh                   1/1     Running   1          74d
orion-server-p87qk                   1/1     Running   4          87d
orion-server-sdhwt                   1/1     Running   1          74d

开发机场景：JupyterLab模式

jupyterlab包含了 的所有功能，并升级增加了很多功能。其支持python、R、java等多种编程语言及markdown、letex等写作语言及公式输入，可以集编程与写作于一身，非常适合于代码学习、笔记记录、演示及教学等。jupyter lab相比notebook最大的更新是模块化的界面，可以在同一个窗口以标签的形式同时打开好几个文档，同时插件管理非常强大，使用起来要比jupyter notebook功能丰富许多。jupyternotebook

JupyterLab作为一种基于web的集成开发环境，你可以使用它编写notebook、操作终端、编辑markdown文本、打开交互模式、查看csv文件及图片等功能。

本次场景，我们通过k8s部署jupyterlab来进行基本的机器学习开发，同时我们集成一个开源算法进行实践。

制作镜像

我们使用官方的pytorch镜像或者TensorFlow镜像作为Base镜像来编译一个新的jupyterlab镜像，在使用的时候就有cuda和框架了，省去很多时间。本次我们先以pytorch镜像来进行编译新镜像，新建一个Dockerfile

FROM pytorch/pytorch:1.8.1-cuda10.2-cudnn7-devel
#USER root
RUN sed -i 's/archive.ubuntu.com/mirrors.aliyun.com/g' /etc/apt/sources.list && \
    rm /etc/apt/sources.list.d/cuda.list && \
    rm /etc/apt/sources.list.d/nvidia-ml.list && \
    apt update -y  && \
    apt install -y nodejs npm curl vim wget git && \
    apt install -y language-pack-zh-hans  && \
    pip3 install  -i https://pypi.tuna.tsinghua.edu.cn/simple/ jupyterlab   && \
    pip3 install  -i https://pypi.tuna.tsinghua.edu.cn/simple/ jupyterlab-language-pack-zh-CN 

RUN pip install pillow && \
    pip install cmake && \
    pip install dlib && \
    pip install face_recognition && \
    pip install matplotlib && \
    pip install scipy

ENV LANG='zh_CN.utf8'
CMD ["/bin/bash","-c","jupyter lab --ip=0.0.0.0 --no-browser --allow-root --port=8888 --NotebookApp.token='' --NotebookApp.password=''  --NotebookApp.allow_origin='*'"]

我们使用了pytorch 1.8.1 cuda 10.2的镜像，然后将ubuntu的软件源改成阿里云的，同时删除nvidia的源，否则会因为网络问题无法安装其他软件。安装jupyterlab和一些基本的科学计算的库，重新build

docker build -t pytorch/pytorch:1.8.1-cuda10.2-cudnn7-devel-jupyterlab .

build完之后，我们得到一个新的镜像，接下来我们部署该镜像pytorch/pytorch:1.8.1-cuda10.2-cudnn7-devel-jupyterlab

部署jupyterlab

通过yaml部署，由于该Pod需要对外提供服务，所以我们要暴露8888端口，同时创建svc和ingress提供对外服务地址

jupyterlab的yaml文件如下：

apiVersion: apps/v1
kind: Deployment
metadata:
  annotations:
  name: jupyterlab-orion
  namespace: orion
spec:
  replicas: 1
  selector:
    matchLabels:
      name: jupyterlab-orion
  template:
    metadata:
      labels:
        name: jupyterlab-orion
    spec:
      nodeName: sc-poc-worker-2
      #hostNetwork: true
      schedulerName: orion-scheduler
      containers:
      - name: jupyterlab-orion
        image: pytorch/pytorch:1.8.1-cuda10.2-cudnn7-devel-jupyterlab
        ports:
        - containerPort: 8888
        imagePullPolicy: IfNotPresent
        resources:
          requests:
            virtaitech.com/gpu: 1
          limits:
            virtaitech.com/gpu: 1
        env:
          - name : ORION_GMEM
            value : "5000"
          - name : ORION_RATIO
            value : "50"
          - name: ORION_VGPU
            value: "1"
          - name: ORION_RESERVED
            value: "0"
          - name: ORION_CROSS_NODE
            value: "0"
          - name: ORION_TASK_IDLE_TIME
            value: "30s"
          - name: ORION_EXPORT_CMD
            value: "env | grep ORION; orion-smi -j"
          - name : ORION_GROUP_ID
            valueFrom:
              fieldRef:
                fieldPath: metadata.uid
          - name: ORION_K8S_POD_NAME
            valueFrom:
             fieldRef:
               fieldPath: metadata.name
          - name: ORION_K8S_POD_UID
            valueFrom:
              fieldRef:
                fieldPath: metadata.uid
          - name: ORION_K8S_POD_NS
            valueFrom:
              fieldRef:
                fieldPath: metadata.namespace

---
apiVersion: v1
kind: Service
metadata:
  labels:
    name: jupyterlab-orion
  name: jupyterlab-orion
  namespace: orion
spec:
  ports:
    - name: web
      port: 8888
      protocol: TCP
      targetPort: 8888
  selector:
    name: jupyterlab-orion
  type: ClusterIP

我这边是使用traefik搭建的ingress服务，所以给jupyterlab创建的ingress如下：

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: jupyterlab-ingress
  annotations:
    kubernetes.io/ingress.class: traefik  
    traefik.ingress.kubernetes.io/router.entrypoints: web
spec:
  rules:
  - host: jupyterlab.10.10.10.180.nip.io
    http:
      paths:
      - pathType: Prefix
        path: /
        backend:
          service:
            name: jupyterlab-orion
            port:
              number: 8888

两个yaml文件部署完后，通过ingress地址可以访问该jupyterlab了

图片

 

简单测试下pytorch是否可以正常调用vGPU，代码样例：

import torch 
from torch import nn 

if_cuda = torch.cuda.is_available()
print("if_cuda=",if_cuda)

gpu_count = torch.cuda.device_count()
print("gpu_count=",gpu_count)

torch.cuda.get_device_name(0)

图片

 

通过pytorch的api我们可以直接拿到GPU的信息，跟物理卡是一致的，物理卡是T4，vGPU同样是T4，此时vGPU是分配了一块卡，所以显示的数量也是一样的，根据pytorch拿到的信息我们可以发现对于上层的框架而言调用vGPU资源跟调用物理GPU资源是一样的，不会有什么改变，那对于上层的应用来说也是透明的使用vGPU资源。

跑一个demo

我们在jupyterlab中跑一个pytorch线性回归代码测试下pytorch调用vGPU是否正常使用。我们之前启动pod的时候申请了50%的算力和5G的显存

代码如下：

import time
import torch 
from torch import nn 

# 准备数据
n = 1000000 #样本数量

X = 10*torch.rand([n,2])-5.0  #torch.rand是均匀分布 
w0 = torch.tensor([[2.0,-3.0]])
b0 = torch.tensor([[10.0]])
Y = X@w0.t() + b0 + torch.normal( 0.0,2.0,size = [n,1])  # @表示矩阵乘法,增加正态扰动

# 移动到GPU上
print("torch.cuda.is_available() = ",torch.cuda.is_available())
X = X.cuda()
Y = Y.cuda()
print("X.device:",X.device)
print("Y.device:",Y.device)



# 定义模型
class LinearRegression(nn.Module): 
    def __init__(self):
        super().__init__()
        self.w = nn.Parameter(torch.randn_like(w0))
        self.b = nn.Parameter(torch.zeros_like(b0))
    #正向传播
    def forward(self,x): 
        return x@self.w.t() + self.b
        
linear = LinearRegression() 

# 移动模型到GPU上
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
linear.to(device)

#查看模型是否已经移动到GPU上
print("if on cuda:",next(linear.parameters()).is_cuda)

# 训练模型
optimizer = torch.optim.Adam(linear.parameters(),lr = 0.1)
loss_func = nn.MSELoss()

def train(epoches):
    tic = time.time()
    for epoch in range(epoches):
        optimizer.zero_grad()
        Y_pred = linear(X) 
        loss = loss_func(Y_pred,Y)
        loss.backward() 
        optimizer.step()
        if epoch%50==0:
            print({"epoch":epoch,"loss":loss.item()})
    toc = time.time()
    print("time used:",toc-tic)
    
train(5000)

运行结果如下：

图片

 

OrionX 申请资源情况如下

图片

 

综上，我们在jupyterlab中通过pytorch调用vGPU能正常使用。

项目实践

我们基于一个开源项目在jupyterlab进行实际的开发体验，它可以将视频、人物、风景动漫化，我们本次使用的是pytorch版本的实现，项目地址为：animegan2-pytorchhttps://github.com/bryandlee/animegan2-pytorch

为了方便使用我们需要做一些准备工作，1、准备一个nfs server用来持久化 2、将该项目clone下来存入nfs中去，我在nfs server建了一个目录，然后把该项目拷贝进去;3、下载一个人脸关键点模型，后续可以直接使用该模型，当然你也可以训练自己的人脸关键点检测模型，该模型下载地址/mnt/nfs_share/animegan2-pytorchshape_predictor_68_face_landmarks.dat

https://github.com/davisking/dlib-models，将下载的模型同样拷贝到目录下面。接下来我们就将这个目录挂载给jupyterlab的pod里面，具体的挂载参考YAML文件如下：/mnt/nfs_share/animegan2-pytorch

apiVersion: apps/v1
kind: Deployment
metadata:
  annotations:
  name: jupyterlab-orion
  namespace: orion
spec:
  replicas: 1
  selector:
    matchLabels:
      name: jupyterlab-orion
  template:
    metadata:
      labels:
        name: jupyterlab-orion
    spec:
      nodeName: sc-poc-worker-2
      #hostNetwork: true
      schedulerName: orion-scheduler
      volumes:
        - name: animegan2-data
          nfs:
           server: 10.10.10.180
           path: /mnt/nfs_share/animegan2-pytorch

      containers:
      - name: jupyterlab-orion
        image: pytorch/pytorch:1.8.1-cuda10.2-cudnn7-devel-jupyterlab
        volumeMounts:
          - name: animegan2-data
            mountPath: /workspace/animegan2-pytorch
        ports:
        - containerPort: 8888
        imagePullPolicy: IfNotPresent
        resources:
          requests:
            virtaitech.com/gpu: 1
          limits:
            virtaitech.com/gpu: 1
        env:
          - name : ORION_GMEM
            value : "5000"
          - name : ORION_RATIO
            value : "50"
          - name: ORION_VGPU
            value: "1"
          - name: ORION_RESERVED
            value: "0"
          - name: ORION_CROSS_NODE
            value: "0"
          - name: ORION_TASK_IDLE_TIME
            value: "30s"
          - name: ORION_EXPORT_CMD
            value: "env | grep ORION; orion-smi -j"
          - name : ORION_GROUP_ID
            valueFrom:
              fieldRef:
                fieldPath: metadata.uid
          - name: ORION_K8S_POD_NAME
            valueFrom:
             fieldRef:
               fieldPath: metadata.name
          - name: ORION_K8S_POD_UID
            valueFrom:
              fieldRef:
                fieldPath: metadata.uid
          - name: ORION_K8S_POD_NS
            valueFrom:
              fieldRef:
                fieldPath: metadata.namespace

---
apiVersion: v1
kind: Service
metadata:
  labels:
    name: jupyterlab-orion
  name: jupyterlab-orion
  namespace: orion
spec:
  ports:
    - name: web
      port: 8888
      protocol: TCP
      targetPort: 8888
  selector:
    name: jupyterlab-orion
  type: ClusterIP

我们把该nfs上的目录直接挂载在jupyterlab的目录下面，启动之后我们通过ingress方式登录该jupyterlab就可以看到挂载的项目了/workspace/animegan2-pytorch

图片

双击我们就可以运行该项目了，但是实际上在运行的时候他会在用户的根目录寻找一些文件，如果没有的话会自动下载，这些文件实际上就是项目里面的文件，由于github很不稳定，所以我们可以手动的在终端里面把这些文件复制到相关目录，需要复制两个目录，1、复制整个目录到;2、复制目录下的目录到 ，这样我们就可以在jupyterlab直接运行该demo了，我们可以通过点击来运行demo.ipynbanimegan2-pytorchanimegan2-pytorch/root/.cache/torch/hub/bryandlee_animegan2-pytorch_mainanimegan2-pytorchweights/root/.cache/torch/hub/checkpointsrun all cells

图片

 

运行的时候我们就可以看到他会调用我们复制的这些目录文件了。

该demo自带了马斯克的人像来进行动漫化，我们也可以找一些图片链接进行替换来运行该demo

图片

 

运行的时候我们通过OrionX GUI可以查看运行的任务和使用的资源

图片

 

以上就是OrionX vGPU在Jupyter模式下的开发机场景的最佳实践，OrionX AI算力资源池化解决方案针对GPU管理粗放给出了相应的解决思路，旨在为用户提高GPU利用率、提供灵活调度平台、统一管理算力资源，实现弹性扩展，按需使用。我们将在以后的文章中继续分享OrionX vGPU基于CodeServer模式下的开发实践，欢迎留言探讨！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2138196.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

[C++] 剖析多态的原理及实现

[C++] 剖析多态的原理及实现

文章目录 多态的概念及定义编译时多态（静态多态）运行时多态（动态多态）动态多态的原理示例：运行时多态 两种多态的区别 多态的实现基本条件虚函数虚函数的重写与覆盖虚函数重写的其他问题协变析构函数的重写 C11 中的 o…
阅读更多...
【数据结构】8——图3，十字链表，邻接多重表

【数据结构】8——图3，十字链表，邻接多重表

数据结构8——图3，十字链表，邻接多重表 文章目录 数据结构8——图3，十字链表，邻接多重表前言一、十字链表结构例子 复杂例子 二、邻接多重表（Adjacency Multilist）例子 前言 除了之前的邻接矩阵和邻接表 …
阅读更多...
Kubernetes部署及示例

Kubernetes部署及示例

目录 一、实验环境 二、部署 1、添加解析 2、安装docker，确保登录成功 3、所有禁用swap和本地解析 4、 安装K8S部署工具 5、集群初始化 6、安装flannel网络插件 7、节点扩容 三、kubernetes 中的资源 1、资源管理介绍 2、资源管理方式 （…
阅读更多...
【Kubernetes】服务账号 Service Account

【Kubernetes】服务账号 Service Account

《K8s 的安全认证》系列，共包含以下文章： K8s 的安全框架和用户认证K8s 的鉴权管理（一）：基于角色的访问控制（RBAC 鉴权）K8s 的鉴权管理（二）：基于属性 / 节点…
阅读更多...
Mac导入iPhone的照片怎么删除？快速方法讲解

Mac导入iPhone的照片怎么删除？快速方法讲解

随着Apple生态系统的高度整合，Mac与iPhone之间的照片同步和导入变得异常便捷。但这种便利有时也会带来一些管理上的困扰，比如Mac导入iPhone的照片怎么删除？ 从iPhone直接删除照片 Mac导入iPhone的照片怎么删除？如果你的照片是通…
阅读更多...
思维商业篇(1)—如何判断商业效率

思维商业篇(1)—如何判断商业效率

思维商业篇(1)—如何判断商业效率 我们评价一个公司，很大程度上其实就是看其商业效率高不高以及规模大不大。 规模是一个企业的大小，效率是一个企业的节奏。 一个小企业如果效率很高，在未来就会有很多的机会。只要其所在行业在&#xff0c…
阅读更多...
深入理解Python中的魔法参数 *args 和 **kwargs

深入理解Python中的魔法参数 *args 和 **kwargs

在Python编程中，函数的灵活性是其强大之处之一。其中，*args 和 **kwargs 是实现函数参数可变性的重要工具。 无论我们是Python初学者还是经验丰富的开发者，充分理解这两个概念都有助于编写更加灵活、高效的代码。 本文将深入探讨*args和**kw…
阅读更多...
【JavaScript】数据结构之树

【JavaScript】数据结构之树

什么是树形结构？ 一种分层数据的抽象模型，用来分层级关系的。虚拟dom它所组织的那个数据原理就是树形结构 深度优先搜索（遍历）- 递归 从根出发，尽可能深的搜索树的节点技巧 访问根节点对根节点的children挨个进行深…
阅读更多...
三、（JS）JS中常见的表单事件

三、（JS）JS中常见的表单事件

一、onfocus、onblur事件 这个很容易理解&#xff0c;就不解释啦。 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"&…
阅读更多...
【JS|第27期】网页文件传输：Blob与Base64的对决

【JS|第27期】网页文件传输：Blob与Base64的对决

日期&#xff1a;2024年9月12日 作者&#xff1a;Commas 签名&#xff1a;(ง •_•)ง 积跬步以致千里,积小流以成江海…… 注释&#xff1a;如果您觉得有所帮助&#xff0c;帮忙点个赞&#xff0c;也可以关注我&#xff0c;我们一起成长&#xff1b;如果有不对的地方&#xf…
阅读更多...
【SQL】百题计划：SQL最基本的判断和查询。

【SQL】百题计划：SQL最基本的判断和查询。

[SQL]百题计划 Select product_id from Products where low_fats "Y" and recyclable "Y";
阅读更多...
java重点学习-JVM组成

java重点学习-JVM组成

十二 JVM 12.1 JVM运行原理 Java Virtual Machine Java程序的运行环境(java二进制字节码的运行环境) 好处: 一次编写&#xff0c;到处运行自动内存管理&#xff0c;垃圾回收机制 12.2 什么是程序计数器? 程序计数器:线程私有的&#xff08;不存在线程安全问题&#xff09;&…
阅读更多...
美团图床设置教程

美团图床设置教程

大厂图床&#xff0c;CDN加速 项目地址&#xff1a;https://github.com/woniu336/mt-img 使用方法 在mt.php填上你的token即可&#xff0c;然后打开index.html上传图片 获取token方法 注册https://czz.meituan.com/发布视频&#xff0c;上传封面&#xff0c;注意在上传封面后…
阅读更多...
java项目之企业级工位管理系统源码(springboot)

java项目之企业级工位管理系统源码(springboot)

项目简介 企业级工位管理系统实现了以下功能&#xff1a; 企业级工位管理系统的主要使用者管理员功能有个人中心&#xff0c;部门信息管理&#xff0c;工位信息管理&#xff0c;使用情况管理&#xff0c;工位分配管理。员工可以查看个人中心&#xff0c;部门信息&#xff0c;…
阅读更多...
linux第二课(docker的安装使用)

linux第二课(docker的安装使用)

目录 一.关于docker (1)背景引入 (2)docker介绍 (3)功能 (4)Docker架构 二.docker的安装及相关的命令 (1)docker的安装 (2)docker的配置 (3)docker镜像命令 (4)容器命令 三.docker安装myaql ​编辑 四.数据卷挂载 1.数据卷挂载引入 2.数据卷挂载图解 3.数据卷的安装…
阅读更多...
通用四期ARM架构银河麒麟桌面操作系统V10【安装、配置FTP服务端】

通用四期ARM架构银河麒麟桌面操作系统V10【安装、配置FTP服务端】

一、操作环境 服务端&#xff1a;银河麒麟桌面操作系统V10SP1 &#xff08;服务端包链接&#xff1a;https://download.csdn.net/download/AirIT/89747026&#xff09; 客户端&#xff1a;银河麒麟桌面操作系统V10SP1 &#xff08;客户端包链接&#xff1a;https://downloa…
阅读更多...
List＜Map＜String, Object＞＞汇总统计排序

List＜Map＜String, Object＞＞汇总统计排序

开发环境&#xff1a;jdk 1.8 需求一&#xff1a; 1、统计每个小时(升序)不同事件的产品产量 2、统计不同事件&#xff08;OK 、NG&#xff09;的总产量 public static void main(String[] args) {//数据源List<Map<String, Object>> list new ArrayList<Map…
阅读更多...
微信小程序开发第三课

微信小程序开发第三课

1 wxml语法 1.1 模版语法 # 1 在页面 xx.js 的 Page() 方法的 data 对象中进行声明定义 # 2 在xx.wxml 中使用 {{}} 包裹&#xff0c;显示数据 # 3 可以显示如下&#xff0c;不能编写js语句或js方法-变量-算数运算-三元运算-逻辑判断# 4 只是单纯通过赋值&#xff0c;js中…
阅读更多...
[Python学习日记-22] Python 中的字符编码（下）

[Python学习日记-22] Python 中的字符编码（下）

[Python学习日记-22] Python 中的字符编码&#xff08;下&#xff09; 简介 编码的战国时代 Unicode 和 UTF 现代计算机系统通用的字符编码工作方式 简介 在[Python学习日记-21] Python 中的字符编码&#xff08;上&#xff09;中我们讲了字符编码中的 ASCII 码和 GB2312/G…
阅读更多...
算法刷题：300. 最长递增子序列、674. 最长连续递增序列、718. 最长重复子数组、1143. 最长公共子序列

算法刷题：300. 最长递增子序列、674. 最长连续递增序列、718. 最长重复子数组、1143. 最长公共子序列

300. 最长递增子序列 1.dp定义&#xff1a;dp[i]表示i之前包括i的以nums[i]结尾的最长递增子序列的长度 2.递推公式&#xff1a;if (nums[i] > nums[j]) dp[i] max(dp[i], dp[j] 1); 注意这里不是要dp[i] 与 dp[j] 1进行比较&#xff0c;而是我们要取dp[j] 1的最大值…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023