JupyterHub实战应用

news2025/1/23 6:17:40

一、JupyerHub

jupyter notebook 是一个非常有用的工具,我们可以在浏览器中任意编辑调试我们的python代码,并且支持markdown 语法,可以说是科研利器。但是这种情况适合个人使用,也就是jupyter notebook以我们自己的主机作为服务器,然后我们用自己的浏览器编辑自己本机的python代码。

最近公司搭建了业务模型的服务器,每个人都有一个用户可以使用GPU资源,但是每次写代码要在本地调试好了然后再ssh提交到服务器运行,如果有问题,还要再在本地更改然后再次提交,非常的麻烦。为了解决这个烦恼,我们在GPU服务器上搭建了jupyterhub, 它和notebook不同之处在于它是一个hub,哈哈,也就是notebook的服务器,把它装在服务器上,然后大家可以通过局域网在浏览器上进行python代码的编辑和调试。

jupyterhub 和 jupyter notebook一样是python的一个包,可以通过pip安装,也可以通过 conda安装,在服务器端安装就可以供大家使用。

二、环境

确保你的服务器环境满足以下要求:

  • 一台运行支持的操作系统(如 Ubuntu、CentOS 等)的服务器
  • 安装了 Python 和 pip
  • 足够的系统资源(CPU、内存、磁盘空间)

1、Python环境

安装 Miniconda 是管理 Python 环境以及安装 Python 包的一个方便工具。
以下是在 CentOS 上安装 Miniconda 的步骤:

  1. 下载 Miniconda 安装包:

在终端中执行以下命令,下载适用于 CentOS 的 Miniconda 安装包(64 位):

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

或

curl -O https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
  1. 运行安装脚本:

运行下载的脚本来安装 Miniconda。首先,给脚本执行权限:

chmod +x Miniconda3-latest-Linux-x86_64.sh

然后运行安装脚本:

./Miniconda3-latest-Linux-x86_64.sh

按照提示,阅读许可协议并同意。

  1. 配置 Miniconda:

安装过程中会提示你是否将 Miniconda 添加到 shell 的 PATH 中。选择 “yes”,这将允许你在终端中直接使用 conda 命令。

  1. 重启终端:

安装完成后,为了使配置生效,关闭当前终端窗口,然后重新打开一个新的终端。

5.测试安装:

在新的终端中,运行以下命令来验证 conda 是否已成功安装:

root@bt:/home/fengkong# conda --version
conda 23.5.0

  1. 安装插件补全
conda install -c conda-forge conda-bash-completion

备注:

3、配置环境变量:.bashrc
如果选择了init会自己配置
export PATH=~/miniconda3/bin:$PATH
3.5、卸载miniconda
找到miniconda3的文件夹,使用rm命令将它删除:
然后,用vim命令进入.bashrc文件,将conda的语句用#注释掉
最后,重新激活一下source .bashrc就可以了。

2、Jupyter Lab

安装 JupyterLab 非常简单,只需一行命令即可:

conda 安装 [Miniconda]
conda install -c conda-forge jupyterlab
or
pip 安装 pip install jupyterlab

  1. 注册环境
conda create -n python3_7 python=3.7 ipykernel
or 创建后 conda install ipykernel
  1. 环境添加到ipykernel
    (添加的是当前环境 需要先activate到需要环境)
python -m ipykernel install --user --name python3_7 --display-name "python3_7"
  1. 查看,删除注册到内核的环境
jupyter kernelspec list 查看
jupyter kernelspec remove python3_7 删除
conda remove -n py36 --all 删环境
  1. 配置文件
jupyter lab --generate-config 生成配置
c.ServerApp.ip = '*' 所有人访问
c.LabApp.open_browser = False 不再默认打开浏览器
jupyter lab password 修改密码
conda config --set auto_activate_base false 禁止自启环境



打开这个`jupyterhub_config.py`
c.Spawner.default_url = '/lab'
c.JupyterHub.ip = '0.0.0.0'

  1. 安装插件
conda install nodejs
  1. 装中文
pip install jupyterlab-language-pack-zh-CN
  1. 启动
nohup jupyterhub -f  /opt/jupyterhub/jupyterhub_config.py &

在这里插入图片描述
在这里插入图片描述

3、关联系统的其它认证用户

用Root账户启动,才能关联系统的其它认证用户

平台环境基于jupyterhub+conda构建,默认环境是ubuntu账户下的conda环境,请勿用作开发环境,
请创建并使用自己的linux账户后,再自建环境使用

环境注册命令

环境名称 {python版本}{具体功用(看是否专用项目)}{使用人}
示例:python38_{xx模型}_long

> 注册环境:在创建环境的同时添加ipykernel核心
conda create -n python38_xxx python=3.8 ipykernel 

> 环境添加到ipykernel(操作前必须先激活进入对应环境)
conda activate python38_xxx
python -m ipykernel install --user --name python38_xxx --display-name "python38_xxx"

内核注册异常处理
1、手动执行内核添加命令 如上: python -m ipykernel install --user --name python38_xxx --display-name "python38_xxx"
2、重启面板,File->HubControlPanel->stopMyServer&startMyServer
3、选择内核时可选中always start the preferred kernel,设置为默认内核环境

导入windows环境包

pip list --format=freeze > requirements.txt

进入到需要安装的环境
conda activate python38_xxx  

删除requirements.txt文件多余的包(conda自带或windows特有
类似:conda,clyent,distribute,pip,jupyter,setuptools,wheel .. 安装过程失败或卡住不动的包,建议删除后继再单独安装

pip导入
python -m pip install -r requirements.txt

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/892209.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SpringBoot-lombok

为什么要使用lombok? Lombok是一个通过注解以达到减少代码的Java库,如通过注解的方式减少getter,setter方法,构造方法等。通过注解的形式自动生成构造器、getter/setter、equals、hashcode、toString等方法,并可以自动化生成日志变量,简化java开发、提高…

spring boot 整合mongodb

1、安装依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-mongodb</artifactId></dependency>2、配置数据库连接 spring:data:mongodb:host: localhostport: 27017username: xxxxxxp…

vue:this和that的理解

当我们进入公司的时候会发现一个很常见的情况&#xff0c;就是你的前开发者会常用这么一个变量&#xff1a;that、self… 为什么会用到that、self呢&#xff0c;小编是这么理解的&#xff0c;this指向的是当前的对象&#xff0c;而that、self是临时的变量&#xff0c;为了临时存…

【STM32+ESP8266上云连载①】给ESP8266烧录AT固件

文章目录 一、给NodeMCU烧录固件1.1硬件准备1.2软件准备1.3AT固件下载1.4配置设置1.5开始烧录 二、给ESP8266-01S烧录固件2.1硬件准备2.2AT固件下载2.3连线2.4烧录配置 三、给ESP-12E/F/S单片烧录固件四、指令测试4.1HTTP测试4.2MQTT测试 我在使用ESP8266的时候遇到了一些问题&…

leetcode中常用的 C++函数和 STL容器

C函数和 STL容器 C排序sortC翻转字符串reverseC截取字符串strsub哈希表的使用定义查询哈希表里是否有该key在哈希表里存放键值链式哈希 哈希集合定义一个哈希集合查找一个字符是否在set里面删除和添加 优先队列 最大堆优先队列的大顶堆定义方式插入存储数组对定义插入 双端队列…

收集的一些比较好的git网址

1、民间故事 https://github.com/folkstory/lingqiu/blob/master/%E4%BC%A0%E8%AF%B4%E9%83%A8%E5%88%86/%E4%BA%BA%E7%89%A9%E4%BC%A0%E8%AF%B4/%E2%80%9C%E6%B5%B7%E5%BA%95%E6%8D%9E%E6%9C%88%E2%80%9D%E7%9A%84%E6%AD%A6%E4%B8%BE.md 2、童话故事 https://gutenberg.org/c…

微信支付报非法的密钥大小: Caused by: java.security.InvalidKeyException: Illegal key size

在Linux环境中出现 java.security.InvalidKeyException: Illegal key size 异常通常是由于Java默认的加密限制引起的。Java默认的加密强度限制了加密算法密钥的最大长度 方式一 1. 找到该目录 /usr/java/jdk1.8.0_121/jre/lib/security 2. 替换local_policy.jar 和 US_export_…

kafka安装说明以及在项目中使用

一、window 安装 1.1、下载安装包 下载kafka 地址&#xff0c;其中官方版内置zk&#xff0c; kafka_2.12-3.4.0.tgz其中这个名称的意思是 kafka3.4.0 版本 &#xff0c;所用语言 scala 版本为 2.12 1.2、安装配置 1、解压刚刚下载的配置文件&#xff0c;解压后如下&#x…

Nginx负载均衡下的webshell连接与过滤绕过以及LD_PROLOAD利用

目录 一、Nginx负载均衡下的webshell连接 1.环境搭建以及webshell连接 2.出现的问题 3.解决方案 二、Webshell的过滤绕过 1.异或操作绕过 ​2.取反操作绕过 3.PHP语法绕过 三、LD_PRELOAD的利用 1.初识LD_PRELOAD 2.利用LD_PRELOAD 2.1.制作linux后门 2.2.绕过PHP…

Python“牵手”京东商品评论数据采集方法,京东API申请指南

京东平台API接口是为开发电商类应用程序而设计的一套完整的、跨浏览器、跨平台的接口规范&#xff0c;京东API接口是指通过编程的方式&#xff0c;让开发者能够通过HTTP协议直接访问京东平台的数据&#xff0c;包括商品信息、店铺信息、物流信息等&#xff0c;从而实现京东平台…

Redis消息传递:发布订阅模式详解

目录 1.Redis发布订阅简介 2.发布/订阅使用 2.1 基于频道(Channel)的发布/订阅 2.2 基于模式(pattern)的发布/订阅 3.深入理解Redis的订阅发布机制 3.1 基于频道(Channel)的发布/订阅如何实现的&#xff1f; 3.2 基于模式(Pattern)的发布/订阅如何实现的&#xff1f; 3.3 Sp…

Maven官网下载配置新仓库

1.Maven的下载 Maven的官网地址&#xff1a;Maven – Download Apache Maven 点击Download&#xff0c;查找 Files下的版本并下载如下图&#xff1a; 2.Maven的配置 自己在D盘或者E盘创建一个文件夹&#xff0c;作为本地仓库&#xff0c;存放项目依赖。 将下载好的zip文件进行解…

模型预测笔记(一):数据清洗及可视化、模型搭建、模型训练和预测代码一体化和对应结果展示(可作为baseline)

模型预测 一、导入关键包二、如何载入、分析和保存文件三、修改缺失值3.1 众数3.2 平均值3.3 中位数3.4 0填充 四、修改异常值4.1 删除4.2 替换 五、数据绘图分析5.1 饼状图5.1.1 绘制某一特征的数值情况&#xff08;二分类&#xff09; 5.2 柱状图5.2.1 单特征与目标特征之间的…

seller_info-获得淘宝店铺详情

一、接口参数说明&#xff1a; seller_info-获得淘宝店铺详情&#xff0c;点击更多API调试&#xff0c;请移步注册API账号点击获取测试key和secret 公共参数 请求地址: https://api-gw.onebound.cn/taobao/seller_info 名称类型必须描述keyString是调用key&#xff08;点击获…

JVM——类的生命周期

文章目录 类加载过程加载验证准备解析初始化 卸载 一个类的完整生命周期如下&#xff1a; 类加载过程 Class 文件需要加载到虚拟机中之后才能运行和使用&#xff0c;那么虚拟机是如何加载这些 Class 文件呢&#xff1f; 系统加载 Class 类型的文件主要三步:加载->连接->…

从xxl-job源码看Scheduler定时任务的原始实现

一、背景 因为xxl-job本身是统一的分布式任务调度框架&#xff0c;所以在实现定时任务的时候&#xff0c;就断不能再去依赖别人了。 其次&#xff0c;它尽可能只依赖spring框架&#xff0c;或者说spring boot/cloud。 也就是说&#xff0c;它会尽少地使用spring外的三方框架。…

AutoSAR系列讲解(深入篇)13.3-Mcal Dio配置

目录 一、Dio port配置 二、Dio pin配置 一、Dio port配置 同之前的Port一样,双击进入Dio配置界面后会看到几乎差不多的配置界面。General和Port类似,我们不再赘述,主要讲解Dio的配置 1. 其实Dio并没有什么实质的作用,主要起到了一个重命名的功能。双击DioConfig_0进入下…

小黑子—JavaWeb:第七章 - Vue 与 Element 综合案例

JavaWeb入门7.0 1. VUE1.1 Vue 快速入门1.2 Vue 常用指令1.2.1 v-bind1.2.2 v-model1.2.3 v-on1.2.4 v-if1.2.5 v-show1.2.6 v-for 1.3 Vue 生命周期1.4 Vue案例1.4.1 查询所有1.4.2 新增品牌 2. Element2.1 Element快速入门2.2 Element布局2.3 Element 常用组件2.3.1 表格2.3.…

京东API简介及应用实例

京东API&#xff08;Application Programming Interface&#xff09;&#xff0c;即京东开放平台的接口&#xff0c;是京东提供给开发者的一组规定格式和约定的接口&#xff0c;用于实现与京东电商平台进行数据交互和功能调用。通过使用京东API&#xff0c;开发者可以实现商品查…

Unity的TimeScale的影响范围分析

大家好&#xff0c;我是阿赵。 这期来说一下Unity的TimeScale。 一、前言 Unity提供了Time这个类&#xff0c;来控制时间。其实我自己倒是很少使用这个Time&#xff0c;因为做网络同步的游戏&#xff0c;一般是需要同步服务器时间&#xff0c;所以我比较多是在使用System.Date…