华为昇腾系列-jupyter安装torch_npu

news2024/9/25 13:23:45

使用背景

国产算力的兴起,异构算力成为各大厂商的选择,以摆脱对英伟达算力过大的依赖,保障算力安全。本文将会讲解如何使用昇腾算力卡来制作一个镜像,然后交给k8s进行算力调度,显示国产算力的真正应用落地。

安装步骤

首先需要选择一个基础镜像:

dwiwidianto/jupyter-arm  latest  5b66095058d5   23 months ago    1.37GB

这个镜像已经安装pytorch等底层环境。在此基础上安装昇腾的依赖:

启动一个容器:

 docker run -it -d -p 8888:8888 dwiwidianto/jupyter-arm:latest

进入容器:

docker exec -it 350e868489dc  bash

打开jupyter页面,测试环境,发现:

http://{ip}:8888/lab/tree/work/Untitled.ipynb

报错信息:

ImportError: libhccl.so: cannot open shared object file: No such file or directory. Please check that the cann package is installed. Please run 'source set_env.sh' in the CANN installation path.
[ERROR] 2024-09-25-09:29:53 (PID:70, Device:-1, RankID:-1) ERR00008 PTA resource not found

发现无法使用torch_npu,转到容器内安装torch_npu,注意torch_npu要和torch的版本保持一致。

查看当前的torch版本信息:

(torch3811) root@node1:~# pip show torch
Name: torch
Version: 2.3.1
Summary: Tensors and Dynamic neural networks in Python with strong GPU acceleration
Home-page: https://pytorch.org/
Author: PyTorch Team
Author-email: packages@pytorch.org
License: BSD-3
Location: /root/miniconda3/envs/torch3811/lib/python3.8/site-packages
Requires: filelock, fsspec, jinja2, networkx, sympy, typing-extensions
Required-by: accelerate, peft, torch-npu, torchvision, trl

安装对应的torch_npu:

pip install  torch==2.3.1 -i https://mirrors.aliyun.com/pypi/simple/

安装yaml插件:

pip install  pyyaml -i https://mirrors.aliyun.com/pypi/simple/

完成以上安装后,运行还是会报错。

安装昇腾CANN基础环境

注意以下环境有两种安装选择:

1、在宿主机上安装,在容器内进行引用,但这样会依赖于宿主机,对于k8s集群来说,每台机器上都要安装这些环境,好处是juputer-arm镜像体积较小;

2、在jupter容器中安装,这样容器独立,不依赖宿主机环境。

安装华为昇腾torch_npu插件:

安装torch_npu插件-安装PyTorch-安装深度学习框架-在昇腾设备上安装-安装开发环境-软件安装-CANN社区版8.0.RC1.alpha001开发文档-昇腾社区

安装CANN基础开发套件:

安装CANN软件包-安装CANN(物理机场景)-软件安装-CANN商用版8.0.RC2开发文档-昇腾社区

这里选择第一种安装方式,引用宿主机的环境。

在容器中挂在cann的目录,并执行如下命令,使其每次自动生效。

cann在本地宿主机安装好后,挂载路径:

/usr/local/Ascend/ascend-toolkit

echo "source /usr/local/Ascend/ascend-toolkit/set_env.sh"  >>   ~/.bashrc

安装校验

进入容器对安装进行校验:

>>> import torch
>>> import torch_npu
>>> print(torch.__version__)
2.3.1
>>> print(torch_npu.__version__)
2.3.1

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2163642.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

微服务配置管理——动态路由

动态路由 网关的路由配置全部是在项目启动时由org.springframework.cloud.gateway.route.CompositeRouteDefinitionLocator在项目启动的时候加载,并且一经加载就会缓存到内存中的路由表内(一个Map),不会改变。也不会监听路由变更新…

创建游戏暂停菜单

创建用户控件 设置样式 , 加一层 背景模糊 提升UI菜单界面质感 , 按钮用 灰色调 编写菜单逻辑 转到第三人称蓝图 推荐用 Set Input Mode Game And UI , 只用仅UI的话 增强输入响应不了 让游戏暂停的话也可以用 Set Game Paused , 打勾就是暂停 , 不打勾就是继续游戏 , 然后…

0基础如何转行IT

这是一个学习为王的时代,你没有超强的主动学习能力,很容易在千军万马的竞争中落后,甚至被优秀的替代者淘汰。 小白如何转行IT 正所谓业精于专,相较于科班生,非科班转行的在基础方面确实比较薄弱,因此必须…

VMWare虚拟机键盘卡顿

文章目录 环境问题解决办法参考 环境 Windows 11 家庭中文版VMware Workstation 17 ProUbuntu 24.04.1 问题 最近新入手了一台电脑台式机,型号是联想拯救者刃7000K,自带Win11家庭版。主机的CPU是第14代英特尔酷睿i9处理器,异构24核32线程。…

ubuntu 安装minikube,并拉取k8s镜像

虚拟机是vmware17, 系统是ubuntu20.4, minikube是1.23.1, docker是24.0.7, 为什么要装minikube,通常k8s集群是要3台机子以上,而通过minikube,可以在一台机子上搭建出k8s集群,minikube采用的是D…

unraid使用docker安装redis并创建密码

unraid使用docker安装redis并创建密码 一、redis简单介绍 redis基于K-V思路,数据存储在内存中,速度快,高效。 使用时会结合其他数据库如mysql。 二、redis安装 应用市场搜索redis,找下载量最高的一个即可,其中参数只…

5--SpringBoot项目中菜品管理 详解(一)

目录 公共字段自动填充 问题分析 实现思路 代码开发 步骤一 步骤二 功能测试 新增菜品 需求分析和设计 代码开发 文件上传接口 功能测试 公共字段自动填充 问题分析 后台系统的员工管理功能和菜品分类功能的开发,在新增员工或者新增菜品分类时需要设置…

C语言特殊字符串函数和字符函数

特殊字符串函数 strtok(字符串切割函数) 重点:1.delimiters 参数是个字符串,定义了用作分割符的字符集合 2.第一个参数指定一个字符串,里面包含0个或者多个分隔符 3.strtok函数找到str中的分隔符,会把它改成\0,然后…

内衣洗衣机哪个牌子好用?五款业内口碑爆棚产品汇总

内衣裤洗衣机是一种非常实用的洗衣机,可以有效地保护内衣和贴身衣物的质量和卫生,相比于普通的家用大型洗衣机,内衣裤洗衣机在容量、洗涤方式、控制方式和价格等方面有很大的不同之处,如果您经常需要清洗内衣和贴身衣物&#xff0…

无人机蜂群作战会成为未来战争的主要形式吗,该如何反制呢?

无人机蜂群作战在未来战争中确实有可能成为一种重要的作战形式,但是否会成为“主要形式”则取决于多种因素,包括技术发展、战术创新、战略需求以及国际政治和军事格局的变化等。以下是对无人机蜂群作战及其反制措施的详细分析: 一、无人机蜂…

图神经网络(GNN)简单介绍

参考文章:A Gentle Introduction to Graph Neural Networks 仅作为自己学习的笔记 GNN应用领域: 芯片设计 场景分析与问题分析 推荐系统(类似抖音) 欺诈检测,风控相关 知识图谱 道路交通,动态流量预测 自动驾驶&…

程序员的得力助手:Kimi AI的实战体验引言

引言 作为一名程序员,我们经常需要处理大量信息,从代码调试到文档编写,再到团队协作,每一项任务都需要我们保持高度的专注和效率。在这个过程中,一个得力的助手可以极大地提升我们的工作效率。今天,我想和…

洛谷P2571.传送带

洛谷P2571.传送带 三分模板题 用于单峰函数求极值 一定可以将答案路径分成三段即AE - EF - FD (E和A可能重复,F和D可能重合) E在线段AB上,F在线段CD上 因为有两个不定点EF,因此假设E为参数,三分求F的位置再外层三分求E的位置 …

PMP--三模--解题--1-10

文章目录 9.资源管理1、 [单选] 项目已经准备好开工,资源已经配置好。开发经理随后通知项目经理,由于家庭紧急情况,关键资源不再可用。开发经理表示,所有其他开发人员都被分配到其他项目,任何开发人员都没有能力承担额…

Windows内核编程基础(1)

在前面的文章中,介绍了如何配置开发环境以及如何进行调试。 接下来的几篇文章,将会重点介绍内核编程中所需要了解的一些理论基础。 我写这个系列文章的主要目的是方便以后自己查阅,同时也给正在学习内核开发的小伙伴一些参考,所…

在线PDF转图片怎么转?4种简单转换的方法分享

在线PDF转图片怎么转?在线PDF转图片不仅简化了文档处理流程,还极大地提升了工作效率。无论是教师准备教学材料、学生整理笔记,还是职场人士分享报告,都能通过这一功能轻松实现PDF到图片的转换,确保内容的高清展示与便捷…

OLED(3)字库篇

文章目录 1 显示图片1.1 图片取模 2 字符集与编码2.1 字符编码2.2 ASCII2.3 中文编码2.3.1 GB2312 标准2.3.2 GBK 编码2.3.3 GB18030 2.4 Unicode 字符集和编码2.4.1 UTF-322.4.2 UTF-162.4.3 UTF-8 3 字库 DIY3.1 生成字库3.2 烧录到 W25Qxx 1 显示图片 1.1 图片取模 1&#…

【完整梳理验证】企业微信第三方应用接入全流程java版

企业微信第三方应用接入全流程java版 1. 概念与流程1.1 概念1、企业内部应用2、`第三方应用`3、代开发自建应用1.2 流程1.2.1 全局流程1.2.2 应用配置1.2.3 数据流程2. 核心文档2.1 理解第三方应用开发流程和概念2.1.1 应用开发阶段2.1.2 应用推广阶段2.1.3 基本流程1)前期应用…

【VUE_ruoyi-vue】基于ruoyi-vue框架实现简单的系统通用文件模块

基于ruoyi-vue框架,新增一个简单的系统通用文件模块,服务与各个模块涉及到文件上传信息的记录和相关展示 运行sql,创建数据库表 DROP TABLE IF EXISTS sys_file_info; CREATE TABLE sys_file_info (id int(11) NOT NULL AUTO_INCREMENT COMMENT id,lin…

怎样才能远程了解在iPhone、iPad上看了什么网站、用了什么APP?

有不少家长在网上吐槽: ——自家小孩每天抱着手机看,一看就两三个小时,到底在看什么? ——没有不允许小孩玩手机,但他一玩就一整天,用什么户外活动、家庭活动都吸引不回来。 ——每次问小孩在手机上看什…