在centos8.5上迁移深度学习环境的时候碰到的一下问题(需要运维人员解决的)

news2024/12/22 18:42:40

我负责的是将开发服务器上的深度学习环境进行打包并将该环境迁移到生产服务器上,这些操作可以在其他博客中搜到
本文主要介绍我把环境包上传至生产服务器中的anaconda/envs/路径下,解压之后,运行测试代码时遇到的问题

IT部门是如何处理的?

他们应该是配置yum源为iso镜像,在安装下面这些包的时候直接从iso文件中直接找了

具体的操作可参考:
断网也不怕,Centos配置本地yum源为ISO镜像
Linux yum命令(详解)
虚拟机修改yum源为本地iso光盘文件

文章目录

  • IT部门是如何处理的?
  • 出现这些问题或者说缺下面这些包的原因:
  • 再说一下为什么选择centos8.5:
  • 1、安装GLIBC_2.18:
  • 2、安装libX11:
  • 3、安装gcc:
  • 4、安装libGL:
  • 5、安装bison
  • 6、安装make
    • 6.1 安装make
    • 6.2 升级make
  • 7、安装tar
  • 8、./configure –prefix 命令用法
  • 9、离线python的一些包
  • 10、安装torch_geometric
  • 会用到的linux命令:
  • 在安装anaconda的时候遇到的问题

出现这些问题或者说缺下面这些包的原因:

①IT运维人员在安装系统的时候选择了最小安装,有些包没有安装上,结果我那一个一个离线安装啊,那依赖多如牛毛,下文的5个包的安装是我在离线安装这些包的时候一些解决方法
②还有一个原因项目所需的包所依赖的底层包要求较新,所以需要IT部门安装高版本的操作系统,而公司服务器较老,他们在装的时候也遇到了比较多的困难,装系统的时候也更换了多个系列的版本,如rocky9.2、redhat7.6,ubuntu20.04、22.04,最终选择了centos8.5,这个操作系统选择了最小安装。

再说一下为什么选择centos8.5:

因为该版本对应的glibc版本满足项目需求,在这之前的操作系统上的版本不满足或在老机器上安不上

重点:centos离线环境下我们只安装libx11、gcc、libGL、tar、make,下文只关注这5个包的安装,其他包不是重点!!!

RPM软件管理程序:rpm:https://blog.csdn.net/qq_52089863/article/details/130974900(可查看rpm命令参数)
RPM包管理常用命令:https://blog.csdn.net/u013539566/article/details/126753977
一个安装rpm包的地址:https://pkgs.org/
清华大学软件镜像网站(也可下载rpm包,安装tar、make等程序):https://mirrors.tuna.tsinghua.edu.cn/centos-vault/7.8.2003/os/x86_64/Packages/

linux服务器conda环境打包和移植:https://blog.csdn.net/cxf26026/article/details/134200847
Anaconda创建虚拟环境及离线迁移:https://blog.csdn.net/misterrenwoxing/article/details/128972443

1、安装GLIBC_2.18:

/lib64/libc.so.6: version GLIBC_2.18 not found (required by /lib64/libstdc++.so.6):https://blog.csdn.net/fdbright/article/details/131467605
补充上面:
OSError: /lib64/libc.so.6: version GLIBC_2.18 not found处理记录:https://blog.csdn.net/weixin_42262128/article/details/136515490

2、安装libX11:

安装libX11过程记录:https://blog.csdn.net/liji_digital/article/details/133756815(里面含安装libX11时需要安装的9个依赖所在地址)
交叉编译libX11:https://blog.csdn.net/qq_41340733/article/details/116641262
libX11下载地址:https://www.x.org/releases/individual/lib/

3、安装gcc:

为什么要装gcc?看下图:
在这里插入图片描述
我的报错的图片找不到了,网上找到一个一样的图,上图来自:These critical programs are missing or too old: compiler

linux离线手动安装升级gcc:https://blog.csdn.net/in_177/article/details/131931962
Linux中离线安装gcc:https://blog.csdn.net/a1035082174/article/details/88862806
gcc官网:http://gcc.gnu.org/
gcc镜像站点:https://gcc.gnu.org/mirrors.html
各版本下载地址:ftp://ftp.mirrorservice.org/sites/sourceware.org/pub/gcc/releases/gcc-4.7.2/
glibc官网:ftp://ftp.gnu.org/gnu/glibc/

4、安装libGL:

Linux系统 ImportError: libGL.so.1: cannot open shared object file: No such file or directory:https://blog.csdn.net/luobowangjing/article/details/134541973
libGL.so.1: cannot open shared object file: No such file or directory:https://blog.csdn.net/weixin_31866177/article/details/133986536
linux系统 ImportError: libX11. so. 6: cannot open shared object file: No such file or directory等问题:https://blog.csdn.net/EstrangedZ/article/details/134574055

5、安装bison

在这里插入图片描述
我的报错的图片找不到了,网上找到一个一样的图,上图来自:linux系统安装bison,解决 These critical programs are missing or too old: bison compiler

6、安装make

6.1 安装make

rpm: Header V3 RSA/SHA256 Signature, key ID f4a80eb5: NOKEY:https://blog.csdn.net/zlfing/article/details/110004945

6.2 升级make

升级make到4.2
也可以使用离线升级,即先手动下载所需要的安装包,替换下面的第一条命令

wget http://ftp.gnu.org/gnu/make/make-4.2.tar.gz
tar -xzvf make-4.2.tar.gz
cd make-4.2
sudo ./configure
sudo make
sudo make install
sudo rm -rf /usr/bin/make
sudo cp ./make /usr/bin/
make -v

7、安装tar

【centos8 离线安装tar】centos8.0 离线安装tar包:https://blog.csdn.net/u013421629/article/details/137006079(下面命令可行)

rpm -Uvh  tar-1.26-35.el7.x86_64.rpm --nodeps --force

8、./configure –prefix 命令用法

https://blog.csdn.net/tscaxx/article/details/132142745

9、离线python的一些包

如要安装:poetry-core==1.4.0
https://pypi.org/project/poetry-core/1.4.0/#files
下载文件,然后:

pip install poetry-core==1.4.0

其他包也类似,如setuptools,torch-geometric 2.0.4,rdflib 6.3.1,plyfile 1.0.2,pytest-runner 6.0.1,typing-extensions 4.1.1
typing-extensions的安装有两种方法:分python版本是3.7及以下和3.7以上,3.7及以下应该是离线安,3.7以上在线安装,具体请查网站或者在https://pypi.org/search/?q=typing-extensions&o=查一下看看对这个包的解释

10、安装torch_geometric

torch_geometric的官网:https://pytorch-geometric.readthedocs.io/en/stable/install/installation.html(不用于下载包,只是查看这个包的信息,下载包区下面的网址)(没啥用,只能说看看如何在线安装这个包以及每个版本支持什么python版本范围)

安装torch-geometric的话需要安装4个依赖:
torch-scatter
torch-sparse
torch-cluster
torch-spline-conv
这4个依赖的下载地址:https://pytorch-geometric.com/whl/
torch_geometric下载地址:https://pytorch-geometric.com/whl/torch-1.9.0%2Bcpu.html

可以参考:(12月最新)完美兼容安装torch-geometric与torch-scatter torch-sparse torch-cluster、torch-spline-conv的方法及版本对应关系、

ubuntu下的pytorch、geometric快速离线安装
pytorch离线安装,torch-geometric离线安装:https://blog.csdn.net/weixin_43872455/article/details/127806702

上面的两个链接都只是离线安装了4个依赖,而不是离线安装torch_geometric,
windows安装torch_geometric教程:https://blog.csdn.net/zuolixiangfisher/article/details/90598939
anaconda的环境如何离线安装torch-geometric:https://blog.csdn.net/kkxi123456/article/details/117482855

会用到的linux命令:

tar:tar -xzvf 文件名.tar.gz -C 另一个文件名
解压.tar.gz文件的命令:https://www.cnblogs.com/Magiclala/p/17732237.html

在安装anaconda的时候遇到的问题

linux安装anaconda3时出现error,the size of ** should be 6*** bytes
linux安装anaconda3时出现error:the size of ** should be 6*** bytes(只看看最后一句)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1597936.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

servlet的三个重要的类(httpServlet 、httpServletRequst、 httpServletResponse)

一、httpServlet 写一个servlet代码一般都是要继承httpServlet 这个类,然后重写里面的方法 但是它有一个特点,根据之前写的代码,我们发现好像没有写main方法也能正常执行。 原因是:这个代码不是直接运行的,而是放到…

hive使用sqoop与oracle传输数据

下载地址 http://archive.apache.org/dist/sqoop 两个版本sqoop1(1.4.x)和sqoop2(1.99.x),两种不同的架构。 本文使用sqoop1。 sqoop是apache旗下一款“hadoop与关系数据库之间传送数据”的工具。 导入数据&#xf…

比特币减半:挑战与机遇

比特币减半是加密货币领域中一件备受关注的大事,它不仅影响着比特币本身的发展,也深刻影响着整个加密货币市场的走势。在这个历史性时刻,我们有必要深入分析比特币减半带来的挑战与机遇,以及未来的加密货币发展趋势。 挑战&#x…

如何配置STM32的UART/USART接口?

配置STM32的UART/USART接口是实现串行通信的基础。以下是详细的配置步骤和示例代码。 1. 选择时钟源 首先,需要确保USART接口的时钟已经使能。通常,这在初始化代码中完成,或者通过STM32CubeMX工具进行配置。 // 假设USART2位于APB1总线上 …

告别Elementor Pro,无需下载,全新中文版的国产替代方案来袭

如果你正在考虑创建自己的网站,那么在第一次谷歌搜索时,你可能已经看到了WordPress、Elementor和网站构建器这些专业名称。WordPress是最受欢迎的网站平台之一,这不难理解:它高度可定制,易于学习,而且是免费…

市场复盘总结 20240415

仅用于记录当天的市场情况,用于统计交易策略的适用情况,以便程序回测 短线核心:不参与任何级别的调整,采用龙空龙模式 一支股票 10%的时候可以操作, 90%的时间适合空仓等待 二进三: 进级率 0% 最常用的…

服务器负载均衡SLB/加密原理

多台服务器提供相同的服务 SLB(server load balancing) 多台服务器对应一个虚拟地址,该地址是防火墙虚拟出来的。 服务器负载均衡功能仅支持IPV4协议 多通道协议仅支持FTP协议

k8s高可用集群部署介绍 -- 理论

部署官网参考文档 负载均衡参考 官网两种部署模式拓扑图和介绍 介绍两种高可用模式 堆叠 拓扑图如下(图片来自k8s官网): 特点:将etcd数据库作为控制平台的一员,由于etcd的共识算法,所以集群最少为3个&…

【面试经典 150 | 数学】阶乘后的零

文章目录 写在前面Tag题目来源题目解读解题思路方法一:数学优化计算 写在最后 写在前面 本专栏专注于分析与讲解【面试经典150】算法,两到三天更新一篇文章,欢迎催更…… 专栏内容以分析题目为主,并附带一些对于本题涉及到的数据结…

Github copilot我用正版登录授权的,来体验一下吧

Github copilot 市面上的那种可以说是破解的,不是代码补全不稳定,就是chat不稳定,反正就是不怎样! 下面是官网正版开通的,欢迎体验15天 体验地址:https://www.bilibili.com/read/cv33696436 这种copilo…

zabbix解析以及安装

目录 zabbix 是什么? zabbix 是什么? ●zabbix 是一个基于 Web 界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。 ●zabbix 能监视各种网络参数,保证服务器系统的安全运营;并提供灵活的通知机制以让系统管理员快…

移动Web学习07-适配单位vw/vh哔哩哔哩移动端vw单位适配案例

1.1、VW相对单位 前面我们已经学习了rem单位 &#xff0c;他是一个相对单位、相对于HTML表格字号大小 VW/VH也是一个相对单位&#xff0c;他是相对于视口的尺寸计算结果 VW&#xff1a;viewport width VH: viewport height <meta name"viewport" content"…

软件设计:UML 模型图总结

1. 相关链接 参考教程&#xff1a; https://sparxsystems.com/resources/tutorials/ https://sparxsystems.com/enterprise_architect_user_guide/15.2/model_domains/whatisuml.html Unified Modeling Language (UML) description, UML diagram examples, tutorials and r…

STM32 MPU配置参数

TXE LEVEL一般只用MPU_TEX_LEVEL0 1 - 1 - 1 -0性能最强&#xff08;TEX - C - B- S&#xff09;. #define MPU_TEX_LEVEL0 ((uint8_t)0x00) #define MPU_TEX_LEVEL1 ((uint8_t)0x01) #define MPU_TEX_LEVEL2 ((uint8_t)0x02) 基于上表进行常用配置 &#xff…

Ue不消耗輸入

1、介紹 我們都知道ue裏面使用輸入時&#xff0c;都是在PlayerController裏面進行獲取&#xff0c; 使用官方的操作映射&#xff0c;軸映射&#xff0c;以及目前最新的增强型輸入 但是我們發現了一個問題 那就是輸入會被消耗 就是儅我鼠標按在一個按鈕上時 你另一個地方接受…

Vitis HLS 学习笔记--ap_int.h / ap_fixed.h(2)-深度探究

目录 1. 前文回顾 1.1 简单背后的复杂 1.2 复杂性的来源 2. 关键代码 2.1 功能概述 2.2 关系梳理 2.3 理解构造函数二 2.4 理解HLS_CONSTEXPR 2.5 理解const volatile 3. 探究ap_int<8> c&#xff1b;经历了什么 4. 在调试中查看 1. 前文回顾 在《Vitis HLS…

数据安全之路:Databend 用户与角色管理应用

Databend 目前支持基于角色的访问控制 (RBAC) 和 自主访问控制 (DAC) 模型&#xff0c;用于访问控制功能。 通过本指南&#xff0c;我们会了解权限和角色在 Databend 中的基本概念&#xff0c;以及如何管理角色、继承角色与建立层级、设置默认角色以及所有权的重要性。这些功能…

病毒繁殖-第12届蓝桥杯选拔赛Python真题精选

[导读]&#xff1a;超平老师的Scratch蓝桥杯真题解读系列在推出之后&#xff0c;受到了广大老师和家长的好评&#xff0c;非常感谢各位的认可和厚爱。作为回馈&#xff0c;超平老师计划推出《Python蓝桥杯真题解析100讲》&#xff0c;这是解读系列的第52讲。 病毒繁殖&#xf…

气象观测站点数据下载与处理

一、下载途径 全国400多个气象站气候数据&#xff08;1942-2022&#xff09; 王晓磊&#xff1a;中国空气质量/气象历史数据 | 北京市空气质量历史数据 气象数据免费下载网站整理 中国气象站观测的气象数据怎么下载 二、R语言处理 2.1 提取站点文件 library(dplyr) library(…

4、XTuner 微调个人小助手(笔记)

视频地址&#xff1a; https://b23.tv/QUhT6ni 课程文档&#xff1a;https://github.com/InternLM/Tutorial/blob/camp2/xtuner/readme.md 作业文档&#xff1a;https://github.com/InternLM/Tutorial/blob/camp2/xtuner/homework.md 1、Finetune 简介 两种Finetune范式 …