需求背景
A,B,C… 多台服务器。
有一个公共的NAS服务器N,存储所有数据资料。
N分别挂载到A,B,C…服务器上,便于所有服务器访问数据。
挂载路径在所有服务器上统一为/nas/
。
现状:
A,B,C,… 上分别安装anaconda,分别创建各自的virtual env。 env_A
, env_B
, env_C
, .etc 。
每次使用各自的 env 来跑同一份 data on N。
目标:
只在N上维护一份虚拟环境 env_main
。
A,B,C 上都使用这个环境。
实现包的版本统一,维护管理统一。
可行性调查
首先很容易想到的是把 ~/anaconda/
目录整个移动到 NAS上。
anaconda官方解释了直接移动整个目录导致无法正常运作。
https://docs.anaconda.com/free/anaconda/configurations/move-directory/
官方建议我们用 环境管理指令(manage environments instructions) 来解决需求。
https://conda.io/projects/conda/en/latest/user-guide/tasks/manage-environments.html
找到一个--prefix
指令看起来可以解决我们的问题。
--prefix
可以在创建、激活的时候,指向那些不在默认~/anaconda/envs/
下的环境。
创建
conda create --prefix=some_dir/myenv python=3.9
激活
conda activate some_dir/myenv
some_dir
支持绝对路径和相对路径。
官网说激活成功后的前缀默认是绝对路径。
命令行会显示类似于这样的东西
(/home/user/some_dir/myenv)$
使用env_prompt
设置,可以变成只显示名字
conda config --set env_prompt ‘({name})’
设置会写入.condarc
文件。
设置好之后
(myenv)$
于是我们很自然地想到。
能不能在NAS上指定一个目录,去安装我们的env_main
。
然后在不同服务器上都用--prefix
激活这个env_main
。
操作
在A服务器上
conda create --prefix /nas/envs/env_main python==3.9
然后在B服务器上激活
conda activate /nas/envs/env_main
成功…!
但奇怪的是,我没有设置过 env_prompt
。
一开始就没出现过绝对路径太长的问题。
这个方法的缺点是,ABC服务器上仍然需要分别安装anaconda。
不过确实可以达到共享env的效果。
下一个问题就是能不能共享整个anaconda?
共享anaconda
主要来自这篇文章启发
@夏小悠: Linux环境下conda虚拟环境的迁移
https://blog.csdn.net/qq_42730750/article/details/125413470
从文章中可以看到,anaconda识别自身的主要方式,是提前在 conda、pip、.bashrc等地方提前写死自身的绝对路径。
结论:
如果能保证在所有服务器上,NAS的挂载路径是完全一致的,
就能做到完全共享anaconda。
因为对于任意一台服务器,anaconda所在的绝对路径都是一样的,例如 /nas/userA/anaconda3/
。
这样,相应的 conda文件里,解释器的绝对路径也是一致的,如/nas/userA/anaconda3/bin/python
。
只需要在不同服务器上的.bashrc
等地方做完全同步的操作,
就可以假装每台服务器都安装过anaconda。