版本

Conda

Conda是一个开源的包管理系统和环境管理系统，用于安装多个版本的软件包及其依赖项，并在它们之间轻松切换。它可以在Linux、OS X和Windows上运行，是为Python程序创建的，但可以打包和分发任何软件。

conda enactivate

conda activate database

conda create -n database python=3.6

conda env list  / conda info --env    #查看共有多少个小环境

conda安装与使用: https://zhuanlan.zhihu.com/p/397096022

Tensorflow

检测tensorflow是否能正常运行：

python
import tensorflow as tf
tf.test.gpu_device_name()

无效报错：

CuDNN

CuDNN（CUDA深度神经网络）是由NVIDIA开发的库，提供GPU加速的深度神经网络基元。它旨在为TensorFlow、PyTorch、Caffe、CNTK等深度学习框架提供高性能的构建块。

CuDNN包括各种卷积神经网络（CNN）、循环神经网络（RNN）和其他深度学习模型的算法和优化。它还支持多种精度模式，包括单精度（FP32）、半精度（FP16）和混合精度（FP16/FP32）。

使用CuDNN可以显著加速在NVIDIA GPU上训练和推断深度神经网络。它被广泛应用于工业和学术界的各种深度学习应用，包括计算机视觉、自然语言处理、语音识别等。

---

ubuntu上的cudnn安装及使用报错解决办法： https://blog.csdn.net/qq_35284836/article/details/104630331?spm=1001.2014.3001.5506

Ubuntu20.04安装cuDNN（包括WSL）：https://blog.csdn.net/leiconghe/article/details/128037529?spm=1001.2014.3001.5506

WSL2安装CUDA报错：The public CUDA GPG key does not appear to be installed. https://blog.csdn.net/qq_39910747/article/details/125161926

---

 sudo dpkg -i cudnn-local-repo-ubuntu2004-8.5.0.96_1.0-1_amd64.deb
 sudo cp /var/cudnn-local-repo-ubuntu2004-8.5.0.96/cudnn-local-0579404E-keyring.gpg /usr/share/keyrings/cuda-archive-keyring.gpg
sudo dpkg -i cudnn-local-repo-ubuntu2004-8.5.0.96_1.0-1_amd64.deb
sudo apt-get update
cd /var/cudnn-local-repo-ubuntu2004-8.5.0.96/
sudo dpkg -i libcudnn8_8.5.0.96-1+cuda11.7_amd64.deb
sudo dpkg -i libcudnn8-dev_8.5.0.96-1+cuda11.7_amd64.deb
sudo dpkg -i libcudnn8-samples_8.5.0.96-1+cuda11.7_amd64.deb

(deepmd) chen@LAPTOP-RKMEQUBF:~/workplace$ cp -rv /usr/src/cudnn_samples_v8 .
(deepmd) chen@LAPTOP-RKMEQUBF:~/workplace/cudnn_samples_v8/mnistCUDNN$ make clean
(deepmd) chen@LAPTOP-RKMEQUBF:~/workplace/cudnn_samples_v8/mnistCUDNN$ make -j4
(deepmd) chen@LAPTOP-RKMEQUBF:~/workplace/cudnn_samples_v8/mnistCUDNN$ make -j4
(deepmd) chen@LAPTOP-RKMEQUBF:~/workplace/cudnn_samples_v8/mnistCUDNN$ make -j4
(deepmd) chen@LAPTOP-RKMEQUBF:~/workplace/cudnn_samples_v8/mnistCUDNN$ ./mnistCUDNN

sudo cp /usr/include/cudnn.h /usr/local/cuda-11.6/include/
sudo cp /usr/lib/x86_64-linux-gnu/libcudnn.so /usr/local/cuda-11.6/lib64/
sudo cp /usr/lib/x86_64-linux-gnu/libcudnn.so.8 /usr/local/cuda-11.6/lib64/
sudo cp /usr/lib/x86_64-linux-gnu/libcudnn.so.8.5.0 /usr/local/cuda-11.6/lib64/
cd /usr/local/cuda-11.6/lib64
sudo chmod 777 libcudnn*

Horovod

Horovod是由Uber开源的分布式深度学习框架，旨在加速大规模模型训练。它可以在多个GPU或多个机器之间快速、高效地并行训练。

Horovod支持TensorFlow、PyTorch、MXNet和Keras等多个深度学习框架，并提供了一些高级功能，如弹性训练、动态调整学习率和容错机制等。它还支持多种通信协议，包括TCP、MPI和RDMA等，以适应不同的部署环境和硬件架构。

使用Horovod可以显著提高深度学习模型的训练速度和规模，特别适用于大规模数据和复杂模型的训练。它已经被广泛应用于工业和学术界的各种深度学习任务，如图像分类、目标检测、自然语言处理等。

mpi4py

mpi4py是一个用于Python编程语言的MPI（Message Passing Interface）通信库，它可以让Python程序在多个进程之间进行并行计算。

MPI是一种广泛用于分布式内存并行计算的通信标准，它允许多个进程在不同的计算节点之间进行通信和同步。mpi4py提供了Python语言的MPI接口，使得Python程序员可以方便地使用MPI实现并行计算。

mpi4py支持多种MPI实现，包括OpenMPI、MPICH和Intel MPI等。它提供了一些高级功能，如非阻塞通信、组通信和拓扑通信等，同时也支持NumPy数组和Python对象的通信。

使用mpi4py可以方便地在Python中实现大规模并行计算，特别适用于科学计算、数据分析和机器学习等领域。它已经被广泛应用于学术界和工业界的各种科学计算任务。

MPI：

sudo apt install mpich

Other

vim ~/.bashrc

export PATH="/usr/local/mpich-3.3.2/bin:$PATH"  

source ~/.bashrc 

– which find locate

update-alternatives: using /usr/include/x86_64-linux-gnu/cudnn_v8.h to
provide /usr/include/cudnn.h (libcudnn) in auto mode