0、NVIDIA CUDA-X AI
NVIDIA CUDA-X AI是一套完整的深度学习软件
官网：https://developer.nvidia.com/deep-learning-software
https://github.com/NVIDIA：NVIDIA产品、演示、示例、入门教程
1、深度学习训练
Deep Learning Training
1.1、DALI
数据加载库 (DALI)是一个 GPU 加速的数据增强和图像加载库，用于优化深度学习框架的数据管道。
1. 2、cuDNN
CUDA 深度神经网络 (cuDNN)是一个高性能库，具有用于深度神经网络应用程序的构建块，包括用于卷积、激活函数和张量转换的深度学习原语。
1. 3、NCCL
NVIDIA Collective Communications Library (NCCL)通过例程加速多 GPU 通信，例如 all-gather、reduce 和 broadcast，最多可扩展到八个 GPU。
1. 4、NeMo
NVIDIA Neural Modules (NeMo)是一个开源工具包，用于为 AI 加速语音和语言应用程序构建最先进的神经网络。
1. 5、TAO Toolkit
T
