混合并行训练框架性能对比

1. 框架类型

• DeepSpeed、Megatron - LM、Colossal - AI、SageMaker、Merak、FasterMoE、Tutel、Whale、Alpa、DAPPLE、Mesh - TensorFlow
  

2. 可用并行性（Available parallelisms）

• DNN framework（深度神经网络框架）
• DP（数据并行，Data Parallelism）
• PP（流水线并行，Pipeline Parallelism）</