显卡之间常见的通信方式有以下几种
1.broadcast（广播）：将一张卡上的数据传到其它所有的卡上（下图中的out就是等于in）
2. reduce（归约）：将所有显卡上的数据，相加/取平均/取max等操作之后，将结果放在其中一张卡上（自己指定的显卡）
3. all reduce：效果等价于先reduce再broadcast
4. reduce scatter：与all reduce的区别在于，每张显卡上的结果是所有显卡上的一部分数据reduce的结果，例如out0 = 前1/4的in0 + ... + 前1/4的in3
5. All gather（all 收集）：将每张卡上的数据拼接在一块，然后广播到所有显卡上
