在深度学习领域，GPU 和 NPU 是常用的硬件加速器，它们凭借强大的并行计算能力显著提升了深度神经网络（DNN）的训练和推理速度。然而，并不是所有模型在 GPU 和 NPU 上都能得到理想的性能提升。对于一些计算密集度较低的任务或模型，CPU 的表现可能比 GPU 和 NPU 更好。本文将讨论在这种情况下，如何优化低计算密集度神经网络在 GPU 和 NPU 上的性能。

1. 理解计算密集度对硬件的影响

• GPU 和 NPU 的设计特点：

GPU 和 NPU 的硬件架构擅长处理高度并行的浮点运算，因此适合用于计算密集型的神经网络，如卷积神经网络（CNN）。
当计算密集度较低时，GPU 和 NPU 的硬件资源难以被充分利用，反而会出现线程空闲、内存带宽受限等问题，导致性能下降。

• CPU 的优势：

CPU 更加擅长串行计算和复杂的分支逻辑，在低计算密集度的任务中，CPU 可以凭借较高的单线程性能和低开销的任务调度胜出。

2. 低计算密集度任务的典型表现与挑战

• 多分支网络结构：分支过多的网络结构导致并行计算资源难以充分利用。
• 计算量小、传输开销大：数据在 CPU 和 GPU/NPU 之间频繁传输，传输开销可能远大于计算开销。
• 内存带宽成为瓶颈：GPU 的大部分资源可能闲置在等待内存读取操作，难以提升整体计算效率。

3. 优化策略

针对以上问题，可以通过以下策略来提升低计算密集度任务在 GPU 和 NPU 上的性能：

• 合并计算操作：

将多个小型计算操作融合为一个核函数（kernel）来执行，减少 GPU 的上下文切换和调度开销。
例如，将多层的全连接层操作合并为一次矩阵乘法操作。

• 减少数据传输开销：

优化 CPU 与 GPU/NPU 之间的数据传输，尽量减少不必要的数据搬移。
使用统一内存（Unified Memory）或共享内存（Shared Memory）来降低数据传输的延迟。

• 优化网络结构设计：

减少分支网络和复杂控制流的使用，尽量使用更规则、具有高度并行性的网络结构。
通过神经架构搜索（NAS）等方法找到更适合 GPU/NPU 的网络设计。

• 使用硬件友好的数据类型：

在 GPU 和 NPU 上，优先使用低精度的数据类型（如 FP16、INT8），以充分利用硬件的低精度加速单元。

• 提升并行度与数据重用率：

通过提升数据的重用率（如共享权重）和减少无效计算（如零填充）来提升并行计算效率。

4. 实战案例：如何在RK3588上优化低计算密集度任务

在 RK3588 芯片的 NPU 上运行某些轻量级神经网络时，可以发现数据传输和任务调度开销远大于计算开销。

• 优化建议：

使用 RKNN 提供的 API 进行内存分配优化，减少 NPU 与 CPU 之间的数据传输。
将 NPU 上的一些简单任务移至 CPU 处理，如数据预处理和部分激活函数运算。