AI走入应用场景：底层算力如何建构？

表1：各种处理器的大致性能范围

诚然，计算能力固然重要，但一些应用对实时性能的要求也很高。如在汽车应用中，当一辆汽车以 70 英里/小时的速度冲向行人，需要迅速决定是否要刹车。多摄像头配置、高分辨率、最低延迟，这些因素都对计算效率提出了更高要求，以帮助汽车做出生死攸关的决定。因此，我们需要更谨慎地选择用于处理AI推理的处理器。

GPU在AI计算中也可以提供高性能，但由于其功耗和面积成本很高，对于实时应用来说难以接受，所以并未在上表中列出。事实上，上表中所列的每种处理器都需要不同级别的功率和面积才能达到所需的运算能力。对于实时应用来说，功耗和面积（与成本和可制造性直接相关）几乎与性能同样重要。理论上来说，NPU经过设计和优化，是执行神经网络算法时性能、功耗和面积效率最高的处理器。

但是，并非每个AI应用都需要NPU提供的最高级别的神经网络性能。如下图1所示，不同的AI应用涵盖从几GOPS到数千TOPS的各种性能要求。当你的AI应用所需算力小于1 TOPS时，具有DSP扩展的CPU或者矢量DSP是比较理想的选择；而当算力要求高于1 TOPS时，NPU的 AI 性能效率、功耗效率和面积效率毋庸置疑。

图1：AI 应用有各种各样的性能要求

NPU 的最佳效率来自每个周期可以完成的大量乘积，以及一些专用于其他神经网络运算（例如激活函数）的硬件。NPU 面临的挑战是如何实现最大硬件加速，从而最大限度地提高神经网络效率，还要保持一定程度的可编程性。虽然现在全硬件神经网络ASIC比可编程 NPU更高效，但AI技术发展迅速，AI SoC的生产周期很长，因此保持一定程度的可编程性至关重要。

而且，NPU是专用的神经处理器引擎，只能执行AI计算。如果将矢量DSP和NPU结合使用，利用矢量DSP对NPU进行支持，就可以提供最高性能和额外的可编程性。例如，在自动驾驶汽车中，需要利用NPU来寻找行人、识别街道标志、使用神经网络进行雷达处理，在这些多应用处理中，系统可利用矢量DSP来为NPU进行额外筛选、雷达或LiDAR处理以及预处理和后处理。

图2：矢量DSP和神经网络性能的不同组合

在第一种配置中（左侧），矢量 DSP本身既可用于DSP处理也可用于一部分AI处理，这属于运算能力低于 1 TOPS 的用例，这种配置需要大型DSP+小型AI。这种配置的具体示例是为永磁同步电机 (PMSM) 执行无传感器磁场定向控制 (FOC) 的矢量 DSP。基于 DSP 的电机控制通过 AI 处理实现扩展，AI 处理的作用是执行位置监控，并将相关信息反馈到控制回路。AI 模型的采样率和计算复杂性使其能够与矢量DSP的AI功能相适应。

在第二种配置中（中间），AI SoC 需要很高的矢量DSP性能和AI 性能，这种配置是大型 AI+大型 DSP。当矢量DSP处理高度依赖DSP的任务时，需要用NPU为AI密集型任务提供的神经网络加速作为补充。数码相机就是这种配置，矢量 DSP 可以对 NPU 执行视觉处理以及预处理和后处理支持，而 NPU 则专用于对高分辨率图像进行 CNN 或转换器处理（对象检测、语义分割、超分辨率等）。这些用例需要紧密集成的矢量 DSP 和 NPU 解决方案，而且可进行扩展以适应性能目标。

第三个配置是小型 DSP+大型 AI。所有的处理都集中在神经网络上，虽然这些神经网络通常可以在 NPU 中执行，但有一些更复杂的神经网络模型需要矢量 DSP 的支持来执行浮点运算，如Mask-RCNN 的 ROI 池化和 ROI 对齐，或 Deeplab v3 使用的非整数比例因子。即使 AI SoC 不需要任何额外的 DSP 处理，纳入一定程度的矢量 DSP 性能来支持 NPU 还是有好处的，这可以更好地适应未来的发展需求。

图3：新思科技 ARC VPX5 和 ARC NPX6 的紧密耦合型组合

ARC VPX DSP IP在基于超长指令字 (VLIW)/单指令多数据 (SIMD) 架构的并行 DSP 处理方面表现出色，并针对嵌入式工作负载的功耗、性能和面积 (PPA) 要求进行了优化。可将 VPX 系列配置为支持浮点和多种整数格式（包括用于 AI 推理的 INT8 运算）。VPX 系列在 128 位（VPX2、VPX2FS）、256 位（VPX3、VPX3FS）和 512 位（VPX5、VPX5FS）矢量字上运行，因此可提供多种性能，还可以从单核扩展到四核。这样可以每个周期提供 16 个 INT8 MAC 至 512 个 INT8 MAC（在四核 VPX5 上使用双 MAC 配置）。

ARC NPX NPU IP专用于 NN 处理，还针对实时应用的 PPA 要求进行了优化。该系列从每个周期 4096 个 MAC 的版本扩展到每个周期 96000 个 MAC 的版本，然后可以扩展到多个实例。NXP6 系列在单个 SoC 上的 AI 性能可从 1 TOPS 扩展到 1000 TOPS。它还针对 CNN 的最新神经网络模型和新兴的转换器模型类别进行了优化。

如图 3 所示，VPX 和 NPX 系列紧密集成。ARCsync 是额外的 RTL，可在处理器之间提供中断控制。数据通过外部 NOC 或 AXI 总线传递，这类总线通常已在 SoC 系统中存在。虽然两个处理器可以完全独立运行，但 VPX5 能够根据需要访问 NPX6 的 L2 内存。

通用软件开发工具链 ARC MetaWare MX 也支持 VPX5 和 NPX6 的紧密集成，该工具链支持 NXP 和 VPX 的任意组合。SoC 架构师可以使用这些可扩展处理器系列选择 DSP 性能和 AI 性能的正确组合，以最大限度地提高性能并减少面积开销。对于高度依赖 AI 的工作负载，“大型 AI，小型 DSP”配置的经验法则是，每 8000 或 16000 个 MAC 为 NPX 配备一个 VPX5（具体取决于模型和工作负载）。对于 NPX6-64K 配置，建议至少使用四个 VPX5 内核。