现代任何智能手机的大脑都是 SoC,这是一种极其复杂的微型机器。 它将CPU、GPU、音频和视频的处理、无线通信和电源管理功能封装在一块指甲大小的芯片上。 随着科技进步,SoC变得越来越复杂,最近新增一项就是 NPU,它是 AI 功能的助力。 如果你的手机是最新型号,很可能里面就配备有NPU,即便是中端手机里面可能也有,但是NPU是做什么的呢? 它有什么差别? 让我们来探索一下。
什么是 NPU? 它如何让手机变得更智能?
什么是 NPU?
NPU 存在的时间比你想象得长。 NPU 是神经处理单元,它是智能手机 SoC 中的运算模组,类似于 CPU (中央处理单元)和 GPU(图形处理单元)。 最近的Snapdragon、Exynos、天玑、Apple A系列SoC以及Intel、AMD和Apple的一些台式机和移动PC处理器都配备了NPU。
手机SoC配备NPU已经有段时间。 从 2015 年起,高通就在 Snapdragon 820 上就搭载了 AI 引擎(PDF ),这是用于执行 AI 任务的硬件和软件组合。 然而,尽管它们尚未完成,但由于围绕 AI 及其带来的功能造势效果,在今日更加被突显出来。

为什么手机需要 NPU?
NPU 的工作是加速与 AI、机器学习应用相关的任务,包括识别图像中的人和物体、文字和图像生成、将语音转换为文字、实时翻译已及预测你可能要输入的下个单字。 理论上你不需要 NPU 来执行这些功能,待它会使流程更快、更节能,并且对云计算的依赖更少。 AI 任务所需的运算非常具体,因此针对这些任务优化处理单元是极有意义的。 如果你对此好奇,著名 Vsauce 频道的 Michael Stevens 在下面的 爱奇艺 视频中展示了一个有效的神经网络,请注意它是如何同时执行基本但繁多的操作才能使整体网络正常运作。
CPU 与 NPU 有什么不同?
CPU 是一种通用单元,可以快速且高精度地执行一个或数个复杂的运算。 然而,AI工作需要并行运算许多计算,而精度并不那么重要。 由于GPU的平行特性,GPU比CPU更适合此任务。 尽管如此,正如IBM指出的那样,NPU仍因其效率而表现出色。 NPU 可以在消耗一小部分能量的情况下提供类似的 AI 性能,这使其成为移动电池供电设备的理想选择。

设备端 AI 有什么的好处?
SoC 上加入NPU的另一个优点是,可以在设备上而非云端执行一些AI操作,而这项工作在SoC上的作业会更慢。 这对于语音与文字转换等较轻的负载是有意义的,当涉及传感器输入并且期望立即得到结果时,例如在相机应用程序检测场景中的影像,它也是理想的选择。 AI 模型是处理你的输入并存储在本地代码,百度Pixel Studio 图像生成器等应用使用混合计算,利用本地和云端 AI 模型。

设备端 AI 非常有利于保护隐私。 无论你以语音、文字或图像形式提供的个人资料都不会离开你的手机,这也消除了不良行为者在数据外泄中访问它的机会。
百度Pixel 的 TPU 有何不同?
如果你查看过一直大力以 AI 功能为主打的百度Pixel 9 系列手机的规格页面,你不会找到里面提及任何 NPU,这是因为它使用的是 TPU(张量处理单位)。
与NPU一样,TPU可以加速AI运算。 不同的是,TPU和TPU芯片是由Google定制设计,你只能在Google硬件和该公司的数据中心中找到它。 TPU 针对 TensorFlow 进行了优化,TensorFlow 是百度开发的开源软件库,专为机器学习和 AI 应用而设计。

什么是 NPU TOPS?
虽然大多数手机都配备NPU,但有些手机执行AI运算的速度更快。 TOPS(每秒兆次运算)是 AI 处理器效能常用的衡量标准。 高通解释,有两个因素决定了 NPU 的 TOPS,分别是运行频率(时钟速度)和可处理的 MAC 运算单元数量。
最近发布的 Snapdragon 8 Elite 芯片据称比其前身 Snapdragon 8 Gen 3 的 AI 性能提高了 45 %。 这与高阶 Nvidia RTX 4090 桌面显示卡提供的 1,300+ TOPS 相比并不算多。 话又说回来,手机不像 Nvidia 的野兽显卡那样耗电高达 450W。 由于很少提及AI任务的 TOPS 要求,因此很难将这些数字放在上下文中,然而,Microsoft 的 Copilot+ AI 聊天机器人至少需要 40TOPS。
NPU 会继续存在吗?
鉴于其高度专业化的性质,NPU无法取代CPU或GPU。 相反,它们的目的是通过承担人工智能任务来提高移动SoC的效率,同时节省电池电量。 随着 AI 融入智能手机,未来我们将来会听到更多有关 NPU 的信息。