用于端点AI加速的10大处理器收藏

   人工智能和机器学习应用的加速是一个相对较新的领域，各种各样的处理器不断涌现，加速了几乎所有神经网络的处理工作无论是处理器巨头还是行业新贵，都在尽力提供差异化产品——或是针对不同的垂直市场、应用领域或功率预算，或是具有不同的价位，本文列出了目前市场上有代表性的10款AI加速处理器。

应用处理器 英特尔Movidius Myriad X    Myriad X由爱尔兰初创公司Movidius开发，该公司于2016年被英特尔收购Myriad X是Movidius的第三代视觉处理单元，也是首款搭载专用神经网络计算引擎的处理器，可提供1TOPS的运算能力，专门用于深度神经网络（DNN）计算。

神经网络计算引擎与高吞吐量智能存储器件直接连接，避免了数据传输时的任何存储瓶颈Myriad X支持FP16和INT8计算，拥有一个内核群（包含16个专有SHAVE内核），以及升级扩展版的视觉加速器    Myriad X可用于第二代英特尔神经计算棒（NCS2），NCS2实际上是外形跟U盘一样的评估平台。

它可以插入任何工作站，使AI和计算机视觉应用能够快速启动并在专用的Movidius硬件上运行恩智浦半导体i.MX 8M Plus    i.MX 8M Plus是一款异构应用处理器，采用芯原的专用神经网络加速器IP（Vivante VIP8000）。

它为消费者及工业物联网端点设备提供2.3TOPS的推理加速能力，足以完成多个物体的识别、40,000个单词的语音识别，甚至还可以对医学影像进行分类（MobileNet v1每秒对500个影像进行分类）

   图1 恩智浦的i.MX 8M Plus是该公司首款搭载专用神经网络加速器的应用处理器，专为物联网应用而设计    除神经网络处理器以外，i.MX 8M Plus还搭载运行速度为2GHz的4核Arm Cortex-A53子系统，以及Cortex-M7实时子系统。

针对视觉应用，它提供两个图像信号处理器，可以支持两个立体视觉高清相机或一个12MP相机针对语音应用，它提供一个800MHz HiFi4音频数字信号处理器（DSP），可用于语音数据的预处理和后处理XMOS公司xcore.ai

   xcore.ai用于实现人工智能物联网（AIoT）应用中的语音控制。它是一种交叉处理器，兼具应用处理器的性能以及微控制器的低功耗与实时操作特性，用于语音信号的机器学习推理。

   图2 XMOS公司的xcore.ai采用专有架构，专为语音应用中的AI处理而设计    它采用XMOS专有的Xcore架构，包含的逻辑内核可用于I/O、DSP、控制功能或AI加速每颗xcore.ai芯片上有16个这样的内核，设计人员可以根据需要选择为每种功能分配多少个内核。

通过将不同功能映射到固件中的逻辑内核，可以创建一个“虚拟SoC”，这完全是通过软件实现的XMOS还在Xcore中增加了向量管道功能，用于机器学习    xcore.ai支持32位、16位、8位和1位（二进制）网络，可提供3200MIPS、51.2GMACC和1600MFLOPS的运算能力，同时拥有1MB嵌入式SRAM以及一个低功耗DDR扩展接口。

汽车SoC德州仪器TDA4VM    TDA4VM是德州仪器首款搭载专用深度学习加速器的片上系统（SoC），是应用于汽车高级驾驶辅助系统（ADAS）的Jacinto 7系列的一部分该模块采用C7×DSP及内部开发的矩阵乘法加速器（MMA），运算能力高达8TOPS。

   图3 德州仪器的TDA4VM用于复杂的ADAS，使车辆能够感知周围环境    这款SoC可以处理来自一个8MP前置摄像头的视频流，或者处理来自4到6个3MP摄像头加上雷达、LiDAR和超声波传感器的组合数据。

例如，在自动代客泊车系统中，其搭载的MMA可用于对这些输入数据进行传感器融合TDA4VM专为5W至20W的ADAS应用而设计该产品目前处于预生产阶段，但已有可用的开发套件GPU英伟达Jetson Nano。

   英伟达著名的Jetson Nano是一款外形小但功能强大的图形处理单元（GPU）模块，专门针对端点设备中的AI应用该公司表示，与大多数Jetson系列产品（AGX Xavier和TX2）一样，Nano模块上的GPU采用Maxwell架构，有128个内核，运算能力达到0.5TFLOPS，足以处理多个高分辨率图像传感器的数据流并运行多个神经网络，功耗仅为5W。

该模块还搭载了4核Arm Cortex-A57 CPU

   图4 英伟达的Jetson Nano模块搭载具有128个内核的强大GPU，适合边缘AI应用    与英伟达其他产品一样，Jetson Nano也采用了英伟达的神经网络加速库CUDA X价格便宜的Jetson Nano开发套件已经面市。

消费类协处理器Kneron公司KL520    Kneron是台湾旅美科学家在美国成立的一家初创公司，首款产品为KL520神经网络处理器，专用于智能家居、安防系统和移动设备等应用中的图像处理和人脸识别经过优化，它可以运行图像处理中常用的卷积神经网络（CNN）。

   图5 Kneron公司的KL520采用可重配架构和巧妙的压缩技术，在移动设备和消费类设备中完成图像处理    KL520运算能力达到0.3TOPS，功耗仅为0.5W（相当于0.6TOPS/W）该公司称其芯片MAC效率超过90％，能够实现精确的人脸识别。

芯片架构可重新配置，并针对不同的CNN模型量身定制Kneron公司的辅助编译器采用压缩技术，能够在有限的芯片资源内运行更大的模型，从而节省了功耗和成本KL520现已上市，制造商AAEON的加速卡中（M2AI-2280-520）便使用了这款处理器。

Gyrfalcon公司Lightspeeur 5801    Gyrfalcon公司的Lightspeeur 5801是为消费类电子产品市场而设计的，可提供2.8TOPS的运算能力，功耗为224mW（相当于12.6TOPS/W），延迟仅为4ms。

Gyrfalcon采用了比其他架构更节能的“存储器内处理器（processor-in-memory）”技术，并且可以在50MHz和200MHz之间改变钟速度，从而相应地调节功耗Lightspeeur 5801包含10MB存储器，因此整个模型都可装在芯片上。

   Lightspeeur 5801是该公司生产的第四款芯片，已经用在LG的Q70中端智能手机中，用于相机效果的推理5801 Plai Plug U盘开发套件现已上市超低功耗 Eta Compute公司ECM3532。

   ECM3532是Eta Compute公司的第一款产品，在物联网电池供电或能量采集设备中用于AI加速在图像处理和传感器融合等一直处于运行状态的应用中，其功耗可低至100µW该芯片搭载两款内核，Arm Cortex-M3微控制器内核和NXP CoolFlux DSP。

它采用专有的电压和频率调节技术，可以调节每个时钟周期，以充分利用两个内核的每一瓦功率两个内核的任何一个都可以执行机器学习（但一些语音处理由DSP来完成更好）ECM3532样品已经推出，预计第二季度开始量产。

Syntiant公司NDP100    NDP100处理器由美国初创公司Syntiant设计，可对超低功耗应用中的语音命令进行机器学习推理这款芯片采用存储器内处理器技术，仅消耗不到140µW的有功功率，可运行关键词发现、唤醒词检测、说话人识别或事件分类等模型。

   图6 Syntiant公司的NDP100适合超低功耗应用中的语音处理    Syntiant公司称该产品将用于消费类电子设备的语音操作，例如耳塞式耳机、助听器、智能手表和遥控器其开发套件已上市GreenWaves公司GAP9

   GAP9是法国初创公司GreenWaves开发的第一款超低功耗应用处理器，它搭载由9个RISC-V内核组成的强大计算集群，其指令集经过高度定制可以最大程度降低功耗它具有双向多通道音频接口和1.6MB内部RAM。

   在电池供电的物联网设备中，可使用GAP9来完成图像、声音和振动检测等神经网络处理根据GreenWaves数据显示，在GAP9运行MobileNet V1来处理分辨率为160×160的图像时，通道缩放值为0.25，用时仅12ms，功耗低至806μW/帧/秒。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。