智能物联网与MCU智能化

随着人工智能和物联网技术的发展，我们看到智能设备正在加速普及。我们的身边，渐渐地有智能音箱、早教机器人、扫地机器人等新智能设备品类出现，同时在智能工业、智能城市和智能零售等领域，智能化的脚步也在向前进展。我们看到，在这样的发展趋势下，传统的MCU芯片也在发生着深刻的变化，在向智能化的方向发展。

智能物联网与MCU智能化

这一波人工智能的兴起起源于大数据和深度学习。随着互联网的发展，人类社会产生了大量数据，而大数据配合深度神经网络等算法可以训练出一些精度极高的机器学习模型，从而能撬动人脸识别，自动驾驶，语音识别等新应用。基于大数据的人工智能中，终端节点负责采集数据并且交给云端，云端服务器反复迭代训练高精度模型，并最终将这些模型部署到应用中。应当说数据采集和模型训练的任务分别在终端和云端做目前得到了一致认可，但是具体部署的机器学习模型在何处执行在不同的应用中却有所不同。

有些应用（如摄像头内容分析）的模型部署在云端，即终端把原始数据完全回传给云端，云端在该数据上执行深度学习模型的推理，之后把结果发回给终端，终端再根据云端的结果执行相应操作；而在自动驾驶等应用中模型必须部署在终端，即终端收集到数据后在本地执行深度学习模型的推理，并根据结果作出相应动作。在智能工业等需要在终端执行深度学习模型推理的场景，原来用来执行相关动作的MCU就必须能够支持这样的深度学习推理计算，这也就是MCU的智能化。

通常来说，机器学习模型必须部署在终端执行的理由包括传输带宽、反应延迟和安全性等。从传输带宽来考虑，目前物联网中节点分布在各种场景中，如果要把原始数据直接传输到云端，则带宽开销非常大，而且无线传输的能量开销也不小。而如果在终端部署机器学习推理则可以省下带宽的开销，只需要有选择性地把部分重要数据传送到云端，而无需传输全部原始数据。

反应延迟也是把深度学习部署在终端的重要理由。目前数据到云端的来回传送时间通常在数百毫秒级，对于工业机器人等对于延迟有高要求的应用来说无法满足要求。即使在5G低延迟网络下，无线网络的可靠性对于智能工业等要求高可靠性的应用来说也难以满足需求，偶尔的高延迟甚至数据丢包都可能会造成要求即时反应的机器发生问题，因此会倾向于选择将深度学习推理的计算放在本地做。

最后，数据的安全性也是一个考量，对于一些敏感应用来说将数据通过网络传送给云端服务器意味着存在着数据被入侵的风险——如果黑客通过破解智能工厂与云端服务器的数据从而控制整个工厂将会给工厂带来巨大损失——而如果把这些计算放在本地则会安全地多。

根据上述的场景，我们认为需要执行本地机器学习推理计算的MCU主要会运行在如下场景中：

-智能生产，需要快速反应且重视数据的安全性，如根据声音识别机器故障等；

-小型机器人，没有人会希望机器人一旦断网就无法工作，如无人机，扫地机器人等；

-智能家电，如智能空调根据人的位置智能送风等；

-智能可穿戴设备，如根据人体的生理信号给出相应提示等。

随着上述在终端部署执行机器学习推理计算的需求，一些原来只负责执行基本程序的MCU也必须要有能力能跑动机器学习推理计算。这对于MCU的挑战在于算力，因为在这一波人工智能的浪潮中，训练好的模型所需要的计算量通常是数十万次计算到数亿次计算不等，如果需要实时执行这些运算则MCU需要的算力将会比原来的MCU强几个数量级。

另外，智能MCU对功耗和实时性也有很高要求，这就需要MCU设计能有相应改变。目前，MCU正处于8位更新换代到32位的过程中，我们预计在32位MCU的基础上，智能化会成为下一个MCU的演进方向。

智能化技术路径一：整合加速器IP

目前MCU领域，ARM占据了领导者的地位，其IP占据了大量的市场份额。对于智能化MCU的兴起，ARM自然也不会袖手旁观，而是起到了推动者的作用，帮助MCU实现智能化。

ARM的Cortex系列架构占据着32位MCU的主导位置，所以ARM推进智能MCU的方法需要兼顾其Cortex架构，不能为了推智能化MCU结果把自己的命给革了。因此，ARM选择的方法是给Cortex核搭配一个独立的加速器IP，当需要执行机器学习相关算法时调用这个加速器IP去做计算，而当做传统操作时还是使用Cortex。