用于仿生视觉传感器内运动感知的光电分级神经元设计

视觉信息在物联网的海量数据中占有很大比例。无处不在的分布式图像传感器需要在电力受限的情况下识别静态图像和动态运动，并以智能方式获取理解，在自动驾驶汽车和监控系统等一系列应用中发挥着至关重要的作用。最先进的机器视觉系统通常由物理上分离的图像传感器和处理单元组成。大多数图像传感器只能输出空间帧，而不能融合时间信息。要实现准确的动作识别，就必须将“空间”和“时间”流信息传输到处理单元并加以融合。因此，用于动作识别的机器视觉系统通常涉及复杂的人工神经网络，例如，具有~ 2 x 8层和~ 10⁶个网络参数的“空间”和“时间”流计算架构。

生物视觉系统能在复杂的环境中有效地感知运动而且能效很高。飞行昆虫（如果蝇）的视觉系统很小（约~ 8 x 10²个膜片和10⁵个神元，却能比人类更快地敏捷识别运动物体。昆虫视觉系统由非尖峰分级神经元（视网膜-视束）组成，其信息传输率（R）远高于人类视觉系统中的尖峰神经元。更重要的是，分级神经元能在感觉终端对时间信息进行有效编码，从而减少了在计算单元中融合时空信息所需的大量视觉数据的传输。这种微小而敏锐的昆虫视觉系统能以有限的计算资源有效感知运动。

昆虫视觉系统的敏捷运动感知

受昆虫视觉系统启发，近期，延世大学Jong-Hyun Ahn教授&香港理工大学柴杨教授等人开发了用于传感器内运动感知的光电分级神经元。MoS₂光晶体管浅捕获中心的电荷动态模拟了分级神经元的特性，信息传输速率达到1200 bit/s，并能有效地编码时间光信息。使用20 x 20光传感器阵列检测视野中的轨迹，从而有效感知移动物体的方向和视觉显著性，并通过四层神经网络达到99.2%的识别准确率。通过调节MoS₂浅捕获中心的电荷动态，传感器阵列能以10 ~ 10⁶毫秒的时间分辨率识别运动。相关研究以“Optoelectronic graded neurons for bioinspired in-sensor motion perception”为题发表在Nature Nanotechnology期刊上。

编码时间视觉的人工分级神经元

光电分级神经元阵列的传感器内运动感知

基于仿生视觉传感器和传统图像传感器的动作识别

综上所述，在这项工作中，研究人员通过实验研究了用于传感器内敏捷运动感知的光电分级神经元。通过模拟昆虫视觉系统的分级神经元，单个仿生视觉传感器可以在时域中有效地响应和编码光刺激。该研究使用二维（2D）原子薄半导体来模拟光电分级神经元阵列，该阵列可在感觉终端编码时空运动信息。传感器内融合的时空运动信息被输入到一个微型四层感知器中，该感知器对移动球轨迹的识别准确率高达99.2%，而传统的图像传感器很难通过如此微型的网络实现这一目标。此外，通过调节人工分级神经元的电荷捕获动态，20 x 20传感器阵列可有效感知不同速度的运动。因此，该仿生视觉传感器能在有限的计算资源下提供传感器内运动感知，从而实现敏锐的动作识别。