AI:机械手石头剪刀布

基于Enclustra瑞苏盈科XCZU15EG核心板及PE1底板（视频）

       人工智能（AI）正在占据越来越多的应用和生活场景，例如图像检测和分类，翻译和推荐系统等等。基于机器学习技术的应用数量庞大且还在不断增长。采用Enclustra（瑞苏盈科）结合FPGA和ARM处理器的核心板模块，在离线和边缘使用AI前所未有的容易。

为了展示“基于FPGA的AI，机器视觉，运动控制”，Enclustra打造了机械手和人互动玩石头剪刀布的demo。

FPGA低延时、低功耗的特性在这个demo中体现出了优势。搭载Synthara IP核的神经网络运行在基于Xilinx Zynq UltraScale+的Enclustra水星Mercury+ XU7-15EG 核心板模块（SoM based on XCZU15EG）和水星Mercury+ PE1底板，分析摄像头采集的流媒体数据。手势是被实时检测的，每张图片的推理只需要8~9 ms，灵敏度超过100 fps。常见的摄像头为30或者60 fps，所以瓶颈在于摄像头的帧率。机械手伺服电机根据游戏规则做出反应。

值得一提的是这个demo实现了在单个设备中处理各种传感器和信号：图像处理、神经网络推理、机械手都在一个FPGA中被控制。

玩家手势的图片被分为5类：石头，剪刀，布，非法手势，无手势。为了让神经网络能对图片进行精准的分类，Enclustra从几位玩家录制的视频中采集了多样化的图片：不同的玩家，男/女玩家，不同饰品（手表，腕带，长袖…），不同亮度，左/右手玩家，不同的移动速度，不同的距离，等等。在神经网络学习了近一万张图片后，具备了快速打败新玩家的能力。