AGV的视觉避障主要导引和导航方式

AGV(Automated Guided Vehicle)简介：

美国供应链管理专业协会对AGV的定义：自动导引小车，是指装备有电磁或光学等自动导引装置，可以在规定的导航路径上行驶，是具有安全保护以及各种移载功能的运输小车。

伴随自动化程度的提高，传统制造业的生产方式发生了深刻的变化，仓储物流的自动化己是大势所趋，生产由单一固定方式向具有较强适应性的柔性生产线过度。为了节约成本、提高经济效益，柔性制造系统和自动化仓储系统等先进的生产方式得到广泛应用，它们是以高智能化系统为决策中心，以机器人、自动化立体仓库、无人搬运车等为主要设备。其中，无人搬运设备以自动导引小车为标志，它将电子计算机科学、图像信号处理、自动控制等先进技术融合,是现代物流系统、柔性生产组织系统的关键设备。

目前AGV的工作环境可分为室内环境和室外环境，更多的系统是工作于室内或以室内为主要工作场所。因为室内具有普遍性，能为各种场合使用的移动机器人研制提供理论和技术支持。室内环境视作结构化环境，光线较稳定且环境复杂程度有限，结构化道路上的标识往往具有明显的特征,比如颜色、宽度、边界等，使得道路识别时可以用较简单的方法进行特征提取，进而恢复道路场景。

AGV应用范围有：制造业、仓储业、邮局、港口、机场、烟草、医药、食品、化工、核材料、感光材料特种行业等领域。

AGV导航方式：

移动机器人的导航问题主要涉及三个问题：“现在在何处?”，“要往何处去?”，“要如何去?”。其中第一个问题是导航系统中的定位问题，确定移动机器人在工作环境中相对于全局坐标的位置及其本身的姿态；第二、三个问题是导航系统的路径规划及跟踪。

研究导航是为了使机器在没有人为干预的情况下有目的地移动，并完成特定任务，因此物流系统的柔性取决于的导引导航方式，在不同应用场合的系统中采用的导引导航方式也是多元化的。

导引与导航是有差别的，导引是根据当前状态数据计算下一周期的运行参数，只需相对位置，与全局坐标无关，导航是指确定自身的位置及航向。AGV的主要导引和导航方式有：

（1）坐标导引AGV

直接坐标导引的原理是：首先把行驶区域用定位块分成若干个标准统一的坐标小区域，然后在行驶时统计经过的小区域的个数，以此来实现导引。常用的有两种形式：光电式和电磁式。前者是通过不同颜色来划分坐标小区域，然后用对颜色敏感的光电器件来计数；后者是用磁块或者金属块来划分坐标，然后使用对金属敏感的电磁感应器件来计数。

这种导引方式的优点是：路径修改简单，导引的可靠性好，不受环境背景的影响。缺点是：安装定位块复杂，导引定位完全由定位块的大小和个数决定，工作量大，精度较低。

（2）电磁导引AGV

电磁导引是使用较多的导引方式之一，埋在地下的导线带有电磁频率，通过一个叫做“地面控制器”的设备打开或关闭导线中的频率，电磁导引靠感应产生的电磁频率引导沿着埋设的路线行驶。该导引方式技术成熟，经济可靠、引线隐蔽、不易污损和被破坏、导引原理简单而且便于通讯、不受声光干扰；但灵活性差、对地面的平整度要求高，路径难以更改扩展。

（3）光学导引AGV

光学导引是根据单一光源传播过程不会改变的原理，在的行驶路径上铺设一条反光率稳定的色带，同时在车上装配能发射和接收光源的光电传感器，通过实时比较发射与检测到的信号来调整车辆的运行方向`。它的优点是导向线铺设费用较低，灵活性较好，但对色带的污染和机械磨损十分敏感，对环境要求过高，导引可靠性较差。

（4）激光红外导航AGV

激光红外导航是在上装备可发射和接收激光红外线的扫描器，导向区域的四周安装数量足够的激光反射板，通过激光扫描器发射激光束，同时采集由反射板反射的激光束，通过三角几何运算确定其当前的位置和航向来实现的导引。该导航方式的优点是定位精确，行驶路径可灵活多变，能够适合多种现场环境；缺点是制造成本高，位置计算复杂，抗光干扰的纠错能力有限。

（5）视觉导航AGV

视觉导航，又称图像识别导引。工作原理为摄像机动态摄取路径信息，通过图像处理技术识别出欲跟踪的路径，引导运行。视觉导航式既能获取大信息量，又具备路径设置和变更简单，还有系统柔性好等特点。此外，惯性导航方式和GPS导航方式多用于军方。

AGV的多种导引/导航方式根据导引信息的来源，可分为外导式和内导式。按导引有无预定路径的形式，主要分为预定路径导引和自由路径导引两大类。

导航标示线检测算法研究：

以车道标示线为道路边缘的视觉检测是AGV路径识别需要实现的基本功能。视觉导航式AGV是利用ccd摄像机采集地面铺设的条带状标示线，采用图像处理和分析的方式来获取导引车周围环境信息，这种方式是AGV识别系统中的核心技术。

涉及内容：坐标系建立，车道模型分析，图像预处理等。下面重点对图像处理方面进行介绍 ：

人们对车用机器视觉研究有一个基本共识：图像在获取、转换和传送中都会产生污染，不可避免的造成图像质量的降低，因此，首先应对视频图像进行预处理，然后进行阈值分割，再对路径进行识别与跟踪。

视觉导航式AGV上车载摄像机获取的原始图像中除了包含可用信息外,由于受到环境限制以及加入的随机干扰，使得冗余信息多，可识别性较差，首先必须对原始图像进行预处理，流程如下：

图像平滑是一种低通滤波技术，可以分别在频率域和空间域进行。

（1）模板操作。

模板操作实现一种邻域运算，即某个像素点的结果不仅和本像素灰度有关，而且和其邻域点的值有关。模板运算在数学中的描述称之为卷积。

（2）中值滤波。

中值滤波是将邻域中的图像像素按灰度级排序，取中间值为输出像素，属于非线性的空域滤波技术，是一种能去除噪声的同时又能保护目标边界不使其变得模糊的滤波方法。其原理是选取一个含有奇数个数像素点的移动窗口,将窗口的中心像素的灰度值用窗口内灰度的中值代替，从而消除孤立的噪声点，其数学表达式如下：

其中，f(x,y),g(x,y)分别为原始图像和处理后图像，φ为二维模板，通常为2*2，3*3区域。

（3）形态学修正。

上述处理后的二值化图像中可能仍有少量零散点，而且黑色部分的边缘不是很清晰，存在毛刺和漏洞。对二值化后的图像进行数学形态学滤波实现局部背景平滑。数学形态学主要运算有形态和膨胀、形态差腐蚀、开运算、闭运算。

腐蚀运算的作用是用来消除图像中小于结构元素的无意义边界点，使目标物体的边界向内部收缩；膨胀运算的作用是用来填补图像中目标物体的空洞点，使物体的边界向外部扩张；腐蚀和膨胀的复合运算即成为开运算和闭运算：开运算是对图像进行先腐蚀后膨胀的处理过程，能够消除图像中的边缘毛刺和孤立斑点；闭运算与开运算过程相反，填补图像中的漏洞以及裂缝。它们能对图像进行简单的平滑处理，并检测出图像中的奇异点。根据二值化的处理结果，我们需要把图像中的漏洞和毛刺去掉，并且保持原图像特征不变，因此可以对图像进行开运算以使黑色边缘清晰便于边缘检测。

（4）导航标示线边缘检测算法

边缘是指图像局部亮度变化显著的部分，是图像内像素灰度不连续，或灰度变化剧烈的点的集合。边缘检测的目的是标识数字图像中亮度变化明显的点，计算机视觉处理方法虽然不明显依赖于边缘检测作为预处理，但边缘检测仍是图像分割所依赖的重要特征，是图像分析的重要基础。常用的边缘检测算子有：

（4.1）梯度算子：sobel算子，prewitt算子。

（4.2）基于图像函数二阶导数过零点的算子：LOG算子，canny算子。

障碍物识别研究：

对于障碍物的识别，方法的选取是取决于周围环境以及对障碍物的定义。障碍物可以定义为在车辆前方行驶道路上具有一定体积的物体，道路上常见的障碍物包括车辆、货物、杂物等。

障碍物识别技术中最关键的是检测、跟踪和定位技术。检测是指确认前方视野路径上是否出现障碍物，跟踪是指对选中的目标进行轨迹描述，定位是指计算出障碍物与自动导引车的实际距离。其中，检测是基础，跟踪是过程，定位是最终目的。

空间目标的跟踪，是通过目标的有效特征构建模板，在图像序列中寻找与目标模板最相似的候选区域位置的过程，也就是确定目标在序列图像中的轨迹。在基于单目视觉的空间障碍物目标跟踪问题的研究上，一般有两种思路：

（1）不依赖于任何先验知识，直接从图像序列中检测出障碍物，然后跟踪其中感兴趣的目标。

（2）依赖于障碍物的先验知识，首先对可能出现的目标建模，然后在图像序列中实时检测出与模型相匹配的目标，然后进行跟踪。

最常用的是第二种思路，因为障碍物存在于某一特定运行环境中，可以用含有有限元的完备集合来表示。对于这种跟踪方法，实现跟踪的第一步是进行目标检测，即从序列图像中将感兴趣区域从背景图像中提取出来。

在目标跟踪过程中，往往需要采用搜索算法预计未来时刻某目标的位置，以缩小搜索范围。根据这个思路一般有两类算法：

（一）预测目标在下一帧图像可能出现的位置，然后在这个相关区域内寻找最优点，常用的预测算法有kalman滤波、扩展的kalman滤波，粒子滤波等。

（二）减小目标搜索范围的算法，通过优化搜索方向，利用某些估计的方法优化求取目标模板和候选目标之间距离的迭代收敛过程，缩小搜索范围，如均值平移算法算法（MeanShift算法）、连续自适应均值平移算法（Camshift）、置信区域算法。

对于空间目标定位算法的研究，主要集中在获取场景中目标上的各点相对于摄像机的距离，这是机器视觉的主要任务之一，也是障碍物识别的最终目的。通过计算目标与摄像机的距离参数，就能得到目标相对于小车的速度，目标物大小等参数，更好的为控制的运行状态提供决策数据。这里我搜集了关于基于视觉移动避障的几种实现思路：

常用的计算机视觉方案有多种， 比如双目视觉，基于TOF的深度相机，基于结构光的深度相机等。深度相机可以同时获得RGB图和深度图，不管是基于TOF还是结构光，在室外强光环境下效果都不太理想，因为它们需要主动发光，容易受到强光的干扰；基于结构光的深度相机，发射出的光会生成相对随机但又固定的斑点图样，这些光斑打在物体上后，因为与摄像头距离不同，被摄像头捕捉到的位置也不相同，之后先计算拍到的图的斑点与标定的标准图案在不同位置的偏移，利用摄像头位置、传感器大小等参数就可以计算出物体与摄像头的距离。对于AGV，双目视觉更加合适：

双目视觉的测距本质上是三角测距法，由于两个摄像头的位置不同，就像人的两只眼睛，看到的物体不一样。两个摄像头看到的同一个点P，在成像的时候会有不同的像素位置，此时通过三角测距就可以测出这个点的距离。双目算法计算的点一般是利用算法抓取到的图像特征，如SIFT或SURF特征等，通过特征计算出来的是稀疏图。

基于双目立体视觉的障碍物检测的关键在于两点①障碍物目标的提取,即识别出障碍物在图像中的位置和大小；②障碍物目标区域图像对之间的立体匹配点，从而得到障碍物目标的深度信息。前一步是后一步的基础，识别出来的目标可以是多个，在立体匹配得到视差之后才可以标志出哪些目标为障碍物目标。

双目体视技术的实现可分为：图像获取、摄像机标定、特征提取、图像匹配和三维重建。上图中的光轴是近似平行的，在平行光轴系统中，双目视觉测距将三维场景中求目标深度的问题转化为求二维投影图像中求视差的问题。因此，像机模型就是将三维场景的点与二维图像上的点建立一一对应的映射关系。

对于具体的技术实现，后面再认真学习一下。

编辑：黄飞