机器视觉的图像处理技术面临的挑战

机器视觉（Machine Vision）是人工智能领域中发展迅速的一个重要分支，目前正处于不断突破、走向成熟的阶段。

一般认为机器视觉“是通过光学装置和非接触传感器自动地接受和处理一个真实场景的图像，通过分析图像获得所需信息或用于控制机器运动的装置”，即可以理解为是通过工业相机等图像传感器采集图像信息，通过分析处理转化的图像信息继而控制后续的自动化设备的流程动作。

可以看出智能图像处理技术在机器视觉中占有举足轻重的位置。

那么机器视觉与图像处理技术之间的关系和联系是什么呢？图像处理技术在机器视觉中有哪些应用呢？

01

图像处理技术的应用

机器视觉的图像处理系统对现场的数字图像信号按照具体的应用要求进行运算和分析，根据获得的处理结果来控制现场设备的动作，其常见应用如下：

（1）图像采集

图像采集就是从工作现场获取场景图像的过程，是机器视觉的第一步，采集工具大多为CCD或CMOS照相机或摄像机。

照相机采集的是单幅的图像，摄像机可以采集连续的现场图像。就一幅图像而言，它实际上是三维场景在二维图像平面上的投影，图像中某一点的彩色（亮度和色度）是场景中对应点彩色的反映。这就是我们可以用采集图像来替代真实场景的根本依据所在。

如果相机是模拟信号输出，需要将模拟图像信号数字化后送给计算机（包括嵌入式系统）处理。现在大部分相机都可直接输出数字图像信号，可以免除模数转换这一步骤。不仅如此，现在相机的数字输出接口也是标准化的，如USB、VGA、1394、HDMI、WiFi、Blue Tooth接口等，可以直接送入计算机进行处理，以免除在图像输出和计算机之间加接一块图像采集卡的麻烦。后续的图像处理工作往往是由计算机或嵌入式系统以软件的方式进行。

（2）图像预处理

对于采集到的数字化的现场图像，由于受到设备和环境因素的影响，往往会受到不同程度的干扰，如噪声、几何形变、彩色失调等，都会妨碍接下来的处理环节。为此，必须对采集图像进行预处理。常见的预处理包括噪声消除、几何校正、直方图均衡等处理。

通常使用时域或频域滤波的方法来去除图像中的噪声；采用几何变换的办法来校正图像的几何失真；采用直方图均衡、同态滤波等方法来减轻图像的彩色偏离。

总之，通过这一系列的图像预处理技术，对采集图像进行“加工”，为体机器视觉应用提供“更好”、“更有用”的图像。

（3）图像分割

图像分割就是按照应用要求，把图像分成各具特征的区域，从中提取出感兴趣目标。在图像中常见的特征有灰度、彩色、纹理、边缘、角点等。例如，对汽车装配流水线图像进行分割，分成背景区域和工件区域，提供给后续处理单元对工件安装部分的处理。

图像分割多年来一直是图像处理中的难题，至今已有种类繁多的分割算法，但是效果往往并不理想。近来，人们利用基于神经网络的深度学习方法进行图像分割，其性能胜过传统算法。

（4）目标识别和分类

在制造或安防等行业，机器视觉都离不开对输入图像的目标进行识别和分类处理，以便在此基础上完成后续的判断和操作。识别和分类技术有很多相同的地方，常常在目标识别完成后，目标的类别也就明确了。近来的图像识别技术正在跨越传统方法，形成以神经网络为主流的智能化图像识别方法，如卷积神经网络（CNN）、回归神经网络（RNN）等一类性能优越的方法。

（5）目标定位和测量

在智能制造中，最常见的工作就是对目标工件进行安装，但是在安装前往往需要先对目标进行定位，安装后还需对目标进行测量。安装和测量都需要保持较高的精度和速度，如毫米级精度（甚至更小），毫秒级速度。

这种高精度、高速度的定位和测量，倚靠通常的机械或人工的方法是难以办到的。在机器视觉中，采用图像处理的办法，对安装现场图像进行处理，按照目标和图像之间的复杂映射关系进行处理，从而快速精准地完成定位和测量任务。

（6）目标检测和跟踪

图像处理中的运动目标检测和跟踪，就是实时检测摄像机捕获的场景图像中是否有运动目标，并预测它下一步的运动方向和趋势，即跟踪。并及时将这些运动数据提交给后续的分析和控制处理，形成相应的控制动作。图像采集一般使用单个摄像机，如果需要也可以使用两个摄像机，模仿人的双目视觉而获得场景的立体信息，这样更加有利于目标检测和跟踪处理。

02

面临的挑战

在机器视觉的图像处理技术的发展中，还存在不少技术瓶颈，如：

某种处理方法往往在研究和开发中表现良好，但在复杂多变的应用环境中，却不时地出现问题。例如人脸识别系统，在目标配合时识别率可高达95%以上，但在实际监控环境下，识别率就会大大下降。

机器视觉系统要求图像识别和测量的准确性接近100%，任何微小的误差都有可能带来不可预测的后果。例如目标定位的误差会使装配出来的设备不符合要求。

视觉检测设备的实时检测效率快，图像采集数据量大，如果图像的采集速度、处理速度较慢，再加上新近引入的深度学习类算法，加大了系统实时处理的难度，跟不上机器运行和控制的节奏，所以提高图像处理速度非常重要。

03

提高图像处理速度的主要方法

目前提高图像处理速度主要有两种方法。

一是改进和优化图像处理算法。该算法应简单、快速，并考虑到实际效果；二是改进和优化实现算法的手段。

那么，机器视觉检测设备可以通过哪些方式来提高检测速度？

1、专用集成电路（ASIC）ASIC是针对于某一固定算法或应用而专门设计的硬件芯片，有很强的实时性。但在实际应用中存在开发周期相对较长、成本高、适应性和灵活性差等缺点。2、现场可编程门阵列（FPGA）FPGA由多个可编程的基本逻辑单元组成的一个2维矩阵，逻辑单元之间以及逻辑单元与I/O单元之间通过可编程连线进行连接。FPGA能在设计上具有很强的灵活性，集成度、工作速度也在不断提高，可实现的功能也越来越强;同时其开发周期短，系统易于维护和扩展，能够大大地提高图像数据的处理速度。3、通用计算机网络并行处理这种处理结构采用“多客户机+服务器”的方式，一个图像传感器对应一台客户机，服务器实现信息的合成，图像处理的大部分工作由软件来完成。该结构虽然比较庞大，但升级维护方便、实时性较好。4、数字信号处理器（DSP）DSP是一种独特的微处理器，是以数字信号来处理大量信息的器件。其工作原理是将接收到的模拟信号转换为“0”或“1”的数字信号，再对数字信号进行修改、删除和强化，并在其他系统芯片中把数字数据解译回模拟数据或实际环境格式，其实时运行速度远远超过通用微处理器。但是，DSP的体系仍是串行指令执行系统，而且只是对某些固定的运算进行硬件优化，故不能满足众多的算法要求。

实时图像处理系统中，底层的信号数据量大，对处理速度的要求高，但运算结构相对比较简单，适合采用FPGA以硬件方式来实现;高层处理算法的特点是处理的数据量相对较少，但算法和控制结构复杂，可使用DSP来实现。所以，可以把二者的优点结合在一起以兼顾实时性和灵活性。