机器视觉在智能制造中主要应用

前言

机器视觉技术是通过机器视觉产品，即图像摄取装置将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号，图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。

作为工业之眼的机器视觉技术是智能制造时代和工业 4.0 时代实现工业自动化、智能化和互联化的必要技术手段之一，近年来在汽车制造行业机器视觉技术在自动缺陷检测、智能识别、智能测量、智能检测和智能互联方面飞速发展和迭代更新，机器视觉技术是是人眼在机器上的延伸，是利用机器代替人眼来做测量和判断的一项综合技术，它易于信息集成，是实现计算机集成制造的基础技术。

机器视觉技术的作用是可以提高质量检测的可靠性，提高生产效率、生产柔性和生产的自动化程度，在危险的工作环境中它可以替代人工视觉进行目视检查，从而满足制造过程中人机工程的需求。机器视觉技术的主要功能主要集中在以下 8 个方面。

a.生产过程自动检测，提高生产效率；

b.质量提升和质量保证；

c.改进生产流程，改善人机工程；

d.零件的精确测量；

e.柔性化和集成化生产；

f.生产过程监控；

g.降低生产成本；

h.缩短产品进入市场的周期时间。

2 机器视觉技术在智能制造中的应用和分类

机器视觉技术是人工智能落地到汽车制造领域中不可或缺的一环，随着科技日新月异的发展，机器视觉技术在智能制造和工业 4.0 时代在汽车制造行业中应用的比重将会越来越大。

2.1 机器视觉在智能制造中主要应用

目前机器视觉技术主要在电子及半导体、汽车制造、医药制造等领域广泛应用，其中在电子及半导体中的应用约为47%，在汽车制造中的应用约为16%，在医药制造行业中的应用约为7%，在其它行业中的应用约为 30%。随着汽车电动化、网联化、智能化、共享化浪潮的席卷，机器视觉在汽车制造领域中的应用越来越广泛和深入，应用占比也越来越重，其在汽车制造智能制造行业中的主要应用如下。

a.引导和定位。一般采用 3D 视觉，准确定位并引导机器手臂寻找物料位置，抓取物料放到指定位置进行上下料操作；

b.外观检查。这是取代人眼最多的环节，取代人眼进行零件缺陷检查，如机加工环节的划伤、磕碰伤等缺陷，装配环节多装、漏装、错装和装反等缺陷；

c.高精度检测。测量是工业的基础，对于人眼无法识别的0.01～0.02 mm甚至微米的高精密度零件必须使用机器识别完成；d.智能识别。对图像进行处理、分析和理解，识别目标对象，并进行数据的追溯和采集。应用大数据进行快速收敛，在海量信息中寻找关键特征。e.智能互联。主要应用为汽车的无人驾驶技术，在智能制造场景中将操作人员、工艺设备、生产物料、生产环境等数据互联，通过深度学习、智能优化、智能预测等展示出工业4.0的威力。

2.2 机器视觉和人类视觉的区别与联系

如表1所示，机器视觉技术相较于人眼有很多的优点和差异，这也是其在工艺制造领域广泛应用的重要原因。

2.3 工业应用视觉相机分类

机器视觉主要采用的是工业相机，当前世界上工业相机的知名厂家有美国康耐视（Cognex）、美 国 NI（National Instruments）、美国邦纳（Banner）、日本基恩士（Keyence）、日本欧姆龙（Omron）、日本松下（Panasonic）、加拿大达尔萨（Teledyne Dalsa） 、瑞士堡盟（Baumer）等公司，汽车行业当前应用美国康耐视和日本基恩士相机居多。如图1所示，工业相机主要分类如下。

图1 工业相机主要分类3 机器视觉系统

图2 机器视觉系统主要构成

如图2所示，机器视觉系统主要由图像采集单元、图像处理单元、图像处理软件、网络通信装置等构成。图像采集单元相当于 CCD 或 CMOS 相机和图像采集卡，将光学图像转换为模拟或数字图像并输出至图像处理单元；图像处理单元类似于图像采集和处理卡，对图像采集单元的图像数据进行实时的存储，并利用图像处理软件进行图像处理；图像处理软件主要在图像处理单元硬件环境的支持下完成图像处理功能；网络通信装置主要完成控制信息、图像数据的通信任务。

3.1 图像采集单元

3.1.1 照明光源

机器视觉中照明光源的主要作用为可以构建足够的取像环境，保证光线稳定，可以用于突出将要识取物体的颜色；照亮目标，提高目标亮度；形成最有利于图像处理的成像效果；克服环境光干扰，保证图像的稳定性；用作测量的工具或参照等。机器视觉的照明光源可分为卤素灯、白织灯、氙气闪光灯、激光灯、荧光灯和发光二极管等，其中发光二极管因为体积小、耗电低、使用寿命长、反应迅捷、运行成本低、无毒环保、可制成各种形状、尺寸及各种照射角度等优点被广泛采用。

3.1.2 工业相机镜头

工业相机镜头是获取图像的工具，根据光感原理不同可分为互补金属氧化物半导体（CMOS）和电荷耦合无件（CCD），将光学影像转化为数字信号的半导体元器件工厂一般采用CCD（使图像更利于后期处理），获取信息稳定。如图3所示，镜头按照视场、镜头光圈、焦距和接口主要有以下4种分类。

图3 工业相机镜头分类镜头的主要技术参数有焦距（EFL），短焦距提供广角视野 ，而长焦距提供望远视；视场角（FOV），也叫视野范围，相机实际拍到区域的尺寸，主要与元件尺寸、相机和元件之间的工作距离、镜头的类型等有关，FOV=传感器尺寸/光学倍率；放大倍率（Magnification）又称光学放大倍数，像高和物高的大小之比，CCD/FOV，即芯片尺寸除以视野范围；景深表示聚焦清楚的范围，指的是物体在对焦清楚时，可移动的范围；镜头接口（Mount）是镜头与相机的连接方式，常用的包括 C、CS、F、V、 T2、Leica、M42x1、M75x0.75 等，C 接口是工业镜头常用的一种接口；靶面大小是感光元器件对角线尺寸；清晰度是分辨率和反差综合表现的结果，分辨率代表镜头记录物体细节的能力，分辨率越高的镜头成像越清晰；光圈数（F.No）F数值是光通过镜头量大小的表示。F数值愈小表示通过的光量多，F数值是焦距长和有效开口的比值，F.No=EFL/D，镜头的光圈大小决定图像的亮度，在拍摄高速运动物体、曝光时间很短的应用中，应该选用大光圈镜头，以提高图像亮度。

3.1.3 照明技术

亮视野和暗视野。亮视野就是直接接收反射光，暗视野则是接收散射光，暗视野则可以观察到物体的轮廓，把一些结构上的问题显现出来。

曝光。曝光正常是指不过曝也不欠曝，过曝是指拍的画面很亮，欠曝是指拍的画面很暗。偏光技术、偏振片与偏振光。用于减少眩光或镜面反射，控制从有光泽的元件的镜面反射的量，光线经偏振片过改变传播方向，镜头前的分析片配合使用。优点是可以使镜面反射和漫反射分开，缺点是由于偏振片，要求更高的光强度。

3.2 图像处理单元

图4 图像处理流程图如图 4 所示，图像处理过程大致分为 4 个步骤：首先是拍摄，按下快门，拍摄图片；第二步是传送，将图像数据由照相机传送到控制器；第三步是处理，处理分为前处理，即为对图像数据进行加工，使其特征更加明显，测算处理，根据图像数据对于损伤、尺寸等进行测算；第四步是输出结果，将处理结果以信号的形式输出到相连的控制装置如PLC中。

以康耐视相机为例，图像处理的方法有图案匹配（PatMax）、直方图（Extract Histogram）、找边或片段（Find Line/Segment）、斑点（Extract Blobs）几种方式。PatMax图案工具用来训练图案特征，将图像与图案库进行对比，以便验证或者识别图像中特定的图案特征。该工具主要应用于确保在生产线上运行的产品的正确性，或者要辨别哪个产品在正确运行，并将该信息传达到其他车间设备。相机的接受阈值用于定义在模型图案和找到的图案之间必须存在的相似程度。PatMax 图案与像素格无关，其特征为表现图像中不同区域间分界线的轮廓以特征为基础的表现形式比以像素表现形式更快并更准确地被转换。PatMax 是有效的图案定位搜索技术，能够处理旋转及角度变化等内容，PatMax 也可以考虑或忽略额外特征。

采用直方图可以判断特征是否存在，是否有漏装，直方图搜索框内的明暗像素总数（像素就是图像的最小信息单元），打分代表搜索框内白点或黑点的个数，图5所示为相机直方图二值化变速箱油泵油封总成零件红圈内位置，该工位相机采用了直方图检测油泵油封总成零件件是否存在漏装，为防止 PATMAX 失效情况下的补充检测，采用二值化处理方式，当有油泵油封零件时为黑色，当没有油泵密封时此区域是纯白的（设置阈值为40，分值小于40视为油泵油封零件无漏装，检测合格；分值大于 40 则检测结果判断为油泵油封零件漏装，此处打分代表搜索框内白点的个数）；找边函数用于搜索区域内的边特征；斑点工具用于查找一组灰阶值高（低）于规定阈值的像素组，该函数用于查找暗背景上的亮点。

图5 相机直方图二值化油泵油封特征3.3 信息通讯单元

工业相机的常见接口类型主要有模拟接口、Cameralink、Usb2.0、1394a、1394b、CigE、Ethernet 等，目前汽车制造行业现场生产采用的相机主要采用以太网（Ethernet）通讯。

4 机器视觉算法

二值化算法。灰度化是在 RGB（Red，Green，Blue）模型中，如果 R=G=B 时，则彩色表示一种灰度颜色，其中 R=G=B 的值叫灰度值，因此，灰度图像每个像素只需一个字节存放灰度值（又称强度值、亮度值），灰度范围为0~255。一般常用的是加权平均法来获取每个像素点的灰度值。图像的二值化就是将图像上的像素点的灰度值设置为 0 或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果。在数字图像处理中，二值图像占有非常重要的地位，图像的二值化使图像中数据量大为减少，从而能凸显出目标的轮廓［7］。在汽车制造过程中如发动机和变速箱涂胶照相检测、打钢印号照相照相检测等就是采用二值化算法进行处理的。

缺陷（瑕疵）检测算法。采用相机检测区域的浓淡度，是通过对区域内进行区段划分，每个区段进行比较检测。从而检测出差距大的部分（通过浓度微分判定）。亮度工具根据平均灰度值决定特征存在与否。适用于好元件特征明显暗于或亮于坏元件特征的情况。通过对产品X、Y、XY、半径、圆周等任意方向的扫描，可根据检测对象选择区段的大小、方向、比较间隔、移动量。用颜色表示瑕疵等级（深蓝→浅蓝→绿→黄→红），可以用二维的形式确认瑕疵的范围和分布。在汽车制造过程中的应用取例主要为根据明暗度确定有无机加工孔，发动机和变速箱安装零件，是否漏拧螺栓，是否有机加工刀痕等。

深度学习与机器视觉。深度学习是机器学习的一个领域，这种技术可以对相机软件进行训练并让其具备学习能力，深度学习可以通过人工神经网络等架构完成，通过处理数据和创建用于决策制定的模式，来模仿人类大脑的工作方式。在深度学习算法出来之前，对于视觉算法来说大致可以分为特征感知，图像预处理，特征提取，特征筛选，推理预测与识别这5个步骤。康耐视相机基于一套最先进的机器学习算法把深度学习作为传统机器视觉的一种补充，通过样本对系统进行训练，以区分可接受的变化和缺陷，专为工厂自动化应用设计，目前已是广泛测试并优化的可靠软件解决方案，深度学习算法也用于汽车无人驾驶技术。

卷积神经网络（CNN）与机器视觉。机器视觉里经常使卷积神经网络，即 CNN，是一种对人脑比较精准的模拟。实际上在机器视觉里面，可以把卷积当做一个抽象的过程，就是把小区域内的信息统计抽象出来。图像中不同数据窗口的数据和卷积核（一个滤波矩阵）作内积的操作就叫做卷积。其计算过程又称为滤波（Filtering），卷积的本质是提取图像不同频段的特征。卷积神经网络的深度太浅的话，识别能力往往不如一般的浅层模型，但如果做得很深，就需要大量数据进行训练，否则机器学习中的过拟合将不可避免。

5 汽车制造行业中机器视觉技术的应用

5.1 机器视觉技术在汽车发动机制造过程应用

在发动机制造过程中，机器视觉可用于以下场景。缸体缸盖上下线，机器视觉引导机械手把缸盖抓取到自动引导车（AGV）上或从 AGV 上取下来。

缸体打钢印号打印质量检测。如图6所示，主要检测原理为使用 OCR 字符检测功能建立字符库，检测时根据字符库的内容进行字符比对，得出字符与 PLC 提供的字符进行比对，当相机拍照后检测到的钢印号与码块中 EUN 码不一致时，则相机则报警，发动机打入返修岔道或返修区。为了减少机器视觉检测过程中的误报警，需要注意以下事项。

a.采用定焦镜头提升拍照稳定性；

b.相机程序中“分段读取分别比对”比“整条读取比对”更能提高检测准确度，建议采用前者；c.缸印号面有水渍、油渍、锈蚀、杂质，会影响照相检测效果，保持钢印面清洁度；d.钢印号打号头反光和位置不稳定会影响照相检测效果，打号头需涂上黑色防止反光并保持位置稳定或相机软件程序设置延时拍照；e.钢印号字符质量稳定性会影响照相检测效果，相机软件需要深度学习持续训练模板。

图6 发动机钢印号机器视觉检测

零件漏装缺陷或型号检测。检测过程为对零件的有无和型号进行检测，如漏装或型号错误则相机报警，待装配的发动机、变速箱等不能放行到下一工位。也广泛应用于其它汽车零部件漏装和型号错装检测（如气门、油封、柔性盘、缸体、缸盖、凸轮轴、活塞等零部件型号错装检测，气门、油封弹簧等零部件漏装检测等）。汽车零件的型号识别可通过代码识别、读取字符和模式识别3种方式实现。代码识别主要分为条形码、二维码、标签码和 DPM 码；读取字符分为 OCR 和 OCV2 种方式；模式识别分为颜色和形状 2 种。

图7 发动机缸盖气门杆有无及型号机器视觉检测

如图 7 为汽车发动机缸盖气门杆型号和有无检测，一开始为色标进行视觉防错识别，因为相机检测误报警较多，更改为字符进行视觉防错识别。汽车零件上用于机器视觉识别的字符和色标建议采用差异大的组合进行防错 ，字符件不建议组合为 1/7、2/3/5/6、8/0，其余字符组合均可；色标件建议组合为白/蓝、白/红、 蓝/黄、红/黄组合，其余组合差异较小，采用相机进行视觉防错时误报警较多，现场参考件尽量与正常件状态保持一致。零件油太多容易反光时，相机可选择采用穿透性强的红外光源。

涂胶质量照相检测。如发动机油底壳、油封、罩盖、前盖涂胶等。视觉检测防错过程为照相检测涂胶轨迹与断胶，通过检测得出胶线轨迹，对整个轨迹进行检测，任意点出现轨迹偏移或断胶则相机报警，工件不能流入到下一个工位。

图8 发动机前盖涂胶轨迹和断胶机器视觉检测

如图8所示为发动机前盖涂胶相机检测。采用工业相机进行涂胶质量检测时涂胶轨迹和涂胶质量不稳定对相机检测效果有影响，如较小区域胶条过短、胶条起始粗、结尾细、重叠、拖尾、轨迹较差等情况出现时相机检测误报警率高，需要对相机参数进行调整；涂胶头歪斜或清洁不干净涂胶轨迹偏相机误报警率高，需要每班或长时间停机时对涂胶头进行及时清理和检查；油底壳涂胶这种黑底黑胶的视觉防错检测，采用偏振片能更突出胶条轮廓。发动机缸体轴瓦分级字符比对视觉检测。

检测原理：使用 OCR 字符检测功能建立字符库，检测时，根据字符库的内容进行字符比对，得出字符同时读取二维码信息，进行相互验证保证万无一失。视觉检测技术方面主要注意相机检测程序中曝光度参数合理设置和模板设置。

发动机活塞和连杆瓦盖安装方向比对视觉检测。检测原理为采用形状模式识别与标准特别比较，设置自己的模板，进行特征点比对如不一致则相机拍照后报警，发动机打入返修岔道或环线。视觉检测技术方面主要注意相机检测程序中曝光度参数合理设置和模板设置。

发动机和变速箱车间也采用3D相机进行涂胶检测，摇臂安装状态检测和机器人自动抓取等，如 图9所示为3D相机引导发动机高压油泵涂胶。

图9 3D机器视觉技术在发动机涂胶中引导追随中的应用5.2 机器视觉技术在汽车变速箱制造过程中的应用

机器视觉在变速箱制造车间主要的应用场景为缺陷检查、防错、定位、测量和二维码识别。防错是通过特征等对比分析，判断工件有无、装反、装不到位或型号差异；定位是通过二维、三维定位输出工件坐标值以引导机器运动路径；测量是通过对产品进行检测，获得所需的各种参数用于质量判断及工艺改进；二维码识别是读取产品一维码、二维码，获取产品型号并进行追溯。图10为某变速箱装配车间 50 多个相机的应用分布情况，主要用于检测工件是否安装到位、工件有无和型号防错三种应用。

机器视觉定位方面的应用是零件定位及抓取料、机器路径引导。如变速箱壳体总成和变扭器壳体总成上下线，机器视觉引导机械手把变速箱壳体总成和变扭器壳体总成抓取到 AGV 上，或从AGV上抓取下来。

图10 机器视觉技术在某变速箱车间应用类别分布检测 KIT 盘或配餐盒中零件正确性。检测KIT 盘或配餐盒控制阀体和电磁控制阀体的阀芯、弹簧、闷盖等零件有无或放置位置是否正确，拍照结果与标准模板比较，如不一致则相机报警，KIT盘或配餐盒无法流入到下一个工位。

零件检测测量，如通过检测卡簧2个孔之间的距离判断卡簧是否安装到位等。

检测变速箱太阳齿轮有无和差速器型号是否正确，卡簧是否漏压装、装不到位等。

检测电磁阀体线束卡扣是否漏安装、是否未安装到位。如图11所示根据固定范围内的彩色直方图检测区域，卡扣到位及不到位彩色直方图 red值小于一定数值为正确，red 值大于一定数值为不到位。例如，根据不到位缺陷件情况设置判断阈值为 180，直方图检测区域 red 打分值小于 180 为到位，red 打分值大于180为不到位，判断阈值需要根据实际缺陷件情况进行设置和验证。

图11 采用机器视觉技术检测变速箱线束卡扣是否安装到位或漏安装检测电子阀体压装水平度。检测原理为首先建立图案模型，然后对图案进行定位，判断旋转角度，进行是否合格判断，如不合格则相机报警，工件不会流入到下一个工位。CARE工位和终检工位客户特性和质量缺陷检测。如机加工光孔、螺纹孔是否漏加工，变速箱封堵和压力测试塞是否漏拧或漏安装，变速箱线束接头插针是否歪斜等均可以采用机器视觉进行防错。

图12 照相机开动率影响潜在因素汇总如图12所示为某车间机器视觉应用过程中的一年内相机误报警影响设备开动率的影响因素分布。在图像捕获阶段光源亮度、图像定位、零件来料表面质量的一致性、零件表面是否带油、曝光量、焦距都会影响拍照质量，而相机的视野会影响到成像的范围。针对程序造成的相机误报警问题，主要通过增加训练样本量，根据样本数据优化参数；针对来料差异造成的相机误报警问题，主要通过优化相机参数（如曝光量、判断阈值等）；针对光线造成的相机误报警问题，主要对相机所在工位增加黑箱，保证光线稳定性，或者考虑对部分天窗进行有色处理。

5.3 机器视觉技术在汽车整车制造过程中的应用

机器视觉技术在汽车整车制造工程的车身、油漆、冲压和总装中也有着广泛的应用。主要应用于汽车制造质量缺陷检测，如零件错装、漏装和装反，螺纹孔有无、加工刀纹、裂纹、毛刺、锁孔、焊接质量等；二维、三维视觉测量，可实现汽车零部件 3D 尺寸检测，组合件尺寸检测、测量、面板检测、车身平整度检测等；视觉定位或引导系统，机器人二维定位系统如自动拧螺丝机、自动焊锡机、自动点胶机，机器人三维视觉引导系统，如自动引导涂胶、零部件加工、分拣和组装；设备诊断、测试、维护；机器人控制、CNC 加工；物料搬运设备，如零件分拣、码垛和拆垛等；设备运动控制，如汽车自动驾驶、自动操作等；连续处理和批处理等。

6 机器视觉在汽车制造应用中未来发展趋势

机器视觉技术在汽车制造行业未来的应用方面的发展趋势如下。a.汽车零件的无序零件定位抓取；b.汽车零件的表面缺陷检测；c.基于深度学习的防错检测；d.汽车零件尺寸的智能测量；e.基于复杂逻辑的智能化判断的智能检测；f.智能互联技术和无人驾驶等。7 结束语

本文通过机器视觉技术基础理论及其在汽车制造领域的分析研究，对其作用和应用过程中实际问题解决方法进行总结以及未来发展趋势进行了预测，利用机器视觉技术可有效降低汽车制造生产成本、提高生产效率、生产柔性和生产自动化程度，从而为汽车制造行业电动化、网联化、智能化、共享化发展奠定坚实的基础，促进汽车制造行业更高、更快、更好、更可持续发展。