机器视觉和深度学习在自动检查领域的应用

今天讲一下机器视觉和深度学习如何改变制造业中自动检查的领域。

人工智能最终将改变游戏规则，几乎在每个领域中都有无数的应用程序。现在，它正在进入生产和制造领域，从而可以利用深度学习的力量，并在此过程中提供更快，更便宜，更优越的自动化。本文旨在简要介绍自动视觉评估以及深度学习方法如何节省大量时间和精力。

什么是外观检查？

它涉及对生产线上的产品进行分析以达到质量控制的目的。目视检查还可以用于生产设施中各种设备（例如储罐，压力容器，管道和其他设备）的内部和外部评估。

这是一个定期进行的过程，例如每天。反复表明，目视检查会在生产过程中发现大多数隐藏的缺陷。

什么时候需要目视检查？

目视检查在制造中用于质量或缺陷评估时，但在非生产环境中，可以用来确定是否存在指示“目标”的特征并防止潜在的负面影响。

在许多需要目视检查的行业中，有一些行业认为视力检查具有很高的后果，并且是高度优先的活动，因为通过视力检查可能产生的任何错误（例如伤害，死亡，损失）的潜在成本很高昂贵的设备，报废的物品，返工或客户流失。优先检查视力的领域包括核武器，核电，机场行李检查，飞机维修，食品工业，医药和制药。

使用外观检查的行业细分

为什么不只坚持手工检查呢？

尽管旧的可能是黄金，但人们可能会争辩说，使用旧式的检查方法有一些限制。

手动检查需要一个人在场，一名检查员对所涉实体进行评估并根据一些培训或先前的知识对它进行判断。除了训练有素的检查员的肉眼之外，不需要任何设备。

根据研究，目视检查错误的范围通常为20％至30％（Drury＆Fox，1975）。一些缺陷可以归因于人为错误，而其他缺陷则归因于空间的限制。某些错误可以通过培训和实践来减少，但不能完全消除。

检验过程（来源：视觉检查在21世纪的作用（See＆Drury，2017）

影响检验绩效的因素

制造中的外观检查错误采取以下两种形式之一：遗漏现有缺陷或错误地标识不存在的缺陷（误报）。与误报相比，未命中的发生率要高得多（请参阅2012）。遗漏会导致质量下降，而误报会导致不必要的生产成本和整体浪费。

手动检查的局限性

此外，人工检查还受到其他限制，例如这些：

仍然存在这样一个事实，即人眼虽然比任何机械摄像机都具有更高的技术先进性，但也很容易被愚弄。考虑一下与外观检查相关的一些弱点：

一种视觉错觉，黑点似乎在白线的交点处出现并消失。

单凭人眼是不可靠的-像左图这样的错觉可以证明人眼的可靠性如何。这并不一定意味着手动检查是完全没有用的，但是完全依靠它是不明智的。

平行线似乎在倾斜。

视力不精确 -人眼无法进行精确的测量，尤其是在很小的规模上。即使在比较两个相似的对象时，眼睛可能也不会注意到一个对象比另一个对象稍小或更大。该概念也适用于特性，例如表面粗糙度，尺寸和任何其他需要测量的因素。

劳动力成本 -由于任命了（多名）训练有素的人员，人工检查仍然是一项昂贵的工作。从成本角度来看，人工检查操作员的年薪可能在50,000至60,000美元之间。

资料来源：Glassdoor

新时代的替代

自动化的外观检查可以通过使外观检查的整个过程独立于任何人工干预来克服这些问题。使用自动化系统通常会超过手动检查的标准。

使用深度学习和机器视觉，不仅可以而且很容易实现构建智能系统，该系统执行彻底的质量检查，直到最精细的细节。我们不需要走路说话的android机器人来自动进行检查等生产。需要最少的物理设备来自动化外观检查过程。相反，由于使用了深度学习，该过程变得更加智能。该方法通常涉及诸如图像采集，预处理，特征提取，分类等步骤。这也被分类为广义图像识别。

什么是深度学习？它是什么因素？

深度学习技术使用包含数千层的神经网络，这些神经网络擅长模仿人类智能，以区分异常，零件和特征，同时容忍复杂模式下的自然变化。通过这种方式，深度学习将人类视觉检查的适应性与计算机系统的速度和鲁棒性融合在一起。

深度学习教机器如何做对人类自然的事情：以身作则。新的低成本硬件使部署模拟人脑神经元网络的多层“深度”神经网络变得切实可行。这使制造技术具有惊人的新功能，可以识别图像，区分趋势以及做出明智的预测和决策。深度神经网络从初始训练期间开发的核心逻辑开始，可以随着新图像，语音和文本的出现而不断完善其性能。

深度学习过程的逐层分解（Source）

那么什么是机器视觉？

机器视觉是用于提供基于图像的自动检查的技术和方法。它是一个使用视觉计算技术的系统，以机械方式“看到”生产线上一个接一个的活动。自动检查系统的组件通常包括照明，摄像机或其他图像获取设备，处理器，软件和输出设备。

在结构化场景的定量和定性测量中，机器视觉的速度，准确性和可重复性优于人类视觉。机器视觉系统可以轻松评估太小而无法被人眼看到的物体细节，并以更高的可靠性和更少的误差对其进行检查。在生产线上，机器视觉系统可以每分钟可靠且重复地检查数百或数千个零件，远远超出了人类的检查能力。

光学字符识别（左）和缺陷检测（右）是AVI中机器视觉的常见方面

传统的自动化系统在最小化成本和提高效率的同时，还没有人类所具有的灵活性或容忍度。手工检查员能够区分细微的，外观上的和功能上的缺陷，并且可以解释可能影响感知质量的零件外观变化。尽管人们处理信息的速度受到限制，但是人类具有独特的概念化和概括能力。人类擅长通过示例学习，并且可以区分各部分之间的轻微异常真正重要的部分。这就引出了一个问题，即在许多情况下，机器视觉如何才能为复杂，无结构的场景（尤其是那些具有细微缺陷和无法预测的缺陷的场景）的定性解释做出最佳选择。

为什么机器视觉和深度学习可以在这种情况下携手并进

尽管机器视觉系统可以承受因缩放，旋转和姿势变形而导致的零件外观变化，但复杂的表面纹理和图像质量问题仍然带来了严峻的检查挑战。单凭机器视觉系统就无法评估视觉上非常相似的图像之间存在巨大差异和偏差的可能性。

基于深度学习的系统非常适合本质上更复杂的视觉检查：以细微但可容忍的方式变化的模式。深度学习擅长解决复杂的表面和外观缺陷，例如在车削，刷过或发亮的零件上的划痕和凹痕。无论是用来定位，阅读，检查或分类感兴趣的特征，基于深度学习的图像分析在概念化和泛化零件外观的能力上都与传统的机器视觉有所不同。

这还不是全部

以下是在制造时选择自动外观检查的更多原因：

更好的感知

机器视觉具有非常高的光学分辨率，这取决于用于图像采集的技术和设备。与人的视觉相比，机器视觉具有“更广泛”的视觉感知范围，并且能够在该范围的紫外线，X射线和红外区域进行观察。

更快— 观察和结论都非常快，其速度以FLOPs为单位来衡量计算机的速度，并且还可以进行精确的计算。

该系统具有与更高处理速度相关联的所有功能以及潜在的无限存储容量。

可靠— 按照说明，毫无疑问，系统无偏见且可根据需要进行编程。

准确— 自动化系统能够以标准化方式测量绝对尺寸。

不依赖于环境—  这样的系统可以部署在危险和危险的条件下，或者可能被人类冒险的环境中。

如何开始自动外观检查

在需求方面，AVI并不需要太多的物理设备。开始自动化外观检查所需的设备可以分为硬件和软件资源。

硬件

这些资源由主要设备（例如照相机，光度计，色度计）和可选的辅助设备（例如分级或分选所需的辅助设备）组成，这取决于工业和自动化流程。

我们本质上是在拍照并分析图像，您只需一台照相机！

根据使用设备的行业，实际可以将物理设备分为三个子系统。

 进纸系统 —均匀地散布物品并以恒定速度移动它们，以便光学系统可以捕获单个物品的框架。

 光学系统 —由专门调整的光源和传感器（通常是数码相机）组成。光学系统捕获被检物品的图像，以便软件可以处理和分析它们。

 分离系统—清除有缺陷的项目和/或等级，并根据产品的质量将其分为几类。

自动外观检查的处理流程

软件

AVI的主要要求是软件层，其核心是计算机视觉技术，该技术可帮助检查产品或任何感兴趣的对象是否存在缺陷以及某些部件是否存在。自动化视觉检查系统的软件部分需要高级图像分析算法和繁重的编程。这些算法处理图像以调整其质量，找到有趣的点和区域，最后根据这些区域中发现的特征进行决策。

深度学习技术使自动视觉检查系统的性能优于人类或传统机器视觉过程

由于深度学习模型在解决检查问题方面取得了巨大的成功，因此已被证明是该软件不可或缺的一部分。可以在螺栓的数千个图像上对它们进行训练，深度学习算法会逐渐学会检测与螺栓“标准”外观的任何有意义的偏差。根据您的用例，可以使用一个或多个不同任务（例如对象检测，语义分割和图像分类）来解决您的检查问题。它还可能涉及OCR模型以读取序列号或条形码。

为了维持高图像处理速度，通常必须在高资源计算机上部署经过训练的深度学习模型。例如，必须有GPU才能实时获取结果。

在最终的检查模型准确性和性能中，有几个因素起作用—照明条件，要检查的产品数量，要查找的缺陷类型，缺陷/物体的大小，图像的分辨率等。因此，一个自动化的外观检查系统需要一支由熟练的研发工程师组成的团队，他们能够构建这种复杂的系统。

每个制造单位都有不同且通常唯一的数据（图像），这可能是由于不同的相机类型，室内照明或产品本身。因此，AVI的软件部分始终是为特定检查需求量身定制的定制解决方案。