结合3D视觉技术与深度学习实现自动水果识别收藏

   Basler与总部位于柏林的Data Spree公司合作开发了一个适用于水果识别和分类的深度学习应用程序该视觉系统是基于Basler blaze ToF (Time-of-Flight)相机和Data Spree的深度学习平台。

概述    深度学习的方法不仅精度高，而且它的即用型系统可以缩短开发时间，因此比传统的图像处理方法更具优势在识别物体时，训练有素的神经网络不仅能应对各类变体，还可以在系统的完整生命周期内不断改进功能，从而在边界条件不断变化的情况下产生始终如一的结果。

   农产品的分类和加工就是一个很好的例子这些农产品的形状和颜色可能存在很大差异，这对已广泛使用的图像处理方法提出了巨大的挑战解决方案    Basler与软件提供商Data Spree开展密切合作，共同开发了一个适用于检测和分类水果的视觉解决方案。

将3D ToF (Time-of-Flight)技术的优势与易于使用的深度学习算法相结合，可以为水果分拣应用提供可靠的高精度实时解决方案

水果的3D点云图硬件    这个深度学习视觉系统由标准PC和Basler blaze ToF相机组成    借助Sony DepthSense™ IMX556PLR芯片技术，Basler blaze相机能提供精度可达毫米级的高分辨率3D图像。

这台3D相机不仅通过ToF (Time-of-Flight)方法来生成灰度图作为强度图像，还能使用近红外区域(NIR)范围的光脉冲ToF方法来测量到每个像素的距离然后，生成的图像可用作3D点云图，并提供有关所描绘场景的其他信息。

与2D RGB图像相比，3D点云图的颜色信息被形状信息所取代，不仅具有能同时检测红苹果和绿苹果的优点，还支持物体的精确定位和测量等其他应用软件

Basler blaze相机   Basler blaze相机拍摄的图像会由Data Spree的“深度学习DS”软件进行评估，该软件解决方案是以深度学习为基础Data Spree解决方案非常简单易用，无需任何专业经验也可以轻松开发深度学习模型。

设置时需要完成以下步骤：1、数据采集    每个神经网络都需要大量样本图像，以供后续进行分类例如，由Basler blaze相机首先采集大约500张各种水果（香蕉、苹果和梨子）的图像然后，相机软件会通过灰度图和深度图来生成2通道图像数据，其中包含每个像素到物体的距离信息（精确到毫米）。

此图像数据会被加载到深度学习DS平台中2、标注    然后，要使用元数据来改进图像数据因此，需要在每个水果周围手动绘制框，并分配相应的类别（苹果、梨子等）这样可以定义在后续步骤中要“教导”神经网络学习什么内容。

手动标注大约100张图像后，就能加快这个费时费力的初始过程，因为已成雏形的初步深度学习模型可以为后续的图像生成建议，只需要进行更正即可3、训练

   全部500张图像都标注完毕之后，只需单击几下鼠标即可创建另一个模型，并将会自动对深度神经网络(DNN)进行训练在训练期间，系统会使用测试数据集来定期评估识别的精度4、在目标硬件上配置（部署）和应用（推理）已受训练的网络。

   训练完毕后，已完成的模型将被加载到目标硬件上，就可以使用Inference DS Data Spree执行软件来直接执行Basler blaze ToF相机（包括预处理功能）已经完全实现集成，可以直接启动深度学习应用程序。

   标注：这样可以定义在后续步骤中要“教导”神经网络学习什么内容解决方案的优势    ■ 通过3D相机 (Time-of-Flight) 将空间信息集成到神经网络的学习中，可以更精确、更可靠地对物体进行 识别和分类。

   ■ 可降低应用的复杂性，因为在许多应用中不再需要补充的芯片技术    ■ 借助简单方便的Data Spree软件解决方案，即使不具备编程和深度学习知识，也可以创建深度学习应用程序    ■  即使在弱光、自然光和无对比度的情况下，也能获得精确的测量结果

结论    在上述的水果分类示例应用中，Basler证明了通过与Data Spree合作，将功能强大的3D相机与深度学习模型相结合，可以帮助用户轻松解决复杂的任务，节省宝贵的时间和成本Basler blaze ToF (Time-of-Flight)相机可提供额外的深度信息，有助于在各种应用中分析物体的体积、形状或位置。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。