使用Basler相机和图像采集卡实现自动驾驶技术收藏

   使用最高级别的L5级自动驾驶技术时，车上的乘客无须介入驾驶过程，也完全不需要司机进行操控这项特殊的工程成果已由GreenTeam Stuttgart（斯图加特绿队）的学生们成功实现，目前只限在指定的测试和赛道中使用，以避免事故风险。

无人操纵的“bolide”电动赛车    该系统的关键在于从图像采集到结果输出的高难度实时行为，这也是将基于FPGA的图像采集卡作为首选组件的原因，相机分辨率在决定过程中也发挥了重要作用Basler解决方案及优势。

   赛车中的图像处理系统由传感器阵列组成，其中包括连接到GPU的激光雷达传感器和两台Basler ace acA1300-75gc彩色面阵相机，并通过GigE Vision接口将数据传输到microEnable IV VQ4-GPoE图像采集卡。

在数字控制信号的处理方面，图像采集卡配备了特殊的扩展卡Opto-Trigger 5图像处理系统可通过开发环境VisualApplets获得所需的功能，借助VisualApplets，团队可在FPGA上针对适当的应用程序进行图形化编程，只需较短时间即可完成。

车载激光雷达传感器以及面阵相机    激光雷达传感器可以识别道路边缘、起点和终点处的路锥，并输出带有路锥位置但不含色彩信息的点云图，相互靠近的点以图簇的形式来表示一个路锥同时，两台相机确定颜色，并将其分配给点云中的路锥。

安装在车辆PC中的图像采集卡使用Blob分析将路锥周围用边界框(Bounding Box)进行分隔，并在HSV颜色空间中对它的颜色信息进行分类然后再使用深度学习算法来验证分类结果

具有不同视角的传感器阵列传感器阵列与深度学习    GreenTeam 根据以前标记过的训练图像，对底层的Yolo-v3（tiny）网络进行了调整，使该系统深度神经网络(CNN)可以区分小型的黄色、蓝色、橙色路锥以及大型的橙色路锥，从而验证分类结果。

   两台相机采集的图像与来自激光雷达传感器的图像相结合，组成150/160度的光圈角度连接到图像采集卡的触发板负责控制并同步两台相机的触发机器人操作系统(ROS)中的时间戳可确保与激光雷达传感器保持同步。

   ROS包含可执行单个功能所需的全部软件组件（可分隔），神经网络也在ROS中运行，用于处理来自图像采集卡的信息并由CNN执行验证。

适用于自动驾驶技术的图像处理系统的软件架构使用VisualApplets进行图像预处理    赛车软件的核心组件是VisualApplets图形化开发环境，它可用于在用户界面上轻松快速地对FPGA处理器进行图形化编程。

图像处理过程包括图像预处理，即通过调节白平衡、借助去拜耳化进行色彩转换、从RGB转换到HSV色彩空间等步骤来强化成像效果接下来的Blob分析会将颜色相似的像素合并为一个边界框预处理以及图像处理功能被编程在图像采集卡中的小程序上（小程序是一种用于在FPGA上执行的编码应用程序设计）。

GreenTeam只需进行一天的训练就可以完成小程序的调整工作    Basler可提供相机、图像采集卡、VisualApplets和咨询服务，这也是GreenTeam决定与Basler合作的主要原因GreenTeam 2018/2019赛季的项目经理Christian Witte强调说：“相机与系统完美兼容，可在不丢失图像数据的情况下提供可靠的图像采集功能，还有集成的预处理步骤和实时处理图像数据，以便快速可靠地识别路锥——所有这些优点都有利于实现这个高质量的图像处理解决方案。

除此之外，还有深度学习技术和VisualApplets，为我们提供的专业知识对我们有很大帮助”    总体而言，项目团队不用投入太多精力即可配置图像处理系统，该系统也适用于不同的光照和天气条件，无需使用特殊的额外光源。

因此，即使在瓢泼大雨或酷热天气中，车辆也能始终保持正常行驶如果系统真的宕机，依然有解决方法：可通过遥控的紧急停止功能来强制车辆立即刹车相关硬件相机： Basler acA1300-75gc图像采集卡：microEnable IV VQ4‐GPoE

配件：Opto-Trigger 5（信号处理）microEnable IV VQ4-GE这是一款PCIe图像处理设备，可让四台GigE Vision相机实现全带宽连接•在多设备模式下也能保证较低的CPU负载。

•易于使用的配置软件•提供专业的机器视觉SDK支持•DMA900 / 最高可达900 MB/s PCIe数据带宽 (PCIe x4)•广泛支持第三方软件接口•易于编程的视觉处理器，可实现个性化的实时功能

•线材长度可达100 m

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。