世界智能制造,探索智能技术引领下的制造业未来
387
2024-01-30
(一)三维视觉测量技术概览 1、将二维图像感知用于三维测量 将三维视觉用于物体测量,最早被业内认可和广泛使用的,就是光截图技术该技术是将一个由线激光组成的光切面与相机的像平面成一个固定角度,这样相机的像平面上的任意一个像素点就与光平面上的点形成唯一的对应关系,通过标定,实现物体与光平面的交接线的三维测量。
这种方法是将三维问题通过光截面实现降维处理,其典型应用是在铁路车辆动态检测系统中用于轮缘截面的精确动态尺寸测量
图1、轮缘的光截图 激光线扫描测量传感器是基于光截图技术研制而成的当激光线扫描传感器用于三维测量时,就需要将不同时刻的激光线测量数据拼合起来,形成一个物体的三维整体轮廓,然后,在该轮廓数据点的基础上实现物体的测量和识别。
这样的测量系统要求被测量物体匀速平稳的通过传感器的扫描线,将多条扫描线拼合后,在拼合的离散点云中,运算得到被测物体的真正的物理尺寸,这样的运算目前还没有一个公认的统一方法,由于点云数据量大,对运算资源有很高的要求,难以实现实时快速的运算和识别。
为了提高测量精度和实时性,克服由于物体移动和不同时刻测量带来的变化误差,在以上技术的基础上,目前发展出双目相机加动态结构光的测量系统,动态结构光包括:动态宽度可变的条纹光、特殊形状的旋转散斑光点等此类设备的优点是可以测量静态物体,由于同步曝光,提高了测量的精度。
2、将激光测距技术用于三维测量 三维激光扫描设备,广泛用于场景和物体的三维测量和建模该类设备采用激光测距方法,通过高速激光扫描,实现空间单点深度的测量,扫描得到的测量数据,一般都配有专用三维点云数据管理和三维建模软件,用于反求工程或三维测量。
此类三维测量方法,由于运算时间长,人工操作步骤多且相对复杂,一般不能作为在线测量设备 多线激光雷达是和该方法类似的三维感知设备,由于采用了多线同步扫描,可得到实时的三维空间点云数据,目前将激光雷达用于无人汽车是一个火热的课题,其难点主要在于激光点云数据量大,要实现实时的三维重建和三维识别,对算法和运算资源要求极高。
TOF技术与激光感知技术相似,通过光脉冲的飞行时间的测量,达到不同深度物体的感知 微软的Kinect以及苹果公司新推出的 iPhoneX 人脸三维解锁技术是以上技术的代表,国内也有不少公司推出了类似的产品,这些产品集成了TOF、激光结构光和图像感知技术,能够快速实时的进行三维感知。
对于三维测量和识别方面,由于Kinect推出时间较长,利用Kinect进行三维感知的示例很多,最多的应用是进行人体姿态和动作的感知和捕捉,还有用于室内空间快速测量的示例等由于这类设备对于深度的测量精度有限,阳光和其他光照对测量结果有影响,同时,有些反光性能不良的物体对测量有影响,所以,在测量领域还很难见到这类设备的具体应用。
3、多目光学被动式三维测量技术 航空摄影测量是一个典型的基于多目光学被动式三维测量技术的应用实例目前,无人机的大量应用,给航空摄影测量带来了勃勃生机,双倾斜高清相机是这类应用大量采用的图像采集设备,结合地面计算机集群或采用GPU等并行运算方式,通过事后图像匹配运算,得到被摄场景的三维重建图形。
这类应用可广泛应用在各类高空巡检和监测以及各类测量需求,代替人工巡检和测量 对于一个固定环境的三维检测,还有一种方式就是将多个相机在不同的角度进行布置,通过多像机间的空间位置关系,将被测空间的三维实时进行感知和测量,这样的系统需要单独搭建和定制化开发。
另外一种采用纯光学三维重建的方法,就是针对一个特定的对象,用单相机从各个视角拍摄多幅图像,然后,计算合成物体的三维图像 以上这些既有的多目三维感知手段,由于图像匹配需要消耗大量的运算资源,而且,在匹配过程中有些歧义很难自动消除,所以都具有事后运算且需要人工干预和修正的特点,一般很难用于实时的三维感知和测量。
(二)“通用式三维即时成像技术”的三维视觉感知 北京清影机器视觉技术有限公司通过完全自主创新,自行开发完成“通用式三维即时成像技术”,研制成功具有通用视觉的三维“机器眼”目前,该“机器眼”首先实现的是自动三维“感觉”,在秒级以内自动获得被视场景的三维影像。
“通用式三维即时视觉传感技术”,提出了一种全新的三维成像理念它是建立在平行光轴四像机矩阵布局基础上的一种纯光学图像三维测量系统,硬件结构至少包括一组2×2阵列、光轴平行布置的数码相机组,通过空间几何数据的分析对多幅图像进行关联匹配,从而消除双目匹配过程中普遍产生的歧义性,完全摆脱了对结构光等任何辅助手段的依赖。
图2、北京清影公司三维相机图 “通用式三维即时视觉传感技术”,依托独特的四相机阵列硬件结构与空间匹配算法,在机器视觉领域首次实现了一种“所见即所得”的三维成像作业体验,即不借助于事先标定、不依赖于任何激光/红外光等辅助手段、无须后期处理,可以由非专业人员自由地完成远距离、大场景条件下实时的三维成像作业,其使用体验等同于一台“傻瓜式”三维相机。
“通用式三维数字即时成像技术”的主要性能表现在以下几个方面: 1、使用普通工业相机搭建多目相机组,实现任意环境的下光学被动成像,不依赖于结构光、事先标定等任何辅助手段; 2、能够实时抓取被视物的主要视觉特征,秒级时间内直接得到物体轮廓及其空间三维数据,快速实现物体与背景的分离和切割;
3、硬件结构简单、软件完全通用、使用操作方便彻底摆脱对专业人员、专业设备和专业技能的依赖,傻瓜相机式的操作体验,随时随地的三维测量结果输出; 4、硬件采用工业相机组,技术成熟可靠、成本低,成像作业过程简单。
(三)正向投影图及其在三维数据处理上的意义 结合“通用式三维数字即时成像技术”,北京清影机器视觉公司开发了一种自定义的正向投影图和正向灰度图,这两个图像可完整的记录一次三维成像的数据结果,是一种通过二维图像直接记录三维数据的方法,该套图像的视角是以三维测量机器的单次三维感知为出发点,将机器视角范围内的三维感知空间上对应的物体和环境对应视角部分的外曲面,投影在以机器为坐标原点的直角坐标系上。
如图3、图4、图5、图6所示:
图3、以机器为视角的三维测量空间定义
图4、原二维测量图像
图5、三维正向投影图(深度伪彩图)
图6、三维正向灰度图 如图所示,正向投影图中其水平和垂直方向每个像素之间的像元尺寸是按照空间感知尺寸计算得出的,其像素位置坐标是其空间位置的水平和垂直坐标,像素值本身记录的是该像素对应的深度坐标值,也就是图中每个像素点都代表了直角坐标系上的三维数据尺寸;正向灰度图的水平和垂直坐标与正向投影图完全一致,但在像素点上记录的是其原二维图像上的灰度或颜色值,这样的一套图正好可以把物体被测点的三维坐标和纹理数据完整的记录下来。
与传统的三维表示方式不同,正向投影图和正向灰度图是采用二维图像格式记录三维数据,与目前广泛采用的点云图和点云数据格式以及三维网格化格式相比,具有如下特点和独特的优势: 1、由于采用二维图像记录三维数据,在三维数据的采集、计算、传输、三维数据存储、三维视频流的生成、三维数据压缩、三维数据查询和搜索上可以完全继承现有二维图像的各类算法,快速实现三维数据的各类管理和计算要求。
2、该方法实现了三维数据的简易可视化,便于数据质量的直观检查,通过进一步计算,可以得到用于三维立体显示所使用的左眼图和右眼图,以及裸眼3D所需要的多视角图,以及进一步生成与现有三维软件格式相兼容的三维网格,以及与各类三维显示软件如玛雅、3DMAX等配套的数据输入格式。
3、由于能够继承二维图像的测量方法,基于正向投影图和正向灰度图可以采用空间几何分析的方法,对被测物进行背景分离、轮廓和外形尺寸的测量、空间位置的测量等等该技术特别适用于不能进行二维图像测量的场合,例如:空间位置随机变化的物体、体积和类别多样变化的物体、远距离的物体、大场景下的物体、多个物体、采用激光和结构光无法检测的物体(红热的物体、透明的物体、吸收光线的物体)等等。
4、虽然目前的深度学习在图像识别方面取得了巨大成功,但都是基于二维图像的,由于二维图像采用针孔成像原理,丢失了大量的空间信息,为了恢复和还原这些信息,就需要进行大量的模型学习,由于大量标注样本的缺失 ,使项目开发周期延长。
正向投影图和正向灰度图的推出为机器学习技术在三维数据的基础上进行学习和物体识别打下了良好的基础,正向投影图和正向灰度图由于给每个像素注入了三维坐标信息,由于三维数据的明确和直观,在这些信息的基础上,可以极大降低学习量,甚至可以实现一次性无监督学习。
5、以上只是涉及单次测量结果的分析,对于随时间变化的多次多视角的测量,或者说对于三维视频流的分析和测量,可以在机器视觉的识别和机器视觉理解方面,具有更大的价值例如:对于以机器视角观察世界来说,通过在静态条件下的长时间三维测量,可以很轻松的判断移动物体的运动方向和运动轨迹,如果结合机器本身的移动传感,根据外界固定环境的位置变化,就可以解算出机器的位置变化,用于机器自身的定位和姿态控制等等。
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。
发表评论
暂时没有评论,来抢沙发吧~