奥比中光助力开发者打造机器人3D视觉应用

2022年8月22日-24日，VALSE 2022大会在天津国家会展中心正式举办。奥比中光作为金牌赞助商，以「见」机而行，「视」不可挡为主题亮相，凭借六足仿生机器人JetHexa、高精度三维人脸重建系统、三维视觉在线课程等产品及内容，展示3D视觉感知在机器人、元宇宙等领域的创新应用潜能，让与会者一览3D数字化世界的精彩。

- 01 -

六足仿生机器人燃爆现场

8月22日上午，六足仿生机器人JetHexa在VALSE 2022奥比中光展位亮相，凭借酷炫的外观与3D视觉“慧眼”成为了现场焦点，吸引众多青年学子与开发者交流体验。JetHexa搭载了奥比中光DaBai DCW深度相机以及NVIDIA Jetson Nano、激光雷达等硬件，可实现精准的建图导航、动态避障、路径规划、体感交互。

3D视觉感知交互能力是机器人的“眼睛”。奥比中光的3D视觉传感器可以帮助机器人高效完成人脸识别、距离感知、避障、导航等功能。奥比中光此次还展出了Orbbot S1移动机器人、Orbbot Arm桌面机械臂系统等机器人开发相关套件，助力开发者打造机器人3D视觉应用。

- 02 -

顶会论文分享

结合单目结构光和双目立体视觉的深度估计

8月23日下午，在VALSE大会Workshop上，奥比中光研究院三维重建组负责人徐玉华博士以《消费级深度相机与应用》为题发表演讲，并分享其团队CVPR 2022论文成果《结合单目结构光和双目立体视觉的深度估计》（Depth Estimation by Combining Binocular Stereo and Monocular Structured-Light）。

在Workshop现场，徐玉华博士从现有消费级深度相机入手，对比了单目结构光、被动双目、主动双目、ToF等不同技术方案的优劣势，并分享了其在论文中提出的一种新型深度估计系统：它由一个RGB相机、一个红外相机和一个红外散斑投影器组成。

▲ 徐玉华博士团队提出的全新深度相机设计思路

红外相机可以同时接收红外光（人眼不可见）和环境光（人眼可见）。红外相机和红外投影器可以构成一个单目结构光子系统，而红外相机和RGB相机又可以构成一对双目立体视觉子系统。

主动的单目结构光子系统对被动双目立体视觉子系统难以处理的弱纹理对象（如白墙）具有很好的鲁棒性，而双目子系统对于远距离物体和户外场景具有较好的适应性。因此，这两种类型的深度估计子系统可以优势互补。通过将单目结构光子系统获得的初始深度图融合到立体匹配网络的代价空间（Cost Volume）中，可以获得一个鲁棒的深度估计系统。

▲ 深度估计流程

基于该原理，徐玉华博士团队构建了一个原型系统，并建立了一个新的立体视觉数据集，以验证新方法的有效性。测试结果表明，该系统的Bad2.0匹配误差不到被动立体视觉系统的1/3。

▲ 论文提出的深度相机的效果，与现有的主动式深度传感系统Intel D435相比，输出的深度图具有更好的完整性，并且深度图和RGB图像是逐像素天然对齐的

- 03 -

精度优于0.15mm，重建元宇宙“数字人”

在演讲中，徐玉华博士还展示了奥比中光专门为高精度人脸三维重建设计开发的消费级深度相机Gemini Metric。由于采用了优化的硬件和高精度立体匹配算法，Gemini Metric可实现高几何精度、高保真纹理的三维人脸重建，精度优于0.15mm，可满足高质量数字人创建、医学美容整形等应用。

- 04 -

从入门到精通，奥比中光3D视觉课程上线

本次参展VALSE 2022，奥比中光3D视觉开发者社区现场带来《三维视觉：原理与实践》在线课程，为众多学子、开发者开启3D视觉世界大门。

该课程由奥比中光多位算法专家、资深算法工程师打造，系统地介绍了3D视觉的基本原理及应用实践。课程内容涵盖基础二维图像处理算法、深度学习方法、相机模型与标定、双目立体视觉、散斑结构光、飞行时间法（ToF）等三维成像原理与算法、基于点云的三维重建算法、基于RGBD相机和LiDAR的SLAM算法、3D人脸识别算法、RGBD图像分割算法、基于RGBD图像人体姿态估计、ROS机器人小车实战等，帮助学生、开发者在3D视觉领域实现从入门到精通的进阶。

▲ ‍百度搜索“3D视觉开发者社区”进入大讲堂板块，免费学习全系列课程

3D视觉感知技术已经深入大众的生活。在智能手机上，3D视觉感知被用于支付、解锁、照片美颜等。在移动机器人和无人机上，3D视觉感知被用于避障、定位、导航。在智能汽车行业，3D视觉感知被用于自动驾驶、辅助驾驶。在AR/VR、元宇宙等领域，3D视觉感知被用于人机交互、内容创作。

奥比中光是市场上为数不多能够提供全套自主知识产权3D视觉感知产品的企业，也是全球少数几家全面布局六大3D视觉感知技术路线的公司。目前，奥比中光已经构建起“全栈式技术研发能力+全领域技术路线布局”的3D视觉感知技术体系，重点赋能生物识别、机器人、智能终端、智能汽车、智慧家庭、数字孪生、AR交互等应用场景，为各行各业数字化智能化升级提供3D视觉感知技术支撑。