事件和普通图像如何精准对齐？试下分光镜吧！收藏

大家经常会问到的一个问题是，如何实现普通图像和事件的对齐？在产品层面，DAVIS240和346能够同时输出event和frame，CeleX5的不同模式也能输出两种数据但并不是同时，除此之外似乎并无他法。

实则不然，在论文中看到过采用分光镜（Beam Splitter，准确翻译应为“分束镜”，但这里称作“分光”更合适，因此下文统称“分光镜”）的方案但是这些论文只是一句“我们用分光镜啦”，但并没有说很多细节即背后可能遇到的问题。

分光镜基本原理分光镜基本原理如下图：一束光线射入后，可以分成两束，这玩意在光学实验中用得很多。分出的两束光可以是偏振的、能量不同的，也可以是完全相同的。

但是相机使用，会有哪些问题？本人咨询过厂商和做光学的同学，他们表示想象不出来相机拍摄会有什么问题，而搞相机镜头的人也不清楚这玩意怎么和镜头搭配于是只能自己硬着头皮踩坑参考方案最初，我是看到了这篇论文[1]的图片关注到的分光镜，通过图片上面的名牌参数，搜到了产品并研究原理。

可以看出，下图中分光镜后方有两个相机分别是事件相机和普通相机也就是说，这种方案是，首先把场景光分出两部分，然后分别由镜头接收我们这里称作“方案1”

后来，又看到了这篇论文[2]的方案2如下图，用了两个分光镜，因此可以由3个相机进行接收但问题是，图中还出现了一个Relay Lens，而且分光镜和相机之间并没有连接镜头（上图中方案1可以明显看到镜头的光圈、对焦环等）。

那么，这个Relay Lens是什么？于是我又问了一些搞光学的同学，同学们表示：“你到底在搞什么？”后面找到了下面这幅图解释中继镜原理（由于我不搞光学，解释原理可能不准确，但认为不影响理解；如有原理性错误，请批评指正）。

物镜对焦后，光心到焦平面的距离是很短的，但有时我们实际的感光芯片很远，因此需要一步“中继”比如，一些内窥镜就是在经过镜头后再过中继镜传到了末端

因此了解原理后再看平台搭建图。方案2在经过中继镜聚焦后再经过的分光镜，因此需要中继镜到所有相机感光芯片的距离一致，否则会对不上焦。也就是说，下图中红绿黄三个箭头的长度必须是一样的！

方案选择与实际制作那么这两种方案应该选哪一种呢？对比之下，我选了方案1原因有2：中继镜这玩意，我找了半天没有找到合适的厂商提供（不清楚这玩意到底什么领域用的多），怕有坑；2. 自己没有精密的光学器件，怕不好控制中继镜到后面3个相机距离相等。

但方案1还是有缺陷的，那就是镜头的视角FoV不能太大，因为分光镜尺寸限制，FoV太大会无法完全被分光镜覆盖例如，采用2.5立方厘米的分束立方，12mm镜头，拍视频如下，可以发现存在一个严重的对焦问题：对焦中心区域时，分束立方侧面反光但是失焦的产生弥散圆，会对区域的成像造成影响。

如果是经过2次分光，FoV会更小（因此方案2采用了前端加中继镜，那样的FoV是中继镜或其前方物镜的FoV）

（12mm镜头拍摄经过分光镜后的图像）上面提到了分束立方，如左下图，上面两篇论文用的都是这玩意；还有一种东西叫“分光平面”，右下图。  

（图：分光立方和分光平面）二者都可以进行分光，但有一些区别分束立方，只有一个分光面（45°对角线处），因此成像质量较好，但每个侧面会出现镜像反射（上面解释的），同时价格较高；体积一般在2-2.5立方厘米左右，限制了镜头的FoV不能太大（实测18mm焦距镜头怼到分束立方后面才基本ok）；分光平面，在光入射和出射都会发生一次反射有可能会造成虚影（但一般一侧镀膜降低这种影响），价格低且尺寸更大（淘宝能轻易买到5平方厘米的），而且不会发生立方的侧面发光问题。

买回来以后，具体的安装固定，可以参考上面两篇论文，采用做光学的整套设备，但这种成本太高也可以采用[3]这篇论文的方法，直接3D打印固定，如下图：

在安装时，有些注意事项或提醒：自测采用3D打印件安装分光镜和相机，精度也ok；分光镜除入射和出射方向外，其他面尽量全部遮挡不透光，避免其他光线干扰；分光平面尽量保证45°安装，后续相机对准；经过一步简单的光学校准消除细微误差：放一个棋盘格，计算两个相机拍摄图像的单应性矩阵，然后对齐；分光立方、分光平面都有偏振/非偏振等多种型号，选择非偏振；淘宝上最便宜的分光平面精度就够（小几百），不需要买很贵的。

（本文来源于事件相机，作者larrydong）

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。