杂谈光场相机的不足、优势、应用和展望（下）收藏

也正如前文指出的那样，光场相机因为它独特的成像特性，在某些To B端领域得到了落地应用，成为在某些特定场景中具有性能优势的一个技术解决方案这里的“强”和前面的“弱”，实则为光场相机同一技术特性的阴阳两极。

作为“阵列”型传感器中的一种，它在空间分辨率和角度分辨率中的折衷主义设计，决定了它性能“两头不靠”， 却又“多面能手”光场相机的定义虽然范畴很小，但是“芥子纳须弥”这个概念上十分简洁的设备，即一块主透镜、一个微透镜阵列和一个感光芯片就构成了的光场相机，与很多其他技术相结合，诞生了诸多设备变种，被应用在不同场景需求中。

可以认为它很简单，简单到从事计算机视觉的研究工作者，可以不用过多地去理会成像过程中的光学内涵和物理过程，仅凭借着傍轴近似条件下的几何光学，就可以开展应用性研究；但是也可以认为它很复杂，从几何光学到波动光学，从相干照明到部分相干照明， 即使是光学专业科班出身的科研工作者，对它的成像过程和性质，也难以建立一个完备的数学描述。

优势篇光场相机的优点，一言以蔽之，它快速、它灵活、它多变光场相机最多的应用场景，目前主要集中在3D成像领域，特别是深度估计、3D光强场的逆向重构两大方面3D成像领域，有很多其他技术方案，多目视觉、激光点阵扫描、TOF飞行时间法、全息术、相位恢复、结构光…… 光场相机与这些方案对比，成像速度和信息解算速度快，同时保留了被探测物体的灰度值信息（波长、强度）， 同时也记载了多视角信息（空间频率）。

光场相机由于灵活的特点，也可以和这些方案中的一些技术进行组合， 衍生“混血儿”它的独特之处，在于以下几个方面：1.密集的多视角由于光场相机中，视角数目，等于单个微透镜下的像素数目，而这一数字，目前达到了三位数的数量级，因此相较于传统多目相机阵列（抛开图1中斯坦福的极端烧钱案例，一般的多目系统相机都是个位数），光场相机在视角的密集程度（即视角分辨率）上，具有明显的优势。

图1相机阵列和光场相机的结构对比(by Kurt Akeley，Light-Field Imaging Approaches Commercial Viability, 2015)密集的视角，既为重聚焦、基于EPI的深度估计提供了技术上的可行性，成为这些后续技术的一个前期铺垫环节， 而且它本身，就有着独特的应用价值。

比如，在手机玻璃盖板的工业检测上，为了检测手机屏幕上的质量瑕疵，一种传统的解决方法，就是工人利用肉眼、一天八小时对着强光并反复从各个角度检查瑕疵这种To C产品的检测需要尽可能地降低漏检率，提高成品率，参见毁掉三星手机诺大声名的其实只是百万块手机电池中的一块。

瑕疵由于对光线的反射或者折射特性变得十分隐蔽，只有在特定视角下，才可以显现如果利用传统二维相机进行扫描，视角移动设备复杂，也不具备时效性；利用人工肉眼检测，对工人的健康不人道丰富的视角属性，为光场相机探测这些瑕疵赋予了快捷、准确的属性。

图2 检验玻璃盖板缺陷流水线上的工人（央视纪录片“科学的力量” Episode 5）2.结构的紧凑性对比图1中，两种光场技术的系统尺寸大小，光场相机的结构紧凑性，不言而明光场相机结构的紧凑性，带来两点收益：光场相机适合在空间光学观察窗口受限条件下对目标进行观测；光场相机容易与其他附加光路结合，构成另外一种应用方式。

图3 光场相机应用于燃气轮机的内涵道激光粒子图像测速（来源于网络-小梅）光学窗口受限的典型情况，就比如旋转机械中流场的观测，为了尽量降低光学窗口对机匣中气体流动的影响，以及降低结构强度，光学窗口一般数目都很少，大小有限。

后者的一个典型案例，就是光场相机在生物显微方向的应用，通过附加光路，不用太复杂的设备，即可完成成像系统的改造3.快速的宽视场体成像这一特点，在光场相机的显微成像中被反复提起由于光场相机仅需要单次拍摄，就可以记录光场信息，因此方便快速地完成对被观测物体的3D图像采集。

在生物显微领域，光场相机的应用极大地降低了标本的活性时间要求其他很多传统的3D成像技术，要求活体标本保持位置和姿态固定（想象下病人去扫描CT核磁共振的时候，一动不动，那带壳的长寿动物犹不能及），而光场相机速度快的优势，使得它甚至可以被用来检测运动状态下的被检测活体[1]，比如游动的细菌、运动中的老鼠，这种场景在传统医学成像领域基本上是不可能出现的。

图4 基于光场相机的三维成像显微镜 （Prevedel, Simultaneous whole-animal 3D imaging of neuronal activity using light-field microscopy. 2014.）

4.“一鱼多吃”，光场信息的多种解读光场相机由于是记录了光线的方向和坐标等四维信息，因此基于对光场的不同解读方式，可以形成对光场图像的不同利用方法典型的解读方法有：a.重聚焦，形成了一系列focal stack图片。

这种解读，可以了解为被观测物体，在一个定焦透镜不同轴向位置处的图像变化focal stack目前主要的应用，是被利用在深度估计上，也可以应用它进行对被观测物体的相位恢复利用不同轴向位置处的图像锐度，可以判定被观测物的空间位置。

和其他利用focal stack的技术相比，比如机械式的移动被观测物， 或者最新大火的液体快速变焦透镜（华为P50预告），光场相机获得focal stack是通过一次拍摄，后续处理得到的，更具备时效性，所拍即所得 （当然空间分辨率上，其他focal stack技术更好，时间换空间）。

图5 光场相机利用重聚焦形成的focal stack (Takahashi,  From focal stack to tensor light-field display. 2018.)b. 多视角图像，形成了密集分布的不同视角下的图片。

 在此情形下，光场相机即可以退化为传统的多目视觉，因此主要用途依旧是深度估计，用来观测物体的形貌但是由于光场相机的视角密度很高，因此一个更合理的利用方式，是利用多视角图像的EPI(epipolar plane image), 探测特定目标区域的EPI的斜率变化，从而得到深度信息。

图6 光场相机多视角图像形成的EPI信息（Teixeira, Epipolar based light field key-location detector. 2017c. 点扩散函数的利用光场相机的点扩散函数PSF，会随着点光源在轴向的位置而发生改变。

在空间域看，随着点光源离焦程度的加深，更多的微透镜被照亮，点光源仿佛散作满天星在频率域看，不同空间频率分量上的频谱分布发生了改变这种PSF随着空间位置发生变化的属性，与点扩散函数工程领域的方法，有着异曲同工之妙。

在点扩散函数工程领域，PSF被人为调制，使得物点在不同空间位置上的像图案呈现不同规律，比如涡旋光束导致图案会根据沿光轴位置，旋转不同角度[2]光场相机的PSF也呈现出不同特征、但思路相仿的特点，通过探测、校准PSF, 利用反卷积技术，可以利用图像重构物方三维空间中的光强分布。

这一方法，在光场的显微三维成像领域中，受到了广泛的应用

图7 光场显微中的PSF和反卷积应用（Broxton, Wave optics theory and 3-D deconvolution for the light field microscope. 2013）

d. 波前传感与相位探测光场相机的前身，有另外一个名字，哈特曼-夏克传感器，这一仪器，主要被用于探测光波的波前和相位分布这一传感器的工作原理的简要介绍，可以参见如下的中文链接但凡波前探测的领域，都可以见到这一相机的应用场景，比如自适应光学中，探测大气湍流造成的波前畸变，消除像差从而提高天文观测的成像质量，光学仪器的瑕疵检测，激光光束的波前探测.于军于民，基于光场相机的波前探测也是一个小的研究热点。

图8 光场相机被应用于波前探测（Chen, Ni, et al. 3D imaging based on depth measurement technologies. Sensors 18.11 (2018): 3711.）

上面，可以看到利用了上述优点，拓展光场相机应用领域的案例在外观检测、被加工零件的形貌误差等方面，光场相机都有着独特的优势尽管光场相机的空间分辨率较低，但是这一问题，有望随着感光芯片的技术进步而解决机器阅读并去理解图像，对空间分辨率的需求不一定需要很高，达到人审美需求的那种程度。

总的来说，光场相机具备结构简单的属性，使得它可以快速成像、并对光场数据进行快速解算同时，由于对光场信息的存在不同解读方法，光场相机可以拓展到很多不同应用领域， 形成一个复杂和庞大的成像应用系列技术，这也就是为什么尽管光场相机已经在To C端偃旗息鼓，但仍然有新的火花，在知识森林中被点燃。

（文章来源于网络，如有侵权，请联系删文）

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。