机器视觉与多频谱图像融合

这个世界的频谱很宽很宽，频段从10的-14次方到10的-4次方，而人可见的波段实际上只用了400到800纳米世界上任何物体在发射波也在反射波，波段非常丰富，人类却只能看到的是很少的波段传感器也是做了很小的一个波段，有没有办法识别一只狗，除了可见的东西，还有没有不可见的东西？比如在红外光线下，在近波红外光线下，在远波红外光线下是否可以看到我们看不到的东西。

? ?人在在黑夜没有任何可见光的情况下，视觉是失灵的，但是机器是可以看到的，因为机器可以感知其他波段，如机器可以感知长波红外（平时说的热成像），只要物体还在散发热量，如看的是狗，这只狗还是活着的，就会对外散发热量，长波红外就可以感知到这只狗，这就是机器视觉有超过人类视觉的潜力所在，因为机器感知的频段比人类要宽的多。

? ?是否可以做一个全频谱的传感器？就像在本文的其他系列文章中提到的，和rggb阵列一样，做全频谱的覆盖现在还不行，传感器是基于光电效应工作，不存在一种金属材料可以对所有频段的波产生光电效应，只能针对某一个波段传感器采用某种金属底片进行光电效应，业内采用比较多的如上图示例中rgb是visible波段的波，也坑是短波红外的波，也可能是长波红外。

机器和长中短红外波融合的好处和问题，如：l 近波红外（near infrared【nir】） ? ?nir已经应用在自动驾驶中人脸识别或则驾驶员监控，nir很好的特性是在传统的cmos传感器不需要做大的更迭，传统cmos下的硅底就是金属底片本身就对nir产生光电效用，只要改掉上面的CFA(color filter array)，它的缺点是依赖物体反光，清晰度差。

l Short wave infrared（swir）短波红外 ? ?解决提高近波红外清晰度和光电效应比较弱的问题，可以用短波红外（swir）但是swir的缺点，一是金属底片很难制备，成本也高，低光效果很好，二是法律问题，因为大量的short wave infrared是军事应用。

例如导弹，高频率夜视工具等都是用的swir在民用领域，如无人驾驶还不能使用短波红外l middle infrared（mwir）中波红外 ? ?中波红外受到法律限制少，因为中波红外有明确的工业用途，对针对工业漏气检测，如天然气泄露等某种有害气体泄漏。

中波红外还可以隔着金属检测是否存在化工液体中波红外在工业领域应用很多，但是在无人驾驶中应用不多，因为无人驾驶车只会检测前方是否存在金属障碍物，而不是检测金属障碍物后面是否有有毒液体或者气体l Long wave infrared（lwir）长波红外 ? ?他就是热成像，lwir不需要外来的光照，只要物体本身发热就可以成像。

它的缺点，一是受到法律法规限制，不管是美国中国都有出口限制，都有技术壁垒，暂时民用有困难，长波红外在美国的限制是只要大于9赫兹，长波红外的成像工具都不能出口，二是噪音很大，要想把lwir做好，成本极高，难度极大。

? ?有着么多难点，那如何做呢？当前已经有人在做，安森美在做rgbir传感器，它把里面的一个bayer patent，把一个r的patent，一个g的patent，变成I patent，它就可以白天用rgb，晚上用ir，就做到了全工况都可以使用。

服务于机器视觉的传感和成像研究方向l 打破传感器感性指标 ? ?现在的传感器的线性指标很重要，但是我们未必需要传感器发出的电压和光照强度成正比如果你希望将feature map kernel化，只要针对感兴趣的那部分，discrimination高就好了，我们能不能设置一种传感器不需要显性，而是有kernel特征化，它的线可以是弯弯曲曲，因为它对识别效果非常好。

l 基于端到端的机器学习方法 ? ?完全跳过isp，不基于人的视觉标准，就是输入一个14bit的原图，通过网络就可以输入识别结果，完全跳过ispl 多传感器，多频谱融合全频段感知l 制定给予视觉的图像质量标准 ? ?现在已经有了人的视觉质量标准，是否制定一套针对机器的视觉质量标准。

我们找了很久，现在看暂时没有在欧洲有一些零散的标准，但还不是完全服务机器视觉方向的如果有一套服务于机器的识别，分类，那我们会省去传统传感器，isp厂商的很多工作甚至说没有isp厂商的工作，就剩下传感器的工作。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。