解密：“无中生有”的计算机视觉

计算机视觉（Computer Vision，CV）是一门研究如何使机器“会看”的科学。1963年来自MIT的Larry Roberts发表了该领域第一篇博士论文《Machine Perception of Three-Dimensional Solids》，标志着CV作为一门新兴人工智能方向研究的开始。在发展了50多年后的今天，我们就来聊聊最近让计算机视觉拥有“无中生有”能力的几个有趣尝试：

超分辨率重建；

图像着色；

看图说话；

人像复原；

图像自动生成。

可以看出，这五个尝试层层递进，难度和趣味程度也逐步提升。由于篇幅有限，本文在此只谈视觉问题，不提太过具体的技术细节，若大家对某部分感兴趣，以后再来单独写文章讨论。

超分辨率重建（Image Super-Resolution）

去年夏天，一款名为“waifu 2x”的岛国应用在动画和计算机图形学中着实火了一把。waifu 2x借助深度“卷积神经网络”(Convolutional Neural Network，CNN)技术，可以将图像的分辨率提升2倍，同时还能对图像进行降噪。简单来说，就是让计算机“无中生有”地填充一些原图中并没有的像素，从而让漫画看起来更清晰真切。大家不妨看看图1、图2，真想童年时候看的就是如此高清的龙珠啊！

图1 《龙珠》超分辨率重建效果。右侧为原画，左侧为waifu 2x对同帧动画超分辨率重建结果

图2 waifu 2x超分辨率重建对比，上方为低分辨率且有噪声的动画图像，左下为直接放大的结果，右下为waifu 2x去噪和超分辨率结果

不过需要指出的是，图像超分辨率的研究始于2009年左右，只是得力于“深度学习”的发展，waifu 2x才可以做出更好的效果。在具体训练CNN时，输入图像为原分辨率，而对应的超分辨率图像则作为目标，以此构成训练的“图像对”（Image Pair），经过模型训练便可得到超分辨率重建模型。waifu 2x的深度网络原型基于香港中文大学汤晓欧教授团队的成果（如图3所示）。有趣的是，这一研究指出可以用传统方法给予深度模型以定性的解释。在图3中，低分辨率图像通过CNN的卷积（Convolution）和池化（Pooling）操作后可以得到抽象后的特征图（Feature Map）。基于低分辨率特征图，同样可以利用卷积和池化实现从低分辨率到高分辨率特征图的非线性映射（Non-Linear Mapping）。最后的步骤则是利用高分辨率特征图重建高分辨率图像。实际上，这三个步骤与传统超分辨率重建方法的三个过程是一致的。

图3 超分辨率重建算法流程。从左至右依次为：低分辨率图像（输入）、经过若干卷积和池化操作得到的低分辨率特征图、低分辨率特征图经过非线性映射得到的高分辨率特征图、高分辨率重建图像（输出）

图像着色（Image Colorization）

顾名思义，图像着色是将原本“没有”颜色的黑白图像进行彩色填充。图像着色同样借助卷积神经网络，输入为黑白和对应彩色图像的“图像对”，但仅仅通过对比黑白像素和RGB像素来确定填充的颜色，效果欠佳。因为颜色填充的结果要符合我们的认知习惯，比如，把一条“汪星人”的毛涂成鲜绿色就会让人觉得很怪异。于是近期，早稻田大学发表在2016年计算机图形学国际顶级会议SIGGRAPH上的一项工作就在原来深度模型的基础上，加入了“分类网络”来预先确定图像中物体的类别，以此为“依据”再做以颜色填充。图4就分别展示了模型结构图和颜色恢复示例，其恢复效果还是颇为逼真的。另外，此类工作还可用于黑白电影的颜色恢复，操作时只需简单将视频中逐帧拿来做着色即可。