你有过水下拍摄照片的经历吗?你是否注意到水下拍摄的图片总是有些模糊甚至失真?这是由于光的衰减和反向散射效应导致水下能见度较低。
为了解决这个问题，哈尔滨工程大学的科研人员设计了一种机器学习算法用于生成逼真的水下图像，以及一种基于生成的图像进行训练从而实现自然色恢复和除雾的算法。团队表示该算法在图片处理质量和数量上都与顶尖技术水平相当，该算法每秒在单个显卡上处理的帧数可达125帧。
图：图像增强前后的水下目标探测结果。(A)真实的水下照片和(B)基于模型输出的真实照片。红色框内为扇贝，蓝色框内为海参，绿色框内为海胆。
团队表示大多数水下图像增强算法(例如调节白平衡算法)都不是基于物理成像模型构建的，因此算法的泛化能力较差。而该技术采用的方法是首先利用生成对抗网络(GAN)来生成一组特定调查地点的图像，再将这组图像输入给第二个算法，U-Net。其中GAN是一种由生成器构成的AI模型，用于使鉴别器在分类过程中将合成样本归类为真实样本。
团队运用3733个带标签的图像以及对应的深度地图训练GAN，图像主要包括扇贝、海参、海胆及其他水产养殖生物。他们还获得了包括NY Depth在内的公开数据集，该数据集总共包含数千张水下照片。
训练完成后，研究人员将双模型方法的结果与基线模型方法的结果进行对比。结果表明，该方法优势体现在两方面，一方面是颜色还原均匀，另一方面是可以在不破坏原始输入图像的底层结构的情况下很好地还原绿色色调的图像。通常情况下，该方法还能够在保持“适当的”亮度和对比度的同时还原颜色，这是其他图像增强方法所做不到的。
不过研究团队基于受损图片重建图像的方法并非首创。剑桥咨询公司的AI系统DeepRay用10万个静止图片来训练GAN网络，用来消除由不透明玻璃板导致的图片失真。开源的DeOldify计划采用了包括GAN的一系列AI模型来对旧照片和胶卷进行着色和还原。
此外，微软亚洲研究中心的科学家在去年九月详细介绍了一个用于给视频自动着色的端到端系统。去年英伟达的研究人员构建了一个框架，该框架仅基于一个带注释的着色视频帧就能推断颜色。并且谷歌的AI团队在去年六月推出了一种无需人工监督即可对灰度视频进行着色的算法。
