用于重建水下图像颜色的方法和装置与流程

本发明涉及图像处理领域，尤其涉及一种基于光线衰减和反向散射模型来重建水下图像颜色的方法和装置。

背景技术：

随着图像技术的发展，越来越多的水下作业需要采集和分析水下图像数据。然而，由于不同波长的光线在水下具有不同程度的衰减和散射，导致水下图像出现质量退化情况，会出现整体偏蓝、偏绿或偏黄而丢失部分色彩，并伴随能见度下降，影响人员观察或计算机图像分析效果。因此，在采集到水下图像后，需要对水下图像进行颜色重建。

目前的许多水下图像颜色重建模型假设每个颜色通道的散射系数在相机感光范围内是恒定的。然而这种成像模型并不符合真实的水下环境成像规律。此外，目前的相关研究中都假设各颜色通道的衰减系数为全局常数，未考虑衰减系数随成像物体与相机之间的距离而变化，从而不利地影响重建效果。

针对现有水下图像颜色重建方法中的问题，期望提供一种改进的水下图像颜色重建方法。

技术实现要素：

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在标识出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是以简化形式给出一个或多个方面的一些概念以作为稍后给出的更详细描述之序言。

本发明提供了一种用于重建水下图像颜色的方法，包括：获取第一图像，该第一图像表示图像采集设备在水下场景中拍摄到的图像；从第一图像获得距离图z，其中距离图z中的像素指示图像采集设备与水下场景中实际成像对象之间的距离z，并且其中，距离图z中的像素与第一图像中的像素一一对应；基于距离图z来计算水下环境光、反向散射系数和衰减系数，其中反向散射系数因变于距离z，并且衰减系数因变于距离z；基于水下环境光、反向散射系数和衰减系数来计算第二图像；对第二图像进行全局白平衡，获得第三图像；以及输出第三图像。

在一个实施例中，计算第二图像可以进一步包括求解下式：。

在一个实施例中，距离图z可以通过以下至少一者来获得：运动恢复结构、双目视觉或深度传感器。

在一个实施例中，基于距离图z来计算水下环境光和反向散射系数可以进一步包括：对距离图z中的所有像素从极小值到极大值进行排序以获得第一经排序像素集合；将第一经排序像素集合等分为多个第一经排序像素子集；对于每个第一经排序像素子集，对第一图像中的对应像素从极小值到极大值进行排序以获得第二经排序像素集合，并选择第二经排序像素集合中从极小值开始的预定比例的像素作为第二经排序像素子集；将与该多个第一经排序像素子集相等数目的多个第二经排序像素子集组合成图像子集；通过进行最小误差拟合，计算出水下环境光和反向散射系数，其中表示图像子集处的反向散射信号估计，并且，其中)表示因变于与图像子集中的像素相对应的距离z的反向散射系数。

在一个实施例中，将第一经排序像素集合等分为多个第一经排序像素子集可以包括：将第一经排序像素集合等分为5至20个第一经排序像素子集。

在一个实施例中，将第一经排序像素集合等分为多个第一经排序像素子集可以进一步包括：将第一经排序像素集合等分为10个第一经排序像素子集。

在一个实施例中，选择第二经排序像素集合中从极小值开始的预定比例的像素作为第二经排序像素子集可以包括：选择第二经排序像素集合中从极小值开始的0.1%~5%的像素作为第二经排序像素子集。

在一个实施例中，选择第二经排序像素集合中从极小值开始的预定比例的像素作为第二经排序像素子集可以进一步包括：选择第二经排序像素集合中从极小值开始的1%的像素作为第二经排序像素子集。

在一个实施例中，基于距离图z来计算衰减系数可以包括基于下式来计算衰减系数：。其中a、b、c、d为通过以下步骤求解出的常数：基于局部光源估计和距离图z来计算衰减系数初始估计；基于局部光源估计和衰减系数初始估计来计算距离估计；进行最小误差拟合，计算出a、b、c、d。

在一个实施例中，局部光源估计可以使用以下至少一种方法来计算：retinex方法、或lsac方法。

在一个实施例中，对第二图像进行全局白平衡可以进一步包括求解下式：。其中表示水下环境光中图像采集设备的白点，并且能够通过统计学方法或机器学习方法获得。

本发明还提供了一种用于重建水下图像颜色的装置，包括：存储器；以及耦合到该存储器的处理器，该处理器被配置成：获取第一图像，第一图像表示图像采集设备在水下场景中拍摄的图像；从第一图像获得距离图z，其中距离图z中的像素指示图像采集设备与水下场景中实际成像对象之间的距离z，并且其中，距离图z中的像素与第一图像中的像素一一对应；基于距离图z来计算水下环境光、反向散射系数和衰减系数，其中反向散射系数因变于距离z，并且衰减系数因变于距离z；基于水下环境光、反向散射系数和衰减系数来计算第二图像；对第二图像进行全局白平衡，获得第三图像；以及输出第三图像。

本发明还提供了一种用于重建水下图像颜色的系统，包括：图像获取模块，其被配置成：获取第一图像，第一图像表示图像采集设备在水下场景中拍摄的图像；模型参数计算模块，其被配置成：从第一图像获得距离图z，其中距离图z中的像素指示图像采集设备与水下场景中实际成像对象之间的距离z，并且其中，距离图z中的像素与第一图像中的像素一一对应；基于距离图z来计算水下环境光、反向散射系数和衰减系数，其中反向散射系数因变于距离z，并且衰减系数因变于距离z；中间图像生成模块，其被配置成：基于水下环境光、反向散射系数和衰减系数来计算第二图像；白平衡模块，其被配置成：对第二图像进行全局白平衡，获得第三图像；以及图像输出模块，其被配置成：输出第三图像。

本发明的水下图像颜色重建方法考虑反向散射系数和衰减系数随成像物体与相机之间的距离而变化，将反向散射系数和衰减系数视为距离的函数，从而更加符合现实物理模型，重建后的图像更趋近于真实水下图像。

附图说明

结合附图理解下面阐述的详细描述时，本发明的特征、本质和优点将变得更加明显。在附图中，相同附图标记始终作相应标识。要注意，所描述的附图只是示意性的并且是非限制性的。在附图中，一些部件的尺寸可放大并且出于解说性的目的不按比例绘制。

图1示出了根据本发明的各方面的用于重建水下图像颜色的方法流程图。

图2示出了根据本发明的各方面的基于距离图来计算水下环境光和反向散射系数的方法流程图。

图3示出了根据本发明的各方面的基于距离图来计算衰减系数的方法流程图。

图4示出了根据本发明的各方面的用于重建水下图像颜色的系统的框图。

图5示出了根据本发明的各方面的包括用于重建水下图像颜色的系统的设备框图。

图6示出了根据本发明的各方面的使用本发明的方法来重建水下图像颜色的示例结果图。

图7示出了根据本发明的各方面的使用基于暗通道先验的方法与使用本发明的方法来重建水下图像颜色的示例结果比较图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图对本发明进一步详细说明。在以下详细描述中，阐述了许多具体细节以提供对所描述的示例性实施例的透彻理解。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节中的一些或全部的情况下实践所描述的实施例。在其它示例性实施例中，没有详细描述公知的结构，以避免不必要地模糊本公开的概念。应当理解，本文所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。同时，在不冲突的情况下，实施例所描述的各个方面可以任意组合。

本发明的目的在于提出更趋近于真实的水下成像模型和基于改进模型的水下图像颜色重建方法。

目前普遍接受的水下成像模型如下：

(1)

其中指代r、g、b颜色通道，为图像采集设备（例如，相机）采集到的颜色信号，为光线衰减后的场景颜色信息（称为直接信号），为反向散射信号，是一种由水体中悬浮粒子反射光导致图像退化的加性信号。

本发明的水下图像颜色重建方法对式(1)进行了扩展，得到式(2)：

(2)

其中为距离图z中的像素，其指示相机与拍摄场景中实际成像对象之间的距离。距离图z的尺寸与所采集的图像大小相同。为水下环境光，是假设场景中无衰减时相机拍摄到的原始场景信号，和分别为衰减系数和反向散射系数。是颜色重建所需的信号。

基于式(2)，希望通过相机拍摄图像求解出。将式(2)变形得到式(3)：

(3)

从式(3)可知，通过计算出距离图z、水下环境光、反向散射系数和衰减系数，即可求解出颜色重建所需的信号。随后，对信号进行全局白平衡，得到颜色重建后的最终图像。

为了更好地理解本发明，下面结合附图和具体实施例来解说本发明的各个方面。

图1示出了根据本发明的各方面的用于重建水下图像颜色的方法100的流程图。

方法100开始于步骤105。在步骤105，获取第一图像，其中该第一图像表示图像采集设备（例如，相机）在水下场景中拍摄的图像。

在步骤110，从第一图像获得距离图z。距离图z中的像素指示图像采集设备与水下场景中实际成像对象之间的距离z。另外，距离图z的大小与第一图像的大小相同，并且距离图z中的像素与第一图像中的像素一一对应。距离图z可以通过运动恢复结构（structurefrommotion，sfm）、双目视觉或深度传感器等成熟方法获得。

接着，基于距离图z来计算水下环境光、反向散射系数和衰减系数，其中反向散射系数因变于距离z，并且衰减系数也因变于距离z。

具体而言，在步骤115，基于距离图z来计算水下环境光和反向散射系数。在步骤120，基于距离图z来计算衰减系数。步骤115和120的详细过程分别在图2和图3中进行描述。

虽然在图1中示出了计算衰减系数（步骤120）是在计算水下环境光和反向散射系数（步骤115）之后执行的，但应理解，在替换实施例中，计算衰减系数也可以在计算水下环境光和反向散射系数之前执行、或并行地执行。

在步骤125，基于步骤115和120中计算出的水下环境光、反向散射系数和衰减系数来计算第二图像，其中。

在步骤130，对第二图像进行全局白平衡，获得第三图像。

在一些实施例中，对第二图像进行全局白平衡可以包括求解下式：

其中表示水下环境光中图像采集设备的白点，并且能够通过统计学方法或机器学习方法获得。

在步骤135，输出第三图像，完成对水下图像颜色的重建。

图2示出了根据本发明的各方面的基于距离图来计算水下环境光和反向散射系数的方法200的流程图。

方法200开始于步骤205。在步骤205，对距离图z中的所有像素从极小值到极大值进行排序以获得第一经排序像素集合。

在步骤210，将第一经排序像素集合等分为多个第一经排序像素子集。

优选地，可以将第一经排序像素集合等分为5至20个第一经排序像素子集。更优选地，可以将第一经排序像素集合等分为10个第一经排序像素子集。在其他实现中，也可以将第一经排序像素集合等分为其他适当数目的第一经排序像素子集。

在步骤215，对于每个第一经排序像素子集，对第一图像中的对应像素从极小值到极大值进行排序以获得第二经排序像素集合，并选择第二经排序像素集合中从极小值开始的预定比例的像素作为第二经排序像素子集。例如，对于rgb图像，可以取对应像素点的rgb值作为像素值来进行排序。

优选地，该预定比例是第二经排序像素集合中0.1%~5%的像素。更优选地，该预定比例是第二经排序像素集合中1%的像素。在其他实现中，该预定比例也可以是第二经排序像素集合中其他适当比例的像素。

在步骤220，将与该多个第一经排序像素子集相等数目的多个第二经排序像素子集组合成图像子集。

由于在图像子集处颜色极暗，因此。基于式(1)，可以得出，其中表示图像子集处的反向散射信号估计，并且，其中)表示因变于与图像子集中的像素相对应的距离z的反向散射系数。

在步骤225，通过进行最小误差拟合，计算出水下环境光和反向散射系数。在一些实施例中，该最小误差拟合可以采用非线性最小二乘拟合。在其他实施例中，该最小误差拟合也可以采用其他适当的最小误差拟合方法。

在方法200中，考虑到反向散射信号随相机与成像物体之间的距离z而变化，将反向散射系数视为因变于距离z，从而更加符合现实物理模型。

图3示出了根据本发明的各方面的基于距离图来计算衰减系数的方法300的流程图。

在本发明中，将衰减系数视为距离的函数。将两者之间的解析关系表示为两项指数形式，如下式所示：

(4)

其中a、b、c、d为待解常数参数。由此可见，通过求解出常数参数a、b、c、d，即可计算出衰减系数。

方法300开始于步骤305。在步骤305，获得局部光源估计。表示针对整个图像的局部光源估计，并且图像中的每个像素具有一个对应的局部光源估计值。在一些实现中，局部光源估计可以使用retinex方法（land,e.h.和mccann,j.j.，1971.lightnessandretinextheory.josa,61(1),pp.1-11）来计算。在一些实现中，局部光源估计可以使用lsac（localspaceaveragecolor）方法（ebner,m.和hansen,j.，2013.depthmapcolorconstancy.bio-algorithmsandmed-systems,9(4),pp.167-177）来计算。在另外的实现中，局部光源估计可以使用其它合适的方法来计算。

在步骤310，基于局部光源估计和距离图z来获得衰减系数初始估计，如下式(5)所示：

(5)

其中z为距离图z中的像素所表示的距离。

在步骤315，基于局部光源估计和衰减系数初始估计来计算距离估计。

具体而言，首先将衰减系数初始估计代入上式(4)，得到参数a、b、c、d的初始解。

接着，将参数a、b、c、d的初始解代入上式(4)，得到的一个解（本文中将其称为的中间解）。

随后，通过的中间解和局部光源估计来计算距离估计，如下式(6)所示：

(6)

在步骤320，通过进行最小误差拟合，计算出常数参数a、b、c、d的最终解。在一些实施例中，该最小误差拟合可以采用非线性最小二乘拟合。在其他实施例中，该最小误差拟合也可以采用其他适当的最小误差拟合方法。

在步骤325，基于常数参数的最终解来计算出衰减系数的最终解。具体而言，将a、b、c、d的最终解代入上式(4)，求解出最终的衰减系数。

在方法300中，将衰减系数视为距离z的函数，考虑到了衰减系数随距离而变化的特性，从而更加逼近于真实的水下成像规律。

图4示出了根据本发明的各方面的用于重建水下图像颜色的系统400的框图。

参见图4，系统400可以包括图像获取模块405、模型参数计算模块410、中间图像生成模块415、白平衡模块420、以及图像输出模块425。这些模块中的每一者可在一条或多条总线430上直接或间接地彼此连接或通信。

在本发明的各实施例中，图像获取模块405可被配置成：获取第一图像，其中该第一图像表示图像采集设备在水下场景中拍摄的图像。

模型参数计算模块410可以基于第一图像来计算图像颜色重建模型所需的各个参数。具体而言，模型参数计算模块410可被配置成：从第一图像获得距离图z，其中距离图z中的像素指示图像采集设备与水下场景中实际成像对象之间的距离z，并且其中，距离图z中的像素与第一图像中的像素一一对应；基于距离图z来计算水下环境光、反向散射系数和衰减系数，其中反向散射系数因变于距离z，并且衰减系数也因变于距离z。

中间图像生成模块415可以基于图像颜色重建模型的各个参数来生成中间图像。具体而言，中间图像生成模块415可被配置成：基于水下环境光、反向散射系数和衰减系数来计算第二图像，其中。

白平衡模块420可被配置成：对第二图像进行全局白平衡，获得第三图像。

图像输出模块425可被配置成：输出第三图像，完成图像颜色重建。例如，图像输出模块425可将第三图像输出到显示设备（诸如计算机显示器）以供后续观察或分析。

图5根据本发明的各方面的包括用于重建水下图像颜色的系统的设备500的框图。该设备示出了一般硬件环境，可在其中根据本发明的示例性实施例应用本发明。

现在将参照图5描述设备500，其是可以应用于本发明的各方面的硬件设备的示例性实施例。设备500可以是被配置为执行处理和/或计算的任何机器，可以是但不限于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数字助理（pda）、智能电话、或其任何组合。上述系统可以全部或至少部分地由设备500或类似设备或系统实现。

设备500可包括可以经由一个或多个接口与总线520连接或与总线520通信的组件。例如，设备500可包括总线520、处理器505、存储器510、输入设备525、以及输出设备530等等。

处理器505可以是任何类型的处理器，并且可包括但不限于通用处理器和/或专用处理器（例如特殊处理芯片）、智能硬件设备（例如，通用处理器、dsp、cpu、微控制器、asic、fpga、可编程逻辑器件、分立的门或晶体管逻辑组件、分立的硬件组件、或其任何组合）。在一些情形中，处理器505可被配置成使用存储器控制器来操作存储器阵列。在其他情形中，存储器控制器（未示出）可被集成到处理器505中。处理器505可以负责管理总线和一般性处理，包括执行存储在存储器上的软件。处理器505还可以被配置成执行本文中所描述的与水下图像颜色重建相关的各种功能。例如，处理器505可被配置成：获取第一图像，该第一图像表示图像采集设备在水下场景中拍摄的图像；从第一图像获得距离图z，其中距离图z中的像素指示图像采集设备与水下场景中实际成像对象之间的距离z，并且其中，距离图z中的像素与第一图像中的像素一一对应；基于距离图z来计算水下环境光、反向散射系数和衰减系数，其中反向散射系数因变于距离z，并且衰减系数因变于距离z；基于水下环境光、反向散射系数和衰减系数来计算第二图像；对第二图像进行全局白平衡，获得第三图像；以及输出第三图像。

存储器510可以是可实现数据存储的任何存储设备。存储器510可包括但不限于磁盘驱动器、光学存储设备、固态存储器、软盘、软盘、硬盘、磁带或任何其他磁介质、光盘或任何其他光学介质、rom（只读存储器）、ram（随机存取存储器）、高速缓冲存储器和/或任何其他存储器芯片或盒、和/或计算机可从其读取数据、指令和/或代码的任何其他介质。存储器510可存储包括计算机可读指令的计算机可执行软件515，这些指令在被执行时使得处理器执行本文中所描述的各种功能。存储器510可以具有用于实现本文中所描述的与水下图像颜色重建相关的各种功能的各种数据/指令/代码。

软件515可被存储于存储器510中，包括但不限于操作系统、一个或多个应用程序、驱动器和/或其他数据和代码。用以执行本文中所描述的各种功能的指令可被包括在一个或多个应用程序中，并且设备500的各组件可由处理器505读取并执行一个或多个应用程序的指令来实现。在一些情形中，软件515可以是不能由处理器直接执行的，而是可以（例如，在被编译和执行时）使计算机执行本文中所描述的与水下图像颜色重建相关的各种功能。

输入设备525可以是可以用于输入信息的任何类型的设备。

输出设备530可以是用于输出信息的任何类型的设备。在一种情形中，输出设备530可以是可显示信息的任何类型的输出设备。

图6示出了根据本发明的各方面的使用本发明的方法来重建水下图像颜色的示例结果600。

在图6的示例中，使用nikond90相机在水下10米深度拍摄颜色标定板，连续采集68帧后，通过sfm技术恢复其距离图z。随后通过非线性最小二乘拟合方法计算得到反向散射系数和环境光。另外，使用retinex方法计算得到局部光源估计，进而得到衰减系数。接着使用机器学习方法计算相机白点，进行全局白平衡处理，最终得到水下图像颜色重建结果。重建结果与原图对比如图6所示，其中(6a)为原始水下图像，(6b)为使用本发明的方法的水下图像颜色重建结果。

图7示出了根据本发明的各方面的使用基于暗通道先验（darkchannelprior）的方法与使用本发明的方法来重建水下图像颜色的示例结果比较700。

对两幅颜色失真的水下图像使用基于暗通道先验的方法和本发明的方法分别进行增强重建，重建结果如图7所示。(7a)列为原始图像（即，相机拍摄的图像，其中“d1_3119”和“d2_3681”表示相机所拍摄的不同图像帧的帧号），(7b)列为使用基于暗通道先验的方法的重建结果，(7c)列为使用本发明的方法的重建结果。

在基于暗通道先验的方法中，由于对于反向散射信号的估计是基于颜色空间上的暗通道假设的，并非基于实际的距离图，因此对于反向散射信号的估计产生了过冲，导致重建结果出现了明显的亮度偏暗。以外，在一些区域出现颜色偏红现象，其原因是通常水下图像整体色调偏蓝绿，在rgb空间中反向散射信号中的b和g分量明显多于r分量，因此过冲估计导致的错误在蓝绿颜色上更为显著。由于重建过程中存在从观测信号减去的过程，所以在重建结果中，过度削弱绿色和蓝色信息，红色信息相对保留较多，产生颜色偏红错误。

在本发明的水下图像颜色重建方法中，将反向散射系数视为距离z的函数，更加符合现实物理模型，因此在结果中整体亮度和颜色得到了有效纠正。另外，在本发明中，将衰减系数视为距离z的函数，考虑到了衰减系数随距离而变化的特性，从而更加逼近于真实的水下成像规律。

以上结合附图阐述的详细说明描述了示例而不代表可被实现或者落在权利要求的范围内的所有示例。术语“示例”和“示例性”在本说明书中使用时意指“用作示例、实例或解说”，并不意指“优于或胜过其它示例”。

贯穿本说明书引述的“一个实施例”或“一实施例”意指结合该实施例描述的特定特征、结构或特性是包含在本发明的至少一个实施例中的。因此，这些短语的使用可以不仅仅指代一个实施例。此外，所描述的特征，结构或特性可以在一个或多个实施例中以任何合适的方式组合。

提供之前的描述是为了使本领域任何技术人员均能够实践本文中所描述的各种方面。对这些方面的各种修改将容易为本领域技术人员所明白，并且在本文中所定义的普适原理可被应用于其他方面。因此，权利要求并非旨在被限定于本文中所示的方面，而是应被授予与语言上的权利要求相一致的全部范围，其中对要素的单数形式的引述除非特别声明，否则并非旨在表示“有且仅有一个”，而是“一个或多个”。除非特别另外声明，否则术语“一些”指的是一个或多个。本发明通篇描述的各个方面的要素为本领域普通技术人员当前或今后所知的所有结构上和功能上的等效方案通过引述被明确纳入于此，且旨在被权利要求所涵盖。