一种基于暗原色与B样条配准的水下扭曲图像恢复方法与流程

本发明涉及水下图像处理的技术领域，尤其是指一种基于暗原色与b样条配准的水下扭曲图像恢复方法。

背景技术：

当我们在岸上想要拍摄水底下情形的时候，由于水面的扰动，经常会造成想要拍摄的水下画面呈现出扭曲的状态。这是因为随着水体的波动，光线的传播方向会在穿过两个传播介质时由于折射而改变，继而导致看到的画面呈现出扭曲的状态。这不仅导致了图像的成像效果整体不佳，更给后续的图像处理等操作带来不便。因此扭曲图像的恢复便是一项重要的课题。

由于水的波动变化具有随机且高速的特性，因此使用单帧图片进行扭曲图像的恢复便是一项非常困难的事情，因此扭曲图像的恢复主要是采用视频序列来获取单帧无扭曲图片的方法。传统的扭曲图像恢复算法主要为视频序列均值算法与幸运块算法。视频序列均值算法即对视频序列中的所有图片对应位置像素点求取序列均值或中值以获取无扭曲的图片。这种方法对水面波动较大的情况效果较差。而幸运块算法则是假设视频序列中总会有一帧图片存在无扭曲的区域，而此算法就是找出各帧图片中无扭曲的区域然后将这些区域拼接在一起，从而获得无扭曲图片。然而若是视频中不存在无扭曲的区域，那么此算法的效果就不甚理想。

目前有人提出了两步迭代扭曲图像恢复的算法，第一步采用视频序列均值算法或幸运块算法来获取一张相对扭曲较小的参考图片，然后将视频序列所有图片采用b样条对参考图片进行迭代配准来减小扭曲，最后获取扭曲恢复图像。这种方法能够较为有效的实现图像的扭曲恢复，然而若视频中存在扭曲较大的图片，仍会造成恢复图像的边缘失真，鲁棒性较差。有人提出基于大气扰动图像恢复的图像抽样与b样条迭代算法，他们采用拉普拉斯滤波对图像处理并计算像素值之和作为扭曲参数。然而由于水下环境的特殊性，这种方法在水下的效果并不是很好。

技术实现要素：

本发明的目的是为了克服现有技术缺陷，针对水下扭曲视频恢复的鲁棒性问题，提出了一种基于暗原色与b样条配准的水下扭曲图像恢复方法，通过暗原色先验迭代去除视频序列中扭曲较大的图片，而后采用b样条迭代算法对图片进一步进行扭曲图像恢复操作。本发明具有鲁棒性高，扭曲恢复效果好的优点。

为实现上述目的，本发明所提供的技术方案为：一种基于暗原色与b样条配准的水下扭曲图像恢复方法，包括以下步骤：

1)对原始图像序列计算序列均值生成初始标准图像，而后，计算每一帧图像的暗原色图像，使用每一帧暗原色图像的所有像素值和作为扭曲参数并归一化；

2)对图像序列采用暗原色先验方法迭代获取合适的待恢复图像序列与标准图像，具体如下：

2.1)使用上次迭代生成的待恢复图像序列与标准图像以及扭曲参数计算每一帧图像的扭曲度评估参数；

2.2)使用步骤2.1)中生成的扭曲度评估参数计算能量参数，选取能量参数最小的序列来获取待恢复图像序列，用获取的待恢复图像序列生成新的标准图像；

3)判断迭代停止条件时，若不满足继续步骤2)中的迭代；若满足迭代停止条件，则停止迭代，取迭代结果的待恢复图像序列与标准图像进行b样条迭代配准，迭代步骤如下：

3.1)使用上一次迭代的待恢复图像序列进行b样条变换，计算变换后的图像与标准图像的归一化互信息值，取值最大的图像作为新的待恢复图像序列；

3.2)对步骤3.1)中生成的新待恢复图像序列计算序列均值以获取新的标准图像；

4)判断迭代是否达到最大迭代值，若不满足则继续步骤3)中的迭代；若满足迭代停止条件，则停止迭代，取最后生成的标准图像为扭曲图像恢复的最优估计。

在步骤1)中，标准图像定义为：

式中，i0为标准图像，ii表示待恢复图像序列第i张图片；考虑到扭曲图像的暗原色图像相比未扭曲的暗原色图像像素值更高，因此使用每一帧图像的暗原色图像像素值之和作为扭曲参数，扭曲参数越高代表图像的扭曲程度越大；暗原色图像di定义为对图像进行最小值滤波后的图像：

式中，ω(x)表示以像素x为中心的窗口；而后对每张暗原色图像进行像素值求和，所得的值即为扭曲参数si：

si＝||di||1

式中，||·||1表示对图像的像素值求和；在求取所有si之后，对其进行归一化，则对应图片的的归一化扭曲参数为q(ii)：

计算标准图像i0与每一帧图像ii的相似性，采用欧式距离作为相似性测度，而后将其与加权的扭曲参数q相加作为扭曲度评估参数ni，λ为权重参数：

考虑到更多的图片能带来更多的信息，但不是所有的图片都适合用作扭取图像的恢复，因此，需要一个正则项来权衡图像的数量；在这里使用一个增量递减的凹递增函数作为正则项，则最后的能量参数定义如下：

式中，j表示选择的图像序列，|j|表示图像序列的数量，τ为正则项的权重参数，ρ为一个正常数用来权衡选择的图像数量的重要性；

其中，为了更快地找到最优图像，即与标准图像互信息值最大的图像，采用梯度下降法来进行迭代优化。

本发明与现有技术相比，具有如下优点与有益效果：

本发明通过暗原色先验与b样条迭代配准算法有效地解决了水下扭曲图像的恢复问题。由于水下环境的特殊性，大气中的扭曲图像抽样方法不适合用于水下环境，因此本发明利用暗原色先验信息，对抽样算法进行改进，使其适用于水下环境。由于去除了扭曲较大的图像，本发明的恢复效果更好，在去除图像扭曲的同时能保存更多的图像细节，鲁棒性更高，速度较快，更利于工程实现，值得推广。

附图说明

图1为本发明方法流程框图。

图2为抽样算法流程框图。

图3为b样条迭代算法流程框图。

图4a为水下扭曲图像。

图4b为水下未扭曲图像。

图4c为水下扭曲图像的暗原色图像。

图4d为水下未扭曲图像的暗原色图像。

图5a为传统图像序列均值标准图像。

图5b为抽样后所获的均值标准图像。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1至图5b所示，本实施例所提供的基于暗原色与b样条配准的水下扭曲图像恢复方法，步骤如下：

1)对原始图像序列计算序列均值生成初始标准图像，计算每一帧图像的暗原色图像，使用每一帧暗原色图像的所有像素值和作为扭曲参数并归一化，具体步骤如下：

1.1)生成初始标准图像，采用图像序列均值图片作为初始的标准图像i0，公式如下所示：

1.2)计算所有图像的暗原色图像，这里的暗原色图像是指对图像做最小值滤波所生成的图像，其获取是以整幅图作为操作对象。第i张图片的暗原色图像di定义为：

其中，ω(x)表示以像素x为中心的窗口。

1.3)计算第i帧暗原色图像的像素值之和作为扭曲参数si

si＝||di||1

式中，||·||1表示对图像的像素值求和，在求取了所有暗原色图像的扭曲参数之后，对其进行归一化得到对应图像的归一化扭曲参数q(ii)：

2)对图像序列采用暗原色先验方法迭代获取合适的待恢复图像序列与标准图像。我们根据能量方程的值来选取合适的待恢复图像序列，能量方程的定义为：

式中，j表示待恢复图像序列，|j|表示图像序列的数量，λ、τ、ρ为权重参数。其中的未知参数为标准图像i0与待恢复图像序列j。由于这个公式中含有两个未知参数，普通的求解方法无法求解。因此，我们选择采用迭代的方法来求解。下面展示第t次迭代过程的步骤：

第一步：固定求取待恢复图像序列j^t，即求取：

为了解这个方程，我们可以先计算即第k张图像的扭曲度评估参数nk。而后按照大小将其升序排序：

n1≤n2≤...≤nn

而后代入能量公式中，用sj来表示：

式中，j代表图像的数量；这是一个累加的过程，s1代表第k1张图片的能量系数，s2代表第k1与k2张图片的能量系数，sn则代表n张图片的能量系数。

而后，取能量系数最小的图片序列作为j^t。

第二步、固定j^t，求取标准图像即求取：

由于j^t已经被固定，求解上式即为求解：

将上式对i求导可得，上式的解即为待恢复图像序列j^t的均值图像：

重复第一步与第二步直至前一次迭代与后一次迭代的能量系数之差小于一个常数ε，此时取最后一次迭代所获取的待恢复图像序列j以及其均值图像i0作为b样条迭代配准算法的输入。

3)使用b样条迭代配准算法将步骤2)所获得的待恢复图像序列j与标准图像i0进行迭代配准，具体步骤如下：

3.1)使用大小为sx×sy，间距为δ的控制点网格对待恢复图像进行三次b样条迭代变换，得到变换后的图像。其变换是通过计算每帧待恢复图像的每个像素点的位移值d(x,y)来完成的，即：

式中，表示向下取整操作。其中b为标准b样条基函数，定义为：

其中，φ表示控制网格中该像素点周围4×4控制网格点的值，m、l分别表示周围像素点与控制点的距离。

3.2)计算第一步变换后的图像i与标准图像i0的归一化互信息值nmi(i,i0)，其定义为：

其中，h(i0)为标准图像i0的熵，即同理可得变换后图像的熵h(i)，h(i0,i)为标准图像i0与变换后的图像i的联合熵，即而后取最大的归一化互信息值及对应图像作为最优解。

为了更快的获取图像的最优解，我们采用了梯度下降法来进行迭代优化，并将nmi(i,i0)改为nmi(i,i0,φ)，表示受φ的影响。梯度下降法迭代步骤如下：

先初始化φ为0，计算nmi(i,i0,φ)对φ的梯度向量g：

若g的值||g||大于一个正常数η，则更新

α为梯度的权重参数；而后计算若δnmi≤0则更新φ为重复以上步骤，否则结束迭代。

3.3)计算变换后的图像序列的均值作为下一次迭代的的标准图像。

重复上面步骤3.1)至3.3)直至达到设定的迭代阈值，取最后一次迭代的标准图像作为最后的水下扭曲恢复图像。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。