一种基于鱼类视网膜机制的水下图像增强方法与流程

本发明属于图像处理技术领域，涉及彩色图像增强技术，具体涉及一种基于鱼类视网膜机制的水下图像增强方法。

背景技术：

随着人类探索能力的不断增强，越来越多的水下图像被广泛传播与应用。但是由于水体中悬浮颗粒的后向散射以及前向散射会导致图像模糊，由于光射入水中后不同波长的光波衰减速度不同而导致水下图像颜色具有蓝绿色偏。图像模糊及色偏都会使得我们最终获得的水下图像不够清晰。因此，如何去除模糊和色偏的影响，获得具有高对比度的水下图像成了一个比较重要的问题。

现有的图像去模糊方法主要为基于暗通道先验假设的方法，该类方法总体上都是基于大气散射物理模型，代表方法有chiangjy等于2012年提出的方法，参考文献：chiangjy,chenyc.underwaterimageenhancementbywavelengthcompensationanddehazing[j].ieeetransactionsonimageprocessing,2012,21(4):1756-1769。它们都需要满足暗通道先验才能实现很好的去模糊效果。

颜色恒常的方法有基于学习的或静态的颜色恒常方法，主要通过估计场景光源颜色还原物体的真实颜色。然而它们主要是针对陆地场景，忽略了水下图像的一些特性。其中，基于学习的方法由于目前没有一个拥有标准光源的水下图像数据库，所以应用于水下图像处理仍有一定难度；而静态方法大都基于一定的灰度假设，但一般水下图像红色波段明显弱于其他波段，不满足灰度假设，所以静态方法校正出来的图像颜色大都偏红，即使有些改进后的静态方法，也要满足暗通道先验模型才能有一定效果。鱼类视网膜可以同时解决色偏和模糊问题，然而目前还没有一种模拟鱼类视网膜同时处理色偏和模糊的方法。

技术实现要素：

针对现有技术存在上述问题，本发明提出了一种基于鱼类视网膜机制的水下图像增强方法。

本发明的技术方案为：一种基于鱼类视网膜机制的水下图像增强方法，包括以下步骤：

s1、提取颜色分量以及亮度分量：对水下图像每一个像素点分别提取红色分量ir、绿色分量ig、蓝色分量ib，并计算出平均亮度分量i：

i＝(ir+ig+ib)/3

s2、计算rgb三通道的调整后均值：计算红色通道中像素值大于第一阈值的最亮的部分的像素点的均值mr，作为红色通道调整后的均值，并计算绿色通道和蓝色通道各自的均值mg、mb；

s3、校正图像的色偏：将r、g、b三通道每一像素点与其对应的均值相除，处理完成得到各通道更新后的值i′r、i′g、i′b，具体计算公式为；

然后，将更新后的值拉伸至原始图像亮度，具体计算公式为：

其中，i′表示由i′r、i′g、i′b组成的图像；mean表示求图像的均值。

s4、计算颜色通道与亮度通道感受野外周输入：对步骤s1得到的亮度分量i以及步骤s3得到r、g、b三通道更新后的值(i″r、i″g、i″b)分别进行滤波，得到四个通道的感受野外周输入fsi、fsr、fsg、fsb；

s5、计算亮度通道感受野中心输入：

计算步骤s1得到的亮度通道i的均值m，若m小于第二阈值，则亮度通道感受野的中心输入fci为采用sigmoid函数调节，同时，将步骤s3得到的(i″r、i″g、i″b)也采用sigmoid进行再次更新；否则令fci＝i，且(i″r、i″g、i″b)不作更新处理；

s6、计算颜色通道与亮度通道感受野外周所占权重：使用k表示rgb通道与亮度通道感受野外周权重，其计算公式为：

其中，λ表示r、g、b三个通道，a为每个通道对应的最大值。i″λ(x，y)为经步骤s5处理后i″r、i″g、i″b对应(x，y)位置的像素值，kmax为k值上限。

s7、计算亮度通道感受野响应：将步骤s4与s5计算得到的感受野中心和外周输入fci与fsi代入双高斯差函数，计算得到亮度通道的感受野响应值，具体计算公式为：

其中，表示卷积，fci(x，y)、fsi(x，y)表示图像中点(x,y)的感受野中心和外周输入，g(m，n；σc)、g(m，n；σs)表示大小为m*n的二维高斯函数，rodbp即为亮度通道的感受野输出结果。

s8、计算rgb三通道感受野的中心输入：对步骤s7得到的亮度通道感受野输出rodbp进行gamma变换得到rodbp^γ，并与经步骤s5处理得到的i″r、i″g、i″b相乘共同构成r、g、b三通道的感受野中心输入fc，具体计算公式为：

fcr＝i″r*rodbp^γ

fcg＝i″g*rodbp^γ

fcb＝i″b*rodbp^γ

其中，*表示乘号；

s9、计算rgb三通道感受野响应并输出：同步骤s7，将步骤s5与s8计算得到r、g、b三通道的感受野中心输入fcr、fcg、fcb以及外周输入fsr、fsg、fsb代入双高斯差函数来计算r、g、b三通道的感受野响应，具体计算公式为：

r、g、b三个通道的感受野响应bpr、bpg、bpb即为三个通道增强后的去雾图像，将三个通道重新组合成一幅rgb图像，作为最终的输出。

进一步的，步骤s2所述的第一阈值为0.1，步骤s5所述的第二阈值为0.5。

进一步的，步骤s2所述的最亮的部分像素点具体为最亮的50％的像素点。

进一步的，步骤s4所述的滤波具体为均值滤波。

进一步的，所述步骤s2中，为避免调整后红色通道均值过高，当调整后红色通道均值mr大于绿色通道的均值mg时，用绿色通道的均值mg作为红色通道最终调整后的均值，即：

mr＝min(mr，mg)。

进一步的，步骤s5对亮度通道感受野的中心输入fci采用sigmoid函数调节具体如下：

更进一步的，步骤s4所述的均值滤波器的窗宽大小为大于3*3，小于15*15的任意大小，例如7*7,9*9等。

进一步的，步骤s7与步骤s9中所述的感受野中心和外周的高斯函数具体为：

其中，δc的取值范围具体为0.2～0.8,δs取值为δc的3倍,m，n的取值范围具体为5～15的整数。

进一步的，步骤s8中所述γ的取值范围具体为0.4～0.6。

本发明的有益效果是：本发明的方法模拟了鱼类视网膜水平细胞与视锥细胞之间的反馈关系来去除水下图像的色偏，模拟了鱼类视网膜双极细胞中心外周拮抗作用来去除水下图像的模糊。在整个模拟过程中，模拟了鱼类视网膜水平细胞侧抑制双极细胞的结构来设计双极细胞感受野的双高斯差滤波器；同时利用sigmoid曲线模拟了网间细胞在黑暗中持续释放多巴胺调节水平细胞的活动，使得处理后的图像更加符合鱼类的视觉机制；最后采用gamma变换模拟了无长突细胞对亮度信息的非线性处理，并构成颜色双极细胞的中心输入。基于本发明的算法可内嵌于相机内部，作为一种水下模式来处理水下图像的色偏以及模糊问题。

附图说明

图1为本发明实施例的水下图像处理流程图。

图2为水下拍摄的具有色偏及模糊问题的原始图像。

图3为原始图像去除色偏之后对应的结果。

图4为原始图像经过两次更新后对应的图像。

图5为亮度通道感受野的响应图像。

图6为最终输出去除色偏以及模糊的图像。

具体实施方式

下面结合附图对本发明的实施例作进一步的说明。

鱼类对于水下图像中的色偏以及模糊具有很强的适应能力，学习鱼类视觉系统图像处理过程有助于解决相机拍摄到的水下图像中的色偏以及模糊等问题。基于此，本发明提出了一种基于鱼类视网膜机制的水下图像增强方法，如图1所示，包括以下步骤：

对于一幅图像大小为768*1024，具有色偏以及模糊问题的水下图像(如图2所示)，本发明的详细步骤流程如下所示：

s1、提取颜色分量以及亮度分量：对水下图像每一个像素点分别提取红色分量ir、绿色分量ig、蓝色分量ib，并计算出平均亮度分量i。

以原始输入图像(图2)中像素值为(0.659，0.718,0.463)的示例点1和像素值为(0.275,0.373，0.212)的示例点2为例。它们对应的平均亮度分量i分别为(0.659+0.718+0.463)/3＝0.613和(0.275+0.373+0.212)/3＝0.286。

s2、计算rgb三通道的调整后均值：分别计算三个通道的均值，其中r通道计算大于0.1的最亮的50％的像素。原始图像(图2)中r通道像素值大于0.1的前50％像素点的均值为0.4231，所以mr＝0.4231，g通道均值为0.5407，所以mg＝0.5407，b通道均值为0.3367，所以mb＝0.3367。由于r通道的均值比g通道的均值要小，所以r通道的均值mr不作改变，仍为0.4231。

需要说明的是，不同于计算r通道的均值，这里采用通用方法计算g、b通道的均值。

s3、校正图像的色偏：将r、g、b三通道每一像素点与其对应的均值相除，处理完成得到各通道更新后的值i′r、i′g、i′b，通过更新，图像色偏被去除。

将两个示例像素点对应通道的像素除以均值后，得到更新之后的像素值i′r、i′g、i′b分别为(0.659/0.4231，0.718/0.5407，0.463/0.3367)＝(1.5576，1.3279，1.3751)和(0.275/0.4231，0.373/0.5407，0.212/0.3367)＝(0.6500，0.6898，0.6296)。

此时，由i′r、i′g、i′b组成的图像i′的均值mean(i′)计算得到的值为0.9985，原始图像亮度的均值mean(i)为0.4170，所以，示例点1拉伸到原始图像亮度的i′r、i′g、i′b分别变为：

同理，示例点2拉伸到原始图像亮度对应的i″r、i″g、i″b分别为(0.2714，0.2881，0.2630)。通过这一更新，原始图像色偏被去除，图3展示了去除色偏之后对应的图像,可以看出图像的绿色色偏被有效去除。

s4、计算颜色通道与亮度通道感受野外周输入：对s1得到的亮度通道i以及s3得到r、g、b三通道更新后的值i″r、i″g、i″b分别进行均值滤波，得到四个通道的感受野外周输入fsi、fsr、fsg、fsb。

本实施例中，以窗宽为9*9的均值滤波器为例，对s1得到的亮度图i进行均值滤波，得到滤波后两个示例像素点对应位置的值为fsi分别为0.7839和0.1327。对s3得到的更新后的rgb三个通道的图像i″r、i″g、i″b进行均值滤波，两个示例点对应位置经均值滤波之后fsr、fsg、fsb分别为(0.6597,0.7313，0.7448)和(0.2930,0.1926，0.1304)。

s5、计算亮度通道感受野中心输入：计算亮度通道的均值，原始输入图像(图2)对应的亮度通道i的均值m为0.4170，由于它小于0.5，所以使用sigmoid函数：

计算亮度通道感受野的中心输入fci。将s1计算得到的两个示例点的亮度i0.613与0.286分别代入上公式，计算得到亮度通道的感受野中心输入fci分别为0.7559和0.1053。

同时，对s3计算得到的i″r、i″g、i″b的值(0.6505，0.5546，0.5743)采用相同的函数进行处理，代入得到两个示例像素点i″r、i″g、i″b更新后的值分别为(0.8183，0.6332,0.6777)和(0.0924,0.1073，0.0855)。

图4展示了i″r、i″g、i″b经过再次更新后对应的图像。

s6、计算颜色通道与亮度通道感受野外周所占权重：使用k表示rgb通道与亮度通道感受野外周权重，其计算公式为：

这里，为避免出现图像被过度增强的现象，k值应设置合理上限，在本实施例中将这一上限设置为0.4，即kmax＝0.4，λ表示r、g、b三个通道，a为每个通道对应的最大值。i′λ(x，y)为经步骤s5处理后i″r、i″g、i″b对应(x，y)位置的像素值。此时，rgb三通道的最大值aλ分别为：0.9465，0.8778，0.9333，rgb三个通道的计算结果分别为：0.2103,0.2066,0.1432,所以因为0.2151<0.4，所以，k的值为0.2151。

s7、计算亮度通道感受野响应：将步骤s4与s5计算得到亮度通道感受野中心和外周输入fci与fsi代入双高斯差函数，计算得到亮度通道的感受野响应值，计算公式为：

本实施例中，以σc＝0.5，σs＝1.5，m＝n＝9为例，在此处计算得两个示例点的亮度通道的感受野响应值rodbp分别为0.4745和0.2608。

图5展示了亮度通道感受野的响应图。

s8、计算rgb三通道感受野的中心输入：对s7得到的亮度通道感受野输出rodbp进行gamma变换，与经步骤s5处理得到的i″r、i″g、i″b共同构成r、g、b三通道的感受野中心输入fc。

本实施例所述的gamma变换中采用γ＝0.5为例，计算得rgb三通道感受野的中心输入fcr，fcg，fcb。则示例点1对应的计算过程与结果为：

fcb＝i″r*rodbp^γ＝0.8183*0.4745^0.5＝0.5637

fcg＝i″g*rodbp^γ＝0.6332*0.4745^0.5＝0.4363

fcb＝i″b*rodbp^γ＝0.6777*0.4745^0.5＝0.4669

同样，示例点2对应的感受野的中心输入fcr，fcg，fcb计算结果为(0.0637,0.0739,0.0589)。

s9、计算rgb三通道感受野响应并输出：同步骤s7，在本实施例中使用双高斯差函数来计算r、g、b三通道的感受野响应：

将s8计算得到的fcr，fcg，fcb与s6计算得到的k代入上公式，σc与σs采用与步骤s7相同的取值σc＝0.5，σs＝1.5，m＝n＝9，得到三通道的感受野响应bpr、bpg、bpb。两个示例点对应位置的bpr、bpg、bpb计算结果分别为(1,0.778,0.865)和(0.022,0.0184,0.0376)。最后，将计算得到的结果输出。

图6展示了最终输出的图像，相比与原始图像(图2)，图像的色偏以及模糊被有效去除。

以上的简单实例主要以图像的单个像素值作为例子来阐述，实际计算时是在整幅图像的所有像素上进行的。通过这样一个简单实例，阐述了本发明模拟鱼类视网膜去除色偏以及模糊的全过程。

这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其他各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。