一种基于场景深度信息的偏振水下图像优化方法

1.本发明涉及水下光学成像技术领域，尤其涉及一种基于场景深度信息的偏振水下图像优化方法。


背景技术：

2.在水下光学成像中，光在水中传输会因水体的吸收和散射作用导致图像退化严重，造成水下场景目标成像模糊、可见范围缩小。这种影响不仅是由水型本身引起的，而且还由水中存在的其他成分引起。水体对光的吸收作用会导致水下光辐射能量的衰减以及色彩的损失，但导致水下图像质量下降最主要的影响因素是散射，散射效应改变了光传播的方向，并将不希望的背景散射光引入到光学检测器中，从而导致图像呈现低对比度并产生起雾的视觉效果，而且随着景深的增加，这种影响变得更加严重。根据目标反射光和后向散射光具有不同的偏振特性，选择使用偏振成像技术通过对图像偏振态的检测，将背景散射光分离并去除以减少散射的影响，从而提高图像清晰度和对比度，来恢复水下图像。
3.在偏振图像恢复的过程中，为了计算关键参数总是涉及到背景区域的选择以及后向散射光的估计。在现有的方法中，经常手动地选择一个没有目标的区域作为背景区域或通过暗通道等方法选取背景区域，当找不到上述背景区域时，估计关键参数则受到限制。而且在估计背景光的过程中，现有的方法通常手动加入参数来减少图像噪声对估计后向散射光的影响，这增加了操作的复杂性和估计的不准确性。


技术实现要素：

4.本发明提供一种基于场景深度信息的偏振水下图像优化方法，以克服上述技术问题。
5.本发明一种基于场景深度信息的偏振水下图像优化方法，包括：
6.建立偏振增强水下图像模型；
7.通过stokes矢量法获取不同角度下拍摄的偏振水下图像；根据所述偏振增强水下图像模型计算所述偏振水下图像的stokes参数及光辐射强度的偏振度；所述光辐射强度，包括：场景反射光和后向散射光；
8.基于水下不同波长光的衰减差异特性来计算场景深度，根据所述场景深度选取背景区域；
9.根据所述背景区域及所述stokes参数获得所述后向散射光的偏振度和偏振角；通过所述背景区域中的像素点获得全局后向散射光强度；
10.根据所述后向散射光的偏振度和偏振角获得初始后向散射光；
11.利用粒子群优化算法选取所述初始后向散射光的最优参数；根据所述最优参数获得优化后的所述后向散射光；
12.将优化后的所述后向散射光和所述全局后向散射光强度代入所述偏振增强水下图像模型，获得优化的偏振水下图像。
13.进一步地，所述建立偏振增强水下图像模型，包括：
14.整个水下成像过程表示为：
15.i(x,y,λ)＝d(x,y,λ)+b(x,y,λ)
ꢀꢀꢀ
(1)
16.所述场景反射光表示为：
17.d(x,y,λ,d)＝j(x,y,λ)
·
t(x,y,λ)＝j(x,y,λ)
·
e
‑
β(λ)d(x,y)
ꢀꢀꢀ
(2)
18.所述后向散射光表示为：
19.b(x,y,λ)＝b
∞
(λ)
·
(1
‑
t(x,y,λ))＝b
∞
(λ)
·
(1
‑
e
‑
β(λ)d(x,y)
)
ꢀꢀꢀ
(3)
20.根据式(1)
‑
式(3)通过式(4)得到偏振增强图像j(x,y,λ)；
[0021][0022]
式中，i(x,y,λ)是成像系统获取到的图像，x,y是图像中像素点的坐标，λ∈{λ
r
,λ
g
,λ
b
}是对应rgb三个颜色通道的光线波长，t(x,y,λ)＝e
‑
β(λ)d(x,y)
是透射率图，β是衰减系数，d是场景深度，b
∞
(λ)是全局后向散射光。
[0023]
进一步地，所述通过stokes矢量法获取不同角度下拍摄的偏振水下图像；根据所述偏振增强水下图像模型计算所述偏振水下图像的stokes参数及光辐射强度的偏振度，包括：
[0024]
通过所述stokes矢量法在同一场景下将偏振器旋转到0
°
，45
°
，90
°
和135
°
四个不同的角度拍摄四个偏振水下图像；将四个偏振水下图像的强度分别表示为：s(0),s(45),s(90)和s(135)；stokes矢量表示为：
[0025][0026]
所述光辐射强度的偏振度表示为：
[0027][0028]
式中，i表示偏振水下图像的光辐射强度，q和u表示偏振水下图像的偏振态。
[0029]
进一步地，所述基于水下不同波长光的衰减差异特性来计算场景深度，根据所述场景深度选取背景区域，包括：
[0030]
s41、使用原始图像强度与相机接收到的图像光强度之间的差c(x,y,λ
c
)，λ
c
∈{λ
r
,λ
g
,λ
b
}来评估每种彩色光的衰减级别，并使用伽马校正通过式(7)来校正所述图像光强度；
[0031]
c(x,y,λ
c
)＝1
‑
i
γ
(x,y,λ
c
)
ꢀꢀꢀ
(7)
[0032]
式中，i
γ
(x,y,λ
c
)为相机接收到的图像经伽马校正后得到的图像；
[0033]
通过式(8)对c(x,y,λ
c
)中每个通道的像素值取平均值来确定最高衰减级别的颜色通道
[0034]
[0035]
s42、根据最高衰减级别的颜色通道通过式(8)定义衰减图m(x,y)；
[0036][0037]
式中，为最高衰减级别颜色通道的光强图，(p,q)为局部块ω(x,y)中的像素点；
[0038]
s43、根据所述衰减图m(x,y)通过式(10)获得第一个归一化场景深度
[0039][0040]
其中，f
s
(
·
)为归一化函数表示为：
[0041][0042]
式中，w为待归一化的图像；
[0043]
s44、通过式(12)计算所述最高衰减级别的颜色通道的最大光强度和其他衰减级别的颜色通道的最大光强度之间的差值，得到衰减差分图d(x,y)；
[0044][0045]
s45、通过式(13)得到第二个归一化场景深度
[0046][0047]
s46、根据所述第一个归一化场景深度和第二个归一化场景深度，通过式(14)的sigmoid函数计算最终的归一化场景深度n
d
(x,y)；
[0048][0049]
式中，|i＞0.5|为总光辐射强度图像素值大于0.5的总个数，size(i)为总光强图像素值的总个数；
[0050]
函数s(
·
)表示为：
[0051]
s(a,v)＝[1+e
‑
μ(a
‑
v)
]
‑1ꢀꢀꢀ
(15)
[0052]
式中，a为，v为；μ＝32；
[0053]
s47、根据所述最终的归一化场景深度n
d
(x,y)，自动选取n
d
(x,y)中像素值较大的前0.1％的像素值位置作为背景区域的位置。
[0054]
进一步地，所述根据所述背景区域及所述stokes参数获得所述后向散射光的偏振度和偏振角，包括：
[0055]
通过式(16)获得所述后向散射光的偏振度；
[0056]
[0057]
通过式(17)获得所述后向散射光的偏振角；
[0058][0059]
式中，|δ|表示背景区域内像素的总数。
[0060]
进一步地，所述通过所述背景区域中的像素点获得全局后向散射光强度，包括：
[0061]
在背景区域中用最亮的像素点来估计全局后向散射光强度b
∞
(λ)，用式(18)表示为：
[0062][0063]
进一步地，所述根据所述后向散射光的偏振度和偏振角获得初始后向散射光，包括：
[0064]
通过式(19)表示：
[0065][0066]
所述初始后向散射光以函数g(
·
)的形式表示为：
[0067]
b(x,y,λ)＝g(ε,s(0),i,p(λ),p
b
(λ),θ
b
(λ))
ꢀꢀꢀ
(20)
[0068]
式中，ε为噪声抑制因子。
[0069]
进一步地，所述利用粒子群优化算法选取所述初始后向散射光的最优参数，包括：
[0070]
s81、初始化粒子群规模，并将噪声抑制因子ε的初始值设置为1，随机初始化所述噪声抑制因子ε的速度和位置，形成粒子群体；
[0071]
s82、在所述粒子群体中，通过式(21)的目标函数计算每个粒子的适应度值来得到最优参数ε；
[0072][0073]
式中，f(
·
)函数定义为：
[0074][0075]
式中，为平均梯度算子；
[0076]
s83、根据粒子的最优适应度值更新粒子的速度和位置；
[0077]
s84、评估粒子的个体适应度值和全局适应度值，并更新粒子的个体最优位置和全局最优位置；
[0078]
s85、若满足预先设置的最大迭代次数，则输出最优参数ε，否则返回s82。
[0079]
本发明提出一种深度信息引导下的背景区域定位策略，通过提取场景深度信息，根据场景深度信息在原始偏振图像中自动定位背景区域，进而估计出准确的后向散射光和全局后向散射光，以此来避免人为选取时的个体差异，提高定位准确度。同时，为了抑制噪声的影响，在求解时加入了噪声抑制因子，并利用了一种pso优化策略通过寻找最优的参数
来估计背景光，操作方便、效率更高，能够准确的估计最优的背景光，使图像增强效果更佳。
附图说明
[0080]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0081]
图1为本发明的方法流程图；
[0082]
图2为本发明的偏振水下图像的优化结果图。
具体实施方式
[0083]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0084]
如图1所示，本实施例提供了一种基于场景深度信息的偏振水下图像优化方法，包括：
[0085]
101、建立偏振增强水下图像模型；
[0086]
具体而言，水下成像时，成像系统检测到的光辐射强度i由两部分组成：一部分是水下环境光照射到目标经传播过程衰减后到达相机的场景反射光d，另一部分是环境光经水体中悬浮粒子散射后形成的后向散射光b，整个水下成像过程表示为：
[0087]
i(x,y,λ)＝d(x,y,λ)+b(x,y,λ)
ꢀꢀꢀ
(1)
[0088]
场景反射光表示为：
[0089]
d(x,y,λ,d)＝j(x,y,λ)
·
t(x,y,λ)＝j(x,y,λ)
·
e
‑
β(λ)d(x,y)
ꢀꢀꢀ
(2)
[0090]
后向散射光表示为：
[0091]
b(x,y,λ)＝b
∞
(λ)
·
(1
‑
t(x,y,λ))＝b
∞
(λ)
·
(1
‑
e
‑
β(λ)d(x,y)
)
ꢀꢀꢀ
(3)
[0092]
根据式(1)
‑
式(3)，通过式(4)得到偏振增强图像j(x,y,λ)；
[0093][0094]
式中，i(x,y,λ)是成像系统获取到的图像，x,y是图像中像素点的坐标，λ∈{λ
r
,λ
g
,λ
b
}是对应rgb三个颜色通道的光线波长，t(x,y,λ)＝e
‑
β(λ)d(x,y)
是透射率图，β是衰减系数，d是场景深度，b
∞
(λ)是全局后向散射光。
[0095]
102、通过stokes矢量法获取不同角度下拍摄的偏振水下图像；根据偏振增强水下图像模型计算偏振水下图像的stokes参数及光辐射强度的偏振度；光辐射强度，包括：场景反射光和后向散射光；
[0096]
具体而言，通过stokes矢量法在同一场景下将偏振器旋转到0
°
，45
°
，90
°
和135
°
四个不同的角度拍摄四个偏振水下图像；将四个偏振水下图像的强度分别表示为：s(0),s(45),s(90)和s(135)；stokes矢量表示为：
[0097][0098]
光辐射强度的偏振度表示为：
[0099][0100]
式中，i表示偏振水下图像的光辐射强度，q和u表示偏振水下图像的偏振态。stokes矢量法估计后向散射光b(x,y,λ)及全局后向散射光b
∞
(λ)的关键在于准确选取背景光区域及计算后向散射光的偏振度。
[0101]
103、基于水下不同波长光的衰减差异特性来计算场景深度，根据场景深度选取背景区域；
[0102]
具体而言，s41、使用原始图像强度与相机接收到的图像光强度之间的差c(x,y,λ
c
)，λ
c
∈{λ
r
,λ
g
,λ
b
}来评估每种彩色光的衰减级别，并使用伽马校正通过式(7)来校正所述图像光强度；
[0103]
c(x,y,λ
c
)＝1
‑
i
γ
(x,y,λ
c
)
ꢀꢀꢀ
(7)
[0104]
式中，i
γ
(x,y,λ
c
)为相机接收到的图像经伽马校正后得到的图像；
[0105]
通过式(8)对c(x,y,λ
c
)中每个通道的像素值取平均值来确定最高衰减级别的颜色通道
[0106][0107]
s42、根据最高衰减级别的颜色通道通过式(8)定义衰减图m(x,y)；
[0108][0109]
式中，为最高衰减级别颜色通道的光强图，(p,q)为局部块ω(x,y)中的像素点；
[0110]
s43、根据衰减图m(x,y)通过式(10)获得第一个归一化场景深度
[0111][0112]
其中，f
s
(
·
)为归一化函数表示为：
[0113][0114]
式中，w为待归一化的图像；
[0115]
s44、通过式(12)计算最高衰减级别的颜色通道的最大光强度和其他衰减级别的颜色通道的最大光强度之间的差值，得到衰减差分图d(x,y)；
[0116][0117]
s45、通过式(13)得到第二个归一化场景深度
[0118][0119]
s46、根据第一个归一化场景深度和第二个归一化场景深度，通过式(14)的sigmoid函数计算最终的归一化场景深度n
d
(x,y)；
[0120][0121]
式中，|i＞0.5|为总光辐射强度图像素值大于0.5的总个数，size(i)为总光强图像素值的总个数；
[0122]
函数s(
·
)表示为：
[0123]
s(a,v)＝[1+e
‑
μ(a
‑
v)
]
‑1ꢀꢀꢀ
(15)
[0124]
式中，a为，v为；μ＝32；
[0125]
s47、根据所述最终的归一化场景深度n
d
(x,y)，自动选取n
d
(x,y)中像素值较大的前0.1％的像素值位置作为背景区域的位置。
[0126]
104、根据背景区域及stokes参数获得后向散射光的偏振度和偏振角；通过背景区域中的像素点获得全局后向散射光强度；
[0127]
具体而言，通过式(16)获得后向散射光的偏振度；
[0128][0129]
通过式(17)获得后向散射光的偏振角；
[0130][0131]
式中，|δ|表示背景区域内像素的总数。
[0132]
在背景区域中用最亮的像素点来估计全局后向散射光强度b
∞
(λ)，用式(18)表示为：
[0133][0134]
105、根据后向散射光的偏振度和偏振角获得初始后向散射光；
[0135]
具体而言，根据后向散射光的偏振度p
b
(λ)和偏振角θ
b
(λ)，即可估计初始后向散射光b(x,y,λ)，通过式(19)表示为：
[0136][0137]
初始后向散射光以函数g(
·
)的形式表示为：
[0138]
b(x,y,λ)＝g(ε,s(0),i,p(λ),p
b
(λ),θ
b
(λ))
ꢀꢀꢀ
(20)
[0139]
式中，ε为噪声抑制因子。
[0140]
106、利用粒子群优化算法选取初始后向散射光的最优参数；根据最优参数获得优化后的后向散射光；
[0141]
具体而言，从选取的背景区域中测量的后向散射光的偏振度会由于图像本身的噪声及对图像噪声测量的不准确而造成图像恢复结果的不稳定。已有的研究方法中，均是手动给后向散射光的偏振度加入噪声抑制因子ε(其中，1＜ε＜1/p
b
)。人为手动加入系数既增加了操作的复杂性又造成了估计的人为差异性，影响图像恢复结果。所以，本发明使用了粒子群优化算法对所需参数进行迭代优化，直至找到最佳参数ε。具体步骤如下：
[0142]
s81、初始化粒子群规模，并将噪声抑制因子ε的初始值设置为1，随机初始化所述噪声抑制因子ε的速度和位置，形成粒子群体；
[0143]
s82、在粒子群体中，通过式(21)的目标函数计算每个粒子的适应度值来得到最优参数ε；
[0144][0145]
式中，f(
·
)函数定义为：
[0146][0147]
式中，为平均梯度算子；
[0148]
s83、根据粒子的最优适应度值更新粒子的速度和位置；
[0149]
s84、评估粒子的个体适应度值和全局适应度值，并更新粒子的个体最优位置和全局最优位置；
[0150]
s85、若满足预先设置的最大迭代次数，则输出最优参数ε，否则返回s82。
[0151]
107、将优化后的后向散射光和全局后向散射光强度代入偏振增强水下图像模型，获得优化的偏振水下图像。偏振水下图像的优化结果如图2所示。
[0152]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。