一种基于主动偏振成像的水下运动目标检测装置及方法

本发明属于水下运动目标检测技术领域，尤其涉及一种基于主动偏振成像的水下运动目标检测装置及方法。

背景技术：

国内外的研究大多数是以可见光强度图像中的运动进行目标检测与识别为主，以及偏振成像的获取以及图像清晰度的提高展开的研究，且偏振成像均为静态目标成像，极少有研究者利用偏振的相关特性对水下运动目标的成像及其特性进行研究。由于目标物体的运动，该目标的纹理、边缘形态、表面特征等细节信息无法通过图像准确的表现出来。因此，利用水下目标的偏振特性结合水下运动目标检测的相关算法，进而实现水下运动目标的偏振探测与识别是研究的重点。

水下环境相对比较复杂，因为水下传输的光被水吸收和散射，光在水下传播的过程中会产生强烈的衰减，使得目标反射能量降低，成像质量变差。光在水下传播的距离对成像质量也有重要的影响，距离增加，能量也会按照一定的方式衰减，所以水下复杂的环境会影响图像质量和对比度。偏振作为光波的固有和独特性，同样包含丰富的物体表面反射、散射信息可提高物体成像的探测能力，如偏振角和偏振度图像在一定程度上反映目标的边缘细节和轮廓，光强图像i反映目标的光强信息。

普通目标检测算法中的光流法计算量大目标检测效果较好但在光照变化大的情况下检测目标效果较差，混合高斯背景模型在光照变化的情况下虽有较好的目标检测效果但目标检测不够完整。

技术实现要素：

本发明目的在于提供一种基于主动偏振成像的水下运动目标检测装置及方法，要解决的问题是：由于强度相机所带来的劣势，当光照射到物体时，如果物体是具有反光材质的物品时会造成拍摄的物体不清晰且比实际范围要大不易于观察且具有光污染，我们选用偏振相机中的分焦平面相机，分焦平面相机上的偏振镜可以有效减弱或者消除非金属表面的反光，有效提高色彩的饱和度。该分焦平面相机将像素偏振片阵列直接置于芯片感光面与微透镜阵列之间，而非以往文献中的将其覆盖在分焦平面相机微透镜阵列之上，可以有效减少相邻像素之间因错误检测偏振角度带来的串扰，同时像素偏振片阵列上覆盖了防反射材料来抑制闪光和重影，而且该分焦平面相机不改变成像探测器前的光学部分，而是采用纳米技术将微米量级的微型偏振片与成像焦平面相结合，将成像焦平面的每一个像素单元改造成一个微型偏振片，通过微偏振片阵列使得不同像素点接收不同偏振调制的强度图像。为得到良好的目标检测效果，更好的了解目标运动姿态及运动方向，利用目标的偏振特征结合混合高斯背景模型算法与金字塔光流法能够在复杂光影的水下环境中克服光影突变，消除阴影对提取结果造成的影响，准确的检测运动目标及其运动轨迹。

为实现上述目的，本发明的一种基于主动偏振成像的水下运动目标检测装置及方法的具体技术方案如下：

一种基于主动偏振成像的水下运动目标检测装置，包括水下环境模拟装置、偏振成像装置、偏振主动照明装置、图像处理系统，偏振主动照明装置用于照亮水下环境模拟装置中的目标，偏振成像装置用于采集目标图像，且偏振成像装置还与图像处理系统连接；

水下环境模拟装置包括水池，水池中设置有搅水器和运动目标物，搅水器将水流搅动，用以模仿不同水流的水体环境，运动目标物在扰动水流中做可控规则运动；

偏振成像装置包括分焦平面相机，用于在目标运动过程中进行图像采集，并将采集图像传输给图像处理系统中；

偏振主动照明装置包括起偏片和光源，其中通过旋转起偏片来得到不同角度下的偏振照明光；

图像处理系统用于记录目标物的运动过程，并检测运动目标物的姿态、方向及轨迹。

进一步，图像采集系统包括通过有线连接分焦平面相机的电脑，当运动目标物完成整个运动过程后，分焦平面相机录制图像传送到电脑中进行图像处理。

进一步，图像处理系统采用混合高斯背景模型算法和金字塔光流算法；读取进入电脑端图像处理系统的偏振图像，利用混合高斯背景模型算法先进行图像运算，将得到的图像传送到形态学算法中，进行闭运算和开运算得到目标图像，再将经过形态学计算后得到的目标图像进行金字塔光流法的运算，得到具体的运动目标。

进一步，该分焦平面相机将像素偏振片阵列直接置于芯片感光面与微透镜阵列之间；

像素偏振片阵列上覆盖了防反射材料来抑制闪光和重影；

分焦平面相机采用纳米技术将微米量级的微型偏振片与成像焦平面相结合，将成像焦平面的每一个像素单元改造成一个微型偏振片，通过微偏振片阵列使得不同像素点接收不同偏振调制的强度图像。

进一步，起偏片的旋转范围为0-360，并可多角度偏振成像再配合具体算法用以实现具体目标具体分析，得到效果最好的运动目标图像，在本方法中旋转4次起偏片度数分别为0度、45度、90度、135度。

进一步，水池长100cm，宽40cm，高45cm，分焦平面相机帧频为30fps，镜头为8mm。

本发明还提供了一种基于主动偏振成像的水下运动目标检测方法，具体包括以下步骤，且以下步骤顺次进行：

step1、在偏振主动照明装置中打开光源，光线穿过起偏片形成偏振光照射在水下环境模拟装置中，启动搅水器并控制运动目标物运动，在偏振成像装置中用分焦平面相机录制5秒图像，然后旋转起偏片分别录制在0度，45度，90度，135度的时常为5秒的偏振图像，得到来自于分焦平面相机拍摄的4组水下的运动目标图像；

step2、在图像处理系统中分别对步骤step1得到的偏振图像进行混合高斯背景模型算法操作，用以得出运动目标的大致运动状态图像；

step3、混合高斯背景模型建立之初，先对混合高斯背景建模，背景模型初始化时，均值取第一帧图像的像素值，方差取一个较大的值，权值取一个较小的值，对于高斯分布k取值越大，越能描述更复杂的背景，背景模型的抗干扰能力越强，但也增加了计算量，影响了实时的效果；一般取值3～5之间，本专利取4，但不仅限于4。

step4、进行匹配更新，设当前时刻为t，当t+1时刻新一帧图像的像素点到来时，将分别与k个高斯分布的均值做匹配。当高斯混合模型的k个高斯模型中的一个或几个与像素xt+1相匹配时，匹配将其高斯分布的权重值增加，将不匹配的高斯分布权重值减小。当像素xt+1与k个高斯模型都不匹配时，则将其混合高斯模型中权重最小的那个模型用一个新的模型取代。新模型以xt+1为均值，并初始化一个较大的标准差和一个较小的权重。其中不匹配的高斯模型保持均值和方差不变，权重进行更新。

step5、进行权重的归一化和背景估计，为提高背景模型的可靠程度，对权重进行归一化处理，并将高斯分布按照具体值从大到小排列，取优先级较高的分布作为混合高斯的背景模型；

对权重进行归一化处理：

将高斯分布按照ωk,t/σk,t的值从大到小排列，取优先级较高的前b个分布作为混合高斯的背景模型,其中其中：1≤b≤k,1≤k≤k，t为背景阈值，代表背景模型占所有高斯分布的最小比例，一般取值为0.7～0.8，本专利取0.7，但不仅限于0.7。

step6、前景分割，在进行前景检测时，选取的高斯分布作为背景模型后，将t+1时刻的像素值xt+1与选取的高斯背景模型做匹配，如果像素值xt+1与背景模型中的任何一个分布相匹配，则该像素点为背景点，否则为前景点。

step7、将步骤step6得到的4组图像，进行形态学闭运算，补全混合高斯背景模型中空洞及边缘未连接问题，再进行开运算，拟在去除水流噪声及其他噪点，将通过形态学算法后的图像进行保存。

step8、将步骤step7得到的4组图像，进行金字塔光流法的检测，先建立金字塔模型，初始化金字塔光流估计值，本专利设置金字塔模型层数设置为3层，但不仅限于3层。

step9、进行对图像关于x和y的偏导，并初始化光流值。

step10、计算最底层光流值，以此类推到最后的光流值，对应图像的对应特征点，得到最后的4组运动目标图像。

step11、人为选取4组运动目标图像中效果最好的一组，并截取一帧带有完整运动目标的帧图像作为真正的运动目标图像。

本发明的一种基于主动偏振成像的水下运动目标检测装置及方法具有以下优点：采取了混合高斯背景模型和金字塔光流算法相结合的方法对采集好的带有水下运动目标运动情况的偏振图像先运用混合高斯背景模型来检测水下运动目标运动的大致轮廓，利用形态学补全空洞和去除水流噪声，再通过金字塔光流法的图像处理算法来检测运动目标的运动轨迹，克服水下成像环境的光线影响和光影突变，消除阴影对目标提取造成的影响，可准确检测运动目标姿态、运动方向及运动轨迹。

该方法减少了光流法的计算范围，提高了目标的检测速度。经实验结果可以看出，对比传统的光强检测查准率、查全率均明显提升，本发明算法的查准率最高为93.88％，对于查全率，本发明算法对于偏振图像查全率达到了89.67％，为不同水体流速环境下偏振运动目标成像检测奠定了理论和技术基础。

附图说明

图1为利用分焦平面相机采集水下运动目标偏振图像场景图。

图2为一种基于主动偏振成像的水下运动目标检测装置及方法的算法主流程图。

图3为混合高斯背景模型法的流程图。

图4为金字塔光流法的流程图。

图5为截取的强度图像实验结果：其中(a)强度帧图像，(b)混合高斯背景模型下的强度帧图像。

图6为截取的偏振图像实验结果：其中(c)偏振帧图像，(d)混合高斯背景模型下的偏振帧图像。

图中标记说明：1、水下环境模拟装置；11、搅水器；12、运动目标物；2、偏振成像装置；21、分焦平面相机；3、偏振主动照明装置；31、起偏片；32、光源；4、图像处理系统；41、电脑。

具体实施方式

为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明一种基于主动偏振成像的水下运动目标检测装置及方法做进一步详细的描述。

如图1-图4所示，本发明为得到较好的目标检测效果，故采用混合高斯背景模型算法、形态学算法与金字塔光流法结合的方法，能够在水下及复杂光影条件下有效且精准地对运动目标进行检测和提取，可用于目标跟踪、目标识别等方面。

一种基于主动偏振成像的水下运动目标检测装置，包括水下环境模拟装置1、偏振成像装置2、偏振主动照明装置3、图像处理系统4；

偏振主动照明装置3用于照亮水下环境模拟装置1中的目标，偏振成像装置2用于采集目标图像，且偏振成像装置2还与图像处理系统4连接；

水下环境模拟装置1包括水池，水池中设置有搅水器11和运动目标物12，搅水器11将水流搅动，用以模仿不同水流的水体环境，运动目标物12在扰动水流中做可控规则运动；

偏振成像装置2包括分焦平面相机21，用于在目标运动过程中进行图像采集，并将采集图像传输给图像处理系统4中；

偏振主动照明装置3包括起偏片31和光源32，其中通过旋转起偏片31来得到不同角度下的偏振照明光；

图像处理系统4用于记录目标物12的运动过程，并检测运动目标物12的姿态、方向及轨迹。

在本实施方式中，图像采集系统4包括通过有线连接分焦平面相机21的电脑41，当运动目标物12完成整个运动过程后，分焦平面相机21录制图像传送到电脑41中进行图像处理。

在本实施方式中，图像处理系统4采用混合高斯背景模型算法和金字塔光流算法；读取进入电脑41端图像处理系统的偏振图像，利用混合高斯背景模型算法先进行图像运算，将得到的图像传送到形态学算法中，进行闭运算和开运算得到目标图像，再将经过形态学计算后得到的目标图像进行金字塔光流法的运算，得到具体的运动目标。

在本实施方式中，分焦平面相机21将像素偏振片阵列直接置于芯片感光面与微透镜阵列之间；

像素偏振片阵列上覆盖了防反射材料来抑制闪光和重影；

分焦平面相机21采用纳米技术将微米量级的微型偏振片与成像焦平面相结合，将成像焦平面的每一个像素单元改造成一个微型偏振片，通过微偏振片阵列使得不同像素点接收不同偏振调制的强度图像。

一种基于主动偏振成像的水下运动目标检测方法具体步骤如下：

step1、在偏振主动照明装置3中打开光源32，此处光源32选择supfirebl06牌手电筒，光线穿过起偏片31形成偏振光照射在水下环境模拟装置1中，启动搅水器11并控制运动目标物12运动，在偏振成像装置2中用分焦平面相机21录制5秒图像，然后旋转起偏片31分别录制在0度，45度，90度，135度的时常为5秒的偏振图像，得到来自于分焦平面相机31拍摄的4组水下的运动目标图像。

step2、在图像处理系统4中对步骤step1得到的4组偏振图像进行混合高斯背景模型算法操作，用以得出运动目标的大致运动状态，这个过程中可以去除目标外大部分的背景，也可去除图像中的一些随机产生的水流噪声。

step3、混合高斯背景模型建立之初，先对混合高斯背景建模，背景模型初始化时，均值取第一帧图像的像素值，方差取一个较大的值σ0，权值取一个较小的值ω0。对于图像中(i,j)处的像素t时刻的观察值为xt＝(rt,gt,bt)，那么它属于背景的概率为：

其中：η(xt,μk,t,σk,t)为第k个高斯分布的概率密度，μk,t为t时刻第k个高斯分布的均值，σk,t为t时刻第k个高斯分布的方差；为t时刻第k个高斯分布的协方差矩阵；|σ|是σ的行列式；每个像素的k个高斯分布总是按优先级wk,t/σk,t从高到低排列，wk,t为t时刻第k个高斯分布的权重，且有权重和满足本方法k取4，η为第k个高斯分布在t时刻的高斯密度函数。

step4、匹配更新，当t+1时刻新一帧图像的像素点到来时，将分别与k个高斯分布的均值做匹配，匹配的规则为：

|xt+1-μk，t|＜λσk，t(3)

式中：μk,t和σk,t分别为第k个高斯分布在时刻的均值和标准差。λ是一个根据经验自定义的参数，在实际应用中一般取2.5，本专利λ取2.5，但不仅限于2.5。若满足上述规则，则认为xt+1与第k个高斯函数匹配，否则，不匹配。

匹配会出现两种情况：第一种情况当高斯混合模型的k个高斯模型中的一个或几个与像素xt+1相匹配时，则按照如下方法更新该高斯分布的参数：

ωk，t+1＝(1-α)ωk，t-1+αz(4)

β＝αη(xt+1，ηk，t+1，σk，t)(7)

式中：α为学习速率，其值在0～1之间；z为偏置，对于与当前像素值匹配的高斯分布，z＝1，否则z＝0。通过这个式子将导致匹配的高斯分布权重值增加，而不匹配的高斯分布权重值减小，β为均值和方差的更新速率。

第二种情况当像素xt+1与k个高斯模型都不匹配时，则将其混合高斯模型中权重最小的那个模型用一个新的模型取代。新模型以xt+1为均值，并初始化一个较大的标准差和一个较小的权重。其中不匹配的高斯模型保持均值和方差不变，权重按式更新。

step5、权重的归一化和背景估计，为提高背景模型的可靠程度，需要对权重进行归一化处理，即：

将高斯分布按照ωk,t/σk,t的值从大到小排列，取优先级较高的前b个分布作为混合高斯的背景模型，如下式:

其中：1≤b≤k,1≤k≤k，t为背景阈值，代表背景模型占所有高斯分布的最小比例，一般取值为0.7～0.8。

step6、前景分割，在进行前景检测时，选取的b个高斯分布作为背景模型后，将t+1时刻的像素值xt+1与b个高斯背景模型做匹配，如果像素值xt+1与背景模型中的任何一个分布相匹配，则该像素点为背景点，否则为前景点。

step7、将步骤step6得到的图像，进行形态学闭运算，闭运算即先膨胀后腐蚀，由于step6中出来的图片的边缘以及内部会出现空洞，闭运算的作用是填充二值化图像后显示的运动目标内黑色空洞区域，即连接临近物体，这样运动目标的轮廓就会很完整。再进行开运算，开运算的作用是消除亮度较高的细小区域，在纤细点分离物体，对于较大完整物体，不是很明显，改变其面积的情况下平滑其边界，拟在去除水流噪声及其他噪点，保存形态学后的图像；

形态学闭运算定义算法半径设定为0到20之间，根据不同的情况，进行半径选择，如遇空洞较多，就多增加算法运算半径大小，如果空洞较小，就减少半径大小；

形态学开运算定义算法半径设定为0到20之间，根据不同的情况，进行半径选择，选定好所需半径，如遇噪点较多或者水流的噪声密集，增加算法运算半径大小滤除噪声，如遇噪声不密集，就减小半径大小。

step8、将步骤step7得到的图像，进行金字塔光流法的检测，先建立金字塔模型，初始化金字塔光流估计值。将j(x，y)建立金字塔模型j^l，l＝0，1,…，lm；初始化金字塔光流估计值g^l＝[00]^t，lm层图像上特征点u的速度为u^l＝u/2^l。

step9、对图像j^l求关于x的偏导数和关于y的偏导数计算：

初始化光流值dl＝[00]^t；

求计算：

step10、计算lm层的光流值d^l＝g^-1b，再计算l-1层的光流值:g^l-1＝2(g^l+d^l)，以此类推得到最后的光流值:d＝g⁰+d⁰，图像p(x,y)的对应特征点为v＝u+d，最终得到运动目标图像p(x,y)。

step11、人为选取4组运动目标图像中效果最好的一组，并截取一帧带有完整运动目标的帧图像作为真正的运动目标图像。

实施例1：

一种基于主动偏振成像的水下运动目标检测方法，具体包括以下步骤，且以下步骤顺次进行：

step1、在偏振主动照明装置3中打开光源32，光线穿过起偏片31形成偏振光照射在水下环境模拟装置1中，启动搅水器11并控制运动目标物12运动，在偏振成像装置2中用分焦平面相机21录制5秒图像，然后旋转起偏片31分别录制在0度，45度，90度，135度的时常为5秒的偏振图像，得到来自于分焦平面相机31拍摄的4组水下的运动目标图像。

step2、在图像处理系统4中对步骤step1得到的4组偏振图像进行混合高斯背景模型算法操作，用以得出运动目标的大致运动状态，如图5和图6所示，检测后的图像去除了目标外大部分背景及随机产生的水流噪声。

step3、混合高斯背景模型建立之初，先对混合高斯背景建模，背景模型初始化时，均值取第一帧图像的像素值，方差取一个较大的值σ0，权值取一个较小的值ω0。对于图像中(i,j)处的像素t时刻的观察值为xt＝(rt,gt,bt)，那么它属于背景的概率为：

其中：η(xt,μk,t,σk,t)为第k个高斯分布的概率密度，μk,t为t时刻第k个高斯分布的均值，σk,t为t时刻第k个高斯分布的方差；为t时刻第k个高斯分布的协方差矩阵；|σ|是σ的行列式；每个像素的k个高斯分布总是按优先级wk,t/σk,t从高到低排列，wk,t为t时刻第k个高斯分布的权重，且有权重和满足k取4，η为第k个高斯分布在t时刻的高斯密度函数。

step4、匹配更新，当t+1时刻新一帧图像的像素点到来时，将分别与k个高斯分布的均值做匹配，匹配的规则为：

|xt+1-μk，t|＜λσk，t(3)

式中：μk，t和σk，t分别为第k个高斯分布在时刻的均值和标准差。λ是一个根据经验自定义的参数，λ取2.5。若满足上述规则，则认为xt+1与第k个高斯函数匹配，否则，不匹配。

匹配会出现两种情况：第一种情况当高斯混合模型的k个高斯模型中的一个或几个与像素xt+1相匹配时，则按照如下方法更新该高斯分布的参数：

ωk，t+1＝(1-α)ωk，t-1+αz(4)

β＝αη(xt+1，ηk，t+1，σk，t)(7)

式中：α为学习速率，其值在0～1之间；z为偏置，对于与当前像素值匹配的高斯分布，z＝1，否则z＝0。通过这个式子将导致匹配的高斯分布权重值增加，而不匹配的高斯分布权重值减小，β为均值和方差的更新速率。

第二种情况当像素xt+1与k个高斯模型都不匹配时，则将其混合高斯模型中权重最小的那个模型用一个新的模型取代。新模型以xt+1为均值，并初始化一个较大的标准差和一个较小的权重。其中不匹配的高斯模型保持均值和方差不变，权重按式更新。

step5、权重的归一化和背景估计，为提高背景模型的可靠程度，需要对权重进行归一化处理，即：

将高斯分布按照ωk，t/σk，t的值从大到小排列，取优先级较高的前b个分布作为混合高斯的背景模型，如下式：

其中：1≤b≤k,1≤k≤k，t为背景阈值，代表背景模型占所有高斯分布的最小比例，此处取值为0.7。

step6、前景分割，在进行前景检测时，选取的b个高斯分布作为背景模型后，将t+1时刻的像素值xt+1与b个高斯背景模型做匹配，如果像素值xt+1与背景模型中的任何一个分布相匹配，则该像素点为背景点，否则为前景点。step7、将步骤step6得到的图像，进行形态学闭运算，再进行开运算；

形态学闭运算定义算法半径设定为0到20之间，这里选择了半径为2的算法半径，如遇空洞较多，就多增加算法运算半径大小，如果空洞较小，就减少半径大小；

形态学开运算定义算法半径设定为0到20之间，这里选择了半径为2的算法半径，如遇噪点较多或者水流的噪声密集，增加算法运算半径大小滤除噪声，如遇噪声不密集，就减小半径大小。

step8、将步骤step7得到的图像，进行金字塔光流法的检测，先建立金字塔模型，初始化金字塔光流估计值。将j(x，y)建立金字塔模型j^l，l＝0，1,…，lm；初始化金字塔光流估计值g^l＝[00]^t，lm层图像上特征点u的速度为u^l＝u/2^l。

step9、对图像j^l求关于x的偏导数和关于y的偏导数计算：

初始化光流值dl＝[00]^t；

求计算：

step10、计算lm层的光流值d^l＝g^-1b，再计算l-1层的光流值:g^l-1＝2(g^l+d^l)，以此类推得到最后的光流值:d＝g⁰+d⁰，图像p(x,y)的对应特征点为v＝u+d，最终得到运动目标图像p(x,y)。

step11、人为选取4组运动目标图像中效果最好的一组，并截取一帧带有完整运动目标的帧图像作为真正的运动目标图像。

实验结果统计于表1中：表1为强度图像和偏振图像查全率和查准率计算结果。图5(a)为强度帧图像实验结果，图5(b)为混合高斯背景模型下的强度帧图像；图6(a)为偏振图像帧实验结果，图6(b)为混合高斯背景模型下的偏振帧图像。

表1.

从表1可以看出：偏振特征图像结合运动目标检测算法后，对比传统光强结合运动目标检测，在查准率和查全率上有了明显提升。利用了偏振图像结合运动目标检测算法后在目标查准率上达到了93.88％，对比强度图像结合运动目标检测算法提高了22.52％。利用了偏振图像结合运动目标检测算法后在目标查全率达到了89.67％，对比强度图像结合运动目标检测算法提高了17.24％。

从图5(a)和图5(b)可以看出：混合高斯背景算法检测出的目标图像，可以看出该目标物体轮廓信息基本完整，噪声点较少，且目标内部无空洞现象出现，但是对于目标的细节体现不够明显。

从图6(a)和图6(b)可以看出：利用目标的偏振特征与混合高斯背景算法相结合，可以明显看出，目标整体性较好，轮廓信息完整，可以做到检测出该目标的大部分信息，且头部和尾部的细节体现，有利于物体的识别。

由表1实验数据和图5、图6的实验结果可知：

经实验结果可以看出，对比传统的光强检测查准率、查全率均明显提升，本发明算法的查准率最高为93.88％，对于查全率，本发明算法对于偏振图像查全率达到了89.67％，为不同水体流速的环境下偏振运动目标成像检测奠定了理论和技术基础。

可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。