一种抑制船尾拖纹的船舶显著性视频检测方法与流程

本发明涉及图像和视频处理以及计算机视觉检测技术，特别涉及运动船舶检测中抑制船尾拖纹的算法，为一种抑制船尾拖纹的船舶显著性视频检测方法。

背景技术：

我国东南沿海地区湖河交错，水运也继续成为大宗货物的运输方式之一。水路运输具有运输量大、运价低等优点，运价仅公路的1/10。但是水面不似黑色柏油路面，宽度不统一、没有白色标线规范；此外，船舶不似车辆，尺寸不规范，撞桥、搁浅时有发生。随着视频检测技术的日渐成熟，船舶视频自动检测成为智能视频监控系统中一个重要研究课题，在内河河道的水运管理中，可以有效减少人工视频检测的人力消耗。但是，河道上的船舶在行进时，所产生的船尾拖纹与运动船舶有着相同的运动规律，导致船尾拖纹常常会被误检测为运动船舶的一部分，给船舶自动检测精度带来很大误差。因此，如何解决运动船舶的实际准确尺寸显得尤为重要，也是当前研究的一大方向，对于船舶视频监测预警具有重要的实际应用价值和重大经济价值。

目前，多数研究人员采用混合高斯背景减除算法(gmbsd，gaussianmixturebackgroundsubtractiondivision)对内河航道中背景进行建模，但是船尾拖纹与船舶的运动一致性，依然难以解决拖纹这一起伏背景的干扰。bao等提出的船舶检测器算法(cfd，cabinfeaturedetector)通过训练船舶特征创建检测器，能够检测出不同于训练样本的目标船舶，但是该检测器完全依赖于训练集大小，工作量大，不具有适应性。

技术实现要素：

本发明的目的是为了解决现有方法在运动船舶检测中无法有效抑制船尾拖纹的问题，以及在抑制拖纹的前提下又能否准确检测船体的尺寸。

本发明的技术方案为：一种抑制船尾拖纹的船舶显著性视频检测方法，用直方图对比度方法(hc)得到初步的hc显著图；将超像素分割算法与区域空间分布特征结合，得到内河场景区域显著图，以该区域显著图初始化grabcut算法，用于提取运动船舶，具体包含两个部分，内河场景显著图计算部分和grabcut船舶提取部分，步骤如下：

步骤s1：对内河船舶监控视频图像帧，根据颜色对比度直方图得到内河场景初步的hc显著图；

步骤s2：将原始内河船舶监控视频帧图像进行超像素分割成若干子区域，通过区域空间位置关系改进步骤s1中得到的hc显著图，得到区域显著图：

s2.1)利用超像素分割方法将输入的内河视频帧图像分割成j个像素块区域，得到超像素块rj，j＝1,2,…,j，每个超像素块内的平均显著性值表示为：

式中，n(rj)为超像素块rj里所含有的像素总数，s(ik)为超像素块rj内第k个像素ik的显著性值，像素ik的显著性值由步骤s1的hc显著图得到；

s2.2)用每个超像素块和其他超像素块的空间关系权值来为此超像素块定义新的显著性值，超像素块rj的显著性值s(rj)为：

式中，ds(rj,ri)是超像素块rj和ri的空间距离，i＝1,2,…,j，i≠j，所述空间距离定义为两个区域重心的欧氏距离，σs²用于决定空间关系权值的强度，ws(rj)是超像素块rj的空间关系权值，定义为：

dj是超像素块rj中所有像素与视频帧中心的平均距离；

得到各个超像素块rj的显著性值，即得到区域显著图；

步骤s3：通过步骤s2得到区域显著图初始化grabcut算法，用于提取船舶轮廓，grabcut算法的迭代分割过程中加入腐蚀膨胀操作来逼近目标边缘，从而提取运动船舶，实现对船舶的检测；

其中步骤s1和步骤s2组成内河场景显著图计算模块，步骤s3为改进的grabcut船舶提取模块。

步骤s1具体为：

用直方图对比度算法对内河船舶监控视频帧图像进行初步显著性分析，对颜色级数进行量化和平滑处理，图像i中每个像素的显著性值用它本身的颜色与其他像素颜色的对比度来定义，则图像中相同颜色的像素具有同样的显著性值，使具有相同颜色值cl的所有像素聚到一起，像素ip的显著性值s(ip)即等于其颜色的显著性值，每个颜色的显著性值定义为：

式中，cl是像素ip的颜色值，n是整幅图像中所有的颜色数目，fm是颜色值为cm的像素在图像i中所占的概率，l≠m，d(cl,cm)表示不同颜色值之间的欧式距离；

由得到的各个颜色的显著性值，得到hc显著图。

进一步的，步骤s3具体为：

s3.1)对步骤s2得到的区域显著性检测结果，对其用固定阈值tf二值化得到的显著图来自动提取前景和背景之间的框架：视频帧内所有像素的显著性值大于tf所形成的部分连接起来，其中最大的连接区域设为初始候选区域，也就是前景船舶所在的可能区域，而其他区域定义为背景；

s3.2)在rgb色彩空间，用t维的混合高斯建立彩色图像数据模型，创建吉布斯能量函数：

e(α,t,θ,z)＝u(α,t,θ,z)+v(α,z)(5)

式中,e是吉布斯能量，表示整个吉布斯能量函数的惩罚项，u表示由前景颜色gmm和背景颜色gmm产生的惩罚，v表示相邻像素间的对比度差值。α表示不透明度，α＝0为背景，1为前景；θ为图像前景和背景的高斯分布参数，z为图像灰度直方图数组，z＝z1，z2，……，zn。

式(5)受变量t影响，t＝1,2,3....,t，引入彩色数据模型后，混合高斯的参数模型为：

式中，w(α,t)为每个高斯分量的混合权值；μ(α,t)为每个高斯模型的均值；σ(α,t)为3x3的协方差矩阵；

所述混合高斯的参数模型迭代运行，在每次迭代后，对当前的分割结果进行形态学操作得到一个新的迭代结果图，用作下一次迭代的初始状态，直到迭代过程收敛，膨胀后落在外面的区域设置为背景，腐蚀后包含在里面的区域设置为前景，其余为未知区域，所得到的前景即为运动船舶。

本发明的有益效果为：

为了对运动船舶准确地分割并提取船舶目标，本发明将超像素分割算法与区域空间分布特征结合，来改进直方图对比度方法(hc)得到的初步船舶hc显著图，进而得到内河场景区域显著图，为船舶分割的准确性提供保证；

本发明改进的grabcut船舶提取方法中，用区域显著性检测结果初始化grabcut图像分割算法，避免了人工交互带来的误差以及不便性；迭代运行以更新混合高斯模型的参数，使得更好分割船舶目标。

本发明方法综合考虑了颜色信息和空间信息，减少了对船舶细节的描述，增强了对船舶高层特征的应用，通过直方图对比度方法得到hc显著图，以超像素分割算法与区域空间分布特征结合进一步改进hc显著图，进而得到区域显著图；将得到的区域显著图通过固定阈值二值化自动提取前景与背景的框架，获取船舶所在的可能候选区域，进而将处理过的区域显著图来初始化grabcut算法，进行多次迭代分割直至收敛，迭代分割过程中加入腐蚀膨胀操作来逼近目标边缘，从而有效地消除船尾拖纹和过分割的影响，并最终获取完整的运动船舶，具备较好的鲁棒性。

附图说明

图1是本发明检测方法框架图。

图2是改进的grabcut算法提取船舶图，其中(a)为grabcut初始化；(b)为一次迭代；(c)为二次迭代；(d)为最终分割图；(e)为分割图二值化。

图3是本发明各步骤效果图，(a)为输入图像；(b)为hc显著图；(c)为超像素分割图；(d)为区域显著图；(e)为grabcut二值图；(f)为船舶提取图。

具体实施方式

本发明提出了一种抑制船尾拖纹的船舶显著性视频检测方法，能够有效抑制船尾拖纹，又能够准确分割出整个船体部分且避免了过分割，进一步提升了船舶自动检测的尺寸精度。

下面结合附图和实施例对于本发明进行进一步说明。

本发明抑制船尾拖纹的船舶显著性视频检测方法，如图1所示，包括内河场景显著图计算部分和grabcut船舶提取部分，步骤如下：

步骤s1：根据颜色对比度直方图得到内河场景的hc显著图；

1)用直方图对比度算法(hc，histogram-basedcontrast)对内河船舶监控视频图像帧(如图3(a))进行初步显著性分析，依据输入图像的颜色统计信息提出基于颜色直方图对比度的像素级显著图计算方法，对颜色级数进行量化和平滑处理，从而获得hc显著图，如图3(b)所示。

图像i中每个像素的显著性值是用它本身的颜色与其他像素颜色的对比度来定义的：

式中，d(ip,iq)是在lab颜色空间下像素ip和像素iq欧式距离度量，s(ip)是像素ip的显著性值。

2)从式(1)可以看出，图像中相同颜色的像素具有同样的显著性值，所以对式(1)进行重排，使得具有相同颜色值cl的所有像素聚到一起，则每个颜色的显著性值就可以重新定义为：

式中，cl是像素ip的颜色值，n是整幅图像中所有的颜色数目，fm是颜色值为cm的像素在图像i中所占的概率，l≠m，d(cl,cm)表示不同颜色值之间的欧式距离。

步骤s2：将原视频帧图像进行超像素分割，分割成若干子区域，以区域空间位置关系改进步骤s1中得到的hc显著性检测结果，进而得到区域显著图，具体如下；

1)利用超像素分割(slic,simplelineariterativeclustering)将输入的内河视频帧分割成j个超像素块区域，即超像素块，标记为rj(j＝1,2,…,j)，如图3(c)所示，那么超像素块rj内的平均显著性值表示为：

式中，n(rj)为超像素块rj里所含有的像素总数，s(ik)为超像素块rj内第k个像素ik显著性值，像素ik的显著性值由步骤s1的hc显著图得到。

2)用每个超像素块和其他超像素块的空间关系权值来为此超像素块定义新的显著性值,得到区域显著图，如图3(d)所示。用空间分布特征来增加超像素块的空间影响效果，较近的超像素块增大影响，较远的超像素块减小影响，则对任意的超像素块rj定义显著性值s(rj)为：

式中，ds(rj,ri)是超像素块rj和ri的空间距离，该空间距离定义为两个区域重心的欧氏距离。ws(rj)是超像素块rj的权值类似于中心偏移量，定义为：

式中，dj是超像素块rj中所有像素与视频帧中心的平均距离。因此，超像素块rj邻近视频帧的中心，ws(rj)的值较高；rj是边界区域离视频帧中心较远，ws(rj)值就较小。σs²决定空间关系权值的强度，可根据实验自行设定。

步骤s3：通过步骤s2得到的区域显著图初始化grabcut算法，迭代分割过程中加入腐蚀膨胀操作来逼近目标边缘，从而提取运动船舶。

1)对步骤s2得到的区域显著性检测结果，对其用固定阈值tf二值化得到的显著图来自动提取前景和背景之间的框架；视频帧内所有像素的显著性值大于tf所形成的部分连接起来，其中最大的连接区域设为初始候选区域，也就是前景船舶所在的可能区域，而其他区域就定义为背景；

2)在rgb色彩空间，用t维的混合高斯(gmm)建立彩色图像数据模型。为了方便处理，创建吉布斯能量函数：

e(α,t,θ,z)＝u(α,t,θ,z)+v(α,z)(6)

式中,e是吉布斯能量，表示整个吉布斯能量函数的惩罚项，u表示由前景颜色gmm和背景颜色gmm产生的惩罚，v表示相邻像素间的对比度差值。α表示不透明度，α＝0为背景，1为前景；θ为图像前景和背景的高斯分布参数，z为图像灰度直方图数组，z＝z1，z2，……，zn。

式(6)受变量t影响，t＝1,2,3....,t，引入彩色数据模型后，混合高斯的参数模型为：

式中，w(α,t)为每个高斯分量的混合权值；μ(α,t)为每个高斯模型的均值；σ(α,t)为3x3的协方差矩阵。

该参数模型迭代运行，在每次迭代后，对当前的分割结果进行形态学操作得到一个新的迭代结果图，用作下一次迭代的初始状态，直到迭代过程收敛，如图3(e)所示，膨胀后落在外面的区域设置为背景，腐蚀后包含在里面的区域设置为前景，其余为未知区域，在前景所在区域提取目标即为运动船舶，如图3(f)所示。改进的grabcut算法提取船舶的整个过程如图2(a)～(e)所示。