融合区域纹理梯度的船舶阴影去除方法与流程

本发明属于计算机机器视觉检测技术领域，用于在内河河道船舶航行参数的监测中，使用融合区域纹理梯度的方法去除船舶阴影对船舶航行参数测量的影响，为一种融合区域纹理梯度的船舶阴影去除方法。

背景技术：

为了保障内河河道的航运安全以及对船舶运行状态事实监测的需要，目前借助于监控视频实时提取内河船舶运行流量等参数的船舶检测系统得以广泛应用。在监测过程中需要获取船舶的位置、速度、长宽等信息，这些信息对规范船舶型号、防止桥梁碰撞、检测船只超速等都有重要的意义。但在实际的河道监测视频中目标(船舶)一般都存在阴影，而阴影的存在导致无法对船舶运行参数进行精确的检测；甚至可能导致两个或多个目标检测为一个目标，造成检测错误。因此在对河道监控视频进行船舶参数检测时，需要将船舶阴影去除。

传统颜色纹理阴影去除方法(se-ct，shadoweliminationbasedoncolorandtexture)主要结合颜色和纹理不变性特征分割目标和阴影。由阴影光谱属性可知，阴影区域中的像素点的光强度比背景区域的要小。在阴影区域中rg分量的反射比b分量的强，同时阴影覆盖的背景区，其b分量增加、rg分量减小；在光照条件不断变化的环境中，纹理不变性常被用来做阴影检测。

然在实际的河道监控环境下，由于水面波纹的原因阴影覆盖前后区域的纹理特征不变性这一假设并不总是成立的。传统的视频检测方法往往难以有效区分船体边界，造成颜色、纹理相似的前景和阴影区域检测相混淆。在河道这一特定环境下，船舶阴影去除任然是一个具有挑战的问题。

技术实现要素：

本发明需要解决的技术问题是：阴影覆盖前后，水面区域的纹理特征不变性这一假设并不总是成立，从而导致传统阴影检测方法往往难以有效区分船体边界，造成颜色、纹理相似的前景和阴影区域检测相混淆。

本发明的技术方案为：融合区域纹理梯度的船舶阴影去除方法，根据内河河道的监控视频，采用改进的颜色及纹理特征对船舶阴影区域进行预检测，再利用梯度填充的方法来优化确定最终的阴影位置，进而去除阴影，具体步骤如下：

1)利用监控视频的连续视频帧构建河道背景模型，并对视频图像中的河道进行兴趣域检测及标定，采用混合高斯模型进行前景的提取，并根据连续视频帧的输入不断更新背景帧b；

2)对提取出的前景目标利用改进的颜色特征对阴影区域进行初步检测：

2.1)获取前景目标区域内的每一个像素点的hsv值；

2.2)候选阴影区域sp^t(p)定义为：

式中，和分别表示t时刻视频帧f和背景帧b在像素点p处的亮度值；和分别表示t时刻视频帧f和背景帧b在像素点p处的饱和度；和分别表示t时刻视频帧f和背景帧b在像素点p处的色度值；α，β，τs，τh分别表示大量对照实验得出的最佳阈值；

3)利用改进的lbp纹理特征对阴影区域进行检测：

对步骤2)的候选阴影区域利用纹理特征进一步优化，更新候选阴影区域，改进的lbp纹理特征如下：

式中，(x0,y0)为候选阴影区域的中心像素点的坐标，gc为中心像素点的灰度值，gp和gq为以(x0,y0)为中心的3×3窗口上对称像素点的灰度值，gm为以(x0,y0)为中心的周围圆边上的m个对称像素点；

4)对更新处理后得到的阴影候选区域使用梯度填充的方法来优化得到最终的阴影区域；

5)把混合高斯模型提取出来的前景区域与最终标出的阴影区域做图像差分，得到去除阴影的船舶目标。

进一步的，步骤4)获取最终的阴影区域具体为：

4.1)对于步骤2)-3)处理后得到的阴影候选区域中的每一块连通域，像素点p(x,y)的梯度幅值和梯度方向θp定义如下：

式中，表示水平梯度方向，表示垂直梯度方向，函数arctan2(·)返回一个在[-π,π]之间的梯度方向值，θp表示像素的梯度方向；

对于具有显著权重的像素点p＝(x,y),计算t时刻视频帧f和背景帧b的梯度差δθp：

4.2)利用t时刻视频帧f和背景帧b在梯度方向上的相关性判断阴影区域，如下式：

式中，s为阴影检测的结果，n为候选阴影区域像素的个数，τa为梯度阈值；τc为给定的梯度差阈值，如果s大于τc，则像素点属于阴影区域，否则属于前景，对检测出的阴影采用数学形态学的闭运算来填充阴影掩码，降低噪声影响，得到最终的阴影区域。

本发明针对内河河道这一特定场景，提出了一种融合区域纹理梯度的船舶阴影去除方法，有效解决了传统的阴影检测方法在实际的监控视频流中，由于阴影覆盖前后区域的纹理特征不变性这一假设并不总是成立的，造成的难以有效区分船体边界，造成颜色、纹理相似的前景和阴影区域检测相混淆的问题；提高了对内河船舶航行参数的检测精度，特别是对准确获得船舶尺寸具有重要意义。

附图说明

图1是本发明方法实现船舶阴影去除的流程步骤框图。

图2是本发明方法中船舶阴影去除各步骤结果图，(a)为输入图像，(b)为混合高斯建模，(c)为基准图，(d)为改进颜色特征，(e)为改进纹理特征，(f)为梯度填充，(g)为阴影检测，(h)为阴影去除，(i)为匹配跟踪。

图3是本发明改进的lbp纹理检测方法中，3×3窗口邻接像素点模版的实施例。

具体实施方式

以下结合附图和具体实施例对本发明进行详细说明。

参照图1，本发明给出一种内河河道特定场景下的实现船舶阴影去除流程包括以下步骤：

步骤(1)：首先从视频源获取视频，然后采用混合高斯模型提取出带有阴影的前景目标区域，使用混合高斯模型提取出来的前景图像如图2(b)所示。

步骤(2)：前面的步骤中，前景区域是通过混合高斯模型来进行提取的，相较于rbg空间，在hsv空间中，由于亮度和色度是分开的，所以该空间适用于可见的阴影检测，对于提取出来的前景区域，本发明选择hsv颜色空间检测阴影。对于提取出来的前景区域，获取区域内以及对应区域的背景模型内的每一个像素点的hsv值，使用改进的颜色特征筛选出候选阴影区域sp^t(p)。根据hsv值综合判断阴影区域的定义如下：

式中，和分别表示t时刻视频帧f和背景帧b在像素点p处的亮度值；和分别表示t时刻视频帧f和背景帧b在像素点p处的饱和度；和分别表示t时刻视频帧f和背景帧b在像素点p处的色度值；α，β，τs，τh分别表示大量对照实验得出的最佳阈值；

由上述改进的颜色特征筛选出来的阴影候选区域如图2(d)所示。

由于传统的lbp纹理特征提取是利用图像选定区域的中心像素与其周围局部像素进行阈值对比，如果中心像素的亮度不小于相邻像素值，标记为1，否则标记为0，并将最终的结果求和。而这样的检测算法抗噪声性能差，细微的噪声都会引起阴影像素的误检和漏检，但由于水面波纹总是存在的，因此噪声也是无法避免的。针对这个问题步骤(3)提出了一种基于改进的lbp纹理特征阴影检测的方法，并从步骤(2)得到的候选阴影掩膜中利用这种方法进一步优化。这种改进的lbp纹理特征阴影检测方法将中心像素点与周围圆边上的对称像素点做多次比较。

步骤(3)具体为：在步骤(2)筛选出的阴影候选区域中，使用改进的lbp纹理特征做进一步优化，更新候选阴影区域。改进的lbp特征定义如下：

式中，(x0,y0)为候选阴影区域中心像素点的坐标，gc为中心像素点的灰度值，gp和gq为以(x0,y0)为中心的3×3窗口上对称像素点的灰度值，gm为以(x0,y0)为中心的周围圆边上的m个对称像素点。本步骤将候选阴影区域中心像素点与周围圆边上的对称像素点做多次比较后，用lbp(x,y)值代替中心像素点(x0,y0)的灰度值，进而更新候选阴影区域。

改进的lbp纹理检测方法中，3×3窗口邻接像素点模版如图3所示。

根据上述改进lbp特征得到的阴影候选区域如图2(e)所示。

步骤(4)采用梯度填充的方法获取最终阴影区域。

首先对于步骤2)-3)处理后得到的阴影候选区域中的每一块连通域，像素点p(x,y)的梯度幅值和梯度方向θp定义如下：

式中，表示水平梯度方向，表示垂直梯度方向。函数arctan2(.)返回一个在[-π,π]之间的梯度方向值，θp表示像素的梯度方向。

对于具有显著特征的像素p＝(x,y),计算前景帧(f)和背景帧(b)的梯度差：

这里具有显著特征是指：经过上面各步骤的处理，在船舶与水面交界处，会有一些像素点还没有办法判断是否是阴影区域，所谓显著，简单讲就是一个白色像素点周围都是黑色的，那么这个白色的像素点就是显著的。

梯度填充的方法利用当前帧和背景帧在梯度方向上的相关性判断阴影区域，表示如下：

式中，s为阴影检测的结果，n为候选阴影区域像素的个数。τa为梯度阈值。如果s大于给定的梯度差阈值τc，则像素点属于阴影区域，否则属于前景。对检测出的阴影采用数学形态学的闭运算来填充阴影掩码，降低噪声影响，得到最终的阴影区域。梯度填充后的阴影图像如图2(f)所示，最终检测出来的阴影区域如图2(g)所示。

步骤(5)把混合高斯模型提取出来的前景区域与最终标出的阴影区域做图像差分以得到去除阴影的船舶目标，结果如图2(h)所示。

如图2(a)所示，在船舶与水面交界部分，其颜色与纹理特征变化不明显。如图2(d)和图2(e)所示仅通过颜色及纹理特征无法准确提取出阴影部分。因此对上面得到的结果再使用本发明提到的梯度修复的方法可以更加准确地区分水面与船舶的交界，最后采用本发明方法得到的去除阴影后的船舶目标如图2(h)所示。参照图2(c)基准图，阴影去除效果优秀，完全满足实时性要求。