公路监控视频中运动车辆阴影的自适应消除方法与流程

本发明技术涉及一种公路监控视频中运动车辆阴影的自适应消除方法。

技术背景

基于视频序列的运动目标分析分割被广泛应用到智能视频监控、地形匹配、图像导航制导、人体运动细节分析、人工智能等领域。其中运动目标检测是运动目标分析技术的最底层，属于基础性工作，准确的从视频图像中提取出完整的运动目标是后续视频图像运动分析能否顺利进行的关键。然而在运动目标检测与分割过程中，由于光线照射，会使运动目标产生相应的阴影。阴影会随着运动目标的运动而运动，在运动目标检测过程中如果不将阴影检测出来处理，可能会对后期运动目标的处理产生干扰。

目前对与阴影的检测主要分为基于特征和基于模型两种类型，基于模型主要是通过光照不变性，场景，前景目标等可用物体建立模型，此方法一般只适用于特殊情况，局限性较大，计算量较大，不适用于实际应用。另一种基于特征的方法，通过对颜色，纹理，梯度等特征的处理达到对于阴影的检测，例如基于hsv颜色空间，基于rgb颜色空间以及基于c1c2c3颜色空间的方法。这些方法通过提取阴影颜色特征，通过饱和度，像素变化，灰度变化对比等特征实现阴影的检测，但是这些方法常常只考虑运动目标与阴影单特征的区别，导致检测正确率不高，容易出现误检，易受到环境因素的干扰，一般情况下只适用于较为简单的场景，计算量大，影响实时性。

技术实现要素：

本发明是一种公路监控视频中运动车辆阴影的自适应消除方法，此方法可以适用于大部分复杂场景，如道路监控等，提高阴影检测准确性，具有一定的实时性。

本发明技术解决方案如下：

一种公路监控视频中运动车辆阴影的自适应消除方法。其特征在于，包括如下步骤：

步骤1：采集n帧图像，通过高斯混合模型实现背景建模，提取背景图片；(其中n的取值范围视视频大小而定，实验中n取值为3000)

步骤2：将当前所需要处理的视频图像作为输入，用高斯混合模型检测运动目标，并确定运动目标区域；

步骤3：获取运动目标彩色图的梯度图，并与二值图进行融合填充，得到完整的目标区域,实现图像补偿；

步骤4：分别对补偿后图片的彩色运动物体和对应背景图求取二次梯度图并做差值，去除阴影；

步骤5：对差值图进行轮廓提取，图像分割并得出较为完整的阴影区域；

步骤6：通过颜色空间及投影特征进一步检测阴影，并再次去除阴影区域；

步骤7：用当前输入图片对背景模型进行更新，返回步骤2。

所述步骤1为：

利用当前t帧输入图像使用高斯混合模型背景建模。

对于多峰高斯分布模型，图像的每一个像素点按不同权值的多个高斯分布的叠加来建模，每种高斯分布对应一个可能产生像素点所呈现颜色的状态，各个高斯分布的权值和分布参数随时间更新。当处理彩色图像时，假定图像像素点r、g、b三色通道相互独立并具有相同的方差，对于随机变量x的观测数据集{x1x2x3……xn}，单个采样点xt＝(rt,gt,bt)服从的混合高斯分布概率密度函数为：

式中wi,t为t时刻第i个高斯分布的权重，k为分布模式总数，μi,t为其均值，τi,t为其协方差矩阵，η(xt,μi.t,τi,t)为t时刻第i个高斯分布，η通过下式计算：

式中，δi,t为方差，i为三维单位矩阵，wi,t为t时刻第i个高斯分布的权重。

所述步骤2为：

第一步：每个新像素值xt同当前k个模型进行比较，搜索均值偏差在2.5σ内的模型，即|xt-μi,t-1|≤2.5σi,t-1，作为和新像素匹配的分布模型。

第二步：如果所匹配的模式符合背景要求，则该像素为背景，否则为前景。

第三步：高斯权重wk,t按照下列公式进行更新，并对更新后的权重进行归一化，公式如下：

wk,t＝(1α)×wk,t-1+α×mk,t

第四步：高斯分布的均值μt和方差σt分别按照下列公式进行更新：

ρ＝α×η(xt,μi,t,τi,t)

μt＝(1-ρ)×μt-1+ρ×xt

对于单通道的灰度视频图像，上式协方差τi,t＝σt，α是自定义学习率，且α取[0,1]之间，α决定背景跟新速率，其中μt表示t时刻高斯分布均值，表示方差。

第四步：如果第一步没有任何模式匹配，则权重最小的模式被替换，即该模式的均值为当前像素值，标准差为初始较大值，权重为较小值。

第五步：各模式根据w/α²按降序排列，权重大，标准差小的模式排列靠前。

第六步：选取b个模式作为背景，b满足下列公式：

所述步骤3为：图像补偿，由于高斯模型对光照的鲁棒性比较差，直接求取梯度图做差会无法准确的检测阴影区域，所以先对运动物体的彩色图求梯度图，然后将得出的梯度图与运动物体二值图融合并使用opencv的漫水填充对空洞进行填充，再进行形态学后续处理,获取比较完整、干扰较小的目标物体二值化图，实现对图片的补偿，具体步骤如下：

第一步：使用scharr梯度算子对步骤2得出的运动物体rgb三通道图进行边缘检测。

第二步：将rgb三通道梯度图和步骤2得出的运动物体二值化图融合。

第三步：通过漫水填充算法，对融合图片中的连通域进行填充，达到图片补偿的效果。

所述步骤4为：对补偿过后的二值图所对应的rgb三通道图和其对应的背景图分别使用scharr梯度算子进行二次梯度边缘检测。scharr算子是sobel算子的一种特例算子，在处理较小的核时，scharr准确率更。使用scharr获取准确完整的梯度矢量图后，对前景与背景的梯度矢量图进行比较，从而区分运动目标和其产生的阴影区域，具体算法如下：

计算背景图像的梯度矢量，沿图像水平和竖直方向的scharr算子与背景图像进行卷积，计算每一个像素点(x,y)的0°和90°方向gf,1(x,y),gf,2(x,y),得到尺度向量:

gf(x,y)＝{gf,1,gf,2|x,y},gf(x,y)

尺度向量反映了背景图像在该像素梯度变化的趋势，也是背景梯度的表现形式，公式如下：

gf,i(x,y)＝f(x,y)×hi(x,y)

其中f(x,y)为坐标(x,y)上的像素值，hi(x,y)是0°和90°方向上的scharr算子，分别为：

第二步：背景图像梯度矢量的归一化。

第三步：计算当前帧图像的梯度矢量，并归一化。

沿当前帧图像水平和垂直方向用scharr算子与序列图像进行卷积，计算每一个像素点(x,y)的两个尺度gc,1(x,y)，gc,2(x,y)，得到尺度向量gc(x,y)＝{gc,1,gc,2|x,y},gc(x,y)，反映当前帧图像变化趋势，公式为：

将其进行归一化，得到矢量

第四步：计算当前帧图像梯度图和其背景库中对应像素点归一化矢量的差值d.

所述步骤5为：

对差值图进行轮廓提取，进行滤波。

然后对图像进行均值滤波，腐蚀膨胀等形态学处理，确定阴影区域s1。

由于梯度做差值会使得一部分运动物体本身区域被消除，故通过使用yuv颜色空间和投影特征对车辆阴影区域进一步检测。

由于梯度做差值会使得一部分运动物体本身区域被消除，故通过使用yuv颜色空间，投影特征与梯度特征相结合的方式对车辆阴影区域进一步检测，步骤6具体如下：

第一步：使用yuv颜色空间对前景运动物体进行阴影检测得出掩模m1，yuv颜色空间是一种颜色编码的方法，其中y表示明亮度及图像的灰度值，u和v代表色差，u和v是构成彩色的两个分量，yuv颜色空间定义为：

y＝0.299r+0.587g+0.114b

u＝-0.1687r-0.3313g+0.5b＝128

v＝0.5r-0.4187g-0.0813b+128

第二步：根据运动物体的rgb三通道像素小于对应背景的rgb三通道像素确定掩模m2:

其中i为对应图像帧，t为像素位置，μ为对应背景模型；

第三步：由于投影区域没有光源直射，只有空气散射，故运动物体投影区域相对于彩色阴影区域会有蓝色化变化，及b通道的变化率小于r，g通道变化率得出最终优化的阴影区域s2:

其中i为对应图像帧，t为像素位置，μ为对应背景模型；

将s1和s2区域进行与运算确定最终阴影区域，并对比原图像帧去除阴影区域。

附图说明

图1是本发明公路监控视频中运动车辆阴影的自适应消除方法的流程图；

图2为实施例中基于梯度特征阴影检测流程图。

具体实施方法

为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。

实施例1：

公路监控视频中运动车辆阴影的自适应消除方法如图1所示，包括如下步骤：

1.建立背景模型

获取当前输入图像的前n帧图像中的像素点的颜色特征信息，把每一个像素点所呈现的颜色用k个高斯分布的叠加来表示，通常k取3-5之间。将像素点所呈现的颜色x认为是随机变量，则在每时刻t＝1,…,t所得到视频帧图像的像素值只是随机变量x的采样值。

在进行前景检测前，先对背景进行训练，对每一帧图像中每个背景采用一个混合高斯模型进行模拟，背景一旦提取出来，前景的检测就简单了，检查像素是否与背景的高斯模型匹配，匹配是背景，不匹配就是前景。

具体步骤：

参数初始化：在第一帧图像时每个像素对应的第一个高斯分布进行初始化，均值赋为当前像素的值，权值赋为1，除第一以外的高斯分布函数的均值、权值和都初始化零。

参数更新：在时刻t对图像帧的每个像素xt与它对应的高斯模型进行匹配。

更新规则：

a.对于不匹配的高斯分布,它们的均值μ和协方差矩阵保持不变；

b.匹配的高斯分布gi的均值μ和协方差矩阵按下式更新:

μi,t＝(1-ρ)μi,t-1+ρxt

∑i,t＝(1-ρ)∑i,t-1+ρ×diag[(xt-μi,t)^t(xt-μi,t)]

α为参数估计的学习速率。

如果该像素对应的混合高斯模型中没有高斯分布与像素值xt匹配,那么将最不可能代表背景过程的高斯分布gj重新赋值,即：

j＝argimin{wk,t-1}

wj,i-1＝w0,μj,t＝xt,∑j,t＝v0i，

式中,w0和v0是预先给定的正值；i为一个3×3单位矩阵。

然后按下式更新所有k个高斯分布在时刻t的加权系数wi,t:

wi,t＝(1-α)wi,t-1+α(mi,t)；

式中,如果高斯分布gi与t时刻像素值xt匹配,则取mi,t值1,否则取值为0。

2.前景目标提取

每个新像素值xt同当前k个模型进行比较，搜索均值偏差在2.5σ内的模型，公式为：

|xt-μi,t-1|≤2.5σi,t-1；

按照公式更新像素wi,t＝(1-α)wi,t-1+α(mi,t)。

3.图像补偿

第一步：使用scharr梯度算子对步骤2得出的运动物体rgb三通道图进行边缘检测。

第二步：将rgb三通道梯度图和步骤2得出的运动物体二值化图融合。

第三步：通过漫水填充算法，对融合图片中的连通域进行填充，达到图片补偿的效果。

4.图像二次梯度，请参阅图2所示：

第一步:计算背景图像的梯度矢量，沿图像水平和竖直方向的scharr算子与背景图像进行卷积，计算每一个像素点(x,y)的0°和90°方向gf,1(x,y),gf,2(x,y),得到尺度向量：

gf(x,y)＝{gf,1,gf,2|x,y},gf(x,y)

梯度表现形式；gf,i(x,y)＝f(x,y)×hi(x,y)

梯度算子hi(x,y)分别为：

当前帧和对应背景图像归一化

gc(x,y)＝{gc,1,gc,2|x,y}

梯度做差d:

5.后续运动物体处理，形态学操作，图像完善；

首先对差值图进行轮廓提取，进行滤波；

然后对图像进行均值滤波，腐蚀膨胀等形态学处理，确定阴影区域s1。

由于梯度做差值会使得一部分运动物体本身区域被消除，故通过使用yuv颜色空间，投影特征与梯度特征相结合的方式对车辆阴影区域进一步检测。

所述步骤为:

第一步：使用yuv颜色空间对前景运动物体进行阴影检测得出掩模m1

yuv颜色空间转换公式：

y＝0.299r+0.587g+0.114b

u＝-0.1687r-0.3313g+0.5b＝128

v＝0.5r-0.4187g-0.0813b+128

第二步：根据运动物体的rgb三通道像素小于对应背景的rgb三通道像素确定掩模m2

第三步：由于投影区域没有光源直射，只有空气散射，故运动物体投影区域相对于彩色阴影区域会有蓝色化变化，及b通道的变化率小于r，g通道变化率得出最终优化的阴影区域s2:

将s1和s2区域进行与运算确定最终阴影区域，并对比原图像帧去除阴影区域。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。