一种视频运动阴影消除的方法与流程

本发明属于视频数字图像分析与阴影检测技术领域，具体涉及一种视频运动阴影消除方法。

背景技术：

运动目标检测在视频分析中处于基础地位，目标检测的准确度与后续的运动目标跟踪、目标的识别以及行为分析等息息相关。随着经济社会的不断发展和计算机性能的不断升级，智能视频的处理将会越来越普及，对提取视频中运动目标的要求也越来越高，阴影的消除至关重要。

有效的去除运动阴影能够使视频分析中运动目标检测的性能提高，对视频监控系统中运动目标的识别和行为的分析等起到了至关重要的作用，令传统视频监控系统更加的智能化。因此，研究运动阴影检测方法的理论和实践具有重大的意义和广泛的应用前景。阴影消除不仅仅可以提升运动目标检测的准确性，对视频后处理的运动目标的定位、追踪以及识别等都有很大的关联。

近几年，运动阴影去除已经逐渐成为智能视频监控领域研究的热点问题，并且在国内外引起许多专家和学者的广泛研究。目前对运动阴影去除研究方法有很多，大致上可以总结为两大类：基于确定性方法和基于统计学方法。前者是通过利用环境对阴影和非阴影进行判断。在判断的过程中是否需要背景、运动目标和光照等先验知识建立模型，基于确定性方法又可以具体划分为确定性非模型方法和确定性模型方法两类。基于统计学方法是采用背景和阴影像素的概率值区分阴影和非阴影。类似的，这种方法可以具体的分为参数方法和非参数方法两类。在国外，2003年，parti等人第一次将运动阴影检测方法详细的总结，分成四类，接着从每类中提到性能较好的方法模型，并进行了分析对比，提出了一套评价指标运用于阴影检测中，而经典颜色空间模型hsv阴影消除法也在其中被提及。最近，al-najdawi等人和sanin等人分别从不同角度对近些年提到的运动阴影检测的模型进行了综合的分析对比，将parti等人的工作进行了完善。在国内，殷保才等人采用了将色度和纹理不变性相结合的阴影检测方法；邱一川等人通过颜色特征和边缘特征相结合对阴影去除；艾维丽等人提出了区域配对的阴影检测算法。

hsv颜色空间使用的是颜色的色度、饱和度及亮度等数据，人的视觉感知方式与其联系紧密，因此更能准确的将运动目标与阴影的灰度表现出来。但传统的hsv空间阴影消除法只是通过视频帧与背景帧之间的亮度比值的阈值阴影区域，在不同的背景和光照的条件下，亮度比值的阈值发生变化难以确定，导致运动目标误检为阴影的现象严重。该方法适用性和准确性差。

现有技术中，专利文献：一种基于混合高斯及阴影检测模型的目标检测与提取方法(201510592219.x)公开了一种阴影检测模型，采用改进的自适应混合高斯背景建模的方式进行目标检测，同时，在检测过程中加入阴影模型对目标的阴影进行消除，以便增加目标检测的准确性和可靠性。然而该专利技术方案存在的问题是：虽然提高了运行速率，但在hsv空间阴影检测中运动目标误检为阴影的这一问题没有得到很好的解决，运动目标中的一些区域被当作阴影被消除。

专利文献：视频图像中运动目标阴影消除方法(201310113545.9)公开一种视频图像中运动目标阴影消除方法，包括：建立视频图像实时更新的背景模型；根据背景模型，使用帧间差分法获得含有阴影的运动目标图像；对含有阴影的运动目标图像进行hsv色彩空间转换，获得含有阴影的运动目标图像的色度分量、饱和度分量和亮度分量；根据预设网格，计算每个预设网格的亮度分量的均值和方差；将均值和方差作为二维特征向量，使用k-means算法进行聚类；将色度分量、所述饱和度分量和所述亮度分量作为三维特征向量，使用k-means算法进行聚类，获得阴影区域；在阴影区域将二值图像的像素值设定为零，消除二值图像中的阴影。然而该专利技术方案存在的问题是：虽然可以将阴影和运动目标较为准确的分离，但采用多维的聚类技术，将会使运行速率降低，实时性很难满足。

有鉴于此，有必要提供一种能同时满足实时性要求和前景误检比例低的视频运动阴影消除的方法，以解决上述问题。

技术实现要素：

为了解决上述现有技术存在的问题，本发明的目的在于提供一种视频运动阴影消除的方法，针对传统的hsv颜色空间阴影消除中不同环境下不断变换参数，以及前景误检为阴影的这一缺点，对其做出了改进，可以在多种环境下，实现阴影消除。

为了达到上述目的，本发明所采用的技术方案是：一种视频运动阴影消除的方法，其特征在于，所述方法包括以下步骤：

(1)对读取到的视频帧采用自适应高斯混合的背景建模法建立背景，提取前景；

(2)通过颜色空间模型hsv中视频帧和背景帧亮度比值进行阴影检测，确定阈值将不同视频的阴影基本检测出，然后结合高斯混合模型提取的前景消除阴影，得到运动目标；

(3)将高斯混合模型得到的前景分别通过改进的lbp算子和大津阈值(otsu)处理，两者相或，得到运动目标；

(4)将步骤(3)中得到的运动目标与步骤(2)得到的去除阴影的运动目标相或，即可得到阴影消除的运动目标，流程结束。

进一步地，所述步骤(2)的操作包括：

(2.1)将前景转换为hsv颜色空间；

(2.2)在不同环境中，确定视频帧和背景帧亮度比值的同一参数，即可将阴影全部消除；

式中，为当前帧的亮度值，为背景帧的亮度值，为当前帧的色度值，为背景帧的色度值，为当前帧的饱和度值，为背景帧的饱和度值，τs、τh分别为饱和度与色度的阈值，其对阴影的检测结果影响不大，α与阴影的亮度值强弱有关，β与光线的强弱有关。

进一步地，所述步骤(3)中改进的lbp算子具体为：lbp是选取一个较小的值，与中心像素的灰度值与其对应的邻域像素的灰度值的差值作比较，大于阈值记为1，否则标记为0；然后按照顺时针方向的顺序得到二进制串，将其做为该中心像素的lbp算子；lbp算子是在中心像素的8邻域中，其公式如下所示：

其中，q为该像素邻域中的像素个数，r为环形邻域的半径，lbpq,r(xc,yc)表示中心像素位置为(xc,yc)的lbp算子，gc是该中心像素的灰度值，gq则是环形邻域中像素的灰度值，t是为了提高lbp算子的鲁棒性设定的一个相对较小的阈值。

进一步地，所述t的取值是2≤t≤150。

更进一步地，所述t的取值是t＝8。

进一步地，所述步骤(3)中大津阈值的原理是：灰度为i的像素数目为ni，总像素数为n，且pi表示灰度为i的像素的概率，于是有而图像总均值为c0和c1分别表示两类像素群，c0＝[0,…,k]，c1＝[k+1,…,l-1]，c0和c1的均值分别记为μ0(k)和μ1(k)，令则

于是可得到类间方差

故最佳阈值k^*的选取原则即为：

大津阈值是按图像的灰度特性，将图像分成阴影和目标两部分。阴影和目标之间的类间方差越大，说明构成图像的两部分的差别越大，当部分目标错分为阴影或部分阴影错分为目标都会导致两部分差别变小，因此，使类间方差最大的分割意味着错分概率最小。

进一步地，所述步骤(1)的操作包括：前景提取：

用混合高斯背景建模提取运动的目标，它是采用k个高斯分布对图像中的每个像素建模，对t时刻新获取像素值xt，判断其与已有的k个高斯分布是否匹配，若满足条件|xt-μi,t-1|≤2.5σi，则可以断定该像素值与高斯分布匹配；如果xt都不匹配，则需要引入新高斯分布或者通过新高斯分布替代优先级λi,t最小的分布；这时，新的高斯分布的均值是xt；

若有匹配的分布，令mk,t＝1，否则mk,t＝0；而不匹配的分布，保持均值与方差的不变，ωi,t作为第i个高斯分布的权重，且有ωi,t(x,y)更新如式(1)所示：

ωi,t(x,y)＝(1-α)·ωi,t-1(x,y)+α(mi,t)(1)

其中，α是自定义的学习率。且0≤α≤1，背景更新的速度依据α的大小；

最后，对每个像素的k个高斯分布按照λi,t进行排序，选择前b个分布表示背景模型用来确定作为背景模型的分布；然后，再次对前b个高斯分布和xt进行匹配，如果xt和前b个高斯分布之一匹配，则可断定这个像素是背景点；否则该像素是前景点。

进一步地，所述视频运动阴影消除的方法，采用阴影检测率η和判别率ξ作为评价算法性能的指标，将两者求和取均值来进一步分析其性能，具体定义如下：

其中，tps表示正确检测到阴影像素的个数，fns表示将阴影像素误检为前景像素的个数，tpf表示正确检测到的前景像素个数，fnf表示将前景像素误检为阴影像素的个数。通过人工标注视频的若干不同帧的目标和阴影，并在本算法的检测下可以求出tps、fns、tpf和fnf。

与现有技术相比，本发明的有益效果是：本发明提供的视频运动阴影消除的方法，是结合hsv和纹理特征消除视频阴影的方法。先通过高斯混合背景建模的方法建立背景和在灰度化空间提取前景，将其前景与hsv颜色空间模型中的阴影检测相结合，提取出运动目标。然后将高斯混合模型提取的前景分别通过lbp算子和大津阈值(otsu)提取部分运动目标，两者相或可以得出运动目标，最后再与前面hsv提取的运动目标再次相或，实验结果表明可达到消除阴影的效果。该算法不需要在背景和光照的变化下变换hsv空间模型阴影消除法的亮度比的阈值，有效的减少了hsv将前景误检测为阴影的比例，得到较好的检测结果；而且视频读取速率可达到12-15帧每秒，满足实时性的要求。

附图说明

图1是本发明的软件流程图。

图2是不同视频的视频帧。

图3是高斯混合对不同视频提取对应的前景图。

图4是本发明对不同视频对应的阴影消除效果图。

具体实施方式

以下通过实施例形式对本发明的上述内容再作进一步的详细说明，但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明上述内容所实现的技术均属于本发明的范围。

如图1所示，本发明实施例提供的一种视频运动阴影消除的方法，包括如下步骤：

101：对读取到的视频帧(如图2)采用自适应高斯混合的背景建模法建立背景，提取前景，通过形态学运算，将噪点去除，如图3所示。

前景提取：

用混合高斯背景建模提取运动的目标，它是采用k个高斯分布对图像中的每个像素建模，对t时刻新获取像素值xt，判断其与已有的k个高斯分布是否匹配，若满足条件|xt-μi,t-1|≤2.5σi，则可以断定该像素值与高斯分布匹配。如果xt都不匹配，则需要引入新高斯分布或者通过新高斯分布替代优先级λi,t最小的分布。这时，新的高斯分布的均值是xt。

若有匹配的分布，令mk,t＝1，否则mk,t＝0。而不匹配的分布，保持均值与方差的不变，ωi,t作为第i个高斯分布的权重，且有ωi,t(x,y)更新如式(1)所示：

ωi,t(x,y)＝(1-α)·ωi,t-1(x,y)+α(mi,t)(1)

其中，α是自定义的学习率。且0≤α≤1，背景更新的速度依据α的大小。

最后，对每个像素的k个高斯分布按照λi,t进行排序，选择前b个分布表示背景模型用来确定作为背景模型的分布。然后，再次对将前文提到的前b个高斯分布和xt进行匹配，如果xt和前b个高斯分布之一匹配，则可断定这个像素是背景点；否则该像素是前景点。

102：利用传统hsv颜色空间中视频帧和背景帧亮度比值进行阴影检测，确定阈值将不同视频的阴影基本检测出，然后结合高斯混合模型提取的前景消除阴影。

颜色空间hsv阴影检测模型：

人们通过视觉系统感知可以清楚地知道阴影主要拥有两个特性。阴影投射到的背景区域的亮度值要比阴影本身的亮度值要低以及投射阴影的物体连接着阴影，而且两者运动状态相同。故hsv颜色空间阴影检测通过采用hsv空间的色度、饱和度与亮度信息。阴影检测的判别函数如式(2)所示：

其中，为视频帧的亮度值，为背景帧的亮度值，为视频帧的色度值，为背景帧的色度值，为视频帧的饱和度值，为背景帧的饱和度值。τs、τh分别表示饱和度和色度差值的阈值，α与阴影的亮度值强弱有关，β与光线的强弱有关。阴影检测主要依据的是视频帧与背景帧之间亮度比，而饱和度和色度差值的影响很小。

103：将高斯混合得到的前景分别通过改进的lbp算子处和大津阈值(otsu)处理，两者相或，得到运动目标。

lbp算子的改进：

lbp的原理是选取一个较小的值，与中心像素的灰度值与其对应的邻域像素的灰度值的差值作比较，大于阈值记为1，否则标记为0。然后根据顺时针方向的顺序可得二进制串，该二进制串作为这个中心像素的lbp算子，该算子是在中心像素的8邻域中。其公式如式(3)所示：

式中，q为这个像素邻域中的像素数目，r为环形邻域的半径，位置在(xc,yc)像素的lbp算子通过lbpq,r(xc,yc)表示，gc表示中心像素的灰度值，环形邻域中像素的灰度值采用gq。由于要增加lbp算子的鲁棒性，t需要选取一个相对较小的阈值。

一般情况下，t的取值是2≤t≤5，而本发明中为了将阴影全部消除，将阈值提高到7≤t≤10，这样依然提取到部分运动目标，本实施例中采用t＝8。

将lbp算子作为该像素点的新值，得到的图像通过二值化的处理，选取二值化的阈值为100得到提取的部分运动目标的图像

大津阈值(otsu)：

它是按图像的灰度特性，将图像分成阴影和目标两部分。阴影和目标之间的类间方差越大，说明构成图像的两部分的差别越大，当部分目标错分为阴影或部分阴影错分为目标都会导致两部分差别变小。因此，使类间方差最大的分割意味着错分概率最小。

灰度值为i的像素个数为ni，全部像素数为n＝n0+n1+…nl-1，像素的灰度值是i的概率表示为pi＝ni/n，p0+p1+p2+…+pl-2+pl-1＝1表示为所有概率求和，图像像素灰度的总均值为μt＝p1+2p2+…+(l-2)pl-2+(l-1)pl-1。若令c0和c1分别为两类像素集，可知c0＝[0,…,k]，c1＝[k+1,…,l-1]。将c0和c1的均值分别表示成μ0(k)和μ1(k)。此时令ω0(k)＝p0+p1+…+pk-1+pk-2,ω1＝1-ω0(k)，μ(k)＝p1+2p2+…+(k-1)pk-1+kpk，类间方差的计算如公式(4)所示:

最佳阈值k^*的选取方法如公式(5)所示：

大津阈值是按图像的灰度特性，将图像分成阴影和目标两部分。阴影和目标之间的类间方差越大，说明构成图像的两部分的差别越大，当部分目标错分为阴影或部分阴影错分为目标都会导致两部分差别变小。因此，使类间方差最大的分割意味着错分概率最小，即可将运动目标与阴影分割，实现二值化，得到图像

将二者相或，即可得到完整的运动目标。

104：将步骤103中得到的运动目标与步骤102得到的去除阴影的运动目标相或，即可得到阴影消除的最终运动目标，如图4所示，流程结束。

结合hsv与纹理特征去除阴影：

在传统算法上：对于视频帧，通过自适应高斯混合的背景建模法建立背景，提取前景，在颜色空间模型hsv中检测运动目标的阴影，基于颜色的检测方法几乎检测出全部的阴影像素。然而，亮度比值的α，β一般视具体情况而定，这种变化导致运动目标中的比较暗或者与背景区域具有相似的色度信息的区域被检测为运动阴影，可见，在阴影检测过程中仅仅使用颜色信息并不能达到令人满意的检测结果。

基于颜色空间模型hsv的缺点，本发明提出了将前景分别通过改进的lbp算子处和大津阈值(otsu)处理，由于lbp算子和大津阈值处理都只能得到部分运动目标，且阴影基本消除，故两者相或，得到运动目标。用hsv颜色空间模型检测阴影时，可使亮度比值的α，β选取固定的值，将阴影尽可能检测出来。虽然有运动目标中某些区域有损失，再与lbp算子和大津阈值去阴影后相或的运动目标再次相或即可得到去阴影的运动目标。

本发明算法流程：

本发明实施例采用vs2013开发平台，使用opencv2.4.9的库进行编程实现，pc机配置为intelpentiumdual-core2.70ghzcpu，4gb内存。

本发明的阴影检测算法在intelligentroom_raw.avi(320×240)，campus_raw.avi(352×288)，laboratory_raw.avi(320×240)三段视频进行测试，颜色空间模型hsv中的阈值选用色调和饱和度的分量阈值选取比较大即可，亮度比值的阈值选取0.7到1效果最为平衡；阈值lbp算子的阈值取8效果最佳。

从图2到图4中可以看出，对人的阴影消除效果比较好，阴影基本被消除，运动目标可以准确的检测出来，而车的大部分阴影已经被消除，其运动目标也可以较为准确的检测出来。

为保证实验结果的可靠性，提出的阴影检测率η和判别率ξ作为评价算法性能的指标，将两者求和取均值来进一步分析其性能，具体定义如下:

其中，tps表示正确检测到阴影像素的个数，fns表示将阴影像素误检为前景像素的个数，tpf表示正确检测到的前景像素个数，fnf表示将前景像素误检为阴影像素的个数。通过人工标注视频的若干不同帧的目标和阴影，并在本算法的检测下可以求出tps、fns、tpf和fnf。

将本发明的阴影检测算法与各种阴影检测算法作对比，如表1所示，与snp算法、sp算法、dnm1算法、dnm2算法比较中，本发明算法有效的提高了阴影检测率及平均值，在campus视频中的阴影判别率也有提升。而在intelligentroom和laboratory的视频中，本发明的阴影判别率比某些算法阴影判别率下降不大。

表1阴影消除算法比较(％)

以上所述仅是本发明的优选实施方式，具体实施方式中牵涉到的数值参数仅仅用来对上述的具体实施方式进行详细说明，不能作为限制本发明保护范围的依据。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。