视频阴影检测方法与流程

本发明涉及低质量视频中的运动目标检测的技术领域，尤其是利用VIBE法则提出一种视频阴影检测方法。

背景技术：

视频监控系统实现网络化与智能化是目前安防领域的主流研究方向。随着人工智能技术的发展以及人力资源成本的提升，市场对视频监控系统的智能化要求的呼声日益高涨。按视频智能化算法计算结点的部署位置分，智能视频监控系统可分为前端智能化视频监控系统和服务器端智能化视频监控系统。前端智能化视频监控系统将智能化算法嵌入到前端视频图像采集设备中，直接对图像传感器采集的视频图像进行智能分析，这种系统算法精度高，市场上较为常见。服务器端智能化视频系统需要把视频流通过网络传输到后台服务器，后台服务器上部署智能化算法能够对视频分析，这种系统又可根据传输视频流的网络分为专网服务端视频智能监控系统和共网服务端视频智能监控系统。专网服务端视频智能监控系统专门为视频传输部署了高带宽的光纤网络，保证服务器可以获得高品质的视频流进行智能算法分析。这类系统常用于金融、商场、机场、等重要安防领域。共网服务端视频智能监控系统通过对视频图像进行图像压缩、减少帧率和视频编码等方法，获得较低的码率，通过公网把低码率的视频流传送到后台服务器端进行智能分析。这类系统主要用于零售商店、连锁商超和个人家庭，这类系统的特点是成本低，对已有视频监控系统无需更换前端图像采集硬件低成本升级为智能视频监控系统。

现有的网络视频监控系统工作原理是：通过监控现场的前端摄像头采集监控现场原始视频，对原始视频图像序列进行压缩编码生成适合Internet传输的码流，运用网络传输技术把视频码流传送到监控中心或视频服务器中心,最后实现视频流的存储控制、解码显示等操作。视频图像压缩、编码、传输、解码等各个操作或过程都会不同程度地丢弃或增加或修改视频图像信息。因此，网络视频监控系统服务器读取的视频图像经常发生图像模糊、噪点、雪化、亮度异常、目标变化、图面跳动等现象。前两者模型相关参数或阈值固定，不能得到自适应；多高斯混合分布具有一定的自适应性，但仍不能满足这种低质量视频的需求；后两种模型计算量和内存占用量大，影响算法的实时性。

2011年O.BARNICH等人提出的VIBE（Visual Background Extractor）模型，该模型对每个图像像素点维护一个颜色空间样本集，不需要估计统计特征如均值、方差和概率密度函数。同时，像素点模型的更新还考虑了其领域像素点的影响，模型简单，计算量少。不足的是，模型对背景与前景目标颜色差别较大的像素点具用很好的区分性，但颜色较近的两个像素点无法区分。另外，模型只输出了前景图像，并没有输出背景图像。

VIBE 算法对图像中每个像素点，维护一个样本集合S_M(x)={v₁,v₂,..v_n}，其中x是该像素点位置，v表示颜色空间的颜色矢量，如RGB空间的(r,g,b)，灰度空间的亮度值。VIBE前景检测原理如图1所示，检测当前图像的一个像素点v(x)是否为前景点，二维颜色空间中，假设在二维颜色空间，以v(x)为圆心，R为半径生成一个新颜色矢量集合S_R(v(x))。q=|S_M(x)∩S_R(v(x))|，q表示集合S_M(x)与集合S_R(v(x))交集的元素数量。如果q>=q_min,则该点为背景像素点，否则为前景点。当v(x)检测为背景点时对该像素点对应的背景模型地进更新，在整数区间(0,T]中，随机选择一个整型数，如果该整型数为零，即获得背景更新机会，否则放弃更新该像素点对的样本集合S_M(x)。获得更新机会后，用v(x)随机替换集合S_M(x)中的一个元素，最后仍在整数区间(0,T]中，随机选择一个整型数，如果该整型数为零，即获得邻域更新机会，否则放弃更新该像素点的邻域像素点的样本集合。获得更新邻域像素点样本集合的机会后，随机得从该像素点的8或4邻域中选择一个邻域像素点v(x_n)，用v(x)随机替换v(x_n)对应的背景模型样本集合S_M(x_n)中的一个元素。

VIBE算法阈值R和阈值q_min决定了当前像素点是否为前景点的关键参数。如果当前像素值与对应的背景样本集S_M中的元素的颜色（灰度值）之差小于R的数目大于等于q_min时，该像素为背景像素。然而，在算法中阈值R是一个全局常量，对局部背景较暗或较亮条件下，常常会丢失目标。

在区别当前像素点是否为前景点时，对所有像素的较比阈值R都是固定的，这会造与背景像素颜色较近的前景目标丢失。实际上人眼对颜色的区分能力是与背景颜色的亮度值相关的。韦伯-费克纳经实验发现人眼的主观亮度感觉和客观亮度成对数线性关系如式1所示，式(1)也叫韦伯-费克纳法则（Weber-Fechner）。利用韦伯比与人眼对高亮度背景和低亮度背景中区别能力低的特征计算出灰度值与人眼区分能力的关系如图4所示。因此，可以用背景像素值对应的灰度区别值来代替R。背景像素灰度值不同，其比较阈值也不同。

S=klgI+k₀ (1)

式中S为人眼主观亮度，I为客观亮度，k,k₀是常数。对式(1)中I求导得到式（2）

Δs=kΔI/I (2)

式(2)中，ΔI/I是相对人眼辨别门限称为韦伯比，描述了亮度与人眼辨别能力的关系。在图像表示过程中，亮度信息可以转化为灰度信息。图2 人眼分辨能力与图像灰度级[0,255]的关系，从图中可以看到灰度值从32-192之人眼的分辨能力较强，可区别出2灰度级别；灰度值在0，255附近人眼分辨别能力较弱，只能区分3个灰度级别。从人眼这个属性上看，VIBE算法选择全局阈值R时，要在32-192、0-32、192-255三个区间中都要检测前景像素点，因此阈值R取值过大，在前景点检测时，就会出现目标检测不完整的问题。

VIBE背景模型输出灰度背景图像和二值前景图像。前景图像不仅包括运动目标，而且还有其他噪声，如强光、阴影、亮斑等。这些噪声的存在会大大降低目标分割与后继的目标跟踪的精度。其中阴影会使目标区域扩展，有时甚至会使多个目标连接在一起，对目标分割造成困难。因此，首先要对阴影图像进行检测。阴影图像的特征，位于阴影区域的像素点的灰度值具有比背景图像亮度略低的特征。其次，由于强光如车灯、阳光束射入监控场景等形成的前景图像块，具有狭长的特征；最后由于雪化和图像跳动会生成亮斑，亮斑图像块是一个孤立的图像块。

技术实现要素：

本发明的目的是对上述VIBE模型方法的不足之处进行改进,提出一种视频阴影检测方法。

本发明的具体技术方案是：一种视频阴影检测方法，采用VIBE模型方法，关系式如式(4)所示：

其中，x为像素点在图像中的坐标位置，v_f(x)为前景图像灰度值，v_b(x)为背景图像灰度值，v(x)为当前图像灰度值，v_s(x)为1表示x点可能是阴影图像块中的一点，否则，x点不为阴影图像块中的点，0<α<β<1，两个阈值。

前景中的阴影图像是由运动目标遮挡部分光线造成的，他与光线的强度和背景面反射光线属性相关。阴影噪声导致目标分割正确率大幅下降，本文采用图4所示的阴影检测方法，消除背景图像对目标分割的影响。

当像素点x的前景v_f(x)、背景v_b(x)、当前v(x)图像灰度值，满足式（4）时，以x为中心，分别从背景图像和当前图像中截取16X16的图像块，统计图像块中0度，45度，90度，135度方向的归一化差分值，每个差分值[0,25),[0.25-0.6),[0.6-1]，分为三类，共形成两个3x4个bin的差分特征直方图，背景图像块差分直方图p_bbin[12]和当前图像块差分直方图p_cbin[12]，然后计算背景图像块差分直方图p_bbin[12]和当前图像块差分直方图p_cbin[12]的相关性，相关系数大于0.8时，当前x点为阴影像素点，反之亦然；修订α，β的值，统计阴影像素点所对背景与当前图像的归一化差值t，与阴影像素点数的统计直方图p_tbin[50],计算p_tbin []中其包含的各个bin之和最大的波峰，波峰左则第一个bin的值大于平均-0.3*方差，处对应修订后的α[n],波峰右则第一个大于均值-0.3*方处对应修订后的β[n]。求多或（100）组α和β，最现频次最多的或α[n]排序后的中值为修订后的α。 β同理。由于算法增加了α，β的修订部分，使得初始α，β的取值要求降低，只要取一个大概范围即可，增加了算法的鲁棒性。

对除去阴影的前景图像，求图像块的轮阔，如图5所示，a1,b1为原始图，a2,b2为VIBE背景检测图，a3,b3为满足式（4）的疑似阴影图，a4,b4为阴影的图。在图a4中左上角为孤立的或狭长的图像块，右上角为一个斑点，图a4,b4中用矩形框标记出目标blob。形成目标图像。

本文提出的运动目标检测和跟踪算法就是专门针对共网服务端智能视频监控系统的。系统通过共网Internet进行视频传输。因此，系统在服务器端输出的视频具有低分辨率、低帧率、低信噪比、场景复杂等特征。本文根据视频特征首先采用鲁棒性较好的的背景模型生成背景和前景图像；然后阴影检测、亮斑检测等方法滤除噪声，分割出目标图像块；然后再用适应性强的位置、速度、灰度直方图等统计特征对目标跟踪；最后，在实际项目中对算法进行验证，算法对多种场景都具有较好的适应能力。

附图说明

图1.VIBE前景检测原理图。

图2 人眼对灰度的分辨能力。

图3 前景检测与背景示意图。

图4 阴影检测流程图。

图5目标分割示意图。

图6 运动目标跟踪示意图。

具体实施方式

一种可生成背景图像，增加对较近灰度区分能力的视频前景检测方法。

视频图像经压缩、编码、公网传输和解码等过程，会引入大量图像像素值的跳动噪声。这些跳动导致局部图像的R增加。根据图2人眼分辨能力与图像灰度级的关系，可以将灰度区间分为5个区间，分别为[0,32)、[32,64)、 [64,128)、 [128,192) 、[192,256)R值用R_n表示。R_n的取值为所处的区间人眼辨别的门限值、抑制跳动噪声阈值H_noise有关。关系式如式（3）所示。

Rn=kΔs(n)+ H_noise (3)

其中，n为灰度值取值[0,255]; k是灰度门限的系统，取值[2,4]，一般取3; H_noise是各灰度区间中的灰度值跳动噪声阈值。

抑制跳动噪声阈值H_noise，可以在没有运动目标时，背景像素灰度值在某一区间如[64,128)中，先求背景像素点灰度值与当前图像对应的灰度值差的绝对值，然后，统计80%的绝对值小于正数Φ，H_noise=Φ。

VIBE模型生成背景图像，当前像素v(x)与对像的S_M(x)集合的元素比较时，计算参与比较元素的均值v_b(x); 如果v(x)为背景点，用v(x)替换背景图像对应点的灰度值，否则用v_b(x)替换背景图像中对应点的灰度值。

图3中第一列为当前图像，第二列为合成的背景图像，第三列为原始VIBE算法，R=25时的前景，第三列为改进后的VIBE算法，R被Rn替换后，检测出的前景目标。在背景与前景目标灰度较近的区域，改进后的算法具有显著的检测能力。

目标分割：

VIBE背景模型输出灰度背景图像和二值前景图像。前景图像不仅包括运动目标，而且还有其他噪声，如强光、阴影、亮斑等。这些噪声的存在会大大降低目标分割与后继的目标跟踪的精度。其中阴影会使目标区域扩展，有时甚至会使多个目标连接在一起，对目标分割造成困难。因此，首先要对阴影图像进行检测。阴影图像的特征，位于阴影区域的像素点的灰度值具有比背景图像亮度略低的特征。其次，由于强光如车灯、阳光束射入监控场景等形成的前景图像块，具有狭长的特征；最后由于雪化和图像跳动会生成亮斑，亮斑图像块是一个孤立的图像块。

前景中的阴影图像是由运动目标遮挡部分光线造成的，他与光线的强度和背景面反射光线属性相关。阴影噪声导致目标分割正确率大幅下降，本文采用图4所示的阴影检测方法，消除背景图像对目标分割的影响。

本发明一种视频阴影检测方法，采用VIBE模型方法，关系式如式(4)所示：

其中，x为像素点在图像中的坐标位置，v_f(x)为前景图像灰度值，v_b(x)为背景图像灰度值，v(x)为当前图像灰度值，v_s(x)为1表示x点可能是阴影图像块中的一点，否则，x点不为阴影图像块中的点，0<α<β<1，两个阈值。

当像素点x的前景v_f(x)、背景v_b(x)、当前v(x)图像灰度值，满足式（4）时，以x为中心，分别从背景图像和当前图像中截取16X16的图像块，统计图像块中0度，45度，90度，135度方向的归一化差分值，每个差分值[0,25),[0.25-0.6),[0.6-1]，分为三类，共形成两个3x4个bin的差分特征直方图，背景图像块差分直方图p_bbin[12]和当前图像块差分直方图p_cbin[12]，然后计算背景图像块差分直方图p_bbin[12]和当前图像块差分直方图p_cbin[12]的相关性，相关系数大于0.8时，当前x点为阴影像素点，反之亦然；修订α，β的值，统计阴影像素点所对背景与当前图像的归一化差值t，与阴影像素点数的统计直方图p_tbin[50],计算p_tbin []中其包含的各个bin之和最大的波峰，波峰左则第一个bin的值大于平均-0.3*方差，处对应修订后的α[n],波峰右则第一个大于均值-0.3*方处对应修订后的β[n]。求多或（100）组α和β，最现频次最多的或α[n]排序后的中值为修订后的α。 β同理。由于算法增加了α，β的修订部分，使得初始α，β的取值要求降低，只要取一个大概范围即可，增加了算法的鲁棒性。

对除去阴影的前景图像，求图像块的轮阔，如图5所示，a1,b1为原始图，a2,b2为VIBE背景检测图，a3,b3为满足式（4）的疑似阴影图，a4,b4为阴影的图。在图a4中左上角为孤立的或狭长的图像块，右上角为一个斑点，图a4,b4中用矩形框标记出目标blob。形成目标图像。

目标跟踪：

由于网络视频监控系统后台服务器端读取的视频质量较低，常用的目标跟踪特征如纹理、角点、shift或surf特征都变得不稳定，特征容易丢失。轮廓特征适用于刚性目标的跟踪，适用范围有限。本文采用即简单且适应能力强的位置、位移速度、颜色直方图对目标进行跟踪。

目标跟踪过程中会出现三种常见现象：1、单目标跟踪，从出现到消失，始终为一个目标；2、目标分离，一开始为一个目标，某时分离成两个或多个目标；3、目标合并，一开始有两个或多个目标，某时合并成一个目标。第一种现象，在一定距离的范围内，检测出的只有一个目标blob与跟踪列表中的某个tracker距离较近，且再没有其他的blob和tracker，这种情况直接用blob更新traker的状态与预测器。第二种现象，跟踪列表中某个tracker在一定距离内，有两个或多blob，其中有一个blob与tracker较近，至少有一个blob除了这个tracker外，没有匹配的，则这个blob为分离目标，复制traker成为新的跟踪单元，并用这个blob更新，新生成的traker的状态。第三种现象，在一定的距离范围内，一个blob，有两个或多个未更新的trakcer,用这个blob和各个tracker的预测器生成的blob交集生成一个新blob，用这个新blob更新tracker的状态。当每个tracker离开画面或多次未更新时，跟踪结束，输出路径。

结果分析：

用分辨率为CIF(352X288)、最大帧率为10FPS的实际监控系统中的视频对算法测试。从视频监控系统服务器上读取多个视频场景的视频图像序列测试本文算法，测试结果如下图6所示。图6中scene1室内场景，对进出场景的行人进行跟踪。α，β初始参数分别为0.02和0.85，经100帧后，α，β被分别修订为0.21和0.42；scene2是室外场景，对行室的车辆进行跟踪，α，β初始参数不变仍然分别为0.02和0.85，100帧后，α，β被分别修订为0.52和0.72 。并且算法在实际项目如客流统计，视频摘要等项目中进行了应用。

结论：

采用改进的VIBE背景模型，在原由计算量和抗扰动能力的基础上，增加了在较亮、较暗背景中目标的区分能力；具有自修订阈值范围的阴影检测算法，在实现项目中根据场景光线亮度信息，自动动态的设置一个较大的预设值范围，算法运行一段时间后，会自动修订到量精细的范围内；目标跟踪主要以位置、速度、大小信息以及局部颜色统计信息对目标进行跟踪，减少对纹理、兴趣点等高级特征的依赖，增加了目标合并，分离检测机制有效解决短时间内目标遮挡问题，算法在低质量网络视频中可以稳定的跟踪目标。在实际IP网络视频监控系统智能应用算法表现出较强的适应能力、较高的鲁棒性。