专利名称：面向智能视频监控的实时部分遮挡车辆分割及阴影消除方法
技术领域：
本发明涉及一种智能监控图像识别领域，具体是一种部分遮挡车辆分割及阴影消 除方法。
背景技术：
运动车辆检测是室外公路固定摄像机智能视频监控系统的一项主要工作，其首先 利用减背景技术[1]获得包含运动车辆及其阴影和噪声的前景区域，并采用形态学闭算子填充前景区域的空洞。遮挡和阴影问题通常导致前景区域中车辆的合并与丢失，以及车 辆形状的扭曲。遮挡分为部分遮挡和完全遮挡，部分遮挡是指车辆被遮挡部分较小(大部 分仍然可见)，完全遮挡是指车辆被遮挡部分较大(大部分不可见)。完全遮挡主要出现在 固定摄像机安放位置离地面较近的情况[3]。迄今为止，部分遮挡车辆分割主要有基于模型的方法，阴影消除可以分为基于颜 色、基于边缘、基于纹理和基于模型的方法，它们在准确性和现有硬件条件下的实时性之间 难以达到较好的折中。可以说，部分遮挡车辆分割及阴影消除方法在技术向产品转化过程 中仍然是一个有待研究的开放问题。相关工作(1)基于颜色的阴影消除HSV颜色空间模型[4-5]是运动目标阴影消除的常用方法，它更符合人的颜色感 知，设像素A = (IH，Is，Iv)和像素yB = (Bh, Bs, Bv)分别为当前帧图像和背景图像在同位 置的HSV分量，则像素&是否属于运动目标阴影区域由下式确定
权利要求
1.面向智能视频监控的实时部分遮挡车辆分割及阴影消除方法，其特征是，包括如下 步骤1)获取前景连通域FS几何形态特征，包括前景连通域FS中的等势线与局部极小点 将采用减背景和形态学闭算子获得的填充空洞后的前景区域中的每个连通域称为一个前景连通域，用FS表示；将视频图像中除前景连通域以外的区域称为背景区域，用BS表 示；用N8(X)表述与像素χ相邻的八个像素；前景连通域的几何形态特征通过初始化为0的图像标记Label获取 步骤1)令像素集HAkt = Φ ；扫描图像一次，设一条竖向灰色扫描线L，若像素xe LI BS则令Label (χ) = XA+1，其中设XA = w+h, w为视频图像长，h为视频图像宽；若相邻两 像素 X1 e LI BS, x2 e LI FS 则令像素集 TSet = {χ | χ e N8(X1) I FS, Label (χ) = 0}，令 HASet :=HA t+TSet，并对VxeΓ5·e 令Label(x) = XA ；扫描图像一次，对每条横向扫描线 的处理与竖向扫描线L相同；令像素集LMkt = Φ，转步骤2 ；步骤2)若HAkt乒Φ，设HAkt中像素的Label值为LA，则令IiKet = LMSet+ {x\x e HASet, V 3； e Νφ · Label(x) * 0},令像素集 LASef.^ {x| 3yeHASefx e N&(y),Label(x)=0},对 VyeLASet 令 Label (y) = LA-I,然后令 HASet = LASet,重复步骤2 ；若HAkt = Φ，则运行终止；上述步骤1获得前景连通域FS边缘的像素集HAkt ；步骤2以前景连通域FS边缘像 素集为起点，反复迭代，获得前景连通域FS中的逐层等势线和局部极小点集LMkt ；等势线 是指前景连通域FS中具有相同Label值的，连通的线状的像素集；如果像素χ e FS且满 足V_yeiV8(x)*ZMe/(x)^Za0e/Cv)，则称像素χ为局部极小点；若前景连通域FS包含像素个 数小于阈值Tn，则将前景连通域FS视为噪声去除，阈值Tn取值为视频图像包含像素总数的 1/200 ；2)如果为长方向线的车辆阴影，对短截线车辆阴影进行消除为了从局部极小点集LMkt中分离出分布在短截线车辆阴影区域中心的局部极小点， 获取像素集五MSei= YyeiMfei {x|xeiV8(>), χ^LMSet,丄，筛选出 IiKetY EMSet中像素个数大于阈值Ts的连通域CpC2,…，Ck，设前景连通域FS中最小的Label值 为NA，则阈值Ts取值1. 5 (XA-NA) ； V 1 筛选出CiI LMSet中Label值最大的像素集为 正向端点XSi和Label值最小的像素集为反向端点NSi,以反向端点NSi为起点正向端点XSi 为终点的方向为Ci的方向屯，筛选出Ci的方向Cli与已知的车辆阴影方向dsh夹角小于阈值 Td,阈值Td取值弧度π /12 ；且正向端点XSi中像素Label值大于阈值Ta的Ci,阈值Ta取值 ΧΑ-0. 25 (XA-NA)，将筛选出的Ci称为阴影线，阴影线包含了局部极小点集LMkt中分布在 短截线车辆阴影区域中心的局部极小点；再通过所述阴影线的梯度信息消除短截线车辆阴影，其中车辆运动方向《通过背景标 记获取；设阴影线像素集为SLkt，为了获取阴影线像素集SLkt中处于车辆边缘的像素， 对VxelSLSW采用3X3结构元素中插值的方法计算χ在车辆运动方向dm和与车辆运动方 向垂直的方向dv两个方向上的梯度；对VxeSLS^，令χ的梯度为其在车辆运行方向《和与车辆运动方向垂直的方向七两 个方向上梯度的最大值，即Grad(X) = max (Graddm(χ)，Graddv(χ))，将阴影线SLkt中像素按其方向排序，其中第i个像素用SLSet[i]表示，若i < j，则SLSet[i]比SLSet[j]更接 近于阴影线正向端点；计算阴影线像素SLkt[i]分别在背景图像的梯度GradYi)和前景图像的梯度 Gracf⑴，然后计算梯度比率Gracf⑴/GracP⑴，其中GradB⑴=0时，令GracP⑴=1 ； 为了区分阴影线SLSet中处于车辆边缘的像素，对梯度比率自适应阈值T分割，将梯度 比率值大于梯度比率自适应阈值T的像素的集合用VBSet表示，像素集VBSet将短截线阴 影线SLSet分割成若干线状连通域CLhCLdLklQSLSet KBSei，在像素个数大于阈值Tc 的CLi中筛选出离阴影线正向端点最近的线状连通域CLs，其中1彡i彡kl，以线状连通域 CLs的两端点为分割点沿与已知的车辆阴影方向垂直的方向分割，即消除了短截线车辆阴 影；其中阈值T。取值0. 5 (XA-NA)，将被消除的短截线车辆阴影区域像素的Label值改赋为 XA+1 ；3)采用邻近涨潮分割车辆设短截线车辆阴影消除后剩余的局部极小点集为RMkt ；如果像素集Set中像素处于 同一等势线，则设Set所在等势线为EAL(kt)；步骤1设剩余局部极小点集RMkt包含的连通域个数为kr，获取连通域 CRlC^2,".,Ci^QjRMSei和集合 LRS = {CRS11 ^ s ^ kr, EAL(CRs) /CRs = Φ}；设 LRS 包 含元素个数为RC，并设LRS[i]为LRS的第i个元素；令i : = 1，转步骤2; 步骤2若i彡RC，则令像素集VSi = Φ，转步骤3，否则终止； 步骤3设LRS[i]包含像素的Label值为Li，获取像素集LASet·.= {ζ [i] zeJV8(y), Label(Z) = Z/+1}；令 VSi = VSjLRS [i]；令像素集 RSi = Φ，转步骤 4 ；步骤4设LASet包含像素的Label值为LA，若LA < XA+1，则转步骤5，否则令VSi = VSdRSi,令 i = i+Ι，转步骤 2 ；步骤5设EAL (LAkt)/LAkt包含的连通域个数为ke，获取连通域 CEhCE2,···,CEkeeEAL(LASet) / LASet ；设 VSi 所在车辆区域为 VS，对 1 彡 s 彡 ke {若CKeKS则CEs包含像素稀少，否则CEs包含像素较多}，因此，获取集合FES = {s|l ^ S ^ ke, ( 包含像素个数小于阈值Te}和集合MES = {s]\<s<ke, S^ FES}, 令 LASet = LASet+ Σ s e fesCEs，令 VSi : = VSjLASet ； M^seMES 获取像素集 DEs = {y|y e CEs, y 到 LASet 距离不大于 XA-LA}，令 RSi = RSi+ Σ seMES DEs;获取像素集 HASet := {z\ ByeLASet^zeNsiy), Label(z) = LA + ”,令 LAkt = H/^et，转步骤 4 ；其中车辆阴影方向与车辆运动方向一致时，阈值Te取值3. 5 (XA-NA)，车辆阴影方向与 车辆运动方向不一致时，阈值Te取值1. 5 (XA-NA)；4)如果为长方向线的车辆阴影，且无短截线阴影，则利用长截线阴影类型阴影线 LLSet像素的梯度信息消除长截线车辆阴影将前景连通域FS分割成车辆区域VSi (i = 1,2,…)；车辆区域VSi中心被邻近涨潮方 法步骤1的集合LRS记录，沿车辆阴影方向dsh设有一条经过车辆区域VSi中心的直线Li，设 前景连通域FS中不同车辆区域的交集为INS，若LiI INS= Φ，则将LiI VSi称为长截线阴 影类型的阴影线LLkt，否则，设与Li平行且最近的直线为LLi,使得LLiI INS= Φ，将LLiI3Vsi称为长截线阴影类型的阴影线LLkt ；其中车辆运动方向dm通过背景标记获取，方向 <与车辆运动方向dm垂直；阴影线像素 集为LLkt，对VxeZZ&Z采用3X 3结构元素中插值的方法计算χ在与车辆运动方向垂直 的方向dv上的梯度，即Grad(X) =Graddv(χ)；再对梯度比率自适应阈值T分割，以线状连通 域CLs的两端点为分割点沿与已知的车辆运动方向dm分割，即消除了长截线车辆阴影，完成 部分遮挡车辆分割及阴影消除。
2.根据权利要求1所述面向智能视频监控的实时部分遮挡车辆分割及阴影消除方法， 其特征是，当超车或改车道时，nd<nf，其中邻近涨潮分割前景连通域FS获得的车辆个数为 nd，通过前一帧预测获得的当前帧前景连通域FS包含的车辆个数为nf ；将超车或该车道过 程分为初期、中期和末期三个阶段，在初期和末期阶段，采用权利要求1所述方法，在中期 阶段，采用预测跟踪与模板匹配相结合的方法分割车辆及消除阴影。
3.根据权利要求2所述面向智能视频监控的实时部分遮挡车辆分割及阴影消除方法， 其特征是，采用预测跟踪与模板匹配相结合的方法的步骤为将单个车辆区域VSi中Label 值最小像素区域的质心作为VSi质心，采用预测跟踪方法预测VSi质心在下一时刻的位置； 当邻近涨潮分割前景连通域FS获得的车辆个数小于落入前景连通域FS的预测位置个数 时，此时利用前一帧的车辆模版TMi在当前帧的部分遮挡前景连通域FS中搜索匹配的车辆 区域，如果设车辆模版TMi对应像素集为TSi, TSi包含像素个数为TC，当前帧图像上被车辆 模版TMi覆盖的候选车辆区域为子图Suv，(u, ν)是子图左上角在部分遮挡前景连通域FS的 坐标，则衡量TMi与Suv相似性的距离为
4.根据权利要求3所述面向智能视频监控的实时部分遮挡车辆分割及阴影消除方法， 其特征是，预测跟踪方法采用Kalman滤波，Kalman滤波是根据前一个预测值和最近一个观 测值来预测信号的当前值的基于时间序列的预测方法，其用运动目标的运动状态方程和观 测方程对运动目标的当前位置进行预测，实现线性运动、高斯噪声条件下运动目标当前位 置的最优预测。
5.根据权利要求1-4之一所述面向智能视频监控的实时部分遮挡车辆分割及阴影消 除方法，其特征是，在所述消除短截线阴影的步骤中确定阴影线Ci的方向时，出现正向端点 XSi与反向端点NSi重合的情况，阴影线方向则直接由正向端点XSi或反向端点NSi确定，方 向选取与已知的车辆阴影方向夹角最小的一边；出现反向端点NSi不在阴影线端点的情况 时，以反向端点NSi为断点去除与阴影线方向相反的像素。
6.根据权利要求1-4之一所述面向智能视频监控的实时部分遮挡车辆分割及阴影消 除方法，其特征是，在所述消除短截线阴影的步骤中采用3X3结构元素中插值的方法具体 步骤为设方向为d，A，B，C，D为插入的四个像素，设方向d与水平正向的夹角为α，并用V (xu, v) (u, ν = -1,0,1)表示像素的亮度值，则根据三角函数及线性插值法，求出A，B, C，D四个位置的亮度值V(A)，V(B)，V(C)，VO))及像素在方向d上的梯度Gradd(XQ,Q) 当 0 彡 α < Ji /4 时，令 Ii1 = tan ( α )，k2 = l_tan ( α )，贝IjV(A) =^ν(χ1>0)+^ν (Xlj ^,V(B) = k1V(x_ljl)+k2V(x_lj0),V(C) = kj (x_lj0)+k2V (χ^,^), V(D) = k1V(xlj_1)+k2V(xlj0),Gradd(x0j0) = V (D) +2V (A) +V (x0j ^ -V (x0j ^1) -2V (C) -V (B)； 当 Ji/4 彡 α < π/2 时，令 Ii1 = 1/tan( α )，k2 = 1—1/tan( α )，贝Ij V(A) = Ii1V(Xoa)+Ii2V(Xlil), V⑶=1^0^)+1^(^)^(0 = (X0^1)+k2Y (X^1), V(D) = kj (Xw)+Ii2V HGradd (x0, ο) = IV ⑶ +2V (A) +V (X1,0) -V (L1,0) -2V (C) -V ⑶ | ；当 α = Ji/2 时，Grad d(x0,0) = | V(X1J+2V(Xcm)+V(L1,》—V(X1^1) _2V(Xcw)—V(L1,_工)；当 Ji/2 < α <3π/4 时，令 Ii1 = -1/tan ( α )，k2 = 1+1/tan ( α )，贝Ij V(A) =Ii1VOc0, J+Ii2V(X-U), V⑶=1^0^,4)+1^0^,4)^(0 =k,Y (X0^1)+k2Y (X1^1), V(D) = k1V(xljl)+k2V(xoa),
7.根据权利要求1-4之一所述面向智能视频监控的实时部分遮挡车辆分割及阴影消 除方法，其特征是，在所述消除短截线阴影的步骤中梯度比率自适应阈值T是采用全局自 适应阈值分割方法获得，具体包括如下步骤步骤1 选择平均梯度比率值作为梯度比率自适应阈值T的初始估计值；步骤2 用梯 度比率自适应阈值T分割生成两组像素=G1由梯度比率值大于T的像素组成，G2由梯度比 率值不大于梯度比率自适应阈值T的像素组成；步骤3 计算G1和(；2中像素的平均梯度比 率值μ JP μ 2;步骤4:计算新阈值T= (μι+μ2)/2;步骤5)重复步骤2-4，直到逐次迭代 所得的T值之差不再改变，即为最终的梯度比率自适应阈值Τ。
全文摘要
本发明提出一种面向应用的实时部分遮挡车辆分割及阴影消除方法RVSSE(Real-time Vehicles Segmentation and Shadow Elimination)，针对不同车辆阴影类型获取反映车辆阴影几何形态特征且仅包含稀少像素的阴影线，利用阴影线稀少像素的梯度信息实现阴影消除；通过视频信息统计，针对绝大多数情况采用几何形态特征分割部分遮挡车辆，针对稀少的特殊情况采用预测跟踪与模版匹配相结合的方法实现部分遮挡车辆分割。理论分析和实验结果证明，RVSSE不仅具有较高准确性，而且能在现有硬件条件下满足实时性。
文档编号H04N7/18GK102117479SQ20091022676
公开日2011年7月6日 申请日期2009年12月30日 优先权日2009年12月30日
发明者张军, 徐伟, 李国辉, 涂丹, 焦波 申请人:中国人民解放军国防科学技术大学