专利名称：一种基于多特征融合的车辆阴影消除方法
技术领域：
本发明属于一种视频图像处理技术领域，具体的涉及一种基于多特征融合的车辆阴影消除方法。
背景技术：
智能交通系统中，运动车辆检测和跟踪是一项最基本也很重要的研究课题，伴随 运动车辆的阴影问题是其面临的主要挑战。由于阴影的存在，使得在检测过程中，出现运动车辆的合并与丢失(阴影覆盖相邻的车辆)，以及车辆形状的扭曲(阴影改变车辆的分割面积)，影响各种后续高级处理，如目标分类、行为理解等。目前已有多种阴影消除算法，主要分为两类一类是基于物体的几何特性，另一类是基于阴影特征。第一类方法是在已知场景及先验光照模型基础上，利用目标的三维或二维几何模型匹配图像中的车辆/阴影，从而计算出阴影的形状和位置。当车辆形状、光照方向已知时，此类方法能较准确的提取出阴影。但在实时车辆识别系统中，车体形状、光照方向以及车道特征等先验知识的提取都是目前检测系统的难题所在，且计算复杂，因此，这类方法局限性较大，很难在实际系统中采用。第二类方法是利用颜色、梯度和纹理等特征来识别阴影。这些方法多数是利用阴影的单一特征信息进行判断，往往在场景环境有变化时很难保持鲁棒性。也有少数方法将能区别车辆和阴影的几个特征结合起来进行判断，阴影提取精度得到提升。经对现有技术文献的检索发现，多特征融合的阴影检测算法在不少文献中被提及，如S.P. Zhu等在《第三届图像与信号处理国际会议》(2010 3rd InternationalCongress on Image and Signal Processing)上发表文章 “An Adaptive ShadowElimination Algorithm Using Shadow Position and Edges Attributes”,该文利用阴影的形状及边缘属性进行阴影消除，文章指出在获得运动前景后对前景范围内的像素点进行HSV转化，利用这三个分量在阴影和车辆范围内的不同表现进行阴影提取，为去除目标内部某些像素点被误判的影响，该文提出利用边缘点的水平和垂直投影进行阴影方向判别，消除类似的误判。文中的试验结果表明，该方法有较好的阴影检测结果，但该方法涉及彩色空间像素点的计算，运算量很大，并且文中对边缘投影点的划分过于简单，对车辆和阴影的连接区域分割效果还有欠缺。因此，研究一种复杂度低，准确性高，能适用于实际道路环境的多特征融合阴影检测方法，对提高运动车辆检测和跟踪的精度有着积极和重要的影响
发明内容
为克服现有技术中的不足，本发明旨在提供一种基于多特征融合的车辆阴影消除方法，该方法具有检测精度高，复杂度低及适用性强的优点。为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现
一种基于多特征融合的车辆阴影消除方法，采用正对道路的静止摄像头进行目标提
取，其包括以下步骤
步骤I)提取含车辆及阴影的前景目标；
步骤2)对所述前景目标进行滤波处理； 步骤3)检测经所述滤波处理后的前景目标的边缘点；
步骤3)利用大津阈值分割法对所述边缘点的投影序列进行划分，得到车辆和阴影的初步分离面；
步骤4)从所述初步分离面开始用区域生长搜索法利用局部纹理光照不变性的原理完成阴影的精确提取。以下对本发明方法的作进一步说明
(I)如景目标的提取
交通场景中摄像头位置固定，光照条件变化不大，检测前景目标时，采用自适应单高斯模型，能很好的实现背景和前景的分离。(2)前景目标的滤波
自适应单高斯模型法获得的前景区域存在很多噪声，误差的累积传递会给后续算法带来更大的误差，因此需先进行滤波处理，其过程如下
步骤201)将当前帧和背景帧通过色彩空间转换由RGB空间转化到灰度空间；
步骤202)将转化后的两幅帧分别进行高斯平滑；
步骤203)将高斯平滑后的两幅帧作差，以提取两幅帧的差异；
步骤204)进行二值化处理，得到新的前景图像；
步骤205)将所述新的前景图像与通过自适应单高斯模型获得的前景图像做与运算；步骤206)进行序贯组合的形态学滤波即先对图像进行闭操作，随后进行对偶开操作，序贯组合形态学滤波能去除斑点噪声；
步骤207)进行形态学填充，得到车辆Blob图及其最小外接矩形。(3)大津阈值分割法得到车辆/阴影初步分离面
在最小外接矩形范围内，分别对前景和背景运用Canny算法检测边缘，对应像素点做异或操作后，利用形态学膨胀与腐蚀，获得精准的前景运动区域边缘，随后在最小外接矩形区域内进行边缘点的水平投影和垂直投影。结合大津算法的思想，对投影数据进行分割，使得分类后的数据达到组内方差最小。(4)区域生长搜索法去除小面积阴影
经过阴影的初步检测，已经能够大概检测出阴影区域，但是在阴影与车辆投影的重叠区域检测效果不是很理想。结合道路局部纹理的光照不变性，从分离面开始，以像素为单位，向两侧进行阴影的全面排除。与现有技术相比，本发明具有以下有益效果
本发明采用了边缘统计特性和LBP (Local Binary Patterns)纹理分析相融合的阴影提取算法。兼顾实时性和准确性，充分利用车辆丰富的边缘信息及阴影发生前后道路局部纹理的光照不变性去除阴影。在前景区域提取时，恰当的滤波算法极大减少了图像噪声，大大提高了边缘提取信息的可靠性；大津阈值分割能够对边缘投影序列进行有效分割，有相当的抗干扰能力，精度比直接高低数值判断有较大提高；从车辆/阴影分离面开始的双向阴影生长搜索提高了搜索效率，利用道路局部纹理的光照不变性可实现车辆与阴影重叠区域内阴影的精确搜索；整体算法复杂度低，运算量低，准确性高，能应用于实际道路环境，提高车辆检测及跟踪的可靠性，可广泛应用于视频监控系统、智能交通系统及各类民用系统中，具有广阔的市场前景和应用价值。上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式
由以下实施例及其附图详细给出。
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中
图I是可能出现的阴影模型图。图2示出了本发明的方法流程图。图3示出了本发明的滤波处理的流程图。图4是交通场景高斯法获得的背景，其中图4 Ca)为不同时刻的当前图像；图4(b)为对应的背景。图5是车辆运动过程中前景提取的结果。图6是车辆运动过程中前景边缘提取的结果。图7是车辆最小外接矩形区域内的边缘投影图。图8是车辆阴影初分割的结果。图9是阴影初分割得到的分离面，也是局部光照不变性分析的开始面。图10是阴影精确去除后得到的前景结果。
具体实施例方式下面将参考附图并结合实施例，来详细说明本发明。实际道路监控场景中，用于车辆检测及跟踪的摄像头一般位于道路正上方，视觉方向与道路走向一致，保证中间车道(或某一特定车道)的车体方向基本垂直于图像横坐标，则可能出现的车辆阴影将包含于图I所示。图中白色区域表示的是车辆，灰色区域是车辆可能的阴影范围。针对图I所示的阴影，本发明提出的一种基于多特征融合的车辆阴影消除方法，流程如图2所示，各部分具体实施细节如下
(O高斯法提取前景和背景图像
在摄像机固定的情况下，背景的变化是缓慢的，而且大都是光照，风等等的影响，单分布高斯模型可满足此类环境下的背景建模。对一个背景图像，特定像素亮度的分布满足高斯分布，即对背景图像β，(χ,/)点的亮度满足
B(xj);(O
背景模型的每个象素属性包括两个参数平均值声和描d。对于一幅给定的图像Gj如果 两足
ΕψΗ (ι^μ(χ,γ)γ{(2 2))>Τ⑵
认为是背景点，反之是前景点。同时，随着时间的变化，背景图像也会发生缓慢的变化，这时我们要不断更新每个象素点的参数
μ +1, xj)=輝來(I - )I(xj)(3)
其中,Cl1为更新率(取为O. 005)。方差^的更新与否对于检测效果影响不大，一般情况·下无需更新，高斯法获得的实际交通场景的背景如图4所示，图4 (a)是某一道路场景在不·同时刻所提取的当前帧，图4 (b)为对应时刻本文算法提取的背景，可以看出视频图像上方缓慢变化的时间显示被提取成了背景，路边的树叶等也未出现在前景中，试验结果表明单高斯法能够满足一般道路环境下的前景提取。(2)前景滤波
高斯模型法仅仅依靠单个像素的亮度特征进行前景、背景的分离，缺乏整体性，所得的前景区域会存在很多孤点噪声，而后续的边缘点统计需要较为准确的前景区域，高斯法获得的前景还满足不了精度要求，因此需先进行滤波处理。滤波示意图如图3所示，过程包含如下几个步骤
1)色彩空间转换
图像从彩色空间转换到灰度空间，利用公式(4)实现
Y=0,212Wll+i,TO_G+0,W2；l_⑷
2)高斯平滑
滤波器就是建立的一个数学模型，通过这个模型来将图像数据进行能量转化，能量低的就排除掉，噪声就是属于低能量部分。高斯平滑实质上是一种信号的滤波器，其用途是信号的平滑处理，得到信噪比SNR较高的图像。高斯平滑的过程就是对图像进行核大小为paramlXparam2的高斯卷积过程,本实施列采用了 3X3的内核对当前巾贞和背景巾贞的灰度图像进行高斯卷积，滤波效果较好，不存在振铃现象。随后用当前帧的灰度图减去背景的灰度图得到前景灰度图，做二值化处理，再与高斯背景模型得到前景二值化结果按像素做AND运算，滤波后的前景减少了很多孤立点噪声。3)形态学处理
经由2)得到的前景存在少许断裂的边缘，这可能会带来目标区域的误分割。本实施列对图像进行“序贯组合”的形态学滤波即先对图像进行闭操作、随后进行对偶开操作的处理方法。实际使用]X]的结构元对前景进行闭操作，随后用5x :5的结构元再进行开操作，得到的前景边缘较为连续，进行形态学填充后得到车辆Blob图及其最小外接矩形，与图4对应的二值化前景提取结果如图5所示。(3)大津分割得到车辆/阴影初划分
车辆与阴影一个显著的区别在于车辆区域存在大量边缘信息，而阴影部分在没有较大噪声干扰时除边界线以外无边缘信息。这一显著特征可成为区分车辆和阴影的重要方法，通过对现有文献的检索，发现已经有几篇基于边缘统计特性的阴影去除方法介绍。代表性的有《An Adaptive Shadow Elimination Algorithm Using Shadow Position and EdgesAttributes》，该文利用阴影的形状及边缘属性进行阴影消除，文章指出在获得运动前景后对前景范围内的像素点进行HSV转化，利用这三个分量在阴影和车辆范围内的不同表现进行阴影提取，为去除目标内部某些像素点被误判的影响，该文提出利用边缘点的水平和垂直投影进行阴影方向判别，消除类似的误判。试验结果表明，该方法有较好的阴影检测结果。《基于梯度统计和区域生长融合的运动车辆阴影检测方法》，该文首先计算出前景与背景的梯度差，对梯度差进行投影，根据投影后得到的序列及其差分序列进行阴影区域初步检测，根据初步检测结果，运用区域生长算法搜索出全部阴影。实验结果证明，该方法检测效果好，能够应用于车辆阴影的实时检测。然而在上述文献阐述的方法中存在一个不足边缘或者说梯度差的投影分割未给出明确的方法，并且分割的有效性未给出分析。因此，本发明针对上述问题进行改进，设计了一种基于大津阈值法思想的投影序列分割算法。大津法全称为最大类间方差法，是由日本学者大津与1979年提出的，是一种自适应的阈值确定方法，它是按图像的灰度特性，将图像分为背景和前景两部分，使得这两部分 的差别最大。对灰度直方图P而言，分割的最终目的是找到数值！,将P分为fI和两类。其中gll·和f2用公式(5) (6)描述
满=2汽1)(5)
f2(l) = TP(l)(6)
i
其类内方差定义如公式(7) (8)所示
卜抖(7) tf φ)
af(t) = 2 ( - / (Of —(8)
其中Ml), J^(I)如下计算:
,.J-, Ρ(ι)
WI) = S(9)
tf
,.J, iP(i)
^(￡J=2—do)
gl和差别最大，可转化成找到合适的I值使得图像整体方差与^或的差值最
大
fiWKnW-ftWf (11)
I从最小值到最大值遍历，便可找到最合适的分割值。车辆和阴影边缘点投影序列的分割也是希望达到车辆和阴影区域数据的类间方差最大，与大津法思想切合，故本实施列引入大津法对前景边缘点的投影进行分割有着理论依据。大津算法在本实施列中的应用如下
步骤I :对(2)中获得的Blob，利用中心点的位置和Blob面积进行限制，去掉反方向的车辆及视频图像上方1/5范围内的前景点(目标太小，没有必要进行阴影去除)，对所得Blob逐个在其最小外接矩形区域内利用canny算子进行边缘提取，与图5对应的边缘提取结果如图6所示。步骤2 :将边缘点在对应的最小外接矩形区域内进行水平和垂直两个方向的投影，分别记入两个数组，数组的大小根据对应的最小外接矩形长和宽进行动态分配。步骤3:设边缘点在水平方向的投影存于数组Hplectjwdth]中，Rect_Width是该车辆/阴影Blob最小外接矩形在水平方向的宽度值。设边缘点在垂直方向的投影存于数组V[Rect_height]中,Rect_height是该车辆/阴影Blob最小外接矩形在垂直方向的高度值。以水平方向投影为例，与图5对应的前景边缘统计序列如图7所示。 步骤4:对H|Jled_width]和Vpedjieighl]首先滤除粗大噪声，其次利用大津阈值法进行数据划分，此处的数值不再代表图像的灰度信息，而是前景边缘数目，结合阴影的空间连续性，最终与图7对应的边缘投影分割结果如图8所示，图中蓝色框表示通过大津阈值分割提取的前景，绿色框为未经处理的前景区域。试验结果表明经过阴影的初步检测，能够去除前景中的大部分阴影，通过图8所展示的利用边缘投影的大津分割法进行阴影初步去除的结果可以看出，车辆变形得到了有效抑制，能满足一定精度下车辆提取和跟踪的要求。但靠近车身的阴影区域内，阴影/车辆的分割效果还有欠缺，在高精度要求的车辆提取中，还需进一步去除该类阴影。(4)区域生长去除小面积阴影
边缘点的统计序列分割只能进行阴影的粗略划分，对于车身和阴影的结合区域，本实施列采用区域生长的方法，结合道路局部纹理的光照不变性，以像素为单位，进行小面积阴影的全搜索。人们观察世界时，依靠的是从物体表面反射或发射出的光线，当物体几何形态确定之后，光照决定了整个场景的显示结果。对于CXD摄像机而言，图像像素点
I(XfJyrtewwf)的色彩强度可由下式获得
4 社明 =I mmm(12)
其中，0为可见光谱的范围，Λ为波长，蒼为光照强度，/3CjA为目标表面反射率为第I通道感光度。对于单通道图像而言，某一像素点φ #的光照特征可作如下简化
(13)
其中指坐标为的像素点在毚时刻的亮度值，/|(x,疋为目标表面反射率，表示目标i时刻接受到的光照强度,按式(14)计算
'C1 + Cf cos(Z(.V(i,/);
Bk(x,f) = ' CA + k(x,^Cf crn(Z(N(x,yimMi(14)
.CaMI其中,Ci和CP分别是环境和光源的亮度,Z(N(x,y), ￡)是光源方向和目标表面法向的夹角，Ir(H)是半影相对于无阴影时光能的损失系数(0<贫^,}0<1),全影时该值为一常数。设无阴影时中心点亮度值为半径为^'的邻域点为
<i2 + f <r4};半阴影时对应秘,/),祕』；全阴影时对应对于邻域中心点瞬时亮度值有S2(i,y}=K2(Iy)Sl(Iy)
’ |{ij)=f3fe#|(,Tj)；对于邻域中的点有 S2ir})=K1IjMUI .(U) = f3(!J)i|(!J)。其中f2(I,力f3(XJ)有如下表达式
C4+.取/) _(ζ(焉tj)』))
Khy) =(is)
Q+ 謝(z(y(uu))
If3 (x, y) =----(16)
C^CfCos(ZiAffejXI))Ub；
在同一较小邻域内，i Cf W(XJ)和I的夹角可认为保持不变，定义
iT#
分别对应无阴影、半影、全影，则有式(17)成立
S2(U) Z = J,z,i
Ii(IiV) = ^(IlJ) = I(IJ)(17)
式(17)表明当背景仅被阴影覆盖时，背景中的邻域亮度比值和当前帧的邻域亮度比值具有不变性；而当背景被车辆覆盖时，该值会出现较大的变化。利用此性质，从如图9所示的分离面开始进行局部光照不变形分析。定义纹理
'T=Ug^glX ,gp4)(18)
其中,1#示中心像素点的图像亮度，-j- )表示距中心像素半径为！的领域点的图像亮度，本实施列用中心像素点8邻域计算图像特性，故JR = IiJ = 8。判别函数
I.J)如下定义
O (1~ Βε)<^-< + ε s(Sf> Si)= ISf(19)
[Iother
其中，■取一较小的数值(本实施列取O. 05)，避免将背景扰动处理为阴影。通过对阈值函数加权，得到LBP的纹理描述
H
UUs(H)(20)
!-O
从分离面顶端像素开始分别计算当前和背景的LBP纹理，若两者的差值大于跳变阈值T(取4)，则认为当前像素点属于运动车辆，否则属于阴影。以图9所示的阴影状况为例，区域生长搜索如下
从顶端分离点像素开始
步骤I :判断其左右两侧两个像素的所属，若都为车辆则转向步骤2，若都为阴影则转向步骤3，否则转向步骤4;
步骤2 :像素横坐标向与车辆位置相反的方向移动2个像素点，转步骤I ;
步骤3 :像素横坐标向与车辆位置相同的方向移动2个像素点，转步骤I ;
步骤4 :判断当前点像素的所属，完成该行的搜索，转步骤5 ;
步骤5 :像素纵坐标加1，判断是否越过最小外接矩形底端，若未越则对该行的分离点 像素执行步骤I，否则结束搜索。将所有阴影点从前景像素中移除，与图9对应的区域搜索结果如图10所示。以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种基于多特征融合的车辆阴影消除方法，采用正对道路的静止摄像头进行目标提取，其特征在于，包括以下步骤 步骤I)提取含车辆及阴影的前景目标； 步骤2)对所述前景目标进行滤波处理； 步骤3)检测经所述滤波处理后的前景目标的边缘点； 步骤3)利用大津阈值分割法对所述边缘点的投影序列进行划分，得到车辆和阴影的初步分离面； 步骤4)从所述初步分离面开始用区域生长搜索法利用局部纹理光照不变性的原理以像素为单位，向两侧进行阴影的全面搜索，以完成阴影的精确提取。
2.根据权利要求I所述的基于多特征融合的车辆阴影消除方法，其特征在于步骤I中，采用自适应单高斯模型提取含车辆及阴影的前景目标。
3.根据权利要求2所述的基于多特征融合的车辆阴影消除方法，其特征在于，步骤2中，所述滤波处理包括以下具体实施步骤 步骤201)将当前帧和背景帧通过色彩空间转换由RGB空间转化到灰度空间； 步骤202)将转化后的两幅帧分别进行高斯平滑； 步骤203)将高斯平滑后的两幅帧作差，以提取两幅帧的差异； 步骤204)进行二值化处理，得到新的前景图像； 步骤205)将所述新的前景图像与通过自适应单高斯模型获得的前景图像做与运算； 步骤206)进行序贯组合的形态学滤波即先对图像进行闭操作，随后进行对偶开操作； 步骤207)进行形态学填充，得到车辆Blob图及其最小外接矩形。
4.根据权利要求3所述的基于多特征融合的车辆阴影消除方法，其特征在于，步骤3中，所述大津阈值分割法对边缘点的投影序列进行划分的具体步骤如下在所述最小外接矩形的范围内，分别对前景和背景运用Canny算法检测边缘，对应像素点做异或操作后，利用形态学膨胀与腐蚀，获得精准的前景运动区域边缘，随后在所述最小外接矩形区域内进行边缘点的水平投影和垂直投影。
全文摘要
本发明公开了一种基于多特征融合的车辆阴影消除方法，采用正对道路的静止摄像头进行目标提取，其包括以下步骤步骤1)提取含车辆及阴影的前景目标；步骤2)对所述前景目标进行滤波处理；步骤3)检测经所述滤波处理后的前景目标的边缘点；步骤4)利用大津阈值分割法对所述边缘点的投影序列进行划分，得到车辆和阴影的初步分离面；步骤5)从所述初步分离面开始用区域生长搜索法利用局部纹理光照不变性的原理完成阴影的精确提取。本发明具有检测精度高，复杂度低及适用性强的优点。
文档编号G06K9/46GK102842037SQ20111016439
公开日2012年12月26日 申请日期2011年6月20日 优先权日2011年6月20日
发明者张为公, 蔡英凤, 王海, 林国余, 王东 申请人:东南大学