专利名称：基于新型十字菱形搜索及五帧背景对齐的动背景视频对象提取的制作方法
技术领域：
本发明涉及一种视频分割中的处理方法，特别涉及一种基于新型十字菱形搜索及五帧背景对齐的动背景视频对象提取。
背景技术：
对于动态视频序列中运动对象的提取，由于摄像机产生的全局运动使得在静背景下的分割方法，如帧差或者背景差分等方法不适用于动背景下的分割，即不能够准确地将运动对象提取出来，因此针对动背景下的分割问题必须首先消除摄像机运动所造成的全局运动的影响，通过全局运动估计和补偿技术，将问题转化成静背景下的分割问题，进而应用静背景下广泛的分割方法实现动背景下的准确、有效分割。全局运动估计是指估计由摄像机运动引起的序列背景区域的运动规律，求解出相应数学运动模型中的多个参数。全局运动补偿是在根据运动估计所得到的全局运动参数，在当前帧和前一帧之间作一个相应的背景对齐的映射变换。这样在准确的补偿之后就可以采用帧差或背景差等方法消除背景区域，突出感兴趣的具有局部运动的前景区域(参见杨文明.时空融合的视频对象分割[D].浙江浙江大学，2006)。对于动背景下的运动对象分割问题，目前国际上已有相当多的学者做了大量的研究工作。如利用改进的分水岭算法将运动补偿后的视频帧分割成不同的灰度区域，通过光流计算得到序列的运动信息，最后，将运动信息和分割的区域按一定的准则综合得到对象模板，达到对视频对象的准确定位(参见张庆利.一种基于运动背景的视频对象分割算法.上海大学学报(自然科学版)，2005，11(2):111-115.)。如建立四参数运动放射模型来描述全局运动，采用块匹配方法进行参数估计，结合Horn-Schunck算法检测出运动目标并应用卡尔曼滤波对运动目标的质心位置等信息进行跟踪，实现了动态场景中运动对象的检测与跟踪。(参见施家栋.动态场景中运动目标检测与跟踪.北京理工大学学报，2009，29(10) :858-876.)。另一种采用非参数核密度估计的方法，首先采用匹配加权的全局运动估计补偿算法消除动态场景下背景运动的影响，然后估计各像素属于前景与背景的概率密度并结合形态学等算法进行处理，实现了动背景下运动对象的准确、有效分割。(参见马志强.一种动态场景下运动对象分割新算法.计算机工程与科学，2012，34(4) : 43-46.)。为了解决动背景下的分割问题，本发明方法实现了一种采用宏块预判断、块匹配、摄像机六参数仿射模型、最小二乘法等全局运动估计及补偿方法，并通过五帧背景对齐结合边缘信息等实现动背景分割。实验证明，该方法实现了动背景视频序列中视频对象的提取，并且提取精度得到明显提高。
发明内容
本发明要解决的技术问题是如何减少块匹配的运算时间，如何实现动背景下视频对象的准确提取。本发明解决其技术问题所采用的技术方案是基于新型十字菱形搜索及五帧背景对齐的动背景视频对象提取，包括以下步骤(I)将第K-2帧、第K-I帧、参考帧K帧、第K+1帧与第K+2帧分别分成8X8宏块，根据纹理信息对该五帧中所有宏块进行预判断、筛选；(2)对上述筛选后的宏块采用SAD准则、新型十字形菱形搜索策略(NCDS)进行块匹配，分别以第K-2帧、第K-I帧、第K+1帧与第K+2帧作为当前帧，以第K帧作为参考帧，得到该四帧相对于参考帧K帧的运动矢量场，并通过最小二乘法计算全局运动参数，获得摄像机六参数模型；(3)对第K-2帧进行运动补偿，使第K-2帧与第K帧背景对齐，得到重建帧κ-2’，按照同样的方法对第K-ι帧、第K+1帧与第K+2帧进行运动补偿，使第K-I帧、第K+1帧及 第K+2帧分别与第K帧背景对齐，并得到重建帧K-Γ、重建帧K+Γ及重建帧K+2’ ；(4)对重建帧κ-2’、Κ_Γ、Κ+1’、Κ+2’及参考帧K帧分别采用Prewitt算子提取边缘信息，并分别计算其相对于参考帧K边缘的帧差屯、d2、d3、d4，采用最大方差阈值方法进行二值化；(5)分别对连续五帧前两帧和后两帧得到的帧差二值化结果进行与运算；对得到的与运算结果采用或运算及形态学、中值滤波等进行后处理，实现动背景下视频对象的快速有效分割。所述步骤(I)中对于当前第K-2帧、第K-I帧、第K+1帧、第K+2帧与参考帧K帧中分成的8X8宏块进行预判断及筛选，具体步骤如下由于在下述步骤中应用最小二乘法计算全局运动参数的时候，很多误差大的宏块被直接删除，如果能够在最小二乘法运算之前将误差大的宏块剔除，将显著的提高运算速度，并降低运算量。而决定宏块误差大小、影响计算准确性的重要因素便是宏块的纹理信息，也就是梯度信息。本部分提出的宏块预判断及筛选的方法正是从宏块的梯度信息出发，根据设定的阈值对于宏块进行筛选抑或保留，当宏块的信息量小于该阈值时，对该宏块进行筛选，不作为下述步骤中参与块匹配的宏块；当信息量大于该阈值时，则对宏块进行保留，作为有效特征块参与进行下述的运动估计等运算。其主要步骤如下第一步将每一帧分成8X8子块，经试验证明，若采用分成16X16子块的形式则计算量过大，若分成4X4子块则块匹配等方法不够精确，故采用8X8子块的形式；第二步采用Sobel算子得到每一帧的梯度图，将梯度信息作为宏块剔除的判断依据；|ν/(χ，7)| = magiVfix, y)) = ^Gv2+C /其中|Y/Xx，)0|表示该点的梯度信息，Gx、Gy分别表示偏导数。第三步计算每一个宏块的梯度量；以8X8子块为例，其梯度信息量为|V/(x,v)8x8| = XX|V/(xjO|第四步确定宏块预断的阈值，一般保留所有宏块的40%，根据这个确定的值，对所有宏块的梯度量进行排序，确定保留40%下宏块筛选的最佳阈值T ；第五步完成对于宏块的筛选，若其梯度信息量>T，则对宏块进行保留，作为有效特征块参与进行下述的运动估计等运算；若其梯度信息量〈Τ，对该宏块进行筛选，不作为下述步骤中参与块匹配的宏块。所述步骤(2)中的分别以Κ-2巾贞、K-I巾贞、Κ+1巾贞、Κ+2帧作为当前帧，以K帧作为参考帧，对筛选后的宏块采用SAD准则、NCDS搜索策略进行块匹配，并将块匹配求得的运动矢量场利用最小二乘法获得摄像机六参数模型，其具体步骤如下(i)块匹配准则SAD本部分采用SAD块匹配准则，该准则不仅能够找到最佳匹配点，并且计算量小、耗时短。
SAD(i, /) = ΣΣ|Λ (m，—fk-i (m + ^ +i)|
m=\ n=l其中(i，j)为位移量，fk和&分别为当前帧和上一帧的灰度值，MXN为宏块的大小，若在某一点处SAD(i，j)达到最小，则该点为要找的最优匹配点。(ii)新型十字形菱形搜索策略(NCDS)该部分的新型十字形菱形运动估计搜索方法分为两种模式十字模式和菱形模式，如图2所示，其中十字模式分为大十字模式和小十字模式，菱形模式分为大菱形模式和小菱形模式。本部分的十字形菱形搜索方法的前两步采用小十字模式，而并非传统的十字菱形搜索方法中首先使用大十字模式进行搜索，从而使得在静止块和准静止块中，可以用更少的搜索点便可找到匹配块。然后搜索大十字模式没有搜索到的点和准静止区域中没有搜索到的点，为下面的菱形搜索找到更精确的搜索方向。图3为本实施例的一种十字菱形搜索方法，具体步骤如下第一步(小十字模式)在小十字模式的5个搜索点中，应用改进的部分块失真准贝U，找出最小块失真(MBD)所在点，如果最小块失真MBD点在小十字模式的中心，则一步搜索停止，得到最终要求的运动矢量MV(0，O);否则，进入第二步；第二步(小十字模式)以第一步所搜索的最小块失真MBD点为中心构造新的小十字模式，搜寻3个新的搜索点，应用改进的部分块失真准则，找出新的最小块失真MBD点，如果该点在小十字模式的中心，则二步搜索停止，得到最终要求的运动矢量MV(±1，O)或(0，±1);否则，进入第三步；第三步(大十字模式)搜索大十字模式3个还没有搜索到的点，应用改进的部分块失真准则，找出新的最小块失真MBD点，以作为下一步搜索的中心；第四步(大菱形模式)以第三步中的最小块失真MBD点为中心，构造大菱形搜索模式，应用改进的部分块失真准则，找出新的最小块失真MBD点，如果该点在大菱形的中心，进入第五步；否则，继续第四步；第五步(小菱形模式)以第四步中的最小块失真MBD点为中心，构造小菱形搜索模式，应用改进的部分块失真准则，找出新的最小块失真MBD点。该点所对应的向量即为最终要求的运动矢量。采用改进的部分块失真准则搜索所述的最小块失真MBD点，改进的部分块失真准则具体如下
在块匹配方法BMA中，改进的部分块失真准则只使用块其中的一部分像素就可以对失真度有较好的度量。定义块的大小为16 X 16，第η帧左上角坐标为(m，η)的块与第η_1帧左上角坐标为(m+p, n+q)的块间的失真度量SAD值由下式给出
15 15SAD{n%n,p,q)=Yy\fXm+i,n+j)-f^{m+p+i,n+q+ji
I=Oj=O 其中，fn(m+i, n+j)表示第η帧坐标为(m+i，n+j)像素点的像素值。将失真度量SAD(m, n;p, q)分成16个部分失真度量sadk(m, n;p, q) (k=l, 2，…，16)。第k个部分失真度量的定义如下式所示sadk(/ ,厂，y} = [[|./,；(m + 4i +sk,n + 4;+tk)-fn_x(m + p + 4/ + .v,,n + q + 4/ + Ik )|
=θ /=O其中sk，tk分别为第k个部分失真度量所用左上角像素点相对于块左上角的水平和垂直偏移。部分失真度量sadk(m, η;P, q) (k=l, 2，…，16)的计算顺序如图4方框内序号所示。第k次累加部分失真度量的定义如下式所示
kSAJ\ (/ ,p, q) = Z Sitdi (m, 〃； /;, q)如果第k次累加部分失真度量满足16 X SADk (m, η; p, q) >k X min (SAD)其中min(SAD)是搜索过程中当前得到的最小失真，k为自己设定的整数，取值范围为3 < k < 16，则认为该点不可能为匹配点。否则，继续计算第k+Ι次累加部分失真度量SADk+1 (m, η; p, q),再进行比较。(iii)最小二乘法获得摄像机六参数模型选取步骤⑴中获取到的当前帧K-2帧、K-I帧、K+1帧、K+2帧中两侧子块作为特征块，将经过(i) ( )步骤获得的运动矢量代入摄像机六参数模型(如下式)后，采用最小二乘法估计参数％、m2、n0> Ii1 > n2。6参数仿射变换模型可以对平移、旋转、缩放运动进行建模，其定义如下
I χ' = / /,. + ηι,χ + m^ V^101 2,
[y =ηη + ηγχ + η2γ其中mQ和nQ分别表示像素点在χ和y方向的平移幅度，Hi1,叫、m2、n2四个参数描述了缩放和旋转转动。所述步骤(3)中的通过运动补偿分别获得当前帧K-2帧、K-I帧、K+1帧、K+2帧的重建帧K-2’、K-1’、K+1’、K+2’，其具体内容如下对于当前帧K-2帧、K-I帧、K+1帧、K+2帧中的每一个点根据上述获取的摄像机模型，计算其分别在参考帧K中的对应位置并对其进行赋值，从而实现对于κ-2帧、K-I帧、K+1帧、K+2帧的全局运动补偿，使补偿后的重建帧Κ-2’、Κ-Γ、Κ+1’、Κ+2’与参考帧K的背景对齐，从而实现下述结合边缘信息、自适应最大方差阈值的基于新型十字形菱形运动估计及五帧背景对齐的动背景下视频分割方法。所述步骤(4)中的采用Prewitt算子提取边缘信息，并分别与参考帧K边缘进行差分，并采用最大方差阈值进行二值化，其具体步骤如下(i) Prewitt算子提取边缘信息，并与参考帧K边缘进行差分边缘检测算子种类很多，这里选择Prewitt边缘检测算子对于重建帧K_2’、Κ_1’、Κ+1’、Κ+2’及参考帧K帧进行边缘特征提取。Prewitt算子可以用模板卷积来实现fs(x, y) = |f(x, y) XGx| + |f(x, y) XGy
—-I O Il Γ I I I —其中GY=-101 G1 = O O O
—I O IJ [-1 —I —I·应用Prewitt算子对于重建帧K-2’、Κ-Γ、K+1’、K+2’及参考帧K帧分别提取边缘的结果为fk-2, (x，y)、fVi, (x，y)、fk+i, (χ, y) > fk+2- (χ，y)及 fk(x，y)。对重建帧K-2’、Κ_Γ、Κ+1’、Κ+2’分别与K帧的边缘进行图像差分运算，求得帧差屯、d2、d3、d4,其中中贞差(I1=I fk_2，(x, y) -fk (χ, y) | ,中贞差 d2= | fk_r (x, y) -fk (x, y)中贞差d3= I fk+1, (x, y) -fk (x, y) I，中贞差 d4= | fk+2, (x, y) -fk (χ, y)( )采用最大方差阈值进行二值化最大方差阈值是一种自适应的阈值确定方法，它以最佳门限将图像的直方图分成两组，当两组间的方差为最大时，决定阈值。所以本部分采用这种方法来实现边缘图像差分结果的二值化。设一幅图像的灰度值为(Tm-I级，灰度值i的像素数为Iii，则总的像素点数
m-iH1
i=Q
η.各值的概率为设最佳阈值为T，用阈值T将像素分成两组Ctl= {(ΓΤ-1}和C1= {Γπι-1}，C0和C1产生的概率及平均值由以下公式得出
T-IC。产生的概率Wd =Z凡= W(F)
I=Q
m—iC1 产生的概率 W1 =Y4P1=I-Wn
i=TC0 的平均值A =Σ—=
=0 hV ；
ιι-μ(Τ)C1 的平均值# = = TTV其中"=XΨ； Φ(Π = f Ρ,
i=Q =0则全部采样的灰度平均值为μ =Wtl μ Q+Wl μ ι两组间的方差
权利要求
1.应用于一种基于新型十字菱形搜索及五帧背景对齐的动背景视频对象提取，其特征在于包括以下步骤 (1)将第K-2帧、第K-I帧、参考帧K帧、第K+1帧与第K+2帧分别分成8X8宏块，根据纹理信息对该五帧中所有宏块进行预判断、筛选； (2)对上述筛选后的宏块采用SAD准则、新型十字形菱形搜索策略(NCDS)进行块匹配，分别以第K-2帧、第K-I帧、第K+1帧与第K+2帧作为当前帧，以第K帧作为参考帧，得到该四帧相对于参考帧K帧的运动矢量场，并通过最小二乘法计算全局运动参数，获得摄像机六参数模型； (3)对第K-2帧进行运动补偿，使第K-2帧与第K帧背景对齐，得到重建帧K-2’，按照同样的方法对第K-I帧、第K+1帧与第K+2帧进行运动补偿，使第K-I帧、第K+1帧及第K+2帧分别与第K帧背景对齐，并得到重建帧K-Γ、重建帧K+Γ及重建帧K+2’ ； (4)对重建帧Κ-2’、Κ-Γ、Κ+1’、Κ+2’及参考帧K帧分别采用Prewitt算子提取边缘信息，并分别计算其相对于参考帧K边缘的帧差屯、d2、d3、d4，采用最大方差阈值方法进行二值化； (5)分别对连续五帧前两帧和后两帧得到的帧差二值化结果进行与运算；对得到的与运算结果采用或运算及形态学、中值滤波等进行后处理，实现动背景下视频对象的快速有效分割。
2.根据权利要求I所述的方法，其特征在于所述步骤(I)的对于当前第K-2帧、第K-I帧、第K+1帧、第K+2帧与参考帧K帧中分成的8X8宏块进行预判断及筛选，具体步骤如下 由于在下述步骤中应用最小二乘法计算全局运动参数的时候，很多误差大的宏块被直接删除，如果能够在最小二乘法运算之前将误差大的宏块剔除，将显著的提高运算速度，并降低运算量。而决定宏块误差大小、影响计算准确性的重要因素便是宏块的纹理信息，也就是梯度信息。本部分提出的宏块预判断及筛选的方法正是从宏块的梯度信息出发，根据设定的阈值对于宏块进行筛选抑或保留，当宏块的信息量小于该阈值时，对该宏块进行筛选，不作为下述步骤中参与块匹配的宏块；当信息量大于该阈值时，则对宏块进行保留，作为有效特征块参与进行下述的运动估计等运算。
其主要步骤如下 第一步将每一帧分成8X8子块，经试验证明，若采用分成16X 16子块的形式则计算量过大，若分成4X4子块则块匹配等方法不够精确，故采用8X8子块的形式； 第二步采用Sobel算子得到每一帧的梯度图，将梯度信息作为宏块剔除的判断依据； IW(U)I = magiVf^y))=机2 +Gy2 其中|V/(U)|表示该点的梯度信息，Gx、Gy分别表示偏导数。
第三步计算每一个宏块的梯度量；以8X8子块为例，其梯度信息量为|ν/ ·ν,>),,|=ΣΣΙν/(^ν)|i=\ J=I 第四步确定宏块预断的阈值，一般保留所有宏块的40%，根据这个确定的值，对所有宏块的梯度量进行排序，确定保留40%下宏块筛选的最佳阈值T ;第五步完成对于宏块的筛选，若其梯度信息量〉T，则对宏块进行保留，作为有效特征块参与进行下述的运动估计等运算；若其梯度信息量〈Τ，对该宏块进行筛选，不作为下述步骤中参与块匹配的宏块。
3.根据权利要求I所述的方法，其特征在于所述步骤(2)的分别以Κ-2帧、K-I帧、Κ+1帧、Κ+2帧作为当前帧，以K帧作为参考帧，对筛选后的宏块采用SAD准则、NCDS搜索策略进行块匹配，并将块匹配求得的运动矢量场利用最小二乘法获得摄像机六参数模型，其具体步骤如下 (i)块匹配准则SAD 本部分采用SAD块匹配准则，该准则不仅能够找到最佳匹配点，并且计算量小、耗时短。
4.根据权利要求I所述的方法，其特征在于所述步骤(3)的通过运动补偿分别获得当前帧K-2帧、K-I帧、K+1帧及K+2帧的重建帧Κ-2’、Κ-Γ、K+1’、K+2’，其具体内容如下 对于当前帧Κ-2帧、K-I帧、Κ+1帧及Κ+2帧中的每一个点根据上述获取的摄像机模型，计算其分别在参考帧K中的对应位置并对其进行赋值，从而实现对于Κ-2帧、K-I帧、Κ+1帧及Κ+2帧的全局运动补偿，使补偿后的重建帧Κ-2’、Κ-Γ、Κ+1’、Κ+2’与参考帧K的背景对齐，从而实现下述结合边缘信息、自适应最大方差阈值的基于新型十字形菱形运动估计及五帧背景对齐的动背景下视频分割方法。
5.根据权利要求I所述的方法，其特征在于所述步骤(4)的采用Prewitt算子提取边缘信息，并分别与参考帧K边缘进行差分，采用最大方差阈值进行二值化，其具体步骤如下(i)Prewitt算子提取边缘信息,并与参考巾贞K边缘进行差分 边缘检测算子种类很多，这里选择Prewitt边缘检测算子对于重建帧K-2’、K-Γ、Κ+1’、Κ+2’及参考帧K帧进行边缘特征提取。
Prewitt算子可以用模板卷积来实现
6.根据权利要求I所述的方法，其特征在于所述步骤(5)的对连续五帧前两帧和后两帧得到的帧差二值化结果分别进行与运算，并经过或运算及滤波等后处理 对上述二值化结果OtusBuf I、OtusBuf2、OtusBuf3、OtusBuf4进行与运算，与运算的结果如下
全文摘要
本发明公开了基于新型十字菱形搜索及五帧背景对齐的动背景视频对象提取，包括如下步骤首先将K-2帧、K-1帧、参考帧K、K+1帧与K+2帧分成8×8宏块，并对宏块进行筛选；对筛选后的宏块采用新型十字形菱形运动估计方法进行块匹配，分别得到上述四帧相对于参考帧的运动矢量场，并通过最小二乘法计算全局运动参数；对第K-2帧、K-1帧、K+1帧与K+2帧分别进行运动补偿，使该四帧与参考帧背景对齐，并得到四帧的重建帧；对重建帧K-2'、K-1'、K+1'、K+2'及参考帧分别采用Prewitt算子提取边缘信息，计算相对于参考帧边缘的帧差，最大方差阈值二值化；分别对连续五帧前两帧和后两帧得到的帧差进行与运算；最后进行或运算并做后处理，实现动背景下快速有效分割。
文档编号G06T7/20GK102917224SQ20121039816
公开日2013年2月6日 申请日期2012年10月18日 优先权日2012年10月18日
发明者祝世平, 郭智超 申请人:北京航空航天大学