视频目标跟踪中目标位置预测、搜索范围自适应调整及双重匹配融合的方法

视频目标跟踪中目标位置预测、搜索范围自适应调整及双重匹配融合的方法
【专利摘要】本发明公开了一种视频目标跟踪中目标位置预测、搜索范围自适应调整及双重匹配融合的方法。其特征是在目标跟踪过程中，根据运动学原理和目标自身的运动规律建立运动模型对下一帧图像中的目标位置进行预测，以预测的结果作为对下一帧目标的搜索中心；同时考虑到实际目标在运动过程中具有一定的不确定或随机性，根据目标跟踪过程中所求取的目标运动状态估计出随机运动的方差参数，进而利用所提取出来的方差参数自适应地调整目标搜索范围，从而可以提高目标搜索的效率，得到更为可靠的跟踪结果。在目标匹配中，采用双重匹配融合的方法对目标进行匹配，以此来进一步提升对所跟踪目标的匹配精度和对不同视频情况的适应性。
【专利说明】
视频目标跟踪中目标位置预测、搜索范围自适应调整及双重 匹配融合的方法
技术领域
[0001 ]本发明涉及计算机视觉技术领域，特指在视频目标跟踪中一种目标位置预测、搜 索范围自适应调整及双重匹配融合的方法。
【背景技术】
[0002] 目标跟踪是计算机视觉领域的一个重要研究课题，是进一步分析运动行为的基 础，例如，视频监控，智能交通，运动行为分析等。近年来已提出了许多卓有成效的目标跟踪 算法，在该领域取得了很大进展。但在面对背景复杂、光照变化和目标运动变化快的视频序 列时，经常出现跟踪精度下降、跟踪错误、甚至丢失目标的现象。因此，如何对现有的视频目 标跟踪方法进行改进，实现精确可靠的视频目标跟踪仍然是一个富有挑战性和需要深入进 行研究的课题。
[0003] 视频目标跟踪主要是监测视频序列中目标的位置变化(主要为目标中心位置的变 化)和形状的变化，方法的关键是在新的一帧图像中搜寻到目标的位置与形态的变化。现有 文献中的目标跟踪方法，多数是以前一帧目标的匹配位置为中心、以事前预定的常数为方 差按高斯分布产生的随机位置在新的一帧中对目标进行搜索（以随机仿射变换的形状进行 匹配），这对于目标运动速度变化较大的视频序列，不得不通过选择一个较大的方差来扩大 搜索范围以保证所要跟踪的目标不至于落在搜索范围之外，并且始终在这样大的范围内进 行搜索。由此会使目标搜索的效率很低，使得跟踪精度受限。针对此问题，Lao等（Lao Y.， Zhu J.and Zheng Y.F.:Sequential particle generation for visual tracking.IEEE Trans.Circuits and Systems for Video Technology，19(9):1365_1378，Sep.2009)提出 在粒子滤波过程中通过利用已获得的当前帧(第k-1帧）和前一帧（第k-2帧）目标的位置之 差来作为运动速度的估值，进一步利用心对第k帧的目标位置进行预测 A =4-1+1-，其中uk为满足高斯分布的白噪声uk~Ν(0, Σι〇,对角矩阵Ek中的主元素 4 = A = (I ^ - U2 + 1- U2) / 2作为搜索区间的长轴，短轴取为λ2 = γ pk，其中γ为 (〇，1)的常数用于调整长短轴之间的比例。该方法能够适应目标运动速度较快的情况，而且 在搜索范围上对不同的视频序列都有较好的适应性。但该方法仍然需要根据经验(或先验 知识)事先选定常数γ，该参数的选取对目标搜索效率和精度产生人为因素的影响;此外， 该方法没有考虑加速度的影响，因而在运动速度变化比较显著的情况下，跟踪效果不够理 想 。Cheng等（Cheng X.，Shiina Υ.，Zhuang X.and Ikenaga T.:Player tracking using prediction after intersection based particle filter for volleyball match video.2014Asia-Pacif ic Signal Processing Association Annual Summit and 〇)1^代11(^#13.2014)提出按公式4=4+^(0,：1)对目标位置进行预测和随机搜索，其 中右为对目标搜索区域中心位置的预测，预测公式为4 =X0 +ai〇fl -.1〇) +屮(七4 -·%)(其 中&1，&2为预先选定的常数，X0为目标的初始位置，为在第k-i帧时所得到的最佳匹配目 标的中心位置），N(0，1)表示均值为0方差为1的高斯随机数，B为事先选定的常数。该方法应 用在排球选手目标跟踪过程中取得了比较显著的改进效果。但该方法仍然需要根据经验 (或先验知识)事先选定常数来实现目标位置的预测，依靠先验知识选定常数B来确定 目标搜索范围，因此同样存在对难以适合不同的视频应用场合的问题。Wang等（D. Wang， H.Lu,Μ.-Η.Yang.Online object tracking with sparse prototypes . IEEE Transactions on Image Processing,2013,22(1) :314-325)将目标模板的主成分分量 (PCA:Principal Component Analysis)基向量作为字典中的原子，通过主成分特征提取能 够较好描述全局性特征，在跟踪精度上有一定提高。现有文献中的目标跟踪方法，在对跟踪 目标进行匹配时，仅采用一种匹配方法，使得对不同的视频条件的适应能力不强。针对上述 这些不足之处，本发明提出相应的改进措施，以有效地提高视频跟踪方法对运动目标的定 位精度和在不同视频情况下的适应能力。

【发明内容】

[0004] 本发明以现有的典型高性能视频目标跟踪方法为基础，针对其存在的不足之处， 提出相应的改进方法:在目标跟踪过程中，根据运动学原理和目标自身的运动规律建立运 动模型对目标位置的变化进行预测，以预测的结果作为对下一帧目标的搜索中心，由此可 以使搜索中心更加接近实际的目标位置；同时考虑到运动过程所具有的不确定或随机性， 通过再对目标跟踪过程中所获得的运动状态估计出随机运动的方差参数，进而利用所提取 出来的方差参数自适应地调整目标搜索范围，从而可以提高目标搜索的效率，得到更为可 靠的跟踪结果。
[0005] 在目标匹配中，采用双重匹配融合的方法对目标进行匹配，以此来进一步提升对 所跟踪目标的匹配精度和对不同视频情况的适应性。
[0006] 本发明的视频目标跟踪中一种目标位置预测、搜索范围自适应调整及双重匹配融 合的方法，采用的技术方案，具体如下：
[0007] 1.视频目标跟踪中目标位置预测、搜索范围自适应调整及双重匹配融合的方法， 其特征在于如下步骤：
[0008] 步骤1:建立目标位置的预测模型，在跟踪过程中以对目标位置的预测值为中心对 下一帧目标进行搜索。
[0009] 设在第1帧由人工标定运动目标和已知其目标中心位置的坐标为(X1，yi)，并设现 已得到了第k帧目标中心位置的坐标为（ Xk，yk)，k多1，其中xdPyk分别为目标中心位置的 横、纵坐标值；
[0010] 下一时刻的目标位置的横坐标Xk+1与当前时刻Xk的关系表示为：
⑴ L〇m2」其中Vx,k，ax,k分别为k时刻目标在X万冋上的运动速度和加速度，n x,k为k时刻运动 状态在X方向上的随机变化量，通常假设nx,k满足均值为0方差为的高斯分布；
[0013]下一时刻的目标位置的纵坐标yk+1与当前时刻yk的关系表示为： (2)
[0015] 其中vy,k，ay,k分别为k时刻目标在y方向上的运动速度和加速度，ny,k为k时刻运动 状态在y方向上的随机变化量，并且假设n y,k满足均值为0方差为的高斯分布；
[0016] 对于目标在k时刻的速度和加速度vx, k，ax, k，根据跟踪过程所获取的目标运动状态 来求取：
[0017] vx,k= A xk/ Δ tk = Xk~Xk-i, (3)
[0018] ax,k= A vx，k/Δ tk= (Vx,k_vx,k-1) =xk_2xk-ι+xk-2 (4)
[0019] 得到对下一时刻目标中心位置横坐标Xk+1的预测模型为：
[0021 ] 对下一时刻目标中心位置纵坐标yk+1的预测模型为：
(6)
[0023] 根据上面推导出来的预测模型（5)和（6)求出下一帧目标中心位置的预测值 (5+1?，Κ+ιμ )，将预测值)作为对下一帧目标的搜索中心；
[0024] 步骤2:求取模型⑴和⑵中随机噪声nx, k和ny, k的方差(和)的估值，据此自 适应地调整目标的搜索范围；
[0025] 步骤2.1:估计模型⑴和⑵中随机噪声nx,k和ny,k的方差（和< Λ):
(7)
[0027]其中L为估计这两个方差参数时所取的帧数;为在目标跟踪过程中分别 利用式(5)和⑻求出的在1-1时刻对1时刻的目标中心点位置的预测值，X_yi分别为1时刻 目标中心点的真实位置；
[0028]步骤2.2:确定目标的搜索范围
[0029] 步骤2.2.1:以第一步中求得的预测值作为随机粒子分布的中心点位置；
[0030] 步骤2.2.2 :以步骤2.1中求得的方差作为随机粒子分布的方差, 即：
[0031] σργ=?χΛ, σρ^,=σ?Λ (8)
[0032] 以（〇p,x，op,y)作为度量参数来确定目标的搜索范围：分别以正态分布σ^) 和产生一对随机数(，^，，，/^，?作为下帧目标的一个候选搜索位置^二 1,2,...,M)；
[0033] 目标搜索范围即是以（3〇P,x，3〇P,y)为长短轴的椭圆范围内；i 〇P,x>〇P,y，〇P,A* 轴;反之，σ Ρ,χ为短轴；
[0034] 步骤2.2.3:将目标位置预测和自适应调整搜索范围的方法与仿射变换相结合，应 用到仿射变换中，确定出下一帧的候选目标的形状和所处区间；采用下式描述的仿射变换 来确定该候选目标的形状和各点的坐标值： 「00351「'1 =「C〇_ -_叫P M「1 +~0 ΤΔ^ +卜J (7=l..MW9) |_A+i」Lsin(6>) cos(约」[_0 1 1 0 Ι + α,,?Δχ] 5
[0036] 其中（AXk，Ayk)为第k帧求出的最佳匹配目标上任意点的坐标值经过与第k帧预 测中心坐标(&_,，歹_)相减后的结果，（^ +1,1，7/1<+1,1)为在第(2.2.2)步中所产生的第1个 随机粒子的坐标;a x，ay，sxy及Θ均是按高斯分布N(0，ε2)产生的随机数，其中ε是在(0，0.05) 区间选择的常数；
[0037] 重复该步骤产生足够多(Μ个)的候选目标区，以备在步骤3中逐个与目标模板进行 匹配，遴选出最优的候选目标作为对第k+Ι帧目标的跟踪结果；
[0038] 步骤3:采用双重匹配融合的方法对目标进行匹配，进一步提升对目标的匹配精度 和对不同视频情况的适应性;步骤如下：
[0039] 步骤3.1:按照主成份分析(PCA)稀疏表示方法来确定匹配目标，求出该方法的最 终匹配目标的坐标值丨,λνΑ,ω)泡括下述步骤：
[0040] 步骤3.1.1:构造字典。将视频序列前Ν帧人工标注的运动目标区中的各个目标区 归一化为32X32像素的矩形区域并将该区内的像素表达成列向量，构建出一个1024X20的 目标模板矩阵;将该矩阵去均值后进行K-L变换，计算矩阵的特征值，并由大到小排列，取其 中前L个特征值对应的特征向量作为目标模板字典中的码本矩阵U，同时在字典后加入一个 1024Χ 1024的单位矩阵I，构造一个1024Χ (L+1024)的字典矩阵[U I];
[0041 ]步骤3.1.2:求解稀疏系数矢量和最小匹配误差;按照第一步和第二步中所述的方 法，在第k+Ι帧中产生Μ个候选目标区，将各个候选目标区中的像素按步骤3.1.1中所述的方 法变换为1024维的列向量，再将其与目标模板的均值做差值得到R 建立下述 稀疏表不1?型：
(10)
[0042]其中，U为字典中L个PCA基向量组成的矩阵，I为字典中的单位矩阵，Zi和ei分别为 候选目标投影到字典中U和I上的稀疏系数矢量，Μ为候选目标个数;通过下面的优化方法来 求解稀疏系数矢量Zi和ei:
[0044] 其中| | . | | :和| | . | 12分别代表1范数和2范数，λ>〇为规格化系数；
[0045] 设用上述方法求解得到的最优稀疏系数矢量为^和^，所对应的最小匹配误差为： EPCii ; = min \\ws Θ (ν; - υζ^ζ + (12)
[0046] 并同时得到加权系数矢量Wj = [Wj, 1，Wj, 2，···，Wj, 1024]Τ ;该权值矢量的取值由所求得 的系数矢量ej来决定：当ej,i = 0或当ej,i〈Te (〇,〇· 1)，取Wj,：L=l;否贝IJ,取Wj,：L = 〇;
[0047] 步骤3.2:直接利用候选区像素与模板图像之间的误差来确定匹配目标;采用第一 步和第二步中所述的方法，在第k+Ι帧中产生Μ个候选目标区，将各个候选目标区中的像素 按步骤3.1.1中所述的方法变换为1024维的列向量，再将其与目标模板的均值做差值得到 h 然后按下式求取最小匹配误差E Pixel,q和最佳匹配目标％ :
[0048] EPi，ei, = n^n IΘ ^ I2 + ^ 11/-/) (13)
[0049] 其中权值矢量^仍采用由步骤3.1中所得到的结果；
[0050] 求得最小EPlX(3l,q后，该候选目标区所对应的中心坐标位置即作为直接利用像素进 行匹配所得到的最终匹配目标的坐标值（兄>
[0051 ] 步骤3.3:采用双重匹配加权融合方法对运动目标进行最终定位;该方法主要包括 下述步骤：
[0052]步骤3.3.1:计算由步骤3.1中所采用的PCA稀疏表示方法在前L帧中所求得的最小 匹配误差的均值和标准差：
[0054] 其中巧％,.表示在第t帧中用PCA稀疏表示方法求得的最小匹配误差；
[0055] 步骤3.3.2:计算由步骤3.2中所采用的直接匹配方法在前L帧中所求得的最小匹 配误差的均值和标准差：
[0056] 其中表示在第t帧中直接用像素匹配方法求得的最小匹配误差；
[0057] 步骤3.3.3:双重匹配方法中的阈值设计与计算：
[0058] (i )PCA稀疏表示匹配方法的阈值设计与计算：
[0059] 阈值 1 : Tpc丄 1 =五PCA. f ;阈值2 : Tpc i 2 = [PCA，?:
[0060] (i i)直接匹配方法的阈值设计与计算：
[0061 ]阈值1: ?keU =馬_ ;阈值2: =焉域？ + <Xpixel，；
[0062] 步骤3.3.4:目标定位的双重匹配加权融合算法：
[0063] (i)当且忌> Γρω.2，则采用PCA稀疏表示匹配方法得到的匹配结果 作为最终结果;即（Sftisima+diii on'A，+!)-(爻m!，夕PCAJ'ht ); (16)
[0064] (ii)当尽ixds.<7 < rpixek^EPCA; > Z;CA2，则采用直接匹配方法得到的匹配结果作为 最终结果;sp (iF_fr+1，：PFusiOT.fr+1) = (iPlxeU+,，j>Pixe(17)
[0065] (iii)当既不满足(i)也不满足(ii)时，则采用两种匹配的加权平均结果作为最终 结果：焉1!翻,*+1 =叫 ·?ΚχΛ?-+1 + W2 . ipcAj-+1 ' 1 = ' iVixeLA·tl + W2 · i'Pm I (. 1 .8)
[0066] 其中wi和W2为权值，分别采用下面公式进行计算：
[0068]本发明充分利用在跟踪过程中已获得的目标运动信息和跟踪结果，对下一帧图像 中目标出现的位置进行预测和对目标的搜索范围进行自适应地调整，由此可以使搜索中心 和搜索范围与实际目标所处的范围及其真实位置更加接近，从而可以提高目标搜索的准确 率和定位精度，并且提高搜素效率;进而通过采用双重匹配加权融合和通过采用自动提取 的门限进行匹配判决的方法，去除可信度较低的匹配结果，使得改进后的跟踪算法对不同 的视频情况均有较好的适应性，得到更为可靠的目标跟踪结果。
【附图说明】
[0069] 图1是本发明的方法示意图。
【具体实施方式】
[0070] 以下结合技术方案和附图详细叙述本发明的实施例。
[0071 ]第一步:建立目标位置的预测模型，在跟踪过程中以预测值为中心对下一帧目标 进行搜索。
[0072]设在第1帧由人工标定运动目标和已知其目标中心位置的坐标为(X1，yi)，并设现 已得到了第k帧目标中心位置的坐标为（xk，yk)，k多1，其中xdPyk分别为目标中心位置的 横、纵坐标值。根据运动学原理，物体从如到以时刻运动的距离为：
(1)
[0074] 其中1V气分别为to时刻该物体的速度和加速度。
[0075] 根据式（1)的运动模型，将时间t离散化，取t^htfk+l。进一步考虑到实际中的 目标运动过程具有一定的随机性，因此可将下一时刻的目标位置的横坐标Xk +1与当前时刻 Xk的关系表不为：
(2)
[0077]其中Vx,k，ax,!^别为k时刻目标在X方向上的运动速度和加速度，n x,Ak时刻运动 状态在X方向上的随机变化量，通常假设nx,k满足均值为0方差为的高斯分布。
[0078]同理下一时刻的目标位置的纵坐标yk+1与当前时刻yk的关系表示为：
(3)
[0080] 其中Vy,k，ay,k分别为k时刻目标在y方向上的运动速度和加速度，n y,k为k时刻运动 状态在y方向上的随机变化量，并且假设ny,k满足均值为0方差为 的高斯分布。
[0081] 对于目标在k时刻的速度和加速度Vx,k，ax,k，本发明根据跟踪过程所获取的目标运 动状态来进行求取：
[0082] vx,k= A xk/ Δ tk = xk~xk-i, (4)
[0083] ax,k= A vx，k/Δ tk= (Vx,k_vx,k-1) =xk_2xk-ι+xk-2 (5)
[0084] 将式(4)和(5)代入到式(2)，经整理可得对下一时刻目标中心位置横坐标xk+1的预 测模型为：
(6)
[0086]同理可得对下一时刻目标中心位置纵坐标yk+1的预测模型为：
(7)
[0088]根据上面推导出来的预测模型(6)和（7)可以求出下一帧目标中心位置的预测值 (巧m，方+ni)。在本发明中，将预测值(巧.+￥.，)作为对下一帧目标的搜索中心。
[0089] 第二步:在跟踪过程中求取模型⑵和⑶中随机噪声nx,!^Pny,k的方差(〇^和口^) 的估值，据此来自适应地调整目标的搜索范围。
[0090] (2 · 1)估计模型（2)和(3)中随机噪声nx,k和ny,k的方差(《^和〇^ ):
(8)
[0092]其中L为估计这两个方差参数时所取的帧数(例如取为在目标 跟踪过程中分别利用式(6)和(7)求出的在1-1时刻对1时刻的目标中心点位置的预测值，X1 和yi分别为1时刻目标中心点的真实位置。在实际计算中目标中心点的真实位置是未知的， 为此在本发明中用在跟踪过程中所获取的最佳匹配目标的中心位置来代替其真实位置。 [0093] (2.2)确定目标的搜索范围：
[0094] 在本发明中仍沿用粒子滤波的思想，通过产生一定数量的随机粒子作为下一帧目 标的候选搜索位置。在此基础上，本发明采取下述步骤对已有的方法进行改进：
[0095] (2.2.1)以第一步中求得的预测值作为随机粒子分布的中心点位置；
[0096] (2.2.2)以步骤(2.1)中求得的方差（<5^，)作为随机粒子分布的方差（< Λ.， 〇即：
[0097] σ&=σ^, σρ>) =σ^ t (9)
[0098] 进而以（〇p,x，〇p,y)作为度量参数来确定目标的搜索范围。具体做法为:分别以正态 分布U和jV(.V t+1|t，)产生一对随机数(X7k+1,i y k+1,i)作为下帧目标的一个候 选搜索位置(i = l，2，...，M)。
[0099] 根据统计学理论，由上述方法产生的随机数以接近100 %的概率分布在以 为中心、以（3〇p,x，3〇p,y)为长短轴的椭圆范围内（当σ ρ,χ>σρ,γ，σρ, χ为长轴;反 之，σΡ,χ为短轴）。故本发明所确定的目标搜索范围即为该椭圆范围。而在本发明中是通过在 视频跟踪过程中从视频序列本身中提取出预测值和方差(名，:《)，所以是一种 自适应调整目标搜索范围的方法。通过该方法可以克服原有方法中由于依靠事先选定的常 数作为目标的搜索范围因此难以做到适应各种不同视频情况的问题。
[0100] (2.2.3)将目标位置预测和自适应调整搜索范围的方法与仿射变换相结合，即将 在步骤(2.2.1)和(2.2.2)所得到的目标位置预测结果与搜索范围应用到仿射变换中，确定 出下一帧的候选目标的形状和所处区间。具体做法为采用下式描述的仿射变换来确定该候 选目标的形状和各点的坐标值：
[0101] r!-.〇Jcosw + 0 1Γ^1 + Γ^1, (^1,.".M) (10)
[λ+ι,/J Lsm(^) cqs(5?；)JL0 1 J[ ο 1 + βν」|_4ν」^?,'」
[0102] 其中（AXk，Ayk)为第k帧求出的最佳匹配目标上任意点的坐标值经过与第k帧预 测中心坐标（)相减（即做中心化处理)后的结果，（x\+i, i y k+1, i)为在第(2.2.2) 步中所产生的第i个随机粒子的坐标;ax，ay，s xy及Θ均是按高斯分布Ν(0，ε2)产生的随机数， 其中ε是在(〇,〇.〇5)区间选择的常数。
[0103] 重复该步骤产生足够多的候选目标区，以备逐个与目标模板进行匹配，遴选出最 优的候选目标作为对第k+Ι帧目标的跟踪结果。
[0104] 第三步:采用双重匹配融合的方法对目标进行匹配，进一步提升对目标的匹配精 度和对不同视频情况的适应性。具体方法和步骤如下：
[0105] (3 · 1)按照 Wang 等（D · Wang，H · Lu，Μ·-H · Yang · Onl ine object tracking with sparse prototypes. IEEE Transactions on Image Processing,2013,22(1):314-325)给 出的主成份分析(PCA)稀疏表示方法来确定匹配目标，求出该方法的最终匹配目标的坐标 值(, 丨）。该方法主要包括下述步骤：
[0106] (3.1.1)构造字典。将视频序列前N帧(N取20)人工标注的运动目标区中的各个目 标区归一化为32 X 32像素的矩形区域并将该区内的像素表达成列向量，构建出一个1024 X 20的目标模板矩阵。将该矩阵去均值后进行K-L变换，计算矩阵的特征值，并由大到小排列， 取其中前L个特征值(L为常数，可在10至20内取值)对应的特征向量作为目标模板字典中的 码本矩阵U，同时在字典后加入一个1024X1024的单位矩阵I，构造一个1024X(L+1024)的 字典矩阵[U I];
[0107] (3.1.2)求解稀疏系数矢量和最小匹配误差。按照第一步和第二步中所述的方法， 在第k+Ι帧中产生Μ个候选目标区(M可在400至800范围内取值），将各个候选目标区中的像 素按(3.1.1)中所述的方法变换为1024维的列向量，再将其与目标模板的均值做差值得到 $ (6=1,...,ili)，建立下述稀疏表示模型：
[0108] v = \u /1 ^ , /= (11) ei
[0109] 其中，U为字典中L个PCA基向量组成的矩阵，I为字典中的单位矩阵，Zi和ei分别为 候选目标投影到字典中U和I上的稀疏系数矢量，Μ为候选目标个数(M在400至800范围内取 值）。通过下面的优化方法来求解稀疏系数矢量 21和&:
(12)
[0111] 其中11. | |:和| |. 112分别代表1范数和2范数，λ>0为规格化系数。
[0112] 具体求解式（12)的算法由 Wang等（D · Wang，H.Lu，M._H.Yang.0nline object tracking with sparse prototypes. IEEE Transactions on Image Processing，2013,22 (1):314-325)给出，此处从略。
[0113] 设用上述方法求解得到的最优稀疏系数矢量为^和^，所对应的最小匹配误差为：
[0114] Aca，尸 Ih ? (V广【ME + /《Σu - %) (12) t I
[0115] 并同时可得到加权系数矢量^=|^」,1，'\￥」,2，一，'^,1()24]1'。该权值矢量的取值由所求 得的系数矢量ej来决定：当ej,i = 0(或当ej,i〈Te (〇,〇· 1)),取Wj,：L=l;否贝lj,取Wj,：L = 〇。
[0116] (3.2)直接利用候选区像素与模板图像之间的误差来确定匹配目标。按照第一步 和第二步中所述的方法，在第k+Ι帧中产生Μ个候选目标区(M取值与步骤(3.1)中相同），将 各个候选目标区中的像素按(3.1.1)中所述的方法变换为1024维的列向量，再将其与目标 模板的均值做差值得到5 (?=l，...,M)，然后按下式求取最小匹配误差EPlxel,q和最佳匹配目 标V
[0117] Evi^,q = ω? \h + - u： /) Π3)
[0118] 其中权值矢量^仍采用由（3.1)中所得到的结果。
[0119] 求得最小EPlX(3l,q后，该候选目标区所对应的中心坐标位置即作为直接利用像素进 行匹配所得到的最终匹配目标的坐标值（i PiwU+, JPixeUt+1 )。
[0120] (3.3)采用双重匹配加权融合方法对运动目标进行最终定位。该方法主要包括下 述步骤：
[0121] (3.3.1)计算由（3.1)中所采用的PCA稀疏表示方法在前L(L在10至20范围内取值） 帧中所求得的最小匹配误差的均值和标准差：
(14)
[0123] 其中￡丨&/表示在第t帧中用PCA稀疏表示方法求得的最小匹配误差。
[0124] (3.3.2)计算由（3.2)中所采用的直接匹配方法在前L帧中所求得的最小匹配误
[0125] 差的均值和标准差：
(15)
[0127]其中表示在第t帧中直接用像素匹配方法求得的最小匹配误差。
[0128] (3.3.3)双重匹配方法中的阈值设计与计算：
[0129] (i)PCA稀疏表示匹配方法，即在(3.1)中所采用匹配方法)的阈值设计与计算：
[0130] 阈值 1: Tpcxi = ;阈值2: 4a,;: = / + ^Wa, / .
[0131] (ii)直接匹配方法匹配方法（即在(3.2)中所采用匹配方法）的阈值设计与计算： 阈值五 P.ixelj. ;侧值2 ? ^Pixel,2 - ^Ριχβ?,^
[0132] (3.3.4)目标定位的双重匹配加权融合算法：
[0133] ⑴当馬CA.; <心411且艮-> rpkd 2，则采用PCA稀疏表示匹配方法（即步骤(3.1)) 得到的匹配结果作为最终结果。即
[0134] (-^Fusion.i+liyFusion.i+l ) _ (-^PCA.i+15 ^PCA.A+l ) 5 (1-6)
[0135] (ii)当馬ixd" < TPix6lSi^^CAt/ > TPCA,2，则采用直接匹配方法（即步骤(3.2))得到的 匹配结果作为最终结果。即
[0136] ( -^Fusion,A+1 ?· ^Fusion,A-f-1 ^ C 3 Pix.el,A+l )； (17)
[0137] (iii)当既不满足(i)也不满足(ii)时，则采用两种匹配的加权平均结果作为最终 结果: 知―、+1 - ? -fpixeU+1 + ? · ipCAJ+l， iVision 夕+1 - ? .夕Pixel』+1 + 冰2 * i'P〇Ur+l， (18)
[0138] 其中wi和W2为权值，分别采用下面公式进行计算：
【主权项】
1.视频目标跟踪中目标位置预测、捜索范围自适应调整及双重匹配融合的方法，其特 征在于如下步骤： 步骤1:建立目标位置的预测模型，在跟踪过程中W对目标位置的预测值为中屯、对下一 帖目标进行捜索； 设在第1帖由人工标定运动目标和已知其目标中屯、位置的坐标为(xi，yi)，并设现已得 到 了第k帖目标中屯、位置的坐标为（祉，71〇,4>1，其中^和71<分别为目标中屯、位置的横、纵 坐标值； 下一时刻的目标位置的横坐标XW与当前时刻a的关系表示为：佩 其中vx,k，ax,k分别为k时刻目标在X方向上的运动速度和加速度，nx,k为k时刻运动状态 在X方向上的随机变化量，通常假设nx,k满足均值为0方差为的高斯分布； 下一时刻的目标位置的纵坐标yw与当前时刻yk的关系表示为：傑 其中Vy,k，ay,k分别为k时刻目标在y方向上的运动速度和加速度，ny,k为k时刻运动状态 在y方向上的随机变化量，并且假设ny,k满足均值为0方差为σ,3;.的高斯分布； 对于目标在k时刻的速度和加速度vx,k，ax,k，根据跟踪过程所获取的目标运动状态来求 取： Vx,k= A 祉/Δ tk=x；k-xk-i， (3) ax,k= Avx,k/ A tk= (vx,k-Vx,k-i) =xk-2xk-i+xk-2 (4) 得到对下一时刻目标中屯、位置横坐标Xk+l的预测模型为：(5) 对下一时刻目标中屯、位置纵坐标yw的预测模型为：(6) 根据上面推导出来的预测模型（5)和（6)求出下一帖目标中屯、位置的预测值 (而雌，也1|.4 )，将预测值(，也W )作为对下一帖目柄的捜索中屯、； 步骤2:求取模型（1)和(2)中随机噪声nx,谢ny,k的方差（口 ::A和的估值，据此自适应 地调整目标的捜索范围； 步骤2.1:估计模型（1)和(2)中随机噪声nx,k和ny,k的方差和,):0) 其中L为估计运两个方差参数时所取的帖数;巧IZ-1和巧IM为在目标跟踪过程中分别利用 式(5)和(6)求出的在1-1时刻对1时刻的目标中屯、点位置的预测值，XI和yi分别为1时刻目标 中屯、点的真实位置； 步骤2.2:确定目标的捜索范围 步骤2.2.1: W第一步中求得的预测值(兩+,It，及dK-)作为随机粒子分布的中屯、点位置； 步骤2.2.2:W步骤2.1中求得的方差(式J，均J作为随机粒子分布的方差 (与、，為,)， 即：W(Op,χ，σp,y)作为度量参数来确定目标的捜索范围：分别W正态分布N巧+l;，<，）和 产生一对随机数(x/k+l,i，/k+l,i)作为下帖目标的一个候选捜索位置（i = l， 2,...,Μ); 目标捜索范围即是W(3σp,χ，3σp,y)为长短轴的楠圆范围内；当σp,χ>σp,y，σp,χ为长轴;反 之，Op, X为短轴； 步骤2.2.3:将目标位置预测和自适应调整捜索范围的方法与仿射变换相结合，应用到 仿射变换中，确定出下一帖的候选目标的形状和所处区间；采用下式描述的仿射变换来确 定该候选目标的形状和各点的坐标值：其中（Axk，Ay〇为第k帖求出的最佳匹配目标上任意点的坐标值经过与第k帖预测中 屯、坐标(％-1:而W)相减后的结果，^'化1，7'化0为在第(2.2.2)步中所产生的第1个随机 粒子的坐标;ax, ay, sxy及Θ均是按高斯分布Ν(0，ε2)产生的随机数，其中ε是在(0,0.05)区间 选择的常数； 重复该步骤产生Μ个的候选目标区，W备在步骤3中逐个与目标模板进行匹配，遽选出 最优的候选目标作为对第k+1帖目标的跟踪结果； 步骤3:采用双重匹配融合的方法对目标进行匹配，进一步提升对目标的匹配精度和对 不同视频情况的适应性;步骤如下： 步骤3.1:按照主成份分析(PCA)稀疏表示方法来确定匹配目标，求出该方法的最终匹 配目标的坐标值:(為W，爲化,7:+1);包括下述步骤： 步骤3.1.1:构造字典;将视频序列前N帖人工标注的运动目标区中的各个目标区归一 化为32 X 32像素的矩形区域并将该区内的像素表达成列向量，构建出一个1024 X 20的目标 模板矩阵;将该矩阵去均值后进行K-L变换，计算矩阵的特征值，并由大到小排列，取其中前 L个特征值对应的特征向量作为目标模板字典中的码本矩阵U，同时在字典后加入一个1024 X 1024的单位矩阵I，构造一个1024X (L+1024)的字典矩阵[U I]; 步骤3.1.2:求解稀疏系数矢量和最小匹配误差；按照第一步和第二步中所述的方法， 在第k+1帖中产生Μ个候选目标区，将各个候选目标区中的像素按步骤3.1.1中所述的方法 变换为1024维的列向量，再将其与目标模板的均值做差值得到(/'=1，...，Μ)，建立下述稀疏 表示模型幻0) 其中，U为字典中L个PCA基向量组成的矩阵，I为字典中的单位矩阵，zi和ei分别为候选 目标投影到字典中U和I上的稀疏系数矢量，Μ为候选目标个数;通过下面的优化方法来求解 稀疏系数矢量Zi和ei:件1) 其中II」|i和II. II2分别代表1范数和2范数，λ〉〇为规格化系数； 设用上述方法求解得到的最优稀疏系数矢量为Ζ神日ej，所对应的最小匹配误差为：(12、 并同时得到加权系数矢量Wj = [ Wj, 1，Wj, 2，· · ·，Wj, 1024] T ;该权值矢量的取值由所求得的系 数矢量ej来决定：当ej,i = 0或当ej,i<Te (0,0.1),取Wj,i=l;否则,取Wj,i = 0; 步骤3.2:直接利用候选区像素与模板图像之间的误差来确定匹配目标;采用第一步和 第二步中所述的方法，在第k+1帖中产生Μ个候选目标区，将各个候选目标区中的像素按步 骤3.1.1中所述的方法变换为1024维的列向量，再将其与目标模板的均值做差值得到馬α =1，. . .，Μ)，然后按下式求取最小匹配误差虹ixei,q和最佳匹配目标^ ;;(13) 其中权值矢量wj仍采用由步骤3.1中所得到的结果； 求得最小Epixel,q后，该候选目标区所对应的中屯、坐标位置即作为直接利用像素进行匹 配所得到的最终匹配目柄的坐柄值(而?Μ?,?.+1，知ixcW+l ); 步骤3.3:采用双重匹配加权融合方法对运动目标进行最终定位;该方法主要包括下述 步骤： 步骤3.3.1:计算由步骤3.1中所采用的PCA稀疏表示方法在前L帖中所求得的最小匹配 误差的均值和标准差：(14) 其中巧OW表示在第t帖中用PCA稀疏表示方法求得的最小匹配误差； 步骤3.3.2:计算由步骤3.2中所采用的直接匹配方法在前L帖中所求得的最小匹配误 差的均值和标准差：(15) 其中巧ixsw表示在第t帖中直接用像素匹配方法求得的最小匹配误差； 步骤3.3.3:双重匹配方法中的阔值设计与计算： (i )PCA稀疏表示匹配方法的阔值设计与计算：步骤3.3.4:目标定位的双重匹配加权融合算法： (i)当马，< ^?.1且Epi、el.g > ，则采用PCA稀疏表示匹配方法得到的匹配结果作为 最终结果；即（.* 邮 ionJi-Η，知 usioia-tl ) - (^PCA.iMl，知 CA,it+l ) (W) (i i )当马lalM <私,。18.1且馬CAj > fwAJ，则采用直接匹配方法得到的匹配结果作为最终 结果；即(乂邮?曲知，耗usi。。,咕）-（%轴，.灿，少'化吐姑.）.， 口） (iii)当既不满足（i)也不满足（ii)时，则采用两种匹配的加权平均结果作为最终结 果：其中W1和W2为权值，分别采用下面公式进行计算：(l·,)
【文档编号】G06T7/20GK106097388SQ201610397076
【公开日】2016年11月9日
【申请日】2016年6月7日 公开号201610397076.1, CN 106097388 A, CN 106097388A, CN 201610397076, CN-A-106097388, CN106097388 A, CN106097388A, CN201610397076, CN201610397076.1
【发明人】郭成安, 梁志达
【申请人】大连理工大学