一种基于多尺度与自适应更新的目标跟踪方法
【专利摘要】本发明公开了一种基于多尺度与自适应更新的目标跟踪方法，它包括系统初始化、目标跟踪、计算粒子特征值找出权重最大的粒子、更新朴素贝叶斯分类器参数、对粒子进行重采样、作出当前帧目标的跟踪结果，若视频序列还有下一帧，则回到步骤2重复操作，否则结束。本发明能有效应对目标跟踪过程中的遮挡、光照变化、姿态变化等问题，在高清视频场景下也能对目标进行多尺度、自适应地实时跟踪。
【专利说明】
一种基于多尺度与自适应更新的目标跟踪方法
技术领域
[0001] 本发明属于计算机视觉和模式识别技术领域，具体涉及一种基于多尺度与自适应 更新的目标跟踪方法。
【背景技术】
[0002] 目标跟踪是计算机视觉的关键问题之一，在现实环境中，由于遮挡，光照、尺度变 化等因素的影响，造成被跟踪目标漂移甚至丢失，因此实现鲁棒、有效的目标跟踪仍然是一 项具有挑战性的任务。
[0003] 当前目标跟踪方法可分为两大类：一类是生成模型法(Generative method)，如 MeanShift，Color_based PF，IVT(Incremental visual tracker)，0RB等，该类方法的核心 思想是对初始目标进行建模，并在后续帧当中搜索与该目标模型最匹配的区域;另一类是 判别分类法(Discriminative method)，其本质是把跟踪问题转化为二类分类问题，使用分 类器来判别目标和背景，找到目标位置。由于判别分类法有着节省计算资源、准确率高、可 结合机器学习分类算法等优点，逐渐成为目标跟踪算法研究的趋势。本发明提出的多尺度 与自适应更新的目标跟踪算法属于判别分类法，从随机多通道采样广义Haar-1 ike特征，通 过压缩感知中理论中的随机投影矩阵对其进行降维，使用朴素贝叶斯分类器对目标特征训 练并进行跟踪。在此基础上，结合粒子滤波理论，实现对目标的多尺度跟踪，并在朴素贝叶 斯分类器的参数更新阶段采用一种自适应的更新策略，避免了参数的误更新。
[0004] 与本发明最接近的技术方案包括:公布号为CN 104331908A的中国专利申请公开 了一种压缩haar特征和运动信息相同和的目标跟踪方法，该目标跟踪方法采用了Haar小波 变换提出目标样本和背景样本特征的Haar特征，同样采用随机投影矩阵对特征进行降维， 并使用朴素贝叶斯分类器结合目标运动信息的方式对目标进行跟踪。本发明提出方法与该 方法的区别在于，本发明结合了粒子滤波理论，可以实现对目标的多尺度跟踪；另一方面， 本发明的朴素贝叶斯分类器参数是自适应的更新。公布号为CN 104392467 A的中国专利申 请公开了一种基于压缩感知的视频目标跟踪方法，该方法同样采用压缩感知理论生成稀疏 投影矩阵，对采样得到的正负样本进行稀疏投影降维，创建朴素贝叶斯分类器;当下一帧图 像到来时，在上一帧得到的目标位置周围进行采样，使分类器分类得到的最大可能的目标 位置，更新目标位置，更新分类器参数。本发明提出方法与该方法的区别在于，本发明从随 机多通道提取广义haar-1 ike特征，并能实现目标的多尺度跟踪，朴素贝叶斯分类器参数是 自适应的更新。公布号为CN 104537689 A的中国专利申请公开了一种基于局部对比显著性 联合特征的目标跟踪方法，该方法提取目标区域和局部背景区域的颜色、纹理、梯度直方图 特征，利用这些联合特征进行匹配。该方法虽然具有较好的抗遮挡能力，但是由于纹理、梯 度特征的计算量大，不适合用于高清视频的目标跟踪，而本发明提出的目标跟踪方法在高 清视频场景下也能做到实时跟踪。
【发明内容】
[0005] 针对现有技术中存在的上述问题，本发明的目的在于提供一种基于多尺度与自适 应更新的目标跟踪方法。
[0006] 所述的一种基于多尺度与自适应更新的目标跟踪方法，其特征在于包括如下步 骤：
[0007] 步骤1:系统初始化:输入已知目标的初始化区域矩形框Rinit=[x，y，w，h]，其中 (x，y)代表矩形框的左上角坐标，w，h代表矩形框的宽和高;再输入视频序列的第一帧图像 Fo，Fo具有C个通道，计算Fo的积分图I = {Ii I i = 1，2，. . .，C}，其中Ii为Fo在第i通道的积分 图；初始化特征向量V，粒子集P，朴素贝叶斯分类器B;
[0008] 步骤2:目标跟踪阶段，输入C通道的图像F，并计算图像F的积分图像I;对P中的每 一个粒子Pi做二阶自回归传递，计算公式如下：
[0009] Fk-X ； k (3) k ~ΛΧ?,σ^)
[0010]其中Pk(i)表示第i个粒子在k时刻的状态，uk为粒子在k时刻的三维高斯噪声，分别 对应px，py和ps三个维度，N(0，〇k)表示均值为〇，标准差S〇k的高斯分布；
[0011] 步骤3:计算P中每个粒子在V上的特征值T= {Ti | i = l，2,…，n}，其中η表示V中的 特征数量，h计算公式如下：
(4)
[0013]其中|^必取]为粒子的状态4￥ = ￥>|^4]1 = ]1吨8^(；[」）表示￥冲第」个矩形 左上角的横坐标，vy(i，j)表示Vi中第j个矩形左上角的纵坐标，vw(i，j)为矩形的长，vh(i， j)为矩形的宽，I。为积分图的第c个通道，其中c为(0，C)之间随机等概率取得的值，每个粒 子的权重计算公式为：
(5)
[0015]式中，μρα)表示第i个朴素贝叶斯分类器&的正样本均值，〇P⑴表示正样本方差， yn(i)表示负样本均值，〇n(i)表示负样本方差;计算每个粒子的权重值之后，再对粒子的权 重进行归一化；
[00? 0]步骤4 :找到步骤3中权重最大的粒子Pmax = [px，py，ps ]，则目标在当前帧的矩形框 Rc = [px，py，w*ps，h*ps];
[0017]步骤5:更新朴素贝叶斯分类器参数，具体为:采样目标区域周围的正负样本，计算 特征值并更新朴素贝叶斯分类器参数；以目标矩形框区域位置lc=[X+0.5w，y+0.5h]S* 心、α为半径采集正样本
[0018] Da = {z| | |l(z)-lc| |<α}，设采样到的正样本个数为ηρ，1(ζ)表示ζ位置的坐标， 下同；以ζ为半径采集负样本?/={Ζ|α<| |l(z)-lt| |<β}，其中α〈ζ〈β，β表示外半径，设采样 到的负样本个数为ηη;计算正样本的特征值集合Tp = {Tp(j) | j = 1，2，…ηρ}，其中Tp(j)可 以通过公式(4)求得，Tp为公式(4)中的T，j为公式(4)中的i，其长度为步骤1.1中低维特征 的个数η;同理计算负样本的特征值集合Tn= {Tn( j) | j = l，2，···，nn}，其中Tn( j)可以通过 公式(4)求得，Τη为公式(4)中的T，j为公式(4)中的i，长度同样为η;则第i个朴素贝叶斯分 类器仏的更新公式如下：
[0c
(6)
[0020]其中冗(/)，&(/)的计算公式如下：
(7)
[0022]其中表示Tp第i列的均值，σ;,(/)表示Tp第i列的标准差；同理，σ,,〇')也 可以从(6)式得到为自适应参数学习率，计算公式如下：
(S)
[0024] 其中Ρ是一个常数；
[0025] 步骤6:计算Μ的均值λ，并根据λ值动态调整步骤2中〇k的值，调整公式如下：
当 1 < 0.8 ?0.8 < A < 0.9 Φ) ''V. > 0.9
[0027] 其中σ〇为式粒子的初始标准差，Θ是一个常量，代表累计周期，t是一个累计变量： it + l λ < 0.8 / (
[0028] f Η (10) }〇 A > 0,8 V ；
[0029] 步骤7:对粒子进行重采样，粒子的采样密度用如下公式表示：
[0030] P(x[!} =x{k[\) = wi (11)
[0031 ]其中k-1代表前一时刻，k代表当前时刻，i，j分别表示第i，j个粒子；
[0032]步骤8:输出步骤4中Rc的值作为当前帧目标的跟踪结果，若视频序列还有下一帧， 则回到步骤2,否则结束。
[0033] 所述的一种基于多尺度与自适应更新的目标跟踪方法，其特征在于，初始化特征 向量V，粒子集P，朴素贝叶斯分类器B的具体方法如下：
[0034] 步骤1.1:对于宽、高分别为w，h的目标，生成一系列归一化矩形滤波器H={hw(a， b)|l彡i彡w，l$j彡h}，并通过矩形滤波器hu(a，b)与图像的卷积来表示目标特征，其中 hi, j (a, b)的计算公式如下：
]<a < /,1 <b< j :⑴ 其他情况 L〇〇36」计算扣得!1中矩形滤波器hi,j(a，b)的个数为（wh)2;初始化随机测量矩阵R = [ri,j]m*n，ri,j的计算公式如下：
1，概率为
[0037] I,. ='x< 0，概率为 （2) -1.，概率为
[0038] 其中s = m/4为随机测量矩阵的稀疏因子，m为随机测量矩阵长度，且m=(wh)2，n为 降维后低维特征的个数;把Η拉伸为一个长度为(wh)2的列向量X，则V = RX即为通过随机测 量矩阵降维后的特征向量，V={vi| i = l，2,. . .，n}，由公式(2)可知，Vi中矩形滤波器的个数 P的取值在2~4之间；
[0039] 步骤1.2:初始化粒子集P= {(pi，wi) |i = l，2，...，N}，其中粒子的状态pi= [px, py，ps]，（px，py)分别表示目标中心点坐标，ps表示目标缩放尺度，wi表示粒子权重，N表示 粒子的个数，初始时化147) = (1，7)48 = 1，《^=1/^;
[0040] 步骤1.3:初始化朴素贝叶斯分类器8={&[)(0,0[)(0411(0, 011(0)|1 = 1， 2,...，n}，其中η的值等于步骤1.1中低维特征的个数。
[0041] 本发明的优点是:本发明能有效应对目标跟踪过程中的遮挡、光照变化、姿态变化 等问题，在高清视频场景下也能对目标进行多尺度、自适应地实时跟踪。
【附图说明】
[0042] 图1为本发明的步骤1.2中对特征进行降维的示意图；
[0043]图2a为本发明的步骤3中从单通道提取广义Haar-like特征的示意图；
[0044]图2b为本发明的步骤3中从随机多通道提取广义Haar-like特征的示意图。
【具体实施方式】
[0045] 下面结合实施例来详细阐述本发明的多尺度与自适应更新的目标跟踪方法的具 体实施方式。
[0046] 本发明的一种基于多尺度与自适应更新的目标跟踪方法，其特征在于包括如下步 骤：
[0047]步骤1:系统初始化，图输入已知目标的初始化区域矩形框Rinit=[x，y，w，h]，其中 (X，y)代表矩形框的左上角，W，h代表矩形框的宽和高;输入视频序列的第一帧RGB图像Fo，Fo 具有3个通道，计算Fo的积分图1 = {11|1 = 1，2,3}，其中11为巧在第1通道的积分图；初始化 特征向量V，粒子集P，朴素贝叶斯分类器B，具体如下：
[0048]步骤1.1:对于宽、高分别为(w，h)的目标，生成一系列归一化矩形滤波器Η={1η,」 (8，13)|1彡1彡《，1彡_]_彡11}，并通过矩形滤波器11^(&，13)与图像的卷积来表示目标特征，其 中hi, j (a, b)的计算公式如下：
i < a < /,1 < b < j ⑴ 其他情况
[0050] 计算可得H中元素的个数为(wh)2;初始化随机测量矩阵R=[rid]m* n，rid的计算公 式如下： 1，概率为
[0051] 0，概率为 （2) -1，概率戈
[0052] 其中s = m/4为随机测量矩阵的稀疏因子，m为随机测量矩阵长度，且m=(wh)2，n为 降维后低维特征的个数，在本实例中取n = 100;把Η拉伸为一个长度为(wh)2的列向量X，则V =RX即为通过随机测量矩阵降维后的特征向量，V= {vi | i = l，2, . . .，100}，由公式（2)可 知，vi中矩形滤波器的个数P的取值在2~4之间；
[0053]步骤1.2:初始化粒子集P= {(pi，wi) |i = l，2，...，N}，其中粒子的状态pi= [px, py，ps]，（px，py)分别表示目标中心点坐标，ps表示目标缩放尺度，wi表示粒子权重，N表示 粒子的个数，在本实例中取N=200;初始时(px，py) = (x，y)，ps = l，wi= 1/200;
[0054] 步骤1.3:初始化朴素贝叶斯分类器8={&[)(0，。[)(0411(0，。 11(0)|1 = 1， 2,...,100}；
[0055] 步骤2:目标跟踪阶段，输入C通道的图像F，并计算图像F的积分图像I;对P中的每 一个粒子Pi做二阶自回归传递，计算公式如下：
[0056] Pk (0 - Pk-l (Ο = Pk-M - P.k-2. CO + ?? ( 3x 〃厂 Am 心） j
[0057] 其中pk(i)表示第i个粒子在k时刻的状态，Uk为粒子在k时刻的3维高斯噪声，分别 对应px，px和ps三个维度，N( 0，〇k)表示均值为〇，标准差S〇k的高斯分布;在本实例中ok = [5.0,2.5,0.06]；
[0058] 步骤3:计算P中每个粒子在V上的特征值T= {Ti | i = 1，2，…，100}，
[0059] Ti计算公式如下： (4)
[0061 ] 其中[px，py，ps]为粒子的状态pw = w*ps，ph = h*ps，vx(i，j)表示Vi中第j个矩形 左上角的横坐标，vy(i，j)表示vi中第j个矩形左上角的纵坐标，vw(i，j)为矩形长，vh(i，j) 为矩形宽；I。为积分图的第c个通道，其中c为(0，C)之间随机等概率取得的值;每个粒子的 权重计算公式为：
C5)
[0063]式中，μρα)表示第i个朴素贝叶斯分类器&的正样本均值，〇P(i)表示正样本方差， μη(υ表示负样本均值，〇n(i)表示负样本方差;计算每个粒子的权重值之后，再对粒子的权 重进行归一化；
[0064]步骤4:找到步骤3中权重最大的粒子pmax = [px，py，ps ]，则目标在当前帧的矩形框 Rc = [px，py，w*ps，h*ps];
[0065]步骤5:更新朴素贝叶斯分类器参数;具体为:采样目标区域周围的正负样本，计算 特征值并更新朴素贝叶斯分类器参数；以目标矩形框区域位置lc=[X+0.5w，y+0.5h]S* 心，α为半径采集正样本D a={z| | |l(z)-lc| |<α}，在本实例中α = 4,采样到的正样本个数为 45;以ζ为半径采集负样本l/={Z|a<| |l(z)-lt| |<β}，其中α〈ζ〈β，β表示外半径，在本实例 中a = 8，β = 30，采样到的负样本个数为50 ;计算正样本的特征值集合Tp = {Tp(j) | j = 1， 2,…45}，其中Tp(j)可以通过公式(4)求得，Tp为公式(4)中的T，j为公式(4)中的i，其长度 为步骤1.1中低维特征的个数η;同理计算负样本的特征值集合Tn = {Tn( j) I j = 1，2,…， 50}，其中Tn(j)可以通过公式(4)求得，Τη为公式(4)中的T，j为公式(4)中的i;那么朴素贝 叶斯分类器&的更新公式如下：
[0067] 其中[(/), fj./)的计算公式如下： (6) (7)
[0069]其中//ρ_(?_)表示Tp第i列的均值?)表示Tp第i列的标准差；同理σ"(〇也可 以从(6)式得到为自适应参数学习率，计算公式如下：
(B)
[0071] 其中妒是一个常数，在本实例中取供=0.95;
[0072]步骤6:计算Μ的均值λ，并根据λ值动态调整步骤2中〇k的值，调整公式如下：
(9)
[0074]其中σ〇为式粒子的初始标准差，在本例中为[5.0，2.5，0.06]，Θ是一个常量，在本 实例中取θ = ιο,代表累计周期，t是一个累计变量：
[0075] ? = 1〇 ^〇·8 (10)
[0076] 步骤7:对粒子进行重采样，粒子的采样密度用如下公式表示：
[0077] P(x{° =x^)^wL (11)
[0078] 其中k_l代表前一时刻，k代表当前时刻，i，j分别表示第i，j个粒子；
[0079] 步骤8:输出步骤4中Rc的值作为当前帧目标的跟踪结果，若视频序列还有下一帧， 则回到步骤2,否则结束。
[0080] 本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护 范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技 术人员根据本发明构思所能够想到的等同技术手段。
【主权项】
1. 一种基于多尺度与自适应更新的目标跟踪方法，其特征在于包括如下步骤： 步骤1:系统初始化:输入已知目标的初始化区域矩形框把。1*=^，7，巧，}1]，其中^，7)代 表矩形框的左上角坐标，w，h代表矩形框的宽和高;再输入视频序列的第一帖图像Fo，Fo具有 C个通道，计算Fo的积分图1 = {11|1 = 1，2，...，(：}，其中11为。〇在第1通道的积分图；初始化 特征向量V，粒子集P，朴素贝叶斯分类器B; 步骤2:目标跟踪阶段，输入C通道的图像F，并计算图像F的积分图像I;对P中的每一个 粒子Pi做二阶自回归传递，计算公式如下：其中Pk(i)表示第i个粒子在k时刻的状态，Uk为粒子在k时刻的Ξ维高斯噪声，分别对应 ρχ，py和ps^个维度，N(0，〇k)表示均值为0，标准差为〇k的高斯分布； 步骤3:计算P中每个粒子在V上的特征值T = {Ti I i = 1，2，…，η}，其中η表示V中的特征数 量，Τι计算公式如下：其中[口义，口7，口3]为粒子的状态，口* = **口3，口11 = 11*口3，￥义（；[，^'）表示￥冲第^'个矩形左上 角的横坐标，V y (i，j)表示V i中第j个矩形左上角的纵坐标，W (i，j)为矩形的长，V h (i，j)为 矩形的宽，I。为积分图的第c个通道，其中c为(0，C)之间随机等概率取得的值，每个粒子的 权重计算公式为：式中，μρ。)表示第i个朴素贝叶斯分类器Bi的正样本均值，0p(i)表示正样本方差，μη。） 表示负样本均值，〇n(i)表示负样本方差;计算每个粒子的权重值之后，再对粒子的权重进 行归一化； 步骤4:找到步骤3中权重最大的粒子pmax = [px，py，ps]，则目标在当前帖的矩形框Rc = [px,py,w*ps,h*ps]； 步骤5:更新朴素贝叶斯分类器参数，具体为:采样目标区域周围的正负样本，计算特征 值并更新朴素贝叶斯分类器参数；W目标矩形框区域位置lc=[x+0.5w，y+0.化]为中屯、、α 为半径采集正样本护={ζ| Ml(z)-l。M<α}，设采样到的正样本个数为叩，l(z)表示z位置 的坐标;Κζ为半径采集负样本护={ζ|α<| |l(z)-lt||<m，其中α<ζ<β，β表示外半径，设采 样到的负样本个数为ηη;计算正样本的特征值集合化={Τρ( j) I j = l，2,…ηρ}，其中化（j) 可W通过公式(4)求得，Τρ为公式(4)中的T，j为公式(4)中的i，其长度为步骤1.1中低维特 征的个数η;同理计算负样本的特征值集合化={Tn(j)| ^' = 1，2，-'，1111}，其中化〇)可^通 过公式(4)求得，Τη为公式(4)中的T，j为公式(4)中的i，长度同样为η;则第i个朴素贝叶斯 分类器Bi的更新公式如下：其中古(0表示化第i列的均值，兩(0表示化第i列的标准差；同理，;^(0, ^脚也可W 从(6)式得到;λι为自适应参数学习率，计算公式如下：锁 其中^是一个常数； 步骤6:计算λι的均值λ，并根据λ值动态调整步骤2中Ok的值，调整公式如下：(9) 其中〇〇为式粒子的初始标准差，Θ是一个常量，代表累计周期，t是一个累计变量：(10) 步骤7:对粒子进行重采样，粒子的采样密度用如下公式表示： 巧种，=.站）= Μ'， (11) 其中k-1代表前一时刻，k代表当前时刻，i , j分别表不第i , j个粒子； 步骤8:输出步骤4中Rc的值作为当前帖目标的跟踪结果，若视频序列还有下一帖，则回 到步骤2,否则结束。2.根据权利要求1所述的一种基于多尺度与自适应更新的目标跟踪方法，其特征在于， 初始化特征向量V，粒子集P，朴素贝叶斯分类器B的具体方法如下： 步骤1.1:对于宽、高分别为w，h的目标，生成一系列归一化矩形滤波器H=化i,^a，b)|l 并通过矩形滤波器hi, j (a，b)与图像的卷积来表示目标特征，其中hi, j (a， b)的计算公式如下：(i) 计算可得Η中矩形滤波器hi,^a，b)的个数为(wh)2;初始化随机测量矩阵R=[ri,dm*n， ri,j的计算公式如下：(2) 其中s = m/4为随机测量矩阵的稀疏因子，m为随机测量矩阵长度，且m=(wh)2，n为降维 后低维特征的个数;把Η拉伸为一个长度为(wh)2的列向量X，则V = RX即为通过随机测量矩 阵降维后的特征向量，V={vl|i = l，2，...，n}，由公式(2)可知，vl中矩形滤波器的个数p的 取值在2~4之间； 步骤1.2:初始化粒子集P = {(pi，wi) I i = 1，2，. . .，N}，其中粒子的状态pi = [px，py， ps ]，（px，py)分别表示目标中屯、点坐标，ps表示目标缩放尺度，wi表示粒子权重，N表示粒子 的个数，初始时（px，py) = (x，y)，ps = l，wi=l/N; 步骤 1.3:初始化朴素贝叶斯分类器 B={(yp(i)，〇p(i)，yn(i)，〇n(i))|i = l，2，...，n}， 其中η的值等于步骤1.1中低维特征的个数。
【文档编号】G06T7/20GK106097393SQ201610442549
【公开日】2016年11月9日
【申请日】2016年6月17日
【发明人】高飞, 高炎, 令狐乾锦, 徐云静, 汪敏倩, 何伟荣, 吴宗林, 卢书芳, 张元鸣, 肖刚
【申请人】浙江工业大学, 浙江浩腾电子科技股份有限公司