一种尺度自适应的运动目标跟踪方法
【专利摘要】本发明涉及一种尺度自适应的运动目标跟踪方法，操作步骤如下：1）读入第一帧，初始化目标窗口并建立目标模型；2）读入下一帧；3）设定候选目标区域，建立候选目标模型；4）计算相似性函数、加权系数、加权系数和；5）寻找下一个候选目标区域位置并估算目标大小；6）判断收敛性，若收敛，进入步骤2），若不收敛进入步骤3）。本发明在Mean shift运动目标跟踪算法的基础上，使用加权系数和以及相似性函数估计目标大小，实现了算法对目标大小的自适应性，增加了候选目标模型的可靠性，提高了算法的精确性。
【专利说明】
-种尺度自适应的运动目标跟踪方法
技术领域
[0001] 本发明设及一种尺度自适应的运动目标跟踪方法，应用于智能视频处理领域中的 运动目标跟踪，适用于运动目标尺度不断变化时的跟踪。
【背景技术】
[0002] 运动目标跟踪在智能视频处理领域是一项基础性技术，针对该技术有多种不同的 算法被提出，其中应用较为广泛的是Comaniciu等在文献[1]中所提出的Mean shift运动目 标跟踪算法，该算法是对其在文献[2]中所提出的一种寻找模式的方法的具体应用。
[0003] 文献[2]中介绍了一种根据有限样本点寻找一个未知分布的模式点的方法:首先 使用化anechnikov核函数进行核密度估计。若样本点为{>1}1=1,2,...,。，得到该分布的估计 为：
[0004]
[0005] 其中Ck为常量，k为Elpanechnikov核函数的轮廓函数，X为核中屯、点，Xi为样本点，h 为带宽参数。为寻找该分布的模式点，根据模式点梯度为0的特点，使用基于梯度的模式寻 找(Gradient-based mode seeking)方法，求分布估计的梯度，通过推导发现梯度向量与向 量m成正比，向量m即Mean shift向量：
[0006]
[0007]上式中，g(x) =-k^ (X)。文献[2]中证明了Mean shift向量具有收敛性。由于梯度 向量正比于Mean shift向量，故Mean shift向量收敛的位置即为梯度向量收敛的位置，所 W文献[2]中通过迭代Mean shift向量至收敛来间接寻找模式点，迭代方法为:使用前一个 中屯、位置Xprev计算Mean化Iue Xnew,并把Xnew作为新的中屯、位置。然后判断是否收敛W决定 是否继续迭代，判断收敛的标准为M Xnew-Xprev M《e，e为预先设定的任意小值。由Mean shift向量的公式可W知道Mean化Iue的计算公式为：
[000引
[0009]文献[1]在将文献[2]中所提出的寻找模式的方法应用在运动目标跟踪技术中时， 首先在视频图像的第一帖中确定目标的大小和位置(运里假定目标中屯、位置为0)，并对目 标像素点在色调化。6)征空间内建立目标模型^ = 4},,=,1...,。，其中功色调参量，并有：
[0010]
[00川其中C为归一化参数，b(Xi)表示Xi点的色调值，S为狄拉克函数。k为E：panechnikov 核函数的轮廓函数，因为目标的外围区域比中屯、区域更容易被遮挡，所W使用 化anechn化OV核函数对目标的像素点进行加权，使目标的中屯、区域对模型的贡献大于外围 区域，从而增加模型的鲁棒性。
[0012] 在其他帖中，Wy点为中屯、选定一个比目标稍大的区域作为候选目标区域，并建立 候选目标模型
其中：
[0013]
[0014] 上式中Ch为归一化常数，h为带宽参数。
[0015] 为比较目标模型和候选目标模型的相似性，产生一个相似性函数：
[0016]
[0017] pW的值越大，表明两个模型的相似性越局。的模式点是当前帖中最有可能 的目标中屯、位置。假设目标在前一帖的中屯、位置为yo,由于目标在相邻帖间的变化是连续 的，所W在当前帖中，可W对你)在yo点进行二项泰勒展开，得到：
[001 引
[0019]
[0020]
[0021] 展开式的第一项独立于y，而第二项是Wy为参量，因此寻找的模式点就变为 寻找展开式第二项的模式点。该项与文献[2]中的核密度估计具有相似的形式，所W使用文 献[2]中介绍的Mean shift方法寻找八y)的模式点，对应的Mean化Iue的迭代公式为：
[0022]
[0023] 其中，yo为前一帖中目标的中屯、位置，也是当前帖中迭代的起点。当满足 <e时停止迭代，并认为yj是当前帖中目标的中屯、位置。将yj值赋给yo并读入下一帖继续迭 代，如此反复，在每一帖中找到目标的中屯、位置，从而实现了对运动目标的跟踪。
[0024] Mean shift运动目标跟踪算法是一种计算复杂度较小、性能较高的算法，但是算 法的性能和运动目标的大小变化密切相关，目标的大小变化幅度越小，算法性能越高。在实 际情况中，目标大小变化幅度可能会较大，此时算法的性能将会大大降低。
[0025] 在文献[I]中，Mean Shift运动目标跟踪算法会选择一个比目标稍大的、固定大小 的区域作为候选目标区域，其认为无论目标在该帖中变大还是变小，都可W确保目标被候 选目标区域所包围。显然，运种选择候选目标区域的方式是不合理的：其一，如果目标变大 并且大于候选目标区域的大小，则在建立候选目标模型时，目标的一部分颜色信息就会丢 失，模型的可靠性就会降低;其二，如果目标变小或者不变，则候选目标区域的大小就会大 于目标大小，建立候选目标模型时会引入较多背景颜色成分，也会降低模型的可靠性。候选 目标模型的可靠性降低会直接导致算法性能的降低。如果能合理地选择候选目标区域的大 小，使之与目标大小的吻合性更好，则候选目标模型的可靠性将会提高，Mean Shift算法的 性能将会随之提高。由于运动目标的大小变化在相邻帖间是连续的，可W考虑分析目标的 大小变化趋势，实时调整候选目标区域的大小，即实现该算法对目标尺度变化的自适应能 力。
[0026] 在文献[1]中，计算Mean化Iue的公式为：
[0027], 2=1
-
[00%]其中g(x)=-k/ (X)，而k(x)为化anechn化OV核函数的轮廓函数，其表达式为：
[0029]
[0030] 所WMean化Iue的计算公式可W简化为：
[0031]
.
[0032] 上式的意义为:使用加权因子Wi对候选目标区域内的每个像素点加权，然后求和 再求平均值即得到新的候选目标区域中屯、位置。由上式可W看出，若某个点的加权系数较 大，则新的候选目标区域中屯、位置越可能移向该点，而候选目标区域就是假想的目标，所W Wi可W理解为Xi点属于目标的可能性，那么，所有像素点的加权系数之和（即零阶矩）
I可W理解为候选目标区域中目标的大小。如图1所示，其中a表示目标，包含= 种颜色成分，b、c、d、e表示选定的候选目标区域大小相同，目标依次从小变大。根据a建立目 标模型(运里为了计算简便，建立模型时未使用核函数，但运并不影响定性分析）。图2中列 出了Moo的值和目标实际大小的变化情况。由图2可W看出，当目标单调变大时Moo也单调变 大，所W可W考虑使用Moo估算目标大小。另一方面，由图2可W看出，Moo和目标的实际大小 有误差，并且候选目标区域中背景的成分越多则误差越大，所W直接使用Moo估计目标大小 并不合理，必须知道将Moo当做目标大小的误差，并进行补偿才能正确估计目标大小。注意到 文献[1]中的相似性函数P，当候选目标区域中目标的成分越多时，目标模型和候选目标模 型越相似，P的值越大，而此时将Moo当做目标大小的误差就越小，所W可W定义一个Wp为参 数且单调递减的补偿函数C(P)对Moo进行补偿。本发明中使用的补偿函数为
所 W估计得到的目标大小为其中O为实验性参数，可W设定为区间（1，2)内的某个 值。在得到估计的目标大小后，我们就可W根据该估计值来调整候选目标区域的大小，W实 现算法的尺度自适应性。
[0033] 文献[1] :Comaniciu,D. ,Ramesh,V. ,Meer,P. : "Kernel-based object tracking", IEEE Trans.Pattern Anal.Mach.Intell.,2003,25,(2),pp.564-577。
[0034] 文南犬[2] : Comaniciu ,D . ,Meer,P. : "Mean shift :a robust approach toward feature space analysis", IEEE Trans . Pattern Anal.Mach. IntelI.,2002,24,(5), PP.603-619。
【发明内容】
[0035] 本发明的目的是针对Mean shift运动目标跟踪算法不能适应目标大小变化的问 题对该算法进行改进，提供一种尺度自适应的运动目标跟踪方法，该方法在建立候选目标 模型时，使用加权系数和W及相似性函数来估计目标的大小，并使用该估计值实时调整候 选目标区域的大小，从而实现算法对运动目标尺度变化的自适应能力，提高算法的精确性。
[0036] 为达到上述目的，本发明采用如下的技术方案：
[0037] -种尺度自适应的运动目标跟踪方法，具体步骤如下：
[0038] 1)读入第一帖，初始化目标窗口并建立目标模型；
[0039] 2)读入下一帖；
[0040] 3)设定候选目标区域，建立候选目标模型；
[0041 ] 4)计算相似性函数、加权系数、加权系数和；
[0042] 5)寻找下一个候选目标区域位置并估算目标大小；
[0043] 6)判断收敛性，若收敛，进入步骤2)，若不收敛进入步骤3)。
[0044] 所述步骤1)中，读入视频图像的第一帖，并手动选定一个圆形窗口，使之恰好包含 整个目标。定义窗口的中屯、为原点，将窗口中屯、位置保存至变量yp，窗口半径保存至变量Rp。 对目标窗口内的每个像素点进行RGB转HSV变换，并使用H值建立目标模型Q= {qu}u=i,2,.. .m， 其中U表示色调，色调的变化区间为（I，m)，qu为色调U对应的值，其计算方法如下：
[0045]
[0046] 上式中C为归一化常量，n为像素点的个数，k为化anechn化OV核函数的轮廓函数，S 为狄拉克函数，Xi为单个像素点，b表示单个像素点的H值。
[0047] 所述步骤3)中，Wyp为中屯、、Rp为半径设定一个候选目标窗口，建立候选目标模型P (yp) =山(7。）}11=1,2,...,111，911(7。)为色调11对应的值，其计算方法如下：
[004引
[0049]上式中h为化anechn化OV函数的带宽参数，由所选定的窗口半径大小决定：
[(K)加]
[0051] 别莫型计算相似性函数值，其公式如下：
[0化2]
[0化3]
[0化4]
[0化5]
[0化6]
[0化7] 区域计算Mean化Iue yp+i:
[0化引
[0059] 大小，目标大小的估计值为：
[0060]
[0061 ]上式中a设置为区间（1，2)内的某个值，由于将目标视为圆形，则目标半径估计值 为：
[0062]
[0063] 保存Rp值。
[0064] 所述步骤6)中，判断Mean shift向量是否收敛。判断收敛的标准为I yp-yp+i I <￡，￡ 的值设置为目标初始大小的1/100。如果收敛，进入步骤2)，否则进入步骤3)。
[0065] 本发明与已有技术相比较，具有如下显而易见的突出实质性特点和显著技术进 步：
[0066] 本发明对Mean shift运动目标跟踪算法进行改进，使用参数实时估计目标的大小 变化，并根据估计的目标大小变化调整候选目标区域大小，使得候选目标区域和目标更吻 合，避免了引入过多背景颜色成分和丢失过多目标颜色成分，从而建立了更可靠的候选目 标模型，提高了算法的准确性。
【附图说明】
[0067] 图1是候选目标区域不变但目标尺度变大的示意图。
[0068] 图2是图1中目标实际大小的变化情况与加权系数和的变化情况的对比。
[0069] 图3是本发明尺度自适应的运动目标跟踪方法的流程框图。
【具体实施方式】
[0070] W下结合附图对本发明的优选实施例作进一步的详细说明：
[0071 ]本实施例一种尺度自适应的运动目标跟踪方法，参见图3，包括W下步骤：
[0072] 1)读入第一帖，初始化目标窗口并建立目标模型；
[0073] 2)读入下一帖；
[0074] 3)设定候选目标区域，建立候选目标模型；
[0075] 4)计算相似性函数、加权系数、加权系数和；
[0076] 5)寻找下一个候选目标区域位置并估算目标大小；
[0077] 6)判断收敛性，若收敛，进入步骤2)，若不收敛进入步骤3)。
[0078] 所述步骤1)中，读入视频图像的第一帖，并手动选定一个圆形窗口，使之恰好包含 整个目标。定义窗口的中屯、为原点，将窗口中屯、位置保存至变量yp，窗口半径保存至变量Rp。 对目标窗口内的每个像素点进行RGB转HSV变换，并使用H值建立目标模型q={qu}u=i,2,...m， 其中U表示色调，色调的变化区间为（I，m)，qu为色调U对应的值，其计算方法如下：
[0079]
[0080] ^V , ,。,,,^，1一^^、素点的个数，4为化曰]16油]1化0￥核函数的轮廓函数，8 为狄拉克函数，Xi为单个像素点，b表示单个像素点的H值。
[0081] 所述步骤3)中，Wyp为中屯、、Rp为半径设定一个候选目标窗口，建立候选目标模型P (yp) =山(7。）}。=1,2,...,111，911(7。)为色调11对应的值，其计算方法如下：
[0082]
[0083] 上式中h为化ane chn化O V函数的带宽参数，由所选定的窗口半径大小决定：
[0084]
[0085] 别莫型计算相似性函数值，其公式如下：
[0086]
[0087]
[008引
[0089]
[0090]
[0091 ] 区域计算Mean 化Iue yp+i:
[0092]
[0093] 大小，目标大小的估计值为：
[0094]
[00%]上式中a设置为区间（I，2)内的某个值，由于将目标视为圆形，则目标半径估计值 为：
[0096]
[0097] 保巧Kp但。
[0〇9引所述步骤6)中，判断Mean shift向量是否收敛。判断收敛的标准为I yp-yp+11 <￡，e 的值设置为目标初始大小的1/100。如果收敛，进入步骤2)，否则进入步骤3)。
【主权项】
1. 一种尺度自适应的运动目标跟踪方法，其特征在于，具体步骤如下： 1) 读入第一帧，初始化目标窗口并建立目标模型； 2) 读入下一帧； 3) 设定候选目标区域，建立候选目标模型； 4) 计算相似性函数、加权系数、加权系数和； 5) 寻找下一个候选目标区域位置并估算目标大小； 6) 判断收敛性，若收敛，进入步骤2)，若不收敛进入步骤3)。2. 根据权利要求1所述的尺度自适应的运动目标跟踪方法，其特征在于，所述步骤1) 中，读入视频图像的第一帧，并手动选定一个圆形窗口，使之恰好包含整个目标;定义窗口 的中心为原点，将窗口中心位置保存至变量y P，窗口半径保存至变量Rp;对目标窗口内的每 个像素点进行RGB转HSV变换，并使用H值建立目标模型其中u表示色调，色 调的变化区间为(l，m)，q u为色调u对应的值，其计算方法如下：上式中C为归一化常量，η为像素点的个数，k为Epanechnikov核函数的轮廓函数，δ为狄 拉克函数，^为单个像素点，b表示单个像素点的H值。3. 根据权利要求1所述的尺度自适应的运动目标跟踪方法，其特征在于，所述步骤3) 中，以yPS中心、R pS半径设定一个候选目标窗口，建立候选目标模型P(yP) = {pu (yP)}u=i,2,...,m，pu(yP)为色调u对应的值，其计算方法如下：上式中h为Epanechnikov函数的带宽参数，由所选定的窗口半径大小决定：4. 根据权利要求1所述的尺度自适应的运动目标跟踪方法，其特征在于，所述步骤4) 中，使用目标模型和候选目标模型计算相似性函数值，其公式如下：并计算每个像素点的加权系数：然后龙加奴系教求和：5. 根据权利要求1所述的尺度自适应的运动目标跟踪方法，其特征在于，所述步骤5) 中，在以yP为中心的候选目标区域计算Mean Value yP+i:并将yP+i的值保存至变量yP;估计目标的大小，目标大小的估计值为：上式中α设置为区间（1，2)内的某个值，由于将目标视为圆形，则目标半径估计值为：保存Rp值。6.根据权利要求1所述的尺度自适应的运动目标跟踪方法，其特征在于，所述步骤6) 中，判断Mean shift向量是否收敛，判断收敛的标准为I yP_yP+i I <ε，ε的值设置为目标初始 大小的1/100,如果收敛，进入步骤2)，否则进入步骤3)。
【文档编号】G06T7/20GK106023243SQ201610218677
【公开日】2016年10月12日
【申请日】2016年4月11日
【发明人】吴集, 滕国伟
【申请人】上海大学