专利名称：视频目标轮廓跟踪方法及装置的制作方法
技术领域：
本发明实施例涉及计算机视觉技术和图像处理技术领域，特别涉及一种视频目标轮廓跟踪方法和装置。
背景技术：
目前，人类的视觉系统是获取外界信息的主要途径，而运动目标的检测和跟踪则是视觉领域的一个重要课题，实时的目标跟踪更是计算机视觉中的关键技术。目前视频安全监控系统在银行、交通等各部门得到了越来越多的应用，实时地进行视频目标物体的跟踪更是能够起到预警的作用，所以对目标物体进行实时跟踪得到了人们越来越多的关注。
视频目标跟踪方法有多种，根据是否在帧间进行模式匹配，可以分为基于检测的方法和基于识别的方法。基于检测的方法是根据目标的特征直接在每一帧图像中提取目标，不需要在帧间传递目标的运动参数并进行匹配，比如差分检测的方法；基于识别的方法通常首先提取目标的某种特征，然后在每一帧图像中搜寻出与此特征最为匹配的区域即为所跟踪的目标。根据跟踪所得的结果可分为跟踪轮廓的方法和跟踪目标局部点的方法。常见的跟踪目标轮廓的方法主要是粒子滤波跟踪方法；跟踪目标局部点的方法主要有均值漂移跟踪方法等。
跟踪轮廓的方法中，粒子滤波跟踪方法最为常用。粒子滤波又称为序列蒙特卡罗(SMC，Sequential Monte Carlo)方法，是以蒙特卡罗方法实现贝叶斯递推滤波的一种方法。根据贝叶斯滤波理论，给定当前时刻观察序列z1k，状态xk的后验概率可利用(k-1)时刻的后验概率p(xk-1|zk-1)以递归的方式估计得到，即 其中p(zk|xk)为似然概率。
粒子滤波不需要获得概率函数的具体形式，而是利用Ns个带有权重的随机样本(粒子)
(i＝1，...，Ns)表示后验概率函数p(xk-1|zk-1)，这样，式(1)中的积分就能用样本集的加权求和来估计，即 当样本数量足够多时，这种概率估算等同于后验概率密度函数。
下面，以条件概率密度传播跟踪方法为例介绍利用粒子滤波进行视频目标跟踪的方法。
条件概率密度传播跟踪方法是基于条件概率密度传播(Condensation，Conditional Density Propagation)算法的。Condensation算法是粒子滤波方法中的一种。利用Condensation算法进行轮廓跟踪时可以采用一种基于活动轮廓模型和形状空间的轮廓表征方法，例如，可以用B样条(B-Snake)的控制点来表征轮廓曲线，用形状空间来表征轮廓曲线可能的变化。目标轮廓的运动状态为T＝(TX，TY，θ，SX，SY)，TX和TY分别是x方向和y方向目标轮廓质心的位置，θ为目标轮廓旋转的角度，SX和SY分别为目标在x方向和y方向的尺度。目标的形状空间参数S表示为 S＝(TX，TY，SXcosθ-1，SYcosθ-1，-SYsinθ，SXsinθ)(3) 这样，就可以表示出目标的轮廓曲线及其变化了。
图1为现有技术中采用Condensation算法实现视频目标轮廓跟踪的流程图。如图1所示，采用Condensation算法根据目标轮廓的过程主要包含以下的步骤。
步骤101，判断输入的图像数据及跟踪目标信息是否是新对象，即是否需要建立新的跟踪目标，如果是，则执行步骤102，否则执行步骤104。
输入的图像数据可以是经过背景分割的图像数据，可以在初始帧图像中选定某个运动物体作为跟踪目标。
步骤102，利用现有的轮廓提取技术得到目标的轮廓向量，计算轮廓的质心位置，根据B样条技术求得B样条控制点QX0和QY0，根据目标的轮廓向量得到目标的运动状态初始值 T0＝(TX0，TY0，θ0，SX0，SY0) (4) 其中，TX0和TY0分别是x方向和y方向目标轮廓质心的位置，θ0为目标轮廓旋转角度的初始值0，SX0和SY0分别为目标轮廓在x方向和y方向的尺度。
步骤103，初始化Ns个粒子，各个粒子的初始权重
均为1/Ns，运动状态和形状空间参数分别为
其中，B1，B2，B3，B4，B5为常数，ξ为[-1，+1]的随机数； 步骤104，输入第k帧图像数据时，对各粒子状态进行状态转移，系统状态转移方程为 其中，B1，B2，B3，B4，B5为常数，ξ为[-1，+1]的随机数。
步骤105，利用步骤104得到的各个粒子的运动状态计算各个粒子的形状空间参数 步骤106，计算各个粒子的B样条控制点向量。
对于粒子Ni，可以由其运动参数Ti和形状空间参数Si求得其B样条的控制点向量 其中，每个元素都是Nc×1的矩阵，Nc为控制点的数目，初始控制点
和
由各个粒子的形状空间参数得到。
步骤107，得到各个粒子的控制点向量后，就可以用B样条的方法拟合出各个粒子对应的轮廓曲线，拟合公式如下 其中Pk(k＝0，1，...，Nc-1)为第k个控制点的坐标，Bk，m(k＝0，1，...，Nc-1)为m次规范B样条基函数。
步骤108，在轮廓曲线上随机抽取N个样点，计算当前帧的图像数据中各样点法线方向上灰度的梯度值最大的象素点，该点就是真实轮廓点的一个观测值，是根据当前帧图像数据计算获得的最接近目标真实轮廓的象素点。
对粒子Ni，可由其运动参数Ti和形状空间参数Si求得轮廓曲线，在轮廓曲线上取样N个点，在各样点法线两边按法线方向每隔一定距离抽取一个象素点来计算其在当前帧图像数据中的灰度的梯度值。选择的象素点的数目可以根据需要在样点周围一定范围内选取，因为真实轮廓点不会偏离样点太远。象素点取的越多，得到的真实轮廓点的观测值就越接近真实轮廓点，但是对设备的计算能力的要求就更高。
再求得各样点与该点处的真实轮廓点的观测值之间的距离DISi(n)(n＝1，2，...，N)。由于目标真实轮廓点处的灰度的梯度值较大，因此求得的粒子轮廓点与该点处的真实轮廓点的观测值之间的距离可以作为衡量各个粒子权重的标准，距离大表示该粒子的轮廓与真实轮廓差距较大，距离小则表示该粒子的轮廓与真实轮廓较接近。
步骤109，通过所求得的当前帧的图像数据中各样点与该点处的真实轮廓点的观测值之间的距离DISi(n)(n＝1，2，...，N)可以得到各个粒子的观测概率密度函数
其中， 步骤110，对前一帧中各粒子的权重值进行权值更新，得到当前帧中各粒子的权重值 其中，
为第k帧第i个粒子的观测概率密度函数，
为第k帧第i个粒子的权重值。
步骤111，由各个粒子的运动状态参数和权值进行加权求和得到期望的运动状态参数 其中，
为第k帧第i个粒子的权重值，Tk＝(TXk，TYk，θk，SXk，SYk)为第k帧目标轮廓的运动状态参数，为第k帧第i个粒子的运动状态参数，Ns为粒子总数。
步骤112，由运动状态参数就可以得到第k帧目标轮廓的形状空间参数 Sk＝(TXk，TYk，SXkcosθk-1，SYkcosθk-1，-SYksinθk，SXksinθk) (26) 步骤113，由Sk算得轮廓的控制点向量QXk和QYk (QXkQYk)T＝WSk+(QX0QY0)T (27) 其中，每个元素都是Nc×1的矩阵，Nc为控制点的数目，Sk为第k帧目标轮廓的形状空间参数，(QXkQYk)T为第k帧目标轮廓的B样条的控制点向量。
步骤114，拟合目标的轮廓曲线yk(x) 其中Pk(k＝0，1，...，Nc-1)为第k个控制点的坐标，Bk，m(k＝0，1，...，Nc-1)为m次规范B样条基函数。
这样就完成了一次对目标物体轮廓的跟踪过程。
常见的跟踪目标轮廓的粒子滤波方法还有序列重要重采样(SIR，Sequential Importance Resampling)，辅助采样重要重采样滤波器(ASIR，Auxiliary Sampling Importance Resampling)，正则化粒子滤波器(RPF，Regularized Particle Filter)。这些算法在粒子状态转移(粒子传播)时具有相同形式的状态转移方程，因此跟踪目标轮廓的过程是类似的。
上述跟踪目标轮廓的方法能够实现对目标物体轮廓的跟踪，但是由于只从视频数据中提取目标物体的轮廓信息来进行分析和计算，因此当视频目标的运动速度频繁变化时跟踪得到的轮廓会出现“超前”或者“滞后”的抖动现象，跟踪不准确；另外，当视频目标的周围出现类似轮廓信息时，不能够进行准确的跟踪。
发明内容
有鉴于此，本发明实施例提供了两种视频目标轮廓跟踪方法，该方法对视频目标的轮廓跟踪更加准确。
本发明实施例还提供了两种视频目标轮廓跟踪装置，该装置跟踪视频目标的轮廓的结果更加准确。
一方面，本发明的实施例提供了一种视频目标轮廓跟踪方法，包含下列步骤 从初始帧图像数据提取目标轮廓，利用所提取的目标轮廓产生多个随机粒子； 对当前帧图像数据中各个随机粒子进行状态转移，得到各个随机粒子的轮廓； 在各个随机粒子的轮廓上随机抽取多个样点，对各样点计算其真实轮廓点的观测值； 计算各样点与其真实轮廓点的观测值之间的距离； 根据得到的各个随机粒子轮廓上各样点与其真实轮廓点的观测值之间的距离确定各个随机粒子的权重值；和 将所有随机粒子加权累加获得所跟踪的目标在当前帧图像中的轮廓； 在对当前帧图像数据中各个随机粒子进行状态转移之前，进一步包括 跟踪目标的质心获得目标质心的位置； 利用所获得的目标质心的位置对随机粒子状态转移的参数进行调整。
本发明的实施例提供了另一种视频目标轮廓跟踪方法，包含下列步骤 从初始帧图像数据提取目标轮廓，利用所提取的目标轮廓产生多个随机粒子； 对当前帧图像数据中各个随机粒子进行状态转移，得到各个随机粒子的轮廓； 在各个随机粒子的轮廓上随机抽取多个样点，对各样点计算其真实轮廓点的观测值； 计算各样点与其真实轮廓点的观测值之间的距离； 根据得到的各个随机粒子轮廓上各样点与其真实轮廓点的观测值之间的距离确定各个随机粒子的权重值；和 将所有随机粒子加权累加获得所跟踪的目标在当前帧图像中的轮廓； 所述根据得到的各个随机粒子轮廓上各样点与其真实轮廓点的观测值之间的距离确定各个随机粒子的权重值进一步包括 跟踪目标的质心获得目标质心的位置； 根据得到的各个随机粒子的轮廓获得各个粒子轮廓的质心； 利用得到的目标质心的位置计算所述目标质心与各个粒子轮廓的质心的距离； 根据获得的目标质心与各个粒子的轮廓质心之间的距离调整所述各个粒子的权重值。
另一方面，本发明实施例提供了一种视频目标轮廓跟踪装置，包括 轮廓提取模块，用于从初始帧图像数据提取目标轮廓； 随机粒子产生模块，用于利用所述轮廓提取模块所提取的目标轮廓产生多个随机粒子； 粒子状态转移模块，用于对当前帧图像数据中各个随机粒子进行状态转移，得到各个随机粒子的轮廓； 粒子权重计算模块，用于在各个随机粒子的轮廓上随机抽取多个样点，对各样点计算其真实轮廓点的观测值，计算各样点与其真实轮廓点的观测值之间的距离，并根据得到的各个随机粒子轮廓上各样点与其真实轮廓点的观测值之间的距离确定各个随机粒子的权重值； 轮廓拟合模块，用于将所有随机粒子加权累加获得所跟踪的目标在当前帧图像中的轮廓； 该装置进一步包括 质心计算模块，用于跟踪目标的质心获得目标质心的位置； 所述粒子状态转移模块进一步用于在对当前帧图像数据中各个随机粒子进行状态转移之前，利用所述质心计算模块所获得的目标质心的位置对随机粒子状态转移的参数进行调整。
本发明实施例还提供了另一种视频目标轮廓跟踪装置，包括 轮廓提取模块，用于从初始帧图像数据提取目标轮廓； 随机粒子产生模块，用于利用所述轮廓提取模块所提取的目标轮廓产生多个随机粒子； 粒子状态转移模块，用于对当前帧图像数据中各个随机粒子进行状态转移，得到各个随机粒子的轮廓； 粒子权重计算模块，用于在各个随机粒子的轮廓上随机抽取多个样点，对各样点计算其真实轮廓点的观测值，计算各样点与其真实轮廓点的观测值之间的距离，并根据得到的各个随机粒子轮廓上各样点与其真实轮廓点的观测值之间的距离确定各个随机粒子的权重值； 轮廓拟合模块，用于将所有随机粒子加权累加获得所跟踪的目标在当前帧图像中的轮廓； 该装置进一步包括质心计算模块，用于跟踪目标的质心获得目标质心的位置； 粒子权重计算模块进一步用于根据所述粒子状态转移模块得到的各个随机粒子的轮廓获得各个粒子轮廓的质心，利用质心计算模块得到的目标质心的位置计算所述目标质心与各个粒子轮廓的质心的距离，并根据获得的目标质心与各个粒子的轮廓质心之间的距离调整所述各个粒子的权重值。
由上述的技术方案可见，本发明实施例提供的一种视频目标轮廓跟踪方法，通过跟踪目标的质心得到的目标质心的位置来调整轮廓跟踪过程中各个随机粒子的状态转移参数，使随机粒子的状态转移参数能够随着目标质心位置的变化进行相应的变化，目标的质心位置变化较大时随机粒子的位置变化随之变大，从而使对目标轮廓的跟踪更准确。
本发明的实施例提供的另一种视频目标轮廓跟踪方法，通过跟踪目标的质心得到跟踪目标质心的位置来对各个随机粒子进行评估，按照各粒子的轮廓的质心与跟踪目标质心的远近程度来调整粒子的权重值，使得接近真实轮廓的粒子的权重值增大，偏离真实轮廓的粒子的权重值减小，各个粒子加权累加得到的目标轮廓更加接近真实的目标轮廓，使得对目标轮廓的跟踪更准确。
本发明实施例提供的一种视频目标轮廓跟踪装置，用于跟踪目标的质心得到的目标质心的位置，并利用该质心位置调整轮廓跟踪所得的各个随机粒子的状态转移参数，使随机粒子的状态转移参数随着目标质心位置的变化进行相应的变化，目标的质心位置变化较大时随机粒子的位置变化随之变大，得到的目标轮廓的跟踪结果更准确。
本发明的实施例提供的另一种视频目标轮廓跟踪方法装置，用于跟踪目标的质心得到跟踪目标质心的位置，并利用该质心位置来对各个随机粒子进行评估，按照各粒子的轮廓的质心与跟踪目标质心的远近程度来调整粒子的权重值，使得接近真实轮廓的粒子的权重值增大，偏离真实轮廓的粒子的权重值减小，各个粒子加权累加得到的目标轮廓更加接近真实的目标轮廓，得到的目标轮廓的跟踪结果更准确。
图1为现有技术中采用Condensation算法实现视频目标轮廓跟踪的流程图。
图2为本发明实施例一中视频目标轮廓跟踪方法的流程图。
图3为本发明实施例一中视频目标轮廓跟踪装置的结构图。
图4为本发明实施例二中视频目标轮廓跟踪方法的流程图。
图5为本发明实施例二中视频目标轮廓跟踪装置的结构图。
图6为本发明实施例三中视频目标轮廓跟踪方法的流程图。
图7为采用现有技术的Condensation算法进行视频目标轮廓跟踪的效果图。
图8为采用本发明实施例三的视频目标轮廓跟踪方法后跟踪效果图。
具体实施例方式 为使本发明的实施例的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明实施例进一步详细说明。
根据本发明的实施例，在对目标轮廓进行跟踪的同时，对目标的质心进行跟踪，并且利用质心跟踪得到的目标质心的位置及其变化信息对轮廓跟踪过程中目标轮廓质心的位置转移参数进行调整，使得到的目标轮廓减少因为目标物体移动速度的变化而产生“抖动”，从而使得对目标轮廓的跟踪更加准确；或者，利用质心跟踪得到的目标质心的位置及其变化信息对轮廓跟踪过程中的各个随机粒子(随机样本)的权重进行调整，从而使得对随机样本加权累加得到的目标轮廓更加准确。
常见的跟踪目标轮廓的SIR算法，Condensation算法，ASIR算法，RPF算法。
以下的实施例中以采用Condensation算法来跟踪目标的轮廓，利用均值漂移(Mean Shift)跟踪算法来跟踪目标的质心为例来说明本发明实施例的具体实施过程。
上面的跟踪目标轮廓的算法在粒子状态转移(粒子传播)时具有相同形式的状态转移方程，所以本领域技术人员可以容易地用其他的几个算法替代Condensation算法来实施本发明实施例。
均值漂移跟踪算法能够比较准确地对视频中目标物体进行跟踪，得到较准确的目标质心值，首先简单介绍该算法的原理。
假设表示跟踪目标模型的归一化像素位置，其质心坐标为O；将颜色灰度值进一步量化为m个等级，b(x)为将位置为x的像素的颜色灰度进行量化的函数，则颜色u出现的概率为 其中，k(x)为任意一种核函数，使得距离质心较远的像素的权重较小； C为常数，其表达式为 则跟踪目标模型表示为 假设
为当前帧中候选目标的像素位置，其质心位置为y，在范围h中运用同样的核函数k(x)，则候选目标中颜色u出现的概率可以表示成 其中，Ch为常数，其表达式为 则候选目标模型表示为 由以上定义的跟踪目标模型与候选目标模型，它们之间的距离为 其中，
为候选目标中颜色u出现的概率，
为跟踪目标中颜色u出现的概率。
最佳候选目标即为与跟踪目标模型距离最近的候选目标，也就是使d(y)最小的候选区域，因此要求得使d(y)取得最小值的目标质心y。可以使用如下的迭代公式来求得d(y)的最小值 其中，y0为当前位置，y1为下一时刻的新位置
为当前帧中候选目标的像素位置，h为目标所在范围，函数g(x)为核函数k(x)的导数，wi的表达式为 接下来便可以在每一帧图片中应用此迭代公式，来求得使d(y)取得最小值的候选目标及其质心的位置，此候选目标即为跟踪目标的最佳候选目标，这样也就实现了对视频中目标物体质心的跟踪。
实施例一 本实施例通过利用均值漂移算法得到的目标质心的位置来调整粒子状态转移的参数，使得粒子状态转移的参数能够随着目标质心的位置改变进行相应的调整，从而使目标轮廓的跟踪更加准确。
图2为本实施例进行视频目标轮廓跟踪的流程图，主要包含下面的步骤。
步骤201，由输入的图像数据判断是否是新的跟踪对象，即是否需要建立新的跟踪目标，如果是，则执行步骤202；如果不是，则执行步骤215。
输入的图像数据可以是经过背景分割技术得到的图像数据和选定的跟踪目标的索引，或者是数据图像以及在其中由用户手工输入的跟踪目标所在区域。
步骤202，根据输入的跟踪目标的索引或区域利用现有的轮廓提取技术得到目标的轮廓向量和B样条控制点QX0和QY0，根据得到的轮廓向量计算轮廓的质心TX0和TY0，计算目标的初始状态向量T0，其计算公式为公式(4)，本步骤与背景技术中的步骤102相同。
步骤203，由初始的运动状态向量T0进行随机粒子初始化，初始化Ns个粒子，各个粒子的初始权重
均为1/Ns，运动状态分别为其计算公式为公式(5)至(9) B3，B4，B5均为常数，B4，B5取
，B1，B2初始值取[3，15]，ξ为[-1，+1]的随机数。
本步骤与背景技术中的步骤103相同。
步骤215，利用均值漂移算法计算目标质心在前M帧图片中的位置坐标{(CXt，CYt)}t＝1，2，...，M。
步骤216，根据步骤215得到的目标质心的坐标可以得到由第t帧到第t+1帧时目标质心在x方向和y方向的运动速度 步骤217，调整参数B1，B2。
状态转移方程和即公式(11)和(12)为由当前帧的目标运动状态(目标轮廓的质心位置)向下一帧的目标运动状态(目标轮廓的质心位置)的转移或称为预测，所以状态转移方程中的轮廓质心位置转移参数应该随着目标轮廓质心的运动速度的改变而改变。如果目标轮廓的质心在x和y方向的运动速度增快，则参数B1，B2就要相应增大，反之，就要减小，这样才能使跟踪过程稳定，不会出现跟踪“超前”和“滞后”的抖动现象。
由均值漂移跟踪算法可以较准确地跟踪得到目标的质心，因此这里引入该算法的跟踪结果来对上述的参数B1，B2进行调整，以使对目标轮廓的跟踪更加稳定。
根据目标物体运动速度集合(t＝0时表示为初始帧)进行预测即可得到第k帧的参数
和
预测公式为 其中，f(·)为预测函数，即
和
取决于初始的
以及前面帧中目标轮廓质心的运动速度集合，
和
为目标由第t帧到第t+1帧时在x方向和y方向的运动速度，
和
为初始时设定的转移方程参数。
步骤204，根据步骤217得到的经过调整的参数
和
对各个粒子进行状态转移得到各粒子的运动状态向量参数 其中
和
由步骤217得到；
为[-1，+1]的随机数。
步骤205，根据步骤204得到的各个粒子的运动状态向量参数按照公式(16)计算各个粒子对应的形状空间参数
步骤206根据得到的各个粒子的形状空间参数按照公式(17)计算各自的B样条控制点向量。
步骤207，用公式(18)拟合出各个粒子对应的轮廓曲线，其中Bk，m为m次规范B样条基函数，m可以取为3。
步骤208，计算各样点与该点处的真实轮廓点的观测值之间的距离，本步骤与背景技术的步骤108相同。
步骤209，通过所求得的当前帧的图像数据中各样点与该点处的真实轮廓点的观测值之间的距离DISi(n)(n＝1，2，...，N)按照公式(19)可以得到各个粒子的观测概率密度函数
步骤210，对前一帧中各粒子的权重值进行权值更新，按照公式(20)得到当前帧中各粒子的权重值。
步骤211，按照公式(21)到(25)由各个粒子的运动状态参数和权值进行加权求和得到期望的运动状态参数。
步骤212，由运动状态值按照公式(26)就可以得到形状空间参数Sk。
步骤213，由Sk根据公式(27)算得轮廓的控制点向量QXk和QYk。
步骤214，根据公式(28)拟合目标的轮廓曲线yk(x)。
这样就完成了一次对目标轮廓的跟踪。
图3为本实施例视频目标轮廓跟踪装置的结构图。如图3所示，本装置包括存储模块301、轮廓提取模块302、随机粒子产生模块303、粒子状态转移模块304、质心计算模块305、控制模块306、粒子权重计算模块307和轮廓拟合模块308。该装置所利用的方法已经给出了详细的描述，因此，下面对于该装置的功能只作简单的介绍。
存储模块301用于存储输入的图像数据；。
控制模块306控制各模块完成相应的操作。
收到来自控制模块306的建立新跟踪目标的命令，轮廓提取模块302用于利用现有的轮廓提取技术根据提取存储模块301中的初始帧图像帧数据中目标的轮廓，计算目标的轮廓向量和B样条控制点QX0和QY0，根据得到的轮廓向量计算轮廓的质心TX0和TY0，计算目标的初始状态向量T0；。
随机粒子产生模块303用于由利用轮廓提取模块302计算得到的初始的运动状态向量T0初始化Ns个粒子，各个粒子的初始权重
均为1/Ns，运动状态分别为 这里，将初始图像帧之后的每一帧图像帧数据依次作为当前图像帧数据进行下面的处理。
质心计算模块305用于利用均值漂移算法跟踪目标的质心计算存储模块301中保存的当前图像帧数据中目标质心的位置，和/或计算目标质心在x方向和y方向的运动速度。
粒子状态转移模块304用于根据质心计算模块305计算得到的目标质心的位置和/或目标质心在x方向和y方向的运动速度对粒子状态转移方程中的参数B1，B2进行调整，并利用调整后的参数
和
对各个粒子进行状态转移，得到各个粒子的轮廓；。
控制模块306用于控制各模块完成相应的操作； 粒子权重计算模块307用于在各个随机粒子的轮廓上随机抽取多个样点，在当前图像帧数据中对各样点计算其真实轮廓点的观测值，计算各样点与其真实轮廓点的观测值之间的距离，根据得到的各个随机粒子轮廓上各样点与其真实轮廓点的观测值之间的距离确定各个随机粒子的权重值。； 轮廓拟合模块308用于将所有粒子根据其权重值拟合得到当前图像帧数据中跟踪目标的轮廓曲线并输出。
只要继续向该装置输入新的图像帧数据或该装置的存储模块中还有未处理的图像帧数据，该装置就针对这些图像帧数据计算跟踪目标的轮廓曲线。
本实施例通过利用均值漂移算法得到的目标质心的运动速度来调整状态转移方程中轮廓质心的位置转移参数，使得轮廓质心位置能够随着目标的运动速度变化而相应地变化，在一定程度上减少了跟踪的目标轮廓相对真实目标轮廓“超前”或者“滞后”的抖动现象的发生，增加了轮廓跟踪的稳定性，使得轮廓跟踪结果更准确。
实施例二 本实施例通过利用均值漂移算法得到的跟踪目标质心的位置和运动速度来对候选粒子进行评估，按照各粒子的轮廓的质心与跟踪目标质心的远近程度来影响粒子的权重值，使得各个粒子加权累加得到的目标轮廓更加接近真实的目标轮廓，从而达到使目标轮廓的跟踪更加准确的目的。
图4为本实施例进行视频目标轮廓跟踪的流程图，主要包含下面的步骤。
步骤401，判断输入的图像数据及跟踪目标信息是否是新对象，即是否需要建立新的跟踪目标，如果是，则执行步骤402，否则执行步骤415。
输入的图像数据可以是经过背景分割的图像数据，可以在初始帧图像中选定某个运动物体作为跟踪目标。
步骤402，根据输入的跟踪目标的索引或区域利用现有的轮廓提取技术得到目标的轮廓向量和B样条控制点QX0和QY0，根据得到的轮廓向量计算轮廓的质心TX0和TY0，计算目标的初始状态向量T0，其计算公式为公式(4)，本步骤与背景技术中的步骤102相同。
步骤403，由初始的运动状态向量T0进行随机粒子初始化，初始化Ns个粒子，各个粒子的初始权重
均为1/Ns，运动状态分别为
其计算公式为公式(5)至(9) B1，B2，B3，B4，B5均为常数，B1，B2取[3，15]，B4，B5取
，ξ为[-1，+1]的随机数。
本步骤与背景技术中的步骤103相同。
步骤415，利用均值漂移算法计算目标质心在前M帧图片中的位置坐标{(CXt，CYt)}t＝1，2，...，M。
步骤404，输入第k帧图像数据时，对各粒子状态进行状态转移，系统状态转移方程为公式(11)到(15)，本步骤与背景技术中步骤104相同。
步骤405，利用步骤404得到的各个粒子的运动状态按照公式(16)计算各个粒子的形状空间参数
步骤406，按照公式(17)计算各个粒子的B样条控制点向量。
步骤407，得到各个粒子的控制点向量后，就可以用B样条的方法拟合出各个粒子对应的轮廓曲线，拟合公式为公式(18) 步骤408，对候选粒子进行评估。
本实施例的方法通过当前帧的两种衡量因素对各个粒子进行评估a.粒子轮廓点与真实轮廓点的观测值之间的距离；b.粒子质心位置与跟踪目标质心位置之间的距离。其中，衡量因素a是现有的技术。
按照背景技术中的步骤108求得轮廓各样点与该点处的真实轮廓点的观测值之间的距离DISi(n)，此距离作为第一个衡量因素。
现有技术中只利用了上述衡量因素a进行粒子的评估，为了使轮廓跟踪更加准确，本实施例在这里引入了利用均值漂移跟踪算法得到的较准确的质心位置来对各个候选粒子进行评估。
由均值漂移跟踪算法可以比较准确的跟踪到每一帧中目标轮廓质心位置(CXt，CYt)，可用此质心(跟踪目标质心)，即步骤415得到的质心与由各个粒子轮廓的质心之间的距离DISi(Ck)作为另一个衡量因素，其值越大说明该粒子质心位置与目标真实质心位置偏差越大；反之，说明它们之间的偏差就越小。
步骤409，由步骤408中得到的两个距离衡量因素可得各个粒子的观测概率密度函数 其中，Φ2＝DISi(Ck)，DISi(n)轮廓各样点与该点处的真实轮廓点的观测值之间的距离，DISi(Ck)为跟踪目标的质心与由为第i个粒子轮廓的质心之间的距离。
步骤410，根据步骤409中得到的各个粒子的观测概率密度函数
按照公式(20)进行各个粒子的权值更新。
步骤411，按照公式(21)到(25)由各个粒子的运动状态参数以及它们的权重值进行加权平均，得到第k帧跟踪目标轮廓的运动状态参数Tk＝(TXk，TYk，θk，SXk，SYk)。
步骤412，由运动状态参数Tk得到形状空间参数Sk。
步骤413，按照公式(27)由Sk算得轮廓的控制点向量QXk和QYk。
步骤414，按照公式(28)拟合出物体的轮廓曲线yk(x)。这样就完成了对跟踪目标的一次轮廓跟踪。
图5为本实施例视频目标轮廓跟踪装置的结构图。如图5所示，本装置包括存储模块501、轮廓提取模块502、随机粒子产生模块503、粒子状态转移模块504、质心计算模块505、控制模块506、粒子权重计算模块507和轮廓拟合模块508。该装置所利用的方法已经给出了详细的描述，因此，下面对于该装置的功能只作简单的介绍。
存储模块301存储输入的图像数据。
控制模块306控制各模块完成相应的操作。
收到来自控制模块306的建立新跟踪目标的命令，轮廓提取模块502用于利用现有的轮廓提取技术根据存储模块501中的初始帧图像帧数据，计算目标的轮廓向量和B样条控制点QX0和QY0，根据得到的轮廓向量计算轮廓的质心TX0和TY0，计算目标的初始状态向量T0。
随机粒子产生模块503用于由利用轮廓提取模块502计算得到的初始的运动状态向量T0初始化Ns个粒子，各个粒子的初始权重
均为1/Ns，运动状态分别为 这里，将初始图像帧之后的每一帧图像帧数据依次作为当前图像帧数据进行下面的处理。
质心计算模块505用于利用均值漂移算法计算目标质心在前M帧图片中的位置坐标{(CXt，CYt)}t＝1，2，...，M。
粒子状态转移模块504用于根据现有技术对各个粒子进行状态转移。
质心计算模块505利用均值漂移算法计算目标质心在当前图像帧数据中的位置。
粒子权重计算模块507用于通过当前图像帧数据中粒子轮廓点与观测轮廓点之间的距离，和粒子质心位置与质心计算模块505计算得到的跟踪目标质心位置之间的距离两个因素计算各个粒子的观测概率密度函数，根据获得的各个粒子的观测概率密度函数确定各粒子的权重值。
轮廓拟合模块508用于利用各粒子及其权重值拟合得到当前图像帧数据中目标的轮廓曲线并输出。
只要继续向该装置输入新的图像帧数据或者该装置的存储模块中还有未处理的图像帧数据，该装置就针对这些图像帧数据计算跟踪目标的轮廓曲线。
本实施例通过利用均值漂移算法得到的跟踪目标质心来参与评估各个候选粒子，使得各个粒子的权重与其轮廓质心位置与跟踪目标质心间的距离相关，使得由各个粒子加权累加得到的目标轮廓更接近真实目标轮廓，增加了轮廓跟踪的准确性。
实施例三 本实施例通过利用均值漂移算法得到的目标质心的位置及其变化来调整粒子状态转移的参数，使得粒子的状态转移能够随着目标质心的位置变化进行相应的调整；同时，还使用均值漂移算法得到的跟踪目标质心的位置和运动速度来对候选粒子进行评估，按照各粒子的轮廓的质心与跟踪目标质心的远近程度来影响粒子的权重值，使得各个粒子加权累加得到的目标轮廓更加接近真实的目标轮廓，以上两个方面使得目标轮廓的跟踪更加准确。
图6为本实施例进行视频目标轮廓跟踪的流程图，主要包含下面的步骤。
步骤601，由输入的图像数据判断是否是新的跟踪对象，即是否需要建立新的跟踪目标，如果是，则执行步骤602；如果不是，则执行步骤615。
输入的图像数据可以是经过背景分割技术得到的图像数据和选定的跟踪目标的索引，或者是数据图像以及在其中由用户手工输入的跟踪目标所在区域。
步骤602，根据输入的跟踪目标的索引或区域利用现有的轮廓提取技术得到目标的轮廓向量和B样条控制点QX0和QY0，根据得到的轮廓向量计算轮廓的质心TX0和TY0，计算目标的初始状态向量T0，其计算公式为公式(4)，本步骤与背景技术中的步骤102相同。
步骤603，由初始的运动状态向量T0进行随机粒子初始化，初始化Ns个粒子，各个粒子的初始权重
均为1/Ns，运动状态分别为
其计算公式为公式(5)至(9) B3，B4，B5均为常数，B4，B5取
，B1，B2初始值取[3，15]，ξ为[-1，+1]的随机数。本步骤与背景技术中的步骤103相同。
步骤615，利用均值漂移算法计算目标质心在前M帧图片中的位置坐标{(CXt，CYt)}t＝1，2，...，M。
步骤616，根据步骤615得到的目标质心的坐标可以按照公式(38)和(39)得到目标由第t帧到第t+1帧时在x方向和y方向的运动速度
和
步骤617，按照公式(60)调整参数B1，B2，本步骤与实施例一的步骤217相同。
步骤604，根据步骤617得到的经过自适应调整的参数
和
，对各个粒子进行状态转移得到各粒子的运动状态向量参数，本步骤与实施例一的步骤204相同。
步骤605，根据步骤604得到的各个粒子的运动状态向量参数按照公式(16)计算各个粒子对应的形状空间参数
步骤606根据得到的各个粒子的形状空间参数按照公式(17)计算各自的B样条控制点向量。
步骤607，用公式(18)拟合出各个粒子对应的轮廓曲线，其中Bk，m为m次规范B样条基函数，m可以取为3。
步骤608，对候选粒子进行评估，计算轮廓各样点与该点处的真实轮廓点的观测值之间的距离DISi(n)和粒子质心位置与跟踪目标质心位置之间的距离DISi(Ck)。本步骤与实施例二中的步骤408相同。
步骤609，由步骤608中得到的两个距离衡量因素可按照公式(43)得到各个粒子的观测概率密度函数
本步骤与实施例二的步骤409相同。
步骤610，根据步骤609中得到的各个粒子的观测概率密度函数
按照公式(20)进行各个粒子的权值更新。
步骤611，按照公式(21)到(25)由各个粒子的运动状态参数以及它们的权重值进行加权平均，得到跟踪目标的运动状态参数Tk＝(TXk，TYk，θk，SXk，SYk)。
步骤612，由运动状态参数Tk得到形状空间参数Sk。
步骤613，按照公式(27)由Sk算得轮廓的控制点向量QXk和QYk。
步骤614，按照公式(28)拟合出物体的轮廓曲线yk(x)。这样就完成了对跟踪目标的一次轮廓跟踪。
本实施例实际上是通过同时使用实施例一和实施例二中的两种手段来使对目标轮廓的跟踪同时具有实施例一的跟踪稳定性高的优点和实施例二的跟踪准确性高的优点。
本领域技术人员应该容易地将实施例一和实施例二中的两种装置结合起来组成同时具有所述两种装置的功能的新装置，该装置用于实现本实施例中的视频目标轮廓的跟踪方法，对视频目标进行准确地跟踪。
图7为采用现有技术的Condensation算法进行视频目标轮廓跟踪的效果图；图8为采用本发明实施例三的视频目标轮廓跟踪方法的跟踪效果图。我们选取了开始、中间和结束时的几帧代表图片。图片中用白色曲线标示出的汽车轮廓即为计算机利用轮廓跟踪方法“看”到的汽车的轮廓。可以看到，没有引入均值漂移算法时，跟踪过程中出现了跟踪不稳定的现象，这是因为没有引入均值漂移算法时，状态转移参数固定不变；引入了均值漂移算法实现了状态转移参数对汽车运动速度变化的自适应调整和加入了用均值漂移方法跟踪的汽车质心对各个粒子进行评估的方法，使跟踪效果有了很大改善，跟踪更为稳定和准确。
下表为使用实施例三的方法时状态转移参数B1，B2与汽车质心运动速度的变化关系(此处采用的是线性变化关系)。
表1 B1跟随Vx的变化 表2 B2跟随Vy的变化 本实施例中是用粒子滤波跟踪算法中的Condensation算法和质心跟踪算法中的均值漂移算法为例的。
常见的其它粒子滤波方法有SIR算法，ASIR算法，RPF算法等。
上面的这些粒子滤波算法在粒子状态转移(粒子传播)时与Condensation算法具有相同形式的状态转移方程，所以本领域技术人员应当能够将本发明实施例的方法应用在其它粒子滤波算法当中得到更优的轮廓跟踪结果。
另外，任何能够得到目标质心位置的跟踪算法都可以代替均值漂移算法应用在本发明实施例的实施之中。
由上述的实施例可见，本发明实施例的这种视频目标轮廓跟踪方法通过跟踪目标的质心得到的目标质心的位置和运动速度来调整轮廓跟踪过程中粒子状态转移的参数，使粒子的状态转移能够随着目标质心的位置变化进行相应的调整，从而使对目标轮廓的跟踪更准确。
本发明实施例的另一种视频目标轮廓跟踪方法通过跟踪目标的质心得到跟踪目标质心的位置和运动速度来对候选粒子进行评估，按照各粒子的轮廓的质心与得到的目标质心的远近程度来影响粒子的权重值，使得各个粒子加权累加得到的目标轮廓更加接近真实的目标轮廓，使得对目标轮廓的跟踪更加准确。
本发明实施例的一种视频目标轮廓跟踪装置，用于跟踪目标的质心得到的目标质心的位置，并利用该质心位置调整轮廓跟踪所得的各个随机粒子的状态转移参数，使随机粒子的状态转移参数随着目标质心位置的变化进行相应的变化，目标的质心位置变化较大时随机粒子的位置变化随之变大，得到的目标轮廓的跟踪结果更准确。
本发明实施例的另一种视频目标轮廓跟踪方法，用于跟踪目标的质心得到跟踪目标质心的位置，并利用该质心位置来对各个随机粒子进行评估，按照各粒子的轮廓的质心与跟踪目标质心的远近程度来调整粒子的权重值，使得接近真实轮廓的粒子的权重值增大，偏离真实轮廓的粒子的权重值减小，各个粒子加权累加得到的目标轮廓更加接近真实的目标轮廓，得到的目标轮廓的跟踪结果更准确。
综上所述，以上仅为本发明的部分实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1、一种视频目标轮廓跟踪方法，包括
从初始帧图像数据提取目标轮廓，利用所提取的目标轮廓产生多个随机粒子；
对当前帧图像数据中各个随机粒子进行状态转移，得到各个随机粒子的轮廓；
在各个随机粒子的轮廓上随机抽取多个样点，对各样点计算其真实轮廓点的观测值；
计算各样点与其真实轮廓点的观测值之间的距离；
根据得到的各个随机粒子轮廓上各样点与其真实轮廓点的观测值之间的距离确定各个随机粒子的权重值；和
将所有随机粒子加权累加获得所跟踪的目标在当前帧图像中的轮廓；
其特征在于，在对当前帧图像数据中各个随机粒子进行状态转移之前，进一步包括
跟踪目标的质心获得目标质心的位置；
利用所获得的目标质心的位置对随机粒子状态转移的参数进行调整。
2、根据权利要求1所述的方法，其特征在于，所述随机粒子状态转移的参数为对随机粒子轮廓的质心进行位置转移的参数；
所述利用所获得的目标质心的位置对随机粒子状态转移的参数进行调整的方法包括
使对随机粒子轮廓的质心进行位置转移的参数随着所述目标质心在相邻两帧间的位置差增大而增大，随着所述目标质心在相邻两帧间的位置差减小而减小。
3、根据权利要求1所述的方法，其特征在于，所述跟踪目标的质心获得目标质心的位置包括
利用跟踪质心获得的之前各帧中目标质心的位置计算目标质心在相邻帧间的各方向上的运动速度集合；
所述利用所获得的目标质心的位置对随机粒子状态转移的参数进行调整的方法包括
利用所述速度集合对所述随机粒子状态转移的参数进行预测并调整，获得调整后的随机粒子的状态转移的参数。
4、根据权利要求3所述的方法，其特征在于，所述进行对各个随机粒子进行状态转移包括
利用以下状态转移方程对各个随机粒子进行状态转移
其中，为[-1，+1]的随机数，B3，B4，B5为常数，所述进行调整的状态转移的参数为B1，B2；
所述利用跟踪质心获得的之前各帧中目标质心的位置计算得到目标质心在相邻帧间的各方向上的运动速度集合为
其中，
为从第t帧到第t+1帧时目标质心在x方向的速度，
为从第t帧到第t+1帧时目标质心在y方向的速度，初始帧为第0帧；
所述利用速度集合对所述随机粒子状态转移的参数进行预测并调整，获得调整后的随机粒子的状态转移的参数包括
根据所述目标质心在各帧间的运动速度集合
进行预测，获得第k帧时的随机粒子状态转移的参数
和
其中，f(·)为预测函数，
和
为初始时设定的B1，B2的值。
5、根据权利要求1所述的方法，其特征在于，所述跟踪目标的质心包括采用均值漂移跟踪算法跟踪目标的质心。
6、根据权利要求1所述的方法，其特征在于，所述目标轮廓和随机粒子的轮廓利用B样条来表征。
7、根据权利要求1至6任一权利要求所述的方法，其特征在于，进一步包括
根据各个随机粒子的轮廓获得各个粒子轮廓的质心；
利用获得的目标质心的位置计算该目标质心与各个粒子轮廓的质心之间的距离；
利用所述目标质心与各个粒子轮廓的质心之间的距离调整所述各个随机粒子的权重值。
8、根据权利要求7所述的方法，其特征在于，所述调整各个粒子的权重值包括
按照以下公式计算各个粒子的观测概率密度函数
其中，Φ2＝DISi(Ck)，DISi(n)为所述各个粒子轮廓的各样点与其真实轮廓点的观测值之间的距离，DISi(Ck)为所述计算出的目标质心与所述各个粒子轮廓的质心之间的距离；
对前一帧中各粒子的权重值进行权值更新，获得当前帧中各粒子的权重值
其中，
为第k帧第i个粒子的观测概率密度函数，
为第k帧第i个粒子的权重值。
9、根据权利要求1所述的方法，其特征在于，所述随机粒子的数量为50个以上。
10、一种视频目标轮廓跟踪方法，包括
从初始帧图像数据提取目标轮廓，利用所提取的目标轮廓产生多个随机粒子；
对当前帧图像数据中各个随机粒子进行状态转移，得到各个随机粒子的轮廓；
在各个随机粒子的轮廓上随机抽取多个样点，对各样点计算其真实轮廓点的观测值；
计算各样点与其真实轮廓点的观测值之间的距离；
根据得到的各个随机粒子轮廓上各样点与其真实轮廓点的观测值之间的距离确定各个随机粒子的权重值；和
将所有随机粒子加权累加获得所跟踪的目标在当前帧图像中的轮廓；
其特征在于，所述根据得到的各个随机粒子轮廓上各样点与其真实轮廓点的观测值之间的距离确定各个随机粒子的权重值进一步包括
跟踪目标的质心获得目标质心的位置；
根据得到的各个随机粒子的轮廓获得各个粒子轮廓的质心；
利用得到的目标质心的位置计算所述目标质心与各个粒子轮廓的质心的距离；
根据获得的目标质心与各个粒子的轮廓质心之间的距离调整所述各个粒子的权重值。
11、根据权利要求10所述的方法，其特征在于，所述调整各个粒子的权重值包括
按照以下公式计算各个粒子的观测概率密度函数
其中，Φ2＝DISi(Ck)，DISi(n)为所述各个粒子轮廓的样点与其真实轮廓点的观测值之间的距离，DISi(Ck)为所述获得的目标质心与所述各个粒子轮廓的质心之间的距离；
对前一帧中各粒子的权重值进行权值更新，获得当前帧中各粒子的权重值
其中，
为第k帧第i个粒子的观测概率密度函数，
为第k帧第i个粒子的权重值。
12、根据权利要求10所述的方法，其特征在于，所述跟踪目标的质心包括采用均值漂移跟踪算法跟踪目标的质心。
13、根据权利要求10所述的方法，其特征在于，所述目标轮廓和随机粒子的轮廓利用B样条来表征。
14、根据权利要求10所述的方法，其特征在于，所述随机粒子的数量为50个以上。
15、一种视频目标轮廓跟踪装置，包括
轮廓提取模块，用于从初始帧图像数据提取目标轮廓；
随机粒子产生模块，用于利用所述轮廓提取模块所提取的目标轮廓产生多个随机粒子；
粒子状态转移模块，用于对当前帧图像数据中各个随机粒子进行状态转移，得到各个随机粒子的轮廓；
粒子权重计算模块，用于在各个随机粒子的轮廓上随机抽取多个样点，对各样点计算其真实轮廓点的观测值，计算各样点与其真实轮廓点的观测值之间的距离，并根据得到的各个随机粒子轮廓上各样点与其真实轮廓点的观测值之间的距离确定各个随机粒子的权重值；
轮廓拟合模块，用于将所有随机粒子加权累加获得所跟踪的目标在当前帧图像中的轮廓；
其特征在于，进一步包括
质心计算模块，用于跟踪目标的质心获得目标质心的位置；
所述粒子状态转移模块进一步用于在对当前帧图像数据中各个随机粒子进行状态转移之前，利用所述质心计算模块所获得的目标质心的位置对随机粒子状态转移的参数进行调整。
16、根据权利要求15所述的装置，其特征在于，
粒子权重计算模块进一步用于根据所述粒子状态转移模块得到的各个随机粒子的轮廓获得各个粒子轮廓的质心，利用质心计算模块得到的目标质心的位置计算所述目标质心与各个粒子轮廓的质心的距离，并根据获得的目标质心与各个粒子的轮廓质心之间的距离调整所述各个粒子的权重值。
17、一种视频目标轮廓跟踪装置，包括
轮廓提取模块，用于从初始帧图像数据提取目标轮廓；
随机粒子产生模块，用于利用所述轮廓提取模块所提取的目标轮廓产生多个随机粒子；
粒子状态转移模块，用于对当前帧图像数据中各个随机粒子进行状态转移，得到各个随机粒子的轮廓；
粒子权重计算模块，用于在各个随机粒子的轮廓上随机抽取多个样点，对各样点计算其真实轮廓点的观测值，计算各样点与其真实轮廓点的观测值之间的距离，并根据得到的各个随机粒子轮廓上各样点与其真实轮廓点的观测值之间的距离确定各个随机粒子的权重值；
轮廓拟合模块，用于将所有随机粒子加权累加获得所跟踪的目标在当前帧图像中的轮廓；
其特征在于，进一步包括质心计算模块，用于跟踪目标的质心获得目标质心的位置；
粒子权重计算模块进一步用于根据所述粒子状态转移模块得到的各个随机粒子的轮廓获得各个粒子轮廓的质心，利用质心计算模块得到的目标质心的位置计算所述目标质心与各个粒子轮廓的质心的距离，并根据获得的目标质心与各个粒子的轮廓质心之间的距离调整所述各个粒子的权重值。
全文摘要
本发明实施例公开了一种视频目标轮廓跟踪方法，通过跟踪目标的质心得到的目标质心的位置来调整轮廓跟踪过程中对各个随机粒子进行状态转移的参数，使对随机粒子进行状态转移的参数能够随着目标质心位置的变化进行相应的变化，从而使目标轮廓的跟踪更加准确。本发明实施例公开了另一种视频目标轮廓跟踪方法，通过跟踪目标的质心得到目标质心的位置来对各个随机粒子进行评估，按照各粒子轮廓的质心与跟踪得到的目标质心的远近程度来调整粒子的权重值，使各个粒子加权累加得到的目标轮廓更加接近真实的目标轮廓，从而使目标轮廓的跟踪更加准确。本发明实施例还公开了两种视频目标轮廓跟踪的装置。
文档编号H04N7/18GK101394546SQ200710154120
公开日2009年3月25日 申请日期2007年9月17日 优先权日2007年9月17日
发明者于纪征, 曾贵华, 赵光耀 申请人:华为技术有限公司