专利名称：一种粒子滤波跟踪方法和跟踪装置的制作方法
技术领域：
本发明涉及图像处理方法，特别涉及运动对象的跟踪方法和跟踪装置。
背景技术：
运动对象的跟踪是许多计算机视觉应用系统的重要组成部分，如视频监控、人机交互、驾驶员辅助系统、机器人导航等。运动对象跟踪的主要目的是获得运动对象在图像序列或视频中的轨迹，更进一步地，有时还要求得到运动对象的尺度、形状或三维姿态信息。经过几十年的发展，在运动对象跟踪领域出现了大量的跟踪方法，其中以粒子滤波为代表的一类概率跟踪方法得到了研究和开发人员的广泛关注。
粒子滤波是一种序列蒙特卡罗(Sequential Monte Carlo)算法，它是通过一群随机采样得到的粒子集来近似系统状态的分布，每一个粒子被赋予一个权重以表示其重要程度，即系统处于该粒子所表示状态的可能性大小。每个粒子通过系统动态模型向下一个时间步传播，在获得新的图像之后，每个粒子通过系统观察模型更新其权重。此外，为了减轻粒子退化问题，即少数粒子具有很大的权重而大多数粒子具有很小的权重，引入了重要性重采样方法。重要性重采样将权重大的粒子采样成几个粒子，而权重小的粒子可能得不到采样。
现有技术的粒子滤波跟踪方法是在原始的图像上采用粒子滤波算法对运动对象进行跟踪，具体来说，主要包括如下步骤 第一步在原始的图像上采样获得初始粒子集；所述粒子是指系统状态的一个可能的取值，系统状态即运动对象的运动参数如运动对象的位置(x，y)和大小(w，h)，其中x，y分别代表坐标；w，h分别代表宽度和高度。设初始系统状态x0服从高斯分布p(x0)，高斯分布p(x0)的均值由事先训练得到的运动对象检测器或人工标注在初始时刻的图像上得到，而方差则假设是对角矩阵，且对于位置(x，y)设置其方差分别为整数倍的运动对象的宽和高，例如一倍，对于大小(w，h)设置其方差为零。那么，从这个分布可以随机采样得到初始粒子集其中M为采样粒子数，具体地，就是对于系统状态向量的每一个分量分别利用高斯随机数生成器产生随机数并将其利用高斯分布p(x0)的均值和方差进行平移和缩放来产生一个粒子。依此方法产生M个粒子。设置图像帧序号t＝1。
第二步按照系统动态模型p(xt|xt-1i)传播粒子并采样得到新的粒子集t表示当前时刻的图像帧序号，t-1表示前一时刻的图像帧序号。
第三步按照系统观察模型评价粒子的权重并按照归一化粒子的权重得到新的粒子集
粒子的权重代表该粒子是系统状态的一个取值的可能性的大小(即概率)。即，权重越大则系统状态取值为该粒子的可能性越大，反之，权重越小则系统状态取值为该粒子的可能性越小。
第四步从粒子集
中依照重要性重采样方法重新采样得到M个新的粒子
此步骤是为了减轻粒子退化问题。
第五步估计系统的状态得到运动对象的运动参数，设置t＝t+1并转到第二步，从而实现跟踪。
由此可见，粒子滤波跟踪算法的关键是系统的动态模型和观察模型。动态模型通常采用自回归线性模型，而观察模型则多采用颜色直方图等信息。
现有技术的粒子滤波跟踪方法的不足在于第一，粒子滤波算法是在原始的图像上进行的，这样做的缺陷是原始图像并不是专门为了运动对象的跟踪而设计的，在原始图像上的运动对象可能与周围背景相比具有很低的对比度，不利于对运动对象进行跟踪；第二，观察模型采用颜色直方图等信息；但是，对每个粒子都要计算颜色直方图很耗时，会影响算法的实时性能，并且采用颜色直方图仅考虑了运动目标的颜色，而没有考虑背景信息中与运动目标颜色相同或相近的部分，所以导致容易丢失跟踪目标，即由于没有考虑背景信息使得这类现有方法不够鲁棒。
发明内容
本发明的目的在于克服现有技术的上述不足，提供一种采用改进的观察模型的粒子滤波跟踪方法和跟踪装置，能够提高粒子滤波跟踪方法的计算效率及鲁棒性。
为了实现上述目的，本发明采取如下技术方案 一种粒子滤波跟踪方法，用于在采集原始图像后跟踪运动对象，包括如下步骤 步骤S1在原始图像帧上采样获得初始粒子集； 步骤S2对原始图像帧的像素经过前景背景分类得到概率图； 步骤S3按照系统动态模型传播粒子并采样，得到第二粒子集； 步骤S4按照在概率图上构建的系统观察模型得到所述第二粒子集的粒子的权重，并归一化粒子的权重得到第三粒子集； 步骤S5对所述第三粒子集进行重要性重采样，得到重采样粒子集； 步骤S6通过重采样粒子集计算系统状态并输出。
优选地，所述粒子是指系统状态的可能的取值，所述系统状态包括运动对象的位置和尺度。
优选地，在步骤S1中，所述采样是按照系统状态服从高斯分布进行的。
优选地，所述高斯分布的均值是由事先训练得到的运动对象检测器或人工将运动对象标注在初始时刻的图像帧上得到； 所述高斯分布的方差为对角矩阵并且对角矩阵中位置的方差分别设置为运动对象的初始宽和高的整数倍，对角矩阵中尺度的方差分别设置为零。
优选地，所述系统动态模型采用自回归模型。
优选地，在所述自回归模型中，对于运动对象的位置变化采用恒定速度模型，并且其标准偏差的设置范围为0至5个像素每帧，对于运动对象的尺度变化采用随机游走模型，并且其标准偏差的设置范围为0.05至0.2每帧。
优选地，在所述自回归模型中，对于运动对象的位置变化采用恒定加速度模型。
优选地，所述步骤S4中，所述系统观察模型由与系统状态的矩形区域内信息对应的区域观察模型和与所述矩形区域的边界信息对应的边界观察模型构成。
优选地，所述区域观察模型是由所述矩形区域在概率图上的平均概率值导出的距离值按照高斯分布建模得到。
优选地，所述边界观察模型是由当前位置与预先设定的边界相关模板的相似度导出的距离值按照高斯分布建模得到。
优选地，所述区域观察模型为 其中，Wt(u)表示概率图上象素点u＝(x，y)T对应的概率值，zt表示图像观察值，λ是控制参数，R(xt)表示系统状态xt所对应的矩形区域，wt和ht为所述矩形区域的宽和高，且wt＝atwref，ht＝bthref，wref和href分别为运动对象在初始时刻的宽和高，xt＝(xt，yt，at，bt，xt-1，yt-1，at-1，bt-1)T，(xt，yt)T是对象的中心位置坐标，at是当前帧运动对象在x轴方向的宽度与初始时刻视频帧中运动对象在x轴方向的宽度的比值，bt是当前帧运动对象在y轴方向的高度与初始时刻图像帧中运动对象在y轴方向的高度的比值，下标t表示当前时刻的图像帧序号。
优选地，所述边界观察模型为 其中， 其中，
代表相关算子，I∈{L，R，T，B}，CL、CR、CT和CB表示运动对象的左、右、上和下矩形边界的相关模板，所述左、右、上和下矩形边界的宽×高分别为3×ht、3×ht、wt×3和wt×3，w′和h′分别表示相应相关模板的宽和高。
优选地，所述控制参数λ的取值范围为在4至6之间的实数。
优选地，所述系统的观察模型包括所述区域观察模型和所述边界观察模型的乘积。
优选地，所述区域观察模型中的求和操作或所述边界观察模型中的相关操作是通过积分图像的数据结构计算得到。
优选地，在步骤S6中还包括采集下一原始图像帧并转到步骤S2循环执行。
一种粒子滤波装置，其特征是，包括 图像采集单元，用于采集原始图像帧； 初始粒子采样单元，用于在所述原始图像帧上采样获得初始粒子集； 前景背景分类器，与所述图像采集单元连接，用于将所述图像采集单元采集到的原始图像帧的像素进行分类，以获得概率图； 系统动态模型单元，与所述前景背景分类器连接，用于按照系统动态模型传播粒子，得到第二粒子集； 系统观察模型单元，与所述系统动态模型单元连接，用于按照在概率图上构建的系统观察模型得到所述第二粒子集中粒子的权重，并归一化粒子的权重得到第三粒子集； 重要性重采样单元，与所述系统观察模型单元连接，用于将所述第三粒子集进行重要性重采样得到重采样粒子集； 系统状态估计单元，与所述重要性重采样单元连接，用于根据所述重采样粒子集计算系统状态并输出。
优选地，该装置还包括对象检测单元，连接在所述图像采集单元和所述初始粒子采样单元之间，用于在原始图像帧上将要跟踪的对象检测出来。
优选地，所述粒子是指系统状态的一个可能的取值，系统状态包括运动对象的运动参数。
优选地，所述系统状态包括运动对象的位置和尺度。
优选地，所述采样是按照系统状态服从高斯分布进行的。
优选地，所述对象检测单元包括事先训练得到的对象检测器； 所述高斯分布的均值是由所述对象检测器在初始时刻的图像帧上将被跟踪的对象检测出来得到； 所述高斯分布的方差为对角矩阵并且对角矩阵中位置的方差分别设置为运动对象的初始宽和高的整数倍，对角矩阵中尺度的方差分别设置为零。
优选地，所述系统动态模型采用自回归模型。
优选地，在所述自回归模型中，对于运动对象的位置变化采用恒定速度模型，并且其标准偏差的设置范围为0至5个象素每帧，对于运动对象的尺度变化采用随机游走模型，并且其标准偏差的设置范围为0.05至0.2每帧。
优选地，对于运动对象的位置变化采用恒定加速度模型。
优选地，所述系统观察模型由与系统状态的矩形区域内信息对应的区域观察模型和与所述矩形区域的边界信息对应的边界观察模型构成。
优选地，所述区域观察模型是由所述矩形区域在概率图上的平均概率值导出的距离值按照高斯分布建模得到。
优选地，所述边界观察模型是由当前位置与预先设定的边界相关模板的相似度导出的距离值按照高斯分布建模得到。
优选地，所述区域观察模型为 其中，Wt(u)表示概率图上象素点u＝(x，y)T对应的概率值，zt代表图像观察值，λ是控制参数，R(xt)表示系统状态xt所对应的矩形区域，wt和ht为所述矩形区域的宽和高，且wt＝atwref，ht＝bthref，wref和href分别为运动对象在初始时刻的宽和高，xt＝(xt，yt，at，bt，xt-1，yt-1，at-1，bt-1)T，(xt，yt)T是对象的中心位置坐标，at是当前帧运动对象在x轴方向的宽度与初始时刻视频帧中运动对象在x轴方向的宽度的比值，bt是当前帧运动对象在y轴方向的高度与初始时刻视频帧中运动对象在y轴方向的高度的比值，下标t表示当前时刻的图像帧序号。
优选地，所述边界观察模型为 其中， 其中，
代表相关算子，I∈{L，R，T，B}，CL、CR、CT和CB表示运动对象的左、右、上和下矩形边界的相关模板，所述左、右、上和下矩形边界的宽×高分别为3×ht、3×ht、wt×3和wt×3，w′和h′分别表示相应相关模板的宽和局。
优选地，所述控制参数λ的取值范围为在4至6之间的实数。
优选地，所述系统的观察模型包括所述区域观察模型和所述边界观察模型的乘积。
优选地，所述区域观察模型中的求和操作或所述边界观察模型中的相关操作是通过积分图像的数据结构计算得到。
优选地，所述系统状态估计单元，还用于向所述图像采集单元发出采集下一图像帧的信号。
与现有技术相比，本发明的优点在于 (1)本发明不是在原始的图像上进行粒子滤波跟踪算法，而是在概率图上，从而由于明确地考虑了背景信息，因此提高了算法的鲁棒性。
(2)本发明的观察模型不是采用颜色直方图信息，而是引入了分别考虑区域信息和边界信息的两种观察模型。这两种观察模型可以借助于积分图像的数据结构快速地计算得到，从而提高了粒子滤波的计算效率；并且本发明明确考虑到背景信息中与运动目标颜色相同或相近的部分，从而提高了本发明的鲁棒性，不容易丢失目标。
图1是本发明的粒子滤波跟踪方法示意图； 图2是本发明中用于计算边界观察模型的相关模板的示意图； 图3是本发明的粒子滤波跟踪装置的数据处理流程图。
具体实施例方式 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明的粒子滤波跟踪方法和跟踪装置进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1中表示出本发明的粒子滤波跟踪方法的示意图，该粒子滤波跟踪方法，包括如下步骤 步骤S1，在原始图像帧上采样初始粒子集的步骤； 所述粒子是指系统状态的一个可能的取值，系统状态包括运动对象的运动参数。
具体来说，作为一种可实施的方式，以初始系统状态x0服从高斯分布p(x0)来处理。初始系统状态x0，即初始时刻运动对象的运动参数，如运动对象的位置和大小尺度所形成的向量。其中，高斯分布p(x0)的均值由事先训练得到的运动对象检测器或人工标注在初始时刻的图像上得到，如图1中矩形区域1为标注的高斯分布的均值；而高斯分布p(x0)的方差则假设是对角矩阵，且对于位置参数的方差分别设置为一倍的运动对象的宽和高，对于尺度参数的方差设置为零。那么，从这个分布可以随机采样得到初始粒子集其中M为采样粒子数，如果采样的粒子数多，那么系统状态的分布可以得到很好的近似，但是需要的计算资源也会相应增加；反之，如果采样的粒子数少，那么系统状态的分布不能得到很好的近似，但是需要的计算资源会相应减少。设置图像帧序号t＝1。
针对图像中运动对象的跟踪，一般来说需要获得运动对象的位置和尺度信息，因此，设置系统状态为xt＝(xt，yt，at，bt，xt-1，yt-1，at-1，bt-1)T， 其中，(xt，yt)T是对象的中心位置坐标，上标T表示转置，at是当前帧运动对象在x轴方向的宽度与初始时刻视频帧中运动对象在x轴方向的宽度的比值，bt是当前帧运动对象在y轴方向的高度与初始时刻视频帧中运动对象在y轴方向的高度的比值。下标t表示当前时刻的图像帧序号。
作为一种实施方式，所述采样的方法如下利用训练好的运动对象检测器或采用人工标注得到运动对象在初始时刻图像中的位置和尺度，以此作为高斯分布的均值，而高斯分布的方差设定为对角矩阵，且对于位置参数分别设置为一倍的运动对象的宽和高，对于尺度的方差设置为零，对于系统状态向量的每一个分量分别利用高斯随机数生成器来产生随机数并利用高斯分布p(x0)的均值和方差对相应的随机数进行平移和缩放来产生一个粒子。进而依此方法产生M个粒子。但是不仅限于此，比如还可以采用均匀分布的随机数进行采样。
步骤S2，从原始图像帧经过前景背景分类获得概率图的步骤； 具体来说，对于输入图像序列，利用前景背景分类器对象素进行分类得到概率图，所述前景背景分类的过程为如图1所示，在输入的图像帧中，对指定的包含有运动目标的矩形区域2中的象素进行分类得到概率图，而对于矩形区域2之外的区域不进行处理。
前景背景分类器可以采用任何特征和任何分类器，只要其能输出范围在0到1之间的概率值即可。
前景背景分类实际上是一个两类分类问题，因此采用现有的两类分类器能够实现，比如AdaBoost分类器作为前景背景分类器。
本发明的粒子滤波跟踪方法是在概率图上进行的，这样做的好处是由于明确考虑了前景/背景分类信息，使得在概率图上被跟踪对象和周围背景具有较高的对比度，有利于跟踪；而且，通过利用积分图像的数据结构，使得概率图上的观察模型可以快速计算得到。这些优点会在后面的技术方案中体现的更加充分。
步骤S3按照系统动态模型传播粒子的步骤，得到新的粒子集； 具体来说，按照系统动态模型p(xt|xt-1i)传播粒子并采样得到新的粒子集 较佳地，采用自回归模型作为系统的动态模型，并设置如下 xt＝Axt-1+vt，vt～N(0，∑) 其中，xt-1表示t-1时刻视频帧中运动对象的系统状态向量，xt表示t时刻视频帧中运动对象的系统状态向量，A表示系统状态转移矩阵，vt表示系统噪声向量并且服从均值为0、方差为对角阵的高斯分布。
较佳地，对于对象的位置变化采用恒定速度模型，并设置其标准偏差，标准偏差σx和σy的设置范围为0至5个象素每帧，标准偏差的大小表明运动对象对恒定速度模型的吻合程度，小的标准偏差表明吻合程度很好，而大的标准偏差则表明吻合程度不好，此处作为一个实施方式设置1个象素每帧。
对于对象的尺度变化采用随机游走模型，并设置其标准偏差，标准偏差σa和σb的设置范围为0.05至0.2每帧，此标准偏差设置的越大，跟踪算法能够越快地捕捉到运动对象的尺度变化，此处作为一个实施方式设置0.1每帧。系统状态转移矩阵A设置如下 但是动态模型的设计不仅限于上述方案，比如还可以采用恒定加速度方法来设计动态模型，即运动对象的位置变化满足恒定的加速度。
步骤S4按照在概率图上构建的系统观察模型评价粒子的权重并按照归一化粒子的权重得到新的粒子集
粒子的权重代表该粒子是系统状态的一个取值的可能性的大小，即权重越大则系统状态取值为该粒子的可能性越大，权重越小则系统状态取值为该粒子的可能性越小。
较佳地，系统的观察模型在概率图上构建得到，并且综合考虑了运动对象所处区域的区域信息和边界信息。用R(xt)表示系统状态xt所对应的矩形区域，(xL，yT)T为该区域左上角坐标，(xR，yB)T为其右下角坐标。wt和ht为矩形区域的宽和高。设运动对象在初始时刻的宽和高分别为wref和href则wt＝atwref，ht＝bthref。对于区域信息的观察模型，如果一个区域在概率图上的平均概率值越大，则区域属于被跟踪对象的可能性就越大，也就是相似性越大，那么距离就越小，该距离可以用高斯分布来对其进行建模。此处，作为一个实施方式，采用高斯分布建模的方式设置区域信息对应的观察模型为 其中，Wt(u)表示概率图上象素点u＝(x，y)T对应的概率值。zt代表图像观察值。λ是一个控制参数，相当于高斯分布的方差的倒数，因此，其取值越小相应的高斯分布形状越平缓，其取值越大相应的高斯分布形状越陡峭。一般希望得到的高斯分布越陡峭越好。λ的取值范围一般在4至6之间的实数。作为一种可实施方式取λ＝5就能得到满意的结果。
对于边界信息，从图1中可以看到在概率图上对象和背景过渡的边界位置有很明显的亮度变化。因此可以引入类似于边缘检测的算子来定位这样的边界。
作为一个实施方式，如图2所示，图2中图(a)、(b)、(c)和(d)分别表示4个相关模板并分别命名为CL、CR、CT和CB来定位对象的左、右、上和下矩形边界，其大小用宽×高来表示分别为3×ht、3×ht、wt×3和wt×3，其单位为像素个数。设定相关算子如下 其中，
代表相关算子，I∈{L，R，T，B}，w′和h′分别表示相关模板的宽和高。对于每一个相关运算，其值越大表明该位置(x，y)与边界的相关模板的相似性越大，那么距离就越小，也就是表明该位置属于被跟踪对象相应的矩形边界的可能性就越大。所述位置与边界的相关模板的距离可以用高斯分布来对其进行建模。此处作为一个实施方式，采用高斯分布建模的方式设置四个区域边界所对应的观察模型分别为 其中，g(·)是一个归一化函数，将自变量归一化到
，并设定如下 按照四个边界的分布是独立的，则边界信息对应的观察模型设定为 最后，按照区域信息和边界信息是独立的，则系统的观察模型设定为 p(zt|xt)∝pregion(zt|xt)pboundary(zt|xt) 其中，区域信息的求和操作和边界信息的相关操作可以借助于积分图像的数据结构快速计算得到。积分图像上的每一个象素存储该象素位置左上部分所有象素点的概率值的和。因此，所有象素点只需遍历一次就可以得到积分图像。任何位置任何大小的矩形区域内象素点的概率值的和可以通过矩形四个角的象素值的加减操作得到。积分图像的数据结构为本领域技术人员公知的技术，在此不再赘述。
步骤S5，重要性重采样步骤； 具体来说，从粒子集
中按照重要性重采样方法重新采样得到M个新的粒子
重要性重采样方法是本领域技术人员公知的技术，在此不再赘述。
步骤S6通过重采样粒子集按照公式计算系统状态从而获得运动对象的运动参数并输出，然后采集下一原始图像帧并转到步骤S2循环执行，实现跟踪。
图3表示一种粒子滤波跟踪装置的数据处理过程，该装置包括 图像采集单元10，用于采集原始图像帧。
对象检测单元11，与所述图像采集单元10连接，用于在原始图像帧上将要跟踪的对象检测出来； 初始粒子采样单元12，与所述对象检测单元11连接，用于采样初始粒子集；所述粒子是指系统状态的一个可能的取值，系统状态包括运动对象的运动参数。
较佳地，所述系统状态包括运动对象的位置和尺度。
较佳地，所述采样是按照系统状态服从高斯分布进行的。
较佳地，所述高斯分布的均值是由事先训练得到的运动对象检测器在初始时刻的图像帧上得到，所述高斯分布的方差为对角矩阵并且对角矩阵中位置的方差分别设置为运动对象的初始宽和高的整数倍，对角矩阵中尺度的方差分别设置为零。
前景背景分类器13，与所述图像采集单元10连接，用于将所述图像采集单元采集到的原始图像帧的像素进行分类，以获得概率图。
系统动态模型单元14，与所述前景背景分类器13连接，用于按照系统动态模型传播粒子，得到新的粒子集。
较佳地，所述系统动态模型采用自回归模型。
较佳地，在所述自回归模型中，对于运动对象的位置变化采用恒定速度模型，并且其标准偏差的设置范围为0至5个象素每帧，对于运动对象的尺度变化采用随机游走模型，并且其标准偏差的设置范围为0.05至0.2每帧。
较佳地，作为另一种可实施的方式，在所述自回归模型中，对于运动对象的位置变化采用恒定加速度模型。
系统观察模型单元15，与所述系统动态模型单元14连接，用于按照在概率图上构建的系统观察模型得到所述新的粒子集中粒子的权重，并归一化粒子的权重得到新的粒子集。
重要性重采样单元16，与所述系统观察模型单元15连接，用于将所述系统观察模型单元得到的粒子集进行重要性重采样得到新的粒子集。
系统状态估计单元17，与所述重要性重采样单元16连接，用于根据所述重要性重采样单元得到的粒子集估计系统状态并输出，然后向所述图像采集单元发出采集下一帧图像的信号，从而实现目标跟踪。
较佳地，所述系统观察模型由与系统状态的矩形区域内信息对应的区域观察模型和与所述矩形区域的边界信息对应的边界观察模型构成。
较佳地，所述区域观察模型是由所述矩形区域在概率图上的平均概率值导出的距离值按照高斯分布建模得到。
较佳地，所述边界观察模型是由当前位置与预先设定的边界相关模板的相似度导出的距离值按照高斯分布建模得到。
较佳地，作为一种可实施的方式，所述区域观察模型为 其中，Wt(u)表示概率图上象素点u＝(x，y)T对应的概率值，zt代表图像观察值，λ是控制参数，R(xt)表示系统状态xt所对应的矩形区域，wt和ht为所述矩形区域的宽和高，且wt＝atwref，ht＝bthref，wref和href分别为运动对象在初始时刻的宽和高，xt＝(xt，yt，at，bt，xt-1，yt-1，at-1，bt-1)T，(xt，yt)T是对象的中心位置坐标，at是当前帧运动对象在x轴方向的宽度与初始时刻视频帧中运动对象在x轴方向的宽度的比值，bt是当前帧运动对象在y轴方向的高度与初始时刻视频帧中运动对象在y轴方向的高度的比值。下标t表示当前时刻的图像帧序号。
较佳地，作为一种可实施的方式，所述边界观察模型为 其中， 其中，
代表相关算子，I∈{L，R，T，B}，CL、CR、CT和CB表示运动对象的左、右、上和下矩形边界的相关模板，所述左、右、上和下矩形边界的宽×高分别为3×ht、3×ht、wt×3和wt×3，w′和h′分别表示相应相关模板的宽和高， 较佳地，λ的取值范围为在4至6之间的实数。作为一种可实施的方式，λ的取值范围为5。
较佳地，作为一种可实施的方式，所述系统的观察模型包括所述区域观察模型和所述边界观察模型的乘积。
较佳地，所述区域观察模型中的求和操作或所述边界观察模型中的相关操作是通过积分图像的数据结构计算得到。
从以上对本发明的详细描述，可以看出本发明的优点在于 (1)本发明不是在原始的图像上进行粒子滤波跟踪算法，而是在概率图上，从而由于明确地考虑了背景信息，因此提高了算法的鲁棒性。
(2)本发明的观察模型不是采用颜色直方图信息，而是引入了分别考虑区域信息和边界信息的两种观察模型。这两种观察模型可以借助于积分图像的数据结构快速地计算得到，从而提高了粒子滤波的计算效率；并且本发明明确考虑到背景信息中与运动目标颜色相同或相近的部分，从而提高了本发明的鲁棒性，不容易丢失目标。
最后需要说明的是，以上所述内容，仅为本发明具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围内。
权利要求
1、一种粒子滤波跟踪方法，用于在采集原始图像后跟踪运动对象，包括如下步骤
步骤S1在原始图像帧上采样获得初始粒子集；
步骤S2对原始图像帧的像素经过前景背景分类得到概率步骤S3按照系统动态模型传播粒子并采样，得到第二粒子集；
步骤S4按照在概率图上构建的系统观察模型得到所述第二粒子集的粒子的权重，并归一化粒子的权重得到第三粒子集；
步骤S5对所述第三粒子集进行重要性重采样，得到重采样粒子集；
步骤S6通过重采样粒子集计算系统状态并输出。
2、根据权利要求1所述的粒子滤波跟踪方法，其特征是，在步骤S1中，所述粒子是指系统状态的可能的取值，所述系统状态包括运动对象的位置和尺度。
3、根据权利要求2所述的粒子滤波跟踪方法，其特征是，在步骤S1中，所述采样是按照系统状态服从高斯分布进行的。
4、根据权利要求3所述的粒子滤波跟踪方法，其特征是，所述高斯分布的均值是由事先训练得到的运动对象检测器或人工将运动对象标注在初始时刻的图像帧上得到；
所述高斯分布的方差为对角矩阵并且对角矩阵中位置的方差分别设置为运动对象的初始宽和高的整数倍，对角矩阵中尺度的方差分别设置为零。
5、根据权利要求1所述的粒子滤波跟踪方法，其特征是，所述系统动态模型采用自回归模型。
6、根据权利要求5所述的粒子滤波跟踪方法，其特征是，在所述自回归模型中，对于运动对象的位置变化采用恒定速度模型，并且其标准偏差的设置范围为0至5个像素每帧，对于运动对象的尺度变化采用随机游走模型，并且其标准偏差的设置范围为0.05至0.2每帧。
7、根据权利要求5所述的粒子滤波跟踪方法，其特征是，在所述自回归模型中，对于运动对象的位置变化采用恒定加速度模型。
8、根据权利要求1所述的粒子滤波跟踪方法，其特征是，所述步骤S4中，所述系统观察模型由与系统状态的矩形区域内信息对应的区域观察模型和与所述矩形区域的边界信息对应的边界观察模型构成。
9、根据权利要求8所述的粒子滤波跟踪方法，其特征是，所述区域观察模型是由所述矩形区域在概率图上的平均概率值导出的距离值按照高斯分布建模得到。
10、根据权利要求8所述的粒子滤波跟踪方法，其特征是，所述边界观察模型是由当前位置与预先设定的边界相关模板的相似度导出的距离值按照高斯分布建模得到。
11、根据权利要求8所述的粒子滤波跟踪方法，其特征是，所述区域观察模型为
其中，Wt(u)表示概率图上象素点u＝(x，y)T对应的概率值，zt表示图像观察值，λ是控制参数，R(xt)表示系统状态xt所对应的矩形区域，wt和ht为所述矩形区域的宽和高，且wt＝atwref，ht＝bthref，wref和href分别为运动对象在初始时刻的宽和高，xt＝(xt，yt，at，bt，xt-1，yt-1，at-1，bt-1)T，(xt，yt)T是对象的中心位置坐标，at是当前帧运动对象在x轴方向的宽度与初始时刻视频帧中运动对象在x轴方向的宽度的比值，bt是当前帧运动对象在y轴方向的高度与初始时刻图像帧中运动对象在y轴方向的高度的比值，下标t表示当前时刻的图像帧序号。
12、根据权利要求8所述的粒子滤波跟踪方法，其特征是，所述边界观察模型为
其中，
其中，
代表相关算子，I∈{L，R，T，B}，CL、CR、CT和CB表示运动对象的左、右、上和下矩形边界的相关模板，所述左、右、上和下矩形边界的宽×高分别为3×ht、3×ht、wt×3和wt×3，w′和h′分别表示相应相关模板的宽和高。
13、根据权利要求11或12所述的粒子滤波跟踪方法，其特征是，所述控制参数λ的取值范围为在4至6之间的实数。
14、根据权利要求8所述的粒子滤波跟踪方法，其特征是，所述系统的观察模型包括所述区域观察模型和所述边界观察模型的乘积。
15、根据权利要求11或12所述的粒子滤波跟踪方法，其特征是，所述区域观察模型中的求和操作或所述边界观察模型中的相关操作是通过积分图像的数据结构计算得到。
16、根据权利要求1所述的粒子滤波跟踪方法，其特征是，在步骤S6中还包括采集下一原始图像帧并转到步骤S2循环执行。
17、一种粒子滤波装置，其特征是，包括
图像采集单元，用于采集原始图像帧；
初始粒子采样单元，用于在所述原始图像帧上采样获得初始粒子集；
前景背景分类器，与所述图像采集单元连接，用于将所述图像采集单元采集到的原始图像帧的像素进行分类，以获得概率系统动态模型单元，与所述前景背景分类器连接，用于按照系统动态模型传播粒子，得到第二粒子集；
系统观察模型单元，与所述系统动态模型单元连接，用于按照在概率图上构建的系统观察模型得到所述第二粒子集中粒子的权重，并归一化粒子的权重得到第三粒子集；
重要性重采样单元，与所述系统观察模型单元连接，用于将所述第三粒子集进行重要性重采样得到重采样粒子集；
系统状态估计单元，与所述重要性重采样单元连接，用于根据所述重采样粒子集计算系统状态并输出。
18、根据权利要求17所述的粒子滤波装置，其特征是，还包括对象检测单元，连接在所述图像采集单元和所述初始粒子采样单元之间，用于在原始图像帧上将要跟踪的对象检测出来。
19、根据权利要求17所述的粒子滤波装置，其特征是，所述粒子是指系统状态的一个可能的取值，系统状态包括运动对象的运动参数。
20、根据权利要求19所述的粒子滤波装置，其特征是，所述系统状态包括运动对象的位置和尺度。
21、根据权利要求18所述的粒子滤波装置，其特征是，所述采样是按照系统状态服从高斯分布进行的。
22、根据权利要求21所述的粒子滤波装置，其特征是，所述对象检测单元包括事先训练得到的对象检测器；
所述高斯分布的均值是由所述对象检测器在初始时刻的图像帧上将被跟踪的对象检测出来得到；
所述高斯分布的方差为对角矩阵并且对角矩阵中位置的方差分别设置为运动对象的初始宽和高的整数倍，对角矩阵中尺度的方差分别设置为零。
23、根据权利要求17所述的粒子滤波装置，其特征是，所述系统动态模型采用自回归模型。
24、根据权利要求23所述的粒子滤波装置，其特征是，在所述自回归模型中，对于运动对象的位置变化采用恒定速度模型，并且其标准偏差的设置范围为0至5个象素每帧，对于运动对象的尺度变化采用随机游走模型，并且其标准偏差的设置范围为0.05至0.2每帧。
25、根据权利要求24所述的粒子滤波装置，其特征是，对于运动对象的位置变化采用恒定加速度模型。
26、根据权利要求17所述的粒子滤波装置，其特征是，所述系统观察模型由与系统状态的矩形区域内信息对应的区域观察模型和与所述矩形区域的边界信息对应的边界观察模型构成。
27、根据权利要求26所述的粒子滤波装置，其特征是，所述区域观察模型是由所述矩形区域在概率图上的平均概率值导出的距离值按照高斯分布建模得到。
28、根据权利要求26所述的粒子滤波装置，其特征是，所述边界观察模型是由当前位置与预先设定的边界相关模板的相似度导出的距离值按照高斯分布建模得到。
29、根据权利要求26所述的粒子滤波装置，其特征是，所述区域观察模型为
其中，Wt(u)表示概率图上象素点u＝(x，y)T对应的概率值，zt代表图像观察值，λ是控制参数，R(xt)表示系统状态xt所对应的矩形区域，wt和ht为所述矩形区域的宽和高，且wt＝atwref，ht＝bthref，wref和href分别为运动对象在初始时刻的宽和高，xt＝(xt，yt，at，bt，xt-1，yt-1，at-1，bt-1)T，(xt，yt)T是对象的中心位置坐标，at是当前帧运动对象在x轴方向的宽度与初始时刻视频帧中运动对象在x轴方向的宽度的比值，bt是当前帧运动对象在y轴方向的高度与初始时刻视频帧中运动对象在y轴方向的高度的比值，下标t表示当前时刻的图像帧序号。
30、根据权利要求26所述的粒子滤波装置，其特征是，所述边界观察模型为
其中，
其中，
代表相关算子，I∈{L，R，T，B}，CL、CR、CT和CB表示运动对象的左、右、上和下矩形边界的相关模板，所述左、右、上和下矩形边界的宽×高分别为3×ht、3×ht、wt×3和wt×3，w′和h′分别表示相应相关模板的宽和高。
31、根据权利要求29或30所述的粒子滤波装置，其特征是，所述控制参数λ的取值范围为在4至6之间的实数。
32、根据权利要求26所述的粒子滤波装置，其特征是，所述系统的观察模型包括所述区域观察模型和所述边界观察模型的乘积。
33、根据权利要求29或30所述的粒子滤波装置，其特征是，所述区域观察模型中的求和操作或所述边界观察模型中的相关操作是通过积分图像的数据结构计算得到。
34、根据权利要求17所述的粒子滤波装置，其特征是，所述系统状态估计单元，还用于向所述图像采集单元发出采集下一图像帧的信号。
全文摘要
本发明公开了一种粒子滤波跟踪方法和跟踪装置，该方法包括步骤S1在原始图像帧上采样获得初始粒子集；步骤S2对原始图像帧的像素经过前景背景分类得到概率图；步骤S3按照系统动态模型传播粒子并采样，得到第二粒子集；步骤S4按照在概率图上构建的系统观察模型得到所述第二粒子的权重，并归一化粒子的权重得到第三粒子集；步骤S5对所述第三粒子集进行重要性重采样，得到重采样粒子集；步骤S6通过重采样粒子集计算系统状态并输出。本发明提高了粒子滤波的计算效率，并提高了鲁棒性，不容易丢失目标。
文档编号G06T7/20GK101493943SQ20081005690
公开日2009年7月29日 申请日期2008年1月25日 优先权日2008年1月25日
发明者梁大为, 黄庆明, 蒋树强, 文 高 申请人:中国科学院计算技术研究所