一种基于多特征融合的粒子滤波目标跟踪方法与流程

本发明属于运动目标跟踪技术领域，特别是一种基于多特征融合的粒子滤波目标跟踪方法。

背景技术：

运动目标跟踪技术是计算机视觉领域的重要研究内容，它涉及多门学科，如图像处理、模式识别、人工智能、人工神经网络等。目标跟踪技术实用性高，应用面广，在人工智能、无人驾驶、医疗等领域都极大提高了自动化控制的水平，在军事和民用领域担当着越来越重要的角色。当前，计算机视觉领域的目标跟踪技术发展趋势主要表现为场景信息与目标状态的融合，多维度、多层级信息的融合，深度学习与在线学习的融合以及多传感器的融合。

目标跟踪是在给定跟踪目标的初始状态下，在后续图像序列中提取出运动目标，同时根据提取出的运动信息对目标行为进行理解和描述，最终实现对目标的识别和跟踪。目标跟踪技术能够在视频序列中持续地定位出运动物体的位置，获得运动轨迹，并分析目标运动的特性，目标跟踪算法的性能主要从鲁棒性、准确性和实时性三个角度来衡量。目前的各种算法都局限于某种特定的环境或目标条件，缺乏有效性，算法的综合性能也有待提高，在复杂场景如目标遮挡、光照变化、目标特征改变等情况下，目标的跟踪与识别也面临着种种挑战。

基于滤波理论的目标跟踪算法是指对视频图像中的目标状态估计来实现跟踪。首先构建目标运动模型，其次通过该模型预测目标的实时运动情况，最后通过对目标观测的假设进行估计和校正来实现目标跟踪。常用方法有卡尔曼滤波算法，扩展卡尔曼滤波算法和粒子滤波算法等，卡尔曼滤波算法仅能够在目标运动为线性条件的情况下使用，受背景环境不确定性的影响较大，而粒子滤波算法因其在非线性、非高斯系统中处理参数估计和状态滤波方面具有独特优势，广泛应用于目标跟踪领域。

典型的目标模型系统包括外观模型、运动模型以及在当前帧中找出目标位置的搜索策略。外观模型由目标表示和统计模型组成，在视觉目标跟踪算法中，一个高效的，稳定的外观模型对鲁棒的目标跟踪具有极大意义，传统粒子滤波目标跟踪算法采用单一rgb颜色直方图模型作为概率模型，但在实际应用中，目标场景并非都满足目标和背景颜色差异明显这一理想条件，往往存在目标与背景颜色相近、光照变化明显、目标被遮挡、相机抖动等多种复杂性。同时单一的rgb颜色特征不具备表达目标几何结构信息，当目标被部分遮挡或相机运动成像等复杂场景情况下，也易导致目标跟踪丢失。因此，在复杂场景下，选取多种特征对目标进行描述，可以提升目标跟踪的准确性和稳定性。近年来，诸多学者针对不同场景下粒子滤波目标跟踪应用需求，提出了许多新的目标特征选取方法和特征融合规则：考虑到不同目标特征描述的差异性，提出了在粒子滤波目标跟踪框架中对颜色和边缘进行特征融合，获得了较好的跟踪效果，但由于颜色和边缘特征抗遮挡能力均不强，当目标存在较大程度的遮挡时，容易丢失跟踪目标；或是利用稀疏结构来表达纹理特征，嵌入粒子滤波目标跟踪框架中实现目标跟踪任务，该算法能够有效避免光照变化带来跟踪鲁棒性不佳的缺陷，但要求算法初始化粒子数目必须足够多，过多的粒子数目易降低算法时效性。

技术实现要素：

本发明的目的在于提供一种基于多特征融合的粒子滤波目标跟踪方法，通过融合边缘、纹理及深度特征，实现对目标更精确、更连续的跟踪，同时能够实时调整跟踪窗口，准确定位目标位置。

实现本发明目的的技术解决方案为：一种基于多特征融合的粒子滤波目标跟踪方法，包括以下步骤：

步骤1、图像采集：使用相机采集图像，对图像进行滤波操作去噪声，获得跟踪所需的视频图像序列；

步骤2、初始化：在视频图像的初始帧，手动选择矩形框确定跟踪目标，建立对应的目标模板，设定采样粒子个数并初始化粒子状态，计算目标模板的边缘特征直方图、纹理特征直方图和深度特征直方图；

步骤3、粒子状态更新：根据状态转移方程进行预测，更新粒子状态，得到新的粒子集，并建立候选模板，计算各粒子的边缘特征直方图、纹理特征直方图和深度特征直方图；

步骤4、特征融合策略：对步骤3中的每个粒子分别计算其特征直方图与目标模板直方图的巴氏距离，获得单特征的观测似然函数，将候选模板与目标模板的相似度由高至低进行排序，得到边缘、纹理和深度特征的位置均值、标准差及总体位置均值，计算每个特征的区分度，然后按照分配规则动态自适应更新各个特征的融合权值，最后根据加性融合策略得到多特征融合观测模型；

步骤5、目标状态估计：根据步骤4的多特征融合观测模型，结合上一时刻的粒子权重计算当前时刻的粒子权重，并进行归一化，利用得到的当前时刻粒子权重，采用加权准则确定目标状态和位置信息；

步骤6、跟踪窗口调整：基于步骤2的标定的目标矩形框，根据候选模板与目标模板的相似程度计算当前时刻图像的矩形框大小，统计粒子权重小于权重阈值tp的粒子个数并与预设阈值进行比较，当权重小的粒子个数大于设定阈值时，则根据调节公式修正窗口尺寸，并得到当前时刻的跟踪矩形窗口；

步骤7、重采样：计算有效粒子数目，比较有效粒子数目与有效采样尺度的大小，舍弃权重小的粒子，保留权重大的粒子，产生新的粒子集；

步骤8、重复步骤3～步骤7，继续跟踪下一帧图像。

进一步地，步骤2所述的初始化：在视频图像的初始帧，手动选择矩形框确定跟踪目标，建立对应的目标模板，设定采样粒子个数并初始化粒子状态，计算目标模板的边缘特征直方图、纹理特征直方图和深度特征直方图，具体如下：

步骤2.1、手动选择矩形框t＝[x,y,width,height]确定跟踪目标，其中x和y分别为矩形框中心的横纵坐标，width为矩形框的宽，height为矩形框的高；设定采样粒子个数n，粒子初始状态初始化融合权值初始化粒子权重为

步骤2.2、使用sobel算子计算灰度图像目标区域的梯度，得到目标模板的边缘特征直方图qe(u)；采用lbp算子提取纹理特征，得到目标模板的纹理特征直方图qt(u)；统计深度图像每个像素对应的区域到相机的距离，得到目标模板的深度特征直方图qd(u)。

进一步地，步骤3所述的粒子状态更新：根据状态转移方程进行预测，更新粒子状态，得到新的粒子集，并建立候选模板，计算各粒子的边缘特征直方图、纹理特征直方图和深度特征直方图，具体如下：

步骤3.1、使用二阶自回归模型xk＝axk-1+bxk-2+cn(0,σ)对粒子进行预测，并建立候选模板，其中xk为预测的当前粒子状态，xk-1与xk-2分别表示第k-1、k-2时刻的粒子状态，a和b为系数矩阵，n(0,σ)是均值为0、标准差为1的高斯噪声；

步骤3.2、使用sobel算子计算灰度图像目标区域的梯度，得到粒子的边缘特征直方图pe(u)；采用lbp算子提取纹理特征，得到粒子的纹理特征直方图pt(u)；统计深度图像每个像素对应的区域到相机的距离，得到粒子的深度特征直方图pd(u)。

进一步地，步骤4所述的特征融合策略：对步骤3中的每个粒子分别计算其特征直方图与目标模板直方图的巴氏距离，获得单特征的观测似然函数，将候选模板与目标模板的相似度由高至低进行排序，得到边缘、纹理和深度特征的位置均值、标准差及总体位置均值，计算每个特征的区分度，然后按照分配规则动态自适应更新各个特征的融合权值，最后根据加性融合策略得到多特征融合观测模型，具体如下：

步骤4.1、结合巴氏距离计算目标模板特征直方图qc(u)与粒子特征直方图pc(u)的相似程度ρc和直方图距离dc，其中c∈{e,t,d}，得到第i个粒子的边缘特征、纹理特征和深度特征的观测似然函数分别为和

步骤4.2、将n个粒子在边缘、纹理及深度特征下的相似度从高至低进行排序，分别计算边缘特征、纹理特征和深度特征下粒子集的位置均值μe,μt,μd、位置标准差σe,σt,σd，以及粒子集的总体位置均值μs，设定每个特征的区分度系数λc'为：

则归一化后的边缘、纹理及深度的区分度分别为λe、λt和λd；

步骤4.3、在k时刻每个特征的融合权值分别为：

αk＝τ·(λe)k+(1-τ)·αk-1

βk＝τ·(λt)k+(1-τ)·βk-1

γk＝τ·(λd)k+(1-τ)·γk-1

其中，(λe)k、(λt)k和(λd)k分别表示在k时刻的边缘、纹理及深度特征区分度，αk-1、βk-1和γk-1分别为k-1时刻的边缘、纹理及深度融合权值，τ为权值调节系数；

步骤4.4、针对单一特征在目标表述上的不完整性和不确定性，根据加性融合策略得到多特征融合观测模型为融合公式如下：

进一步地，步骤6所述的跟踪窗口调整：基于步骤2的标定的目标矩形框，根据候选模板与目标模板的相似程度计算当前时刻图像的矩形框大小，统计粒子权重小于权重阈值tp的粒子个数并与预设阈值进行比较，当权重小的粒子个数大于设定阈值时，则根据调节公式修正窗口尺寸，并得到当前时刻的跟踪矩形窗口，具体如下：

步骤6.1、将粒子按权重大小进行排序，统计粒子权重小于权重阈值tp的粒子个数nd，设定窗口粒子阈值为nw，判断nd与nw的大小，若nd＜nw，则保持目标窗口大小不变，即widthk＝widthk-1，heightk＝heightk-1；若nd≥nw，则调整窗口大小；

步骤6.2、窗口大小调节公式为：

widthk＝η×widthk-1

heightk＝η×heightk-1

其中，d为当前时刻粒子到运动目标中心的平均欧式距离，dpre为前一时刻粒子到目标中心的平均欧式距离。

本发明与现有技术相比，其显著优点在于：

(1)对目标进行多特征描述，同时引入了表示距离特性的深度特征，保证在跟踪目标提取时的准确性和完整性，有利于解决目标的位置改变及目标尺度变化问题；

(2)在进行多特征融合时，计算了单特征的位置均值、标准差及总体位置均值，以及每个特征的区分度，动态更新融合权值，提高了特征模板的自适应能力；

(3)在权重小的粒子数超过阈值时，通过设置矩形框的长宽变量来调整跟踪窗口大小，有效避免背景干扰。

附图说明

图1是本发明基于多特征融合的粒子滤波目标跟踪方法的流程示意图。

图2是本发明中特征融合算法的流程示意图。

图3是本发明中窗口自适应算法的流程示意图。

图4是实施例中视频初始帧图像及对应的目标灰度深度图，其中(a)是原始图，(b)为深度图。

图5是实施例中的仿真效果图，其中(a)～(d)分别是视频的第19帧、第80帧、第132帧、第181帧的跟踪效果图。

具体实施方式

一种基于多特征融合的粒子滤波目标跟踪方法，包括以下步骤：

步骤1、图像采集：使用相机采集图像，对图像进行滤波操作去噪声，获得跟踪所需的视频图像序列；

步骤2、初始化：在视频图像的初始帧，手动选择矩形框确定跟踪目标，建立对应的目标模板，设定采样粒子个数并初始化粒子状态，计算目标模板的边缘特征直方图、纹理特征直方图和深度特征直方图；

步骤3、粒子状态更新：根据状态转移方程进行预测，更新粒子状态，得到新的粒子集，并建立候选模板，计算各粒子的边缘特征直方图、纹理特征直方图和深度特征直方图；

步骤4、特征融合策略：对步骤3中的每个粒子分别计算其特征直方图与目标模板直方图的巴氏距离，获得单特征的观测似然函数，将候选模板与目标模板的相似度由高至低进行排序，得到边缘、纹理和深度特征的位置均值、标准差及总体位置均值，计算每个特征的区分度，然后按照分配规则动态自适应更新各个特征的融合权值，最后根据加性融合策略得到多特征融合观测模型；

步骤5、目标状态估计：根据步骤4的多特征融合观测模型，结合上一时刻的粒子权重计算当前时刻的粒子权重，并进行归一化，利用得到的当前时刻粒子权重，采用加权准则确定目标状态和位置信息；

步骤6、跟踪窗口调整：基于步骤2的标定的目标矩形框，根据候选模板与目标模板的相似程度计算当前时刻图像的矩形框大小，统计粒子权重小于权重阈值tp的粒子个数并与预设阈值进行比较，当权重小的粒子个数大于设定阈值时，则根据调节公式修正窗口尺寸，并得到当前时刻的跟踪矩形窗口；

步骤7、重采样：计算有效粒子数目，比较有效粒子数目与有效采样尺度的大小，舍弃权重小的粒子，保留权重大的粒子，产生新的粒子集；

步骤8、重复步骤3～步骤7，继续跟踪下一帧图像。

进一步地，步骤2所述的初始化：在视频图像的初始帧，手动选择矩形框确定跟踪目标，建立对应的目标模板，设定采样粒子个数并初始化粒子状态，计算目标模板的边缘特征直方图、纹理特征直方图和深度特征直方图，具体如下：

步骤2.1、手动选择矩形框t＝[x,y,width,height]确定跟踪目标，其中x和y分别为矩形框中心的横纵坐标，width为矩形框的宽，height为矩形框的高；设定采样粒子个数n，粒子初始状态初始化融合权值初始化粒子权重为

步骤2.2、使用sobel算子计算灰度图像目标区域的梯度，得到目标模板的边缘特征直方图qe(u)；采用lbp算子提取纹理特征，得到目标模板的纹理特征直方图qt(u)；统计深度图像每个像素对应的区域到相机的距离，得到目标模板的深度特征直方图qd(u)。

进一步地，步骤3所述的粒子状态更新：根据状态转移方程进行预测，更新粒子状态，得到新的粒子集，并建立候选模板，计算各粒子的边缘特征直方图、纹理特征直方图和深度特征直方图，具体如下：

步骤3.1、使用二阶自回归模型xk＝axk-1+bxk-2+cn(0,σ)对粒子进行预测，并建立候选模板，其中xk为预测的当前粒子状态，xk-1与xk-2分别表示第k-1、k-2时刻的粒子状态，a和b为系数矩阵，n(0,σ)是均值为0、标准差为1的高斯噪声；

步骤3.2、使用sobel算子计算灰度图像目标区域的梯度，得到粒子的边缘特征直方图pe(u)；采用lbp算子提取纹理特征，得到粒子的纹理特征直方图pt(u)；统计深度图像每个像素对应的区域到相机的距离，得到粒子的深度特征直方图pd(u)。

进一步地，步骤4所述的特征融合策略：对步骤3中的每个粒子分别计算其特征直方图与目标模板直方图的巴氏距离，获得单特征的观测似然函数，将候选模板与目标模板的相似度由高至低进行排序，得到边缘、纹理和深度特征的位置均值、标准差及总体位置均值，计算每个特征的区分度，然后按照分配规则动态自适应更新各个特征的融合权值，最后根据加性融合策略得到多特征融合观测模型，具体如下：

步骤4.1、结合巴氏距离计算目标模板特征直方图qc(u)与粒子特征直方图pc(u)的相似程度ρc和直方图距离dc，其中c∈{e,t,d}，得到第i个粒子的边缘特征、纹理特征和深度特征的观测似然函数分别为和

步骤4.2、将n个粒子在边缘、纹理及深度特征下的相似度从高至低进行排序，分别计算边缘特征、纹理特征和深度特征下粒子集的位置均值μe,μt,μd、位置标准差σe,σt,σd，以及粒子集的总体位置均值μs，设定每个特征的区分度系数λc'为：

则归一化后的边缘、纹理及深度的区分度分别为λe、λt和λd；

步骤4.3、在k时刻每个特征的融合权值分别为：

αk＝τ·(λe)k+(1-τ)·αk-1

βk＝τ·(λt)k+(1-τ)·βk-1

γk＝τ·(λd)k+(1-τ)·γk-1

其中，(λe)k、(λt)k和(λd)k分别表示在k时刻的边缘、纹理及深度特征区分度，αk-1、βk-1和γk-1分别为k-1时刻的边缘、纹理及深度融合权值，τ为权值调节系数；

步骤4.4、针对单一特征在目标表述上的不完整性和不确定性，根据加性融合策略得到多特征融合观测模型为融合公式如下：

进一步地，步骤6所述的跟踪窗口调整：基于步骤2的标定的目标矩形框，根据候选模板与目标模板的相似程度计算当前时刻图像的矩形框大小，统计粒子权重小于权重阈值tp的粒子个数并与预设阈值进行比较，当权重小的粒子个数大于设定阈值时，则根据调节公式修正窗口尺寸，并得到当前时刻的跟踪矩形窗口，具体如下：

步骤6.1、将粒子按权重大小进行排序，统计粒子权重小于权重阈值tp的粒子个数nd，设定窗口粒子阈值为nw，判断nd与nw的大小，若nd＜nw，则保持目标窗口大小不变，即widthk＝widthk-1，heightk＝heightk-1；若nd≥nw，则调整窗口大小；

步骤6.2、窗口大小调节公式为：

widthk＝η×widthk-1

heightk＝η×heightk-1

其中，d为当前时刻粒子到运动目标中心的平均欧式距离，dpre为前一时刻粒子到目标中心的平均欧式距离。

下面结合附图和具体实施例对本发明作进一步的详细说明。

实施例

结合图1，本发明一种基于多特征融合的粒子滤波目标跟踪方法，包括以下步骤：

步骤1、对采集到的图像进行均值滤波操作去噪声，获得跟踪所需的视频序列；

步骤2、初始化：在视频图像的初始帧，手动选择矩形框确定跟踪目标，建立对应的目标模板，设定采样粒子个数并初始化粒子状态，计算目标模板的边缘特征直方图、纹理特征直方图和深度特征直方图，具体如下：

步骤2.1、点击鼠标左键，实时标定矩形框t＝[x,y,width,height]，当检测到鼠标放开时，确定跟踪目标框。其中x和y分别为矩形框中心的坐标，width为矩形框的宽，height为矩形框的高。设定采样粒子个数n，粒子初始状态初始化融合权值初始化粒子权重为

步骤2.2、建立直方图来表示特征概率分布模型。使用sobel算子计算灰度图像目标区域的梯度，得到边缘特征直方图qe(u)，采用lbp算子提取纹理特征，则目标的纹理特征直方图为qt(u)，统计深度图像每个像素对应的区域到相机的距离，得到深度特征直方图为qd(u)。

步骤3、粒子状态更新：根据状态转移方程进行预测，更新粒子状态，得到新的粒子集，计算各粒子的边缘特征直方图、纹理特征直方图和深度特征直方图，具体如下：

步骤3.1、使用二阶自回归模型xk＝axk-1+bxk-2+cn(0,σ)对粒子进行预测，并建立候选模板，其中xk为预测的当前粒子状态，xk-1与xk-2分别表示第k-1、k-2时刻的粒子状态，a和b为系数矩阵，n(0,σ)是均值为0，标准差为1的高斯噪声。

步骤3.2、采用与步骤2.2相同方法，计算粒子的边缘特征直方图pe(u)，纹理特征直方图为pt(u)，深度特征直方图为pd(u)。

步骤4、特征融合策略：对步骤3中的每个粒子分别计算其特征直方图与目标模板的bhattacharyya距离，将候选模板直方图与目标模板直方图的相似度进行排序、得到各特征的位置均值、位置标准差及总体位置均值，并计算每个特征的区分度，然后按照分配规则动态自适应更新各个特征的融合权值，获得单特征的观测似然函数，最后根据加性融合策略得到多特征融合观测模型，结合图2，具体如下：

步骤4.1、结合巴氏距离计算目标模板特征直方图qc(u)与粒子特征直方图pc(u)的相似程度ρc和直方图距离dc，其中c∈{e,t,d}：

则第i个粒子的特征观测似然函数为：

步骤4.2、将n个粒子在边缘、纹理及深度特征下的相似度从高往低进行排序，分别计算每个特征下粒子集的位置均值μe,μt,μd、标准差σe,σt,σd，以及粒子集的总体位置均值单特征下的标准差，以及均值与总体均值的偏差均表示单特征与总体的偏移程度。偏差越大，代表此特征在特征融合时应赋予较小的权值，反之，偏差越小，则此特征相似性度量与总体更接近，在特征融合时应赋予较大的权值。设每个特征的区分度系数为：

则归一化后的边缘、纹理及颜色的区分度分别为λe，λt和λd。

步骤4.3、为避免目标对场景变化过于敏感，则在k时刻每个特征的融合权值为：

αk＝τ·(λe)k+(1-τ)·αk-1

βk＝τ·(λt)k+(1-τ)·βk-1

γk＝τ·(λd)k+(1-τ)·γk-1

其中，(λe)k，(λt)k，(λd)k表示在k时刻的特征区分度，αk-1，βk-1和γk-1是k-1时刻的融合权值，τ为权值调节系数(在本实施例中，τ取0.5)。

步骤4.4、针对单一特征在目标表述上的不完整性和不确定性，根据加性融合策略得到多特征融合观测模型为融合公式如下：

步骤5、目标状态估计：根据步骤4的观测概率密度函数结合上一时刻的粒子权重计算当前时刻的粒子权重并进行归一化，则第i个粒子的权重为利用得到的粒子权重，采用加权准则确定目标状态和位置信息为

步骤6、跟踪窗口调整：基于步骤2的矩形框，根据粒子与目标模板的相似程度计算当前时刻图像的矩形框大小。统计权重小的粒子个数并与预设阈值进行比较，当存在部分粒子的权重均较小时，则需根据调节公式修正窗口尺寸，结合图3，具体如下：

步骤6.1、将粒子按权重大小进行排序，统计粒子权重小于权重阈值tp(在本实施例中，tp取0.018)粒子个数nd。设定窗口粒子阈值为nw，并判断nd与nw的大小，若nd＜nw，保持目标窗口大小不变，即widthk＝widthk-1，heightk＝heightk-1。当nd≥nw时，窗口大小则需要调整；

步骤6.2、针对窗口调整情况，窗口大小调节公式为：

widthk＝η×widthk-1

heightk＝η×heightk-1

设粒子到运动目标中心的平均欧式距离是d，前一时刻粒子到目标中心的平均欧式距离是dpre，两者之比为调节尺度，即

步骤7、重采样：计算有效粒子数目，比较有效粒子数目与设定阈值的大小，在保证总粒子数不变的情况下，舍弃权重小的粒子，保留权重大的粒子。重新确定跟踪目标状态。

步骤8、重复步骤3～步骤7，继续跟踪下一帧图像。

将相机与pc机连接，标定相机坐标系，调整相机检测距离。安装完成后开始拍摄，将视频图像传入计算机处理系统，处理平台为visualstudio2015+opencv3.1.0，其中视频单幅图像的大小为752×480。

图4是实施例中视频初始帧图像及对应的目标灰度深度图，其中图4(a)是原始图像，图4(b)为深度图像。图5是实施例中的仿真效果图，其中图5(a)～(d)分别是视频的第19帧、第80帧、第132帧、第181帧的跟踪效果图。从中可以看出，本发明对目标进行多特征描述，同时引入了表示距离特性的深度特征，有利于确定目标的位置改变及目标尺度变化问题。在进行多特征融合时，计算了单特征的位置均值、标准差及总体位置均值，以及每个特征的区分度，动态更新融合权值，相对于使用固定分配的融合权值无法区分特征评价能力的情况，本发明提高了特征模板的自适应能力。此外，在权重小的粒子数超过阈值时，通过设置矩形框的长宽变量来调整跟踪窗口大小，有效避免背景干扰。