专利名称：基于视觉注意机制的改进粒子滤波目标跟踪的方法
技术领域：
本发明主要涉及到计算机视觉方法领域，特指一种基于视觉注意机制的改进粒子滤波目标跟踪方法。
背景技术：
目标跟踪是计算机视觉研究中的一个重要课题，它是目标行为理解的基础，是图像系统连续准确工作的重要部分。视觉跟踪通常是指在连续变化的视频序列中对感兴趣区域或者目标对象进行精确定位。在计算机视觉识别与处理系统中，目标跟踪处于图像运动检测和目标行为理解之间的处理环节，是图像系统进行连续准确工作的重要部分，在视频监控，视频编解码压缩技术，机器人定位与导航，智能交通工具，虚拟现实的人机交互等应用中具有非常重要的价值和意义。如何有效提高目标跟踪算法在复杂环境下的准确性，以及如何增加算法在多变场景下的鲁棒性，比如城市交通道路环境，一直是目标跟踪的两个关键问题。粒子滤波跟踪算法因其能有效解决非线性非高斯系统的状态估计问题而受到了广泛的重视，成为目前视觉跟踪领域研究的主流。近年来，很多学者围绕粒子滤波算法的不足展开了大量研究，并取得了一定的成果。然而采用单一特征的方法无法持续稳健地胜任复杂多变环境下的目标跟踪问题，现有的多特征融合算法则通常是以提高计算复杂度为代价，在融入过多的特征时，算法的实时性无法保证。基于视觉注意模型和粒子滤波的目标跟踪算法提出利用图像的显著性特征来改进粒子滤波跟踪算法对图像显著性特征的计算仍较复杂；基于动态显著性特征的粒子滤波和基于视觉显著的目标追踪算法主要关注如何利用粒子滤波来对具备显著性特征的目标进行跟踪，但是不适用于对某个特定目标的跟踪问题；运用视觉显著的粒子滤波是目前最新的将显著性特征与粒子滤波结合用于目标跟踪的方法，但是其只采用了单一的颜色和亮度作为特征向量。
发明内容
本发明要解决的技术问题就在于针对现有技术存在的技术问题，本发明提供一种模拟人类视觉机制的多特征目标跟踪方法，即融合了颜色、纹理、运动特征并能够保证实时性、准确性、健壮性的基于视觉注意机制的改进粒子滤波目标跟踪的方法。为解决上述技术问题，本发明采用以下技术方案一种基于视觉注意机制的改进粒子滤波目标跟踪的方法，其步骤为(1)、初始化输入；首先通过手动选择所需跟踪的目标；随后对所选区域的图像粒子进行初始化；若获取图像成功，则对于初始化粒子进行预处理，否则就结束；选取新图像，更新粒子分布，以适应场景的改变；(2)、特征建模及基于视觉显著性机制进行粒子过滤；根据特征的显著性排序选出一个最优特征，对该特征建模并过滤不匹配粒子，最后得到最优粒子集；所述特征包括颜色特征、纹理特征和运动特征；根据最优粒子集计算目标位置，输出跟踪结果；同时，根据上述最优特征更新特征的显著性排序。作为本发明的进一步改进所述步骤O)的具体流程为在完成对颜色、纹理和运动特征建模的基础上，会将各种不同特征按其在特定的场景中的显著性进行排序；接下来，在场景中分配粒子，对所有的粒子均先从具有最高显著性的特征开始计算，通过设定阈值排除那些与该显著性特征不相匹配粒子；如果这一步完成以后只剩下一个粒子则说明这个粒子即为目标的预测位置， 否则说明该显著性特征不能将目标与所有干扰目标区分，还需要有其他的显著性进行配合，则选取一个次高的显著性作为参照，对剩下的粒子进行同样的筛选工作，直到剩下一个最优的粒子集；同时，以上步骤完成以后需要通过反馈的信息对特征的显著性的排序进行更新。本发明中，所述颜色特征的建模流程为采用HSV颜色空间来对颜色信息进行建模，H表示色调，S表示饱和度，V表示强度， 将图像信息归一化颜色直方图；采用巴特查理亚距离作为运动目标区域颜色直方图与各个粒子所在的区域的直方图之间相似度的度量，巴氏距离计算公式如下
η -=
/ 二 1其中η为图像直方图的维度，p(i)为运动目标的颜色直方图分布，q(i)为粒子所在区域的颜色直方图分布，并且P (i)和q(i)都是归一化的函数。本发明中，所述纹理特征的建模流程为采用基于图像灰度共生矩阵的方法来提取目标区域的纹理特征；对于纹理特征的相似性度量，定义了运动目标的纹理特征向量T(X)T (χ) = (Ent (χ)，Egy (χ)，Con (χ)，Cor (χ)，Horn (x))；其中Ent (χ)，Egy (χ)，Con (χ)，Cor (χ)，以及Hom (χ)分别表示纹理特征的熵，能量值，对比度，相关性以及均勻度。定义一个参数矩阵Μ，它被用来调整各个特征量在环境中的敏感性M = (ment, megy, mcon, mcor, mhom)T其中，ment，megy，m。。n，mcor, mhom分别表示作为参数的熵，能量值，对比度，相关性以及均勻度。由此得到相似度的判别公式Δ T = T (X1) -T (X0)，d = | Δ T · M |。其中，T(X1)和T(Xtl)分别为粒子目标与原始目标的纹理特征。本发明中，所述运动特征是对物体的运动过程进行记录，并基于牛顿运动定律对物体的后续运动进行预测；所述运动特征的建模流程为假设定义一个记录目标当前运动状态的变量S，并且有s = (x, y, vx, vy, ax, ay)其中χ和y分别表示目标当前所在位置的χ和y坐标，Vx和Vy则表示目标运动速度在χ和y坐标上的分量，ax和、则表示目标运动的加速度在χ和y坐标上的分量，进一步建立如下的目标状态转移方程si+1 = MiS^Vi
其中，Mi为牛顿运动定律所决定的状态转移矩阵，Si是当前目标的运动的状态向量，Vi为观测噪声；根据初试的目标运动状态推出下一帧的目标的运动位置，速度以及加速度的信息，反过来，通过下一帧的目标跟踪所得到的位置再对其之前的运动方程的参数进行修正。与现有技术相比，本发明的优点在于本发明是模拟人类视觉机制的多特征目标跟踪方法，其融合了颜色、纹理、运动特征，能够保证实时性、准确性、健壮性；本发明主要是针对单一特征跟踪算法识别准确性不高，特别是在遮挡状况下无法对目标特征进行检测和跟踪的问题，考虑到粒子滤波算法在处理非线性、非高斯跟踪问题上的优越性，而提出一种融合颜色、纹理和运动信息等多类特征的改进粒子滤波跟踪方法，并在方法中引入了视觉注意机制，其比单一特征跟踪的准确性和健壮性高，比其他普通多特征融合算法实时性强。
图1是本发明的流程示意图；图2是本发明中基于视觉显著性机制进行粒子过滤的流程示意图。
具体实施例方式以下将结合说明书附图和具体实施例对本发明做进一步详细说明。如图1所示，本发明基于视觉注意机制的改进粒子滤波目标跟踪方法，其步骤为一、初始化输入；首先通过手动选择所需跟踪的目标(步骤①所示)；随后对所选区域的图像粒子进行初始化(步骤②)；若获取图像成功(步骤③)，即成功取得指定目标的图像信息则对于初始化粒子进行预处理，否则就结束(步骤⑩)。预处理包括过滤图像噪声(步骤④)，用来为下一个步骤提供更精确的输入。更新粒子分布(步骤⑤)，以适应场景的改变；二、特征建模及基于视觉显著性机制进行粒子过滤；根据特征的显著性排序选出一个最优特征，对该特征(包括颜色、纹理和运动特征)建模并过滤不匹配粒子，最后得到最优粒子集；根据最优粒子集计算目标位置，输出跟踪结果；同时，根据上述最优特征更新特征的显著性排序(步骤⑧)。参见图2，上述过程中，在完成对颜色、纹理和运动特征建模的基础上，会将各种不同特征按其在特定的场景中的显著性进行排序；接下来，在场景中分配粒子，对所有的粒子均先从具有最高显著性的特征开始计算，通过设定阈值排除那些与该显著性特征不相匹配粒子；如果这一步完成以后只剩下一个粒子则说明这个粒子即为目标的预测位置，否则说明该显著性特征不能将目标与所有干扰目标区分，还需要有其他的显著性进行配合，则选取一个次高的显著性作为参照，对剩下的粒子进行同样的筛选工作，直到剩下一个最优的粒子集。同时，以上步骤完成以后需要通过反馈的信息对特征的显著性的排序进行更新，以保证在接下来变化的场景中最优的显著性特征排在最前面。对显著性特征的更新。因为对视频帧的处理是连续循环的，对一个帧的处理完成以后需要通过反馈的信息对特征的显著性的排序进行更新，以保证在接下来变化的场景中最优的显著性特征排在最前面。
上述内容可概括为以下两个步骤(1)假定有集合A，其元素为运动目标的特征(颜色、纹理、运动信息)，根据运动目标所处的不同场景，从集合A中选取一个子集B，子集B中为当前场景下对目标进行跟踪的最优子集，即子集B的元素个数为在成功跟踪当前场景下的目标基础上最少；( 选择出这个最优子集B后，按照子集B中每种特征在当前场景下的显著性进行排序，然后根据显著性特征由大到小的顺序来过滤粒子，按照这种顺序进行粒子的过滤，将减少对于每个粒子重复计算各种特征的次数，从而使粒子的计算最优化。由上可知，以上所描述方法融入了视觉注意机制，其实现过程实际上就是一个模拟人眼识别机制的过程。视觉注意机制，即根据目标物体在不同场景下对人眼刺激的显著性不同，对目标的各个特征按照显著性强弱排序，并以此对散布粒子进行过滤，直至最终准确快速定位所追踪目标。人类视觉机制是动态变化的，首先图像进入眼睛刺激视觉神经，然后那些显著性高的目标首先引起大脑的反应，并且部分特征明显的目标记录在人脑将形成存储信息，当下次出现类似的信息时马上对新图像分区搜索其最显著的特征。类似的，根据上述方法的描述，当获得一副图像时，首先将图像分区域搜索信息，也就是使用粒子在不同区域的分布获得信息，然后调用存储的显著性最强的特征进行搜索，并依次按照显著性特征的排序对散布的粒子集进行过滤，直到剩下一个最优的粒子子集；最后这些搜索匹配的过程所获得的信息又会反馈给系统，以更新特征的显著性顺序。这种显著性的排序就是在不断地获得图像的过程中形成记忆而积累下来的，根据已经被跟踪过的场景和新的场景共同对特征的显著性进行打分。本实施例中，对于颜色、纹理和运动特征建模所采用的方法分别如下1、颜色特征建模采用HSV颜色空间来对颜色信息进行建模，H(Hue)表示色调，S(saturation) 表示饱和度，V(Value)表示强度，将图像信息归一化为颜色直方图。采用巴特查理亚 (Battacharyya)距离作为运动目标区域颜色直方图与各个粒子所在的区域的直方图之间相似度的度量。由于图像直方图的值都是离散取值，因此巴氏距离计算公式如下 \ρ(η)^(η)\ = ^ΛΙρ{ γ^{ 其中η为图像直方图的维度，p(i)为运动目标的颜色直方图分布，q(i)为粒子所在区域的颜色直方图分布，并且P (i)和q(i)都是归一化的函数。2、纹理特征建模采用基于图像灰度共生矩阵(Gray-Level Co-occurrence Matrix, GLCM)的方法来提取目标区域的纹理特征。对于纹理特征的相似性度量，定义了运动目标的纹理特征向量T(X)T (χ) = (Ent (χ)，Egy (χ)，Con (χ)，Cor (χ)，Horn (x))，其中Ent (χ)，Egy (χ)，Con (χ)，Cor (χ)，以及Hom (χ)分别表示纹理特征的熵，能量值，对比度，相关性以及均勻度。在纹理特征向量中，不同的场景或者环境下纹理特征向量中的值的敏感性不尽相同，因此可以自定义一个参数矩阵M，M的取值可以根据具体的情况设定，它被用来调整各个特征量在环境中的敏感性M = (ment, megy, mcon, mcor, mhom)T其中，ment，megy，mcon, mcor, mhom分别表示作为参数的熵，能量值，对比度，相关性以及均勻度。由此得到相似度的判别公式Δ T = T (X1) -T (X0)d = I Δ T · M其中，T(X1)和T(Xtl)分别为粒子目标与原始目标的纹理特征。3、运动特征建模运动特征建模是对物体的运动过程进行记录，并基于牛顿运动定律对物体的后续运动进行预测。假设定义一个记录目标当前运动状态的变量S，并且有s = (x, y, vx, vy, ax, ay)其中X和y分别表示目标当前所在位置的X和y坐标，Vx和Vy则表示目标运动速度在χ和y坐标上的分量，ax和ay则表示目标运动的加速度在χ和y坐标上的分量，进一步建立如下的目标状态转移方程si+1 = M1S^Y1其中，Mi为牛顿运动定律所决定的状态转移矩阵，Si是当前目标的运动的状态向量，Vi为观测噪声。对于观测噪声，可以在一定范围内对其进行随机设定，这样根据初试的目标运动状态推出下一帧的目标的运动位置，速度以及加速度的信息，反过来，通过下一帧的目标跟踪所得到的位置再对其之前的运动方程的参数进行修正。以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例， 凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
8
权利要求
1.一种基于视觉注意机制的改进粒子滤波目标跟踪的方法，其特征在于，步骤为(1)、初始化输入；首先通过手动选择所需跟踪的目标；随后对所选区域的图像粒子进行初始化；若获取图像成功，则对于初始化粒子进行预处理，否则就结束；选取新图像，更新粒子分布；(2)、特征建模及基于视觉显著性机制进行粒子过滤；根据特征的显著性排序选出一个最优特征，对该特征建模并过滤不匹配粒子，最后得到最优粒子集；所述特征包括颜色特征、纹理特征和运动特征；根据最优粒子集计算目标位置，输出跟踪结果；同时，根据上述最优特征更新特征的显著性排序。
2.根据权利要求1所述的基于视觉注意机制的改进粒子滤波目标跟踪的方法，其特征在于，所述步骤O)的具体流程为在完成对颜色、纹理和运动特征建模的基础上，会将各种不同特征按其在特定的场景中的显著性进行排序；接下来，在场景中分配粒子，对所有的粒子均先从具有最高显著性的特征开始计算，通过设定阈值排除那些与该显著性特征不相匹配粒子；如果这一步完成以后只剩下一个粒子则说明这个粒子即为目标的预测位置，否则说明该显著性特征不能将目标与所有干扰目标区分，还需要有其他的显著性进行配合， 则选取一个次高的显著性作为参照，对剩下的粒子进行同样的筛选工作，直到剩下一个最优的粒子集；同时，以上步骤完成以后需要通过反馈的信息对特征的显著性的排序进行更新。
3.根据权利要求1或2所述的基于视觉注意机制的改进粒子滤波目标跟踪的方法，其特征在于，所述颜色特征的建模流程为采用HSV颜色空间来对颜色信息进行建模，H表示色调，S表示饱和度，V表示强度，将图像信息归一化为颜色直方图；采用巴特查理亚距离作为运动目标区域颜色直方图与各个粒子所在的区域的直方图之间相似度的度量，巴氏距离计算公式如下
4.根据权利要求1或2所述的基于视觉注意机制的改进粒子滤波目标跟踪的方法，其特征在于，所述纹理特征的建模流程为采用基于图像灰度共生矩阵的方法来提取目标区域的纹理特征；对于纹理特征的相似性度量，定义了运动目标的纹理特征向量T(X)T (χ) = (Ent (χ)，Egy (χ)，Con (χ)，Cor (χ)，Horn (x))；其中Ent (x), Egy (x), Con (x), Cor (χ)，以及Hom (χ)分别表示纹理特征的熵，能量值，对比度，相关性以及均勻度；定义一个参数矩阵Μ，它被用来调整各个特征量在环境中的敏感性M 一 (nient J ITlegyJ ITlconJ ITlcorJ mhom)其中，ment，megy，m。。n，mcor, mhoffl分别表示作为参数的熵，能量值，对比度，相关性以及均勻度；由此得到相似度d的判别公式Δ T = T (X1)-T (X0)，d = I AT · M其中，T(X1)和T(Xtl)分别为粒子目标与原始目标的纹理特征。
5.根据权利要求1或2所述的基于视觉注意机制的改进粒子滤波目标跟踪的方法，其特征在于，所述运动特征是对物体的运动过程进行记录，并基于牛顿运动定律对物体的后续运动进行预测；所述运动特征的建模流程为假设定义一个记录目标当前运动状态的变量s，并且有S = (x, y, vx, vy, ax, ay)其中X和y分别表示目标当前所在位置的X和y坐标，Vx和Vy则表示目标运动速度在 X和y坐标上的分量，ax和ay则表示目标运动的加速度在χ和y坐标上的分量，进一步建立如下的目标状态转移方程 si+1 = MiS^Vi其中，Mi为牛顿运动定律所决定的状态转移矩阵，Si是当前目标的运动的状态向量，Vi 为观测噪声；根据初试的目标运动状态推出下一帧的目标的运动位置，速度以及加速度的信息，反过来，通过下一帧的目标跟踪所得到的位置再对其之前的运动方程的参数进行修正。
全文摘要
一种基于视觉注意机制的改进粒子滤波目标跟踪的方法，其步骤为(1)、初始化输入；(2)、特征建模及基于视觉显著性机制进行粒子过滤；根据特征的显著性排序选出一个最优特征，对该特征建模并过滤不匹配粒子，最后得到最优粒子集；所述特征包括颜色特征、纹理特征和运动特征；根据最优粒子集计算目标位置，输出跟踪结果；同时，根据上述最优特征更新特征的显著性排序。本发明为模拟人类视觉机制的多特征目标跟踪方法，其融合了颜色、纹理、运动特征，能够保证其实时性、准确性、健壮性。
文档编号G06T7/20GK102521844SQ201110389749
公开日2012年6月27日 申请日期2011年11月30日 优先权日2011年11月30日
发明者文龙, 杨翔, 熊鹏, 田峥, 秦云川, 肖德贵, 蔡幼奇, 陈琳 申请人:湖南大学