滤波器训练方法及目标跟踪方法与流程

本发明属于计算机视觉领域，具体涉及一种滤波器训练方法及目标跟踪方法。

背景技术：

现有的目标跟踪方法中，越来越多的计算机视觉工作者开始研究利用相关滤波理论进行目标跟踪。

与传统的跟踪方式不同，基于相关滤波理论的目标跟踪理论是将跟踪场景中的目标和背景进行分类，将分类得到的置信度最大的位置作为目标所在的位置。相关滤波最大的特点是计算速度快，并且可以在跟踪过程中对分类器进行实时学习更新，以快速适应目标的位置、姿态变化。这些特点使得相关滤波算法能够及时调整跟踪器的状态，进而适用于多种复杂的环境。

相关滤波中的分类器通过滤波器来实现，滤波器对目标框进行随机仿射变换，获取包括要跟踪目标的目标框的一系列训练样本，然后选取以图像块中心输出为峰值的高斯函数为期望输出，以保证图像块中心的响应最大，进而得到中心响应最大的区域，即为目标所在的位置。

现有的一种滤波器训练方法的图像帧如图3所示，所要跟踪的目标为图像帧中的小人，当前目标框为图中的虚线框。通过对虚线框区域进行随机仿射变换获得一系列实线框区域，这些实线框区域便是需要的训练样本f,而后，通过找到一个滤波器，使其在目标上的高斯响应最大，即如下公式：

其中g表示响应输出，f表示输入图像，h表示滤波器。

显然，经过仿射变换之后，便可得到已训练的滤波器h。

但是由于现有的训练滤波器方法所使用的跟踪模板是通过对目标框进行随机仿射变换得到的，当目标的尺度发生变化或目标发生旋转时，滤波器不能很好的适应目标框的变化问题，因而不能精确地对目标位置进行跟踪，甚至造成目标丢失。

技术实现要素：

为了解决现有技术中存在的上述问题，本发明提供了一种滤波器训练方法及目标跟踪方法。本发明要解决的技术问题通过以下技术方案实现：

本申请提供了一种滤波器训练方法，上一图像帧为当前图像帧之前时刻的图像帧，第一特征点集包括上一图像帧中的特征点，第二特征点集包括当前图像帧中的特征点；方法包括：

根据第一特征点集和第二特征点集计算当前图像帧的多个参数；

判断多个参数是否满足预设条件，若判断结果为是，则根据多个参数调整当前图像帧中的目标框；

根据已调整的目标框训练滤波器。

在一个优选例中，第二特征点集包括：第三特征点集和第四特征点集，

第三特征点集包括对第一特征点集中的特征点跟踪得到的当前图像帧中的特征点，第四特征点集包括对与上一图像帧中目标框对应的当前图像帧的区域进行特征点提取得到的特征点；以及

第二特征点集是对第三特征点集和第四特征点集取并集得到的。

在一个优选例中，根据第一特征点集和第二特征点集计算当前图像帧的多个参数，包括：根据第一特征点集和第二特征点集中相匹配的特征点对计算当前图像帧中的目标框的多个参数；

相匹配的特征点对为存在于第一特征点集中存在特征点，以及该特征点在第二特征点集中对应的特征点。

在一个优选例中，第一特征点集由上一图像帧中的特征点组成。

在一个优选例中，第一特征点集包括从上一图像帧中提取的特征点，以及对上一图像帧的前一图像帧中的特征点跟踪得到的上一图像帧中的特征点。

在一个优选例中，判断多个参数是否满足预设条件，包括：若判断结果为否，则根据当前图像帧中的目标框训练滤波器。

在一个优选例中，当前图像帧的多个参数包括多个缩放比例和/或多个旋转角度。

在一个优选例中，判断多个参数是否满足预设条件,包括：

若存在至少两个放缩比例不等于1，或者至少两个旋转角度不等于0，则判断结果为是。

本申请还提供了一种目标跟踪方法，上一图像帧为当前图像帧之前时刻的图像帧，第一特征点集包括上一图像帧中的特征点，第二特征点集包括当前图像帧中的特征点；方法包括：

根据第一特征点集和第二特征点集计算当前图像帧的多个参数；

根据多个参数判断当前图像帧中的目标框是否存在放缩和/或旋转；

若判断结果为是，则根据多个参数对当前图像帧中的目标框进行调整，并根据已调整的目标框对当前图像帧中的目标框进行跟踪；

若判断结果为否，则根据当前图像帧中的目标框对当前图像帧中的目标框进行跟踪。

在一个优选例中，该目标跟踪方法使用上述优选例中的滤波器进行目标跟踪。

与现有技术相比，本发明的有益效果：

本申请提出了一种滤波器训练方法及一种目标跟踪方法，能够充分利用上一帧图像中的特征点信息，在对目标跟踪中加入放缩比例估计和旋转角度估计，能够有效检测到目标位置、姿态发生的变化，实现更准确的跟踪。

进一步地，本方案通过上一帧图像的fast特征点信息得到当前图像帧中目标框的缩放因子和旋转因子，加入尺度估计和旋转角度估计来生成训练滤波器所需要使用的正样本，进而训练出对尺度变化和旋转角度变化更加鲁棒的滤波器，以此来增强跟踪算法对目标发生尺度变化和角度变化时的鲁棒性。

附图说明

图1为本申请实施方式中一种滤波器训练方法的流程图；

图2为本申请实施方式中一种目标跟踪方法的流程图；

图3为现有技术中一种滤波器训练方法中的图像帧。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

本申请所涉及的术语解释：

fast特征点(featuresfromacceleratedsegmenttest)：一种角点检测方法，它可以用于特征点的提取，并完成跟踪和映射物体。

a和/或b，a以及/或者b：包括a和b、或者a、或者b三种情况。

鲁棒性：是指控制系统在一定(结构，大小)的参数摄动下，维持其它某些性能的特性。

本申请第一实施方式涉及一种滤波器训练方法，图1为本申请第一实施方式中一种滤波器训练方法的流程图。在该滤波器训练方法中，上一图像帧为当前图像帧之前时刻的图像帧，第一特征点集包括上一图像帧中的特征点，第二特征点集包括当前图像帧中的特征点；如图1所示，该方法包括：

步骤101：根据第一特征点集和第二特征点集计算当前图像帧的多个参数，

此后进入步骤102：判断所述多个参数是否满足预设条件；

若判断结果为是，则进入步骤103：根据所述多个参数调整当前图像帧中的目标框；此后进入步骤104：根据已调整的目标框训练滤波器；

若判断结果为否，则进入步骤105：根据当前图像帧中的目标框训练滤波器。

此后结束流程。

在一个实施例中，第二特征点集包括第三特征点集和第四特征点集，

第三特征点集包括对第一特征点集中的特征点跟踪得到的当前图像帧中的特征点，第四特征点集包括对当前图像帧中目标框进行特征点提取得到的特征点。

在一个实施例中，第二特征点集包括：第三特征点集和第四特征点集，

第三特征点集包括对第一特征点集中的特征点跟踪得到的当前图像帧中的特征点，第四特征点集包括对与上一图像帧中目标框对应的当前图像帧的区域进行特征点提取得到的特征点；优选地，对当前图像帧进行特征点提取，选取位于与上一图像帧中目标框对应的区域的特征点，作为第四特征点集。

在一个实施例中，第三特征点集是对第一特征点集进行光流法跟踪、剔除跟踪失败的特征点而得到的，即去除第一特征点集中存在、而当前图像帧中不存在的特征点。

在一个实施例中，第二特征点集是对第三特征点集和第四特征点集取并集得到的，通过取并集将第一特征点集跟踪失败的特征点补入第二特征点集中。

在一个实施例中，步骤101包括：根据第一特征点集和第二特征点集中相匹配的特征点对计算当前图像帧中的目标框的多个参数，相匹配的特征点对为存在于第一特征点集中的特征点，以及该特征点在第二特征点集中对应的特征点。

在一个实施例中，上一图像帧为初始图像帧，在步骤101之前还包括：对初始图像帧得到的目标框进行灰度化，提取其fast特征点，并将fast特征点生成brisk特征描述子，以作为第一特征点集。优选地，初始图像帧并不限于输入的第一帧，任一图像帧都可以被指定为初始图像帧。

在一个实施例中，上一图像帧为初始图像帧，第一特征点集由该上一图像帧中的特征点组成。

在一个实施例中，上一图像帧不是初始图像帧，第一特征点集包括从该上一图像帧中提取的特征点，以及对该上一图像帧的前一图像帧中的特征点跟踪得到的该上一图像帧中的特征点；优选地，第一特征点集是由这两部分特征点取并集得到的，以保证第一特征点集中具有足够多的特征点。

在一个实施例中，当前图像帧的多个参数包括多个缩放比率和/或多个旋转角度。

在一个实施例中，计算当前图像帧的缩放比率包括以下步骤：

第二特征点集为其中m为特征点的个数，第一特征点集与第二特征点集的匹配特征点对为其中为第二特征点集中的特征点(即当前图像帧中的特征点)，为第一特征点集中与第二特征点集相匹配的特征点(即上一图像帧中与当前图像帧中的特征点相对应的特征点)；特征点表示上一图像帧中的特征点在当前图像帧中的形式，则特征点对和之间的放缩比例rt(i,j)为：

其中||·||表示欧氏距离。

在一个实施例中，计算当前图像帧的旋转角度包括以下步骤：

在第一特征点集中，任意两个特征点构成的点对与水平面之间的角度为在第二特征点集中，和构成的点对与水平面之间的角度为则和之间的角度变化为：

在一个实施例中，判断多个参数是否满足预设条件,包括：

若存在至少两个放缩比例rt(i,j)不等于1，或者

存在至少两个旋转角度不等于0，则判断结果为是。

在一个实施例中，“根据所述多个参数调整所述当前图像帧中的目标框，根据已调整的目标框训练滤波器”包括：

取多个旋转角度的中值作为旋转因子多个放缩比例的中值作为放缩因子r；

以旋转因子为角度，对当前图像帧中的目标框作反向旋转，使其与上一图像帧中的目标框的方向保持一致，以得到抗旋转的目标框；

对抗旋转的目标框按照放缩因子r进行反向放缩，以恢复到与上一图像帧中目标框相同的尺寸；

对经过反向放缩的目标框进行随机仿射变换，获得一系列样本，选取目标框的尺寸在0.75r～r/0.75之间的样本作为最终使用的正样本进行滤波器的训练

本申请的第二实施方式涉及一种目标跟踪方法，图2为本申请实施方式中一种目标跟踪方法的流程图。在该目标跟踪方法中，上一图像帧为当前图像帧之前时刻的图像帧，第一特征点集包括上一图像帧中的特征点，第二特征点集包括当前图像帧中的特征点；如图2所示，该方法包括一下步骤：

步骤201：根据第一特征点集和第二特征点集计算当前图像帧的多个参数；

此后进入步骤202：根据所述多个参数判断当前图像帧中的目标框是否存在放缩和/或旋转；

若判断结果为是，则进入步骤203：根据所述多个参数对所述当前图像帧中的目标框进行调整；此后进入步骤204：根据已调整的目标框对所述当前图像帧中的目标框进行跟踪；

若判断结果为否，则进入步骤205：根据所述当前图像帧中的目标框对所述当前图像帧中的目标框进行跟踪。

在一个实施例中，所述目标跟踪方法通过本申请第一实施方式中所述的滤波器来实现。

需要说明的是，在本申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本专利的申请文件中，如果提到根据某要素执行某行为，则是指至少根据该要素执行该行为的意思，其中包括了两种情况：仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。