一种视频目标跟踪的位置修正方法及系统与流程

本发明涉及计算机图像处理技术领域，特别涉及一种视频目标跟踪的位置修正方法及系统。

背景技术：

视频目标跟踪是计算机视觉领域的一个重要研究方向，它的任务是找出目标在视频序列的每一帧中的位置，亦即找到目标在视频序列中的运动轨迹。目标跟踪也是计算机视觉领域一个基础性的研究方向，视频智能分析、视频语义分析、智能机器人等都需要目标跟踪的技术支持。

近年来，随着视频获取设备的发展和视频网络传输的日益成熟，视频中目标跟踪技术越来越受到人们的关注。不论在各大高校实验室和研究所中，还是在全球各大公司中，视频目标跟踪被列为一个重点的研究方向。目标跟踪理论的发展，能够大力地推动视频智能处理领域的发展和智能机器人的技术突破。

传统视频目标跟踪方法都使用在线学习的方式更新跟踪模型的参数，以适应目标在视频中的表观形态变化。然而，当跟踪模型在某些视频帧中做出的预测与实际结果存在误差时，传统视频目标跟踪方法会将错误的信息引入跟踪模型。这样的误差会导致视频目标跟踪方法在后续的视频帧中丢失跟踪目标的本来信息，而将背景信息当成追踪目标，从而导致目标跟踪的失败。

例如，在对车辆这类物体进行环绕跟踪时，车辆的正面与侧面在视频帧中的宽高比不同。传统视频目标跟踪方法在车辆正面获取到的目标信息会随着车辆在视频中角度变化会变得非常不准确，并无法作为预测的依据。这时，如果有一种独立于追踪目标的表观形态信息的预测位置的修正方法对追踪的结果进行矫正，那么就能大大地提升目标跟踪方法的鲁棒性。因此，研究并实现一种目标跟踪结果的修正方法对于目标跟踪至关重要。

技术实现要素：

本发明的目的是提供一种视频目标跟踪的位置修正方法及系统，采用了独立于追踪目标的表观形态信息的预测位置的修正方法对追踪的结果进行矫正，容错率高，鲁棒性好且智能化程度高。

为解决上述技术问题，本发明提供一种视频目标跟踪的位置修正方法，包括：

根据上一帧训练得到的平移预测模型对目标当前帧的平移进行预测，并根据上一帧训练得到的尺度预测模型对目标当前帧的尺度进行预测；

在平移预测出的目标位置区域外侧确定一个矩形搜索区域，并计算所述矩形搜索区域对应的第一参数值；

在所述矩形搜索区域内利用预测的预定个数尺度采样目标图像信息，并计算所述目标图像信息对应的第二参数值；

根据所述第一参数值和所述第二参数值确定所述矩形搜索区域内具有目标信息的图像块，并计算所述图像块的边缘信息图；

将所述边缘信息图划分为相同大小的子区域，利用似物性采样算法对每个所述子区域与所述矩形搜索区域进行对比得到修正区域。

可选的，计算所述矩形搜索区域对应的第一参数值，包括：

提取所述矩形搜索区域的特征，并利用二维鉴别性相关滤波方法求解第一参数值。

可选的，计算所述目标图像信息对应的第二参数值，包括：

提取所述目标图像信息的特征，并利用一维鉴别性相关滤波方法求解第二参数值。

可选的，将所述边缘信息图划分为相同大小的子区域，利用似物性采样算法对每个所述子区域与所述矩形搜索区域进行对比得到修正区域，包括：

将所述边缘信息图划分为相同大小的子区域，将每个所述子区域与所述矩形搜索区域进行对比，统计每个所述子区域内部的边缘信息量，并根据统计的边缘信息量筛选出候选子区域；

对每个所述候选子区域依次进行平移预测和尺度预测，将预测结果与所述矩形搜索区域进行对比，统计每个预测结果的边缘信息量，并筛选出边缘信息量最多的候选子区域作为修正区域。

可选的，将所述边缘信息图划分为相同大小的子区域，包括：

设定一个固定的窗口大小，以及遍历步长；

利用所述遍历步长在所述边缘信息图上按照从左到右以及从上到下的顺序遍历整个边缘信息图，将所述边缘信息图划分为相同大小的子区域。

可选的，将每个所述子区域与所述矩形搜索区域进行对比，统计每个所述子区域内部的边缘信息量，并根据统计的边缘信息量筛选出候选子区域，包括：

计算每个所述子区域与所述矩形搜索区域的重叠率；并选取重叠率超过设定的重叠率阈值对应的子区域作为预选子区域；

将每个所述预选子区域的得分与设定的得分阈值进行比较，筛选出超过所述得分阈值对应的预选子区域作为候选子区域。

本发明还提供了一种视频目标跟踪的位置修正系统，包括：

平移检测模块，用于根据上一帧训练得到的平移预测模型对目标当前帧的平移进行预测，在平移预测出的目标位置区域外侧确定一个矩形搜索区域，并计算所述矩形搜索区域对应的第一参数值；

尺度检测模块，用于根据上一帧训练得到的尺度预测模型对目标当前帧的尺度进行预测，在所述矩形搜索区域内利用预测的预定个数尺度采样目标图像信息，并计算所述目标图像信息对应的第二参数值；

矩框修正模块，用于根据所述第一参数值和所述第二参数值确定所述矩形搜索区域内具有目标信息的图像块，并计算所述图像块的边缘信息图；将所述边缘信息图划分为相同大小的子区域，利用似物性采样算法对每个所述子区域与所述矩形搜索区域进行对比得到修正区域。

可选的，所述矩框修正模块，包括：

候选子区域单元，用于将所述边缘信息图划分为相同大小的子区域，将每个所述子区域与所述矩形搜索区域进行对比，统计每个所述子区域内部的边缘信息量，并根据统计的边缘信息量筛选出候选子区域；

修正区域确定单元，用于对每个所述候选子区域依次进行平移预测和尺度预测，将预测结果与所述矩形搜索区域进行对比，统计每个预测结果的边缘信息量，并筛选出边缘信息量最多的候选子区域作为修正区域。

可选的，所述候选子区域单元，包括：

子区域确定子单元，用于设定一个固定的窗口大小，以及遍历步长；利用所述遍历步长在所述边缘信息图上按照从左到右以及从上到下的顺序遍历整个边缘信息图，将所述边缘信息图划分为相同大小的子区域。

可选的，所述候选子区域单元，包括：

预选子区域子单元，用于计算每个所述子区域与所述矩形搜索区域的重叠率；并选取重叠率超过设定的重叠率阈值对应的子区域作为预选子区域；

候选子区域子单元，用于将每个所述预选子区域的得分与设定的得分阈值进行比较，筛选出超过所述得分阈值对应的预选子区域作为候选子区域。

本发明所提供的一种视频目标跟踪的位置修正方法，包括：根据上一帧训练得到的平移预测模型对目标当前帧的平移进行预测，并根据上一帧训练得到的尺度预测模型对目标当前帧的尺度进行预测；在平移预测出的目标位置区域外侧确定一个矩形搜索区域，并计算矩形搜索区域对应的第一参数值；在矩形搜索区域内利用预测的预定个数尺度采样目标图像信息，并计算目标图像信息对应的第二参数值；根据第一参数值和第二参数值确定矩形搜索区域内具有目标信息的图像块，并计算图像块的边缘信息图；将边缘信息图划分为相同大小的子区域，利用似物性采样算法对每个子区域与矩形搜索区域进行对比得到修正区域；

可见，该方法将目标的平移预测和尺度预测分开进行；在每一帧中先对目标的平移进行预测，然后在预测出的平移位置进行多尺度采样，利用采样得到的信息对目标做尺度预测。之后，利用似物性采样算法，在搜索区域周围获取多个可能为物体的候选区域，通过设定一种判别准则，结合平移预测和尺度预测的结果，在多个候选区域中选择一个最有可能为追踪目标的物体作为修正的结果，具有精确度高、鲁棒性好和智能化程度高的优点。本发明还提供一种视频目标跟踪的位置修正系统，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的视频目标跟踪的位置修正方法的流程图；

图2为本发明实施例所提供的视频目标跟踪的位置修正系统的结构框图。

具体实施方式

本发明的核心是提供一种视频目标跟踪的位置修正方法及系统，采用了独立于追踪目标的表观形态信息的预测位置的修正方法对追踪的结果进行矫正，容错率高，鲁棒性好且智能化程度高。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例所提供的视频目标跟踪的位置修正方法的流程图；该方法可以包括：

s100、根据上一帧训练得到的平移预测模型对目标当前帧的平移进行预测，并根据上一帧训练得到的尺度预测模型对目标当前帧的尺度进行预测。

具体的，该步骤具体为预测阶段，其包含两个子阶段：

第一，平移预测阶段，根据上一帧训练得到的平移预测模型对目标当前帧的平移进行预测。

第二，尺度预测阶段，根据上一帧训练得到的尺度预测模型对目标当前帧的尺度进行预测。具体的，初始情况下即第一帧时，平移预测模型和尺度预测模型的初始值即第一帧对应的数值。

s110、在平移预测出的目标位置区域外侧确定一个矩形搜索区域，并计算矩形搜索区域对应的第一参数值。

s120、在矩形搜索区域内利用预测的预定个数尺度采样目标图像信息，并计算目标图像信息对应的第二参数值。

具体的，该步骤s110和s120具体为训练阶段，其包含两个子阶段：

第一，平移训练阶段，即在预测出的目标的位置区域周围选取一个矩形搜索区域，提取其特征，求解相关第一参数。

第二，尺度训练阶段，即在选取的矩形搜索区域内采样多个尺度的目标图像信息，提取其特征，求解相关第二参数。

其中，根据上述3个步骤可以看到本实施例中将目标的平移预测和尺度预测分开进行。在每一帧中，本发明先对目标的平移进行预测，然后在预测出的平移位置进行多尺度采样(即利用预测的预定个数尺度采样目标图像信息)，利用采样得到的信息对目标做尺度预测(即将采样得到的信息作为尺度预测模型在下一帧对目标当前帧的尺度进行预测)。具体的，上述特征的提取方法可以采用现有的yolo特征提取算法进行特征提取。

优选的，为了提高相关参数计算的准确性，本实施例中第一参数和第二参数的求解可以利用鉴别性相关滤波的方法，具体可以如下：

提取矩形搜索区域的特征，并利用二维鉴别性相关滤波方法求解第一参数值。

提取目标图像信息的特征，并利用一维鉴别性相关滤波方法求解第二参数值。

后续步骤s130和s140进入矩框修正阶段。

s130、根据第一参数值和第二参数值确定矩形搜索区域内具有目标信息的图像块，并计算图像块的边缘信息图。

具体的，该步骤主要选取矩形搜索区域内的图像块，计算得到图像块的边缘信息图。即系统运行过程中，矩框修正阶段的输入为平移预测模块和尺度预测模块进行处理之后的目标所在的矩形搜索区域内的图像块。

s140、将边缘信息图划分为相同大小的子区域，利用似物性采样算法对每个子区域与矩形搜索区域进行对比得到修正区域。

具体的，该步骤主要将边缘信息图划分为多个相同大小的子区域，将每个子区域和矩形搜索区域利用似物性采样算法进行比对，筛选出修正区域。即在确定图像块之后，会计算输入图像块的边缘信息量。然后，计算每个子区域内部的边缘信息作为似物性采样算法的衡量标准(例如可以利用扫描窗口的方式统计出每个子区域内部的边缘信息的多少)。之后，输出排名靠前的多个子区域作为候选区域。最后，从这些候选区域中选择一个最优的结果作为修正的结果。本实施例并不限定具体的选取规则。

本实施例并不限定具体的边缘信息量的具体内容。一般情况下边缘信息量可以由区域信息和得分信息组成。例如矩形搜索区域的边缘信息量为预测阶段和训练阶段处理后得到一个矩形搜索区域和其对应的一个得分两者共同组成矩形搜索区域的边缘信息量即边缘信息量。

如果在矩形搜索区域中没有找到满足似物性条件的候选区域，则不做修正，将目标跟踪系统的状态判定交给重检测模块即进行重新检测。

优选的，将边缘信息图划分为相同大小的子区域，利用似物性采样算法对每个子区域与矩形搜索区域进行对比得到修正区域可以包括：

将边缘信息图划分为相同大小的子区域，将每个子区域与矩形搜索区域进行对比，统计每个子区域内部的边缘信息量，并根据统计的边缘信息量筛选出候选子区域；

对每个候选子区域依次进行平移预测和尺度预测，将预测结果与矩形搜索区域进行对比，统计每个预测结果的边缘信息量，并筛选出边缘信息量最多的候选子区域作为修正区域。

具体的，将每个子区域和矩形搜索区域进行比对，统计出每个子区域内部的边缘信息量；同时，根据边缘信息量的多少，筛选出部分子区域作为候选子区域；对筛选出的每一个候选子区域依次进行平移预测和尺度预测；将预测的结果和矩形搜索区域再进行比对，统计出预测的结果的边缘信息量，筛选出最优的结果对应的子区域作为最终的结果。

具体的，将边缘信息图划分为相同大小的子区域可以包括：

设定一个固定的窗口大小，以及遍历步长；

利用遍历步长在边缘信息图上按照从左到右以及从上到下的顺序遍历整个边缘信息图，将边缘信息图划分为相同大小的子区域。

具体的，设定一个固定的窗口大小，然后按一定的步长(即遍历步长)在边缘信息图上按从左到右，从上到下的顺序遍历整个图像，每一次步长移动将获取一个子区域。

具体的比较过程可以如下：

计算每个子区域与矩形搜索区域的重叠率；并选取重叠率超过设定的重叠率阈值对应的子区域作为预选子区域；

将每个预选子区域的得分与设定的得分阈值进行比较，筛选出超过得分阈值对应的预选子区域作为候选子区域。

具体的，将边缘信息图划分为多个相同大小的子区域时，都将得到一个矩形区域(即子区域)和一个得分，计算每一个矩形区域和矩形搜索区域的重叠率，按照设定的重叠率阈值筛掉部分结果；然后按得分的得分阈值再筛掉部分结果。本实施例中并不限定具体重叠率阈值和得分阈值的数值，其可以由用户进行确定和修改。

基于上述技术方案，本发明实施例提供的视频目标跟踪的位置修正方法，将目标的平移预测和尺度预测分开进行；在每一帧中先对目标的平移进行预测，然后在预测出的平移位置进行多尺度采样，利用采样得到的信息对目标做尺度预测。之后，利用似物性采样算法，在搜索区域周围获取多个可能为物体的候选区域，通过设定一种判别准则，结合平移预测和尺度预测的结果，在多个候选区域中选择一个最有可能为追踪目标的物体作为修正的结果；即采用了一种独立于追踪目标的表观形态信息的预测位置的修正方法对追踪的结果进行矫正，具有精确度高、鲁棒性好和智能化程度高的优点。

下面对本发明实施例提供的视频目标跟踪的位置修正系统进行介绍，下文描述的视频目标跟踪的位置修正系统与上文描述的视频目标跟踪的位置修正方法可相互对应参照。

请参考图2，图2为本发明实施例所提供的视频目标跟踪的位置修正系统的结构框图；该系统可以包括：

平移检测模块100，用于根据上一帧训练得到的平移预测模型对目标当前帧的平移进行预测，在平移预测出的目标位置区域外侧确定一个矩形搜索区域，并计算矩形搜索区域对应的第一参数值；

尺度检测模块200，用于根据上一帧训练得到的尺度预测模型对目标当前帧的尺度进行预测，在矩形搜索区域内利用预测的预定个数尺度采样目标图像信息，并计算目标图像信息对应的第二参数值；

矩框修正模块300，用于根据第一参数值和第二参数值确定矩形搜索区域内具有目标信息的图像块，并计算图像块的边缘信息图；将边缘信息图划分为相同大小的子区域，利用似物性采样算法对每个子区域与矩形搜索区域进行对比得到修正区域。即矩框修正模块300为利用似物性采样算法通过判断和比对获取最优结果的模块。

具体的，平移检测模块100实现对目标进行平移检测，尺度检测模块200，实现对目标进行尺度检测，矩框修正模块300实现根据平移检测模块和尺度检测模块的结果进行位置修正。

进一步，平移检测模块100包括：平移预测单元和平移训练单元；平移预测单元用于对每一帧中目标的平移进行预测；即根据上一帧训练得到的平移预测模型对目标当前帧的平移进行预测；平移训练单元用于对平移预测出的位置周围选取一个矩形搜索区域，并提取特征；即在平移预测出的目标位置区域外侧确定一个矩形搜索区域，并计算矩形搜索区域对应的第一参数值。

尺度检测模块200包括：尺度预测单元和尺度训练单元；尺度预测单元用于对每一帧中目标的尺度进行预测；即根据上一帧训练得到的尺度预测模型对目标当前帧的尺度进行预测；尺度训练单元用于对尺度预测单元预测出的位置周围采样多个尺度的目标图像信息，并提取特征；即在矩形搜索区域内利用预测的预定个数尺度采样目标图像信息，并计算目标图像信息对应的第二参数值。

矩框修正模块300包括边缘信息获取单元用来获取边缘信息图。

进一步，平移检测模块100和尺度检测模块200在进行检测过程中，均采用基于鉴别性相关滤波的方法。矩框修正模块300使用似物性采样方法进行矩形框修正。其中，平移检测模块100在预测出的位置周围划定一定大小的搜索区域，并提取特征。然后利用一个二维的鉴别性相关滤波方法求解模型的第一参数。尺度检测模块200在在矩形搜索区域内利用预测的预定个数尺度采样目标图像信息，并提取特征，然后利用一个一维的鉴别性相关滤波方法求解模型的第二参数。

基于上述实施例，矩框修正模块300可以包括：

候选子区域单元，用于将边缘信息图划分为相同大小的子区域，将每个子区域与矩形搜索区域进行对比，统计每个子区域内部的边缘信息量，并根据统计的边缘信息量筛选出候选子区域；

修正区域确定单元，用于对每个候选子区域依次进行平移预测和尺度预测，将预测结果与矩形搜索区域进行对比，统计每个预测结果的边缘信息量，并筛选出边缘信息量最多的候选子区域作为修正区域。

基于上述实施例，候选子区域单元可以包括：

子区域确定子单元，用于设定一个固定的窗口大小，以及遍历步长；利用遍历步长在边缘信息图上按照从左到右以及从上到下的顺序遍历整个边缘信息图，将边缘信息图划分为相同大小的子区域。

基于上述实施例，候选子区域单元可以包括：

预选子区域子单元，用于计算每个子区域与矩形搜索区域的重叠率；并选取重叠率超过设定的重叠率阈值对应的子区域作为预选子区域；

候选子区域子单元，用于将每个预选子区域的得分与设定的得分阈值进行比较，筛选出超过得分阈值对应的预选子区域作为候选子区域。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种视频目标跟踪的位置修正方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。