本发明涉及图像处理领域，尤其是涉及了一种基于多尺度时空区别性显著图的非刚性目标追踪模型。
背景技术
随着计算机技术和视觉图像处理技术的发展，目标追踪技术日渐成为国内外学者热衷研究的一门课题。目标追踪技术主要研究视频图像序列中运动目标的检测、提取、识别和追踪，涉及到机器视觉、图像处理和模式识别等专业领域，有着广阔的应用前景。在人机交互中，目标追踪技术可用于追踪人的姿态、动作、手势等以理解人的意图；在虚拟现实技术中，通过目标追踪技术可对人体动作进行追踪分析，以实现在虚拟环境中的3d交互和虚拟角色动作模拟；在医学诊断中，目标追踪技术可用于超声波和核磁序列图像变化的追踪，从而进行内部器官的病情分析；另外，目标追踪技术还广泛应用于无人飞行器、精确制导、空中预警、战场监视、移动机器人和智能视频监控等方面。然而，现有的目标追踪模型存在无法对单一特定目标进行追踪，并且无法同时进行目标检测和追踪导致效率较低等问题。
本发明中提出的一种基于多尺度时空区别性显著图的非刚性目标追踪模型，先用一个定制的完全深度卷积神经网络(tfcn)来模拟图像指定区域的显著先验；然后，用一个多尺度多区域机制来生成局部区域显著图；接下来，采用加权法来对获得的显著图进行融合，以获得一个具有区别性的显著图从而实现目标的定位；最后，采用随机梯度递减(sgd)算法对tfcn模型进行微调以提高追踪模型的网络适应性。本模型相比已有的追踪模型能够对单一特定非刚性目标进行追踪，追踪效果更佳，并且能够同时进行显著性检测和视觉追踪，追踪效率更高。
技术实现要素：
针对现有的目标追踪模型存在无法对单一特定目标进行追踪，并且无法同时进行目标检测和追踪导致效率较低等问题，本发明的目的在于提供一种基于多尺度时空区别性显著图的非刚性目标追踪模型，先用一个定制的完全深度卷积神经网络(tfcn)来模拟图像指定区域的显著先验；然后，用一个多尺度多区域机制来生成局部区域显著图；接下来，采用加权法来对获得的显著图进行融合，以获得一个具有区别性的显著图从而实现目标的定位；最后，采用随机梯度递减(sgd)算法对tfcn模型进行微调以提高追踪模型的网络适应性。
为解决上述问题，本发明提供一种基于多尺度时空区别性显著图的非刚性目标追踪模型，其主要内容包括：
(一)追踪模型初始化；
(二)追踪目标的定位；
(三)模型的在线优化。
其中，所述的追踪模型初始化，先采用一个定制的完全深度卷积神经网络(tfcn)来模拟图像指定区域的显著先验，此过程不仅可以提供像素输出，还能整合语义信息；然后，用一个多尺度多区域机制来生成局部区域显著图，这些显著图能够高效地对具有不同空间布局和尺度变化的视觉效果进行认知；此外，还需要采用一个图像裁剪工具来提高显著区域的鲁棒性。
进一步地，所述的定制的完全深度卷积神经网络(tfcn)，主要可以用于显著性检测和语义分割；显著性分析的目的是从图像背景中提取显著性区域，而语义分割的目的则是对从背景提取的目标进行区分，这两个过程均能生成像素点级别的输出；tfcn采用了两个跳跃连接，并且向中阶层添加高级预测层，以生成图像尺寸分辨率的预测结果。
进一步地，所述的多尺度多区域机制，主要包括：对tfcn进行预训练和提取尺度区域。
进一步地，所述的对tfcn进行预训练，预训练主要基于一个集成显著性数据集
进一步地，所述的提取尺度区域，通过采用一个多区域目标表达法来实现，其原理主要是将每个图像分割成7个部分并计算每个部分的显著图：第一个显著图从一个完整图像中获取；接下来的四个显著图在该完整图像的四个等分区域上计算，以获取空间信息；最后两个显著图则从图像的内部和外部区域提取以强调其尺度特征。
其中，所述的追踪目标的定位，主要采用加权法来对获得的显著图进行融合，以获得一个具有区别性的显著图从而实现目标的定位；在进行非刚性目标的追踪中，采用一个时空一致性显著图模型(stcsm)将时空信息添加到位置推断过程中。
进一步地，所述的加权法，即先采用以下公式对显著图进行合并：
s＝∑nwnsn(1)
其中，s表示显著图，n表示第n个尺度；然后采用加权熵对融合的显著图进行辨别力的评估，加权熵定义如下：
其中，w为最佳加权向量，α为一个常量，si是w中的一个函数，此处si取为s＝∑nwnsn。
进一步地，所述的时空一致性显著图模型(stcsm)，可确定被追踪目标的状态，其公式定义如下：
其中，st为当前帧的显著图，
其中，所述的模型的在线优化，首先采用一个阈值算子将stcsm转变为二进制图，并且将这个二进制图视为当前帧的真值；然后采用随机梯度递减(sgd)算法对tfcn模型进行微调(从样本融合-16层到损失层)以提高追踪模型的网络适应性。
附图说明
图1是本发明一种基于多尺度时空区别性显著图的非刚性目标追踪模型的流程图。
图2是本发明一种基于多尺度时空区别性显著图的非刚性目标追踪模型的tfcn示意图。
图3是本发明一种基于多尺度时空区别性显著图的非刚性目标追踪模型的提取尺度区域示意图。
图4是本发明一种基于多尺度时空区别性显著图的非刚性目标追踪模型的追踪效果图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于多尺度时空区别性显著图的非刚性目标追踪模型的流程图。主要包括追踪模型初始化，追踪目标的定位和模型的在线优化。
追踪模型初始化，先采用一个定制的完全深度卷积神经网络(tfcn)来模拟图像指定区域的显著先验，此过程不仅可以提供像素输出，还能整合语义信息；然后，用一个多尺度多区域机制来生成局部区域显著图，这些显著图能够高效地对具有不同空间布局和尺度变化的视觉效果进行认知；此外，还需要采用一个图像裁剪工具来提高显著区域的鲁棒性。
其中，多尺度多区域机制，主要包括：对tfcn进行预训练和提取尺度区域。
其中，tfcn进行预训练，预训练主要基于一个集成显著性数据集
追踪目标的定位，主要采用加权法来对获得的显著图进行融合，以获得一个具有区别性的显著图从而实现目标的定位；在进行非刚性目标的追踪中，采用一个时空一致性显著图模型(stcsm)将时空信息添加到位置推断过程中。
其中，加权法，加权法即先采用以下公式对显著图进行合并：
s＝∑nwnsn(1)
其中，s表示显著图，n表示第n个尺度；然后采用加权熵对融合的显著图进行辨别力的评估，加权熵定义如下：
其中，w为最佳加权向量，α为一个常量，si是w中的一个函数，此处si取为s＝∑nwnsn。
其中，时空一致性显著图模型(stcsm)，可确定被追踪目标的状态，其公式定义如下：
其中，st为当前帧的显著图，
模型的在线优化，首先采用一个阈值算子将stcsm转变为二进制图，并且将这个二进制图视为当前帧的真值；然后采用随机梯度递减(sgd)算法对tfcn模型进行微调(从样本融合-16层到损失层)以提高追踪模型的网络适应性。
图2是本发明一种基于多尺度时空区别性显著图的非刚性目标追踪模型的tfcn示意图。tfcn主要可以用于显著性检测和语义分割；显著性分析的目的是从图像背景中提取显著性区域，而语义分割的目的则是对从背景提取的目标进行区分，这两个过程均能生成像素点级别的输出；tfcn采用了两个跳跃连接，并且向中阶层添加高级预测层，以生成图像尺寸分辨率的预测结果。
图3是本发明一种基于多尺度时空区别性显著图的非刚性目标追踪模型的提取尺度区域示意图。提取尺度区域主要通过采用一个多区域目标表达法来实现，其原理主要是将每个图像分割成7个部分并计算每个部分的显著图：第一个显著图从一个完整图像中获取；接下来的四个显著图在该完整图像的四个等分区域上计算，以获取空间信息；最后两个显著图则从图像的内部和外部区域提取以强调其尺度特征。
图4是本发明一种基于多尺度时空区别性显著图的非刚性目标追踪模型的追踪效果图。本模型相比已有的追踪模型能够对单一特定非刚性目标进行追踪，追踪效果更佳。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。