一种运动目标跟踪方法及装置与流程

本发明涉及运动目标跟踪领域，具体而言，涉及一种运动目标跟踪方法及装置。

背景技术：

基于稀疏表示的视觉跟踪算法通常将稀疏表示和运动估计方法相结合对运动目标进行跟踪，如将稀疏表示与学习策略、均值偏移方法、贝叶斯运动估计、粒子滤波等相结合，对动态环境中的运动目标进行跟踪。

采用稀疏光流提取跟踪过程中所需要的特征，虽然可以达到在线跟踪的目的，可这种方法只适合于小位移的运动物体，对于比局部图像结构更大的位移信息无法准确跟踪。另外，粒子滤波方法在相同的障碍物出现时，不能避免漂移现象的产生。虽然可以通过对每一个粒子进行学习，并将其作为一个独有的工作以提高算法的鲁棒性，但是，算法的速率将大大降低，而且粒子退化的问题仍然存在。贝叶斯运动估计的方法对运动目标的跟踪不能在线进行，无法达到在线实时跟踪的目的。

技术实现要素：

有鉴于此，本发明的目的在于提供一种运动目标跟踪方法及装置。

一方面，本发明实施例提供一种运动目标跟踪方法，该方法包括：对运动目标的当前帧进行初始化采样，得到初始采样片集合；分别对所述当前帧及该当前帧的前一帧构建高斯金字塔模型，并从当前帧所对应的高斯金字塔模型的顶层开始逐层计算每一层的剩余光流向量，以得到该当前帧的方向向量；根据所述方向向量及初始采样片集合计算权值映射矩阵，并将该权值映射矩阵所对应的当前帧上不属于所述初始采样片集合的新的采样片加入该初始采样片集合中，得到完备采样片集合；对所述完备采样片集合中的每一个采样片分别进行稀疏编码获得对应的稀疏向量，再得到由所述稀疏向量构成的该完备采样片集合对应的稀疏矩阵；采用最大平均池化算法对所述稀疏矩阵进行特征筛选，得到所述完备采样片集合中每一个采样片所对应的池化向量；根据所述池化向量计算对应采样片的重建误差，以根据该采样片的重建误差、池化向量以及预设权值计算该采样片的观测概率；获取具有最大观测概率的采样片作为最终的运动目标跟踪结果。

另一方面，本发明实施例提供一种运动目标跟踪装置，该装置包括：初始采样模块，用于对运动目标的当前帧进行初始化采样，得到初始采样片集合；方向向量计算模块，用于分别对所述当前帧及该当前帧的前一帧构建高斯金字塔模型，并从当前帧所对应的高斯金字塔模型的顶层开始逐层计算每一层的剩余光流向量，以得到该当前帧的方向向量；补偿采样模块，用于根据所述方向向量及初始采样片集合计算权值映射矩阵，并将该权值映射矩阵所对应的当前帧上不属于所述初始采样片集合的新的采样片加入该初始采样片集合中，得到完备采样片集合；稀疏矩阵计算模块，用于对所述完备采样片集合中的每一个采样片分别进行稀疏编码获得对应的稀疏向量，再得到由所述稀疏向量构成的该完备采样片集合对应的稀疏矩阵；最大平均池化模块，用于采用最大平均池化算法对所述稀疏矩阵进行特征筛选，得到所述完备采样片集合中每一个采样片所对应的池化向量；观测概率计算模块，用于根据所述池化向量计算对应采样片的重建误差，以根据该采样片的重建误差、池化向量以及预设权值计算该采样片的观测概率；跟踪结果获取模块，用于获取具有最大观测概率的采样片作为最终的运动目标跟踪结果。

本发明提供的运动目标跟踪方法及装置，在特征提取阶段，提出了基于方向向量和最大平均池化的特征提取方法，引入方向向量，建立方向向量与初始采样片之间的映射关系，对初始采样片集合进行补偿，以弥补初始化过程中采样信息的不足，丰富了特征类型，对运动目标的表示更加全面；在运动估计阶段，提出了基于权值选择的运动目标跟踪方法，利用重构误差修正采样片的观测概率，增加与方向向量相对应的采样片的权值，计算修正后的观测概率，得出最终的运动目标跟踪结果，有效提高了跟踪的准确性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明较佳实施例提供的一种数据处理设备的示意性结构框图；

图2为本发明较佳实施例提供的一种运动目标跟踪装置的功能模块框图；

图3为本发明较佳实施例提供的一种运动目标跟踪方法的流程图；

图4为本发明较佳实施例提供的图3所示的运动目标跟踪方法中对当前帧进行补偿采样后的示意图。

附图标记：

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，是本发明较佳实施例提供的一种数据处理设备100的示意性结构框图。该数据处理设备100包括存储器200、处理器300以及运动目标跟踪装置400。所述数据处理设备100可以是计算机或其他任意具有数据处理能力的计算设备。

所述存储器200与处理器300之间直接或间接地电性连接，以实现数据的传输或交互。例如，可通过一条或多条通讯总线或信号线实现电性连接。所述运动目标跟踪装置400包括至少一个可以软件或固件(firmware)的形式存储于所述存储器200中或固化在所述数据处理设备100的操作系统(operating system，OS)中的软件功能模块。所述处理器300用于执行存储器200中存储的可执行模块，例如所述运动目标跟踪装置400包括的软件功能模块或计算机程序。所述处理器300在接收到执行指令后，执行所述功能模块或程序，下述本发明任一实施例揭示的流过程定义的服务器所执行的方法可以应用于处理器300中，或者由处理器300实现。

如图2所示，是本发明较佳实施例提供的所述运动目标跟踪装置400的功能模块框图。该运动目标跟踪装置400包括初始采样模块410、方向向量计算模块420、补偿采样模块430、稀疏矩阵计算模块440、最大平均池化模块450、观测概率计算模块460及跟踪结果获取模块470。各个功能模块所执行的操作可参照下述运动目标跟踪方法中具体步骤的详细描述。

请参阅图3，是本发明较佳实施例提供的使用所述数据处理设备100实现的运动目标跟踪方法的流程图。所应说明的是，本发明提供的运动目标跟踪方法并不以图3及以下所述的具体顺序为限制。下面将对图3所示的具体步骤及流程进行详细阐述。

步骤S101，对运动目标的当前帧进行初始化采样，得到初始采样片集合。

所述初始采样模块410可用于执行该步骤S101。具体地，在当前帧的前一帧跟踪结果的周围进行初始化采样，获得初始采样片集合Y＝{y₁,y₂,...,y_m}，其中，y_i∈R^p,i＝1,2,...,m，m为采样片的个数。

步骤S103，分别对所述当前帧及该当前帧的前一帧构建高斯金字塔模型，并从当前帧所对应的高斯金字塔模型的顶层开始逐层计算每一层的剩余光流向量，以得到该当前帧的方向向量。

所述方向向量计算模块420可用于执行该步骤S103。具体操作方法为，对当前帧及前一帧分别构建高斯金字塔模型和其中L＝1,2,3，然后从当前帧所对应的高斯金字塔模型的最顶层开始逐层计算每一层的剩余光流向量。具体地，假设高斯金字塔模型中第L层的光流向量为通过计算式：

求解第L层上的剩余光流向量其中，(x,y)∈R＝{R_x,R_y}，区域R是为以为中心、以[r_x,r_y]为半径的圆形区域，即且有表示由第L+1层传递给第L层的光流向量，由此，令可得：

其中，[·]^T表示矩阵的转置操作。对中的一阶求导，可得：

其中，

再令在[0,0]处用泰勒展开式代替得到：

根据在(x,y)处的梯度，有：

$\[d_x^{L-1},d_y^{L-1}\]=2\[d_x^L+v_x^L,d_y^L+v_y^L\]$

由此，当前帧的方向向量为：

$D_v=\underset{L=1}{\overset{3}{\Σ}}{2}^L{\stackrel{\‾}{v}}^L$

步骤S105，根据所述方向向量及初始采样片集合计算权值映射矩阵，并将该权值映射矩阵所对应的当前帧上不属于所述初始采样片集合的新的采样片加入该初始采样片集合中，得到完备采样片集合。

所述补偿采样模块430可用于执行该步骤S105。具体地，通过构建三层高斯金字塔模型，可推算出能够计算的最大位移为15个像素。根据方向向量D_v及初始采样片集合Y计算出权值映射矩阵E，并通过该权值映射矩阵E找到当前帧中与其相对应的新的采样片集合G＝(g₁,g₂,...,g_l)∈Ω^d×l。如图4所示，是本实施例提供的一种对当前帧进行补偿采样后的示意图，其中“口”形采样片为初始化采样时得到的采样片，属于初始采样片集合Y，“米”形采样片为通过权值映射矩阵E找到当前帧中与其相对应的新的采样片，属于采样片集合G。

对于所述新的采样片集合G，有：

G＝G_I∪G₀，且

其中，G_I＝{g_e∈Y},e∈{1,2,...,l}，且以图4为例，G_I即为图中与“口”形采样片重合的所有“米”形采样片组成的集合，G₀即为图中不与任意“口”形采样片重合的所有“米”形采样片组成的集合。将G₀添加到初始采样片集合Y中，得到完备采样片集合即：

$\hat{Y}=Y\∪G_0,\hat{Y}=\{{\hat{y}}_1,{\hat{y}}_2,\mathrm{...},{\hat{y}}_n\},$

其中n≥m，表示完备采样片集合中总采样片数。

步骤S107，对所述完备采样片集合中的每一个采样片分别进行稀疏编码获得对应的稀疏向量，再得到由所述稀疏向量构成的该完备采样片集合对应的稀疏矩阵。

所述稀疏矩阵计算模块440可用于执行该步骤S107。具体的操作方法为，根据计算式：

$w_i^{*}=\underset{w_i}{\arg \min }\left|\right|{\hat{y}}_i-{\mathrm{Dw}}_i|{|}_2^2+\mathrm{\λ}|\left|w_i\right|{|}_1,i=1,2,\mathrm{...},n$

计算完备采样片集合中每一个采样片对应的稀疏向量。D表示字典，即为采样片经稀疏编码后得到的稀疏向量，为完备采样片集合中所有采样片所对应的稀疏向量构成的稀疏矩阵，即为该完备采样片集合对应的稀疏矩阵。

步骤S109，采用最大平均池化算法对所述稀疏矩阵进行特征筛选，得到所述完备采样片集合中每一个采样片所对应的池化向量。

为了将局部最优及全局的平均信息都考虑在内，本实施例中，提出一种最大平均池化方法对所述稀疏矩阵的特征进行筛选。所述最大平均池化模块450可用于执行该步骤S109。具体的操作方法为，根据最大平均池化计算式：

${\stackrel{\‾}{w}}_i=\frac{max\{w_{i1}^{*},w_{i2}^{*},...,w_{ij}^{*},...,w_{in}^{*}\}}{\Σw_{i1}^{*}},j=1,2,...,n$

对稀疏矩阵W^*进行特征筛选，为与采样片对应的池化向量。

步骤S111，根据所述池化向量计算对应采样片的重建误差，以根据该采样片的重建误差、池化向量以及预设权值计算该采样片的观测概率。

所述观测概率计算模块460可用于执行该步骤S111。具体的操作方法为，通过每一个采样片的重建误差衡量该采样片的观测概率。采样片的重建误差为其中池化向量是与重建误差e_i相对应的向量，若e_i的第j个元素为零，则的第j个元素为1，否则的第j个元素为零。由此，采样片的观测概率为：

$P\left(z_i\right|x_i)=\frac{1}{{\mathrm{\β}}_i}\exp (-|\left|e_i\right|{|}_2^2+\Σ\left(1-{\stackrel{\‾}{w}}_i\right))$

其中第二项用于对被遮挡的像素点进行惩罚。系数为采样片对应的预设权值，若采样片则β_i为(0,1)之间的随机数，若则β_i为1。

步骤S113，获取具有最大观测概率的采样片作为最终的运动目标跟踪结果。

具有最大观测概率的采样片最接近运动目标的真实位置，所以获取其作为运动目标的跟踪结果。所述跟踪结果获取模块470可用于执行该步骤S113。

另外，由于引入重建误差来衡量采样片的观测概率，在跟踪过程中有可能出现“跳变”现象，即突然的漂移现象。较佳地，本实施例中，为了避免“跳变”对跟踪结果的影响，提出了权值选择策略。假设δ为尺度因子，修正稀疏编码产生误差的权值，如果稀疏结果与上一帧的跟踪结果相似，那么取当前稀疏结果为最终的跟踪结果，否则利用计算式：

$\tilde{Z}={\mathrm{\δZ}}_1+(1-\mathrm{\δ})Z_0$

求取最终的跟踪结果。其中，Z₁表示通过稀疏编码方法直接求取的跟踪结果，Z₀表示计算观测概率后求取的跟踪结果。尺度因子δ通常设置为0.3。该种权值选择策略的实质是在不增加计算复杂度的前提下，采用折中求解方式对运动目标进行跟踪，以提高跟踪结果的准确性。当运动目标发生变形时，所设置的尺度因子能够抑制漂移现象的产生，继而增强跟踪结果的准确性。

再者，较佳地，还可以对当前帧的前十帧的跟踪结果进行学习，完成跟踪过程中对字典的更新。具体地，利用得到的稀疏向量重建源模板，如下式所示：

$min\underset{i=1}{\overset{h}{\Σ}}\left|\right|b_i-{\mathrm{Dw}}_i^{*}|{|}_2^2$

其中，b₁,b₂,...,b₁₀表示通过K-SVD字典训练方法学习得到的结果。最大重建误差对应的模板将由新模板代替，这一过程维持了与运动目标最相似的特征，降低了噪声的影响以及模板退化现象。

本发明提供的运动目标跟踪方法及装置，在特征提取阶段，提出了基于方向向量和最大平均池化的特征提取方法，引入方向向量，建立方向向量与初始采样片之间的映射关系，对初始采样片集合进行补偿，以弥补初始化过程中采样信息的不足，丰富了特征类型，对运动目标的表示更加全面；在运动估计阶段，提出了基于权值选择的运动目标跟踪方法，利用重构误差修正采样片的观测概率，增加与方向向量相对应的采样片的权值，计算修正后的观测概率，得出最终的运动目标跟踪结果，有效提高了跟踪的准确性。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。