一种基于并行处理的目标跟踪方法及装置与流程

1.本发明涉及视觉目标跟踪领域，具体涉及一种基于并行处理的目标跟踪方法及装置。


背景技术：

2.随着目标跟踪技术的发展，涌现出大量的算法，根据其在观察模型中采用的方法将这些算法分为两大类，即生成式模型和判别式模型。生成式模型是最早期的目标跟踪的模型，运用这个模型的算法有光流法、粒子滤波、meanshift算法、camshift算法等，生成式模型首先会对目标进行特征提取然后根据特征来构建目标的模型，最后用该模型去与每一帧图片进行匹配，挑选与模型最相似的地方作为该帧图片中目标的位置。根据建立模型的方法可以把生成式模型分为基于核的算法，基于子空间的算法和基于稀疏表示的算法。生成式模型有一个严重的缺点就是其模型没有进行更新一直使用任务开始时构建的模型，没有考虑到任务过程中环境变化对目标状态的影响，当有的帧中目标比较清晰的时候，可以比较好的找到目标。但当目标出现被遮挡或者处于环境光线条件不好的情况下，用这个模型来追踪效果就不尽如人意了。
3.判别式模型是目前研究目标跟踪的主流模型，这个模型把目标跟踪问题转化为了一个二分类问题，通过模型把目标与背景进行分离，从而获得目标信息。相关滤波本来是用于信号处理的，用来描述两个信号的相关性。mosse算法将相关滤波应用于目标跟踪领域，该算法首先在首帧中提取目标的单通道灰度特征用来训练滤波器，再在下一帧中提取特征并与滤波器相乘，得到最大响应点从而确定目标的位置，最后再把该帧的特征用于训练滤波器从而进行下一帧中目标的确定；csk算法在mosse的基础上采用循环矩阵去进行采样，从而获得大量的循环样本使滤波器更好的学习；kcf算法采用了多通道的hog特征作为输入并且利用了循环矩阵在傅里叶空间可对角化的性质极大的减少运算量，这个算法与之前算法相比，准确率有了明显的提高；samf算法采用了尺度池的方法来解决了跟踪目标的尺度自适应问题，并且提出把hog特征，灰度特征和cn特征三者进行了结合来代替单特征的输入；dsst算法采用了两个滤波器的方法，把定位任务和尺度估计任务分开，先确定目标的中心位置，再根据中心点周围的响应来确定目标的尺度，这样把任务分成两部分可以使速度加快而且也便于单用其中一个功能来与其他算法相结合。
4.随着相关滤波算法的不断改进，跟踪精度和效果都得到了大幅度提升，但是计算的复杂度也越来越高，算法的实时性受到影响。


技术实现要素：

5.有鉴于此，本发明提供了一种基于并行处理的目标跟踪方法及装置，能够解决现有技术中滤波算法用于目标追踪时，算法延迟大的技术问题。
6.为了解决上述技术问题，本发明是这样实现的。
7.一种基于并行处理的目标跟踪方法，包括：
8.步骤s1：获取视频中的当前帧，所述当前帧为所述视频中除初始帧外的其他帧；获取当前帧的上一帧中待追踪目标的追踪结果；提取所述待追踪目标在当前帧中的第一hog特征；
9.步骤s2：将所述第一hog特征基于位置滤波器模板进行位置滤波，得到所述待追踪目标在当前帧中的位置；
10.步骤s3：判断所述待追踪目标在当前帧的位置是否满足预设相关度阈值；若否，则所述待追踪目标丢失，方法结束；若是，进入步骤s4；
11.步骤s4：开启用于尺度滤波的第二线程，所述第二线程基于所述待追踪目标在上一帧中的位置，提取所述待追踪目标在当前帧中的第二hog特征；将所述第二hog特征基于尺度滤波器模板进行尺度滤波，得到所述待追踪目标在当前帧中的尺度；
12.步骤s5：基于所述待追踪目标在当前帧中的位置及尺度，生成当前帧中待追踪目标的追踪结果，并在当前帧中生成包含所述待追踪目标的目标框，更新所述位置滤波器模板及所述尺度滤波器模板。
13.优选地，所述获取当前帧的上一帧中待追踪目标的追踪结果；提取所述待追踪目标在当前帧中的第一hog特征，包括：
14.步骤s11：获取当前帧的上一帧的目标框位置，确定所述目标框包围的区域，将当前帧中与所述目标框包围的区域对应的区域作为特征提取区域；将所述特征提取区域分为多个连通区域，各个连通区域的大小相同；
15.步骤s12：对每个连通区域，执行以下操作：对所述连通区域进行外扩，生成外扩区域，将所述外扩区域作为滤波区域，计算所述滤波区域内各个像素点到所述连通区域的中心点的距离；
16.步骤s13:计算各个滤波区域内各个像素点到所述连通区域的中心点的距离，生成卷积滤波模板；采用所述卷积滤波模板分别卷积各个所述连通区域，得到各个连通区域的hog特征，并根据各个连通区域的hog特征生成所述特征提取区域的hog特征；采用奇异值分解算法对所述特征提取区域的hog特征进行降维，得到所述待追踪目标在当前帧中的第一hog特征。
17.优选地，所述步骤s3：判断所述待追踪目标在当前帧的位置是否满足预设相关度阈值；若否，则所述待追踪目标丢失，方法结束；若是，进入步骤s4，其中：
18.所述预设相关度阈值的确定方式为：获取所述待追踪目标的历史追踪数据，从所述历史追踪数据的初始帧开始，获取第一预设数量的帧图像；计算所述第一预设数量的帧图像中的每一帧图像对所述待追踪目标的追踪结果与所述待追踪目标的相似度值；计算全部相似度值的平均值，将所述平均值作为所述预设相关度阈值。
19.优选地，所述步骤s3包括：
20.步骤s31：从所述待跟踪目标的历史追踪数据中获取第二预设数量的帧图像，计算第二预设数量的帧图像中每一帧图像的所述追踪结果与所述待跟踪目标的相似度值；
21.步骤s32:判断在所述第二预设数量的帧图像中是否有连续第三预设数量的帧图像所对应的所述相似度值小于所述预设相关度阈值；当在所述第二预设数量的帧图像中没有连续第三预设数量的帧图像所对应的所述相似度值小于所述预设相关度阈值时，判定所述待跟踪目标在当前帧图像的位置满足所述预设相关度阈值；当在第二预设数量的帧图像
中有连续第三预设数量的帧图像所对应的相似度值小于预设相关度阈值时，判定待追踪目标跟踪失败。
22.优选地，所述步骤s4中，以所述上一帧图像目标的位置作为中心，长宽分别乘以17个尺度缩放因子得到17个新的连通区域，分别提取各个新的连通区域的hog特征，将这些hog特征进行串联得到所述第二hog特征。
23.本发明所提供的一种基于并行处理的目标跟踪装置，所述装置包括：
24.获取模块：配置为获取视频中的当前帧，所述当前帧为所述视频中除初始帧外的其他帧；获取当前帧的上一帧中待追踪目标的追踪结果；提取所述待追踪目标在当前帧中的第一hog特征；
25.当前位置模块：配置为将所述第一hog特征基于位置滤波器模板进行位置滤波，得到所述待追踪目标在当前帧中的位置；
26.判断模块：配置为判断所述待追踪目标在当前帧的位置是否满足预设相关度阈值；若否，则所述待追踪目标丢失；若是，获取第二线程模块；
27.第二线程模块：配置为开启用于尺度滤波的第二线程，所述第二线程基于所述待追踪目标在上一帧中的位置，提取所述待追踪目标在当前帧中的第二hog特征；将所述第二hog特征基于尺度滤波器模板进行尺度滤波，得到所述待追踪目标在当前帧中的尺度；
28.更新模块：配置为基于所述待追踪目标在当前帧中的位置及尺度，生成当前帧中待追踪目标的追踪结果，并在当前帧中生成包含所述待追踪目标的目标框，更新所述位置滤波器模板及所述尺度滤波器模板。
29.本发明所提供的一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如前所述方法。
30.本发明所提供的一种电子设备，其特征在于，所述电子设备，包括：
31.处理器，用于执行多条指令；
32.存储器，用于存储多条指令；
33.其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如前所述方法。
34.有益效果：
35.本发明根据当前帧图像的上一帧图像中待跟踪目标的追踪结果，提取所述待跟踪目标在当前帧图像中的第一hog特征；将所述第一hog特征与预设滤波器模板进行位置滤波得到所述待跟踪目标在当前帧图像的位置；判断所述待跟踪目标在当前帧图像的位置是否满足预设相关度阈值；当所述待跟踪目标在当前帧图像的位置满足所述预设相关度阈值时，根据所述位置提取所述待跟踪目标在当前帧图像中的第二hog特征，将所述第二hog特征与所述预设滤波器模板进行尺度滤波得到所述待跟踪目标在当前帧图像的尺度；根据所述待跟踪目标在当前帧图像的位置及尺度，生成在当前帧图像中所述待跟踪目标的追踪结果。
36.(1)能够适应复杂环境中的目标跟踪。
37.(2)对目标的形变具有较强的适应性。
38.(3)相较于传统传统算法，相关滤波计算速度快，且具备抗遮挡能力。
附图说明
39.图1为本发明提供的基于并行处理的目标跟踪方法流程示意图；
40.图2为本发明提供的提取待跟踪目标在当前帧图像中的hog特征的方法流程示意图；
41.图3为本发明提供的确定判断待追踪目标检测结果与相关度阈值比较的方法流程示意图；
42.图4为本发明提供的判断待跟踪目标在当前帧图像的位置是否满足预设阈值的方法流程示意图；
43.图5为本发明提供的基于并行处理的目标跟踪示意图。
具体实施方式
44.下面结合附图和实施例，对本发明进行详细描述。
45.如图1、图4所示，本发明提出了一种基于并行处理的目标跟踪方法，包括如下步骤：
46.步骤s1：获取视频中的当前帧，所述当前帧为所述视频中除初始帧外的其他帧；获取当前帧的上一帧中待追踪目标的追踪结果；提取所述待追踪目标在当前帧中的第一hog特征；
47.步骤s2：将所述第一hog特征基于位置滤波器模板进行位置滤波，得到所述待追踪目标在当前帧中的位置；
48.步骤s3：判断所述待追踪目标在当前帧的位置是否满足预设相关度阈值；若否，则所述待追踪目标丢失，方法结束；若是，进入步骤s4；
49.步骤s4：开启用于尺度滤波的第二线程，所述第二线程基于所述待追踪目标在上一帧中的位置，提取所述待追踪目标在当前帧中的第二hog特征；将所述第二hog特征基于尺度滤波器模板进行尺度滤波，得到所述待追踪目标在当前帧中的尺度；
50.步骤s5：基于所述待追踪目标在当前帧中的位置及尺度，生成当前帧中待追踪目标的追踪结果，并在当前帧中生成包含所述待追踪目标的目标框，更新所述位置滤波器模板及所述尺度滤波器模板。
51.所述步骤s1：获取视频中的当前帧，所述当前帧为所述视频中除初始帧外的其他帧；获取当前帧的上一帧中待追踪目标的追踪结果；提取所述待追踪目标在当前帧中的第一hog特征，其中：
52.进一步地，若当前帧的上一帧为初始帧，将用户在初始帧中指定的目标或者对所述初始帧进行检测得到的检测结果作为所述待追踪目标的追踪结果，并生成包含所述待追踪目标的目标框。
53.进一步地，如图2所示，所述获取当前帧的上一帧中待追踪目标的追踪结果；提取所述待追踪目标在当前帧中的第一hog特征，包括：
54.步骤s11：获取当前帧的上一帧的目标框位置，确定所述目标框包围的区域，将当前帧中与所述目标框包围的区域对应的区域作为特征提取区域；将所述特征提取区域分为多个连通区域，各个连通区域的大小相同；
55.步骤s12：对每个连通区域，执行以下操作：对所述连通区域进行外扩，生成外扩区
域，将所述外扩区域作为滤波区域，计算所述滤波区域内各个像素点到所述连通区域的中心点的距离；
56.步骤s13:计算各个滤波区域内各个像素点到所述连通区域的中心点的距离，生成卷积滤波模板；采用所述卷积滤波模板分别卷积各个所述连通区域，得到各个连通区域的hog特征，并根据各个连通区域的hog特征生成所述特征提取区域的hog特征；采用奇异值分解算法对所述特征提取区域的hog特征进行降维，得到所述待追踪目标在当前帧中的第一hog特征。
57.所述步骤s2：将所述第一hog特征基于位置滤波器模板进行位置滤波，得到所述待追踪目标在当前帧中的位置，其中：
58.根据当前帧在视频中按时间顺序排序，所述视频为追踪目标时拍摄的视频。当前帧为所述视频的第二帧时，所述位置滤波器模板为预设位置滤波器模板。当前帧为第二帧以后的其他帧时，所述位置滤波器模板为更新后的位置滤波器模板。预设滤波器模板包括位置滤波器和尺度滤波器，尺度滤波器用于进行尺度滤波，其中，该尺度滤波器的设置与现有技术中相关滤波算法的尺度滤波器的设计原理和实现方式相同。
59.如图3所示，所述步骤s3：判断所述待追踪目标在当前帧的位置是否满足预设相关度阈值；若否，则所述待追踪目标丢失，方法结束；若是，进入步骤s4，其中：
60.所述预设相关度阈值的确定方式为：获取所述待追踪目标的历史追踪数据，从所述历史追踪数据的初始帧开始，获取第一预设数量的帧图像；计算所述第一预设数量的帧图像中的每一帧图像对所述待追踪目标的追踪结果与所述待追踪目标的相似度值；计算全部相似度值的平均值，将所述平均值作为所述预设相关度阈值。
61.所述步骤s3包括：
62.步骤s31：从所述待跟踪目标的历史追踪数据中获取第二预设数量的帧图像，计算第二预设数量的帧图像中每一帧图像的所述追踪结果与所述待跟踪目标的相似度值；
63.步骤s32:判断在所述第二预设数量的帧图像中是否有连续第三预设数量的帧图像所对应的所述相似度值小于所述预设相关度阈值；当在所述第二预设数量的帧图像中没有连续第三预设数量的帧图像所对应的所述相似度值小于所述预设相关度阈值时，判定所述待跟踪目标在当前帧图像的位置满足所述预设相关度阈值；当在第二预设数量的帧图像中有连续第三预设数量的帧图像所对应的相似度值小于预设相关度阈值时，判定待追踪目标跟踪失败。
64.在实际应用中，所述预设相关度阈值是根据待追踪目标的历史追踪数据确定的，所述预设相关度阈值可以根据不同的待追踪目标进行动态的调整，以保证对待追踪目标位置追踪结果进行评估的准确性。
65.所述步骤s4：开启用于尺度滤波的第二线程，所述第二线程基于所述待追踪目标在上一帧中的位置，提取所述待追踪目标在当前帧中的第二hog特征；将所述第二hog特征基于尺度滤波器模板进行尺度滤波，得到所述待追踪目标在当前帧中的尺度，其中：
66.所述第二hog特征为以上一帧图像目标的位置作为中心，长宽分别乘以17个尺度缩放因子得到17个新的连通区域，分别提取各个新的连通区域的hog特征，将这些hog特征进行串联得到所述第二hog特征。
67.具体过程为：
68.首先，计算预设滤波区域内各个像素点到其中一连通区域中心点的距离，生成卷积滤波模板，滤波区域为其中一连通区域的外扩区域。在实际应用中，该预设滤波区域的大小为上述每一个连通区域的四周按照其边长的一半进行扩展后所得到的区域，假设上述的一个cell的大小为4x4，则该预设滤波区域的大小为8x8，使得该预设卷积滤波模板的中心与该cell的中心重合，分别计算预设滤波模块在特征提取区域中所包含的图像中的各个像素点到当前cell的距离值，并将该距离值作为权重对应填入各个像素点与卷积滤波模板对应位置的矩阵中，构成8x8的矩阵，即把相邻cell的计算依赖合并到一个扩张的8*8矩阵中，由于上述的各个cell之间互不重叠，所以预设滤波区域所包含的图像的像素点与每一个当前cell中心的距离值固定不变，只进行一次计算即可得到该卷积滤波模板对应的矩阵，从而大大降低了计算量。
69.然后，采用卷积滤波模板分别卷积各连通区域，得到各个连通区域的hog特征，并根据各个连通区域的hog特征生成特征提取区域的hog特征。在实际应用中，将上述步骤中得到的卷积滤波模板所对应的矩阵分别与各个cell进行卷积，从而将当前cell中临近像素点的梯度幅值加权到当前cell的hog特征，使得每个cell的hog特征的计算可以一次计算完成，避免了依赖若干次临近点的加权，进而实现了并行计算加速，大大提高了hog特征的计算速度，进而提高了对待追踪目标的追踪效率。然后将各个cell的hog特征进行串联，得到特征提取区域的hog特征，例如：每个cell的hog特征的维数为3，若上述的特征提取区域中共有6个cell，则该特征提取区域的hog特征的维数为3x6共18维。
70.最后，采用奇异值分解算法对特征提取区域的hog特征进行降维，得到待追踪目标在上一帧图像中的第一hog特征。在实际应用中，由于上述的特征提取区域中包含多个cell，因而最终得到的hog特征的维数比较高，不利于后续进行计算，通过奇异值分解算法对特征提取区域的hog特征进行降维处理，以得到维数较低的hog特征，需要说明的是，在本发明实施例中，所采用的降维算法为奇异值分解算法，在实际应用中，还可以根据实际需要采用其他的降维方法对hog特征进行降维处理，只要能满足目标追踪需要的hog特征即可，本发明并不以此为限。
71.根据当前帧在视频中按时间顺序排序，所述视频为追踪目标时拍摄的视频。当前帧为所述视频的第二帧时，所述尺度滤波器模板为预设尺度滤波器模板。当前帧为第二帧以后的其他帧时，所述尺度滤波器模板为更新后的尺度滤波器模板。预设滤波器模板包括位置滤波器和尺度滤波器，尺度滤波器用于进行尺度滤波，该尺度滤波器的设置与现有技术中相关滤波算法的尺度滤波器的设计原理和实现方式相同。
72.本实施例中，当确定待追踪目标的位置追踪准确时，通过尺度滤波器进行尺度滤波，以获取待追踪目标的尺度信息，进而可以根据待追踪目标的位置信息和尺度信息确定其在当前帧图像的追踪结果。
73.步骤s5：基于所述待追踪目标在当前帧中的位置及尺度，生成当前帧中待追踪目标的追踪结果，并在当前帧中生成包含所述待追踪目标的目标框，更新所述位置滤波器模板及所述尺度滤波器模板，其中：
74.基于当前帧中待追踪目标的追踪结果，提取所述待追踪目标在所述当前帧中的第三hog特征，所述第三hog特征为以当前帧图像的目标追踪位置为中心，提取目标图像的hog特征；根据所述当前帧中的第三hog特征对所述位置滤波器模板及所述尺度滤波器模板进
行更新。
75.进一步地，对所述当前帧所属的视频，对所述视频的除初始帧外的各个帧均执行如前所述的基于并行处理的目标跟踪方法，在所述视频处理完毕后，得到所述待追踪目标的追踪结果。
76.本发明基于相关滤波算法的目标追踪方法，通过根据待追踪目标在上一帧图像的追踪结果提取当前帧图像的第一hog特征，然后将其与位置滤波器模板进行位置滤波得到待追踪目标在当前帧图像的位置，当该位置满足预设相关度阈值时，再根据位置提取当前帧图像的第二hog特征与尺度滤波器模板进行尺度滤波得到待追踪目标在当前帧图像的尺度，根据位置和尺度得到待追踪目标在当前帧图像的追踪结果。从而通过将当前帧图像中的追踪位置与预设相关度阈值进行判断，实现了对待追踪目标的追踪结果的可靠性进行评估，以便于及时终止错误的目标追踪，进而提高了追踪结果的准确性。
77.进一步地，本发明提供实施例用于说明提取所述第一hog特征。
78.根据上一帧图像的追踪结果，得到特征提取区域，并将特征提取区域分为多个连通区域，各连通区域的大小相同。在实际应用中。该追踪结果为上一帧图像中包含该待追踪目标的目标框，将该目标框对应至当前帧图像的相同位置，得到疑似目标框，假设该疑似目标框所包含图像部分的大小为110x155，则特征提取区域为该疑似目标框外扩两倍后所包含的区域，该特征提取区域所包含图像部分的大小为220x310，将该特征提取区域划分成若干个4x4的连通区域(简称cell)，显然220
÷
4＝55，而310
÷
4＝77.5不是整数，也就是说划分之后依然还有多余像素不能构成cell。处理办法是将图像缩放成能被4整除的长宽(如216x304)，再划分。216
÷
4＝54，304
÷
4＝76，因此，216x304的图像可以得到54x76个cell，没有重叠。
79.计算预设滤波区域内各个像素点到其中一连通区域中心点的距离，生成卷积滤波模板，滤波区域为其中一连通区域的外扩区域。在实际应用中，该预设滤波区域的大小为上述每一个连通区域的四周按照其边长的一半进行扩展后所得到的区域，假设上述的一个cell的大小为4x4，则该预设滤波区域的大小为8x8，使得该预设卷积滤波模板的中心与该cell的中心重合，分别计算预设滤波模块在特征提取区域中所包含的图像中的各个像素点到当前cell的距离值，并将该距离值作为权重对应填入各个像素点与卷积滤波模板对应位置的矩阵中，构成8x8的矩阵，即把相邻cell的计算依赖合并到一个扩张的8*8矩阵中，由于上述的各个cell之间互不重叠，所以预设滤波区域所包含的图像的像素点与每一个当前cell中心的距离值固定不变，只进行一次计算即可得到该卷积滤波模板对应的矩阵，从而大大降低了计算量。
80.采用卷积滤波模板分别卷积各连通区域，得到各个连通区域的hog特征，并根据各个连通区域的hog特征生成特征提取区域的hog特征。在实际应用中，将上述步骤所得到的卷积滤波模板所对应的矩阵分别与各个cell进行卷积，从而将当前cell中临近像素点的梯度幅值加权到当前cell的hog特征，使得每个cell的hog特征的计算可以一次计算完成，避免了依赖若干次临近点的加权，进而实现了并行计算加速，大大提高了hog特征的计算速度，进而提高了对待追踪目标的追踪效率。然后将各个cell的hog特征进行串联，得到特征提取区域的hog特征，例如：每个cell的hog特征的维数为3，若上述的特征提取区域中共有6个cell，则该特征提取区域的hog特征的维数为3x6共18维。
81.采用奇异值分解算法对特征提取区域的hog特征进行降维，得到待追踪目标在上一帧图像中的第一hog特征。在实际应用中，由于上述的特征提取区域中包含多个cell，因而最终得到的hog特征的维数比较高，不利于后续进行计算，通过奇异值分解算法对特征提取区域的hog特征进行降维处理，以得到维数较低的hog特征，需要说明的是，在本发明实施例中，所采用的降维算法为奇异值分解算法，在实际应用中，还可以根据实际需要采用其他的降维方法对hog特征进行降维处理，只要能满足目标追踪需要的hog特征即可，本发明并不以此为限。
82.本发明还提供了一种基于并行处理的目标跟踪装置，如图5所示，该装置包括：
83.获取模块：配置为获取视频中的当前帧，所述当前帧为所述视频中除初始帧外的其他帧；获取当前帧的上一帧中待追踪目标的追踪结果；提取所述待追踪目标在当前帧中的第一hog特征；
84.当前位置模块：配置为将所述第一hog特征基于位置滤波器模板进行位置滤波，得到所述待追踪目标在当前帧中的位置；
85.判断模块：配置为判断所述待追踪目标在当前帧的位置是否满足预设相关度阈值；若否，则所述待追踪目标丢失；若是，获取第二线程模块；
86.第二线程模块：配置为开启用于尺度滤波的第二线程，所述第二线程基于所述待追踪目标在上一帧中的位置，提取所述待追踪目标在当前帧中的第二hog特征；将所述第二hog特征基于尺度滤波器模板进行尺度滤波，得到所述待追踪目标在当前帧中的尺度；
87.更新模块：配置为基于所述待追踪目标在当前帧中的位置及尺度，生成当前帧中待追踪目标的追踪结果，并在当前帧中生成包含所述待追踪目标的目标框，更新所述位置滤波器模板及所述尺度滤波器模板。
88.以上的具体实施例仅描述了本发明的设计原理，该描述中的部件形状，名称可以不同，不受限制。所以，本发明领域的技术人员可以对前述实施例记载的技术方案进行修改或等同替换；而这些修改和替换未脱离本发明创造宗旨和技术方案，均应属于本发明的保护范围。