一种目标跟踪方法、装置、设备及介质与流程

本发明涉及目标跟踪，特别涉及一种目标跟踪方法、装置、设备及介质。

背景技术：

1、目标跟踪任务旨在从视频序列中识别和跟踪特定对象，当前的主流算法主要分为基于传统规则的跟踪算法和基于深度学习的跟踪算法。

2、基于传统规则的跟踪算法分为使用卡尔曼滤波的基于状态和速度规则构建的跟踪算法以及使用视频光流和图像特征点规则的跟踪算法等。这类算法的优势是处理速度快，劣势是跟踪的精度相对较低，容易出现目标丢失、跟踪抖动等问题。基于深度学习的跟踪算法主要是基于孪生网络，该网络通过输入参考模板和视频，从而在视频中通过寻找参考模板的方式来达到对于模板对象的跟踪效果。这类算法的优势在于跟踪的精度较高，劣势是处理速度慢、具有一定延时性、且需要引入大量数据来对孪生网络进行模型训练。

3、综上，如何对目标对象进行高精度且快速的跟踪是目前有待解决的问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种目标跟踪方法、装置、设备及介质，能够对目标对象进行高精度且快速的跟踪。其具体方案如下：

2、第一方面，本申请公开了一种目标跟踪方法，包括：

3、利用当前时刻的候选框对当前帧图像进行裁切以得到裁切后图像；

4、将所述裁切后图像输入至包括训练后分类网络的关键点模型，以输出关键点信息和图像置信度，并判断所述图像置信度是否大于预设置信度阈值；

5、若大于，则基于所述关键点信息确定出下一时刻的候选框，并在所述下一时刻更新为当前时刻时，重新跳转至所述利用当前时刻的候选框对当前帧图像进行裁切以得到裁切后图像的步骤；

6、若小于，则利用目标检测模型对所述当前帧图像进行检测以得到当前时刻的候选框，然后重新跳转至所述利用当前时刻的候选框对当前帧图像进行裁切以得到裁切后图像的步骤。

7、可选的，所述将所述裁切后图像输入至包括训练后分类网络的关键点模型之前，还包括：

8、获取用于训练关键点模型的图像数据集，并基于所述图像数据集构建训练数据集；其中，所述训练数据集中包括正样本图像数据和负样本图像数据；

9、获取预先构建的初始分类网络，并利用所述训练数据集和预设损失函数对所述初始分类网络进行训练，以得到训练后分类网络。

10、可选的，所述获取预先构建的初始分类网络，包括：

11、获取预先基于单层全连接层网络构建的初始分类网络。

12、可选的，所述基于所述图像数据集构建训练数据集，包括：

13、将所述图像数据集作为正样本图像数据，并按照预设策略对所述正样本图像数据进行处理，以得到负样本图像数据；

14、基于所述正样本图像数据和所述负样本图像数据构建训练数据集。

15、可选的，所述按照预设策略对所述正样本图像数据进行处理，以得到负样本图像数据，包括：

16、对所述正样本图像数据中正样本候选框附近的8邻域进行裁剪处理，并将裁剪后的8邻域图像作为负样本图像数据。

17、可选的，所述按照预设策略对所述正样本图像数据进行处理，以得到负样本图像数据，包括：

18、对所述正样本图像数据中的正样本候选框进行局部随机采样，并将采样后图像作为负样本图像数据。

19、可选的，所述基于所述关键点信息确定出下一时刻的候选框，包括：

20、确定出所述关键点信息中所有关键点的包围框，并将所述包围框作为下一时刻的候选框。

21、第二方面，本申请公开了一种目标跟踪装置，包括：

22、图像裁切模块，用于利用当前时刻的候选框对当前帧图像进行裁切以得到裁切后图像；

23、置信度判断模块，用于将所述裁切后图像输入至包括训练后分类网络的关键点模型，以输出关键点信息和图像置信度，并判断所述图像置信度是否大于预设置信度阈值；

24、第一候选框确定模块，用于若大于，则基于所述关键点信息确定出下一时刻的候选框，并在所述下一时刻更新为当前时刻时，重新跳转至所述利用当前时刻的候选框对当前帧图像进行裁切以得到裁切后图像的步骤；

25、第二候选框确定模块，用于若小于，则利用目标检测模型对所述当前帧图像进行检测以得到当前时刻的候选框，然后重新跳转至所述利用当前时刻的候选框对当前帧图像进行裁切以得到裁切后图像的步骤。

26、第三方面，本申请公开了一种电子设备，包括：

27、存储器，用于保存计算机程序；

28、处理器，用于执行所述计算机程序，以实现前述公开的目标跟踪方法的步骤。

29、第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的目标跟踪方法的步骤。

30、可见，本申请通过利用当前时刻的候选框对当前帧图像进行裁切以得到裁切后图像；将所述裁切后图像输入至包括训练后分类网络的关键点模型，以输出关键点信息和图像置信度，并判断所述图像置信度是否大于预设置信度阈值；若大于，则基于所述关键点信息确定出下一时刻的候选框，并在所述下一时刻更新为当前时刻时，重新跳转至所述利用当前时刻的候选框对当前帧图像进行裁切以得到裁切后图像的步骤；若小于，则利用目标检测模型对所述当前帧图像进行检测以得到当前时刻的候选框，然后重新跳转至所述利用当前时刻的候选框对当前帧图像进行裁切以得到裁切后图像的步骤。由此可见，本申请在获取到当前帧图像后，需要利用当前时刻的候选框对当前帧图像进程裁切以得到裁切后图像，然后将裁切后图像输入至关键点模型中。该关键点模型中已增加有训练后分类网络，且关键点模型的输出为关键点信息和图像置信度，然后需要判断图像置信度是否大于预设置信度阈值，若大于，则可直接基于关键点信息确定出下一时刻的候选框，以对下一时刻的视频帧图像进行裁切并进行后续处理，实现目标跟踪的效果，从而无需再经过目标检测模型，减小检测算法调用，降低系统计算复杂度，处理速度也更快，且该方法能够极大的提升模型输入的一致性和稳定性，有效解决传统跟踪算法不稳定、目标丢失、抖动等现象。若图像置信度小于预设置信度阈值，则需要退出目标跟踪流程，并利用目标检测模型对当前帧图像进行检测以得到当前时刻的候选框，然后再重新执行对当前帧图像进行裁切的步骤，通过这种方式能够解决由于没有及时退出目标跟踪流程导致误差累积，最终导致跟踪效果下降的问题。通过上述方案，实现了对目标对象高精度且快速的跟踪效果。

技术特征：

1.一种目标跟踪方法，其特征在于，包括：

2.根据权利要求1所述的目标跟踪方法，其特征在于，所述将所述裁切后图像输入至包括训练后分类网络的关键点模型之前，还包括：

3.根据权利要求2所述的目标跟踪方法，其特征在于，所述获取预先构建的初始分类网络，包括：

4.根据权利要求2所述的目标跟踪方法，其特征在于，所述基于所述图像数据集构建训练数据集，包括：

5.根据权利要求4所述的目标跟踪方法，其特征在于，所述按照预设策略对所述正样本图像数据进行处理，以得到负样本图像数据，包括：

6.根据权利要求4所述的目标跟踪方法，其特征在于，所述按照预设策略对所述正样本图像数据进行处理，以得到负样本图像数据，包括：

7.根据权利要求1至6任一项所述的目标跟踪方法，其特征在于，所述基于所述关键点信息确定出下一时刻的候选框，包括：

8.一种目标跟踪装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的目标跟踪方法的步骤。

技术总结
本申请公开了一种目标跟踪方法、装置、设备及介质，涉及目标跟踪技术领域，包括：利用当前时刻的候选框对当前帧图像进行裁切以得到裁切后图像；将裁切后图像输入至包括训练后分类网络的关键点模型，以输出关键点信息和图像置信度，并判断图像置信度是否大于预设置信度阈值；若大于，则基于关键点信息确定出下一时刻的候选框，并在下一时刻更新为当前时刻时，重新跳转至利用当前时刻的候选框对当前帧图像进行裁切以得到裁切后图像的步骤；若小于，则利用目标检测模型对当前帧图像进行检测以得到当前时刻的候选框，然后重新跳转至利用当前时刻的候选框对当前帧图像进行裁切以得到裁切后图像的步骤。本申请实现了对目标对象高精度且快速的跟踪效果。

技术研发人员：章子维,刘思远,甘启,张璐,陶明
受保护的技术使用者：上海任意门科技有限公司
技术研发日：
技术公布日：2024/1/15