目标跟踪方法、装置、设备以及存储介质与流程

所属的技术人员能够理解，本技术的各个方面可以实现为系统、方法或程序产品。因此，本技术的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。下面参照图8来描述根据本技术的这种实施方式的电子设备600。图8显示的电子设备600仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。如图8所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述目标跟踪方法部分中描述的根据本技术各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤。所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(rom)6203。所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得租户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应若明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述目标跟踪方法。由此可见，本技术提供的方案，与现有技术相比，具有如下优势：1)基于重启跟踪判断算法以及目标特征的置信度信息，确定是否需要重启跟踪，当需要重启跟踪时，通过目标检测算法，更新目标跟踪算法的下一帧目标模板，由此，在目标跟踪过程中即使目标丢失，也可以通过目标检测算法来重启跟踪，并更新下一帧目标模板；2)当无需重启跟踪时，采用模板选择算法，确定基于当前视频帧的目标特征生成下一帧目标模板或者将初始目标模板作为下一帧目标模板，由此，通过模板选择算法来确定是否实时更新下一帧目标模板，由此，当目标外观发生较大变化时，可以通过更新的下一帧目标模板进行下一视频帧的目标跟踪；当目标外观未发生较大变化时，可以无需进行模板更新，使用初始目标模板进行下一视频帧的目标跟踪。由此，提高目标跟踪算法的稳定性和准确率。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

背景技术：

1、视频目标跟踪作为视频监控领域的一个重要研究方向，是在仅给定第一帧的标注信息的情况下，对视频中特定目标位置和运动情况进行记录的任务。由于视频目标跟踪能对运动对象进行精准定位，能满足实时监控的需求，因此，视频目标跟踪已在智能导航、智慧交通、安防监控和异常行为分析等方面引起广泛的关注。

2、现有的视频目标跟踪方法主要包括传统的目标跟踪方法和基于深度学习的目标跟踪方法。传统的目标跟踪方法主要有：光流法、均值偏移、卡尔曼滤波和相关滤波法等。这些方法通常采用手工提取低维特征的方式，尽管具有较低的计算复杂度，但难以克服环境光照变化、运动模糊、尺度变化、背景干扰和多重遮挡等各类干扰因素对跟踪性能带来的影响。

3、利用深度学习的目标跟踪方法，借助在大规模数据集上训练后的深度卷积网络能获取目标的较为鲁棒的特征，能有效缓解部分干扰因素的影响。一些工作开始在深度卷积网络的基础上进一步采用基于检测的方法或者模板匹配的方法来实现目标跟踪，并取得了成功。

4、基于目标检测的方法将目标跟踪问题建模为视频帧上的目标检测问题，尽管具有较高的跟踪精度，但需要搜索区域太大，实时性相对较差。

5、基于模板匹配的目标跟踪方法构建孪生网络来计算目标模板与目标邻域的相似度，将相似度最高的区域作为目标的位置。因为无需全图检测目标，这类算法具有很强的实时性，但难以处理目标丢失或目标外观剧烈变化等问题。

6、目前的目标跟踪方法中，最严重的问题是目标丢失而导致的跟踪失败。此外，相较于目标的丢失，跟踪目标的外观剧烈变化问题更为常见。由于基于模板匹配的方法通常采用第一帧目标的外观特征作为固定的模板，难以捕捉跟踪中目标外观正在发生的变化，误差逐渐累积，导致最终的跟踪失败。

7、由此，如何避免目标跟踪过程中的目标丢失，同时避免由于目标外观变化导致固定模板失效的情况，以提高目标跟踪算法的稳定性和准确率，是本领域技术人员亟待解决的技术问题。

技术实现思路

1、本技术为了克服上述现有技术存在的缺陷，提供一种目标跟踪方法、装置、设备以及存储介质，从而避免目标跟踪过程中的目标丢失，同时避免由于目标外观变化导致固定模板失效的情况，以提高目标跟踪算法的稳定性和准确率。

2、根据本技术的一个方面，提供一种目标跟踪方法，包括：

3、采用目标跟踪算法，自当前视频帧中，获取与当前帧目标模板匹配的目标特征；

4、采用重启跟踪判断算法，基于所述目标特征的置信度信息，获取重启指示信息，所述重启指示信息指示重启跟踪或无需重启跟踪；

5、响应于所述重启指示信息指示重启跟踪，采用目标检测算法，自当前视频帧中查找目标对象，并基于所查找的目标对象的目标特征生成下一帧目标模板；

6、响应于所述重启指示信息指示无需重启跟踪，采用模板选择算法，确定基于当前视频帧的目标特征生成下一帧目标模板或者将初始目标模板作为下一帧目标模板，所述下一帧目标模板用于在下一视频帧中匹配获得目标特征。

7、在本技术的一些实施例中，所述采用目标跟踪算法，自当前视频帧中，获取与当前帧目标模板匹配的目标特征包括：

8、获取当前帧目标模板的模板特征；

9、获取当前视频帧的搜索域内的图像特征；

10、基于所述模板特征和所述图像特征的互相关，自所述图像特征中获取与当前帧目标模板匹配的目标特征。

11、在本技术的一些实施例中，所述目标特征的置信度信息包括所述目标特征的分类置信度图，所述采用重启跟踪判断算法，基于所述目标特征的置信度信息，获取重启指示信息包括：

12、将所述目标特征的分类置信度图输入至重启判断网络，所述重启判断网络为经训练的二分类网络；

13、根据所述重启判断网络的输出，获取所述重启指示信息。

14、在本技术的一些实施例中，所述采用模板选择算法，确定基于当前视频帧的目标特征生成下一帧目标模板或者将初始目标模板作为下一帧目标模板包括：

15、基于当前视频帧的目标特征，生成当前帧目标状态；

16、将所述当前帧目标状态，输入至所述模板选择策略算法；

17、获取所述模板选择策略算法输出的模板选择指示信息，所述模板选择指示信息指示基于当前视频帧的目标特征生成下一帧目标模板或者将初始目标模板作为下一帧目标模板。

18、在本技术的一些实施例中，所述目标特征包括目标分类特征以及目标回归特征，所述基于当前视频帧的目标特征，生成当前帧目标状态包括：

19、将所述当前视频帧的目标分类特征以及目标回归特征的互相关图的组合，作为所述当前帧目标状态。

20、在本技术的一些实施例中，所述模板选择策略算法为ppo算法。

21、在本技术的一些实施例中，所述目标跟踪算法为siamfc++，所述目标检测算法为globaltrack。

22、根据本技术的又一方面，还提供一种目标跟踪装置，包括：

23、目标特征获取模块，配置成采用目标跟踪算法，自当前视频帧中，获取与当前帧目标模板匹配的目标特征；

24、重启跟踪判断模块，配置成采用重启跟踪判断算法，基于所述目标特征的置信度信息，获取重启指示信息，所述重启指示信息指示重启跟踪或无需重启跟踪；

25、重启跟踪模块，配置成响应于所述重启指示信息指示重启跟踪，采用目标检测算法，自当前视频帧中查找目标对象，并基于所查找的目标对象的目标特征生成下一帧目标模板；

26、模板选择模块，配置成响应于所述重启指示信息指示无需重启跟踪，采用模板选择算法，确定基于当前视频帧的目标特征生成下一帧目标模板或者将初始目标模板作为下一帧目标模板，所述下一帧目标模板用于在下一视频帧中匹配获得目标特征。

27、根据本技术的又一方面，还提供一种电子设备，所述电子设备包括：处理器；存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述的步骤。

28、根据本技术的又一方面，还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述的步骤。

29、由此可见，本技术提供的方案，与现有技术相比，具有如下优势：

30、1)基于重启跟踪判断算法以及目标特征的置信度信息，确定是否需要重启跟踪，当需要重启跟踪时，通过目标检测算法，更新目标跟踪算法的下一帧目标模板，由此，在目标跟踪过程中即使目标丢失，也可以通过目标检测算法来重启跟踪，并更新下一帧目标模板；

31、2)当无需重启跟踪时，采用模板选择算法，确定基于当前视频帧的目标特征生成下一帧目标模板或者将初始目标模板作为下一帧目标模板，由此，通过模板选择算法来确定是否实时更新下一帧目标模板，由此，当目标外观发生较大变化时，可以通过更新的下一帧目标模板进行下一视频帧的目标跟踪；当目标外观未发生较大变化时，可以无需进行模板更新，使用初始目标模板进行下一视频帧的目标跟踪。

32、由此，提高目标跟踪算法的稳定性和准确率。