一种目标跟踪的方法及装置与流程

本发明涉及目标跟踪技术领域，具体而言，涉及一种目标跟踪的方法及装置。

背景技术：

随着社会的发展和人民生活水平的日益提升，无人机越来越广泛的出现在人们的生活中。其中，用于视频采集和目标跟踪的无人机越来越多。因此伴随无人机的广泛应用，也诞生了应用于无人机的目标跟踪的方法。

目前常用的目标跟踪算法都无法长时间稳定跟踪目标，无法稳定跟踪的原因有两点，在跟踪过程中由于目标转弯，目标的成像图像发生改变造成跟踪误差增大，长时间后即会丢失目标。

技术实现要素：

有鉴于此，本发明的目的在于提供一种目标跟踪的方法及装置。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种目标跟踪的方法，包括：

依据基准目标信息和待检测图像获取目标的跟踪目标信息；其中，所述基准目标信息包括基准帧图像中目标所在的基准区域以及所述基准区域内的图像信息，所述跟踪目标信息包括待检测图像中目标所在第一区域以及所述第一区域内的图像信息；

当需要初始化所述基准目标信息时，依据所述第一区域和预设定的目标检测模型提取所述待检测图像中的待确认目标信息；其中，所述待确认目标信息包括待检测图像中目标所在待检测图中的第二区域以及所述第二区域内的图像信息；

将所述待确认目标信息作为新的基准目标信息

第二方面，本发明实施例还提供了一种目标跟踪的方法装置，包括：

目标跟踪模块：用于依据基准目标信息和待检测图像获取目标的跟踪目标信息；其中，所述基准目标信息包括基准帧图像中目标所在的基准区域以及所述基准区域内的图像信息，所述跟踪目标信息包括待检测图像中目标所在第一区域以及所述第一区域内的图像信息；

目标检测模块：用于当需要初始化所述基准目标信息时，依据所述第一区域和预设定的目标检测模型提取所述待检测图像中的待确认目标信息；其中，所述待确认目标信息包括待检测图像中目标所在待检测图中的第二区域以及所述第二区域内的图像信息；

信息配置模块：用于将所述待确认目标信息作为新的基准目标信息。

本发明实施例提供的目标跟踪的方法及装置的有益效果：通过初始化基准目标信息，使得基准目标信息与目标的当前图像信息更贴合，解决在跟踪过程中由于目标转弯，目标的成像图像发生改变造成跟踪误差增大，长时间后即会丢失目标的问题。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的目标跟踪设备的连接框图；

图2示出了本发明实施例提供的目标跟踪的方法的流程示意图；

图3示出了本发明实施例提供了一种可能的基准区域与疑似目标区域的分布关系的示意图；

图4示出了本发明实施例提供了一种可能的基准区域在图像中的示意图；

图5示出了本发明实施例提供了一种可能的第一区域在图像中的示意图；

图6示出了本发明实施例提供了一种可能的第二区域在图像中的示意图；

图7示出了本发明实施例提供了一种可能的s20的子步骤示意图；

图8示出了本发明实施例提供了一种可能的s10的子步骤示意图；

图9示出了本发明实施例提供了一种可能的s20的子步骤示意图；

图10示出了本发明实施例提供了一种可能的s20的子步骤示意图；

图11示出了本发明实施例提供了另一种可能的目标跟踪的方法的流程示意图；

图12示出了本发明实施例提供的目标跟踪的装置的功能单元示意图。

图标：100-目标跟踪设备；101-处理器；102-存储器；103-总线；104-通信接口；105-图像采集装置；201-目标跟踪模块；202-目标检测模块；203-信息配置模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明实施例提供了一种目标跟踪的方法，应用于目标跟踪设备100，目标跟踪设备100例如为无人机。如图1所示，目标跟踪设备100包括处理器101，存储器102、总线103、通信接口104以及图像采集装置105。处理器101、存储器102、通信接口104、及图像采集装置105通过总线103连接，处理器101用于执行存储器102中存储的可执行模块，例如计算机程序。

处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，目标跟踪的方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessor，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现成可编程门阵列(field－programmablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

存储器102可能包含高速随机存取存储器(ram：randomaccessmemory)，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。

总线103可以是isa(industrystandardarchitecture)总线、pci(peripheralcomponentinterconnect)总线或eisa(extendedindustrystandardarchitecture)总线等。图1中仅用一个双向箭头表示，但并不表示仅有一根总线103或一种类型的总线103。

目标跟踪设备100通过至少一个通信接口104(可以是有线或者无线)实现与外部的其它设备之间的通信连接。存储器102用于存储程序，例如目标跟踪的装置。目标跟踪的装置包括至少一个可以软件或固件(firmware)的形式存储于存储器102中或固化在目标跟踪设备100的操作系统(operatingsystem，os)中的软件功能模块。处理器101在接收到执行指令后，执行所述程序以实现目标跟踪的方法。

图像采集装置105可以是机载光电吊舱。图像采集装置105用于采集当前环境图像，并将采集到的当前环境图像传输给处理器101。在一种可实现的方式中，图像采集装置105还用于接收处理器101发出的控制指令，并依据该控制指令调整其姿态，姿态例如为图像采集装置105的水平视角和垂直视角。

应当理解的是，图1所示的结构仅为目标跟踪设备100的结构应用示意图，目标跟踪设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

如图2所示，本发明实施例提供了一种应用于目标跟踪设备100的目标跟踪的方法。

s10：依据基准目标信息和待检测图像获取目标的跟踪目标信息。

具体地，在一种可实现的方式中，处理器101依据用户输入的指定区域和预设定的目标检测模型提取基准帧图像中的基准目标信息。在一种可能的实现方式中，目标检测模型可以采用目标检测ssd算法(singleshotmultiboxdetector，ssd)或目标检测yolo算法(youonlylookonce，yolo)。基准目标信息包括基准帧图像中目标所在的基准区域以及基准区域内的图像信息。基准区域为如图3所示的黑色区域“e”。

其中，yolo算法具体步骤包括：标注数据，在用于训练的图像中，框选出目标车辆，获取目标在图像中的左上坐标和右下坐标，以及目标的长度和宽度信息，为了防止训练过拟合，一般要求训练图像的数量超过1000张，并且越多越好，使用训练程序，对深度网络模型进行训练，当模型的损失函数输出的损失值低于要求时，即完成训练，完成训练后会得到检测网络的参数文件，该文件用于跟踪程序中的车辆检测功能。

处理器101基于目标跟踪算法，依据基准目标信息和待检测图像获取目标的跟踪目标信息。在一种可实现的方式中，目标跟踪算法采用鉴别式追踪方法(kernelizedcorrelationfilter，kcf)或特征检测算法(histogramoforientedgridients，hog)。跟踪目标信息包括待检测图像中目标所在第一区域以及第一区域内的图像信息，如图3所示，第一区域可能在图中灰色区域。其中，图像信息可以是跟踪目标的特征信息或者整个区域内的原始像素信息。

s20：当需要初始化基准目标信息时，依据第一区域和预设定的目标检测模型提取待检测图像中的待确认目标信息。

具体地，待确认目标信息包括待检测图像中目标所在待检测图中的第二区域以及第二区域内的图像信息。在一种另可能的实现方式中(区别于图3)，参见图4、图5及图6，图4中灰色区域为基准区域，图5中灰色区域为第一区域，第一区域和基准区域的轮廓是一样的，图6中的灰色区域为第二区域，第二区域和基准区域的轮廓有可能不一样。在一种可实现的方式中，当被跟踪目标转向时，依据目标检测模型在第一区域附近提取待检测图像中的待确认目标信息，以获取更贴合目标的图像信息和具体的位置。

s40：将待确认目标信息作为新的基准目标信息。

具体地，即将基准信息初始化为待确认目标信息。在一种可实现的方式中，可以用待确认目标信息替换在先的基准目标信息，以得到新的基准目标信息，即待确认目标信息。

本发明实施例提供的目标跟踪的方法中：处理器101通过初始化基准目标信息，使得基准目标信息与目标的当前图像信息更贴合，解决在跟踪过程中由于目标转弯，目标的成像图像发生改变造成跟踪误差增大，长时间后即会丢失目标的问题。

在图2的基础上，对于s20中“当需要初始化基准目标信息时，依据第一区域和预设定的目标检测模型提取待检测图像中的待确认目标信息”，本发明实施例提供了一种可实现的方式，具体请参见图7：

s201：判断获取待检测图像距离上一次初始化基准目标信息的时间差是否大于预设的第一阈值。若是，则执行s203；若否，则执行s50。

具体地，当获取待检测图像距离上一次初始化基准目标信息的时间差大于预设的第一阈值时，在此段时间内，被跟踪的目标有可能转向，被跟踪的目标当前的轮廓可能与基准区域的轮廓不一样，所以此时执行s203。当获取待检测图像距离上一次初始化基准目标信息的时间差小于或等于预设的第一阈值时，在此段时间内，被跟踪的目标转向的可能性较小，为了降低处理器101的负载，此时执行s50。

s203：依据第一区域和预设定的目标检测模型提取待检测图像中的待确认目标信息。

具体地，依据目标检测模型在第一区域附近提取待检测图像中的待确认目标信息，以获取更贴合目标的图像信息和具体的位置。

s50：将基准目标信息重新配置为跟踪目标信息。

具体地，即用跟踪目标信息替换基准目标信息。

在图2的基础上，对于s10中“依据基准目标信息和待检测图像获取目标的跟踪目标信息”，本发明实施例提供了一种可实现的方式，具体请参见图8：

s101：依据基准区域预估在待检测图像中多个疑似目标区域。

具体地，参见图3，基准区域为图中黑色区域，通过预估可以得到在待检测图像中灰色和黑色区域为疑似目标区域。在一种可实现的方式中疑似目标区域的数量和分布可以与图3中的不同，在此不做限定。

s102：将基准区域内的图像信息分别与多个疑似目标区域内的图像信息一一匹配，以得到一一对应匹配值。

具体地，继续参见图3，依据遍历算法将基准区域内的图像信息分别与多个疑似目标区域内的图像信息一一匹配，以得到一一对应匹配值。例如，基准目标信息分别与a、b、c、d、e、f、g、h、i区域内的图像信息一一匹配，以得到一一对应的匹配值，分别为0.88、0.12、0.13、0.14、0.22、0.32、0.22、0.12、0.19。

s103：将多个匹配值中的最大的匹配值对应的疑似目标区域认定为第一区域，以得到跟踪目标信息。

具体地，其中匹配值越大表征其对应的疑似目标区域中的图像信息与基准区域内的图像信息的相似度越高。参见上例，即将a区域认定为第一区域，并获取第一区域中的目标信息。

在图8的基础上，对于s20中“当需要初始化基准目标信息时，依据第一区域和预设定的目标检测模型提取待检测图像中的待确认目标信息”，本发明实施例提供了一种可实现的方式，具体请参见图9：

s202：依据多个匹配值和预设的遮挡检测模型，判断目标是否进入遮挡状态。若是，则执行s203；若否，则执行s50。

具体地，将上述的多个匹配值输入到预设的遮挡检测模型中，遮挡检测模型会输出一个表征被跟踪的目标是否进入遮挡状态的结果。当被跟踪的目标进入遮挡状态时，需要重新提取待确认目标信息，此时执行s203；反之，则执行s50。

在一种可实现的方式中，遮挡检测模型采用深度神经网络算法(deepneuralnetwork，dnn)实现。dnn网络的输入是跟踪模块输出的响应值，即多个匹配值。根据一个跟踪序列的响应值，能够判断当前是否进入了遮挡状态。训练数据的获取需要人工标记当前的跟踪响应值是否匹配遮挡状态。训练后得到dnn网络的参数，在遮挡检测模块使用。

在图9的基础上，对于s20中“当需要初始化基准目标信息时，依据第一区域和预设定的目标检测模型提取待检测图像中的待确认目标信息”，本发明实施例提供了一种可实现的方式，具体请参见图10：

s201：判断获取待检测图像距离上一次初始化基准目标信息的时间差是否大于预设的第一阈值。若是，则执行s203；若否则执行s202。

s202：依据多个匹配值和预设的遮挡检测模型，判断目标是否进入遮挡状态。若是，则执行s203；若否，则执行s50。

通过两次判断是否需要重新初始化基准目标信息，保证基准目标信息与目标当前的图像信息的匹配度，更利于跟踪，跟踪更稳定。

在图2的基础上，本发明实施例还提供了一种可实现的目标跟踪的方法，具体请参见图11：

s30：判断提取待确认目标信息是否成功。若是，则执行s40；若否，则执行s60。

具体地，当提取待确认目标信息不成功时，可能被跟踪的目标目前还处于遮挡状态，需要继续提取下一帧待检测图像中的待确认目标信息，此时执行s60；反之，则执行s40。

s60：依据待检测图像之前的n帧图像分析出目标的运动方向和运动速度。

具体地，n大于或等于2，依据待检测图像之前的n帧图像中被跟踪目标的轨迹和获取每一帧图像的时间间隔，可以分析得到目标的运动方向和运动速度。

s70：依据目标的运动方向和运动速度预估下一个待检测图像中目标所在的第三区域。

具体地，依据分析得到的目标的运动方向、运动速度以及获取下一帧待检测图像的时间间隔预估出在下一帧待检测图像中目标的位置所在的区域，即第三区域。

s80：依据第三区域和预设定的目标检测模型提取下一个待检测图像中的待确认目标信息。

具体地，依据预设定的目标检测模型提取下一帧待检测图像中第三区域附近的目标信息即待确认目标信息。在提取待确认目标信息的步骤后，执行s30，判断该次提取待确认目标信息是否成功，重复至提取所确认目标信息成功。

请参阅图12，图12为本发明较佳实施例提供的一种目标跟踪的装置。需要说明的是，本实施例所提供的目标跟踪的装置，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。

目标跟踪的装置包括：目标跟踪模块201、目标检测模块202、信息配置模块203。

目标跟踪模块201：用于依据基准目标信息和待检测图像获取目标的跟踪目标信息；其中，基准目标信息包括基准帧图像中目标所在的基准区域以及基准区域内的图像信息，跟踪目标信息包括待检测图像中目标所在第一区域以及第一区域内的图像信息。可以理解地，目标跟踪模块201可以执行上述实施例中的s10。

在一种可实现的方式中，目标跟踪模块201具体用于依据基准区域预估在待检测图像中多个疑似目标区域；将基准区域内的图像信息分别与多个疑似目标区域内的图像信息一一匹配，以得到一一对应匹配值；将多个匹配值中的最大的匹配值对应的疑似目标区域认定为第一区域，以得到跟踪目标信息。可以理解地，目标跟踪模块201可以执行上述实施例中的s101、s102和s103。

目标检测模块202：用于当需要初始化基准目标信息时，依据第一区域和预设定的目标检测模型提取待检测图像中的待确认目标信息；其中，待确认目标信息包括待检测图像中目标所在待检测图中的第二区域以及第二区域内的图像信息。可以理解地，目标检测模块202可以执行上述实施例中的s20。

在一种可实现的方式中，目标检测模块202具体用于当获取待检测图像距离上一次初始化基准目标信息的时间差大于预设的第一阈值时，依据第一区域和预设定的目标检测模型提取待检测图像中的待确认目标信息。可以理解地，目标检测模块202可以执行上述实施例中的s201和s203。

在另一种可实现的方式中，目标检测模块202具体用于依据多个匹配值和预设的遮挡检测模型，判断目标是否进入遮挡状态；若是，则依据第一区域和预设定的目标检测模型提取待检测图像中的待确认目标信息。可以理解地，目标检测模块202可以执行上述实施例中的s202和s203。

目标检测模块202具体还用于判断提取待确认目标信息是否成功。可以理解地，目标检测模块202可以执行上述实施例中的s30。

目标检测模块202具体还用于若提取待确认目标信息不成功，则依据待检测图像之前的n帧图像分析出目标的运动方向和运动速度，其中，n大于等于2；依据目标的运动方向和运动速度预估下一个待检测图像中目标所在的第三区域；依据第三区域和预设定的目标检测模型提取下一个待检测图像中的待确认目标信息；直至提取待确认目标信息成功。可以理解地，目标检测模块202可以执行上述实施例中的s60、s70和s80。

在第三种可实现的方式中，可以理解地，目标检测模块202可以执行上述实施例中的s201、s202和s203。

信息配置模块203：用于将待确认目标信息作为新的基准目标信息。可以理解地，信息配置模块203可以执行上述实施例中的s40。在一种可实现的方式中，信息配置模块203还用于将基准目标信息重新配置为跟踪目标信息，可以理解地，信息配置模块203可以执行上述实施例中的s50。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。