一种基于数据关联的多目标跟踪方法、装置及电子设备与流程

本发明涉及机器视觉领域，具体涉及一种基于数据关联的多目标跟踪方法、装置及电子设备。

背景技术：

多目标跟踪表示对视频图像中的多个目标进行检测以及跟踪，以实现多目标监测的目的。随着实时监控技术的进步，对目标的监控已不再仅仅针对单一目标进行跟踪，在许多场景下，需要对视频数据中的多目标进行跟踪。

技术实现要素：

因此，本发明要解决的技术问题在于克服现有技术中单一目标跟踪算法不能满足多目标跟踪要求的缺陷，从而提供一种基于数据关联的多目标跟踪方法、装置及电子设备。

根据第一方面，本发明实施例提供一种基于数据关联的多目标跟踪方法，包括如下步骤：获取视频数据中任意连续两帧图像数据，所述任意连续两帧图像数据分为当前帧图像数据和后一帧图像数据；根据目标检测算法检测所述任意连续两帧图像数据中的各个目标；根据目标关联算法对所述任意连续两帧图像数据中的各个目标对应关联，形成多个目标轨迹。

结合第一方面，在第一方面第一实施方式中，所述根据目标检测算法检测所述任意连续两帧图像数据中的各个目标，包括：将所述视频数据中任意连续两帧图像数据输入至yolo神经网络检测模型，获取所述任意连续两帧图像数据中各个的目标。

结合第一方面，在第一方面第二实施方式中，所述根据目标关联算法对所述各个目标进行关联包括：将所述任意连续两帧图像数据中的各个目标分为两个集合，所述当前帧图像数据中的各个目标分为当前集合，所述后一帧图像数据中的各个目标分为后一集合；对所述两个集合中的所述目标进行匹配计算，获得匹配值，所述匹配值表征两个集合中的所述目标是同一目标的概率；选取所述两个集合中匹配值超过第一阈值的各个目标，并对所述各个目标进行预关联；在所述预关联数据中，以所述当前集合中任一所述目标与所述后一集合中被预关联的所述目标进行数据关联。

结合第一方面第二实施方式，在第一方面第三实施方式中，所述方法还包括：当所述后一集合中被预关联的所述目标已被关联，选取当前集合中所述目标与所述后一集合中被预关联的所述目标的其他被预关联的所述目标，形成增广路径；交换增广路径中的所述目标，进行数据关联。

结合第一方面第二实施方式，在第一方面第四实施方式中，所述对所述两个集合中的所述目标进行匹配计算，获得匹配值，具体包括：获取目标的运动参数，根据所述运动参数预测所述目标运动轨迹，得到目标预测位置；根据所述目标预测位置与所述目标检测结果判断运动匹配程度；根据最小余弦距离判断所述连续两帧图像数据中的所述目标检测结果的外观匹配程度；根据所述运动匹配程度和所述外观匹配程度确定所述匹配权重。

根据第二方面，本发明实施例提供一种基于数据关联的多目标跟踪装置，包括：图像数据获取模块，用于获取视频数据中任意连续两帧图像数据，所述任意连续两帧图像数据分为当前帧图像数据和后一帧图像数据；目标检测模块，用于根据目标检测算法检测所述任意连续两帧图像数据中的各个目标；目标关联模块，用于根据目标关联算法对所述任意连续两帧图像数据中的各个目标对应关联，形成多个目标轨迹。

结合第二方面，在第二方面第一实施方式中，所述目标检测模块，包括：目标检测子模块，用于将所述视频数据中任意连续两帧图像数据输入至yolo神经网络检测模型，获取所述任意连续两帧图像数据中各个的目标。

结合第二方面，在第二方面第二实施方式中，所述目标关联模块，包括：集合划分模块，用于将所述任意连续两帧图像数据中的各个目标分为两个集合，所述当前帧图像数据中的各个目标分为当前集合，所述后一帧图像数据中的各个目标分为后一集合；匹配值计算模块，用于对所述两个集合中的所述目标进行匹配计算，获得匹配值，所述匹配值表征两个集合中的所述目标是同一目标的概率；预关联模块，用于选取所述两个集合中匹配值超过第一阈值的各个目标，并对所述各个目标进行预关联；目标关联子模块，用于在所述预关联数据中，以所述当前集合中任一所述目标与所述后一集合中被预关联的所述目标进行数据关联。

根据第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面或第一方面任一实施方式所述的基于数据关联的多目标跟踪方法的步骤。

根据第四方面，本发明实施例提供一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现第一方面或第一方面任一实施方式所述的基于数据关联的多目标跟踪方法的步骤。

本发明技术方案，具有如下优点：

1.本发明提供了一种基于数据关联的多目标跟踪方法，先检测出数据图像中的各个目标，根据目标关联算法，对各个目标进行关联，以实现基于数据关联的多目标跟踪，能够保证多目标跟踪的实时性。

2.本方面提供的用yolo神经网络检测模型获取任意连续两帧图像数据中各个的目标，能够实现一次性多目标的检测，并且yolo神经网络检测模型速度快，检测效率高，提高了整个基于数据关联的多目标跟踪的速度。

3.本发明提供的将任意连续两帧图像数据中的各个目标分为两个集合，并对两个集合中的数据进行关联，首先对众多数据进行了筛选，减少了后续关联的数据量，提高了数据关联的速度，保证了多目标跟踪的实时性。

4.本发明提供的利用运动匹配程度和外观匹配程度确定匹配权重，既考虑了目标的运动情况，又考虑了外观匹配度，使得到的匹配权重的匹配度更高。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中目标跟踪方法的一个具体示例的流程图；

图2为本发明实施例中目标跟踪装置的一个具体示例的原理框图；

图3为本发明实施例中电子设备的一个具体示例的原理框图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本实施例提供一种基于数据关联的多目标跟踪方法，如图1所示，包括如下步骤：

s110，获取视频数据中任意连续两帧图像数据，任意连续两帧图像数据分为当前帧图像数据和后一帧图像数据。

示例性地，视频数据中任意连续两帧图像数据的获取方式可以对视频数据进行解帧处理，将解帧后的连续两帧图像数据分为当前帧图像数据和后一帧图像数据。本实施例对获取数据中任意连续两帧图像数据的方式不做限定，本领域技术人员可以根据需要确定。

s120，根据目标检测算法检测任意连续两帧图像数据中的各个目标。

示例性地，各个目标可以表示在图像数据中的船只、车辆等。目标检测算法可以是通过selectiveserarch从原始图片提取2000个左右区域候选框，把所有的候选框缩放成固定大小，通过cnn网络，提取特征，在特征层的基础上添加两个全连接层，再用svm分类来做分类。本实施例对目标检测算法以及目标的具体表示不做限定，本领域技术人员可以根据需要确定。

s130，根据目标关联算法对任意连续两帧图像数据中的各个目标对应关联，形成多个目标轨迹。

示例性地，目标关联算法可以是采用iou算法，获取任意连续两帧图像数据的各个目标依次进行交并比计算，将交并比计算结果最大的两个目标进行数据关联；也可以是将任意连续两帧图像数据的各个目标分为两个集合，寻找两个集合的最大匹配，将匹配结果进行数据关联，从而实现基于数据关联的多目标跟踪。本实施例对目标关联算法不做限定，本领域技术人员可以根据需要确定。

本实施例提供了一种基于数据关联的多目标跟踪方法，先检测出数据图像中的各个目标，根据目标关联算法，对各个目标进行关联，以实现基于数据关联的多目标跟踪。

作为本申请的一个可选实施方式，上述步骤s120，包括：

将视频数据中任意连续两帧图像数据输入至yolo神经网络检测模型，获取任意连续两帧图像数据中各个的目标。

示例性地，yolo神经网络检测模型是一个可以一次性预测多个位置和类别的卷积神经网络，将任意连续两帧图像数据输入至yolo神经网络检测模型，可以分别检测出两帧图像数据中各个的目标。

比如，在船只监控视频数据中，解帧任意连续两帧的图像数据，将数据图像输入到yolo神经网络检测模型，可以检测出这两帧图像数据中所有船只。

本实施例提供了用yolo神经网络检测模型获取任意连续两帧图像数据中各个的目标，能够实现一次性多目标的检测，并且yolo神经网络检测模型速度快，检测效率高，提高了整个基于数据关联的多目标跟踪的速度。

作为本申请的一个可选实施方式，上述步骤s130，包括：

首先，将任意连续两帧图像数据中的各个目标分为两个集合，当前帧图像数据中的各个目标分为当前集合，后一帧图像数据中的各个目标分为后一集合。

示例性地，通过目标检测算法检测出连续两帧图像数据中的所有目标，将当所有目标组成一个目标集合作为当前集合，将后一帧图像数据中的目标组成另一个目标集合作为后一集合。

其次，对两个集合中的目标进行匹配计算，获得匹配值，匹配值表征两个集合中的目标是同一目标的概率。

示例性地，对两个集合中的目标进行匹配计算的方式可以是对两个集合的各个目标分别进行交并比计算，交并比的计算结果作为匹配值。以目标是船只为例，当前集合中所有船只都被检测出，且yolo神经网络检测模型返回当前集合中的所有船只的检测框坐标，将各个船只的检测框坐标依次进行交并比计算，将各个交并比计算值作为当前船只的匹配值，每一个船只都会有若干个匹配值，不同的匹配值分别对应该船只与后一集合各个船只的交并比计算结果。

再次，选取两个集合中匹配值超过第一阈值的各个目标，并对各个目标进行预关联。

示例性地，仍然以上述目标是船只为例，由于每一个船只都会有若干个匹配值，不同的匹配值分别对应该船只与后一集合各个船只的交并比计算结果。为了减少关联的数据量，对两个集合按照第一阈值进行筛选，仅将匹配值超过第一阈值的各个目标进行预关联。第一阈值的大小可以是75％，当匹配值超过75％，则将两个集合中的目标进行预关联。本实施例第一阈值大小不做限定，本领域技术人员可以根据需要确定。

然后，在预关联数据中，以当前集合中任一目标与后一集合中被预关联的目标进行数据关联。

示例性地，以当前集合中任一目标与后一集合中被预关联的目标进行数据关联的方式可以是选取当前集合中目标的最大匹配值为该目标赋值，对后一集合中所有被预关联的目标赋值为0，按照赋值进行数据关联，数据关联的原则是当匹配值与对目标的赋值相同时，对匹配值和赋值相同目标进行数据关联，当数据关联出现冲突时，对当前集合中冲突的目标赋值减去第二数值，对后一集合中冲突的目标赋值对应加上第二数值，重新按照上述的原则进行数据关联，直至当前集合中的目标与后一集合中的目标数据关联完毕，其中，第二数值可以是0.1。本实施例对第二数值大小以及数据关联方法不做限定，本领域技术人员可以根据需要确定。

本实施例提供的将任意连续两帧图像数据中的各个目标分为两个集合，并对两个集合中的数据进行关联，首先对众多数据进行了筛选，减少了后续关联的数据量，提高了数据关联的速度，保证了多目标跟踪的实时性。

作为本申请的一个可选实施方式，基于数据关联的多目标跟踪方法包括：

当后一集合中被预关联的目标已被关联，选取当前集合中目标与后一集合中被预关联的目标的其他被预关联的目标，形成增广路径；交换增广路径中的目标，进行数据关联。

作为本申请的一个可选实施方式，对两个集合中的目标进行匹配计算，获得匹配值，具体包括：

首先，获取目标的运动参数，根据运动参数预测目标运动轨迹，得到目标预测位置。

示例性地，运动参数可以是运动方向、速度，加速度、阻力等。获取目标的运动参数的方式可以是根据图像数据中目标的运动计算得到，也可以是预先设定的目标运动参数。根据运动参数预测目标运动轨迹，得到目标预测位置的方式可以是通过运动参数构建卡尔曼滤波器，根据卡尔曼滤波器进行预测。本实施例对得到目标预测位置的具体方式不做限定，可以按照需要确定。

其次，根据目标预测位置与目标检测结果判断运动匹配程度；根据最小余弦距离判断连续两帧图像数据中的目标检测结果的外观匹配程度。

示例性地，根据目标预测位置与目标检测结果判断运动匹配程度方式可以是利用马氏距离计算运动匹配程度，也可以是直接根据利用目标预测位置与目标检测结果的交并比作为运动匹配程度的值。根据最小余弦距离判断相邻目标检测结果的外观匹配程度的方式可以是通过外观模型(reid模型)完成，利用深度网络提取出单位范数的特征向量，特征向量之间的最小余弦距离作为外观匹配程度的值。本实施例对得到运动匹配程度和外观匹配程度的具体方式不做限定，可以按照需要确定。

然后，根据运动匹配程度和外观匹配程度确定匹配权重。

示例性地，根据运动匹配程度和外观匹配程度确定匹配权重的方式可以是采用求取运动匹配程度和外观匹配程度的加权和得到。本实施例对匹配权重的确定具体方式不做限定，可以按照需要确定。

本实施例提供的利用运动匹配程度和外观匹配程度确定匹配权重，既考虑了目标的运动情况，又考虑了外观匹配度，使得到的匹配权重的匹配度更高。

本实施例提供一种基于数据关联的多目标跟踪装置，如图2所示，包括：

图像数据获取模块210，用于获取视频数据中任意连续两帧图像数据，任意连续两帧图像数据分为当前帧图像数据和后一帧图像数据；具体实现方式见本实施例方法步骤s110对应部分，在此不再赘述。

目标检测模块220，用于根据目标检测算法检测任意连续两帧图像数据中的各个目标；具体实现方式见本实施例方法步骤s120对应部分，在此不再赘述。

目标关联模块230，用于根据目标关联算法对任意连续两帧图像数据中的各个目标对应关联，形成多个目标轨迹。具体实现方式见本实施例方法步骤s130对应部分，在此不再赘述。

本实施例提供了一种基于数据关联的多目标跟踪装置，先检测出数据图像中的各个目标，根据目标关联算法，对各个目标进行关联，以实现基于数据关联的多目标跟踪。

作为本申请的一个可选实施方式，目标检测模块220，包括：

目标检测子模块，用于将视频数据中任意连续两帧图像数据输入至yolo神经网络检测模型，获取任意连续两帧图像数据中各个的目标。具体实现方式见本实施例方法对应部分，在此不再赘述。

作为本申请的一个可选实施方式，目标关联模块230，包括：

集合划分模块，用于将任意连续两帧图像数据中的各个目标分为两个集合，当前帧图像数据中的各个目标分为当前集合，后一帧图像数据中的各个目标分为后一集合；具体实现方式见本实施例方法对应部分，在此不再赘述。

匹配值计算模块，用于对两个集合中的目标进行匹配计算，获得匹配值，匹配值表征两个集合中的目标是同一目标的概率；具体实现方式见本实施例方法对应部分，在此不再赘述。

预关联模块，用于选取两个集合中匹配值超过第一阈值的各个目标，并对各个目标进行预关联；具体实现方式见本实施例方法对应部分，在此不再赘述。

目标关联子模块，用于在预关联数据中，以当前集合中任一目标与后一集合中被预关联的目标进行数据关联。具体实现方式见本实施例方法对应部分，在此不再赘述。

作为本申请的一个可选实施方式，基于数据关联的多目标跟踪装置还包括：

增广路径选取模块，用于当后一集合中被预关联的目标已被关联，选取当前集合中目标与后一集合中被预关联的目标的其他被预关联的目标，形成增广路径；具体实现方式见本实施例方法对应部分，在此不再赘述。

数据关联模块，用于交换增广路径中的目标，进行数据关联。

作为本申请的一个可选实施方式，匹配值计算模块，具体包括：

目标预测位置获取模块，用于获取目标的运动参数，根据运动参数预测目标运动轨迹，得到目标预测位置；具体实现方式见本实施例方法对应部分，在此不再赘述。

运动匹配程度判断模块，用于根据目标预测位置与目标检测结果判断运动匹配程度；具体实现方式见本实施例方法对应部分，在此不再赘述。

根据最小余弦距离判断连续两帧图像数据中的目标检测结果的外观匹配程度；具体实现方式见本实施例方法对应部分，在此不再赘述。

根据运动匹配程度和外观匹配程度确定匹配权重。具体实现方式见本实施例方法对应部分，在此不再赘述。

本申请实施例还提供一种电子设备，如图3所示，处理器310和存储器320，其中处理器310和存储器320可以通过总线或者其他方式连接。

处理器310可以为中央处理器(centralprocessingunit，cpu)。处理器310还可以为其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器320作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的基于数据关联的多目标跟踪方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理。

存储器320可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器320可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器320中，当被所述处理器310执行时，执行如图1所示实施例中的基于数据关联的多目标跟踪方法。

上述电子设备的具体细节可以对应参阅图1所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中基于数据关联的多目标跟踪方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)、随机存储记忆体(randomaccessmemory，ram)、快闪存储器(flashmemory)、硬盘(harddiskdrive，缩写：hdd)或固态硬盘(solid-statedrive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。