一种多目标跟踪方法、装置、设备和存储介质与流程

本发明涉及计算机视觉领域，特别是一种多目标跟踪方法、装置、设备和存储介质。

背景技术：

目前，核相关滤波器能够对视频帧中的目标建立跟踪器，在智能交通中有着广泛的应用，因此，是否能准确快速提取出视频帧中的目标，对智能交通系统的工作效率有着直接的影响。传统方法大多采用神经网络检测器提取用于建立跟踪框的目标，这种方法虽然能够准确提取出视频帧中的目标，但是交通场景复杂多变，导致神经网络检测器的训练极其困难，而且目标数量较多时计算量较大，无法快速实现多目标提取。为了解决这个问题，现有技术中大多数采用差分法替代神经网络检测器提取目标，再通过核相关滤波器进行跟踪。现有方案虽然免去了训练复杂的神经网络，在计算速度上有了一定的提高，但是当目标的一部分被障碍物遮挡时，会误识别成多个目标进行跟踪，影响多目标跟踪的准确性。

技术实现要素：

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供一种多目标跟踪方法、装置、设备和存储介质，在跟踪过程中被障碍物遮挡时保持跟踪，提高多目标跟踪的准确性。

本发明解决其问题所采用的技术方案是：第一方面，本发明提供了一种多目标跟踪方法，包括以下步骤：

客户端获取输入视频的当前帧中的候选区域；

所述客户端获取所述候选区域的前景的数量；

当所述候选区域的前景的数量大于1时，若相邻的两个前景之间的像素距离大于预设的分离像素参考值，则对所述相邻的两个前景分别生成一个最小跟踪框，否则，在所述相邻的两个前景所组成的区域生成一个最小跟踪框；

所述客户端在所有的候选区域中生成对应的候选跟踪框，并对候选跟踪框及其中的最小跟踪框建立跟踪器进行自适应跟踪。

进一步，所述客户端获取输入视频的当前帧中的候选区域后，还包括：所述客户端获取所述候选区域中所有前景的长宽比，若所述长宽比不满足预设的前景阈值，将对应的前景丢弃。

进一步，还包括：当所述候选区域的前景的数量等于1时，所述客户端在所述候选区域生成候选跟踪框；当所述候选区域的前景的数量小于1时，所述客户端对所述候选区域进行标记。

进一步，所述候选跟踪框和最小跟踪框由客户端根据背景差分法和自适应核相关滤波器生成，所述最小跟踪框为所述自适应核相关滤波器中可输出的尺寸最小的跟踪框。

进一步，所述最小跟踪框生成后，自适应至所对应的前景的区域的尺寸。

进一步，所述对候选跟踪框及其中的最小跟踪框建立跟踪器进行自适应跟踪，还包括：获取在先帧的跟踪器输出和当前帧的候选区域，当所述跟踪器输出与所述候选区域不相同时，对当前帧的候选区域重新建立跟踪器。

第二方面，本发明提供了一种多目标跟踪装置，包括以下装置：

候选区域获取单元，用于客户端获取输入视频的当前帧中的候选区域；

前景数量获取单元，用于所述客户端获取所述候选区域的前景的数量；

跟踪框生成单元，用于当所述候选区域的前景的数量大于1时，若相邻的两个前景之间的像素距离大于预设的分离像素参考值，则对所述相邻的两个前景分别生成一个最小跟踪框，否则，在所述相邻的两个前景所组成的区域生成一个最小跟踪框；

跟踪单元，用于所述客户端在所有的候选区域中生成对应的候选跟踪框，并对候选跟踪框及其中的最小跟踪框建立跟踪器进行自适应跟踪。

进一步，还包括以下装置：

预处理单元，用于所述客户端获取所述候选区域中所有前景的长宽比，若所述长宽比不满足预设的前景阈值，将对应的前景丢弃；

候选区域标记单元，用于当所述候选区域的前景的数量等于1时，所述客户端在所述候选区域生成候选跟踪框；当所述候选区域的前景的数量小于1时，所述客户端对所述候选区域进行标记；

最小跟踪框自适应单元，用于所述最小跟踪框生成后，自适应至所对应的前景的区域的尺寸；

重新跟踪单元，用于获取在先帧的跟踪器输出和当前帧的候选区域，当所述跟踪器输出与所述候选区域不相同时，对当前帧的候选区域重新建立跟踪器。

第三方面，本发明提供了一种多目标跟踪设备，包括至少一个控制处理器和用于与至少一个控制处理器通信连接的存储器；存储器存储有可被至少一个控制处理器执行的指令，指令被至少一个控制处理器执行，以使至少一个控制处理器能够执行如上所述的多目标跟踪方法。

第四方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行如上所述的多目标跟踪方法。

第五方面，本发明还提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使计算机执行如上所述的多目标跟踪方法。

本发明实施例中提供的一个或多个技术方案，至少具有如下有益效果：本发明采用了一种多目标跟踪的方法、装置、设备和存储介质。通过客户端获取输入视频的当前帧中的候选区域以及候选区域中的前景的数量，当前景数量大于1时，若相邻前景之间的像素距离大于预先设定的分离像素参考值，则判定为目标分离，分别在对应的前景的区域生成最小跟踪框，若相邻前景之间的像素距离小于或等于分离像素参考值，则将相邻的前景视为一个整体，在所述相邻的两个前景所组成的区域生成一个最小跟踪框，并在建立跟踪器后保持对最小跟踪框的跟踪，相比起现有技术，本发明有效解决了目标被遮挡时被识别成多个目标导致的错误跟踪，在进行多目标跟踪时确保了目标数量的准确性。

附图说明

下面结合附图和实例对本发明作进一步说明。

图1是本发明实施例一提供的一种多目标跟踪方法的流程图；

图2是本发明实施例一提供的一种多目标跟踪方法的最小跟踪框示意图；

图3是本发明实施例一提供的一种多目标跟踪方法的保持跟踪器的示意图，其中(a)为第一帧图像，(b)为第二帧图像，(c)为第三帧图像；

图4是本发明实施例一提供的一种多目标跟踪方法的完整步骤图；

图5是本发明实施例一提供的一种多目标跟踪方法的完整逻辑图；

图6是本发明实施例二提供的一种多目标跟踪装置的装置示意图；

图7是本发明实施例三提供的一种多目标跟踪设备的结构示意图。

具体实施方式

目前，核相关滤波器能够对视频帧中的目标建立跟踪器，在智能交通中有着广泛的应用，因此，是否能准确快速提取出视频帧中的目标，对智能交通系统的工作效率有着直接的影响。传统方法大多采用神经网络检测器提取用于建立跟踪框的目标，这种方法虽然能够准确提取出视频帧中的目标，但是交通场景复杂多变，导致神经网络检测器的训练极其困难，而且目标数量较多时计算量较大，无法快速实现多目标提取。为了解决这个问题，现有技术中大多数采用差分法替代神经网络检测器提取目标，再通过核相关滤波器进行跟踪。现有方案虽然免去了训练复杂的神经网络，在计算速度上有了一定的提高，但是当目标的一部分被障碍物遮挡时，会误识别成多个目标进行跟踪，影响多目标跟踪的准确性。

基于此，本发明提供了一种多目标跟踪的方法、装置、设备和存储介质。通过客户端获取输入视频的当前帧中的候选区域以及候选区域中的前景的数量，当前景数量大于1时，若相邻前景之间的像素距离大于预先设定的分离像素参考值，则判定为目标分离，分别在对应的前景的区域生成最小跟踪框，若相邻前景之间的像素距离小于或等于分离像素参考值，则将相邻的前景视为一个整体，在所述相邻的两个前景所组成的区域生成一个最小跟踪框，并在建立跟踪器后保持对最小跟踪框的跟踪，相比起现有技术，本发明有效解决了目标被遮挡时被识别成多个目标导致的错误跟踪，在进行多目标跟踪时确保了目标数量的准确性。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。

参照图1，本发明提供了一种多目标跟踪方法，包括以下步骤：

步骤s110，客户端获取输入视频的当前帧中的候选区域；

步骤s120，所述客户端获取所述候选区域的前景的数量；

步骤s130，当所述候选区域的前景的数量大于1时，若相邻的两个前景之间的像素距离大于预设的分离像素参考值，则对所述相邻的两个前景分别生成一个最小跟踪框，否则，在所述相邻的两个前景所组成的区域生成一个最小跟踪框；

步骤s140，所述客户端在所有的候选区域中生成对应的候选跟踪框，并对候选跟踪框及其中的最小跟踪框建立跟踪器进行自适应跟踪。

其中，在本实施例中，步骤s120和步骤s130中的前景的数量为单个候选区域中的前景的数量，步骤s130中相邻的前景为同一候选区域内的相邻的前景。

其中，在本实施例中，候选区域和前景可以通过任意差分法获取，例如帧间差分法和背景差分法，本实施例中优选采用背景差分法。帧间差分法在运动目标缓慢、停留等情况下容易出现被误识别成背景，在运动目标的运动状况多变或者背景复杂的情况下容易产生较大的误差。优选地，本实施例采用基于vibe+的背景差分法，能够快速且准确地提取候选区域和前景，有利于提高多目标跟踪的效率。

其中，在本实施例中，候选区域由前景和背景构成，候选区域中可以包括任意数量的前景。由于背景差分具有一定的误差，所提取的前景可能会出现碎片化或者提取失败的情况，因此本实施例中在提取出候选区域后进行预处理，去除每个候选区域的噪声影响，得出更加准确的前景。

其中，在本实施例中，分离像素参考值可以跟踪前通过手动设定的值，也可以是预先设定好在客户端中的值，在跟踪之前完成设定即可。本实施例中优选预先设定好在客户端中的值，简化客户端的操作过程。优选地，本实施例采用像素值为分离像素参考值，例如100pix。当不同前景之间的像素距离超过分离像素参考值，则判断为前景分离，属于不同目标或者不同目标重合之后分开的情形，此时分别对前景建立最小跟踪框。同时，若不同前景之间的像素距离小于或等于分离像素参考值，则为目标被遮挡或者多个目标融合平行运动，此时该前景应被认定为一个运动的整体，因此对该前景的区域建立一个最小跟踪框进行跟踪。本实施例的方法有利于准确区分目标是简单重合后分离或者被遮挡，确保多目标跟踪时目标数量的准确性。

参考图2，其中，在本实施例中，对所有获取到的候选区域执行步骤s120和步骤s130后，对候选区域建立候选跟踪框进行跟踪，能够进一步保证跟踪的准确性，避免前景提取出现误差时漏跟踪。如图2所示，对两个目标分别建立第一跟踪框210和第二跟踪框220，同时在上述两个目标共同构成的候选区域建立第三跟踪框230。

进一步，在本发明的另一个实施例中，所述客户端获取输入视频的当前帧中的候选区域后，还包括：所述客户端获取所述候选区域中所有前景的长宽比，若所述长宽比不满足预设的前景阈值，将对应的前景丢弃。

其中，在本实施例中，预处理可以是任意形式的图像预处理，能够减少候选区域的噪声即可。本实施例中优选通过中值滤波器去除噪声后，再通过设置的前景阈值对前景进行筛选，由于在前景的提取过程中可能出现误差，导致没有目标的地方出现细小的前景，因此本实施例通过预先设定的前景阈值进行消除，本实施例中优选采用长宽比大于10、小于0.1，或者前景的总体面积小于800像素作为前景阈值组进行筛选，例如长和宽分别为a和b，当满足a/b>10，a/b<0.1，或者a×b<800时，认定该前景为误差产生的前景，将该前景丢弃，不用于执行后续的步骤，从而实现过滤细小的前景。

进一步，在本发明的另一个实施例中，还包括：当所述候选区域的前景的数量等于1时，所述客户端在所述候选区域生成候选跟踪框；当所述候选区域的前景的数量小于1时，所述客户端对所述候选区域进行标记。

其中，本实施例中，当候选区域的前景数量大于1或者等于1时，候选跟踪框的范围为整个候选区域，最小跟踪框的范围为对应的前景的区域。

其中，在本实施例中，一个候选区域内可以包括任意数量的目标，上述步骤s130解决了候选区域内包括多个前景的跟踪。在本实施例中，当候选区域内的前景数量为1时，即存在的场景为单个目标、运动目标被部分遮挡，此时认定为目标为单一目标，因此对整个候选区域建立候选跟踪框。

优选地，在本实施例中，对前景数量为1的候选跟踪框建立跟踪器时，若目标运动的尺度较小，例如相邻两帧的前景大小相同，此时采用背景差分法和自适应核相关滤波器对候选区域建立跟踪器进行跟踪，确保运动较慢时成功提取到运动状态不同的目标；若目标的运动尺度较大，例如后一帧的前景大小为在先帧的一半，此时采用自适应核相关滤波器对候选区域建立跟踪器进行跟踪，能够更好地提高跟踪效果。

其中，候选区域内的前景数量小于1时，即候选区域内没有前景，此时目标可能离开视频范围，在这种场景中，可以直接删除跟踪器，也可以对候选区域先进行标记。本实施例中优选对候选区域进行标记，若目标在下一帧重新出现，则无需重新建立跟踪器，有利于提高系统的效率。

优选地，在本实施例中，当一个候选区域被连续标记后，例如连续5帧被标记，则客户端可以判断目标离开视频范围，此时客户端将候选区域对应的跟踪器删除，节约系统资源。

进一步，在本发明的另一个实施例中，所述候选跟踪框和最小跟踪框由客户端根据背景差分法和自适应核相关滤波器生成，所述最小跟踪框为所述自适应核相关滤波器中可输出的尺寸最小的跟踪框。

优选地，在本实施例中，生成最小跟踪框和候选跟踪框时，还包括检测当前候选区域和前景的区域是否已有对应的跟踪框，若没有，则根据背景差分法获取候选区域和前景生成候选跟踪框和最小跟踪框；若所述候选区域和前景中已有跟踪框，则结合背景差分法和自适应核相关滤波器生成对应的跟踪框。

其中，在本实施例中，优选采用自适应核相关滤波器建立候选跟踪框，自适应核相关滤波器将滤波后的响应输出与预先设定的尺寸集进行比对，从尺寸集中选取出与响应输出最接近的尺寸，并以该尺寸建立候选跟踪框。

进一步，在本发明的另一个实施例中，所述最小跟踪框生成后，自适应至所对应的前景的区域的尺寸。

其中，在本实施例中，可以对分离的前景生成最小跟踪框，也可以直接生成自适应的跟踪框，本实施例中优选生成最小跟踪框，由于目标被遮挡后进行移动，前景的尺寸会不断发生变化，因此先生成最小跟踪框，再进行自适应跟踪，能够更加有效地提高跟踪效果。

参考图3，进一步，在本发明的另一个实施例中，所述对候选跟踪框及其中的最小跟踪框建立跟踪器进行自适应跟踪，还包括：获取在先帧的跟踪器输出和当前帧的候选区域，当所述跟踪器输出与所述候选区域不相同时，对当前帧的候选区域重新建立跟踪器。

其中，在本实施例中，可以对每一帧重新建立跟踪器进行跟踪，也可以根据候选区域进行判断，保持原有的跟踪器。本实施例优选通过在先帧的响应和当前候选区域进行比对，当在先帧的跟踪器输出与当前帧的候选区域相同，则表明客户端对目标单独进行跟踪，此时保持已有的跟踪器进行跟踪；当候选区域中获取到多个在先帧的跟踪器输出，则表明运动目标可能被部分遮挡、多目标重合，此时重新对候选区域进行前景提取并分配跟踪器；当一个候选区域没有在先帧的跟踪器输出，则该目标为新出现的跟踪目标，重新分配跟踪器进行跟踪。

例如，在本实施例中，如图3所示，图3(a)中为目标生成了跟踪框310，图3(b)中目标被部分遮挡，但是提取的候选区域与图3(a)中建立的跟踪器相同，因此在图3(b)中保持跟踪框310；图3(c)中目标离开遮挡物，根据图3(b)中的输出与图3(c)中的候选区域相同，保持跟踪器。实现了在目标被临时遮挡时不丢失跟踪器，节约客户端资源。

参考图4，另外，本发明的另一个实施例还提供了一种多目标跟踪方法，包括以下步骤：

步骤s4100，客户端检测到输入视频后获取视频的当前帧；

步骤s4200，客户端通过背景差分法提取当前帧的前景和背景，获取候选区域以及候选区域中的前景；

步骤s4300，客户端获取候选区域的前景的长和宽，将满足长/宽>10，长/宽<0.1，或者长×宽<800像素的前景丢弃；

步骤s4400，客户端获取候选区域中的前景的数量，当前景的数量大于1时，执行步骤s4510，当前景的数量等于1时，执行步骤s4520，当前景的数量小于1时，执行步骤s4530；

步骤s4510，客户端获取候选区域内相邻两个前景之间的像素距离，当像素距离超过100像素时，分别在两个前景的区域通过自适应核相关滤波器建立最小跟踪框，当像素距离小于或等于100像素时，在两个前景共同构成的区域通过自适应核相关滤波器建立最小跟踪框；

步骤s4511，最小跟踪框建立后，自适应至前景的尺寸；

步骤s4512，客户端在所有的候选区域中生成对应的候选跟踪框，并对候选跟踪框及其中的最小跟踪框建立跟踪器进行自适应跟踪；

步骤s4520，获取在先帧的跟踪器输出，将跟踪器输出与候选区域的尺寸进行对比，若尺寸变化不超过设定的阈值，采用背景差分法和自适应核相关滤波器对候选区域建立跟踪器进行跟踪，若尺寸变化超过设定的阈值，采用自适应核相关滤波器对候选区域建立跟踪器进行跟踪；

步骤s4530，客户端标记当前帧的候选区域，当候选区域被标记的次数达到预先设定的丢弃值时，删除对应的跟踪器，当标记的候选区域中获取到前景时，重新分配跟踪器进行跟踪。

参考图5，本实施例的逻辑图如图5所示，在客户端获取到前景后通过前景的数量与1的关系分成三种处理方式，实现了运动过程中目标被遮挡、部分遮挡、完全遮挡时的响应，实现了高效准确的多目标跟踪。

参照图6，本发明的实施例二还提供了一种多目标跟踪装置，在该多目标跟踪装置6000中，包括但不限于：候选区域获取单元6100、前景数量获取单元6200、跟踪框生成单元6300和跟踪单元6400。

其中，候选区域获取单元6100用于客户端获取输入视频的当前帧中的候选区域；

前景数量获取单元6200用于所述客户端获取所述候选区域的前景的数量；

跟踪框生成单元6300用于当所述候选区域的前景的数量大于1时，若相邻的两个前景之间的像素距离大于预设的分离像素参考值，则对所述相邻的两个前景分别生成一个最小跟踪框，否则，在所述相邻的两个前景所组成的区域生成一个最小跟踪框；

跟踪单元6400用于所述客户端在所有的候选区域中生成对应的候选跟踪框，并对候选跟踪框及其中的最小跟踪框建立跟踪器进行自适应跟踪。

进一步，本发明的另一个实施例中，还包括但不限于：预处理单元6110、候选区域标记单元6210、最小跟踪框自适应单元6310和重新跟踪单元6410。

其中，预处理单元6110用于所述客户端获取所述候选区域中所有前景的长宽比，若所述长宽比不满足预设的前景阈值，将对应的前景丢弃；

候选区域标记单元6210，用于当所述候选区域的前景的数量等于1时，所述客户端在所述候选区域生成候选跟踪框；当所述候选区域的前景的数量小于1时，所述客户端对所述候选区域进行标记；

最小跟踪框自适应单元6310，用于所述最小跟踪框生成后，自适应至所对应的前景的区域的尺寸；

重新跟踪单元6410，用于获取在先帧的跟踪器输出和当前帧的候选区域，当所述跟踪器输出与所述候选区域不相同时，对当前帧的候选区域重新建立跟踪器。

需要说明的是，由于本实施例中的多目标跟踪装置与上述的多目标跟踪方法基于相同的发明构思，因此，方法实施例中的相应内容同样适用于本装置实施例，此处不再详述。

参照图7，本发明的实施例三还提供了一种多目标跟踪设备，该多目标跟踪设备7000可以是任意类型的智能终端，例如手机、平板电脑、个人计算机等。

具体地，该多目标跟踪设备7000包括：一个或多个控制处理器7001和存储器7002，图7中以一个控制处理器7001为例。

控制处理器7001和存储器7002可以通过总线或者其他方式连接，图7中以通过总线连接为例。

存储器7002作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的多目标跟踪设备对应的程序指令/模块，例如，图6中所示的候选区域获取单元6100和前景数量获取单元6200。控制处理器7001通过运行存储在存储器7002中的非暂态软件程序、指令以及模块，从而执行多目标跟踪装置6000的各种功能应用以及数据处理，即实现上述方法实施例的多目标跟踪方法。

存储器7002可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据多目标跟踪装置6000的使用所创建的数据等。此外，存储器7002可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器7002可选包括相对于控制处理器7001远程设置的存储器，这些远程存储器可以通过网络连接至该多目标跟踪设备7000。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器7002中，当被所述一个或者多个控制处理器7001执行时，执行上述方法实施例中的多目标跟踪方法，例如，执行以上描述的图1中的方法步骤s110至s140，实现图6中的装置6100-6300的功能。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，例如，被图7中的一个控制处理器7001执行，可使得上述一个或多个控制处理器7001执行上述方法实施例中的多目标跟踪方法，例如，执行以上描述的图1中的方法步骤s110至s140，实现图6中的装置6100-6300的功能。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的装置可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络装置上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现。本领域技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(readonlymemory,rom)或随机存储记忆体(randomaccessmemory,ram)等。

以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。