目标追踪的方法、装置、设备及存储介质与流程

本发明涉及智能交通技术领域，尤其涉及一种目标追踪的方法、装置、设备及存储介质。

背景技术：

目标追踪是车辆自动驾驶的重要环节，也是智能车路协同中路侧智能感知系统的重要环节，可以为车辆安全预警、道路交通通行效率分析等提供重要的支持。

但是，传统的目标追踪方案主要分为追求实时性和准确性的两类方案，追求实时性的目标追踪方案存在长时间目标消失难以再成功识别的问题；而追求准确性的目标追踪方案需要消耗较多的计算时间。综上，传统的目标追踪方案难以同时满足实时性与准确性。

技术实现要素：

本发明实施例提供了一种目标追踪的方法、装置、设备及存储介质，能够快速找回丢失的目标，提高追踪的实时性与准确性。

第一方面，本发明实施例提供一种目标追踪的方法，该方法包括：

获取道路区域的当前帧图像相对于前一帧图像的目标对象，以及目标对象的第一颜色特征、第一纹理特征和所在子区域的第一标识，其中，道路区域包括多个子区域；

根据道路区域的预设区域连通关系、第一标识和对象字典，确定目标对象的待关联消失对象，其中，预设区域连通关系是道路区域中子区域之间的连通关系，对象字典包括前n-1帧图像相对于前n帧图像的至少一个第一消失对象的第二颜色特征、第二纹理特征和所在子区域的第二标识，n≥2；

根据第一颜色特征、第一纹理特征、待关联消失对象的第三颜色特征和第三纹理特征，确定目标对象与待关联消失对象的第一相关度；

当第一相关度大于预设阈值时，将目标对象与待关联消失对象关联。

在第一方面的一些可实现方式中，获取道路区域的当前帧图像相对于前一帧图像的目标对象，包括：

对当前帧图像进行目标检测，得到至少一个第一交通参与对象，以及至少一个第一交通参与对象的第一位置信息和第一类别信息；

根据第一类别信息将至少一个第一交通参与对象分类为至少一个类别；

确定前一帧图像中至少一个类别的至少一个第二交通参与对象在当前帧图像中的第二位置信息；

根据第一位置信息与第二位置信息，确定至少一个类别中每个类别的第一相关度矩阵，其中，第一相关度矩阵表示相同类别的第一交通参与对象与第二交通参与对象之间的第二相关度；

根据第一相关度矩阵，确定目标对象。

在第一方面的一些可实现方式中，在根据道路区域的预设区域连通关系、第一标识和对象字典，确定目标对象的待关联消失对象之前，该方法还包括：

获取道路区域的图像；

根据图像将道路区域划分为多个子区域；

根据预设道路交通规则将多个子区域分类为非通行区域、慢速通行区域、快速通行区域；

获取慢速通行区域的第一区域连通矩阵、快速通行区域的第二区域连通矩阵；其中，第一区域连通矩阵表示慢速通行区域中子区域之间的连通关系，第二区域连通矩阵表示快速通行区域中子区域之间的连通关系，第一区域连通矩阵和第二区域连通矩阵共同用于表征预设区域连通关系。

在第一方面的一些可实现方式中，获取道路区域的当前帧图像相对于前一帧图像的目标对象，包括：

对当前帧图像进行目标检测，得到至少一个第一交通参与对象，以及至少一个第一交通参与对象的第一位置信息、第一类别信息；

根据第一位置信息删除位于非通行区域的第一交通参与对象，得到至少一个第三交通参与对象；

根据至少一个第三交通参与对象的第二类别信息，将至少一个第三交通参与对象分类为至少一个类别；

确定前一帧图像中至少一个类别的至少一个第四交通参与对象在当前帧图像中的第三位置信息；

根据第三位置信息与至少一个第三交通参与对象的第四位置信息，确定至少一个类别中每个类别的第二相关度矩阵，其中，第二相关度矩阵表示相同类别的第三交通参与对象与第四交通参与对象之间的第三相关度；

根据第二相关度矩阵，确定目标对象。

在第一方面的一些可实现方式中，根据道路区域的预设区域连通关系、第一标识和对象字典，确定目标对象的待关联消失对象，包括：

基于预设区域连通关系和第一标识，确定目标对象对应的连通子区域；

基于连通子区域的第三标识与第二标识，确定待关联消失对象。

在第一方面的一些可实现方式中，该方法还包括：

获取当前帧图像相对于前一帧图像的第二消失对象，以及第二消失对象的第四颜色特征、第四纹理特征和所在子区域的第四标识；

将第四颜色特征、第四纹理特征和第四标识保存至对象字典。

第二方面，本发明实施例提供一种目标追踪的装置，该装置包括：

获取模块，用于获取道路区域的当前帧图像相对于前一帧图像的目标对象，以及目标对象的第一颜色特征、第一纹理特征和所在子区域的第一标识，其中，道路区域包括多个子区域；

确定模块，用于根据道路区域的预设区域连通关系、第一标识和对象字典，确定目标对象的待关联消失对象，其中，预设区域连通关系是道路区域中子区域之间的连通关系，对象字典包括前n-1帧图像相对于前n帧图像的至少一个第一消失对象的第二颜色特征、第二纹理特征和所在子区域的第二标识，n≥2；

确定模块，还用于根据第一颜色特征、第一纹理特征、待关联消失对象的第三颜色特征和第三纹理特征，确定目标对象与待关联消失对象的第一相关度；

关联模块，用于当第一相关度大于预设阈值时，将目标对象与待关联消失对象关联。

在第二方面的一些可实现方式中，获取模块包括：

检测单元，用于对当前帧图像进行目标检测，得到至少一个第一交通参与对象，以及至少一个第一交通参与对象的第一位置信息和第一类别信息；

第一分类单元，用于根据第一类别信息将至少一个第一交通参与对象分类为至少一个类别；

第一确定单元，用于确定前一帧图像中至少一个类别的至少一个第二交通参与对象在当前帧图像中的第二位置信息；

第一确定单元，还用于根据第一位置信息与第二位置信息，确定至少一个类别中每个类别的第一相关度矩阵，其中，第一相关度矩阵表示相同类别的第一交通参与对象与第二交通参与对象之间的第二相关度；

第一确定单元，还用于根据第一相关度矩阵，确定目标对象。

在第二方面的一些可实现方式中，获取模块，还用于在根据道路区域的预设区域连通关系、第一标识和对象字典，确定目标对象的待关联消失对象之前，获取道路区域的图像；

该装置还包括：划分模块，用于根据图像将道路区域划分为多个子区域；

分类模块，用于根据预设道路交通规则将多个子区域分类为非通行区域、慢速通行区域、快速通行区域；

获取模块，还用于获取慢速通行区域的第一区域连通矩阵、快速通行区域的第二区域连通矩阵；其中，第一区域连通矩阵表示慢速通行区域中子区域之间的连通关系，第二区域连通矩阵表示快速通行区域中子区域之间的连通关系，第一区域连通矩阵和第二区域连通矩阵共同用于表征预设区域连通关系。

在第二方面的一些可实现方式中，获取模块包括：

检测单元，用于对当前帧图像进行目标检测，得到至少一个第一交通参与对象，以及至少一个第一交通参与对象的第一位置信息、第一类别信息；

删除单元，用于根据第一位置信息删除位于非通行区域的第一交通参与对象，得到至少一个第三交通参与对象；

第二分类单元，用于根据至少一个第三交通参与对象的第二类别信息，将至少一个第三交通参与对象分类为至少一个类别；

第二确定单元，用于确定前一帧图像中至少一个类别的至少一个第四交通参与对象在当前帧图像中的第三位置信息；

第二确定单元，用于根据第三位置信息与至少一个第三交通参与对象的第四位置信息，确定至少一个类别中每个类别的第二相关度矩阵，其中，第二相关度矩阵表示相同类别的第三交通参与对象与第四交通参与对象之间的第三相关度；

第二确定单元，用于根据第二相关度矩阵，确定目标对象。

在第二方面的一些可实现方式中，确定模块具体用于：

基于预设区域连通关系和第一标识，确定目标对象对应的连通子区域；

基于连通子区域的第三标识与第二标识，确定待关联消失对象。

在第二方面的一些可实现方式中，获取模块，还用于获取当前帧图像相对于前一帧图像的第二消失对象，以及第二消失对象的第四颜色特征、第四纹理特征和所在子区域的第四标识；

该装置还包括：保存模块，用于将第四颜色特征、第四纹理特征和第四标识保存至对象字典。

第三方面，本发明实施例提供一种目标追踪的设备，该设备包括：处理器以及存储有计算机程序指令的存储器；处理器执行计算机程序指令时实现第一方面或者第一方面任一些可实现方式中所述的目标追踪的方法。

第四方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现第一方面或者第一方面任一些可实现方式中所述的目标追踪的方法。

本发明实施例提供的一种目标追踪的方法、装置、设备及存储介质，通过获取道路区域的当前帧图像相对于前一帧图像的目标对象，以及目标对象的第一颜色特征、第一纹理特征和所在子区域的第一标识，其中，目标对象是当前帧图像中需要进行重识别的对象，并根据道路区域的预设区域连通关系、第一标识和对象字典，确定目标对象的待关联消失对象，根据第一颜色特征、第一纹理特征、待关联消失对象的第三颜色特征和第三纹理特征，确定目标对象与待关联消失对象的第一相关度，当第一相关度大于预设阈值时，将目标对象与待关联消失对象关联，通过预设区域连通关系对目标对象重识别的范围加以限制，并利用颜色特征和纹理特征进行相关度计算，确定是否进行关联，能够快速找回丢失的目标，提高追踪的实时性与准确性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种目标追踪的方法的流程示意图；

图2是本发明实施例提供的一种相似度矩阵计算的对比示意图；

图3是本发明实施例提供的一种道路区域示意图；

图4是本发明实施例提供的一种划分后的道路区域示意图；

图5是本发明实施例提供的一种匹配结果分析示意图；

图6是本发明实施例提供的一种简单路口的目标追踪示意图；

图7是本发明实施例提供的一种复杂路口的目标追踪示意图；

图8是本发明实施例提供的一种目标追踪的装置的结构示意图；

图9是本发明实施例提供的一种目标追踪的设备的硬件结构示意图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

由背景技术部分可知，目标追踪是实现车辆自动驾驶的重要环节，主要是基于道路上的路侧拍摄设备采集数据，对采集的数据进行计算机视觉处理，进而识别交通参与对象并进行追踪。

传统的目标追踪方案通常是使用训练好的深度神经网络模型对输入图像进行目标检测，再利用最优匹配等策略实现目标帧帧关联的追踪过程。其中，根据效果的不同可以将传统的目标追踪方案分为追求实时性和准确性的两类方案。

但是，追求实时性的目标追踪方案存在长时间目标消失难以再成功识别的问题，而追求准确性的目标追踪方案需要消耗较多的计算时间。例如，目前通常在追踪过程中加入了深度神经网络模型提取表观特征的方式来提高重识别的准确性，减少对象识别码交换(idswitch)现象的发生，但是该方案存在提取特征的预处理过程较为耗时和依赖特定的目标数据集支撑等局限，难以保证实时性。可见，传统的目标追踪方案难以同时满足实时性与准确性。

为了解决现有技术问题，本发明实施例提供了一种目标追踪的方法、装置、设备及存储介质，下面首先对本发明实施例所提供的目标追踪的方法进行介绍：

图1是本发明实施例提供的一种目标追踪的方法的流程示意图，如图1所示，该目标追踪的方法可以包括s110至s140。

s110，获取道路区域的当前帧图像相对于前一帧图像的目标对象，以及目标对象的第一颜色特征、第一纹理特征和所在子区域的第一标识。

其中，道路区域可以是需要监控的一段道路区域，包括多个子区域，每个子区域都有一个标识，第一标识是目标对象位于的子区域的标识。例如，一个十字路口，包括多个子区域。当前帧图像以及前一帧图像可以是道路侧的拍摄设备实时拍摄的道路区域的图像，例如，十字路口侧的摄像头以20～25赫兹的拍摄频率实时拍摄十字路口，得到十字路口的视频流数据，然后从视频流数据中实时获取图像，可选地，摄像头可以是单目摄像头，摄像头的拍摄分辨率可以是1980*1080。目标对象是当前帧图像中需要进行重识别的交通参与对象，即疑似新增对象，可能是在以前帧图像中出现过，在部分帧图像中消失，在当前帧图像中又出现的交通参与对象。也可能是在当前帧图像中新出现的交通参与对象。可以理解，目标对象可以包括至少一个。

在一些实施例中，首先，可以对当前帧图像进行目标检测，得到至少一个第一交通参与对象，以及至少一个第一交通参与对象的第一位置信息和第一类别信息。其中，第一位置信息表示第一交通参与对象在当前帧图像中的位置，第一类别信息表示第一交通参与对象的类别，可以是行人、骑自行车的人、骑摩托车(电动车)的人、小汽车、客车、卡车。

作为一个示例，可以使用检测模型对当前帧图像进行目标检测，例如，可以基于训练数据集对efficientdet模型进行训练，在训练轮次中总损失值最小时将其作为检测模型。其中，训练数据集可以是由bdd100k数据集、coco2017数据集、voc2012数据集自整合的数据集，训练数据集包括与第一类别信息相关的图像，即图像中的交通参与对象包括第一类别信息。训练数据集总共包含不少于15万张图像，其中，bdd100k、coco2017、voc2012三种数据集来源占自整合数据集的比例可以为0.45:0.45:0.1，三种来源的类别都被标注出来，而且训练集与验证集比例可以为9:1。

其次，可以根据第一类别信息将至少一个第一交通参与对象分类为至少一个类别。具体地，可以将至少一个第一交通参与对象按照第一类别信息进行分组，得到行人、骑自行车的人、骑摩托车(电动车)的人、小汽车、客车、卡车6类组合。

再次，可以确定前一帧图像中至少一个类别的至少一个第二交通参与对象在当前帧图像中的第二位置信息，其中，前一帧图像与当前帧图像进行了类似的处理，第二交通参与对象可以理解为前一帧图像是当前帧图像时的“第一交通参与对象”。具体地，由于速度是矢量，可以根据第二交通参与对象的速度方向、速度大小以及匀速模型确定第二交通参与对象的第二位置信息。

接着，可以根据第一位置信息与第二位置信息，确定至少一个类别中每个类别的第一相关度矩阵。其中，第一相关度矩阵表示相同类别的第一交通参与对象与第二交通参与对象之间的第二相关度。第一相关度矩阵中每个元素是同一类别的每个第一交通参与对象与每个第二交通参与对象之间的第二相关度。

图2是本发明实施例提供的一种相似度矩阵计算的对比示意图，如图2所示，未按类别信息分组的相似度矩阵的计算量远大于分组后的相似度矩阵的计算量。可见，利用第一类别信息分组计算第一相关度矩阵可对计算并行化，从而可显著减少计算量，提升计算效率。

然后，可以根据第一相关度矩阵，确定目标对象。具体地，可以基于匈牙利算法对第一相关度矩阵进行匹配处理，即针对当前帧图像与前一帧图像同一类别的交通参与对象，使用匈牙利算法进行匹配处理，得到全局最优匹配结果。分析全局最优匹配结果，得到目标对象。

s120，根据道路区域的预设区域连通关系、第一标识和对象字典，确定目标对象的待关联消失对象。

其中，预设区域连通关系是道路区域中子区域之间的连通关系，以子区域a、b为例，子区域a、b之间的连通关系表示子区域a、b相邻，而且预设道路交通规则允许由子区域a到达子区域b。对象字典包括前n-1帧图像相对于前n帧图像的至少一个第一消失对象的第二颜色特征、第二纹理特征和所在子区域的第二标识，n≥2，n为正整数。换句话说，第一消失对象是在前n帧图像中出现，但是在前n-1帧图像中消失的交通参与对象。

在一些实施例中，首先，可以基于预设区域连通关系和第一标识，确定目标对象对应的连通子区域。可以理解为根据预设区域连通关系查找到与目标对象所在子区域存在连通关系的子区域即连通子区域。

其次，可以基于连通子区域的第三标识与对象字典中的第二标识，确定待关联消失对象。具体地，可以遍历对象字典，根据第三标识找到与第三标识匹配的第二标识，也即与第三标识相同的第二标识，进而确定第二标识对应的第一消失对象为待关联消失对象，可以理解，待关联消失对象可以包括至少一个。

s130，根据第一颜色特征、第一纹理特征、待关联消失对象的第三颜色特征和第三纹理特征，确定目标对象与待关联消失对象的第一相关度。

在一些实施例中，当目标对象至少一个，待关联消失对象至少一个时，以第v个目标对象为例，确定第v个目标对象与多个待关联消失对象的第一相关度具体如下：

λ∈[0,1]，w∈[1,n^dt](2)

其中，表示第v个目标对象与每个待关联消失对象的第一相关度，表示第v个目标对象的第一颜色特征，fw^app表示第w个待关联消失对象的第三颜色特征，表示第v个目标对象的第一纹理特征，表示第w个待关联消失对象的第三纹理特征，cos表示余弦相似度，λ表示权重比值，n^dt表示待关联消失对象的数量，由于车辆的颜色特征更能体现车辆的全局特性，因此当目标对象类别为车辆时，λ可以设为0.8，而纹理特征更能描述人的表观特性，因此当目标对象类别为行人时，λ设为0.2，否则λ设为0.5。可以理解，λ可以根据实际情况灵活调整，在此不做限制。

s140，当第一相关度大于预设阈值时，将目标对象与待关联消失对象关联。

其中，预设阈值可以根据实际情况灵活调整，在此不做限制。例如，在s130中的实施例中，当时，第v个目标对象与对应的待关联消失对象关联，否则确定第v个目标对象为新增目标，对其开始追踪。

在本发明实施例中，通过获取道路区域的当前帧图像相对于前一帧图像的目标对象，以及目标对象的第一颜色特征、第一纹理特征和所在子区域的第一标识，并根据道路区域的预设区域连通关系、第一标识和对象字典，确定目标对象的待关联消失对象，根据第一颜色特征、第一纹理特征、待关联消失对象的第三颜色特征和第三纹理特征，确定目标对象与待关联消失对象的第一相关度，当第一相关度大于预设阈值时，将目标对象与待关联消失对象关联，通过预设区域连通关系对目标对象重识别的范围加以限制，并利用颜色特征和纹理特征进行相关度计算，确定是否进行关联，能够减少idswitch现象，快速找回丢失的目标，提高追踪的实时性与准确性。

在一些实施例中，在根据道路区域的预设区域连通关系、第一标识和对象字典，确定目标对象的待关联消失对象之前，该目标追踪的方法还可以包括以下步骤：

获取道路区域的图像，其中，道路区域的图像是道路侧的拍摄设备拍摄的道路区域的清晰图像，例如，如图3所示，是道路侧的摄像头拍摄的一个路口的清晰图像。

根据图像将道路区域划分为多个子区域，具体地，可以按照不同子区域存在相邻关系，道路方向的转变角度大于指定角度(例如45°)作为划分规则，将图像中的道路区域划分为多个子区域，且保证子区域能完全覆盖道路区域。例如，在图3的基础上，根据划分规则对图3中的道路区域进行划分，得到图4所示的子区域1、2、3、4、5、6、7、8，其中，1、2、3、4、5、6、7、8是子区域的标识。

根据预设道路交通规则将多个子区域分类为非通行区域、慢速通行区域、快速通行区域。其中，非通行区域可以包括道路边界、房屋、草地等禁止通行区域，慢速通行区域可以包括行人、骑自行车的人、骑摩托车(电动车)的人可通行区域，快速通行区域可以包括小汽车、客车、卡车可通行区域。以图4所示的子区域为例，子区域7、8属于非通行区域，子区域2、3、5、6属于慢速通行区域，子区域1、2、3、4、6属于快速通行区域。

获取慢速通行区域的第一区域连通矩阵、快速通行区域的第二区域连通矩阵。其中，第一区域连通矩阵表示慢速通行区域中子区域之间的连通关系，第二区域连通矩阵表示快速通行区域中子区域之间的连通关系，第一区域连通矩阵和第二区域连通矩阵共同用于表征预设区域连通关系。

作为一个示例，第一区域连通矩阵和第二区域连通矩阵的计算过程如下：

i≤n^u，j≤n^u，u∈{sa，fa}(4)

其中，matu(i,j)表示第一或第二区域连通矩阵中元素的值，sa表示慢速通行区域，fa表示快速通行区域，ui和uj分别表示对应u区域的第i，第j个子区域。n^u表示对应u区域的子区域总数量。如果子区域i与子区域j存在相邻关系且预设道路交通规则允许由子区域i到达子区域j，表示i到j子区域连通，matu(i,j)为1，否则不连通，matu(i,j)为0。如此，可以得到matsa和matfa，matsa表示第一区域连通矩阵，matfa表示第二区域连通矩阵。

以图4所示的子区域为例，得到的matsa和matfa如下：

其中，矩阵左边和上边的数字表示子区域的标识。

在一些实施例中，获取道路区域的当前帧图像相对于前一帧图像的目标对象可以包括以下步骤：

对当前帧图像进行目标检测，得到至少一个第一交通参与对象，以及至少一个第一交通参与对象的第一位置信息、第一类别信息。

由于在当前帧图像中，非通行区域包含的第一交通参与对象可能并不是交通参与对象或者不属于追踪的交通参与对象，因此，可以根据第一位置信息删除位于非通行区域的第一交通参与对象，得到至少一个第三交通参与对象。通过删除非通行区域中的第一交通参与对象，即无效对象，一方面减少了参与计算的初始对象，另一方面减少了不必要的噪声对象。

例如，第5帧图像和第4帧图像中参与计算相关度矩阵的交通参与对象分别为c和d，那么在后续计算相关度时需要c*d次相关计算，当c和d数值较大时，会产生一定程度的延时，因此在删除非通行区域中的无效对象后，能够提高计算效率。

根据至少一个第三交通参与对象的第二类别信息，将至少一个第三交通参与对象分类为至少一个类别。

确定前一帧图像中至少一个类别的至少一个第四交通参与对象在当前帧图像中的第三位置信息。

根据第三位置信息与至少一个第三交通参与对象的第四位置信息，确定至少一个类别中每个类别的第二相关度矩阵。其中，第二相关度矩阵表示相同类别的第三交通参与对象与第四交通参与对象之间的第三相关度。

根据第二相关度矩阵，确定目标对象。

值得注意的是，该实施例与s110中的实施例的不同之处在于删除了非通行区域中的第一交通参与对象，而其他步骤相似或相同，为了简洁，在此不做赘述。

在一些实施例中，该目标追踪的方法还可以包括以下步骤：

获取当前帧图像相对于前一帧图像的第二消失对象，以及第二消失对象的第四颜色特征、第四纹理特征和所在子区域的第四标识。

作为一个示例，可以根据第一相关度矩阵，确定目标对象、第二消失对象以及关联对象。具体地，可以基于匈牙利算法对第一相关度矩阵进行匹配处理，得到全局最优匹配结果。分析全局最优匹配结果，得到目标对象、第二消失对象以及关联对象。作为另一个示例，也可以根据第二相关度矩阵，确定目标对象、第二消失对象以及关联对象。其中，第二消失对象是在前一帧图像中出现，但是在当前帧图像中消失的交通参与对象。关联对象是在前一帧图像与当前帧图像中都出现的交通参与对象。可以更新关联对象的速度大小与速度方向。

作为一个示例，可以利用第二消失对象的第五位置信息在第二消失对象所属类别的子区域集合即慢速通行区域或者快速通行区域中进行搜索，例如，利用射线法(raycasting)确定第二消失对象所在的子区域，进而得到第四标识。

可以基于颜色直方图提取第四颜色特征，例如，可以将第二消失对象由rgb色彩空间转换为hsv色彩空间，然后使用色调(hue)量化直方图，定义appn^bins＝64，其中，appn^bins表示颜色特征维度，于是得到64维的颜色直方图，将颜色直方图按像素数量排序，然后通过累计分布来提取第二消失对象的前r个颜色特征，r∈[1,64]。

可以将第二消失对象由rgb图像转换为灰度图像，将其划分为8*8小区域，采用8领域点的局部二值模式(localbinarypattern，lbp)算子得到每个小区域的直方图，将小区域得到的直方图连接成特征向量，得到的纹理特征，其维度为8*8*256。

将第四颜色特征、第四纹理特征和第四标识保存至对象字典。具体地，可以以第四标识为键，将第四颜色特征、第四纹理特征和第四标识保存至对象字典，可以理解，以前帧图像也是进行相同的操作。

其中，获取目标对象的第一颜色特征、第一纹理特征和所在子区域的第一标识与获取第二消失对象的第四颜色特征、第四纹理特征和所在子区域的第四标识类似，为了简洁，在此不做赘述。

下面结合一个具体的实施例对本发明提供的目标追踪的方法进行详细说明，具体如下：

步骤1、获取道路区域的预设区域连通关系。

通过道路侧固定的单目摄像头拍摄道路区域，得到道路区域的图像。根据预设交通规则与图像将道路区域划分为多个子区域，根据预设道路交通规则将多个子区域分类为非通行区域、慢速通行区域、快速通行区域，并获取慢速通行区域的第一区域连通矩阵、快速通行区域的第二区域连通矩阵。其中，第一区域连通矩阵和第二区域连通矩阵共同用于表征预设区域连通关系。

步骤2、获取道路区域的当前帧图像相对于前一帧图像的关联对象集合、目标对象集合、消失对象集合。

利用检测模型对当前帧图像进行目标检测，获取交通参与对象集合detsk，其中，k为帧数，第k帧图像表示当前帧图像，当前帧图像的交通参与对象集合可以表示为其中，nk表示当前帧图像中包含的交通参与对象数量。表示当前帧图像的第t个交通参与对象，检测出每个交通参与对象的位置信息、高宽信息、置信度信息、类别信息，表示为其中，表示该交通参与对象的w轴中心点坐标，表示该交通参与对象的h轴中心点坐标，表示该交通参与对象在w轴方向像素宽度值，表示该交通参与对象在h轴方向像素高度值，表示该交通参与对象的置信度，表示该交通参与对象的类别。可以使用classes表示类别，表示方式如下：

classes＝{pedestrian，car，truck，bus，motorcycle，bicycle}(5)

其中，pedestrian表示行人，car表示汽车，truck表示卡车，bus表示客车，motorcycle表示骑摩托车(电动车)的人，bicycle表示骑自行车的人。

根据当前帧图像中每个交通参与对象的位置信息删除非通行区域中的交通参与对象，删除后剩余的交通参与对象使用desk表示，基于类别将desk分组，分组后每组的交通参与对象表示为表示为当前帧图像c类别下的第t个交通参与对象，每组包含的交通参与对象数量为类别交通参与对象数量与帧交通参与对象数量关系式为：使用匀速模型预测第k-1帧图像即前一帧图像中的交通参与对象在当前帧图像中的位置信息，分组后前一帧图像中每组检测交通参与对象表示为每组包含的交通参与对象数量为利用分组后当前帧图像中每个交通参与对象的位置信息与高宽信息与分组后前一帧图像中每个交通参与对象的位置信息与高宽信息计算每个类别的相关度矩阵，相关度矩阵的元素为同一类别的当前帧图像中的交通参与对象与前一帧图像中的交通参与对象的相关度，相关度矩阵的计算公式如下：

corr＝{corrc},c∈classes(6)

其中，corr表示相关度矩阵集合，corrc表示相关度矩阵，corrc[p,q]表示相关度矩阵中的元素，表示任意类别的当前帧图像的交通参与对象的w轴中心点坐标，表示任意类别的前一帧图像的交通参与对象的w轴中心点坐标，表示任意类别的当前帧图像的交通参与对象的h轴中心点坐标，表示任意类别的前一帧图像的交通参与对象的h轴中心点坐标，表示任意类别的当前帧图像的交通参与对象在w轴方向像素宽度值，表示任意类别的前一帧图像的交通参与对象在w轴方向像素宽度值，表示任意类别的当前帧图像的交通参与对象在h轴方向像素高度值，表示任意类别的前一帧图像的交通参与对象在h轴方向像素高度值。

可见，按照类别分别计算与上一帧交通参与对象的相关矩阵，计算量由nk-1*nk下降到效果可以如图2所示，可以减少计算量，提升计算效率。

基于类别的相关度矩阵集合corr中每个类别的相关度矩阵，针对当前帧图像与前一帧图像中同一类别的交通参与对象，使用匈牙利算法获取全局最优匹配结果。分析匹配结果情况，通过分析，得出匹配结果会出现的六种情况，如图5所示。其中，4、5、6情况会发生断裂，根据断裂阈值θa,b∈{car,bus,truck}和θb,b∈{pedestrian,motorcycle,bicycle}对产生的匹配结果进行断裂。断裂后可以将每个类别的交通参与对象划分为当前帧图像的关联对象集合，当前帧图像的目标对象集合和当前帧图像相对于前一帧图像的消失对象集合，分别用matched_detsk、unmatched_detsk、unmatched_trksk表示。unmatched_detsk中的交通参与对象可能为新增交通参与对象，也可能为历史轨迹曾出现但已追踪失败的交通参与对象。

步骤3、更新关联对象集合中关联对象的速度。

将速度分为w轴与h轴方向速度，计算公式如下：

其中，表示前一帧图像中关联对象s的w轴中心点坐标，表示表示前一帧图像中关联对象s的h轴中心点坐标。为当前帧图像中关联对象s的w轴中心点坐标，表示当前帧图像中关联对象s的h轴中心点坐标。关联对象s为关联对象集合中任一关联对象。

步骤4、判断消失对象集合是否为空，若不为空则提取消失对象集合中的消失对象所在子区域的标识、颜色特征和纹理特征。

遍历轨迹消失目标集合，利用消失对象的位置信息在消失对象所属类别的子区域集合即慢速通行区域或者快速通行区域中进行搜索，利用射线法计算每个目标所属子区域。如果消失对象的类别为c∈{pedestrian,motorcycle,bicycle}，则使用公式(10)，否则使用公式(11)。

mz,cp＝ray(t,saz),c∈{pedestrian,motorcycle,bicycle},z∈[1,u^sa](10)

mz,cp＝ray(t,faz),c∈{car,truck,bus},z∈[1,u^fa](11)

其中，u^sa表示慢速通行区域中子区域的数量，u^fa表示快速通行区域中子区域的数量，ray(t,saz)、ray(t,faz)，表示在慢速通行区域、快速通行区域应用射线法，mz,cp表示射线结果，如果mz,cp的值为奇数，表示消失对象在该子区域，从而得到消失对象所在的子区域，进而得到消失对象所在的子区域的标识。

可以基于颜色直方图提取消失对象的颜色特征，基于lbp算子提取消失对象的纹理特征。

可以以消失对象所在子区域的标识为键，将颜色特征、纹理特征和子区域的标识、类别、位置、高宽保存至对象字典。对象字典使用disappear_trks表示。

步骤5、提取目标对象集合中包含的每个目标对象的所在子区域的标识、颜色特征和纹理特征。

步骤6、判断目标对象集合是否为空，若不为空则对目标对象集合中每个目标对象进行重识别。

假设目标对象集合中第v个目标对象表示方式为通过对应类别的区域连通矩阵，即第一区域连通矩阵或第二区域连通矩阵，得到与所在子区域连通的所有连通子区域，以及每个连通子区域的标识。

从对象字典中查找键值为连通子区域的标识的对象，将其加入的待关联消失对象集合。

计算目标对象集合中每个目标对象与其待关联消失对象集合中每个待关联消失对象的相关度。当该相关度大于预设阈值时，将目标对象与待关联消失对象关联，实现对目标对象轨迹的快速找回，减少idswitch现象的发生，提高目标追踪的准确性与实时性。

图6是本发明实施例提供的一种简单路口的目标追踪示意图，如图6所示，针对交通参与对象较少的简单路口，路侧摄像头拍摄图像，连续帧1-9图中，左上角圆圈标注的骑电动车的人轨迹标号为7->7->7->7->null->null->null->null->7，其中，null是由于检测模型未成功检测造成，在经过连续缺失情况下，使用本发明实施例提供的目标追踪的方法将该目标的轨迹成功找回。

图7是本发明实施例提供的一种复杂路口的目标追踪示意图，如图7所示，针对交通参与者较多的复杂道路，路侧摄像头拍摄图像，连续帧1-9图中，左上角椭圆标注的行人轨迹标号17->null->null->null->null->null->null->null->17，车辆轨迹标号为18->18->18->18->18->18->18->null->18，在经过长短期目标缺失情况下，使用本发明实施例提供的目标追踪的方法将两者的轨迹成功找回。

基于本发明实施例的目标追踪的方法，本发明实施例还提供了一种目标追踪的装置，如图8所示，该目标追踪的装置可以包括：获取模块810、确定模块820、关联模块830。

其中，获取模块810，用于获取道路区域的当前帧图像相对于前一帧图像的目标对象，以及目标对象的第一颜色特征、第一纹理特征和所在子区域的第一标识，其中，道路区域包括多个子区域。

确定模块820，用于根据道路区域的预设区域连通关系、第一标识和对象字典，确定目标对象的待关联消失对象，其中，预设区域连通关系是道路区域中子区域之间的连通关系，对象字典包括前n-1帧图像相对于前n帧图像的至少一个第一消失对象的第二颜色特征、第二纹理特征和所在子区域的第二标识，n≥2。

确定模块820，还用于根据第一颜色特征、第一纹理特征、待关联消失对象的第三颜色特征和第三纹理特征，确定目标对象与待关联消失对象的第一相关度。

关联模块830，用于当第一相关度大于预设阈值时，将目标对象与待关联消失对象关联。

在一些实施例中，获取模块810包括：

检测单元，用于对当前帧图像进行目标检测，得到至少一个第一交通参与对象，以及至少一个第一交通参与对象的第一位置信息和第一类别信息。

第一分类单元，用于根据第一类别信息将至少一个第一交通参与对象分类为至少一个类别。

第一确定单元，用于确定前一帧图像中至少一个类别的至少一个第二交通参与对象在当前帧图像中的第二位置信息。

第一确定单元，还用于根据第一位置信息与第二位置信息，确定至少一个类别中每个类别的第一相关度矩阵，其中，第一相关度矩阵表示相同类别的第一交通参与对象与第二交通参与对象之间的第二相关度。

第一确定单元，还用于根据第一相关度矩阵，确定目标对象。

在一些实施例中，获取模块810，还用于在根据道路区域的预设区域连通关系、第一标识和对象字典，确定目标对象的待关联消失对象之前，获取道路区域的图像。

该装置800还包括：划分模块840，用于根据图像将道路区域划分为多个子区域。

分类模块850，用于根据预设道路交通规则将多个子区域分类为非通行区域、慢速通行区域、快速通行区域。

获取模块810，还用于获取慢速通行区域的第一区域连通矩阵、快速通行区域的第二区域连通矩阵。其中，第一区域连通矩阵表示慢速通行区域中子区域之间的连通关系，第二区域连通矩阵表示快速通行区域中子区域之间的连通关系，第一区域连通矩阵和第二区域连通矩阵共同用于表征预设区域连通关系。

在一些实施例中，获取模块810包括：

检测单元，用于对当前帧图像进行目标检测，得到至少一个第一交通参与对象，以及至少一个第一交通参与对象的第一位置信息、第一类别信息。

删除单元，用于根据第一位置信息删除位于非通行区域的第一交通参与对象，得到至少一个第三交通参与对象。

第二分类单元，用于根据至少一个第三交通参与对象的第二类别信息，将至少一个第三交通参与对象分类为至少一个类别。

第二确定单元，用于确定前一帧图像中至少一个类别的至少一个第四交通参与对象在当前帧图像中的第三位置信息。

第二确定单元，用于根据第三位置信息与至少一个第三交通参与对象的第四位置信息，确定至少一个类别中每个类别的第二相关度矩阵，其中，第二相关度矩阵表示相同类别的第三交通参与对象与第四交通参与对象之间的第三相关度。

第二确定单元，用于根据第二相关度矩阵，确定目标对象。

在一些实施例中，确定模块820具体用于：

基于预设区域连通关系和第一标识，确定目标对象对应的连通子区域。

基于连通子区域的第三标识与第二标识，确定待关联消失对象。

在一些实施例中，获取模块，还用于获取当前帧图像相对于前一帧图像的第二消失对象，以及第二消失对象的第四颜色特征、第四纹理特征和所在子区域的第四标识。

该装置800还包括：保存模块860，用于将第四颜色特征、第四纹理特征和第四标识保存至对象字典。

可以理解的是，图8所示目标追踪的装置中的各个模块/单元具有实现图1中各个步骤的功能，并能达到其相应的技术效果，为了简洁，在此不再赘述。

图9是本发明实施例提供的一种目标追踪的设备的硬件结构示意图。

如图9所示，本实施例中的目标追踪的设备900包括输入设备901、输入接口902、中央处理器903、存储器904、输出接口905、以及输出设备906。其中，输入接口902、中央处理器903、存储器904、以及输出接口905通过总线910相互连接，输入设备901和输出设备906分别通过输入接口902和输出接口905与总线910连接，进而与目标追踪的设备900的其他组件连接。

具体地，输入设备901接收来自外部的输入信息，并通过输入接口902将输入信息传送到中央处理器903；中央处理器903基于存储器904中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器904中，然后通过输出接口905将输出信息传送到输出设备906；输出设备906将输出信息输出到目标追踪的设备900的外部供用户使用。

在一些实施例中，图9所示的目标追踪的设备900包括：存储器904，用于存储程序；处理器903，用于运行存储器中存储的程序，以执行图1所示实施例提供的目标追踪的方法。

本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现图1所示实施例提供的目标追踪的方法。

需要明确的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，为了简洁，不再赘述。本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，做出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(applicationspecificintegratedcircuit，asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、只读存储器(read-onlymemory，rom)、闪存、可擦除rom(erom)、软盘、cd-rom、光盘、硬盘、光纤介质、射频(radiofrequency，rf)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。