一种融合单目标跟踪结果的在线多目标跟踪算法的制作方法

本发明涉及视觉跟踪领域，具体涉及一种融合单目标跟踪结果的在线多目标跟踪算法。
背景技术：
：视频中的多目标跟踪是许多视觉应用的基本且重要的任务，例如视频监控和自动驾驶。此任务的目的是在每个帧中定位多个对象并获取每个标识的轨迹。目前大多数方法都是基于检测框的跟踪方法，包括在线跟踪方式和离线跟踪方式：在线跟踪方式是根据目标和检测框的相似度构建关联矩阵，利用匹配算法匹配目标和检测框位置；离线跟踪方式是根据一段时期内的检测框以及之间的相似度构建图，利用子图划分解决目标跟踪。wojkenicolai等人提出deepsort方法，其主要利用匈牙利算法根据目标与检测框的相似度进行匹配，连接轨迹。zhuji等人利用改善后的eco跟踪器跟踪目标，在配合带有空间和时间注意力机制的dman网络判断目标与预测框的相似程度。尽管上述方法在多目标跟踪结果上有很大进步，但是这些方法十分依赖检测框或十分依赖预测框的效果。若依赖检测框，会造成因漏检目标而丢失目标情况发生；若依赖预测框，而单目标跟踪器在复杂场景下容易跟丢目标，最终导致跟踪效果不佳。所以需要设计一种结合预测和检测的优势、提高跟踪目标的精度的多目标跟踪方法。技术实现要素：本发明的目的在于提供一种融合单目标跟踪结果的在线多目标跟踪算法，结合单目标跟踪器的预测结果，利用马尔可夫聚类算法对两帧的目标、预测框、检测框进行聚类，利用预测框解决检测器因目标遮挡或目标过小而漏检的问题。实现本发明目的的技术解决方案为：一种融合单目标跟踪结果的在线多目标跟踪算法，包括如下步骤：步骤1、利用单目标跟踪算法预测目标当前的位置；步骤2、利用reid网络模型对预测框和检测框区域分别提取特征向量，计算特征向量的相似度；步骤3、结合目标、预测框以及检测框构建一个有权重的无向图；步骤4、利用马尔可夫聚类算法对无向图进行聚类操作，得到集群；步骤5、根据集群中的预测框和检测框更新目标的当前位置。本发明与现有技术相比，其显著优点为：(1)本发明利用单目标跟踪算法在短时间内持续跟踪目标，得到目标位置，有效地弥补了因目标遮挡或目标过小而漏检目标的问题；(2)本发明利用马尔可夫聚类算法，聚类一个目标的多个位置，有效地解决了在线跟踪方式中因冗余检测结果而导致一个目标有多个标识的问题。下面结合附图对本发明做进一步详细的描述。附图说明图1为本发明融合单目标跟踪结果的在线多目标跟踪算法流程图。图2为本发明构建的加权无向图的示意图。图3为本发明聚类加权无向图结果的示意图。图4为本发明在位置更新类型的示意图。图5为本发明的实验结果与检测框结果在mot17数据集上的对比图。图6为本发明在mot19数据集上的结果可视化图。具体实施方式如图1所示，一种融合单目标跟踪结果的在线多目标跟踪算法，包括如下步骤：步骤1、利用单目标跟踪算法csrt预测目标o当前的位置pt；步骤2、利用reid网络模型对预测框pt和检测框dt区域分别提取特征向量f，计算特征向量的相似度s；步骤3、结合目标o、预测框pt，以及检测框dt构建一个有权重的无向图g＝(v,e)；步骤4、利用马尔可夫聚类算法对无向图g进行聚类操作，得到集群c；步骤5、最后根据集群中的预测框和检测框更新目标的当前位置。进一步的，步骤1中利用单目标跟踪算法csrt预测目标o当前的位置pt的过程具体为：根据前一帧目标位置n为目标个数，单目标跟踪器csrt预测每个目标的坐标位置其中p＝[x,y,w,h]，(x,y)为框的左上角坐标，(w,h)为框的宽高。进一步的，步骤2中根据当前帧的物体检测框dt和目标的预测框pt，裁剪出图片区域，利用reid网络模型对图片区域分别提取特征向量f，其中特征向量f为128维向量，特征向量的相似度s用余弦距离计算，并且归一化至(0,1)之间。进一步的，步骤3中构建一个有权重的无向图g＝(v,e)，且目标、预测框、检测框作为节点，节点之间的相似度s作为边的权重。进一步的，步骤4中利用马尔可夫聚类算法对无向图g进行聚类操作，得到集群c，不同集合表示不同目标，每个集合都是目标、预测框和检测框的组合。进一步的，步骤5中根据集群中的预测框和检测框更新目标的当前位置的过程具体为：融合同一个集群中的预测节点和检测节点的坐标，对该集群的目标节点更新位置，作为当前帧的目标位置。本发明利用单目标跟踪算法csrt跟踪目标，根据前一帧的坐标信息，预测出每个目标在当前帧的位置，有效地控制了检测器失灵未发现目标的情况。下面结合实施例和附图对本发明进行详细说明。实施例如图1所示，一种融合单目标跟踪结果的在线多目标跟踪算法，利用单目标跟踪算法csrt预测目标o当前的位置pt；利用reid网络模型对预测框pt和检测框dt区域分别提取特征向量f，计算特征向量的相似度s；结合目标o、预测框pt，以及检测框dt构建一个有权重的无向图g＝(v,e)；利用马尔可夫聚类算法对无向图g进行聚类操作，得到集群c；最后根据集群中的预测框和检测框更新目标的当前位置。具体步骤如下：步骤1、利用单目标跟踪算法csrt预测目标o当前的位置pt。根据前一帧目标位置n为目标个数，单目标跟踪器csrt预测每个目标的坐标位置其中p＝[x,y,w,h]，(x,y)为框的左上角坐标，(w,h)为框的宽高。单目标跟踪算法csrt是一个具有信道和空间可靠性的判别相关滤波跟踪器。给定目标的方向梯度直方图特征和颜色特征相关滤波器通道置信度权重其中nc表示特征通道数，用相关相应图的最大值位置估计出跟踪目标的位置：其中运算符★表示循环相关运算，相应图g的最大值位置即为目标位置p。步骤2、利用reid网络模型对预测框pt和检测框dt区域分别提取特征向量f，计算特征向量的相似度s。首先在当前帧图片上根据预测框pt和检测框dt的位置裁剪出对应的图片区域；接着将这些图片调整到同一宽高尺度，例如宽64像素、高128像素；然后用reid网络模型对这些调整后的图片提取特征向量f，其中特征向量f是一个1×128维的向量；最后用特征向量的余弦距离来表示特征的相似度s，公式如下，其中f1,f2表示两组特征向量：步骤3、结合目标o、预测框pt，以及检测框dt构建一个有权重的无向图g＝(v,e)，如图2所示。目标、预测框、检测框作为图的节点，每个节点都有一个编号，根据公式(2)计算节点之间的相似度s作为边的权重，其中构建图时，有两点约束：一是同类型节点之间不必计算相似度及不连接该边，例如检测节点1和检测节点2不计算相似；二是如果两节点之间的坐标距离超过一定阈值，则不连接该边。增加上述两点约束可以降低了接下来的聚类运算复杂度。步骤4、利用马尔可夫聚类算法对加权无向图g进行聚类操作，得到集群c。在聚类过程中，本发明设计了一种循环马尔可夫聚类方法，对聚类结果进行一定条件的筛选得到最后的集群c。首先计算每个集合中目标、预测框节点和检测框节点的个数，如果目标个数大于1，则将依据该集合在加权无向图g上创建子图，然后循环调用马尔可夫聚类方法，直到将多个目标分离开，最后得到的集群c中，每个集合中目标个数等于0或等于1，图3为集群结果示意图，集群被划分为多个集合，且每个集合包含了属于该集合中目标的预测或检测结果。步骤5、最后根据集群中的预测框和检测框更新目标的当前位置。对于含有目标节点的集群来说，其余预测节点和检测节点的情况可以对应4种类型，如图4所示，圆圈表示目标节点，方框表示检测节点，三角形表示预测节点。(1)该集群包含一个目标节点、一个预测节点、一个或多个检测节点，结合预测节点和检测节点的位置更新目标的当前帧位置。(2)该集群包含一个目标节点、一个或多个检测节点，先用kalman滤波器预测目标的位置，再用检测的坐标更新目标的当前帧位置。(3)该集群包含一个目标节点、一个预测节点，用预测节点的坐标位置作为目标的当前帧位置。(4)该集群只包含一个目标节点，该目标被视为丢失，不再跟踪该目标。表1在线方法在数据集mot17上的比较方法mota↑fn↓frag↓gmphd_n1tr42.129764610864eamtt42.62884745720fpsn44.926995214491phd_gsdl48.02659548886am_adm48.12654955027dman48.22636085378sotd_mcl48.42550914944表1是本发明的方法，简写为sotd_mcl，与其他在线方法在数据集mot17上结果的比较。评测指标包括mota表示跟踪的精度，fn表示错误的非目标数量，frag表示一个目标的轨迹完整情况。符号“↑”表示值越高性能越好，符号“↓”表示值越低性能越好。可以发现，本发明在mota、fn、frag这3个指标上都取得最高的排名，充分证明了本发明不仅能提高多目标跟踪的精度，而且能有效地控制漏检目标对实验结果的影响。图5是本发明的实验结果与检测框结果在mot17数据集上的对比图，第一行为mot17数据给出的检测框的示意图，可以发现目标会因遮挡或尺寸较小而漏检，缺失位置信息；第二行是本发明的实验结果，可以看出本发明在目标行人被遮挡或在目标较小的情况下能有效地跟踪到目标。图6展示了本发明在mot19数据集上的跟踪效果，本发明对小目标及遮挡目标的跟踪有很大优势。当前第1页12