一种多摄像机多目标跟踪方法与流程

文档序号：18633417发布日期：2019-09-11 21:55阅读：366来源：国知局

本发明属于目标跟踪技术领域，特别是涉及一种多摄像机多目标跟踪方法。

背景技术：

精准的目标跟踪结果可以让系统更准确的对目标轨迹和行为进行分析，且有助于特定目标的识别与检索。由于实际大范围监控场景的需要，基于多摄像机的多目标跟踪方法近十几年间吸引了越来越多研究者的注意。多摄像机目标跟踪是指通过对多摄像机下的数据进行联合分析，得到所有感兴趣目标在多个摄像机下的运动轨迹。多摄像机目标跟踪可以有效地解决单一摄像机视野有限的问题。同时，多目标的同时跟踪可以实现全场景范围内的实时自动监控，并对所有目标的轨迹和行为进行分析。

现有的多摄像机目标跟踪方法大多数都将整个跟踪过程分为两个阶段：单摄像机多目标跟踪和跨摄像机多目标跟踪。单摄像机多目标跟踪旨在得到每个摄像机下完整的轨迹片段，而跨摄像机多目标跟踪则是在单摄像机完整轨迹的基础上，对所有摄像机的轨迹进行匹配，得到完整的多摄像机的目标轨迹。单摄像机多目标跟踪算法的输出是跨摄像机多目标跟踪算法的输入。因此，单摄像机多目标跟踪效果的好坏会对之后的跨摄像机多目标跟踪，乃至整个多摄像机目标跟踪造成很大的影响。如果单摄像机多目标跟踪存在误差，那么在之后的跨摄像机多目标跟踪中该误差将被进一步放大，从而影响最终结果。现今的单摄像机多目标跟踪方法都是采用轨迹融合的方法进行处理，由于多个目标之间的干扰，以及摄像机内存在遮挡等问题，不可避免的会产生错误匹配的轨迹。当这些错误轨迹输入到跨摄像机算法中时会产生错匹配和漏匹配的问题。在实际情况下，单摄像机多目标跟踪难以完全消除这些误差，采用两步走的思路无法避免以上问题的出现。

除了上面两步走的方法，yu等人提出将单摄像机多目标跟踪和跨摄像机多目标跟踪放在一起优化。思路主要是采用基于检测的跟踪策略，即对所有的检测结果直接进行数据融合，直接得到所有摄像机下的所有轨迹。在这个过程中，在跨摄像机匹配时采用人脸识别来进行匹配。但是在现实监控场景中，摄像机的分辨率一般都相对较低，很难得到清晰的人脸图片用于人脸识别。

显然，上述的无论是基于两步走和一步走思路的多摄像机目标跟踪技术均有局限性。因此，需要研究更好的多摄像机目标跟踪技术来解决多摄像机目标跟踪中存在的理论和技术问题。

技术实现要素：

本发明提供一种多摄像机多目标跟踪方法，用以解决现有跨摄像机目标跟踪时当先进行单摄像机轨迹片段融合再进行跨摄像机轨迹融合时存在较大累计误差而当直接基于数据融合时因摄像机的分辨率低而导致融合准确性低的技术问题。

本发明解决上述技术问题的技术方案如下：一种多摄像机多目标跟踪方法，包括：

步骤1、获取经多摄像机采集的初始轨迹片段集；

步骤2、对所述初始轨迹片段集的轨迹片段相似度分布进行均衡化处理，得到预处理轨迹片段集；

步骤3、基于所述预处理轨迹片段集，对各个预处理轨迹片段进行融合，得到各个目标的完整轨迹，完成多摄像机多目标跟踪。

本发明的有益效果是：本发明采用一步走的思路，但与现有直接基于图像数据进行融合的方法不同，本发明是将多个摄像机下的轨迹片段放到一起进行轨迹融合，另外，在对所有轨迹进行融合时，由于跨摄像机之间的轨迹片段相似度与每个单摄像机下的轨迹片段相似度存在较大差别，单摄像机下即使是不同目标对应的轨迹片段相似度要高于跨摄像机下的单目标的轨迹片段相似度，为避免因相似度水平不同导致融合误差的问题，本发明对所有轨迹片段的相似度分布进行均衡化处理，保证单目标对应的所有轨迹片段的相似度在同一水平。本发明在一定程度上克服了当采用两步法思路即先进行单摄像机轨迹片段融合之后再进行跨摄像机轨迹融合时存在累计误差而当直接基于数据融合时因摄像机的分辨率低而导致融合准确性低的技术问题，提高了多摄像机多目标跟踪的效率和有效性。

上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述步骤1包括：

采用tld单目标跟踪算法，对每个摄像机采集的检测框进行跟踪，基于所述检测框，得到该摄像机下的多个初始轨迹片段。

本发明的进一步有益效果是：采用tld单目标跟踪算法，可以保证目标跟踪的实时性，提高全局图模型的构建优化速度。

进一步，所述步骤2包括：

基于所有跨摄像机下的第一轨迹片段相似度分布，对所有单摄像机下的第二轨迹片段相似度分布进行惩罚矫正，使得所述第二轨迹片段相似度分布与所述第一轨迹片段相似度分布均匀。

本发明的进一步有益效果是：本发明对单摄像机下的轨迹片段相似度分布做一定的惩罚，使其尽量与跨摄像机下的相似度分布处于同一水平，又由于跨摄像机下的轨迹片段对的数量要远远小于单摄像机下的轨迹片段对的数量，因此，对单摄像机对应的相似度分布进行修正，提高容错率，在尽量保证跨摄像机的轨迹片段相似度分布不变的情况下，修改单摄像机下的轨迹片段相似度分布，保证两者在同一水平上，以提高目标跟踪精度。

进一步，所述对所有单摄像机下的第二轨迹片段相似度分布进行惩罚矫正，具体为：

采用平均值惩罚因子和方差惩罚因子，矫正所有单摄像机下的初始轨迹片段之间的第一相似度的平均值和方差，以实现所有单摄像机下的第二轨迹片段相似度分布的惩罚矫正。

本发明的进一步有益效果：通过修正单摄像机下的轨迹片段相似度的平均值和方差，来有效实现单摄像机下的轨迹片段相似度分布与跨摄像机下的轨迹片段相似度分布处于同一水平，提高跟踪效率。

进一步，所述平均值惩罚因子为均衡化之前所述第一相似度的平均值与所有跨摄像机下的初始轨迹片段之间的第二相似度的平均值的差值，取值为大于等于0；

所述方差惩罚因子为均衡化之前所述第二相似度的方差与所述第一相似度的方差的比值；

则所述对所有单摄像机下的第二轨迹片段相似度分布进行惩罚矫正，具体为：将每个单摄像机下的每两个初始轨迹片段之间的相似度与所述平均值惩罚因子作差值，之后与所述方差惩罚因子相乘，得到该两个初始轨迹片段之间的相似度的矫正值。

本发明的进一步有益效果是：本发明的相似度均衡化方法可提高目标跟踪的精度。

进一步，所述步骤3包括：

步骤3.1、基于所述预处理轨迹片段集，建立全局图模型结构及其对应的最大后验概率方程，所述最大后验概率方程表示为最大化所有目标的完整轨迹集合的后验概率，且其中的转移概率用轨迹片段相似度表示；

步骤3.2、采用最小费用流的方法，求解所述最大后验概率方程，以融合得到各个目标的完整轨迹，完成多摄像机下多目标的跟踪。

本发明的进一步有益效果是：本发明采用最大后验概率及最小费用流的方法，基于全局图模型，进行目标轨迹片段的融合，其中，最大后验概率的输入为轨迹片段的相关信息，以实现本发明通过一步走思路有效解决多摄像机多目标跟踪的问题。

进一步，每个所述预处理轨迹片段由该预处理轨迹片段的位置、置信度、所属摄像机、时间段和视频序列构成的表观信息特征表达。

本发明的进一步有益效果是：以上信息特征表达轨迹片段，会使得算法的鲁棒性更强、更稳定。

进一步，所述全局图模型结构表示为：g＝{n；e；w}，其中，

n为点集合，包括所述预处理轨迹片段集中每个预处理轨迹片段对应的入点和出点以及虚拟源节点和虚拟终止节点；

e为边集合，包括目标边、转移边、起始边和结束边，所述目标边为每个所述预处理轨迹片段对应的入点和出点的连线，所述转移边为任一个所述预处理轨迹片段的入点和任另一个所述预处理轨迹片段的出点的连线，所述起始边为所述虚拟源节点与任一预处理轨迹片段的入点的连线，所述结束边为虚拟终止点与任一预处理轨迹片段的出点的连线；

w为边的权值的集合，包括所述目标边的权值、所述转移边的权值、所述起始边的权值和所述结束边的权值，所述目标边的权值为该目标边对应的预处理轨迹片段的置信度的负对数，所述转移边的权值为该转移边对应的两个所述预处理轨迹片段之间的相似度的负对数，所述起始边的权值和所述结束边的权值均为0。

进一步，每个所述预处理轨迹片段的所述置信度为该所述预处理轨迹片段对应的初始轨迹片段的所有帧跟踪置信度的平均值。

本发明还提供一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上述任一种多摄像机多目标跟踪方法。

附图说明

图1为本发明一个实施例提供的一种多摄像机多目标跟踪方法的流程框图；

图2为本发明一个实施例提供的图模型结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例一

一种多摄像机多目标跟踪方法100，如图1所示，包括：

步骤110、获取经多摄像机采集的初始轨迹片段集；

步骤120、对所初始轨迹片段集的轨迹片段相似度分布进行均衡化处理，得到预处理轨迹片段集；

步骤130、基于预处理轨迹片段集，对各个预处理轨迹片段进行融合，得到各个目标的完整轨迹，完成多摄像机多目标跟踪。

本实施例采用一步走的思路，但与现有直接基于图像数据进行融合的方法不同，本发明是将多个摄像机下的轨迹片段放到一起进行轨迹融合，以进行全局优化，较好地解决了如果单摄像机多目标跟踪存在误差，那么在之后的跨摄像机多目标跟踪中该误差将被进一步放大而影响最终跟踪效果的问题。

另外，由于基于一步走思路的多摄像机目标跟踪方法会引入一个新的问题，即如何均衡全局范围内任意两个输入轨迹的相似度。这些相似度中，有一部分来自于同一个摄像机的两条轨迹，有些来自于不同摄像机的两条轨迹。如果用一个公共的相似性度量去度量任意两条轨迹的相似度，则跨摄像机轨迹的相似度总体上要小于单摄像机轨迹之间的相似度。这是因为在跨摄像机多目标跟踪过程中，由于光照和视角等的变化，即使是一个人的表观也会出现很大的差异变化。而在单一摄像机下，人在小范围运动过程中，表观的变化会小很多。在这种情况下，有些单摄像机中不属于一个人的两条轨迹的相似度甚至高于跨摄像机中属于同一个人的两个轨迹的相似度。如果强行统一进行数据关联会使得模型优先连接单摄像机内的轨迹，而忽略了跨摄像机的轨迹连接，使得最后的全局优化结果陷入一个明显的错误解。

为了解决这个问题，本实施例算法提出了一种均衡化方法，在全局优化的过程中，区分对待来自于同一摄像机的两条轨迹的相似度和来自于不同摄像机的两条轨迹的相似度，同时对这两种相似度的分布进行了均衡化处理，保证其分布在数据关联过程中尽量平衡，一定程度上避免了上面提到的问题，提高了最终的多摄像机目标跟踪的效果。

优选的，步骤110包括：

采用tld单目标跟踪算法，对每个摄像机采集的检测框进行跟踪，基于所述检测框，得到该摄像机下的多个初始轨迹片段。

采用tld单目标跟踪算法，可以保证目标跟踪的实时性，提高全局图模型的构建优化速度。

优选的，步骤120包括：

需要说明的是，跨摄像机即为不同摄像机间，单摄像机即为单个摄像机下。

优选的，对所有单摄像机下的第二轨迹片段相似度分布进行惩罚矫正，具体为：

通过修正单摄像机下的轨迹片段相似度的平均值和方差，来有效实现单摄像机下的轨迹片段相似度分布与跨摄像机下的轨迹片段相似度分布处于同一水平，提高跟踪效率。

优选的，平均值惩罚因子为均衡化之前第一相似度的平均值与所有跨摄像机下的初始轨迹片段之间的第二相似度的平均值的差值，取值为大于等于0；

方差惩罚因子为均衡化之前第二相似度的方差与所述第一相似度的方差的比值；

则对所有单摄像机下的第二轨迹片段相似度分布进行惩罚矫正，具体为：将每个单摄像机下的每两个初始轨迹片段之间的相似度与平均值惩罚因子作差值，之后与方差惩罚因子相乘，得到该两个初始轨迹片段之间的相似度的矫正值。

具体的，如前所述，在单摄像机多目标跟踪中，目标的视角和光照变化相对较小。因此，其表观特征有着很强的不变性。但在跨摄像机多目标跟踪中，由于视角和光照等的变化，这种不变性变得非常弱。当我们建立全局图模型结构时，跨摄像机的表观特征的相似度分布将要远低于单摄像机下的特征相似度分布。也就是说，当计算所有的轨迹片段的相似度时，如果不做任何处理，那么在最优化的过程中，只要同一摄像机的两条轨迹片段之间的相似度高于跨摄像机的同一行人的两条轨迹片段的相似度，即使它们不属于同一个行人，模型也会优先连接属于同一摄像机的这两条轨迹片段。从而一定程度上阻碍了不同摄像机下的轨迹片段的连接。

为此通过利用两种相似度分布的先验统计，对单摄像机的相似度分布做一定的惩罚，使其尽量和跨摄像机下的相似度分布处于同一水平。又由于跨摄像机轨迹片段对的数量要远小于单摄像机下轨迹片段对的数量，且如果修改的不合理，会引入误差，如果选择直接修改跨摄像机下的轨迹片段的相似度，这个误差的影响就会非常大，而选择修改单摄像机下的轨迹片段的相似度，它对误差的容错率高很多。因此，选择修改跨摄像机的相似度分布，另外，在尽量保证在跨摄像机相似度分布不变的情况下，修改单摄像机相似度的分布，保证两者在同一水平上。

pa(li→lj)＝δσ(dis(li,lj)-δμ)

δμ≥0,si＝sj；

其中，δμ和δσ分别是惩罚因子，惩罚因子δμ和δσ分别用于控制单摄像机相似度分布的平均值和方差，si＝sj表示轨迹片段li,lj来自同一个摄像机，dis(li,lj)为两个轨迹片段的相似度求解。

δμ＝μ1-μ2

δσ＝σ2/σ1

其中，μ1和σ1表示在均匀化之前单摄像机相似度分布的均值和方差。μ2和σ2表示在均匀化之前跨摄像机相似度分布的均值和方差。

本实施例的相似度均衡化方法可提高目标跟踪的精度。

优选的，所述步骤3包括：

步骤3.2、采用最小费用流的方法，求解所述最大后验概率方程，以融合得到各个目标的完整轨迹，完成多摄像机下多目标的跟踪。

每个目标的完整轨迹包含了一个初始轨迹片段序列，即其中为第k个目标的第i条轨迹片段。优化的最终目的就是得到所有目标的完整轨迹集合γ，即γ＝{γk}。最大后验概率方程表示为：在给定初始轨迹片段集合l的情况下，最大化集合γ的后验概率：其中，p(li|γ)表示轨迹片段li的置信度，p(γk)则表示一个马尔科夫链，包含了目标k中所有轨迹片段γk的转移概率的乘积转移概率可以通过轨迹片段的相似性度量进行估计，即：

p(lj|li)＝p(li→lj)

对于最大后验概率的图模型结构，算法采用最小费用流的方法进行求解。得到的费用最小流则为我们后验概率最大的解。

本实施例采用最大后验概率及最小费用流的方法，基于全局图模型，进行目标轨迹片段的融合，其中，最大后验概率的输入为轨迹片段的相关信息，以实现本发明通过一步走思路有效解决多摄像机多目标跟踪的问题。

优选的，每个预处理轨迹片段由该预处理轨迹片段的位置、置信度、所属摄像机、时间段和视频序列构成的表观信息特征表达。

以上信息特征表达轨迹片段，会使得算法的鲁棒性更强、更稳定。

优选的，全局图模型结构表示为：g＝{n；e；w}，其中，

n为点集合，包括预处理轨迹片段集中每个预处理轨迹片段对应的入点和出点以及虚拟源节点和虚拟终止节点；

e为边集合，包括目标边、转移边、起始边和结束边，目标边为每个预处理轨迹片段对应的入点和出点的连线，转移边为任一个预处理轨迹片段的入点和任另一个预处理轨迹片段的出点的连线，起始边为虚拟源节点与任一预处理轨迹片段的入点的连线，结束边为虚拟终止点与任一预处理轨迹片段的出点的连线；

w为边的权值的集合，包括目标边的权值、转移边的权值、起始边的权值和结束边的权值，目标边的权值为该目标边对应的预处理轨迹片段的置信度的负对数，转移边的权值为该转移边对应的两个预处理轨迹片段之间的相似度的负对数，起始边的权值和所述结束边的权值均为0。

需要说明的是，虚拟源节点为图模型中预设的用于目标轨迹融合的起始点，虚拟终止节点为图模型中预设的用于目标轨迹融合的终止点。起始边表示一个目标的完整轨迹中起始的轨迹片段，即虚拟源节点和任意一个预处理轨迹片段对应的入点的连线。结束边表示一个目标的完整轨迹中最后结束的轨迹片段，即任意一个预处理轨迹片段对应的出点和虚拟终止节点的连线。另外，由于所有边都有相同的可能性被当作起始边或者结束边，且不需要任何代价，所以起始边的权值和所述结束边的权值均为0。

优选的，每个所述预处理轨迹片段的所述置信度为该所述预处理轨迹片段对应的初始轨迹片段的所有帧跟踪置信度的平均值。

边的权值即表示边的连接代价.在图模型g中，对每条轨迹片段本算法都设置两个点：分别为入点i^enter和出点i^exit。从入点i^enter连接到出点i^exit的边，称之为目标边ei，表示轨迹片段li的置信度。对应的目标边权值wi这里则设置为p(li|γ)的负对数，即：

两个轨迹片段之间的关系，这里称为转移边eij，表示从轨迹片段li的出点i^exit到轨迹片段lj的入点j^enter。对应的转移边权值则设置为转移概率p(lj|li)的负对数，即：wij＝-logp(lj|li).

全局图模型中点，边和权值的具体设置：

全局图模型中的点.正如上文所述，将所有摄像机下的初始轨迹片段作为全局图模型的输入。所以，算法通过统计该目标初始轨迹片段的所有帧的跟踪置信度，取其平均值c作为该轨迹片段的置信度p(li|γ)，即：

从而可以得到初始轨迹片段的集合l＝l1,l2,…,lm，其中每个轨迹片段为li＝[xi,ci,si,ti,ai]，其包含了轨迹的位置、置信度、轨迹所属摄像机、时间段和对应的视频序列的表观信息特征表达。则所有的节点n的集合可以表示为：

全局图模型中的边.全局图模型的边由四部分组成，分别为目标边、转移边、起始边和结束边，则图模型边的集合为：

e＝{ei}∪{esi,eit}∪{eij},i∈[1,m]。

全局图模型中的边权值.权值用来表达边的两个端点之间的关系。在这里，用轨迹片段的相似度来表示两个轨迹片段之间的关系。在全局图模型中，权值的意义是表示两个端点的连接代价。因此本实施例用相似度的负对数来作为边的权值。如之前对边的介绍，权值同边一样，共包含三个部分：w＝{wi}∪{wsi,wit}∪{wij},i∈[1,m]。