一种多目标跟踪方法和装置制造方法
【专利摘要】本发明公开了一种多目标跟踪方法，在每获取到一帧图像后，分别进行如下处理：利用从图像中确定出的候选目标组成候选目标集合；针对所获取的目标轨迹集合中的每个目标轨迹，分别确定出与其相关联的候选目标，并针对每个候选目标，分别确定出与其相关联的目标轨迹；根据确定出的关联关系，针对每个目标轨迹，分别确定是否存在与之相匹配的候选目标，如果是，则将相匹配的候选目标作为该目标轨迹的跟踪结果，否则，确定该目标轨迹未匹配成功。本发明同时公开了一种多目标跟踪装置。应用本发明所述的方法和装置，能够提高跟踪结果的准确性。
【专利说明】一种多目标跟踪方法和装置
【技术领域】
[0001]本发明涉及智能视频监控领域，特别涉及一种多目标跟踪方法和装置。
【背景技术】
[0002]随着时代的发展，智能化需求和应用的提高，人流量统计的现实需求越来越大，目前已经广泛应用在各大商场、展馆、连锁店和景点等出入口。
[0003]作为人流量统计的关键环节，目标跟踪的作用不言而喻，人流量统计中的目标跟踪通常属于多目标跟踪。当多个目标轨迹存在时，需要分别寻找其各自相匹配的候选目标，如何正确地进行匹配是一个亟待解决的问题。
[0004]目前，针对多目标跟踪，通常采用关联跟踪方式。但是，由于关联跟踪方式没有关联管理机制，当多个目标轨迹关联一个候选目标，或一个目标轨迹关联多个候选目标时，很容易出现误关联的现象，从而降低跟踪结果的准确性。误关联是指当目标轨迹和候选目标比较多的情况下，一个目标轨迹错误地关联上属于另一个目标轨迹的候选目标。
【发明内容】
[0005]有鉴于此，本发明提供了一种多目标跟踪方法和装置，能够提高跟踪结果的准确性。
[0006]为达到上述目的，本发明的技术方案是这样实现的:
[0007]—种多目标跟踪方法，在每获取到一帧图像后，分别进行如下处理:
[0008]A、利用从所述图像中确定出的候选目标组成候选目标集合；
[0009]B、针对所获取的目标轨迹集合中的每个目标轨迹，分别确定出所述候选目标集合中与其相关联的候选目标，并针对所述候选目标集合中的每个候选目标，分别确定出所述目标轨迹集合中与其相关联的目标轨迹；
[0010]C、根据步骤B中确定出的关联关系，针对所述目标轨迹集合中的每个目标轨迹，分别确定是否存在与之相匹配的候选目标，如果是，则将相匹配的候选目标作为该目标轨迹的跟踪结果，否则，确定该目标轨迹未匹配成功。
[0011]一种多目标跟踪装置，包括:
[0012]获取模块，用于在每获取到一帧图像后，利用从所述图像中确定出的候选目标组成候选目标集合；
[0013]关联模块，用于针对所获取的目标轨迹集合中的每个目标轨迹，分别确定出所述候选目标集合中与其相关联的候选目标，并针对所述候选目标集合中的每个候选目标，分别确定出所述目标轨迹集合中与其相关联的目标轨迹；
[0014]匹配模块，用于根据确定出的关联关系，针对所述目标轨迹集合中的每个目标轨迹，分别确定是否存在与之相匹配的候选目标，如果是，则将相匹配的候选目标作为该目标轨迹的跟踪结果，否则，确定该目标轨迹未匹配成功。
[0015]可见，采用本发明所述方案，分别确定与每个目标轨迹相关联的候选目标以及与每个候选目标相关联的目标轨迹，并综合考虑上述两种关联关系，进行目标轨迹与候选目标之间的匹配，从而降低了误关联现象的出现概率，进而提高了跟踪结果的准确性。
【专利附图】
【附图说明】
[0016]图1为本发明多目标跟踪方法实施例的流程图。
[0017]图2为原则I)?3)的实现过程示意图。
[0018]图3为原则4)的实现过程示意图。
【具体实施方式】
[0019]针对现有技术中存在的问题，本发明中提出一种改进后的多目标跟踪方案，即最近邻关联跟踪方案:计算目标轨迹和候选目标之间的重叠面积，重叠面积越大表示越近邻，通过最大重叠面积来确定两者之间的最近邻关联，通过关联进行目标跟踪。
[0020]为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案作进一步地详细说明。
[0021]图1为本发明多目标跟踪方法实施例的流程图。在每获取到一帧图像后，分别按照图1所示流程进行处理。如图1所示，包括以下步骤:
[0022]步骤11:利用从图像中确定出的候选目标组成候选目标集合。
[0023]在实际应用中，在每获取到一帧图像后，可首先进行如下处理:确定图像中是否存在新增目标轨迹，如果是，则将新增目标轨迹加入到目标轨迹集合中。目标轨迹集合由一个个在不同时刻加入的目标轨迹组成，新增目标轨迹即指之前在目标轨迹集合中不存在的目标轨迹。
[0024]在将新增目标轨迹加入到目标轨迹集合中之后，还需要对新增目标轨迹进行初始化，初始化对象包括新增目标轨迹的基本信息以及轨迹关联和管理的基本参数等。
[0025]具体来说，初始化的内容包括:获取新增目标轨迹的轨迹点数目和每个轨迹点的位置信息，其中位置信息经归一化处理，每个轨迹点的位置信息可包括该轨迹点的大小和中心位置等；按现有预定方式计算新增目标轨迹的平均速度；将新增目标轨迹的速度倍数设置为I ;利用最小误差直线拟合法来确定新增目标轨迹的整体方向；为新增目标轨迹设置一个唯一标识(序号)等。目标轨迹由一系列的轨迹点组成，每个轨迹点即可理解为一个按照本发明所述方式匹配成功的候选目标。
[0026]之后，可利用从图像中确定出的候选目标组成候选目标集合，并可为每个候选目标设置一个唯一的标识，如何确定出图像中的候选目标为现有技术。
[0027]另外，还可根据从图像中确定出的候选目标的大小和数目确定出重叠面积阈值，重叠面积阈值包括大面积阈值和基本阈值。其中，若候选目标偏大，即面积偏大，且数量较少，则重叠面积阈值可设置得较为宽松，使得关联相对容易；若候选目标偏小，且数量较多，则重叠面积阈值可设置得较为严格，使得关联相对困难，尽量减少发生误关联的可能性。
[0028]大面积阈值和基本阈值的具体取值均可根据实际需要而定。
[0029]步骤12:针对所获取的目标轨迹集合中的每个目标轨迹，分别确定出候选目标集合中与其相关联的候选目标，并针对候选目标集合中的每个候选目标，分别确定出目标轨迹集合中与其相关联的目标轨迹。[0030]本步骤中，可针对目标轨迹集合中的每个目标轨迹X (为便于表述，用目标轨迹X来代表目标轨迹集合中的任一目标轨迹)，分别按照步骤a)?b)进行处理。
[0031]a)将目标轨迹X最新一次匹配成功时相匹配的候选目标作为历史目标框，并基于历史目标框确定出目标轨迹X在图像中的预测目标框。
[0032]目标轨迹X最新一次匹配成功时相匹配的候选目标即指目标轨迹X的最新一个轨迹点；可将目标轨迹X的平均速度和速度倍数相乘，将计算结果作为预测位置偏移，并在目标轨迹X的历史目标框的基础上累加预测位置偏移，得到目标轨迹X的预测目标框。
[0033]b)针对候选目标集合中的每个候选目标y (为便于表述，用候选目标y来代表候选目标集合中的任一候选目标)，分别计算目标轨迹X的历史目标框和预测目标框与候选目标y的重叠面积，得到两个计算结果，并确定两个计算结果中的较大值是否符合预定要求，如果是，则确定目标轨迹X与候选目标I相关联。
[0034]在分别计算目标轨迹X的历史目标框和预测目标框与候选目标y的重叠面积，得到两个计算结果之后，如果两个计算结果中的较大值符合以下条件之一，则可确定目标轨迹X与候选目标y相关联:
[0035]条件一:两个计算结果中的较大值大于步骤11中确定出的大面积阈值；
[0036]条件二:两个计算结果中的较大值大于步骤11中确定出的基本阈值，且候选目标y连接目标轨迹X时不影响目标轨迹X的整体方向一致性。
[0037]如何确定候选目标y连接目标轨迹X时是否影响目标轨迹X的整体方向一致性为现有技术。目标轨迹X的整体方向在目标轨迹X加入到目标轨迹集合中进行初始化时确定。
[0038]经过上述步骤a)?b)的处理后，即可得到与目标轨迹集合中的每个目标轨迹相关联的候选目标，以及与候选目标集合中的每个候选目标相关联的目标轨迹，并分别进行记录。具体来说，可针对目标轨迹集合中的每个目标轨迹，分别记录与之相关联的每个候选目标的唯一标识以及与该目标轨迹之间的重叠面积(两个计算结果中的较大值)，针对候选目标集合中的每个候选目标，分别记录与之相关联的每个目标轨迹的唯一标识以及与该候选目标之间的重叠面积(两个计算结果中的较大值)。
[0039]其中，针对每个目标轨迹，可最多只记录N个与其相关联的候选目标的唯一标识以及与该目标轨迹之间的重叠面积，N为大于I的正整数。也就是说，如果与该目标轨迹相关联的候选目标数小于N，那么则记录全部与该目标轨迹相关联的候选目标的唯一标识以及与该目标轨迹之间的重叠面积；如果与该目标轨迹相关联的候选目标数大于N，则只记录重叠面积最大的N个候选目标的唯一标识以及与该目标轨迹之间的重叠面积。通常来说，在实际应用中，无需记录全部在后续即够用了。
[0040]同样，针对每个候选目标，可最多只记录M个与其相关联的目标轨迹的唯一标识以及与该候选目标之间的重叠面积，M为大于I的正整数，M的取值可等于N，也可不等于N，并记录M个重叠面积最大的目标轨迹。M和N的具体取值均可根据实际需要而定。
[0041]可以看出，候选目标和目标轨迹之间的关联是双向的，一个候选目标可能同时和多个目标轨迹相关联，一个目标轨迹也可能同时和多个候选目标相关联。
[0042]步骤13:根据步骤12中确定出的关联关系，针对目标轨迹集合中的每个目标轨迹，分别确定是否存在与之相匹配的候选目标，如果是，则将相匹配的候选目标作为该目标轨迹的跟踪结果，否则，确定该目标轨迹未匹配成功。[0043]本步骤中，可遵循以下原则来对目标轨迹与候选目标之间进行匹配:
[0044]I)针对候选目标集合中的每个候选目标z (为便于表述，用候选目标z来代表候选目标集合中的任一候选目标)，如果确定与其相关联的目标轨迹数等于1，且与与候选目标z相关联的目标轨迹相关联的候选目标数等于1，则将与候选目标z相关联的目标轨迹作为与候选目标Z相匹配的目标轨迹；
[0045]2)如果确定与候选目标z相关联的目标轨迹数大于1，则从与候选目标z相关联的目标轨迹中选出与候选目标z的重叠面积最大的目标轨迹，如果与所选出的目标轨迹相关联的候选目标数等于I，则将所选出的目标轨迹作为与候选目标z相匹配的目标轨迹；
[0046]3)如果确定与候选目标z相关联的目标轨迹数等于0，则确定候选目标z未匹配成功；
[0047]4)如果确定与候选目标z相关联的目标轨迹数大于1，则从与候选目标z相关联的目标轨迹中选出与候选目标z的重叠面积最大的目标轨迹，如果与所选出的目标轨迹相关联的候选目标数大于1，则将与所选出的目标轨迹相关联的候选目标按照与所选出的目标轨迹之间的重叠面积由大到小的顺序进行排序；
[0048]确定排序后处于第一位的候选目标是否已与一目标轨迹匹配成功，如果否，则将排序后处于第一位的候选目标作为与所选出的目标轨迹相匹配的候选目标；如果是，则确定排序后处于第二位的候选目标是否已与一目标轨迹匹配成功，如果否，则将排序后处于第二位的候选目标作为与所选出的目标轨迹相匹配的候选目标；依次类推；
[0049]如果与所选出的目标轨迹相关联的候选目标均未与所选出的目标轨迹匹配成功，则确定所选出的目标轨迹未匹配成功。
[0050]图2为原则I)?3)的实现过程示意图。针对候选目标集合中的每个候选目标，可分别按照如图2所示方式进行处理。如图2所示，包括:
[0051]步骤201:确定与候选目标相关联的目标轨迹数是否大于0，如果是，则执行步骤203，否则，执行步骤202。
[0052]步骤202:确定候选目标未匹配成功，并结束流程。
[0053]步骤203:确定与候选目标相关联的目标轨迹数是否等于1，如果是，则执行步骤204，否则，执行步骤206。
[0054]步骤204:确定与与候选目标相关联的目标轨迹相关联的候选目标数是否等于1，如果是，则执行步骤205，否则，执行图3所示流程。
[0055]步骤205:将与候选目标相关联的目标轨迹作为与候选目标相匹配的目标轨迹，并结束流程。
[0056]步骤206:从与候选目标相关联的目标轨迹中选出与候选目标之间的重叠面积最大的目标轨迹。
[0057]步骤207:确定与选出的目标轨迹相关联的候选目标数是否等于1，如果是，则执行步骤208，否则，执行图3所示流程。
[0058]步骤208:将选出的目标轨迹作为与候选目标相匹配的目标轨迹，并结束流程。
[0059]图3为原则4)的实现过程示意图。针对图2中所述的相关联的候选目标数大于I的每个目标轨迹，可分别按照图3所示方式进行处理。如图3所示，包括:
[0060]步骤301:将与目标轨迹相关联的候选目标按照与目标轨迹之间的重叠面积由大到小的顺序进行排序。
[0061]步骤302:令 i = I。
[0062]步骤303:确定排序后处于第i位的候选目标是否已与一目标轨迹匹配成功，如果否，则执行步骤304，否则，执行步骤305。
[0063]步骤304:将排序后处于第i位的候选目标作为与目标轨迹相匹配的候选目标，并结束流程。
[0064]步骤305:令i = i+Ι，并确定是否存在排序后处于第i位的候选目标，如果是，则重复执行步骤303，否则，执行步骤306。
[0065]步骤306:确定目标轨迹未匹配成功，并结束流程。
[0066]在实际应用中，可针对每个目标轨迹以及每个候选目标分别设置一个成功匹配标记，如果匹配成功，则将该标记设置为1，否则设置为0，用以区分哪些目标轨迹和候选目标匹配成功，哪些未匹配成功。
[0067]另外，还可将匹配成功的候选目标展示给用户。
[0068]再有，在对目标轨迹集合中的每个目标轨迹均完成处理后，即分别确定了其是否匹配成功后，可进一步对各目标轨迹的相关参数等进行更新。
[0069]具体来说，对于匹配成功的目标轨迹，可将其速度倍数还原为1，并更新其轨迹点和重新计算其平均速度，更新其轨迹点即指将最新匹配成功的候选目标作为一个轨迹点加入到目标轨迹中，记录其位置信息，包括大小和中心点位置等，并可对位置信息进行归一化处理。
[0070]对于未匹配成功的目标轨迹，将其速度倍数加1，并确定加I后的值是否超过预定上限，如果是，则将速度倍数设置为所述上限，否则，维持加I后的值不变。
[0071]由于在确定一目标轨迹的预测目标框时，就是在其历史目标框的基础上累加该目标轨迹的平均速度和速度倍数的乘积，因此，若目标轨迹匹配成功，则将其速度倍数还原为初始值1，若未匹配成功，则对其速度倍数进行累加，且累加后的速度倍数不能超过上限，设置上限主要是为了防止目标轨迹和候选目标之间由于距离过远而发生误关联。上限的具体取值可根据实际需要而定。
[0072]至此，即完成了关于本发明方法实施例的介绍。
[0073]基于上述介绍，本发明同时公开了一种多目标跟踪装置，包括:
[0074]获取模块，用于在每获取到一帧图像后，利用从图像中确定出的候选目标组成候选目标集合；
[0075]关联模块，用于针对所获取的目标轨迹集合中的每个目标轨迹，分别确定出候选目标集合中与其相关联的候选目标，并针对候选目标集合中的每个候选目标，分别确定出目标轨迹集合中与其相关联的目标轨迹；
[0076]匹配模块，用于根据确定出的关联关系，针对目标轨迹集合中的每个目标轨迹，分别确定是否存在与之相匹配的候选目标，如果是，则将相匹配的候选目标作为该目标轨迹的跟踪结果，否则，确定该目标轨迹未匹配成功。
[0077]获取模块可进一步用于，确定图像中是否存在新增目标轨迹，如果是，则将新增目标轨迹加入到目标轨迹集合中。
[0078]关联模块中可具体包括:[0079]第一处理单元，用于针对目标轨迹集合中的每个目标轨迹X，分别进行以下处理:将目标轨迹X最新一次匹配成功时相匹配的候选目标作为历史目标框，并基于历史目标框确定出目标轨迹X在图像中的预测目标框；针对候选目标集合中的每个候选目标y，分别计算目标轨迹X的历史目标框和预测目标框与候选目标I的重叠面积，得到两个计算结果，并确定两个计算结果中的较大值是否符合预定要求，如果是，则确定目标轨迹X与候选目标y相关联；
[0080]第二处理单元，用于分别记录与目标轨迹集合中的每个目标轨迹相关联的候选目标，以及与候选目标集合中的每个候选目标相关联的目标轨迹。
[0081]获取模块还可进一步用于，在将新增目标轨迹加入到目标轨迹集合中之后，对新增目标轨迹进行初始化；初始化包括:按预定方式计算新增目标轨迹的平均速度，并将新增目标轨迹的速度倍数设置为I;
[0082]相应地，第一处理单元将目标轨迹X的平均速度和速度倍数相乘，将计算结果作为预测位置偏移，并在目标轨迹X的历史目标框的基础上累加预测位置偏移，得到目标轨迹X的预测目标框。
[0083]获取模块还可进一步用于，在对新增目标轨迹进行初始化时，确定新增目标轨迹的整体方向；并根据从图像中确定出的候选目标的大小和数目确定重叠面积阈值，重叠面积阈值包括大面积阈值和基本阈值；
[0084]如果两个计算结果中的较大值大于大面积阈值，则第一处理单元确定目标轨迹X与候选目标y相关联；或者，如果两个计算结果中的较大值大于基本阈值，且候选目标y连接目标轨迹X时不影响目标轨迹X的整体方向一致性，则第一处理单元确定目标轨迹X与候选目标y相关联。
[0085]另外，针对目标轨迹集合中的每个目标轨迹，第二处理单元分别记录与之相关联的每个候选目标的唯一标识以及与该目标轨迹之间的重叠面积，针对候选目标集合中的每个候选目标，第二处理单元分别记录与之相关联的每个目标轨迹的唯一标识以及与该候选目标之间的重叠面积；
[0086]针对候选目标集合中的每个候选目标z，如果匹配模块确定与其相关联的目标轨迹数等于I，且与与候选目标z相关联的目标轨迹相关联的候选目标数等于I，则将与候选目标z相关联的目标轨迹作为与候选目标z相匹配的目标轨迹；
[0087]如果匹配模块确定与候选目标z相关联的目标轨迹数大于1，则从与候选目标z相关联的目标轨迹中选出与候选目标z的重叠面积最大的目标轨迹，如果与所选出的目标轨迹相关联的候选目标数等于1，则将所选出的目标轨迹作为与候选目标z相匹配的目标轨迹；
[0088]如果匹配模块确定与候选目标z相关联的目标轨迹数等于0，则确定候选目标z未匹配成功；
[0089]如果匹配模块确定与候选目标z相关联的目标轨迹数大于1，则从与候选目标z相关联的目标轨迹中选出与候选目标z的重叠面积最大的目标轨迹，如果与所选出的目标轨迹相关联的候选目标数大于1，则将与所选出的目标轨迹相关联的候选目标按照与所选出的目标轨迹之间的重叠面积由大到小的顺序进行排序；确定排序后处于第一位的候选目标是否已与一目标轨迹匹配成功，如果否，则将排序后处于第一位的候选目标作为与所选出的目标轨迹相匹配的候选目标；如果是，则确定排序后处于第二位的候选目标是否已与一目标轨迹匹配成功，如果否，则将排序后处于第二位的候选目标作为与所选出的目标轨迹相匹配的候选目标；依次类推；如果与所选出的目标轨迹相关联的候选目标均未与所选出的目标轨迹匹配成功，则确定所选出的目标轨迹未匹配成功。
[0090]获取模块还可进一步用于，对于匹配成功的目标轨迹，将其速度倍数还原为1，并更新其轨迹点和重新计算其平均速度；对于未匹配成功的目标轨迹，将其速度倍数加1，并确定加I后的值是否超过预定上限，如果是，则将速度倍数设置为上限，否则，维持加I后的值不变。
[0091]上述装置实施例的具体工作流程请参照前述方法实施例中的相应说明，此处不再赘述。
[0092]总之，采用本发明所述方案，分别确定与每个目标轨迹相关联的候选目标以及与每个候选目标相关联的目标轨迹，并综合考虑上述两种关联关系，进行目标轨迹与候选目标之间的匹配，并且，在进行关联时既考虑了最近邻的目标优先原则，保证了目标轨迹跟踪的稳定性，又考虑了目标轨迹整体方向一致性原则，从而降低了误关联现象的出现概率，进而提高了跟踪结果的准确性。
[0093]另外，本发明所述方案中，同时利用历史目标框以及预测目标框进行关联和匹配，匹配失败则原地等待，从而避免了轨迹漂移现象的出现，轨迹漂移是指在某一帧或某几帧图像中未正确匹配候选目标的情况下，产生的明显偏移真实候选目标位置的跟踪现象；而且，由于预测、关联和匹配等处理在后续各帧图像中仍会继续，因此若没有长时间的匹配失败，后续还可以找回之前匹配失败的目标轨迹继续跟踪，直到目标轨迹消失。
[0094]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
【权利要求】
1.一种多目标跟踪方法，其特征在于，在每获取到一帧图像后，分别进行如下处理: A、利用从所述图像中确定出的候选目标组成候选目标集合； B、针对所获取的目标轨迹集合中的每个目标轨迹，分别确定出所述候选目标集合中与其相关联的候选目标，并针对所述候选目标集合中的每个候选目标，分别确定出所述目标轨迹集合中与其相关联的目标轨迹； C、根据步骤B中确定出的关联关系，针对所述目标轨迹集合中的每个目标轨迹，分别确定是否存在与之相匹配的候选目标，如果是，则将相匹配的候选目标作为该目标轨迹的跟踪结果，否则，确定该目标轨迹未匹配成功。
2.根据权利要求1所述的方法，其特征在于，所述步骤A之前，进一步包括: 确定所述图像中是否存在新增目标轨迹，如果是，则将所述新增目标轨迹加入到所述目标轨迹集合中。
3.根据权利要求2所述的方法，其特征在于，所述步骤B包括: B1、针对所述目标轨迹集合中的每个目标轨迹X，分别进行以下处理: 将目标轨迹X最新一次匹配成功时相匹配的候选目标作为历史目标框，并基于历史目标框确定出目标轨迹X在所述图像中的预测目标框； 针对所述候选目标集合中的每个候选目标1，分别计算目标轨迹X的历史目标框和预测目标框与候选目标y的重叠面积，得到两个计算结果，并确定两个计算结果中的较大值是否符合预定要求，如果是，则确定目标轨迹X与候选目标I相关联； B2、分别记录与所述目标轨迹集合中的每个目标轨迹相关联的候选目标，以及与所述候选目标集合中的每个候选目标相关联的目标轨迹。
4.根据权利要求3所述的方法，其特征在于， 所述将所述新增目标轨迹加入到所述目标轨迹集合中之后，进一步包括:对所述新增目标轨迹进行初始化；所述初始化包括:按预定方式计算所述新增目标轨迹的平均速度，并将所述新增目标轨迹的速度倍数设置为I ; 所述步骤BI中基于历史目标框确定出目标轨迹X在所述图像中的预测目标框包括:将目标轨迹X的平均速度和速度倍数相乘，将计算结果作为预测位置偏移；在目标轨迹X的历史目标框的基础上累加所述预测位置偏移，得到目标轨迹X的预测目标框。
5.根据权利要求4所述的方法，其特征在于， 所述初始化进一步包括:确定所述新增目标轨迹的整体方向； 所述步骤B之前，进一步包括:根据从所述图像中确定出的候选目标的大小和数目确定重叠面积阈值，所述重叠面积阈值包括大面积阈值和基本阈值； 所述步骤BI中确定两个计算结果中的较大值是否符合预定要求，如果是，则确定目标轨迹X与候选目标I相关联包括: 如果两个计算结果中的较大值大于所述大面积阈值，则确定目标轨迹X与候选目标I相关联； 或者，如果两个计算结果中的较大值大于所述基本阈值，且候选目标I连接目标轨迹X时不影响目标轨 迹X的整体方向一致性，则确定目标轨迹X与候选目标I相关联。
6.根据权利要求5所述的方法，其特征在于， 所述步骤B2包括:针对所述目标轨迹集合中的每个目标轨迹，分别记录与之相关联的每个候选目标的唯一标识以及与该目标轨迹之间的重叠面积；针对所述候选目标集合中的每个候选目标，分别记录与之相关联的每个目标轨迹的唯一标识以及与该候选目标之间的重叠面积； 所述步骤C包括: 针对所述候选目标集合中的每个候选目标Z，如果确定与其相关联的目标轨迹数等于1，且与与候选目标z相关联的目标轨迹相关联的候选目标数等于1，则将与候选目标z相关联的目标轨迹作为与候选目标z相匹配的目标轨迹； 如果确定与候选目标z相关联的目标轨迹数大于1，则从与候选目标z相关联的目标轨迹中选出与候选目标z的重叠面积最大的目标轨迹，如果与所选出的目标轨迹相关联的候选目标数等于I，则将所选出的目标轨迹作为与候选目标z相匹配的目标轨迹； 如果确定与候选目标z相关联的目标轨迹数等于O，则确定候选目标z未匹配成功。
7.根据权利要求6所述的方法，其特征在于，所述步骤C中进一步包括: 如果确定与候选目标z相关联的目标轨迹数大于1，则从与候选目标z相关联的目标轨迹中选出与候选目标z的重叠面积最大的目标轨迹，如果与所选出的目标轨迹相关联的候选目标数大于1，则将与所选出的目标轨迹相关联的候选目标按照与所选出的目标轨迹之间的重叠面积由大到小的顺序进行排序； 确定排序后处于第一位的候选目标是否已与一目标轨迹匹配成功，如果否，则将排序后处于第一位的候选目标作为与所选出的目标轨迹相匹配的候选目标；如果是，则确定排序后处于第二位的候选目标是否已与一目标轨迹匹配成功，如果否，则将排序后处于第二位的候选目标作为与所选出的目标轨迹相匹配的候选目标；依次类推； 如果与所选出的目标轨迹相关联的候选目标均未与所选出的目标轨迹匹配成功，则确定所选出的目标轨迹未匹配成功。
8.根据权利要求4所述的方法，其特征在于，该方法进一步包括: 对于匹配成功的目标轨迹，将其速度倍数还原为I，并更新其轨迹点和重新计算其平均速度； 对于未匹配成功的目标轨迹，将其速度倍数加1，并确定加I后的值是否超过预定上限，如果是，则将速度倍数设置为所述上限，否则，维持加I后的值不变。
9.一种多目标跟踪装置，其特征在于，包括: 获取模块，用于在每获取到一帧图像后，利用从所述图像中确定出的候选目标组成候选目标集合； 关联模块，用于针对所获取的目标轨迹集合中的每个目标轨迹，分别确定出所述候选目标集合中与其相关联的候选目标，并针对所述候选目标集合中的每个候选目标，分别确定出所述目标轨迹集合中与其相关联的目标轨迹； 匹配模块，用于根据确定出的关联关系，针对所述目标轨迹集合中的每个目标轨迹，分别确定是否存在与之相匹配的候选目标，如果是，则将相匹配的候选目标作为该目标轨迹的跟踪结果，否则，确定该目标轨迹未匹配成功。
10.根据权利要求9所述的装置，其特征在于，所述获取模块进一步用于，确定所述图像中是否存在新增目标轨迹，如果是，则将所述新增目标轨迹加入到所述目标轨迹集合中。
11.根据权利要求10所述的装置，其特征在于，所述关联模块中包括:第一处理单元，用于针对所述目标轨迹集合中的每个目标轨迹X，分别进行以下处理:将目标轨迹X最新一次匹配成功时相匹配的候选目标作为历史目标框，并基于历史目标框确定出目标轨迹X在所述图像中的预测目标框；针对所述候选目标集合中的每个候选目标y，分别计算目标轨迹X的历史目标框和预测目标框与候选目标y的重叠面积，得到两个计算结果，并确定两个计算结果中的较大值是否符合预定要求，如果是，则确定目标轨迹X与候选目标y相关联； 第二处理单元，用于分别记录与所述目标轨迹集合中的每个目标轨迹相关联的候选目标，以及与所述候选目标集合中的每个候选目标相关联的目标轨迹。
12.根据权利要求11所述的装置，其特征在于， 所述获取模块进一步用于，在将所述新增目标轨迹加入到所述目标轨迹集合中之后，对所述新增目标轨迹进行初始化；所述初始化包括:按预定方式计算所述新增目标轨迹的平均速度，并将所述新增目标轨迹的速度倍数设置为I; 所述第一处理单元将目标轨迹X的平均速度和速度倍数相乘，将计算结果作为预测位置偏移，并在目标轨迹X的历史目标框的基础上累加所述预测位置偏移，得到目标轨迹X的预测目标框。
13.根据权利要求12所述的装置，其特征在于， 所述获取模块进一步用于，在对所述新增目标轨迹进行初始化时，确定所述新增目标轨迹的整体方向；并根据从所述图像中确定出的候选目标的大小和数目确定重叠面积阈值，所述重叠面积阈值包括大面积阈值和基本阈值； 如果两个计算结果中的较大值大于所述大面积阈值，则所述第一处理单元确定目标轨迹X与候选目标y相关联；· 或者，如果两个计算结果中的较大值大于所述基本阈值，且候选目标I连接目标轨迹X时不影响目标轨迹X的整体方向一致性，则所述第一处理单元确定目标轨迹X与候选目标y相关联。
14.根据权利要求13所述的装置，其特征在于， 针对所述目标轨迹集合中的每个目标轨迹，所述第二处理单元分别记录与之相关联的每个候选目标的唯一标识以及与该目标轨迹之间的重叠面积，针对所述候选目标集合中的每个候选目标，所述第二处理单元分别记录与之相关联的每个目标轨迹的唯一标识以及与该候选目标之间的重叠面积； 针对所述候选目标集合中的每个候选目标z，如果所述匹配模块确定与其相关联的目标轨迹数等于1，且与与候选目标z相关联的目标轨迹相关联的候选目标数等于1，则将与候选目标z相关联的目标轨迹作为与候选目标z相匹配的目标轨迹； 如果所述匹配模块确定与候选目标z相关联的目标轨迹数大于I，则从与候选目标z相关联的目标轨迹中选出与候选目标z的重叠面积最大的目标轨迹，如果与所选出的目标轨迹相关联的候选目标数等于1，则将所选出的目标轨迹作为与候选目标z相匹配的目标轨迹； 如果所述匹配模块确定与候选目标z相关联的目标轨迹数等于O，则确定候选目标z未匹配成功； 如果所述匹配模块确定与候选目标z相关联的目标轨迹数大于I，则从与候选目标z相关联的目标轨迹中选出与候选目标Z的重叠面积最大的目标轨迹，如果与所选出的目标轨迹相关联的候选目标数大于1，则将与所选出的目标轨迹相关联的候选目标按照与所选出的目标轨迹之间的重叠面积由大到小的顺序进行排序；确定排序后处于第一位的候选目标是否已与一目标轨迹匹配成功，如果否，则将排序后处于第一位的候选目标作为与所选出的目标轨迹相匹配的候选目标；如果是，则确定排序后处于第二位的候选目标是否已与一目标轨迹匹配成功，如果否，则将排序后处于第二位的候选目标作为与所选出的目标轨迹相匹配的候选目标；依次类推；如果与所选出的目标轨迹相关联的候选目标均未与所选出的目标轨迹匹配成功，则确定所选出的目标轨迹未匹配成功。
15.根据权利要求12所述的装置，其特征在于， 所述获取模块进一步用于，对于匹配成功的目标轨迹，将其速度倍数还原为1，并更新其轨迹点和重新计算其平均速度；对于未匹配成功的目标轨迹，将其速度倍数加1，并确定加I后的值是否超过预定上限，如果是，则将速度倍数设置为所述上限，否则，维持加I后的值不变。
【文档编号】G06T7/20GK103714553SQ201210382251
【公开日】2014年4月9日 申请日期:2012年10月9日 优先权日:2012年10月9日
【发明者】陈锡, 呼志刚, 任烨, 蔡巍伟, 浦世亮 申请人:杭州海康威视数字技术股份有限公司