一种三维群目标轨迹匹配方法和装置

本发明属于计算机视觉，更具体地，涉及一种三维群目标轨迹匹配方法和装置。

背景技术：

1、目标跟踪是计算机视觉的一项关键技术。在自动驾驶、智能安防、行为识别等领域应用广泛，研究者通过设备采集图像视频数据，并利用计算机技术对图像进行处理，能够有效提取视频中的目标，经过数据关联获取到目标的轨迹信息，对目标形成跟踪。

2、如果跟踪的对象具有一定的协同并且具有相似的外观，则归类为群目标跟踪。群目标跟踪技术在军事和生活领域都有着广泛的应用。在军事领域，无人机集群作战正在从概念走向现实，将会成为未来的一种全新作战模式。可以通过对蚁群、蜂群、鸟群、狼群、鱼群等群体行为的观测，建立集群协同运动模型，从而实现对无人机群仿生运动策略控制。在生产生活中，群目标跟踪技术在生态保护、畜牧业、机场安全等领域都有重要意义。如在蜜蜂养殖中，开箱作业会对蜂群活动产生较大的干扰，利用群目标跟踪技术能够做到无接触观测蜜蜂，辅助蜜蜂养殖工作的开展；此外，在机场中鸟群对飞机起落过程存在一定的安全隐患，利用群目标跟踪技术获取鸟群的飞行轨迹并制定相应驱赶策略，实现对鸟群的实时监控和驱赶。

3、无论是生物集群行为的研究还是群目标的实时监测，都需要获取群目标的运动轨迹，但是集群中目标数量多、间距小，个体之间外形特征相似，在光学观测条件下运动轨迹多有交叉或互相遮挡，采用当前的一些跟踪手段，目标个体之间往往存在严重的跟踪干扰，其运动轨迹稳定跟踪是亟待突破的难点问题。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本发明提供了一种三维群目标轨迹匹配方法和装置，其目的在于，在进行三维轨迹匹配时，以二维跟踪轨迹为基础，基于极线距离代价找到初步匹配轨迹，然后基于极线距离代价的形状找到阶跃型代价向量阶跃点作为目标二维轨迹的预分割点，若每个预分割点前后片段的极线距离代价满足预设条件则将其视为真正分割点，以确定出二维分割轨迹，然后利用优化后的二维轨迹进行三维轨迹匹配，由此解决现有三维群目标轨迹匹配不准的技术问题。

2、为实现上述目的，按照本发明的一个方面，提供了一种三维群目标轨迹匹配方法，包括：

3、s1：从两个视角下采集同一场景群目标的视图对序列，获取所述视图对序列对应的视图一轨迹和视图二轨迹之间的基础矩阵f；

4、s2：遍历所述视图对序列，根据所述基础矩阵f计算所述视图一轨迹中任一轨迹i对应的目标在视图二中对应的极线与所述视图二轨迹中任一轨迹j对应的目标之间的极线距离，依次添加至极线距离代价向量costvectorij末尾，以构建代价向量矩阵costmat；

5、s3：遍历所述代价向量矩阵costmat，利用各个所述极线距离代价向量costvectorij生成代价矩阵中的元素costij；通过全局寻优利用所述代价矩阵将所述视图一轨迹中每个轨迹和所述视图二轨迹中每个轨迹进行匹配，若所述视图一轨迹中第a个轨迹和所述视图二轨迹中第b个轨迹对应的costab小于代价阈值，则将所述第a个轨迹和所述第b个轨迹视为一对匹配成功二维轨迹，最终得到多对匹配成功的二维轨迹；计算所述第a个轨迹任意一帧在视图二轨迹中对应的极线，并获得其与所述第b个轨迹之间的距离向量；从所述距离向量中找出满足阈值的阶跃点作为预分割点；

6、s4：遍历预分割点集合，若一个预分割点的前后片段的极线距离代价满足预设条件则将其视为真正分割点；利用相邻两个所述真正分割点确定出所述第a个轨迹和所述第b个轨迹对应的分割轨迹；最终得到各对匹配成功的二维匹配轨迹对应的分割轨迹，形成分割轨迹集合；

7、s5：对所述分割轨迹集合进行重关联，得到更准确的二维轨迹。

8、在其中一个实施例中，所述s2包括：

9、遍历所述视图对序列，根据所述基础矩阵f计算所述视图一轨迹中任一轨迹i对应的目标在视图二中对应的极线与所述视图二轨迹中任一轨迹j对应的目标之间的极线距离，依次添加至极线距离代价向量costvectorij末尾；

10、确定所述视图一轨迹和所述视图二轨迹的帧重合数量ofnum、重合开始帧号osfnum、结束帧号oefnum和重合帧号序列fnseq，以构建所述代价向量矩阵costmat。

11、在其中一个实施例中，所述代价向量矩阵costmat中第i行第j列元素表示为：

12、costmat[i,j]＝[costvectorij ofnum osfnum oefnum fnseq]；

13、其中，i＝1,2,…,trknum1；j＝1,2,…,trknum2，trknum1表示所述视图一轨迹中的轨迹数量，trknum2表示所述视图二轨迹中的轨迹数量。

14、在其中一个实施例中，所述s3中所述距离向量的形状包括：v型、单调增型、单调减型和阶跃型；其中，所述阶跃型中的阶跃点的值大于第一阈值且所述阶跃点两侧的差值小于所述第一阈值。

15、在其中一个实施例中，所述s4包括：

16、遍历预分割点集合，计算每个所述预分割点前后片段对应的极线距离代价的均值、标准差和方差；若上述三个均小于各自对应的第二阈值，则将其视为所述真正分割点；

17、将相邻两个所述真正分割点之间的轨迹作为一对匹配成功的二维匹配轨迹对应的分割轨迹，并加上首尾点轨迹；其中，若有m个所述真正分割点则所述轨迹集合中分割轨迹数量为m-1+2。

18、在其中一个实施例中，所述s5包括：

19、s51：针对每个所述分割轨迹，计算对应代价向量矩阵的均值和方差，以生成均值代价矩阵、方差代价矩阵；

20、s52：分别遍历所述均值代价矩阵和所述方差代价矩阵的行和列进行重关联，其中每一行代表着视图一当中的一条轨迹，每一列代表着视图二当中的一条轨迹。

21、在其中一个实施例中，所述s52包括：分别遍历所述均值代价矩阵和所述方差代价矩阵的行和列，若同时满足：

22、a1、均值代价和方差代价均小于第三阈值的元素数量大于1；

23、a2、两个分割轨迹的帧间差、帧重叠数量、空间距离均小于各自对应的第四阈值；

24、则视为两个分割轨迹的id重关联。

25、在其中一个实施例中，所述方法还包括：

26、对所述轨迹集合的精度进行评价，评价指标包含轨迹数量、总长度和平均长度；若所述轨迹集合的精度满足预设要求则表示各预设参数设置合理；若不满足则调整各所述预设参数，重新执行步骤s1-s5。

27、按照本发明的另一方面，提供了一种三维群目标轨迹匹配装置，包括：

28、确定模块，用于从两个视角下采集同一场景群目标的视图对序列，获取所述视图对序列对应的视图一轨迹和视图二轨迹之间的基础矩阵f；

29、构建模块，用于遍历所述视图对序列，根据所述基础矩阵f计算所述视图一轨迹中任一轨迹i对应的目标在视图二中对应的极线与所述视图二轨迹中任一轨迹j对应的目标之间的极线距离，依次添加至极线距离代价向量costvectorij末尾，以构建代价向量矩阵costmat；

30、匹配模块，用于遍历所述代价向量矩阵costmat，利用各个所述极线距离代价向量costvectorij生成代价矩阵中的元素costij；通过全局寻优利用所述代价矩阵将所述视图一轨迹中每个轨迹和所述视图二轨迹中每个轨迹进行匹配，若所述视图一轨迹中第a个轨迹和所述视图二轨迹中第b个轨迹对应的costab小于代价阈值，则将所述第a个轨迹和所述第b个轨迹视为一对匹配成功二维轨迹，最终得到多对匹配成功的二维轨迹；计算所述第a个轨迹任意一帧在视图二轨迹中对应的极线，并获得其与所述第b个轨迹之间的距离向量；从所述距离向量中找出满足阈值的阶跃点作为预分割点；

31、判定模块，用于遍历预分割点集合，若一个预分割点的前后片段的极线距离代价满足预设条件则将其视为真正分割点；利用相邻两个所述真正分割点确定出所述第a个轨迹和所述第b个轨迹对应的分割轨迹；最终得到各对匹配成功的二维匹配轨迹对应的分割轨迹，形成分割轨迹集合；

32、关联模块，用于对所述分割轨迹集合进行重关联，得到更准确的二维轨迹。

33、按照本发明的另一方面，提供了一种计算机视觉设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

34、按照本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

35、总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

36、(1)本发明提供一种三维群目标轨迹匹配方法，在进行三维轨迹匹配时，以二维跟踪轨迹为基础，通过极线约束计算多视角下群目标在其他视图中的极线，计算视图一轨迹和视图二轨迹之间的代价矩阵，基于最小化极线距离代价得到初步匹配轨迹，根据目标和极线之间距离代价向量的变化特点确定预分割点，若每个预分割点前后片段的极线距离代价满足预设条件则将其视为真正分割点，以确定出二维分割轨迹，进而重关联二维分割轨迹得到更准确的二维轨迹，实现了三维群目标的轨迹匹配，解决了三维群目标跟踪中轨迹断裂，目标错配等问题。

37、(2)本方案通过对极几何理论，通过计算两个视角之间的基础矩阵f，计算基础矩阵f对应的视图一序列中任一轨迹i与视图二序列中任一轨迹j的极线距离代价costvectorij，并结合视图一轨迹和视图二轨迹的帧重合数量、重合开始帧号、结束帧号和重合帧号序列构建代价向量矩阵costmat，可以对群目标的匹配代价进行度量。

38、(3)本方案将视图一轨迹与视图二轨迹直接的极线距离代价作为首个元素，依次结合两个视角下视图序列的帧重合数量、重合开始帧号、结束帧号和重合帧号序列构建代价向量矩阵，遍历代价向量矩阵进行轨迹匹配的计算复杂度较低。

39、(4)本方案确定各个costvector对应的代价向量的形状，考虑到阶跃型代价向量往往代表这轨迹之间的错误关联，因此选择阶跃型代价向量阶跃点的值大于第一阈值且阶跃点两侧的差值小于第一阈值的点作为预分割点，能够在分割之后减小轨迹之间的错误匹配。

40、(5)本方案通过计算每个预分割点前后片段对应的极线距离代价的均值、标准差和方差，若大于阈值则选择为真正分割点，能够解决轨迹之间错误关联，实现匹配精度的提升。

41、(6)本方案通过计算分割后轨迹之间代价向量矩阵的均值和方差生成均值代价矩阵、均值方差矩阵，考虑到双向匹配，分别按行和按列遍历代价矩阵进行重关联匹配，能够解决匈牙利匹配只能用于一对一的问题，计算复杂度低且匹配精度高。

42、(7)本方案合并小于设置的代价阈值、时间阈值和空间阈值的轨迹合能够解决真实轨迹在匹配时断裂的问题。

43、(8)本方案对轨迹集合的精度进行评价，若不满足则调整各预设参数，从而提升匹配精度；此外，包含轨迹数量、总长度和平均长度，可以从多个维度进行评估轨迹集合的精度，评估准确度高。