一种基于多传感时空关系的重叠视野目标群智匹配方法

本发明涉及群体智能多目标匹配领域，尤其涉及一种基于多传感时空关系的重叠视野目标群智匹配方法。

背景技术：

1、近年来，随着视频监控的飞速发展,视频监控的需求也是越来越大,多视觉群体智能视频监控也将是未来视频监控的发展趋势,而目标匹配技术是智能安防的重要应用之一。由于监控场景中存在树木、建筑物及周围其他目标遮挡问题，不可避免的使得目标匹配出现漏匹配和误匹配的情况。

技术实现思路

1、本发明的目的在于：利用一种基于多传感时空关系的重叠视野目标群智匹配方法，智能准确的生成各摄像头的重叠视野区域，提高目标识别的一致性和稳定性，提高目标匹配的准确率。基于确定的重叠视野，分层次、分区域、分情况对目标的身份进行匹配，进一步减少了多运动目标智能安全监控场景下，目标遮挡对目标匹配的影响。

2、为实现上述目的，本发明提供如下技术方案：

3、一种基于多视觉传感时空关系的重叠视野目标群智匹配方法,包括如下步骤：

4、步骤1：通过两两相邻的多个摄像头获取不同视角下目标区域的静态场景图像，并对使用yolov5算法对各静态场景图像分别进行目标检测；

5、步骤2：确定相邻摄像头的重叠视野区域；

6、步骤3：对各重叠视野区域内的目标检测结果进行匹配。

7、进一步地，所述步骤2中确定相邻摄像头的重叠视野区域，具体过程如下：

8、步骤2.1：提取同时刻相邻摄像头a和b所获取的静态场景图像的关键点的角点特征值和sift特征，构成a和b所获取的静态场景图像的关键点的融合特征；其中，a位于b的左侧；

9、步骤2.2：根据步骤2.1中的关键点的融合特征，计算a和b所获取的静态场景图像中关键点的相似度、相似度左梯度、相似度右梯度；

10、步骤2.3：根据基于空间关系的重叠视野确定方法，生成a和b的重叠视野边界线、a的重叠视野中界线、b的重叠视野中界线，确定a和b的重叠视野区域。

11、进一步地，所述步骤2.1中图像关键点的融合特征的公式定义如下：

12、

13、其中，表示图像关键点的融合特征第i维的特征值；m表示sift特征的维度，h*表示角点特征值，μ是权重系数，ri表示第i维的sift特征值。

14、进一步地，所述步骤2.2中，a所获取的静态场景图像中关键点a和b所获取的静态场景图像中关键点b的相似度为：

15、

16、其中，为关键点a和关键点b的融合特征的余弦相似度，为关键点a和关键点b的融合特征的欧氏距离；

17、关键点a和关键点b的相似度左梯度为关键点a和关键点b的相似度与关键点a左侧相邻关键点和关键点b的相似度的差值的加权和；

18、关键点a和关键点b的相似度右梯度为关键点a和关键点b的相似度与关键点a右侧相邻关键点和关键点b的相似度的差值的加权和。

19、进一步地，

20、所述步骤2.3的具体过程如下：

21、步骤2.3.1：提取a和b所获取的静态场景图像的关键点集合和其中，分别表示a所获取的静态场景图像的关键点的行、列数；分别表示b所获取的静态场景图像的关键点的行、列数；

22、步骤2.3.2：根据b所获取的静态场景图像的关键点中左侧边缘点与a所获取的静态场景图像的关键点的相似度左、右梯度，确定a的重叠视野边界线，具体为：

23、步骤2.3.2.1：初始化索引为ia＝1，ja＝1，ib＝1，jb＝1，设置梯度阈值；

24、步骤2.3.2.2：计算a(ia,ja)与b(ib,jb)的相似度相似度左梯度和相似度右梯度

25、步骤2.3.2.3：若的值为正，则令ja＝ja+1，返回步骤2.3.2.2；若的值为负，则进行如下判断：如果满足小于梯度阈值，并且大于梯度阈值，将a(ia,ja)记为a(ia,z′s′a)，j1＜z′s′a＜nja，并加入到a_lz′s′点集中，停止本行的搜索，执行步骤2.3.2.4；如果不满足，令ja＝ja+1，返回步骤2.3.2.2；

26、步骤2.3.2.4：更新索引ia＝ia+1，ja＝1，ib＝ib+1，jb＝1，判断是否成立，如果成立跳到步骤2.3.2.2；如果不成立，则搜索流程结束，将点集中的点连成线，即为a的重叠视野边界线lz′s′；

27、步骤2.3.3：根据a所获取的静态场景图像的关键点中右侧边缘点与b所获取的静态场景图像的关键点的相似度左、右梯度，确定b的重叠视野边界线，具体为：

28、步骤2.3.3.1：初始化索引为ia＝1，ja＝1，ib＝1，jb＝1，设置梯度阈值；

29、步骤2.3.3.2：计算a(ia,ja)与b(ib,jb)的相似度相似度左梯度和相似度右梯度

30、步骤2.3.3.3：若的值为正，则令jb＝jb+1，返回步骤2.3.3.2；若的值为负，则进行如下判断：如果满足大于梯度阈值，并且小于梯度阈值，将b(ib,jb)记为b(ib,v′j′b)，j1＜v′j′b＜njb，并加入到a_lv′j′点集中，停止本行的搜索，执行步骤2.3.3.4；如果不满足，令ja＝ja+1，返回步骤2.3.3.2；

31、步骤2.3.3.4：更新索引ia＝ia+1，ja＝1，ib＝ib+1，jb＝1，判断是否成立，如果成立跳到步骤2.3.3.2；如果不成立，则搜索流程结束，将点集中的点连成线，即为b的重叠视野边界线lv′j′；

32、步骤2.3.4：根据a所获取的静态场景图像的关键点中右侧边缘点和点集a_lz′s′，确定a的重叠视野中界线，具体为：

33、步骤2.3.4.1：初始化索引值ia＝1；

34、步骤2.3.4.2：计算a的重叠视野中界线上点a(ia,pqa)的横、纵坐标：

35、

36、其中，为的横坐标，为纵坐标；

37、步骤2.3.4.3：根据步骤2.3.4.2得到的坐标，判断a(ia,pqa)是否属于点集a_dot，如果a(ia,pqa)∈a_dot，则加入点集a_lpq中；如果则将距离点a(ia,pqa)最近的点加入到点集a_lpq中；

38、步骤2.3.4.4：更新索引值ia＝ia+1，判断是否成立，如果成立跳到步骤2.3.4.2；如果不成立，搜索流程结束，将点集的点连成线，即为a的重叠视野中界线lpq；

39、步骤2.3.5：计算点集a_lpq的各点与b所获取的静态场景图像的关键点的相似度，确定b的重叠视野中界线，具体为：

40、步骤2.3.5.1：初始化索引为ia＝1，ja＝1，ib＝1，jb＝1；

41、步骤2.3.5.2：计算与b(ib,jb)的相似度

42、步骤2.3.5.3：判断的值的正负：如果值为正，令jb＝jb+1，返回步骤2.3.5.2；如果值为负，将该点记为a(ia,p′qa′)，并加入到点集a_lp′q′中；

43、步骤2.3.5.4：更新索引ia＝ia+1，ja＝1，ib＝ib+1，jb＝1，判断是否成立，如果成立，跳到步骤2.3.5.2继续执行；如果不成立，搜索流程结束，将点集中的点连成线，即为b的重叠视野中界线lp′q′。

44、进一步地，所述梯度阈值基于空间关系差异变化进行自适应更新，具体如下：

45、

46、

47、其中，sly_th0为相似度梯度初始值，level_diffi是第i行关键点的空间水平差异，τ′为常参数，为关键点a(ia,j1)与关键点b(ib,jb)的相似度，为a(ia,z′s′a)与b(ib,jb)的相似度，为a(ia,ja)与b(ib,j1)的相似度，为b(ib,v′j′b)与a(ia,ja)的相似度。

48、进一步地，所述步骤3中对各重叠视野区域内的目标检测结果进行匹配，具体过程如下：

49、步骤3.1：对于相邻摄像头a和b，分别统计a和b重叠视野区域内的检测人数，将检测人数最多的摄像头设置为主摄像头mc，另一个摄像头为辅助摄像头ac，同时记将mc的重叠视野中界线左侧区域记为m1、右侧区域记为m2，将ac的重叠视野中界线左侧区域记为a1，右侧区域记为a2；

50、步骤3.2：对m1和a1内的目标：

51、步骤3.2.1：分别求m1内目标检测框中心点到mc的重叠视野中界线和a1内目标检测框中心点到ac的重叠视野中界线的最小距离，按距离从小到大进行排列得到距离集合和并根据内距离元素的排序对m1内目标分配身份id；

52、步骤3.2.2：如果gi＝ki，则a1内目标的身份id与m1内目标的身份id根据和排列的顺序一一对应匹配；

53、步骤3.2.3：如果gi＜ki，则计算中各距离元素与中各距离元素之间差值的绝对值，并将结果从小到大排列得到第一差值集合，该第一差值集合中前gi个元素中每个元素对应的目标即为匹配成功的目标；

54、步骤3.3：对m2与a2内的目标

55、步骤3.2.1：分别求m2内目标检测框中心点到mc的重叠视野中界线和a3内目标检测框中心点到ac的重叠视野中界线的最小距离，按距离从小到大进行排列得到距离集合和并根据内距离元素的排序对m2内目标分配身份id；

56、步骤3.2.2：如果hi＝k′i，则a2内目标的身份id与m2内目标的身份id根据和排列的顺序一一对应匹配；

57、步骤3.2.3：如果hi＜k′，则计算中各距离元素与中各距离元素之间差值的绝对值，并将结果从小到大排列得到第二差值集合，该第二差值集合中前hi个元素中每个元素对应的目标即为匹配成功的目标。

58、进一步地，目标检测框中心点c到重叠视野中界线lp的距离为：

59、

60、其中，ui＝c-pi为pi到c的向量，ui+1＝pi+1-pi为pi到p(i+1)的向量，“||||”表示向量长度，“·”表示向量的点积运算，点集p＝{p1,p2,…,pn}是θ重叠视野中界线lp上的点集。

61、本发明还提供一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如上所述的方法。

62、本发明还提供一种基于多视觉传感时空关系的重叠视野目标群智匹配设备，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行如上所述方法的指令。

63、本发明公开的一种基于多传感时空关系的重叠视野目标群智匹配方法，有益效果如下：

64、1)提出一种基于空间关系的重叠视野确定方法，能够智能准确的确定相邻摄像头的重叠视野区域，提高目标识别的一致性和稳定性，提高目标匹配的准确率；

65、2)提出一种多传感分层群智匹配方法，基于确定的重叠视野，在摄像头空间位置固定，时间同步的前提下，多组主辅摄像头协同工作，计算目标检测框的中心点到重叠视野区域中界线的距离，分层次、分区域、分情况对目标的身份进行匹配，进一步减少了多运动目标智能安全监控场景下，目标遮挡对目标匹配的影响；

66、3)在多运动目标智能安全监控场景中，利用本发明的技术方案，能智能准确的生成重叠视野区域，帮助匹配不同摄像头拍摄到的同一目标，提高目标识别的一致性和稳定性,减少目标跟踪中的漏检和误检，即使在遮挡、光照不好或者目标姿态发生变化的情况下，也能够更准确地识别和跟踪目标，提高目标匹配的准确率。