多画面目标匹配方法、装置、电子设备及存储介质与流程

本技术涉及数据分析，具体而言，涉及一种多画面目标匹配方法、装置、电子设备及存储介质。

背景技术：

1、在目标追踪场景下，会涉及到对处于平行位置但视角有差异的多组摄像头所拍摄的画面中的相同目标的匹配，以实现对多个场景中同一目标进行跨画面的一一对应和跟踪。

2、因此，如何对多个画面中的目标进行匹配是亟需解决的问题。

技术实现思路

1、本技术的目的在于，针对上述现有技术中的不足，提供一种多画面目标匹配方法、装置、电子设备及存储介质，以便于实现对多个画面中的目标的精确匹配。

2、为实现上述目的，本技术实施例采用的技术方案如下：

3、第一方面，本技术实施例提供了一种多画面目标匹配方法，包括：

4、根据在拍摄角度不同的各拍摄画面中预先标记的多个关键点，计算各拍摄画面两两之间的坐标变换矩阵；

5、根据第一拍摄画面的坐标序列、以及第一拍摄画面与第二拍摄画面的坐标变换矩阵，确定所述第一拍摄画面映射至所述第二拍摄画面所在坐标系下的映射坐标序列，所述第一拍摄画面的坐标序列包括第一拍摄画面中各目标的坐标信息，所述映射坐标序列包括所述第一拍摄画面中各目标映射至所述第二拍摄画面所在坐标系下的映射坐标信息；

6、根据所述映射坐标序列以及所述第二拍摄画面的坐标序列，确定各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的代价信息，所述第二拍摄画面的坐标序列包括第二拍摄画面中各目标的坐标信息；

7、根据各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的代价信息，确定所述第一拍摄画面中各目标与所述第二拍摄画面中各目标的匹配关系。

8、可选地，所述根据在各拍摄画面中预先标记的多个关键点，计算各拍摄画面两两之间的坐标变换矩阵，包括：

9、根据各关键点在第一拍摄画面中的坐标信息、以及各关键点在第二拍摄画面中的坐标信息，采用仿射变换算法，确定所述第一拍摄画面与所述第二拍摄画面之间的坐标变换矩阵。

10、可选地，所述根据第一拍摄画面的坐标序列、以及第一拍摄画面与第二拍摄画面的坐标变换矩阵，确定所述第一拍摄画面映射至所述第二拍摄画面所在坐标系下的映射坐标序列，包括：

11、根据所述第一拍摄画面中各目标的坐标信息、以及所述第一拍摄画面与第二拍摄画面的坐标变换矩阵，分别确定所述第一拍摄画面中各目标映射至所述第二拍摄画面所在坐标系下的映射坐标信息；

12、根据各目标映射至所述第二拍摄画面所在坐标系下的映射坐标信息，确定所述第一拍摄画面映射至所述第二拍摄画面所在坐标系下的映射坐标序列，其中，所述映射坐标序列中各目标的排序与所述第一拍摄画面的坐标序列中各目标的排序一一对应。

13、可选地，所述根据所述映射坐标序列以及所述第二拍摄画面的坐标序列，确定各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的代价信息，包括：

14、依次两两计算各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的重叠率；

15、根据各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的重叠率，确定各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的代价信息。

16、可选地，所述依次两两计算各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的重叠率，包括：

17、确定第一映射坐标信息与所述第二拍摄画面中第一坐标信息之间的交集，得到交集计算结果；

18、确定第一映射坐标信息与所述第二拍摄画面中第一坐标信息之间的并集，得到并集计算结果；

19、将所述交集计算结果除以所述并集计算结果，得到所述第一映射坐标信息与所述第二拍摄画面中第一坐标信息之间的重叠率，从而依次得到各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的重叠率。

20、可选地，所述根据各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的代价信息，确定所述第一拍摄画面中各目标与所述第二拍摄画面中各目标的匹配关系，包括：

21、根据各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的代价信息，确定多个待选的匹配结果以及各匹配结果对应的代价和，所述匹配结果包括：各映射坐标信息与第二拍摄画面中的一个坐标信息之间的匹配关系，所述代价和为在所述匹配结果下各映射坐标信息与在第二拍摄画面中所匹配的坐标信息之间的代价信息之和；

22、根据各待选的匹配结果对应的代价和，确定目标匹配结果；

23、根据所述目标匹配结果，确定所述第一拍摄画面中各目标与所述第二拍摄画面中各目标的匹配关系。

24、可选地，所述根据所述目标匹配结果，确定所述第一拍摄画面中各目标与所述第二拍摄画面中各目标的匹配关系，包括：

25、根据各映射坐标信息在所述目标匹配结果下所对应的第二拍摄画面中的目标坐标信息，从所述第二拍摄画面中确定各映射坐标信息所匹配的第二目标；

26、所述各映射坐标信息与所述第一拍摄画面中各目标的坐标信息的映射关系，从所述第一拍摄画面中确定各映射坐标信息所匹配的第一目标；

27、确定所述第一拍摄画面中的所述第一目标与所述第二拍摄画面中的所述第二目标相互匹配。

28、第二方面，本技术实施例还提供了一种多画面目标匹配装置，包括：计算模块、确定模块、匹配模块；

29、所述计算模块，用于根据在拍摄角度不同的各拍摄画面中预先标记的多个关键点，计算各拍摄画面两两之间的坐标变换矩阵；

30、所述确定模块，用于根据第一拍摄画面的坐标序列、以及第一拍摄画面与第二拍摄画面的坐标变换矩阵，确定所述第一拍摄画面映射至所述第二拍摄画面所在坐标系下的映射坐标序列，所述第一拍摄画面的坐标序列包括第一拍摄画面中各目标的坐标信息，所述映射坐标序列包括所述第一拍摄画面中各目标映射至所述第二拍摄画面所在坐标系下的映射坐标信息；

31、所述确定模块，用于根据所述映射坐标序列以及所述第二拍摄画面的坐标序列，确定各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的代价信息，所述第二拍摄画面的坐标序列包括第二拍摄画面中各目标的坐标信息；

32、所述匹配模块，用于根据各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的代价信息，确定所述第一拍摄画面中各目标与所述第二拍摄画面中各目标的匹配关系。

33、可选地，所述计算模块，具体用于根据各关键点在第一拍摄画面中的坐标信息、以及各关键点在第二拍摄画面中的坐标信息，采用仿射变换算法，确定所述第一拍摄画面与所述第二拍摄画面之间的坐标变换矩阵。

34、可选地，所述确定模块，具体用于根据所述第一拍摄画面中各目标的坐标信息、以及所述第一拍摄画面与第二拍摄画面的坐标变换矩阵，分别确定所述第一拍摄画面中各目标映射至所述第二拍摄画面所在坐标系下的映射坐标信息；

35、根据各目标映射至所述第二拍摄画面所在坐标系下的映射坐标信息，确定所述第一拍摄画面映射至所述第二拍摄画面所在坐标系下的映射坐标序列，其中，所述映射坐标序列中各目标的排序与所述第一拍摄画面的坐标序列中各目标的排序一一对应。

36、可选地，所述确定模块，具体用于依次两两计算各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的重叠率；

37、根据各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的重叠率，确定各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的代价信息。

38、可选地，所述确定模块，具体用于确定第一映射坐标信息与所述第二拍摄画面中第一坐标信息之间的交集，得到交集计算结果；

39、确定第一映射坐标信息与所述第二拍摄画面中第一坐标信息之间的并集，得到并集计算结果；

40、将所述交集计算结果除以所述并集计算结果，得到所述第一映射坐标信息与所述第二拍摄画面中第一坐标信息之间的重叠率，从而依次得到各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的重叠率。

41、可选地，所述匹配模块，具体用于根据各所述映射坐标信息与所述第二拍摄画面中各目标的坐标信息之间的代价信息，确定多个待选的匹配结果以及各匹配结果对应的代价和，所述匹配结果包括：各映射坐标信息与第二拍摄画面中的一个坐标信息之间的匹配关系，所述代价和为在所述匹配结果下各映射坐标信息与在第二拍摄画面中所匹配的坐标信息之间的代价信息之和；

42、根据各待选的匹配结果对应的代价和，确定目标匹配结果；

43、根据所述目标匹配结果，确定所述第一拍摄画面中各目标与所述第二拍摄画面中各目标的匹配关系。

44、可选地，所述匹配模块，具体用于根据各映射坐标信息在所述目标匹配结果下所对应的第二拍摄画面中的目标坐标信息，从所述第二拍摄画面中确定各映射坐标信息所匹配的第二目标；

45、所述各映射坐标信息与所述第一拍摄画面中各目标的坐标信息的映射关系，从所述第一拍摄画面中确定各映射坐标信息所匹配的第一目标；

46、确定所述第一拍摄画面中的所述第一目标与所述第二拍摄画面中的所述第二目标相互匹配。

47、第三方面，本技术实施例提供了一种电子设备，包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以执行时执行如第一方面中提供的多画面目标匹配方法的步骤。

48、第四方面，本技术实施例提供了一种计算机可读存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面提供的多画面目标匹配方法的步骤。

49、本技术的有益效果是：

50、本技术提供一种多画面目标匹配方法、装置、电子设备及存储介质，该方法通过计算不同拍摄画面之间的坐标变换矩阵，可以将第一拍摄画面中各目标的坐标信息转换至另第二拍摄画面所在坐标系下，得到第一拍摄画面中各目标在第二拍摄画面中的映射坐标信息，而基于映射坐标信息与第二拍摄画面中各目标的坐标信息的代价信息，可以确定各映射坐标信息所对应的目标与第二拍摄画面中各坐标信息所对应目标之间的匹配度，而由于各映射坐标信息是通过第一拍摄画面中各目标的坐标信息转换得到，各映射坐标信息对应的目标则为第一拍摄画面中的一个目标，那么，基于各映射坐标信息所对应的目标与第二拍摄画面中各坐标信息所对应目标之间的匹配度，则可确定出第一拍摄画面中各目标与第二拍摄画面中各目标之间的匹配结果。通过本方法所提供的目标匹配方式可自动化的实现不同画面之间目标的匹配，可有效的解决多画面目标之间的匹配问题，且匹配效率较高。