摄像设备的外参标定方法、电子设备和存储介质与流程

本公开涉及计算机视觉技术，尤其是一种摄像设备的外参标定方法、电子设备和存储介质。

背景技术：

1、随着计算机视觉技术的迅猛发展，已经不满足于使用摄像头进行监控、抓拍这种较为简单的功能。更多的用户青睐于它在非接触三维尺寸测量上的应用。所谓的三维测量是广义的三维测量，它不仅包括三维物体的重构与测量，还包括在三维空间中识别任意二维平面上的尺寸以及位置，因此，需要对摄像头的内外参进行标定，摄像头标定已经逐步应用到建筑、装修、医疗、食品、磨具生产、半导体生产等诸多检测系统中。摄像头内参可基于厂商提供数据，建模求解得到，而外参标定现有技术中是半自动化标定的，需要人工参与。

技术实现思路

1、为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种摄像设备的外参标定方法、电子设备和存储介质。

2、根据本公开实施例的一个方面，提供了一种摄像设备的外参标定方法，包括：

3、对当前帧图像进行语义分割处理，得到包括多个第一分割区域的分割图像；其中，所述当前帧图像为通过摄像设备在当前时刻对预设空间进行图像采集获得；

4、基于所述多个第一分割区域和预存的参考帧图像对应的多个第二分割区域，确定所述摄像设备的外参信息是否发生变化；其中，所述参考帧图像为通过所述摄像设备对所述预设空间进行图像采集获得；

5、响应于所述摄像设备的外参信息发生变化，获取所述预设空间对应的建筑信息化模型以确定结构化图像；

6、基于所述分割图像和与所述分割图像位置匹配的所述结构化图像，确定所述摄像设备在当前时刻的外参信息。

7、可选地，所述获取所述预设空间对应的建筑信息化模型确定结构化图像，包括：

8、获取所述预设空间对应的建筑信息化模型；

9、基于所述摄像设备在所述预设空间中的假定位置确定投影平面，将所述建筑信息化模型投影到所述投影平面中，得到所述结构化图像。

10、可选地，所述获取所述预设空间对应的建筑信息化模型确定结构化图像，还包括：

11、对所述建筑信息化模型进行简化处理，得到简化后的建筑信息化模型；

12、所述基于所述摄像设备在所述预设空间中的假定位置确定投影平面，将所述建筑信息化模型投影到所述投影平面中，得到所述结构化图像，包括：

13、基于所述摄像设备在所述预设空间中的假定位置确定投影平面，将所述简化后的建筑信息化模型投影到所述投影平面中，得到所述结构化图像。

14、可选地，在对当前帧图像进行语义分割处理，得到包括多个第一分割区域的分割图像之后，还包括：

15、对所述分割图像进行特征点提取，确定所述分割图像中的至少三个第一特征点；其中，每个所述第一特征点对应一个特征点类别；

16、所述基于所述分割图像和与所述分割图像位置匹配的所述结构化图像，确定所述摄像设备在当前时刻的外参信息，包括：

17、基于所述分割图像和与所述分割图像位置匹配的所述结构化图像，确定所述分割图像中至少三个第一特征点对应的三维信息；

18、基于所述至少三个第一特征点对应的三维信息，和所述至少三个第一特征点在所述分割图像中的坐标信息，确定所述摄像设备在当前时刻的外参信息。

19、可选地，在获取所述预设空间对应的建筑信息化模型确定结构化图像之前，还包括：

20、基于所述至少三个第一特征点，确定所述建筑信息化模型中的至少三个第二特征点；其中，每个所述第二特征点对应一个所述特征点类别；

21、所述基于所述分割图像和与所述分割图像位置匹配的所述结构化图像，确定所述分割图像中至少三个第一特征点对应的三维信息，包括：

22、确定所述至少三个第一特征点中每个第一特征点与特征点类别相同的所述至少三个第二特征点之间的特征点距离；

23、基于所述特征点距离，确定至少三个所述第一特征点对应的至少三个所述第二特征点；其中，每个所述第一特征点对应一个所述第二特征点；

24、基于所述第一特征点对应的所述第二特征点对应的三维信息，确定所述至少三个第一特征点对应的三维信息。

25、可选地，在基于所述分割图像和与所述分割图像位置匹配的所述结构化图像，确定所述摄像设备在当前时刻的外参信息之前，还包括：

26、基于所述分割图像中的所述多个第一分割区域和所述结构化图像中的多个第三分割区域，对所述结构化图像进行角度调整；

27、基于角度调整后的结构化图像，与所述分割图像位置匹配的所述结构化图像。

28、可选地，所述基于所述分割图像中的所述多个第一分割区域和所述结构化图像中的多个第三分割区域，对所述结构化图像进行角度调整，包括：

29、确定所述多个第一分割区域中的至少一个第一分割区域的中心位置，得到旋转中心；

30、基于所述旋转中心对所述结构化图像进行至少一次旋转，得到至少一个旋转后的结构化图像；

31、确定每个所述旋转后的结构化图像中的所述至少一个第三分割区域与所述至少一个第一分割区域之间的交并比，得到至少一个所述交并比；

32、基于所述交并比确定一个所述旋转后的结构化图像作为所述角度调整后的结构化图像。

33、可选地，还包括：

34、响应于所述摄像设备的外参信息未发生变化，基于所述参考帧图像对应的所述外参信息作为所述摄像设备在当前时刻对应的所述外参信息。

35、可选地，所述基于所述多个第一分割区域和预存的参考帧图像对应的多个第二分割区域，确定所述摄像设备的外参信息是否发生变化，包括：

36、基于每个所述第一分割区域与所述第二分割区域的对应关系，确定多组区域对；其中，所述多个第一分割区域与所述多个第二分割区域一一对应；每组所述区域对中包括存在对应关系的所述第一分割区域和所述第二分割区域；

37、确定所述多组区域组中每组区域组中所述第一分割区域与所述第二分割区域之间的交并比，得到多个交并比；

38、基于所述多个交并比，确定所述摄像设备的外参信息是否发生变化。

39、可选地，在基于所述多个第一分割区域和预存的参考帧图像对应的多个第二分割区域，确定所述摄像设备的外参信息是否发生变化之前，还包括：

40、在所述当前时刻之前的上一时刻，通过所述摄像设备对所述预设空间进行图像采集，得到所述参考帧图像并存储；或者，

41、在所述当前时刻之前，对所述摄像设备的外参信息进行更新时，通过所述摄像设备对所述预设空间进行图像采集，得到所述参考帧图像并存储。

42、根据本公开实施例的另一方面，提供了一种摄像设备的外参标定装置，包括：

43、图像分割模块，用于对当前帧图像进行语义分割处理，得到包括多个第一分割区域的分割图像；其中，所述当前帧图像为通过摄像设备在当前时刻对预设空间进行图像采集获得的图像；

44、外参变化确定模块，用于基于所述多个第一分割区域和预存的参考帧图像对应的多个第二分割区域，确定所述摄像设备的外参信息是否发生变化；其中，所述参考帧图像为通过摄像设备对所述预设空间进行图像采集获得的图像；

45、信息获取模块，用于响应于所述摄像设备的外参信息发生变化，获取所述预设空间对应的建筑信息化模型以确定结构化图像；

46、外参确定模块，用于基于所述分割图像和与所述分割图像位置匹配的所述结构化图像，确定所述摄像设备在当前时刻的外参信息。

47、可选地，所述信息获取模块，具体用于获取所述预设空间对应的建筑信息化模型；基于所述摄像设备在所述预设空间中的假定位置确定投影平面，将所述建筑信息化模型投影到所述投影平面中，得到所述结构化图像。

48、可选地，所述信息获取模块，还用于获取所述预设空间对应的建筑信息化模型；对所述建筑信息化模型进行简化处理，得到简化后的建筑信息化模型；基于所述摄像设备在所述预设空间中的假定位置确定投影平面，将所述简化后的建筑信息化模型投影到所述投影平面中，得到所述结构化图像。

49、可选地，所述装置还包括：

50、特征点提取模块，用于对所述分割图像进行特征点提取，确定所述分割图像中的至少三个第一特征点；其中，每个所述第一特征点对应一个特征点类别；

51、所述外参确定模块，包括：

52、图像三维信息确定单元，用于基于所述分割图像和与所述分割图像位置匹配的所述结构化图像，确定所述分割图像中至少三个第一特征点对应的三维信息；

53、设备外参单元，用于基于所述至少三个第一特征点对应的三维信息，和所述至少三个第一特征点在所述分割图像中的坐标信息，确定所述摄像设备在当前时刻的外参信息。

54、可选地，所述装置还包括：

55、模型特征点模块，用于基于所述至少三个第一特征点，确定所述建筑信息化模型中的至少三个第二特征点；其中，每个所述第二特征点对应一个所述特征点类别；

56、所述图像三维信息确定单元，具体用于确定所述至少三个第一特征点中每个第一特征点与特征点类别相同的所述至少三个第二特征点之间的特征点距离；基于所述特征点距离，确定至少三个所述第一特征点对应的至少三个所述第二特征点；其中，每个所述第一特征点对应一个所述第二特征点；基于所述第一特征点对应的所述第二特征点对应的三维信息，确定所述至少三个第一特征点对应的三维信息。

57、可选地，所述装置还包括：

58、角度调整模块，用于基于所述分割图像中的所述多个第一分割区域和所述结构化图像中的多个第三分割区域，对所述结构化图像进行角度调整；

59、位置匹配模块，用于基于角度调整后的结构化图像，与所述分割图像位置匹配的所述结构化图像。

60、可选地，所述角度调整模块，具体用于确定所述多个第一分割区域中的至少一个第一分割区域的中心位置，得到旋转中心；基于所述旋转中心对所述结构化图像进行至少一次旋转，得到至少一个旋转后的结构化图像；确定每个所述旋转后的结构化图像中的所述至少一个第三分割区域与所述至少一个第一分割区域之间的交并比，得到至少一个所述交并比；基于所述交并比确定一个所述旋转后的结构化图像作为所述角度调整后的结构化图像。

61、可选地，所述装置还包括：

62、外参复用模块，用于响应于所述摄像设备的外参信息未发生变化，基于所述参考帧图像对应的所述外参信息作为所述摄像设备在当前时刻对应的所述外参信息。

63、可选地，所述外参变化确定模块，具体用于基于每个所述第一分割区域与所述第二分割区域的对应关系，确定多组区域对；其中，所述多个第一分割区域与所述多个第二分割区域一一对应；每组所述区域对中包括存在对应关系的所述第一分割区域和所述第二分割区域；确定所述多组区域组中每组区域组中所述第一分割区域与所述第二分割区域之间的交并比，得到多个交并比；基于所述多个交并比，确定所述摄像设备的外参信息是否发生变化。

64、可选地，所述装置还包括：

65、参考帧确定模块，用于在所述当前时刻之前的上一时刻，通过所述摄像设备对所述预设空间进行图像采集，得到所述参考帧图像并存储；或者，在所述当前时刻之前，对所述摄像设备的外参信息进行更新时，通过所述摄像设备对所述预设空间进行图像采集，得到所述参考帧图像并存储。

66、根据本公开实施例的又一方面，提供了一种电子设备，包括：

67、存储器，用于存储计算机程序产品；

68、处理器，用于执行所述存储器中存储的计算机程序产品，且所述计算机程序产品被执行时，实现上述任一实施例所述的摄像设备的外参标定方法。

69、根据本公开实施例的还一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时，实现上述任一实施例所述的摄像设备的外参标定方法。

70、根据本公开实施例的再一方面，提供了一种计算机程序产品，包括计算机程序指令，该计算机程序指令被处理器执行时实现上述任一实施例所述的摄像设备的外参标定方法。

71、基于本公开上述实施例提供的一种摄像设备的外参标定方法、电子设备和存储介质，包括：对当前帧图像进行语义分割处理，得到包括多个第一分割区域的分割图像；其中，所述当前帧图像为通过摄像设备在当前时刻对预设空间进行图像采集获得的图像；基于所述多个第一分割区域和预存的参考帧图像对应的多个第二分割区域，确定所述摄像设备的外参信息是否发生变化；其中，所述参考帧图像通过为摄像设备对所述预设空间进行图像采集获得的图像；响应于所述摄像设备的外参信息发生变化，获取所述预设空间对应的建筑信息化模型以确定结构化图像；基于所述分割图像和与所述分割图像位置匹配的所述结构化图像，确定所述摄像设备在当前时刻的外参信息。本公开实施例中首先集合参考帧图像中的第二分割区域确定当前帧图像对应的摄像设备是否发生外参变化，在确定摄像设备的外参信息发生变化时，结合建筑信息化模型对当前帧图像对应的摄像设备外参进行标定，实现了实时对摄像设备进行外参标定。

72、下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。