立体全景图像的生成方法、装置和计算机设备与流程

本申请涉及计算机，特别是涉及一种立体全景图像的生成方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术：

1、随着科学技术的创新发展，人们在日常生活中获取社会信息，从原来的文字类型转向图片和视频，而视觉类素材来源于真实视觉的拍摄或者通过电脑软件制作。

2、目前，在对一些场景进行拍摄时，常常无法通过单独的一张图像展示出目标场景的全景图，并且，当通过相机或通过拍照软件进行拍摄时，拍摄所得的二维图像无法展现出目标场景中各物体对应的立体特征。若通过视频拍摄获取目标场景对应的立体全景图像，还需要使用专业的软件工具进行制作，对使用者具有较高的技术要求。

3、因此，传统技术中存在对立体全景图像的生成效率不高的问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高立体全景图像的生成效率的立体全景图像的生成方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、一种立体全景图像的生成方法，其特征在于，方法包括：

3、获取针对目标拍摄场景进行全景拍摄操作得到的图像序列，融合图像序列中相连的至少两张待处理图像，得到融合后图像；

4、将融合后图像输入至预训练的单目深度估计模型，得到融合后图像对应的深度图像；

5、根据深度图像对应的深度信息数据，对深度图像进行边缘锐化处理，得到锐化后深度图像；

6、根据锐化后深度图像，确定融合后图像对应的边缘轮廓数据；

7、根据边缘轮廓数据，分割融合后图像为前景区域和背景区域；

8、根据背景区域对应的背景边缘像素信息，生成针对目标拍摄场景的立体全景图像。

9、在其中一个实施例中，融合图像序列中相连的至少两张待处理图像，得到融合后图像，包括：

10、在图像序列中确定相连的至少两张待处理图像；

11、提取至少两张待处理图像的图像特征，得到至少两张待处理图像对应的图像特征匹配点；

12、根据图像特征匹配点，确定至少两张待处理图像之间的配准结构；

13、根据配准结构，对至少两张待处理图像进行融合，得到融合后图像。

14、在其中一个实施例中，根据图像特征匹配点，确定至少两张待处理图像之间的配准结构，包括：

15、对图像特征匹配点进行单应性矩阵计算，得到目标图像特征匹配点；目标图像特征匹配点为图像特征匹配点中除异常图像特征匹配点之外的其他图像特征匹配点；

16、将目标图像特征匹配点进行透视变换矩阵计算，确定至少两张待处理图像之间的配准结构。

17、在其中一个实施例中，根据配准结构，对至少两张待处理图像进行融合，得到融合后图像，包括：

18、根据配准结构，对至少两张待处理图像进行配准，得到配准后图像；

19、将配准后图像分割成为至少一个分块图像；

20、对各分块图像的边界进行修复，得到修复后图像；

21、对修复后图像的拼接区域进行特征融合，得到融合后图像。

22、在其中一个实施例中，根据锐化后深度图像，确定融合后图像对应的边缘轮廓数据，包括：

23、对锐化后深度图像进行阈值化处理，得到连续边缘和斑点；

24、将连续边缘和斑点标记为二进制图；

25、根据二进制图，将少于预设个像素数的连续边缘和斑点剔除，得到剔除后图像数据；

26、对剔除后图像数据进行图像相似性度量，得到边缘轮廓数据。

27、在其中一个实施例中，背景边缘像素信息包括背景边缘颜色信息和背景边缘深度信息，根据背景区域对应的背景边缘像素信息，生成针对目标拍摄场景的立体全景图像，包括：

28、将背景边缘颜色信息输入预训练的颜色修复网络模型，得到修复边缘颜色信息，以及，将背景边缘深度信息输入预训练的深度修复网络模型，得到修复边缘深度信息；

29、根据修复边缘颜色信息和修复边缘深度信息，生成修复边缘；

30、根据修复边缘，合成针对目标拍摄场景的立体全景图像。

31、一种立体全景图像的生成装置，其特征在于，装置包括：

32、融合模块，用于获取针对目标拍摄场景进行全景拍摄操作得到的图像序列，融合图像序列中相连的至少两张待处理图像，得到融合后图像；

33、输入模块，用于将融合后图像输入至预训练的单目深度估计模型，得到融合后图像对应的深度图像；

34、处理模块，用于根据深度图像对应的深度信息数据，对深度图像进行边缘锐化处理，得到锐化后深度图像；

35、确定模块，用于根据锐化后深度图像，确定融合后图像对应的边缘轮廓数据；

36、分割模块，用于根据边缘轮廓数据，分割融合后图像为前景区域和背景区域；

37、生成模块，用于根据背景区域对应的背景边缘像素信息，生成针对目标拍摄场景的立体全景图像。

38、一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，其特征在于，处理器执行计算机程序时实现上述的方法的步骤。

39、一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现上述的方法的步骤。

40、一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现上述的方法的步骤。

41、上述立体全景图像的生成方法、装置、计算机设备、存储介质和计算机程序产品，通过获取针对目标拍摄场景进行全景拍摄操作得到的图像序列，融合图像序列中相连的至少两张待处理图像，得到融合后图像；将融合后图像输入至预训练的单目深度估计模型，得到融合后图像对应的深度图像；根据深度图像对应的深度信息数据，对深度图像进行边缘锐化处理，得到锐化后深度图像；根据锐化后深度图像，确定融合后图像对应的边缘轮廓数据；根据边缘轮廓数据，分割融合后图像为前景区域和背景区域；根据背景区域对应的背景边缘像素信息，生成针对目标拍摄场景的立体全景图像；如此，实现了将图像序列中连续的待处理图像融合成为一张图像，能够实现对目标拍摄场景的全景图像合成，在获取到二维的融合后图像的基础上，实现了将二维的融合后图像转换为立体全景图像，在不需要借助其他工具的情况下，生成了立体全景图像，提高了立体全景图像的生成效率。

技术特征：

1.一种立体全景图像的生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述融合所述图像序列中相连的至少两张待处理图像，得到融合后图像，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述图像特征匹配点，确定所述至少两张待处理图像之间的配准结构，包括：

4.根据权利要求2所述的方法，其特征在于，所述根据所述配准结构，对所述至少两张待处理图像进行融合，得到融合后图像，包括：

5.根据权利要求1所述的方法，其特征在于，所述根据所述锐化后深度图像，确定所述融合后图像对应的边缘轮廓数据，包括：

6.根据权利要求1所述的方法，其特征在于，所述背景边缘像素信息包括背景边缘颜色信息和背景边缘深度信息，所述根据所述背景区域对应的背景边缘像素信息，生成针对所述目标拍摄场景的立体全景图像，包括：

7.一种立体全景图像的生成装置，其特征在于，所述装置包括：

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

技术总结
本申请涉及一种立体全景图像的生成方法、装置、计算机设备、存储介质和计算机程序产品。方法包括：获取针对目标拍摄场景进行全景拍摄操作得到的图像序列，融合图像序列中相连的至少两张待处理图像，得到融合后图像；将融合后图像输入至预训练的单目深度估计模型，得到融合后图像对应的深度图像；根据深度图像对应的深度信息数据，对深度图像进行边缘锐化处理，得到锐化后深度图像；根据锐化后深度图像，确定融合后图像对应的边缘轮廓数据；根据边缘轮廓数据，分割融合后图像为前景区域和背景区域；根据前景区域和背景区域，生成针对目标拍摄场景的立体全景图像。采用本方法能够提高立体全景图像的生成效率。

技术研发人员：李仁义,邓维峰,段文科,周宓,姚伟
受保护的技术使用者：广州南天电脑系统有限公司
技术研发日：
技术公布日：2024/1/11