对齐图像方法、装置、设备、存储介质及计算机程序产品与流程

本公开实施例涉及图像处理，尤其涉及一种对齐图像方法、装置、设备、存储介质及计算机程序产品。

背景技术：

1、随着虚拟现实(virtual reality，vr)技术的发展，基于vr头戴的介导现实(mediated reality，或mr)应用的需求越来越受到关注。其中，mr应用，需要实现透视(seethrough或pass through)的功能，该see through功能是需要通过头戴设备看到真实的世界，即该技术需要实时重建出当前的场景，然后将当前场景的景象分别投影到人眼坐标系下。

2、但是，由于当前的算力有限，see through功能往往很难恢复出较准确的三维几何信息，只能恢复一个大概的三维布局，导致对于需要精确几何对齐的场景会出现无法对齐的现象。

3、因此，现有技术中对于需要精确几何对齐的场景，无法实现精确对齐，进而导致头戴设备的实时重建场景的应用性能较低，以及通过头戴设备看到真实的世界或制作虚拟现实的效果较差。

技术实现思路

1、本公开实施例提供一种对齐图像方法、装置、设备、存储介质及计算机程序产品，能够在对于需要精确几何对齐的场景，实现精确对齐，进而提高了头戴设备的实时重建场景的应用性能，以及较好地达到了通过头戴设备看到真实的世界或制作虚拟现实的效果。

2、第一方面，本公开实施例提供一种对齐图像方法，所述方法包括：

3、根据待对齐的目标模型的位姿信息和当前透视场景的深度图，得到一张融合的深度图；所述目标模型为带有真实尺度的图像；

4、对所述融合的深度图进行平滑处理，得到用于支持当前透视场景使用的目标深度图；

5、对所述目标深度图进行渲染，生成当前透视场景的背景贴图，所述透视场景的背景贴图用于表示所述目标模型在所述当前透视场景中对齐的图像。

6、第二方面，本公开实施例提供一种对齐图像装置，所述装置包括：

7、融合模块，用于根据待对齐的目标模型的位姿信息和当前透视场景的深度图，得到一张融合的深度图；所述目标模型为带有真实尺度的图像；

8、处理模块，用于对所述融合的深度图进行平滑处理，得到用于支持当前透视场景使用的目标深度图；

9、渲染模块，用于对所述目标深度图进行渲染，生成当前透视场景的背景贴图，所述透视场景的背景贴图用于表示所述目标模型在所述当前透视场景中对齐的图像。

10、第三方面，本公开实施例提供一种头戴设备，所述头戴设备用于执行如上述第一方面任一项所述的对齐图像方法。

11、第四方面，本公开实施例提供一种电子设备，包括：处理器和存储器；

12、所述存储器存储计算机执行指令；

13、所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如上述第一方面任一项所述的对齐图像方法。

14、第五方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面所述的对齐图像方法。

15、第六方面，本公开实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上述第一方面任一项所述的对齐图像方法。

16、本公开实施例提供的对齐图像方法、装置、设备、存储介质及计算机程序产品，通过根据待对齐的目标模型的位姿信息和当前透视场景的深度图，得到一张融合的深度图；所述目标模型为带有真实尺度的图像；对所述融合的深度图进行平滑处理，得到用于支持当前透视场景使用的目标深度图；对所述目标深度图进行渲染，生成当前透视场景的背景贴图，所述透视场景的背景贴图用于表示所述目标模型在所述当前透视场景中对齐的图像。因此，通过带有真实尺度的图像的位姿，结合当前的透视深度图(即当前透视场景的深度图)，初步融合为一张深度图，由于经过这步融合后，往往深度图会出现断层(seethrough即透视的深度图是比较平滑的)，导致最后渲染上屏的时候，模型边缘会出现巨大扭曲，因此需要做一个的平滑处理，来保证对齐的精确度，得到最终能够使用的目标深度图，进而对该目标深度图进行渲染，生成当前透视场景的背景贴图，实现了图像对齐。解决了现有技术中对于需要精确几何对齐的场景会出现无法对齐的现象，进而提高了头戴设备的实时重建场景的应用性能，以及较好地达到了通过头戴设备看到真实的世界或制作虚拟现实的效果。

技术特征：

1.一种对齐图像方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据待对齐的目标模型的位姿信息和当前透视场景的深度图，得到一张融合的深度图，包括：

3.根据权利要求2所述的方法，其特征在于，所述对所述融合的深度图进行平滑处理，得到用于支持当前透视场景使用的目标深度图，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述融合的深度图中目标模型的边缘，确定所述目标模型的边缘对应的多个像素形成的轮廓，包括：

5.根据权利要求3或4所述的方法，其特征在于，所述通过构造的能量函数，对所述轮廓进行优化，得到所述目标深度图，包括：

6.根据权利要求1-4任一项所述的方法，其特征在于，所述对所述目标深度图进行渲染，生成当前透视场景的背景贴图，包括：

7.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

8.一种对齐图像装置，其特征在于，所述装置包括：

9.一种头戴设备，其特征在于，所述头戴设备用于执行如权利要求1-7任一项所述的对齐图像方法。

10.一种电子设备，其特征在于，包括：处理器和存储器；

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至7任一项所述的对齐图像方法。

12.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7任一项所述的对齐图像方法。

技术总结
本公开实施例提供一种对齐图像方法、装置、设备、存储介质及计算机程序产品，该方法包括：根据待对齐的目标模型的位姿信息和当前透视场景的深度图，得到一张融合的深度图；所述目标模型为带有真实尺度的图像；对所述融合的深度图进行平滑处理，得到用于支持当前透视场景使用的目标深度图；对所述目标深度图进行渲染，生成当前透视场景的背景贴图，所述透视场景的背景贴图用于表示所述目标模型在所述当前透视场景中对齐的图像。本公开实施例能够在对于需要精确几何对齐的场景，实现精确对齐，进而提高了头戴设备的实时重建场景的应用性能，以及较好地达到了通过头戴设备看到真实的世界或制作虚拟现实的效果。

技术研发人员：范帝楷
受保护的技术使用者：北京字跳网络技术有限公司
技术研发日：
技术公布日：2024/4/7