面向增强现实的视频处理方法、装置和计算机设备与流程

本申请涉及增强现实，特别是涉及一种面向增强现实的视频处理方法、装置和计算机设备。

背景技术：

1、增强现实(augmented reality，简称ar)技术是一种基于计算机实时计算和多传感器融合，将现实世界与虚拟信息结合起来的技术。该技术通过对人的视觉、听觉、嗅觉、触觉等感受进行模拟和再输出，并将虚拟信息叠加到真实信息上，给人提供超越真实世界感受的体验。

2、然而现有的增强现实系统通常是将虚拟三维模型作为数据对象进行展示和交互，显然，现有的增强现实系统存在对真实场景交互能力不足的问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高对真实场景交互能力的面向增强现实的视频处理方法、装置和计算机设备。

2、第一方面，本申请提供了一种面向增强现实的视频处理方法。应用于增强现实设备；所述方法包括：

3、接收立体视觉视频；所述立体视觉视频包含真实对象；

4、基于所述立体视觉视频生成左目动态纹理和右目动态纹理；

5、将所述左目动态纹理映射于左网格，将所述右目动态纹理映射于右网格；

6、将所述左网格连同三维虚拟世界渲染至左目虚拟相机中，得到左目渲染结果，以及将所述右网格连同所述三维虚拟世界渲染至右目虚拟相机中，得到右目渲染结果；

7、将所述左目渲染结果投影至所述增强现实设备的左目显示镜，将所述右目渲染结果投影至所述增强现实设备的右目显示镜，以实现所述增强现实场景下的所述立体视觉视频的立体视觉。

8、在其中一个实施例中，所述方法还包括：

9、接收对象信息；所述对象信息包括对象动作、对象表情和对象手势，且是通过对所述立体视觉视频进行识别得到的；

10、依据对象信息控制对应的虚拟三维模型。

11、在其中一个实施例中，所述方法还包括：

12、确定所述虚拟三维模型的局部坐标系；

13、依据所述局部坐标系分别对所述左网格和所述右网格进行绑定处理，以使所述立体视觉视频伴随于所述虚拟三维模型的周围。

14、在其中一个实施例中，所述方法还包括：

15、通过传感器实时采集三维空间信息；

16、依据所述三维空间信息控制所述左目虚拟相机和所述右目虚拟相机进行移动。

17、在其中一个实施例中，所述将所述左目动态纹理映射于左网格，将所述右目动态纹理映射于右网格之后，所述方法还包括：

18、依据所述真实对象对所述左网格进行剪裁处理，得到左目头像网格；

19、依据所述真实对象对所述右网格进行剪裁处理，得到右目头像网格；

20、将所述左目头像网格渲染至所述左目虚拟相机中，得到所述左目渲染结果，以及将所述右目头像网格渲染至所述右目虚拟相机中，得到所述右目渲染结果。在其中一个实施例中，所述基于所述立体视觉视频生成左目动态纹理和右目动态纹理包括：

21、将所述立体视觉视频拆分为左目视频和右目视频；

22、依据所述左目视频生成左目动态纹理；

23、依据所述右目视频生成右目动态纹理。

24、第二方面，本申请还提供了一种面向增强现实的视频处理装置。所述装置包括：

25、接收模块，用于接收立体视觉视频；所述立体视觉视频包含真实对象；

26、生成模块，用于基于所述立体视觉视频生成左目动态纹理和右目动态纹理；

27、映射模块，用于将所述左目动态纹理映射于左网格，将所述右目动态纹理映射于右网格；

28、渲染模块，用于将所述左网格连同三维虚拟世界渲染至左目虚拟相机中，得到左目渲染结果，以及将所述右网格连同所述三维虚拟世界渲染至右目虚拟相机中，得到右目渲染结果；

29、投影模块，用于将所述左目渲染结果投影至所述增强现实设备的左目显示镜，将所述右目渲染结果投影至所述增强现实设备的右目显示镜，以实现增强现实场景下的所述立体视觉视频的立体视觉。

30、在其中一个实施例中，所述装置还包括：

31、控制模块，用于接收对象信息；所述对象信息包括对象动作、对象表情和对象手势，且是通过对所述立体视觉视频进行识别得到的；依据对象信息控制对应的虚拟三维模型。

32、在其中一个实施例中，所述装置还包括：

33、绑定模块，用于确定所述虚拟三维模型的局部坐标系；依据所述局部坐标系分别对所述左网格和所述右网格进行绑定处理，以使所述立体视觉视频伴随于所述虚拟三维模型的周围。

34、在其中一个实施例中，所述控制模块还用于通过传感器实时采集三维空间信息；依据所述三维空间信息控制所述左目虚拟相机和所述右目虚拟相机进行移动。

35、在其中一个实施例中，所述渲染模块还用于

36、依据所述真实对象对所述左网格进行剪裁处理，得到左目头像网格；

37、依据所述真实对象对所述右网格进行剪裁处理，得到右目头像网格；

38、将所述左目头像网格渲染至所述左目虚拟相机中，得到所述左目渲染结果，以及将所述右目头像网格渲染至所述右目虚拟相机中，得到所述右目渲染结果。在其中一个实施例中，所述生成模块还用于将所述立体视觉视频拆分为左目视频和右目视频；依据所述左目视频生成左目动态纹理；依据所述右目视频生成右目动态纹理。

39、第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

40、第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

41、第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

42、上述面向增强现实的视频处理方法、装置、计算机设备、存储介质和计算机程序产品，通过接收立体视觉视频；立体视觉视频包含真实对象；基于立体视觉视频生成左目动态纹理和右目动态纹理；将左目动态纹理映射于左网格，将右目动态纹理映射于右网格；将左网格连同三维虚拟世界渲染至左目虚拟相机中，得到左目渲染结果，以及将右网格连同三维虚拟世界渲染至右目虚拟相机中，得到右目渲染结果；将左目渲染结果投影至增强现实设备的左目显示镜，将右目渲染结果投影至增强现实设备的右目显示镜，以实现增强现实场景下的立体视觉视频的立体视觉，通过实现包含真实对象的立体视觉视频的立体视觉，即实现了用户可利用增强现实系统与真实对象的立体视觉进行交互，有效的提升了增强现实系统对真实场景的交互能力。

技术特征：

1.一种面向增强现实的视频处理方法，其特征在于，应用于增强现实设备；所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述将所述左目动态纹理映射于左网格，将所述右目动态纹理映射于右网格之后，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，所述基于所述立体视觉视频生成左目动态纹理和右目动态纹理包括：

7.一种面向增强现实的视频处理装置，其特征在于，应用于增强现实眼镜设备；所述装置包括：

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

技术总结
本申请涉及一种面向增强现实的视频处理方法、装置、计算机设备、存储介质和计算机程序产品。应用于增强现实设备；接收立体视觉视频；立体视觉视频包含真实对象；基于立体视觉视频生成左目动态纹理和右目动态纹理；将左目动态纹理映射于左网格，将右目动态纹理映射于右网格；将左网格连同三维虚拟世界渲染至左目虚拟相机中，得到左目渲染结果，以及将右网格连同三维虚拟世界渲染至右目虚拟相机中，得到右目渲染结果；将左目渲染结果投影至增强现实设备的左目显示镜，将右目渲染结果投影至增强现实设备的右目显示镜，以实现增强现实场景下的立体视觉视频的立体视觉。采用本方法能够提升增强现实系统对真实场景的交互能力。

技术研发人员：孙超,李巍,潘卫敏
受保护的技术使用者：上海北冕信息科技有限公司
技术研发日：
技术公布日：2024/1/14