根据RGB图像的身体网格重建的制作方法

文档序号:43765160发布日期:2025-11-15 00:31阅读:15来源:国知局

本公开内容涉及扩展现实(xr)装置,例如增强现实(ar)装置和/或虚拟现实(vr)装置。


背景技术:

1、ar是对虚拟环境的修改。例如,在vr中,用户完全沉浸在虚拟世界中,而在ar中,用户沉浸在将虚拟对象组合或叠加在真实世界上的世界中。ar系统旨在生成和呈现与真实世界环境以及彼此之间真实地交互的虚拟对象。ar应用的示例可以包括单玩家或多玩家视频游戏、即时消息收发系统等。


技术实现思路



技术特征:

1.一种方法,包括:

2.根据权利要求1所述的方法,其中,所述对象的姿态包括所述对象的骨架表示。

3.根据权利要求1至2中任一项所述的方法,还包括:

4.根据权利要求1至3中任一项所述的方法,还包括:

5.根据权利要求4所述的方法,还包括针对所述规范体积的每个部分,重复对所述姿态的部分的选择,并且重复将对应于所选择的所述姿态的部分的所述体积重建张量的点分类为在所述规范体积的内部或外部。

6.根据权利要求1至5中任一项所述的方法,其中,所述位置编码信息的集合表示所述规范体积的不同身体部位。

7.根据权利要求1至6中任一项所述的方法,还包括通过执行训练操作来训练所述第一机器学习模型和所述第二机器学习模型,所述训练操作包括:

8.根据权利要求7所述的方法,其中,所述训练操作包括:

9.根据权利要求1至8中任一项所述的方法,还包括基于所述占用损失更新所述第一机器学习模型和所述第二机器学习模型的一个或更多个参数。

10.根据权利要求1至9中任一项所述的方法,还包括:

11.根据权利要求1至10中任一项所述的方法,还包括:

12.根据权利要求11所述的方法,还包括:

13.根据权利要求1至12中任一项所述的方法,还包括:

14.根据权利要求1至13中任一项所述的方法,还包括:

15.根据权利要求1至14中任一项所述的方法,其中,所述规范体积表示所述对象的全身规范空间重建,还包括:

16.根据权利要求15所述的方法,还包括基于所述全身规范空间重建、所述特定于头部的规范空间重建和平滑地变形的区域来生成所述3d网格。

17.根据权利要求1至16中任一项所述的方法,还包括基于所述3d网格生成扩展现实(xr)对象。

18.根据权利要求17所述的方法,还包括在由用户系统的摄像装置实时捕获的真实世界环境的视图中将所述xr对象动画化。

19.一种系统,包括:

20.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质具有存储在其上的指令,所述指令在由至少一个处理器执行时使所述至少一个处理器执行操作,所述操作包括:


技术总结
公开了用于从单个图像中生成身体网格的方法和系统。该系统通过将第一机器学习模型应用于单目图像,来预测单目图像的体积重建张量和对象的姿态两者。该系统标识对应于与位置编码信息的集合相关联的规范空间中的点的对象的姿态的一部分。该系统获得对应于所标识的姿态的部分的体积重建张量的点。该系统通过将第二机器学习模型与位置编码信息的集合一起应用于所获得的体积重建张量的点,将所获得的点分类为在规范体积的内部或外部。该系统在规范空间中生成表示对象的三维(3D)网格。

技术研发人员:勒扎·阿尔普·居莱尔,弗兰克·卢,乔治斯·帕潘德里欧,王昊阳
受保护的技术使用者:斯纳普公司
技术研发日:
技术公布日:2025/11/14
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1