本公开内容涉及扩展现实(xr)装置,例如增强现实(ar)装置和/或虚拟现实(vr)装置。
背景技术:
1、ar是对虚拟环境的修改。例如,在vr中,用户完全沉浸在虚拟世界中,而在ar中,用户沉浸在将虚拟对象组合或叠加在真实世界上的世界中。ar系统旨在生成和呈现与真实世界环境以及彼此之间真实地交互的虚拟对象。ar应用的示例可以包括单玩家或多玩家视频游戏、即时消息收发系统等。
技术实现思路
1.一种方法,包括:
2.根据权利要求1所述的方法,其中,所述对象的姿态包括所述对象的骨架表示。
3.根据权利要求1至2中任一项所述的方法,还包括:
4.根据权利要求1至3中任一项所述的方法,还包括:
5.根据权利要求4所述的方法,还包括针对所述规范体积的每个部分,重复对所述姿态的部分的选择,并且重复将对应于所选择的所述姿态的部分的所述体积重建张量的点分类为在所述规范体积的内部或外部。
6.根据权利要求1至5中任一项所述的方法,其中,所述位置编码信息的集合表示所述规范体积的不同身体部位。
7.根据权利要求1至6中任一项所述的方法,还包括通过执行训练操作来训练所述第一机器学习模型和所述第二机器学习模型,所述训练操作包括:
8.根据权利要求7所述的方法,其中,所述训练操作包括:
9.根据权利要求1至8中任一项所述的方法,还包括基于所述占用损失更新所述第一机器学习模型和所述第二机器学习模型的一个或更多个参数。
10.根据权利要求1至9中任一项所述的方法,还包括:
11.根据权利要求1至10中任一项所述的方法,还包括:
12.根据权利要求11所述的方法,还包括:
13.根据权利要求1至12中任一项所述的方法,还包括:
14.根据权利要求1至13中任一项所述的方法,还包括:
15.根据权利要求1至14中任一项所述的方法,其中,所述规范体积表示所述对象的全身规范空间重建,还包括:
16.根据权利要求15所述的方法,还包括基于所述全身规范空间重建、所述特定于头部的规范空间重建和平滑地变形的区域来生成所述3d网格。
17.根据权利要求1至16中任一项所述的方法,还包括基于所述3d网格生成扩展现实(xr)对象。
18.根据权利要求17所述的方法,还包括在由用户系统的摄像装置实时捕获的真实世界环境的视图中将所述xr对象动画化。
19.一种系统,包括:
20.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质具有存储在其上的指令,所述指令在由至少一个处理器执行时使所述至少一个处理器执行操作,所述操作包括: