对齐用户表示的制作方法

文档序号:37470446发布日期:2024-03-28 18:53阅读:来源:国知局

技术特征:

1.一种方法,包括:

2.根据权利要求1所述的方法,其中所述用户的所述第二部分是所述第一部分的子部分。

3.根据权利要求2所述的方法,其中:

4.根据权利要求1所述的方法,其中所述3d参考点与所述用户的骨骼表示的寰椎关节的3d位置相关联。

5.根据权利要求4所述的方法,其中所述3d参考点与所述用户的眼睛的中心相关联,所述中心限定在与所述寰椎关节偏移的位置处。

6.根据权利要求1所述的方法,其中将所述预定3d表示与所述相应的帧特定3d表示组合包括调整所述预定3d表示的子部分。

7.根据权利要求6所述的方法,其中调整所述预定3d表示的所述子部分包括调整所述预定3d表示的顶点的位置以及基于所述帧特定3d表示中的每个帧特定3d表示来应用纹理。

8.根据权利要求1所述的方法,其中使用在与所述3d参考点在位置上相关联的高度场内指定的高度值来定义所述帧特定3d表示中的每个帧特定3d表示。

9.根据权利要求8所述的方法,其中将所述预定3d表示的顶点映射到所述高度场上的位置并与高度值相关联,其中基于所述3d参考点来映射所述顶点。

10.根据权利要求9所述的方法,其中将所述预定3d表示与所述帧特定3d表示中的每个帧特定3d表示组合包括基于针对所述相应的帧特定3d表示指定的所述高度值来调整所述高度值中与所述顶点相关联的至少一些高度值。

11.根据权利要求10所述的方法,其中调整所述顶点包括使用指定α值将所述高度值中与所述顶点相关联的至少一些高度值与针对所述相应的帧特定3d表示指定的所述高度值混合。

12.根据权利要求11所述的方法,其中调整所述顶点包括使用所述指定α值将与所述顶点相关联的至少一些纹理值与针对所述相应的帧特定表示指定的纹理值混合。

13.根据权利要求1所述的方法,其中由所述预定3d表示所表示的所述第一部分表示所述用户的上身和头部。

14.根据权利要求1所述的方法,其中使用像素对齐隐式函数(pifu)技术来生成所述预定3d表示,所述pifu技术将2d登记图像的像素与全局背景局部对齐以形成所述预定3d表示。

15.根据权利要求1所述的方法,其中基于来自面向内或面向下相机的传感器数据并基于登记数据来生成所述帧特定3d表示中的每个帧特定3d表示,其中所述登记数据包括所述用户的所述第二部分的表现出多个不同面部表情的图像。

16.根据权利要求1所述的方法,其中所述帧特定3d表示中的每个帧特定3d表示包括在所述时间段中的所述多个时刻中的相应时刻处所述用户的骨骼表示的配置,其中基于所述骨骼表示的节点来定义所述3d参考点。

17.根据权利要求1所述的方法,还包括:

18.根据权利要求17所述的方法,其中所述呈现在通信会话期间发生,在所述通信会话中,第二设备捕获传感器数据并基于所述传感器数据来提供对应于所述时间段中的所述多个时刻的所述帧特定3d表示的序列。

19.根据权利要求18所述的方法,其中所述第二设备在所述通信会话期间提供所述用户的所述预定3d表示。

20.根据权利要求18所述的方法,其中所述第二设备生成所述用户的所述组合3d表示并在所述通信会话期间将所述组合3d表示提供给所述设备。

21.根据权利要求1所述的方法,其中所述组合3d表示的视图相对于所述时间段中的所述多个时刻实时显示在所述设备上。

22.根据权利要求1所述的方法,其中所述设备是头戴式设备(hmd)。

23.一种设备,包括:

24.根据权利要求23所述的设备,其中所述用户的所述第二部分是所述第一部分的子部分。

25.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储能够在包括一个或多个处理器的设备上执行以执行操作的程序指令,所述操作包括:


技术总结
本公开涉及用户表示。对齐本文所公开的各种具体实施包括根据基于3D参考点进行的对齐来生成用户的组合3D表示的设备、系统和方法。例如,过程可包括获得与相对于该用户的骨骼表示而定义的3D参考点相关联的预定三维(3D)表示。该过程还可包括获得对应于一个时间段内的多个时刻的帧特定3D表示的序列,这些帧特定3D表示中的每个帧特定3D表示表示在该时间段内的该多个时刻中的相应时刻处该用户的第二部分。该过程还可包括生成该用户的组合3D表示,该组合3D表示是通过基于对齐将该预定3D表示与相应帧特定3D表示组合来生成的,该对齐基于该3D参考点。

技术研发人员:M·S·哈驰因森
受保护的技术使用者:苹果公司
技术研发日:
技术公布日:2024/3/27
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1