用于全息图/化身控制的3D表示对准的制作方法

背景技术：

1、全息图是传达3d信息并促进远程用户之间协作的非常有用的方式。全息图还用作用户界面的一部分，以改善人机交互。全息图是使用诸如头戴式显示器的全息图投影装置或用于混合现实显示、虚拟现实显示或其他类型的显示的其他立体显示装置向观看者显示的三维(3d)虚拟对象。在特定应用中，例如全息传输，至少有两个人参与视频通话。描绘其中一名参与者的全息图是根据描绘该参与者的传感器数据计算出来的(使得全息图类似于特定参与者的物理外观)。全息图被传输到视频通话中的远程参与者并使用全息图投影装置投影到远程参与者。通过这种方式，可以实现许多有用的应用程序，例如医务人员和其他人的远程指导。然而，准确可靠的全息图计算并不简单。

2、化身是人的虚拟表示，其示意性地表示一个人，而不是特定人的实际描绘。化身对于远程协作非常有用，例如在由于资源限制而描绘视频通话参与者的真实全息图不可用的情况。

3、下面描述的实施例不限于解决用于控制全息图和/或化身的已知装置的任何或所有缺点的实现方式。

技术实现思路

1、下面呈现本公开的简化的
技术实现要素：
以便为读者提供基本理解。本发明内容并不旨在识别所要求保护的主题的关键特征或基本特征，也不旨在用于限制所要求保护的主题的范围。其唯一目的是以简化的形式呈现本文公开的概念的选择，作为稍后呈现的更详细描述的前奏。

2、在各种示例中，存在用于对准人的三维3d表示的装置。该装置包括至少一个处理器和存储指令的存储器，当该指令被该至少一个处理器执行时，实施一种方法，该方法包括：访问第一3d表示，该第一3d表示是人的参数模型的实例；访问第二3d表示，该第二3d表示是人的照片级真实表示；计算第一3d表示和第二3d表示的对准；以及根据对准的第一3d表示和第二3d表示计算并存储全息图，使得全息图描绘仅在第一3d表示和第二3d表示中的一个中观察到的人的部分；或者控制表示人的化身，其中化身描绘仅在第一3d表示和第二3d表示中的一个中观察到的人的部分。

3、许多伴随特征将更容易被理解，因为通过参考结合附图考虑的以下详细描述，这些特征变得更好理解。

技术特征：

1.一种用于对准人的三维3d表示的装置，所述装置包括：

2.根据权利要求1所述的装置，其中，所述对准是通过以下操作计算的：对于所述第一3d表示和第二3d表示中描绘的至少一个关键点，调整所述第一3d表示和第二3d表示中的一个或两个，以将所述关键点在所述第一表示中的3d位置和取向移至所述关键点在所述第二表示中的相同的3d位置和取向。

3.根据权利要求1所述的装置，其中，所述照片级真实表示是体积模型。

4.根据权利要求1所述的装置，其中，所述参数模型的实例被缩放至所述人的真实比例，并且其中，所述照片级真实表示处于经校准的比例，并且其中，所述对准是通过计算刚性变换来计算的。

5.根据权利要求1所述的装置，其中，访问所述第一3d表示包括访问作为所述人的所述参数模型的实例的第一3d表示的第一流；并且其中，访问所述第二3d表示包括访问所述照片级真实表示的实例的第二流，并且其中，计算所述对准包括将所述第一流与所述第二流之间的时延考虑在内，根据所述第一流和所述第二流来计算所述第一3d表示和所述第二3d表示的对准。

6.根据权利要求5所述的装置，其中，3d表示的所述第一流和所述第二流是根据由所述人佩戴的可穿戴捕获设备和独立于所述人的外部捕获设备捕获的、描绘所述人的至少一部分的图像来计算的。

7.根据权利要求6所述的装置，其中，所述照片级真实表示是根据由所述可穿戴捕获设备和所述外部捕获设备捕获的图像数据来计算的。

8.根据权利要求6所述的装置，其中，所述照片级真实表示是仅根据由所述外部捕获设备捕获的图像数据来计算的。

9.根据权利要求5所述的装置，其中，所述时延是通过以下方式计算的：测量图像数据的捕获和所述参数模型的对应实例的接收之间的第一时间以及图像数据的捕获和所述照片级真实表示的对应实例的接收之间的第二时间，并且计算所述时延作为所述第一时间和所述第二时间之间的差异。

10.根据权利要求9所述的装置，其中，所述第一时间和所述第二时间是使用服务器上的单个网络时钟来测量的。

11.根据权利要求5所述的装置，其中，所述人的所述参数模型的实例是根据由用户佩戴的可穿戴捕获设备来计算的，并且所述人的所述照片级真实表示的实例是根据独立于所述人的外部捕获设备来计算的，并且其中，所述第一流与所述第二流之间的时延是通过以下方式计算的：在所述可穿戴捕获设备和网络服务器之间以及在所述外部捕获设备和所述网络服务器之间建立联网会话，并且使用所述网络服务器处的时钟来测量所述时延。

12.根据权利要求5所述的装置，其中，计算所述对准包括：调整所述第一3d表示和所述第二3d表示中的一个或两个，使得根据所述3d表示生成的全息图中描绘的所述人的动作的连续性被增强。

13.根据权利要求1所述的装置，所述指令包括：根据所述经对准的第一3d表示和所述经对准的第二3d表示生成全息图，使得所述全息图描绘仅在所述第一3d表示和所述第二3d表示中的一个中观察到的、所述人的部分；以及将所述全息图发送到远程实体处的全息图投影装置。

14.一种用于对准人的三维3d表示的计算机实现的方法，所述方法包括：

15.根据权利要求14所述的方法，包括：根据由所述人佩戴的捕获设备捕获的图像数据计算所述参数模型的实例，以及根据由独立于所述人的外部捕获设备捕获的图像数据计算所述照片级真实表示。

技术总结
在各种示例中，存在用于对准人的三维3D表示的装置。该装置包括至少一个处理器和存储指令的存储器，当该指令被该至少一个处理器执行时，实施一种方法，该方法包括：访问第一3D表示，该第一3D表示是人的参数模型的实例；访问第二3D表示，该第二3D表示是人的照片级真实表示；计算第一3D表示和第二3D表示的对准；以及根据经对准的第一3D表示和经对准的第二3D表示计算并存储全息图，使得全息图描绘仅在第一3D表示和第二3D表示中的一个中观察到的人的部分；或者控制表示人的化身，其中化身描绘仅在第一3D表示和第二3D表示中的一个中观察到的人的部分。

技术研发人员：K·M·雅各布扎克,M·J·兰姆,B·M·威尔逊,T·L·夏普,T·J·卡什曼,J·肖顿,E·W·伍德,J·沈
受保护的技术使用者：微软技术许可有限责任公司
技术研发日：
技术公布日：2024/1/15