对齐用户表示的制作方法

本公开整体涉及电子设备，并且具体地涉及用于在计算机生成的内容中表示用户的系统、方法和设备。

背景技术：

1、现有技术可能无法准确地或如实地呈现电子设备的用户的外观的当前(例如，实时)表示。例如，设备可基于数分钟、数小时、数天或甚至数年前获得的用户的面部的图像来提供用户的头像表示。这种表示可能无法准确地表示用户的当前(例如，实时)外观，例如在用户微笑时未将用户的头像示出为微笑或未示出用户的当前胡须。因此，可能期望提供能有效提供用户的更准确、如实和/或当前的表示的装置。

技术实现思路

1、本文所公开的各种具体实施包括生成一组值的设备、系统和方法，该组值表示用户面部在时间点处的三维(3d)形状和外观以用于生成用户表示(例如，头像)。在一些具体实施中，该组值可相对于具有非平面形状(例如，曲线平面形状)的表面来定义。该组值可包括限定面部的部分相对于这个表面上的多个点(例如，部分圆柱形表面上的网格中的点)的深度的深度值。例如，一个点的深度值可限定面部的一部分处于该点在表面上的位置之后的深度d1处，例如，沿着在该点处开始的正交射线处于深度d1处。本文所述的技术使用与现有rgbda图像(例如，红-绿-蓝-深度α图像)中的深度值不同的深度值，因为现有rgbda图像限定相对于单个相机位置的内容深度，而本文所述的技术限定相对于具有平面形状(例如，曲线平面形状)的表面上的多个点的深度。

2、可使用具有相对于表面上的多个点限定的深度值的相对简单的该组值来实现若干优点。该组值可能需要比使用3d网格或3d点云更少的计算和带宽，同时实现比rgbda图像更准确的用户表示。此外，该组值可以类似于现有格式(例如，rgbda图像)的方式被格式化/封装，这可实现与基于此类格式的系统更高效地集成。

3、本文所公开的各种具体实施包括通过将用户的第一部分的相同预定3d数据与在多个时刻捕获的用户的第二部分的帧特定3d数据组合来针对多个时刻中的每个时刻生成用户的3d表示的设备、系统和方法。预定3d数据可以是从登记数据(例如，一次性像素对齐隐式函数(pifu)数据)生成的用户的上身和头部的网格。预定3d数据(诸如pifu数据)可包括高度有效的隐式表示，该隐式表示将2d图像的像素与其对应的3d对象的全局背景局部对齐。帧特定数据可表示在多个时间点中的每个时间点处的用户面部，例如，帧特定3d表示数据的实况序列，诸如表示如本文所述的用户面部在某个时间点的3d形状和外观的该组值。来自这两个不同源的3d数据(例如，pifu数据和帧特定3d数据)可通过使用与这两个数据集相关联的3d参考点(例如，相对于骨架表示定义的点)在空间上对齐数据来针对每个时刻进行组合。可在观看设备上生成用户在多个时刻的3d表示，该观看设备组合数据并使用组合数据来例如在实况通信(例如，共存)会话期间呈现视图。

4、本文所公开的各种具体实施包括调整经由第一技术(例如，pifu)确定的用户的第一部分(例如，头部、头发、上身、衣服等)的第一3d表示的颜色的设备、系统和方法。使用经由第二不同技术确定的用户的第二部分(例如，例如先前在登记过程期间先前捕获的样本中的面部/毛发)的样本3d表示来调整颜色。这种调整在通过将第一3d表示与经由第二技术生成的一个或多个第二3d表示(例如，帧特定3d表示)组合而生成的组合3d表示中提供更好的颜色匹配(例如，帧特定3d表示数据的实况序列，诸如表示如本文所述的用户面部在某个时间点的3d形状和外观的该组值)。例如，第一表示可以是基于pifu的，并且可被调整使得颈部颜色更好地匹配帧特定3d面部的面部颜色。可使用变换来调整颜色(例如，使用monge-kanorovich颜色转移技术等来确定)。可通过将第一表示重建到与样本3d表示相同的空间中(例如，在uv空间中重建pifu表示)来促进确定这样的变换。这使得能够基于对应用户部分的颜色的比较来进行更准确的变换。

5、本文所公开的各种具体实施包括调整用户的第一部分(例如，手)的第一3d表示的颜色的设备、系统和方法。使用用户的第二部分(例如，面部/头发)的样本3d表示来调整颜色。在一些具体实施中，在第一3d表示与用户的第二部分的样本3d表示之间不存在重叠(例如，一个表示示出面部而另一个表示示出手)。可通过过滤掉非皮肤数据(例如，头发、衣服等)来改进颜色调整准确度。可使用变换来调整颜色(例如，使用monge-kanorovich颜色转移技术来确定)。在一些具体实施中，样本表示中的阴影可产生太暗的颜色调整，这可通过仅取数据的子集(例如，数据中最亮的25％)来解决。

6、一般来讲，本说明书中所描述的主题的一个创新方面可体现在包括以下动作的方法中：在设备的处理器处，获得用户的至少第一部分的预定三维(3d)表示，其中该预定3d表示与相对于该用户的骨骼表示而定义的3d参考点相关联；获得对应于一个时间段内的多个时刻的帧特定3d表示的序列，这些帧特定3d表示中的每个帧特定3d表示表示在该时间段内的该多个时刻中的相应时刻处该用户的第二部分，并且这些帧特定3d表示中的每个帧特定3d表示与该3d参考点相关联；以及针对该时间段中的该多个时刻生成该用户的组合3d表示，其中该组合3d表示中的每个组合3d表示通过基于对齐将该预定3d表示与相应的帧特定3d表示组合来生成，其中该对齐基于该3d参考点。

7、这些实施方案和其他实施方案均可任选地包括以下特征中的一个或多个特征。

8、在一些方面，该用户的该第二部分是该第一部分的子部分。在一些方面，该用户的该第一部分包括该用户的面部部分和附加部分，并且该用户的该第二部分包括该面部部分而无该用户的该附加部分。在一些方面，该3d参考点与该用户的骨骼表示的寰椎关节的3d位置相关联。

9、在一些方面，该3d参考点与该用户的眼睛的中心相关联，该中心限定在与该寰椎关节偏移的位置处。

10、在一些方面，将该预定3d表示与该相应的帧特定3d表示组合包括调整该预定3d表示的子部分。

11、在一些方面，调整该预定3d表示的该子部分包括调整该预定3d表示的顶点的位置以及基于这些帧特定3d表示中的每个帧特定3d表示来应用纹理。

12、在一些方面，使用在与该3d参考点在位置上相关联的高度场内指定的高度值来定义这些帧特定3d表示中的每个帧特定3d表示。

13、在一些方面，将该预定3d表示的顶点映射到该高度场上的位置并与高度值相关联，其中基于该3d参考点来映射该顶点。

14、在一些方面，将该预定3d表示与这些帧特定3d表示中的每个帧特定3d表示组合包括基于针对该相应的帧特定3d表示指定的该高度值来调整该高度值中与该顶点相关联的至少一些高度值。

15、在一些方面，调整该顶点包括使用指定α值将该高度值中与该顶点相关联的至少一些高度值与针对该相应的帧特定3d表示指定的该高度值混合。在一些方面，调整该顶点包括使用该指定α值将与该顶点相关联的至少一些纹理值与针对该相应的帧特定表示指定的纹理值混合。在一些方面，由该预定3d表示所表示的该第一部分表示该用户的上身和头部。

16、在一些方面，使用像素对齐隐式函数(pifu)技术来生成该预定3d表示，该pifu技术将2d登记图像的像素与全局背景局部对齐以形成该预定3d表示。

17、在一些方面，基于来自面向内或面向下相机的传感器数据并基于登记数据生成这些帧特定3d表示中的每个帧特定3d表示，其中该登记数据包括该用户的该第二部分的表现出多个不同面部表情的图像。

18、在一些方面，这些帧特定3d表示中的每个帧特定3d表示包括在该时间段中的该多个时刻中的相应时刻处该用户的骨骼表示的配置，其中基于该骨骼表示的节点来定义该3d参考点。

19、在一些方面，该动作还包括呈现该组合3d表示的视图。在一些方面，该呈现在通信会话期间发生，在该通信会话中，第二设备捕获传感器数据并基于该传感器数据提供对应于该时间段中的该多个时刻的帧特定3d表示的序列。

20、在一些方面，该第二设备在该通信会话期间提供该用户的该预定3d表示。在一些方面，该第二设备生成该用户的该组合3d表示并在该通信会话期间将该组合3d表示提供给该设备。

21、在一些方面，该组合3d表示的视图相对于该时间段中的该多个时刻实时显示在该设备上。在一些方面，该设备为头戴式设备(hmd)。

22、这些实施方案和其他实施方案均可任选地包括以下特征中的一个或多个特征。

23、根据一些具体实施中，非暂态计算机可读存储介质中存储有指令，所述指令是计算机可执行的以执行或使得执行本文所述的任何方法。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使执行本文所述方法中的任一种的指令。