基于当前用户外观的用户的表示的制作方法

本公开整体涉及电子设备，并且具体地涉及用于在计算机生成的内容中表示用户的系统、方法和设备。

背景技术：

1、现有技术可能无法准确地呈现电子设备的用户的外观的当前(例如，实时)表示。例如，设备可基于数分钟、数小时、数天或甚至数年前获得的用户的面部的图像来提供用户的头像表示。这种表示可能无法准确地表示用户的当前(例如，实时)外观，例如在用户微笑时未将用户的头像示出为微笑或未示出用户的当前胡须。因此，可能期望提供能有效提供用户的更准确、逼真和/或当前的表示的装置。

技术实现思路

1、本文所公开的各种具体实施包括使用用户面部的实时局部图像和先前获得的面部数据(例如，登记数据)呈现用户的面部的表示的设备、系统和方法。基于评估相应部分准确地对应于用户面部的实时外观的置信度来显示该表示的部分，从这个意义上讲，该表示是逼真的。具有低置信度的该表示的部分可能是模糊的、经修改和/或被隐藏。

2、一般来讲，本说明书中描述的主题的一个创新方面可体现在包括以下动作的方法中：在处理器处，获取与用户的面部的特征相对应的第一组数据；在用户使用电子设备时，从一个或多个图像传感器获取与面部的一个或多个局部视图相对应的第二组数据；基于第一组数据和第二组数据来生成用户的面部的表示，其中该表示的部分对应于不同置信值；以及基于对应置信值来显示该表示的部分。

3、这些实施方案和其他实施方案均可任选地包括以下特征中的一个或多个特征。

4、在一些方面，第一组数据包括用户的面部的无阻挡图像数据。在一些方面，第二组数据包括用户的面部的局部图像。

5、在一些方面，电子设备包括第一传感器和第二传感器，其中从来自第一传感器的从第一视点看到的用户的面部的至少一个局部图像以及从来自第二传感器的从与第一视点不同的第二视点看到的用户的面部的至少一个局部图像获取第二组数据。

6、在一些方面，置信值对应于纹理置信值，其中基于对应置信值来显示该表示的部分包括确定纹理置信值超过阈值。

7、在一些方面，生成用户的面部的表示包括跟踪用户的面部的特征；基于跟踪的特征来生成模型；以及通过将实时图像数据投影到该模型上来更新该模型。在一些方面，生成用户的面部的表示还包括基于第一组数据来增强该模型。

8、在一些方面，该表示是三维(3d)头像。

9、在一些方面，基于评估相应部分准确地对应于用户的面部的实时外观的置信度来显示该表示的部分。在一些方面，基于对应置信值的置信水平来不同地显示该表示的部分。

10、在一些方面，第二组数据包括在扫描过程中获取的深度数据和光强度图像数据。

11、在一些方面，电子设备是头戴式设备(hmd)。

12、根据一些具体实施中，非暂态计算机可读存储介质中存储有指令，所述指令是计算机可执行的以执行或使得执行本文所述的任何方法。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。

技术特征：

1.一种方法，所述方法包括：

2.根据权利要求1所述的方法，其中所述第一组数据包括所述用户的所述面部的无阻挡图像数据。

3.根据权利要求1或2中任一项所述的方法，其中所述第二组数据包括所述用户的所述面部的局部图像。

4.根据权利要求1至3中任一项所述的方法，其中所述电子设备包括第一传感器和第二传感器，其中从来自所述第一传感器的从第一视点看到的所述用户的所述面部的至少一个局部图像以及从来自所述第二传感器的从与所述第一视点不同的第二视点看到的所述用户的所述面部的至少一个局部图像获取所述第二组数据。

5.根据权利要求1至4中任一项所述的方法，其中所述置信值对应于纹理置信值，其中基于所述对应置信值来显示所述表示的所述部分包括确定所述纹理置信值超过阈值。

6.根据权利要求5所述的方法，其中生成所述用户的所述面部的所述表示包括：

7.根据权利要求6所述的方法，其中生成所述用户的所述面部的所述表示还包括基于所述第一组数据来增强所述模型。

8.根据权利要求1至7中任一项所述的方法，其中所述表示是三维(3d)头像。

9.根据权利要求1至8中任一项所述的方法，其中基于评估相应部分准确地对应于所述用户的所述面部的实时外观的置信度来显示所述表示的所述部分。

10.根据权利要求1至9中任一项所述的方法，其中基于所述对应置信值的置信水平来不同地显示所述表示的所述部分。

11.根据权利要求1至10中任一项所述的方法，其中所述第二组数据包括在扫描过程中获取的深度数据和光强度图像数据。

12.根据权利要求1至11中任一项所述的方法，其中所述电子设备是头戴式设备(hmd)。

13.根据权利要求1至12中任一项所述的方法，其中基于所述对应置信值来显示所述表示的所述部分包括基于对应置信值的置信水平来不同地显示所述表示的所述部分。

14.根据权利要求1至12中任一项所述的方法，其中基于所述对应置信值来显示所述表示的所述部分包括对于更高置信水平，显示所述表示的第一部分，以及对于更低置信水平，使所述表示的所述第一部分模糊或失真。

15.根据权利要求1至12中任一项所述的方法，其中基于所述对应置信值来显示所述表示的所述部分包括基于第一部分的置信水平来确定所述表示的所述第一部分的失真或模糊水平，其中更高置信度对应于减少的模糊或失真。

16.根据权利要求15所述的方法，其中如果达到阈值置信水平，则在没有任何模糊或失真的情况下显示所述表示的所述第一部分。

17.一种设备，所述设备包括：

18.根据权利要求17所述的设备，其中所述第一组数据包括所述用户的所述面部的无阻挡图像数据。

19.根据权利要求17或18所述的设备，其中所述第二组数据包括所述用户的所述面部的局部图像。

20.根据权利要求17至19中任一项所述的设备，其中所述电子设备包括第一传感器和第二传感器，其中从来自所述第一传感器的从第一视点看到的所述用户的所述面部的至少一个局部图像以及从来自所述第二传感器的从与所述第一视点不同的第二视点看到的所述用户的所述面部的至少一个局部图像获取所述第二组数据。

21.根据权利要求17至20中任一项所述的设备，其中所述置信值对应于纹理置信值，其中基于所述对应置信值来显示所述表示的所述部分包括确定所述纹理置信值超过阈值。

22.根据权利要求21所述的设备，其中生成所述用户的所述面部的所述表示包括：

23.根据权利要求22所述的设备，其中生成所述用户的所述面部的所述表示还包括基于所述第一组数据来增强所述模型。

24.根据权利要求17至23中任一项所述的设备，其中基于评估相应部分准确地对应于所述用户的所述面部的实时外观的置信度来显示所述表示的所述部分。

25.根据权利要求17至24中任一项所述的设备，其中基于所述对应置信值的置信水平来不同地显示所述表示的所述部分。

26.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储能够在设备上执行以执行操作的程序指令，所述操作包括：

技术总结
本文所公开的各种具体实施包括生成并显示用户的面部的表示的一部分的设备、系统和方法。例如，示例性过程可包括在多个配置中获取与用户的面部的特征相对应的第一组数据；在用户使用电子设备时，从一个或多个图像传感器获取与该面部的一个或多个局部视图相对应的第二组数据；基于该第一组数据和该第二组数据来生成该用户的该面部的表示，其中该表示的部分对应于不同置信值，以及基于所述对应置信值来显示该表示的该部分。

技术研发人员：B·安伯格,N·V·斯卡佩尔,J·D·里克沃德,D·D·达尔根,G·I·布彻,G·耶基斯,W·D·林德迈尔,J·S·麦卡腾
受保护的技术使用者：苹果公司
技术研发日：
技术公布日：2024/1/13