调整图像内容以改善用户体验的制作方法

本公开整体涉及用电子设备显示内容，尤其涉及用于调整内容以改善用户体验的系统、方法和设备。

背景技术：

1、电子设备通常用于向用户呈现虚拟对象，该虚拟对象补充或替换在由此类电子设备提供的视图中可感知的周围物理环境。在一些情况下，用户可能在此类体验期间经历晕动病。

技术实现思路

1、本文所公开的各种具体实施包括调整图像内容以减轻晕动病或以其他方式改善用户体验的设备、系统和方法。一些具体实施调整在本文中也被称为中央凹外区域(例如，外周区域和副中央凹区域)的中央凹注视区域(fgz)之外的内容，以减少在体验(例如，可包括真实世界物理环境、虚拟内容或每一者的组合的视觉内容和/或听觉内容)期间的晕动病。在一些具体实施中，与涂黑fgz之外的内容的现有技术不同，该技术调整(例如，降低)fgz之外的内容的对比度或空间频率。这可减轻晕动病，而不会以涂黑内容而降低用户体验的方式显著降低用户体验。

2、在一些具体实施中，该技术通过添加与用户的物理环境的三维(3d)空间相关联的内容来调整fgz之外的中央凹外区域。例如，所添加的元素可相对于用户所处(例如，房间)的惯性世界(例如，真实世界物理环境)固定。因此，用户可在扩展现实(xr)环境中相对于所添加的元素移动，并且用户感知的运动(相对于所添加的元素)与来自用户的前庭系统的信息(例如，前庭提示)相匹配。视觉提示与前庭提示的这种匹配可减轻晕动病或以其他方式改善用户体验。

3、在一些具体实施中，设备(例如，手持式设备、膝上型电脑、台式电脑或头戴式设备(hmd))向用户提供体验(例如，视觉体验和/或听觉体验)并用传感器获得与用户对体验的响应相关联的生理数据(例如，注视特性)和运动数据(例如，控制器移动化身、头部移动等)。基于所获得的生理数据，本文所述的技术可通过跟踪用户的注视特性及其他交互(例如，物理环境中的用户移动，或xr环境内的移动，诸如用控制器移动虚拟化身)来确定用户在体验(例如，xr体验)期间的前庭提示。基于前庭提示，该技术可调整内容(例如，降低对比度或空间频率)和/或添加附加内容(例如，噪声、结构化图案等)以减轻晕动病。

4、一般来讲，本说明书中描述的主体的一个创新方面可体现在包括以下动作的方法中：在具有处理器的电子设备处，确定显示器的第一区域和第二区域；生成三维(3d)环境的图像；识别对应于显示器的第二区域的图像中的每个图像的图像内容；以及降低对应于显示器的第二区域的图像中的每个图像的图像内容的对比度或空间频率中的至少一者。

5、这些实施方案和其他实施方案均可任选地包括以下特征中的一个或多个特征。

6、在一些方面中，确定显示器的第一区域和第二区域包括跟踪用户相对于显示器的注视，并且基于用户的注视来跟踪显示器的第一区域和第二区域。

7、在一些方面中，跟踪用户相对于显示器的注视包括跟踪用户的注视当前聚焦的像素。

8、在一些方面中，基于注视来跟踪显示器的第一区域和第二区域包括将用户的中央凹注视区域(fgz)识别为显示器的第一区域并且将用户的中央凹外区识别为显示器的第二区域。

9、在一些方面中，显示器作为针对用户的第一只眼睛的第一投影和针对用户的第二只眼睛的第二投影被呈现给用户。

10、在一些方面中，降低对应于显示器的第二区域的图像中的每个图像的图像内容的对比度或空间频率包括降低对比度。在一些方面中，降低对应于显示器的第二区域的图像中的每个图像的图像内容的对比度或空间频率包括降低空间频率。在一些方面中，降低对应于显示器的第二区域的图像中的每个图像的图像内容的对比度或空间频率是基于偏心度的函数。在一些方面中，降低对应于显示器的第二区域的图像中的每个图像的图像内容的对比度或空间频率是基于偏心度和速度的函数。在一些方面中，降低对应于显示器的第二区域的图像中的每个图像的图像内容的对比度或空间频率是基于光流的函数。

11、在一些方面，电子设备是头戴式设备(hmd)。

12、在一些方面中，3d环境是基于用户位置和/或用户取向，该用户位置和/或该用户取向基于设备的移动、附加输入、和/或动力学/运动学来控制。在一些方面中，3d环境是向用户呈现的扩展现实(xr)体验。在一些方面中，3d环境是向用户呈现的混合现实(mr)体验。在一些方面中，3d环境是向用户呈现的真实世界体验。

13、一般而言，本说明书中描述的主题的一个创新方面可体现在包括以下动作的方法中：在具有处理器的电子设备处跟踪用户相对于显示器的注视；基于注视来跟踪显示器的第一区域和第二区域；基于对第一区域和第二区域的跟踪来生成三维(3d)环境的图像；识别对应于显示器的第二区域的图像中的每个图像的图像内容；以及通过在物理环境中相对于用户的前庭提示锚定的3d位置处添加元素来调整对应于显示器的第二区域的图像中的每个图像的图像内容。

14、这些实施方案和其他实施方案均可任选地包括以下特征中的一个或多个特征。

15、在一些方面中，跟踪用户相对于显示器的注视包括跟踪用户的注视当前聚焦的像素。

16、在一些方面中，基于注视来跟踪显示器的第一区域和第二区域包括将用户的中央凹注视区识别为显示器的第一区域并且将用户的中央凹外注视区识别为显示器的第二区域。

17、在一些方面中，显示器作为针对用户的第一眼睛的第一投影和针对用户的第二眼睛的第二投影被呈现给用户。

18、在一些方面中，通过在3d位置处添加元素来调整对应于显示器的第二区域的图像中的每个图像的图像内容包括添加位于球体上的点，球体包括位于用户的头部处的原点。

19、在一些方面中，球体上的所添加的点被配置成基于用户的头部平移和/或旋转而从图像的帧到帧移动。

20、在一些方面中，球体上的所添加的点包括添加白噪声、柏林噪声或栅格线。

21、在一些方面中，通过在3d位置处添加元素来调整对应于显示器的第二区域的图像中的每个图像的图像内容包括添加位于用户的头部的两侧上的竖直平行平面上的点。在一些方面中，竖直平行平面上的所添加的点被配置成基于用户的头部平移和/或旋转和/或基于用户在设备处的附加输入而从图像的帧与帧移动。在一些方面中，竖直平行平面上的所添加的点包括添加结构化图案或非结构化图案。

22、在一些方面中，3d环境包括具有墙壁的房间，其中通过在3d位置处添加元素来调整对应于显示器的第二区域的图像中的每个图像的图像内容包括添加惯性地固定到用户周围的基于3d环境的房间的墙壁的区域的点。

23、在一些方面中，向用户周围的区域的所添加的点被配置成基于用户在3d环境内的移动而从图像的帧到帧移动。

24、在一些方面中，向用户周围的区域的所添加的点是基于3d环境的多个表面特征中的一个表面特征。

25、在一些方面中，通过在3d位置处添加元素来调整对应于显示器的第二区域的图像中的每个图像的图像内容包括：确定围绕用户的球体，球体包括位于用户的头部处的原点；以及在3d环境内生成包括多个对象的静止对象场，其中多个对象中的一部分在球体和静止对象场的相交处变得对用户可见。

26、在一些方面中，多个对象的部分被配置成根据其相对于球体的径向位置而淡入和淡出。

27、在一些方面中，用户周围的可见对象被配置成基于用户在3d环境内的提示而从图像的帧到帧移动。

28、在一些方面中，在3d位置处的所添加的元素是基于用户的惯性运动。

29、在一些方面，电子设备是头戴式设备(hmd)。

30、在一些方面中，3d环境是基于用户位置和/或用户取向，该用户位置和/或该用户取向基于设备的移动、附加输入、和/或动力学/运动学来控制。

31、在一些方面中，3d环境是向用户呈现的扩展现实(xr)体验。在一些方面中，3d环境是向用户呈现的混合现实(mr)体验。在一些方面中，3d环境是向用户呈现的真实世界体验。

32、根据一些具体实施中，非暂态计算机可读存储介质中存储有指令，所述指令是计算机可执行的以执行或使得执行本文所述的任何方法。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。