呈现计算机生成现实环境的可穿戴电子设备的制作方法

呈现计算机生成现实环境的可穿戴电子设备
1.相关申请的交叉引用
2.本技术要求于2020年7月29日提交的名称为“controlling displays in a computer
‑
generated reality environment”的美国临时专利申请序列号63/058,238以及于2019年9月26日提交的名称为“dynamically controlling the size of displays in a computer
‑
generated reality environment”的美国临时专利申请序列号62/906,465的优先权。前述申请的内容据此全文以引用方式并入本文。
技术领域
3.本公开整体涉及计算机生成现实环境，并且更具体地涉及在计算机生成现实环境中动态地控制显示器。


背景技术：

4.计算机生成现实环境是其中显示供用户查看的至少一些对象由计算机生成的环境。在一些用途中，用户可与计算机生成现实环境内的物理显示器的表示进行交互。然而，缺乏用于在计算机生成现实环境内动态地控制显示器的大小的稳健功能。此外，缺乏用于在计算机生成现实环境内控制对表示的显示的功能。
5.此外，在当前系统中，缺乏用于在计算机生成现实环境内基于注视来控制对用户界面元素的显示的功能。另外，现有系统缺乏用于在计算机生成现实环境内基于物理设备的铰接角来控制对虚拟显示窗口的显示的功能。


技术实现要素：

6.根据一些实施方案，一种方法包括：经由可穿戴电子设备的显示器在计算机生成现实(cgr)环境内呈现物理显示器的表示，其中该物理显示器的表示包括第一显示区；经由可穿戴电子设备的显示器在物理显示器的表示的第一显示区内的第一地点处显示视觉对象；接收将视觉对象移动到cgr环境内的第二地点的请求；以及响应于接收到该请求，而在第二地点满足标准时经由可穿戴电子设备的显示器显示物理显示器的表示的扩展显示区，其中该扩展显示区包括第一显示区的至少一部分和第二显示区，其中该第二显示区的大小被设定成适应至少第二地点处的视觉对象。
7.根据一些实施方案，一种可穿戴电子设备包括显示器、一个或多个处理器和存储器，该存储器存储被配置为由一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：经由显示器在cgr环境内呈现物理显示器的表示，其中该物理显示器的表示包括第一显示区；经由显示器在物理显示器的表示的第一显示区内的第一地点处显示视觉对象；接收将视觉对象移动到cgr环境内的第二地点的请求；以及响应于接收到该请求，而在第二地点满足标准时经由显示器显示物理显示器的表示的扩展显示区，其中该扩展显示区包括第一显示区的至少一部分和第二显示区，其中该第二显示区的大小被设定成适应至少第二地点处的视觉对象。
8.根据一些实施方案，一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储被配置为由包括显示器的可穿戴电子设备的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：经由显示器在cgr环境内呈现物理显示器的表示，其中该物理显示器的表示包括第一显示区；经由显示器在物理显示器的表示的第一显示区内的第一地点处显示视觉对象；接收将视觉对象移动到cgr环境内的第二地点的请求；以及响应于接收到该请求，而在第二地点满足标准时经由显示器显示物理显示器的表示的扩展显示区，其中该扩展显示区包括第一显示区的至少一部分和第二显示区，其中该第二显示区的大小被设定成适应至少第二地点处的视觉对象。
9.根据一些实施方案，一种暂态计算机可读存储介质，该暂态计算机可读存储介质存储被配置为由包括显示器的可穿戴电子设备的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：经由显示器在cgr环境内呈现物理显示器的表示，其中该物理显示器的表示包括第一显示区；经由显示器在物理显示器的表示的第一显示区内的第一地点处显示视觉对象；接收将视觉对象移动到cgr环境内的第二地点的请求；以及响应于接收到该请求，而在第二地点满足标准时经由显示器显示物理显示器的表示的扩展显示区，其中该扩展显示区包括第一显示区的至少一部分和第二显示区，其中该第二显示区的大小被设定成适应至少第二地点处的视觉对象。
10.根据一些实施方案，一种可穿戴电子设备包括：显示器；和用于经由该显示器在cgr环境内呈现物理显示器的表示的装置，其中物理显示器的表示包括第一显示区；用于经由该显示器在物理显示器的表示的第一显示区内的第一地点处显示视觉对象的装置；用于接收将视觉对象移动到cgr环境内的第二地点的请求的装置；和用于响应于接收到该请求，而在第二地点满足标准时经由该显示器显示物理显示器的表示的扩展显示区的装置，其中该扩展显示区包括第一显示区的至少一部分和第二显示区，其中该第二显示区的大小被设定成适应至少第二地点处的视觉对象。
11.根据一些实施方案，一种方法包括：经由可穿戴电子设备的显示器在cgr环境内显示表示物理显示器的虚拟显示区；在第一区域中显示用于显示系统元素的区的第一表示；以及当用于显示系统元素的区的第一表示未被选择时：检测虚拟显示区的第二区域中的事件，其中第二区域在第一区域之外；以及当确定该事件满足移动标准时，在第二区域中显示用于显示系统元素的区的第二表示。
12.根据一些实施方案，一种可穿戴电子设备包括显示器、一个或多个处理器和存储器，该存储器存储被配置为由一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：经由可穿戴电子设备的显示器在cgr环境内显示表示物理显示器的虚拟显示区；在第一区域中显示用于显示系统元素的区的第一表示；以及当用于显示系统元素的区的第一表示未被选择时：检测虚拟显示区的第二区域中的事件，其中第二区域在第一区域之外；以及当确定该事件满足移动标准时，在第二区域中显示用于显示系统元素的区的第二表示。
13.根据一些实施方案，一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储被配置为由包括显示器的可穿戴电子设备的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：经由可穿戴电子设备的显示器在cgr环境内显示表示物理显示器的虚拟显示区；在第一区域中显示用于显示系统元素的区的第
一表示；以及当用于显示系统元素的区的第一表示未被选择时：检测虚拟显示区的第二区域中的事件，其中第二区域在第一区域之外；以及当确定该事件满足移动标准时，在第二区域中显示用于显示系统元素的区的第二表示。
14.根据一些实施方案，一种暂态计算机可读存储介质，该暂态计算机可读存储介质存储被配置为由包括显示器的可穿戴电子设备的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：经由可穿戴电子设备的显示器在cgr环境内显示表示物理显示器的虚拟显示区；在第一区域中显示用于显示系统元素的区的第一表示；以及当用于显示系统元素的区的第一表示未被选择时：检测虚拟显示区的第二区域中的事件，其中第二区域在第一区域之外；以及当确定该事件满足移动标准时，在第二区域中显示用于显示系统元素的区的第二表示。
15.根据一些实施方案，一种可穿戴电子设备包括：显示器和用于经由该显示器在cgr环境内显示表示物理显示器的虚拟显示区的装置；用于经由可穿戴电子设备的显示器在cgr环境内显示表示物理显示器的虚拟显示区的装置；用于在第一区域中显示用于显示系统元素的区的第一表示的装置；和当用于显示系统元素的区的第一表示未被选择时，用于以下操作的装置：检测虚拟显示区的第二区域中的事件，其中第二区域在第一区域之外；以及当确定该事件满足移动标准时，在第二区域中显示用于显示系统元素的区的第二表示。
16.根据一些实施方案，一种方法包括：在被配置为促进呈现cgr环境的可穿戴电子设备处：获取表示物理对象的铰接角的数据；以及响应于获取表示物理对象的铰接角的数据：而在确定铰接角超过阈值铰接角时经由可穿戴电子设备的显示器显示相对于物理设备的虚拟显示窗口。
17.根据一些实施方案，一种可穿戴电子设备包括：显示器、一个或多个处理器和存储器，该存储器存储被配置为由一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：获取表示物理对象的铰接角的数据；以及响应于获取表示物理对象的铰接角的数据：而在确定铰接角超过阈值铰接角时经由显示器显示相对于物理设备的虚拟显示窗口。
18.根据一些实施方案，一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储被配置为由包括显示器的可穿戴电子设备的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：获取表示物理对象的铰接角的数据；以及响应于获取表示物理对象的铰接角的数据：而在确定铰接角超过阈值铰接角时经由显示器显示相对于物理设备的虚拟显示窗口。
19.根据一些实施方案，一种暂态计算机可读存储介质，该暂态计算机可读存储介质存储被配置为由包括显示器的可穿戴电子设备的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：获取表示物理对象的铰接角的数据；以及响应于获取表示物理对象的铰接角的数据：而在确定铰接角超过阈值铰接角时经由显示器显示相对于物理设备的虚拟显示窗口。
20.根据一些实施方案，一种可穿戴电子设备包括显示器和用于以下操作的装置：获取表示物理对象的铰接角的数据；以及响应于获取表示物理对象的铰接角的数据：而在确定铰接角超过阈值铰接角时经由显示器显示相对于物理设备的虚拟显示窗口。
21.根据一些实施方案，一种方法包括：经由可穿戴电子设备的显示器在cgr环境内的
第一位置处显示用户界面(ui)元素；检测cgr环境内用户的当前注视；基于用户的当前注视来确定cgr环境内的第二位置，其中第二位置不同于第一位置；接收移动ui元素的请求；响应于确定该请求满足移动标准，而在cgr环境内的第三位置处显示ui元素，其中第三位置不同于第一位置和第二位置；以及响应于在第三位置处显示ui元素，而根据该请求将ui元素移动到第二位置。
22.根据一些实施方案，一种可穿戴电子设备包括显示器、一个或多个处理器和存储器，该存储器存储被配置为由一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：经由显示器在cgr环境内的第一位置处显示ui元素；检测cgr环境内用户的当前注视；基于用户的当前注视来确定cgr环境内的第二位置，其中第二位置不同于第一位置；接收移动ui元素的请求；响应于确定该请求满足移动标准，而在cgr环境内的第三位置处显示ui元素，其中第三位置不同于第一位置和第二位置；以及响应于在第三位置处显示ui元素，而根据该请求将ui元素移动到第二位置。
23.根据一些实施方案，一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储被配置为由包括显示器的可穿戴电子设备的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：经由显示器在cgr环境内的第一位置处显示ui元素；检测cgr环境内用户的当前注视；基于用户的当前注视来确定cgr环境内的第二位置，其中第二位置不同于第一位置；接收移动ui元素的请求；响应于确定该请求满足移动标准，而在cgr环境内的第三位置处显示ui元素，其中第三位置不同于第一位置和第二位置；以及响应于在第三位置处显示ui元素，而根据该请求将ui元素移动到第二位置。
24.根据一些实施方案，一种暂态计算机可读存储介质，该暂态计算机可读存储介质存储被配置为由包括显示器的可穿戴电子设备的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下操作的指令：经由显示器在cgr环境内的第一位置处显示ui元素；检测cgr环境内用户的当前注视；基于用户的当前注视来确定cgr环境内的第二位置，其中第二位置不同于第一位置；接收移动ui元素的请求；响应于确定该请求满足移动标准，而在cgr环境内的第三位置处显示ui元素，其中第三位置不同于第一位置和第二位置；以及响应于在第三位置处显示ui元素，而根据该请求将ui元素移动到第二位置。
25.根据一些实施方案，一种可穿戴电子设备包括显示器和用于以下操作的装置：经由该显示器在cgr环境内的第一位置处显示ui元素；检测cgr环境内用户的当前注视；基于用户的当前注视来确定cgr环境内的第二位置，其中第二位置不同于第一位置；接收移动ui元素的请求；响应于确定该请求满足移动标准，而在cgr环境内的第三位置处显示ui元素，其中第三位置不同于第一位置和第二位置；以及响应于在第三位置处显示ui元素，而根据该请求将ui元素移动到第二位置。
26.用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的暂态计算机可读存储介质或其他计算机程序产品中。
附图说明
27.在以下描述中，参考形成本公开的一部分并且示出本公开的多个示例的附图。应
当理解，也可利用其他示例，并且在不脱离本公开的范围的情况下可进行结构改变和操作改变。在不同的附图中使用相同的附图标记表示相似或相同的项目。
28.图1a至图1b描绘了用于在各种cgr技术中使用的示例性系统。
29.图2a至图2f描绘了根据本公开的各方面的用于在cgr环境中动态地控制显示器的大小的示例性技术。
30.图3描绘了根据本公开的各方面的cgr环境中显示器的移位操作的示例。
31.图4a和图4b示出了根据本公开的各方面的大小调整操作的示例。
32.图5是示出了为了实现本公开的各方面而执行的方法的流程图。
33.图6a和图6b描绘了根据本公开的各方面的用于在cgr环境内控制对显示器中的系统栏的表示的显示的示例性技术。
34.图7a和图7b描绘了根据本公开的各方面的用于在cgr环境内控制对显示器中的系统栏的表示的显示的技术的另一示例。
35.图8a和图8b描绘了根据本公开的各方面的用于在cgr环境内控制对显示器中的系统栏的表示的显示的技术的又一示例。
36.图9是示出了为了实现本公开的各方面而执行的方法的流程图。
37.图10a至图10j描绘了根据本公开的各方面的用于在cgr环境内基于物理设备的铰接角来控制对虚拟显示窗口的显示的示例性技术。
38.图11是示出了为了实现本公开的各方面而执行的方法的流程图。
39.图12a至图12e描绘了根据本公开的各方面的用于在cgr环境内基于注视来控制对ui元素的显示的示例性技术。
40.图13是示出了为了实现本公开的各方面而执行的方法的流程图。
具体实施方式
41.描述了与各种cgr技术相关的电子系统和使用此类系统的技术的各种示例。
42.物理环境(或真实环境)是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品(或物理对象或真实对象)，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
43.相比之下，cgr环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在cgr中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在cgr环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，cgr系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对cgr环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。
44.人可以利用其感觉中的任一者来感测cgr对象和/或与cgr对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，音频对象创建3d或空间音频环境，3d或空间音频环境提供3d空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些cgr环境中，人可以感测和/或只与音频对象交互。
45.cgr的示例包括虚拟现实和混合现实。
46.虚拟现实(vr)环境(虚拟环境)是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。vr环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与vr环境中的虚拟对象交互。
47.与被设计成完全基于计算机生成的感官输入的vr环境相比，混合现实(mr)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，mr环境是完全物理环境作为一端以及vr环境作为另一端之间的任何状况，但不包括这两端。
48.在一些mr环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现mr环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。
49.mr的示例包括增强现实和增强虚拟。
50.增强现实(ar)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现ar环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，该成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现ar环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。
51.ar环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
52.增强虚拟(av)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，av公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的定位的阴影。
53.有许多不同类型的电子系统使人能够感测和/或与各种cgr环境交互。示例包括头
戴式系统、基于投影的系统、平视显示器(hud)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、oled、led、uled、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个示例中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。
54.图1a和图1b描绘了用于在各种cgr技术中使用的示例性系统100。
55.在一些示例中，如图1a所示，系统100包括设备100a。设备100a包括各种部件，诸如处理器102、rf电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件任选地通过设备100a的通信总线150进行通信。
56.在一些示例中，系统100的元件在基站设备(例如，计算设备，诸如远程服务器、移动设备或膝上型计算机)中实现，并且系统100的其他元件在设计成由用户佩戴的头戴式显示器(hmd)设备中实现，其中hmd设备与基站设备通信。在一些示例中，设备100a在基站设备或hmd设备中实现。
57.如图1b所示，在一些示例中，系统100包括两个(或更多个)通信中的设备，诸如通过有线连接或无线连接。第一设备100b(例如，基站设备)包括处理器102、rf电路104和个存储器106。这些部件可选地通过设备100b的通信总线150进行通信。第二设备100c(例如，hmd)包括各种部件，诸如处理器102、rf电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件可选地通过设备100c的通信总线150进行通信。
58.在一些示例中，系统100为移动设备。在一些示例中，系统100为hdm设备。在一些示例中，设备100为可穿戴hud设备。
59.系统100包括处理器102和存储器106。处理器102包括一个或多个通用处理器、一个或多个图形处理器、和/或一个或多个数字信号处理器。在一些示例中，存储器106是存储计算机可读指令的一个或多个非暂态计算机可读存储介质(例如，闪存存储器，随机存取存储器)，所述计算机可读指令被配置为由处理器102执行以执行下述技术。
60.系统100包括rf电路104。rf电路104可选地包括用于与电子设备、网络(诸如互联网、内联网)和/或无线网络(诸如蜂窝网络和无线局域网(lan))通信的电路。rf电路104可选地包括用于使用近场通信和/或短程通信(诸如)进行通信的电路。
61.系统100包括显示器120。在一些示例中，显示器120包括第一显示器(例如，左眼显示器面板)和第二显示器(例如，右眼显示器面板)，每个显示器用于向用户的相应眼睛显示
图像。对应的图像同时显示在第一显示器和第二显示器上。可选地，对应的图像包括来自不同视点的相同虚拟对象和/或相同物理对象的表示，从而产生视差效应，该视差效应向用户提供显示器上对象的立体感效应。在一些示例中，显示器120包括单个显示器。对于用户的每只眼睛，对应的图像同时显示在单个显示器的第一区域和第二区域上。可选地，对应的图像包括来自不同视点的相同虚拟对象和/或相同物理对象的表示，从而产生视差效应，该视差效应向用户提供单个显示器上对象的立体感效应。
62.在一些示例中，系统100包括用于接收用户输入的触敏表面122，诸如轻击输入和轻扫输入。在一些示例中，显示器120和触敏表面122形成触敏显示器。
63.系统100包括图像传感器108。图像传感器108可选地包括一个或多个可见光图像传感器(诸如电荷耦合设备(ccd)传感器)和/或可操作以从真实环境获得物理对象的图像的互补金属氧化物半导体(cmos)传感器。图像传感器还可选地包括一个或多个红外(ir)传感器，诸如无源ir传感器或有源ir传感器，用于检测来自真实环境的红外光。例如，有源ir传感器包括ir发射器，诸如ir点发射器，用于将红外光发射到真实环境中。图像传感器108还可选地包括一个或多个事件相机，这些事件相机被配置为捕获真实环境中的物理对象的移动。图像传感器108还可选地包括一个或多个深度传感器，这些深度传感器被配置为检测物理对象与系统100的距离。在一些示例中，系统100组合使用ccd传感器、事件相机和深度传感器来检测系统100周围的物理环境。在一些示例中，图像传感器108包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器可选地被配置为从两个不同的视角捕获真实环境中的物理对象的图像。在一些示例中，系统100使用图像传感器108来接收用户输入，诸如手势。在一些示例中，系统100使用图像传感器108来检测系统100和/或显示器120在真实环境中的位置和取向。例如，系统100使用图像传感器108来跟踪显示器120相对于真实环境中的一个或多个固定对象的位置和取向。
64.在一些示例中，系统100包括麦克风112。系统100使用麦克风112来检测来自用户和/或用户的真实环境的声音。在一些示例中，麦克风112包括麦克风阵列(包括多个麦克风)，其任选地串联操作，以便识别环境噪声或在真实环境的空间中定位声源。
65.系统100包括用于检测系统100和/或显示器120的取向和/或移动的取向传感器110。例如，系统100使用取向传感器110来跟踪系统100和/或显示器120的位置和/或取向的变化，诸如关于真实环境中的物理对象。取向传感器110可选地包括一个或多个陀螺仪和/或一个或多个加速度计。
66.本公开的各个方面涉及以下系统和技术，该系统和技术提供用于在cgr环境内控制显示器(例如，虚拟显示器)的功能。
67.具体地讲，本公开的各方面涉及以下系统和技术，该系统和技术提供用于在cgr环境中动态地控制显示器的大小的功能。在一些方面，控制显示器的大小可包括控制对显示器的大小调整。本文所描述的系统和技术允许例如响应于视觉对象的移动满足大小调整标准而在cgr环境中扩展和/或缩小显示器的表示。在整个本公开中，大小调整可用于统称cgr内显示器的表示的扩展和/或缩小。如下文所述的实施方案所示，可虚拟地执行显示器的表示的扩展，其中显示器的扩展表示可包括作为计算机生成显示区的至少一个区或部分。同样如下文所述的实施方案所示，可虚拟地执行显示器的表示的缩小，其中缩小显示器的表示可包括停止显示计算机生成显示区的至少一个区或部分(例如，扩展显示区的一部分)
和/或将显示器的表示的一部分进行模糊处理(例如，将cgr环境内的物理显示器的一部分进行模糊处理)。
68.图2a至图2f示出了根据本公开的各方面的用于在cgr环境中动态地控制显示器的大小的示例性技术。具体地讲，图2a示出了用户202和电子设备200。在一些实施方案中，电子设备200可以是可穿戴电子设备(例如，hmd)。本文描述了可穿戴电子设备的示例，诸如相对于上文参考图1a至图1b所述的电子设备100a。
69.需注意，虽然接下来的讨论集中于可穿戴电子设备，诸如hmd，但是这是以举例的方式进行的并且不应理解为以任何方式进行限制。实际上，本文所公开的技术可适用于被配置为呈现如上所述的cgr环境(例如，hmd、hud、具有集成显示能力的车辆挡风玻璃、具有集成显示能力的窗户等)的电子设备的任何具体实施和形状因数。
70.在实施方案中，电子设备200可被配置为向用户202呈现cgr环境。呈现给用户202的cgr环境可包括呈现显示器204。在各方面，显示器204可以是物理显示器(例如，物理计算机的监视器或屏幕)的表示。例如，显示器204可以是物理显示器的计算机生成模拟。在一些实施方案中，物理显示器的计算机生成模拟可被配置为被用户202感知为物理显示器，但显示器202可以是物理显示器的计算机生成模拟，和/或可被配置为表现为物理显示器。在一些实施方案中，物理显示器的计算机生成模拟可以是没有对应的物理对应物和/或表示的计算机生成显示区。在这些情况下，物理显示器的计算机生成模拟可以是可能不会模拟物理显示器的显示区。在这些实施方案中，物理显示器的计算机生成模拟可不被配置为被用户202感知为物理显示器，而是可被配置为被感知为虚拟显示区，和/或可不被配置为表现为物理显示器。
71.在一些实施方案中，显示器204可表示经由电子设备200呈现给用户202的物理显示器。例如，显示器204可包括实际物理显示器，并且可能不是显示器的计算机生成模拟。在这种情况下，显示器204可被呈现给用户202，使得用户202可查看物理显示器，而不是查看物理显示器的计算机生成模拟。在一些实施方案中，向用户202呈现物理显示器可经由电子设备200的透明或半透明显示器来执行，或者可经由如上所述的透传视频来执行，使得用户202可感知到实际物理显示器。在又其他实施方案中，向用户202呈现物理显示器可通过将物理显示器的逼真图像和/或视频叠加在模拟环境上来执行。
72.在其他实施方案中，显示器204可包括如上所述的物理显示器的计算机生成模拟(例如，物理显示器的计算机生成模拟或纯虚拟显示器)。物理显示器的计算机生成模拟可经由电子设备200被呈现给用户202。在一些实施方案中，向用户202呈现物理显示器的计算机生成模拟可包括在电子设备200的显示器上显示物理显示器的计算机生成模拟。在一些具体实施中，物理显示器的计算机生成模拟可被叠加在物理环境或其表示上(例如，如在mr具体实施中)，使得用户202可感知叠加在物理环境之上的物理显示器的计算机生成模拟。在其他具体实施中，物理显示器的计算机生成模拟可以是作为完全cgr环境的一部分的虚拟对象(例如，如在vr应用程序中)。
73.需注意，显示器204(无论是物理显示器的表示还是计算机生成模拟)均可被呈现为3d对象。因此，用户202可将显示器204感知为物理显示器的3d表示。在一些实施方案中，在显示器204是物理显示器的计算机生成模拟的情况下，显示器204可在模糊背景和/或半透明背景的情况下被呈现给用户，使得显示器204后面的对象对于用户202可以是可见的或
至少一定程度上可见的。在显示器204是物理显示器的情况下，显示器204可在没有模糊或半透明背景的情况下被呈现给用户202，使得显示器204后面的对象对于用户202可能不是可见的。
74.在实施方案中，显示器204可被表示为具有特定大小。例如，在显示器204是实际物理显示器的情况下，显示器204的大小可通过显示器的实际大小来确定。在显示器204是计算机生成模拟的具体实施中，模拟显示器的大小可以是预定的并且可被用户202感知到。需注意，在计算机生成模拟中，显示器204的大小可以是用户在cgr环境中感知到的大小。在这些情况下，用户202可感知到显示器204是如通过电子设备200的操作和功能所确定的特定大小。
75.在一些实施方案中，显示器204可包括显示区206。显示区206可被配置为用作显示器204的显示区，使得待由显示器204显示的视觉对象(例如，视觉对象210)可被呈现在显示区206上。在实施方案中，显示区206可具有特定大小，其可包括显示器204的一部分或全部。在一些实施方案中，显示区206可包括整个显示器204，使得显示区206涵盖从显示器204的边缘到边缘的区。在其他实施方案中，显示器204可包括围绕显示器204的特定宽度的边框208。在这种情况下，显示区206可涵盖显示器204的不包括边框208的区。
76.视觉对象210可以是被配置为在显示器204上显示的视觉对象。在一些方面，视觉对象210可以是2d对象，并且可以是可被配置为在显示器上显示的任何视觉对象。例如，视觉对象210可以是图标、2d窗口、图像等。
77.在一些实施方案中，诸如在显示器204可以是物理显示器的具体实施中，视觉对象210可以是在物理显示器上显示的对象。例如，视觉对象210可被显示为显示器204的图形对象。在这些情况下，视觉对象210可经由电子设备200的透明或半透明显示器或经由透传视频被呈现给用户202，使得用户202可感知在显示器204上显示的图形对象。
78.在其他实施方案中，视觉对象210可以是在电子设备200的显示器上显示的视觉对象。在一些具体实施中，在电子设备200上显示的视觉对象可被叠加在显示器204的表示上。在显示器204是物理显示器的情况下，用户202可将视觉对象感知为显示在显示器204上，但视觉对象204可不被显示在显示器204上，而是显示在电子设备200的显示器上。在显示器204是物理显示器的计算机生成模拟的情况下，用户202可将视觉对象感知为显示在显示器204上，其中视觉对象204和显示器204均可被显示在电子设备200的显示器上。
79.显示器204还可被配置为包括接近度阈值212。在实施方案中，接近度阈值212在显示器204上可以是可见的或可以是不可见的。接近度阈值212可被预先确定为与显示区206的边缘或与显示器204的边缘相距特定距离214。由于传统显示器可具有四个边缘，因此在一些实施方案中，可针对每个边缘或针对四个边缘的任何子集配置接近度阈值。例如，可针对显示器204的右边缘和左边缘配置接近度阈值，但针对显示器204的顶部边缘和底部边缘没有配置接近度阈值。如将在下面更详细的描述的，接近度阈值212可用于确定是否可根据本公开的各方面对显示器204进行大小调整。需注意，在一些具体实施中，显示器204不包括用于任何边缘的接近度阈值。
80.图2b示出了在方向216上从显示区206的第一地点220到第二地点222移动的视觉对象210的示例。在各方面，视觉对象210从第一地点220到第二地点222的移动可以是响应于移动视觉对象210的请求。移动视觉对象210的该请求可被包括在用户输入中。例如，用户
(例如，用户202或另一个用户)可将视觉对象210从第一地点220拖动或以其他方式移动到第二地点222。视觉对象210的拖动或移动可使用输入传感器来执行，如上所述，该输入传感器被配置为检测与cgr环境的视觉对象交互的用户输入。在一些实施方案中，输入传感器可包括鼠标、触笔、触敏表面、图像传感器等。
81.如图2b所示，视觉对象210在方向216上从第一地点220到第二地点222的移动操作可能不满足用于对显示器204进行大小调整的标准。在实施方案中，用于对显示器204进行大小调整的标准可包括以下各项中的任何一者或多者：第二地点处于显示器的边缘的接近度阈值内；第二地点至少部分地处于显示器的显示区之外；和/或移动操作处于特定方向上。当视觉对象210的移动操作满足以上标准中的任一者时，可根据本公开的各方面对显示器204进行大小调整。然而，当视觉对象210的移动操作不满足以上标准中的任一者时，可放弃对显示器204进行大小调整。
82.如本文所用，第二地点处于显示器的边缘的接近度阈值内可包括以下情况，在该情况下移动到第二地点的视觉对象在处于第二地点中时至少部分地进入该接近度阈值。类似地，第二地点至少部分地处于显示器的显示区之外可包括以下情况，在该情况下移动到第二地点的视觉对象在处于第二地点中时至少部分地进入显示器的显示区之外的区。
83.例如，如图2b所示，第二地点222可处于显示区206内。然而，在这种情况下，第二地点222可不处于显示器204的边缘的预定接近度(例如，接近度阈值212)内，或者至少部分地在显示区206之外。因此，在图2b所示的示例中，显示器204可不进行大小调整。在一些实施方案中，直到被移动的整个视觉对象进入接近度阈值或显示区之外的区，才满足对显示器进行大小调整的标准。
84.图2c示出了视觉对象210在方向216上从第一地点220到第二地点224的移动操作的另一示例。如图2c所示，可接收将视觉对象210从第一地点220移动到第二地点224的请求。第二地点224是其中视觉对象210的至少一部分处于显示器204的边缘230的接近度阈值212内的地点。在这种情况下，第二地点224是其中视觉对象210的至少一部分处于显示器204的边缘230的接近度阈值212内的地点满足对显示器204进行大小调整的标准。响应于第二地点满足对显示器进行大小调整的标准，可对显示器204进行大小调整。
85.图2d示出了视觉对象210在方向216上从第一地点220到第二地点226的移动操作的又另一示例。如图2d所示，可接收将视觉对象210从第一地点220移动到第二地点226的请求。第二地点226是其中视觉对象210的至少一部分处于显示器204的显示区之外的地点。在这种情况下，第二地点226是其中视觉对象210的至少一部分处于显示器204的显示区之外的地点满足对显示器204进行大小调整的标准。响应于第二地点满足对显示器进行大小调整的标准，可对显示器204进行大小调整。
86.在实施方案中，对显示器204进行大小调整可包括通过显示显示区206和附加显示区260来扩展显示器204的显示区。附加显示区260可以是计算机生成的显示区，该显示区可被附加或以其他方式添加到显示器204，使得用户202可感知到扩展显示器204更大。在一些实施方案中，附加显示区260可被添加到显示器204，使得扩展显示器204可被用户202感知为单个内聚且集成的显示器。换句话讲，在这些实施方案中，用户202可能不会感知到附加显示区260已被附加到显示器204。在显示器204是计算机生成模拟的具体实施中，将显示器204扩展可包括以更大大小显示显示器204，包括附加显示区260。
87.在实施方案中，将显示器204扩展可包括将显示器在移动操作的方向216上从当前显示器204的边缘230(例如，物理显示器的边缘或物理显示器的计算机模拟表示的边缘)到扩展显示器204的边缘(例如，图2c中的边缘240或图2d中的边缘242)扩展一定量250。在这些实施方案中，边缘230可被确定为扩展边缘，因为移动视觉对象210的请求包括将视觉对象210朝向边缘230移动的请求。
88.扩展的大小(例如，附加显示区260的大小和/或量250的大小)可由视觉对象210的大小确定，并且其大小可被设定成适应在扩展区中显示视觉对象210。在其他实施方案中，扩展的大小可由第二地点(例如，图2c中的第二地点240或图2d中的边缘242)已朝向边缘移动超过接近度阈值212的量和/或视觉对象210已朝向边缘移动超过接近度阈值212的量来确定。例如，在第二地点224和/或视觉对象210已移动超过边缘230距离x的情况下，显示器204可扩展量x。在又其他实施方案中，扩展的大小可基于人体工程学设计来确定，诸如以减小颈部拉伤。
89.在一些实施方案中，例如在显示器204是物理显示器并且视觉对象210是显示器204上显示的视觉对象的情况下，当视觉对象210进入显示器204的扩展显示区时，视觉对象204可转变为在电子设备200的显示器上显示的视觉对象。在这种意义上，即使在视觉对象210可能被移动到物理显示器之外之后，用户202也能够感知视觉对象210。当视觉对象210移动到扩展区中时，该转变也可允许其无缝呈现。
90.需注意，虽然本讨论集中于显示器从显示器的左边缘向左的扩展，但是本文的技术在响应于将视觉对象朝向显示器的右边缘移动而可从右边缘向右进行扩展的情况下同样适用。此外，这同样适用于顶部边缘和/或底部边缘的扩展。另外，在一些实施方案中，需注意，显示器的扩展可限制于左和右，并且将对象移动到顶部边缘或底部边缘的接近度内和/或靠近顶部边缘或底部边缘的区之外可能不会导致显示器的扩展。
91.在实施方案中，视觉对象210一越过接近度阈值212(例如，如图2c所示)或边缘230(例如，如图2d所示)，就可执行显示器204的扩展，并且显示器204可在视觉对象210更多地越过接近度阈值212或边缘230时继续扩展。在其他实施方案中，直到视觉对象210的至少预定部分已越过接近度阈值212(例如，如图2c所示)或边缘230(例如，如图2d所示)，或者直到整个视觉对象212已越过接近度阈值212或边缘230，才可扩展显示器204。
92.在一些实施方案中，将显示器204扩展可包括以动画方式显示扩展操作。例如，参考图2d，当显示器204从当前边缘230扩展到扩展边缘242时，可通过例如将显示器204的边缘显示为从当前边缘230移动或移位到扩展边缘242来以动画方式显示该扩展。动画显示的速度可基于视觉对象210被移动的速度，或者可基于预定值和/或固定值。在一些实施方案中，如将在下面更详细的描述的，当显示器204被扩展时，扩展显示器可以是弯曲的。
93.在实施方案中，显示器204的大小调整操作(例如，扩展和/或缩小)可包括重新布置显示器204的结构元件。例如，显示器204的表示可包括展示架270。展示架270可以是向显示器204的表示提供更多真实感的视觉元素。在实施方案中，对显示器204进行大小调整还可包括将展示架270移位到相对于扩展显示器的适当地点，使得可维持显示器的比例。例如，展示架270可从未扩展显示器204中的地点272移位到扩展显示器204中的地点274。因此，在显示器204的扩展操作之后，该架大致保留在显示器204的中间部分中的地点，从而维持显示器的比例。在实施方案中，展示架270的移位可以动画方式进行显示，并且可示出在
显示器204被扩展时从地点272滑动到地点274的架。
94.在一些实施方案中，显示器204的扩展可限制于特定大小。例如，可使用阈值大小，在扩展显示器204的大小达到该阈值大小时，可放弃显示器204的扩展。例如，基于视觉对象210的移动操作满足大小调整标准(例如，将显示器扩展的标准)，显示器204可被确定为扩展到如上所述特定大小。例如，为了在扩展显示器中适应视觉对象210，可确定通过添加附加显示区260来将显示器204扩展量250，从而得到显示器204的扩展显示区的目标扩展大小。在不存在阈值大小的情况下，显示器204可如所确定的那样进行扩展。然而，在存在阈值大小的情况下，可将阈值大小与目标扩展大小进行比较，并且在显示器204的目标扩展大小超过阈值大小的情况下，可放弃显示器204的扩展。在一些实施方案中，显示器204仍可被扩展，但扩展可限制于阈值大小。
95.图2e示出了显示器的动态大小调整操作的另一示例。在图2e所示的示例中，可接收将视觉对象210从第一地点220移动到第二地点228的请求。在该示例中，第二地点228可以是其中视觉对象210的至少一部分可同时满足相对于多于一个边缘的大小调整标准的地点。例如，第二地点228可以是其中视觉对象210的至少一部分处于靠近显示器204的左边缘和顶部边缘两者的显示区之外的地点。在这种情况下，显示器204可根据以上描述从左边缘230和顶部边缘232两者进行扩展。左边缘230的扩展可到达边缘244并且可包括以动画方式显示该扩展。类似地，顶部边缘232的扩展可达到边缘246并且可包括以动画方式显示该扩展。在各方面，左边缘230和顶部边缘232两者的扩展可同时或几乎同时进行，并且用户202可将这两个边缘的扩展感知为对角扩展。
96.在未示出的一些实施方案中，用户202可首先将视觉对象210从第一地点220移动到满足相对于单个显示边缘的大小调整标准的第二地点(例如，处于靠近显示器204的左边缘的显示区之外的第二地点)，并且然后将视觉对象210从第二地点移动到满足相对于另一显示边缘的大小调整标准的第三地点(例如，处于靠近显示器204的顶部边缘的显示区之外的第三地点)。在这种情况下，显示器204可首先响应于视觉对象210到第二地点的移动而从左边缘进行扩展，并且随后响应于视觉对象210到第三地点的移动而从顶部边缘进行扩展。另选地，显示器204可能不会在视觉对象分别移动到第二地点和第三地点时首先从左边缘进行扩展并且随后从顶部边缘进行扩展，而是可在视觉对象移动到第三地点时同时或几乎同时从左边缘和顶部边缘进行扩展。在该意义上，第二地点可被认为是过渡地点并且可不导致大小调整操作。在各方面，可基于移动操作是否已停止预定时间量来确定过渡地点。例如，用户202可首先将视觉对象210移动到第二地点，停止一段时间，并且然后将视觉对象移动到第三地点。在这种情况下，如果该时间段不超过预定阈值，则可将第二地点确定为过渡地点，并且可放弃显示器204基于第二地点的扩展(例如，从左边缘进行的扩展)，即使该第二地点其他方式满足大小调整标准(例如，其是接近度阈值内的地点或者是显示器204的显示区之外的地点)也如此。
97.图2f示出了动态地控制显示器的大小调整操作的示例，该大小调整操作包括缩小显示器。在图2f所示的示例中，可接收在方向217上将视觉对象210从第一地点221移动到第二地点210的请求。在实施方案中，第一地点221可以是显示器204的扩展显示区的一部分。例如，显示器204可能先前已通过从边缘234到边缘248扩展一定量256而被扩展以包括附加显示区260。在这种情况下，可确定将视觉对象210移动到可不包括附加显示区260的显示区
206内以满足大小调整标准。在这种情况下，大小调整标准可包括通过在方向217上从边缘248到边缘234缩小来将扩展显示器缩小回到原始显示大小。边缘234可以是显示器204的实际边缘(例如，显示器204的在先前扩展之前的边缘)。如上所述，相对于扩展操作，缩小操作可包括以动画方式显示边缘的缩小，使得显示器204的边缘看起来从边缘248移动到边缘234。
98.在一些实施方案中，将视觉对象210移动到显示器204的底部边缘以外的第二地点可导致可完全使显示器204最小化的缩小操作。在这种情况下，使显示器204最小化可包括将整个显示器折叠成指示该显示器处于最小化状态的表示。用户202可与最小化表示进行交互，以使显示器204恢复到先前大小。
99.在未示出的一些实施方案中，第二地点可能不完全处于显示区206内，并且可包括附加显示区260的至少一部分。在这种情况下，可确定大小调整标准已得到满足，并且可缩小显示器204。在这种情况下，显示器204可缩小，但仅缩小到仍能够适应在缩小显示区内显示视觉对象210的显示大小。当视觉对象210移动到完全处于显示区206内的地点时，可重复该部分缩小。
100.在其他实施方案中，第一地点221可不表示显示器204的扩展显示区的一部分，而是可以是未扩展显示区206的一部分。在该示例中，显示器204的原始大小可包括一直到边缘248的附加显示区260。对于该示例，显示器204的原始大小可包括显示区206和附加显示区260。在这种情况下，可确定将视觉对象210移动到第二地点229可支持显示器204的较小显示区，同时仍然适应视觉对象210的显示。这可被确定为满足大小调整标准。在这种情况下，大小调整标准可包括将显示器204的显示区缩小到更小大小。显示器204的显示区可在方向217上从边缘248缩小到边缘234。边缘248可以是显示器204的实际边缘(例如，显示器204的在缩小之前的边缘)。如上所述，相对于扩展操作，缩小操作可包括以动画方式显示边缘的缩小，使得显示器204的边缘看起来从边缘248移动到边缘234。
101.在显示器204是物理显示器的具体实施中，将先前未扩展的显示器缩小可包括将显示器的一部分进行模糊处理。例如，当在将视觉对象210移动到第二地点229之后将显示器204缩小时，可将附加显示区260进行模糊处理，使得显示器204的模糊处理部分可不用于显示视觉对象。该功能的一种应用可以是在av应用中，其中可通过用计算机生成模拟的适当部分替换显示器的模糊处理部分来将显示器的模糊处理部分进行模糊处理，使得用户202可感知显示器202更小，同时能够感知显示区的模糊处理部分后面的虚拟对象。
102.图3示出了显示器的移位操作的示例。在该示例中，将视觉对象210从第一地点223移动到第二地点225可满足如上文相对于图2a至图2f所描述的大小调整标准。然而，在该示例中，不是对显示器204进行大小调整，而是使显示器204在移动操作的方向上移位。移位量可以是基于在视觉对象已被放置在满足根据以上讨论的大小调整标准的地点上之后的移动量。当操纵显示器204上显示的2d视觉对象时，用户202可采用该功能来将显示器204移动到另一地点。
103.图4a和图4b示出了根据本公开的各方面的大小调整操作的示例。图4a示出了用户202和电子设备200。如上所述，在一些实施方案中，电子设备200可以是可穿戴电子设备(例如，hmd)。同样如上所述，在一些实施方案中，电子设备200可类似于上文参考图1a和图1b所描述的电子设备100a。
104.图4a示出了向用户202呈现包括显示器204的cgr环境。如上所述，显示器204可以是物理显示器或物理显示器的计算机生成模拟。显示器204可包括显示区206内的视觉对象410和411。视觉对象410和411以及显示区206可如上所述。在一些方面，显示器204可作为弯曲显示器被呈现给用户202，或者可被呈现为平坦显示器。
105.如上所述，视觉对象410和/或411的移动操作可导致显示器204的动态大小调整。在实施方案中，显示器204的动态大小调整可包括显示器204的扩展。例如，可接收在方向416上将视觉对象210从地点410移动到地点422的请求。可确定在方向416上将视觉对象210从地点410移动到地点422满足大小调整(例如，扩展)标准，如本文所述。响应于在方向416上将视觉对象210从地点410移动到地点422，显示器204可从边缘430扩展到边缘440以包括附加显示区460。附加显示区460可以是与上述附加显示区260类似地进行配置的计算机生成虚拟显示区。类似地，可接收在方向417上将视觉对象211从地点411移动到地点423的请求。可确定在方向417上将视觉对象211从地点411移动到地点423满足大小调整(例如，扩展)标准，如本文所述。响应于在方向417上将视觉对象211从地点411移动到地点423，显示器204可从边缘431扩展到边缘441以包括附加显示区461。附加显示区461可以是与上述附加显示区260类似地进行配置的计算机生成虚拟显示区。
106.在实施方案中，当显示器204从边缘430扩展到边缘440和/或从边缘431扩展到边缘441时，扩展显示区可以是弯曲的，如在图4a中可见。在一些实施方案中，在扩展之前，显示器204可以是弯曲的或可以不是弯曲的，但不管如何扩展操作都可使得显示器204弯曲。在这些情况下，在扩展之后，不仅附加区460可以是弯曲的，而且原始扩展前显示器也可以是弯曲的。在这种意义上，扩展显示器被配置为被用户202感知为单个内聚且集成的弯曲显示器。在一些实施方案中，可基于视觉对象410的移动操作来将扩展显示器缩小，如上所述。在这种情况下，无论原始扩展前显示器204是否是弯曲的，在缩小之后，显示器204都可保持弯曲。在其他实施方案中，在缩小操作之后，显示器204可返回到平坦配置。
107.图4b示出了根据本公开的各方面的大小调整操作的示例性顶视图配置。具体地讲，图4b示出了扩展操作的弯曲方面。例如，当显示器204在方向450上扩展时，扩展显示器是弯曲的。类似地，当显示器204在方向451上扩展时，扩展显示器也是弯曲的。在一些实施方案中，扩展显示器的弯曲可使得扩展显示器部分地或完全地围绕用户202，使得用户可将该显示器感知为围绕他或她的显示器。在一些实施方案中，在单个方向452上的扩展操作可从显示器204的一个边缘继续到另一个边缘。例如，用户202可在方向452上将视觉对象从显示器204的显示区内的一个地点朝向显示器204的边缘432拖动。用户202可继续将视觉对象拖动到显示器204外部靠近边缘432的地点，使得显示器204在方向452上从边缘430进行扩展。用户202可继续通过显示器204的扩展在方向452上拖动视觉对象，使得显示器204继续扩展和弯曲。如果用户202继续通过扩展来拖动视觉对象，直到扩展的前缘434与显示器204的边缘433相遇，则结果将是完全围绕用户202的360度弯曲扩展显示器，如图4b所示。再次注意，如上所述，虽然显示器204在图4b中被示出为平坦显示器，但显示器204也可以是弯曲显示器。
108.在一些实施方案中，当用户202将其头部朝向左侧或右侧移动时，围绕用户202的扩展显示区可旋转，以便提供能够减小颈部拉伤的人体工程学上有益的方法。例如，当用户202将其头部向右移动时，围绕用户202的扩展显示区可朝向左侧旋转，以便将扩展显示区
的部分“带到”用户202的视野中。这样，用户202不必过度转动其颈部以查看扩展显示区的不在用户202的前周边内的部分。
109.图5是示出了用于在cgr环境中动态地控制显示器的大小的方法500的流程图。在一些实施方案中，方法500可由电子设备(诸如上文参考图1a和图1b所描述的电子设备100a和/或电子设备200)执行。
110.在框502处，将cgr环境内的物理显示器的表示呈现给用户。例如，电子设备(诸如电子设备200)可用于将物理显示器(例如，显示器204)的表示呈现给用户(例如，用户202)。在一些实施方案中，显示器的表示可以是经由电子设备的半透明显示器或透传视频呈现给用户的实际物理显示器。在其他实施方案中，显示器的表示可以是物理显示器的被显示在电子设备的显示器上的计算机生成模拟。在实施方案中，物理显示器的表示可包括第一显示区(例如，显示区206)。
111.在框504处，可在物理显示器的表示的第一显示区内的第一地点处显示视觉对象(例如，视觉对象210)。在一些实施方案中，可经由可穿戴电子设备的显示器来显示视觉对象。在一些实施方案中，例如，在物理显示器的表示是实际物理显示器的情况下，视觉对象可被显示在物理显示器上。在各方面，视觉对象可以是2d对象，并且可以是可被配置为在显示器上显示的任何视觉对象。例如，视觉对象可以是应用程序图标、2d应用程序窗口、图像、缩略图等。
112.在框506处，可接收将视觉对象移动到cgr环境内的第二地点的请求。例如，用户输入可包括将视觉对象从第一地点拖动到第二地点的请求。用户输入可包括使用被配置为在cgr环境内操作的任何输入传感器(诸如鼠标、触笔、触敏表面、图像传感器等)执行的拖动操作。
113.在框508处，响应于接收到将视觉对象移动到第二地点的请求，而在第二地点满足标准时显示物理显示器的表示的扩展显示区。扩展显示区可包括第一显示区的至少一部分和第二显示区。在实施方案中，第二显示区(例如，附加显示区260)可以是计算机生成显示区，该计算机生成显示区可被添加到物理显示器的表示中以生成扩展显示区。在一些实施方案中，第二显示区可被添加到物理显示器的表示中，使得扩展显示区可被用户感知为单个内聚且集成的显示器。
114.在一些实施方案中，由第二地点满足以便将显示区扩展的标准可包括以下各项中的任何一者或多者：第二地点处于物理显示器的表示的边缘的接近度阈值内；第二地点至少部分地处于第一显示区之外；和/或移动视觉对象的请求处于特定方向上。
115.在实施方案中，显示物理显示器的表示的扩展显示区可包括在视觉对象可能已经移动的方向上扩展物理显示器的表示。该扩展可包括在视觉对象移动的方向上从物理显示器的表示的边缘进行扩展。在各方面，扩展操作可以动画方式进行显示。在一些实施方案中，当视觉对象已经移动到满足相对于物理显示器的表示的顶部边缘或底部边缘的大小调整标准的地点时(例如，第二地点是处于顶部边缘或底部边缘的接近度阈值内的地点，或者当第二地点是至少部分地处于靠近顶部边缘或底部边缘的第一显示区之外的地点时)，可放弃对物理显示器的表示的扩展显示区的显示。而是维持物理显示器的表示的大小。
116.在一些实施方案中，第二显示区的大小(例如，扩展的大小)可由足以在第二地点中适应视觉对象的大小来确定。在一些情况下，第二显示区的大小(例如，第二显示区的宽
度)可小于视觉对象的大小(例如，宽度)，诸如在视觉对象的至少一部分保留在第一显示区内的情况下。在其他情况下，第二显示区的大小可至少是视觉对象的大小，诸如在整个视觉对象当在第二地点中时处于第一显示区之外的情况下。
117.在实施方案中，扩展物理显示器的表示可包括将物理显示器的表示的扩展限制于预定阈值大小。例如，可确定目标大小的扩展区适应第二地点处的视觉对象。在这种情况下，目标大小可超过预定阈值大小。响应于目标大小超过预定阈值大小，可将扩展区限制为阈值大小，或者可完全放弃显示区的扩展。
118.在一些实施方案中，视觉对象可在第一显示区内从第二地点移动到第三地点。在这些实施方案中，可确定扩展显示区不再需要适应视觉对象。在这些情况下，扩展显示区可缩小回到其原始扩展前大小。例如，可不再显示第二区，而是可仅显示第一显示区。在实施方案中，扩展区的缩小可以动画方式进行显示。
119.在实施方案中，当物理显示器的表示诸如通过显示扩展显示区而被扩展时，物理显示器的表示可以是弯曲的。例如，当扩展显示区被显示时，第一显示区和第二显示区可以是弯曲的。在一些实施方案中，仅第二显示区可以是弯曲的，而第一显示区保留平坦形式。在一些实施方案中，在扩展显示区被缩小之后，缩小显示区可维持弯曲形式。在其他实施方案中，在扩展显示区被缩小之后，缩小显示区可以平坦形式进行显示。
120.在一些实施方案中，在扩展之后，视觉对象的至少一部分可被显示在第一显示区上，并且视觉对象的至少另一部分可被显示在第二显示区上。这样，用户可将视觉显示对象感知为被显示在单个连贯显示器中，而不指示该显示器是由原始第一显示区和附加第二显示区组成的扩展显示器。
121.本公开的各方面涉及以下系统和技术，该系统和技术提供用于在cgr环境内控制对显示器中的系统栏的表示的显示的功能。在实施方案中，控制对显示器中的系统栏的表示的显示可包括：在cgr环境的显示器(例如，物理显示器或虚拟显示器)的第一区域中显示系统栏的第一表示；当系统栏未被选择时，检测显示器的第二区域中的事件；以及当该事件满足系统栏移动标准时，在第二区域中显示系统栏的第二表示。在实施方案中，系统栏移动标准可包括可指示与显示器的第二区域中的元件进行的潜在和/或实际用户交互的事件。例如，系统栏移动标准可包括在显示器的第二区域中对应用程序的打开、检测指向显示器的第二区域的用户注视、检测光标到显示器的第二区域的移动、对用于在显示器的第二区域中显示系统栏的第二表示的交互式元素的选择等。
122.图6a和图6b示出了根据本公开的各方面的用于在cgr环境内控制对显示器中的系统栏的表示的显示的示例性技术。具体地讲，图6a和图6b示出了以下示例，在该示例中基于满足包括用户注视变化或光标位置变化的系统栏移动标准的事件来控制对系统栏的表示的显示。
123.图6a示出了穿戴电子设备200的用户202，该电子设备被配置为允许用户202查看cgr环境290。如上所述，在一些实施方案中，电子设备200可类似于上文参考图1a和图1b所描述的电子设备100a。
124.如图6a所示，cgr环境290包括显示器600。在实施方案中，显示器600可以是显示器(例如，物理显示器，诸如物理计算机的监视器或屏幕)的表示，诸如物理显示器的计算机生成模拟。在一些实施方案中，显示器的计算机生成模拟可以是没有对应的物理对应物和/或
表示的计算机生成的显示区。在这些情况下，物理显示器的计算机生成模拟可以是可能不会模拟物理显示器的显示区。在一些具体实施中，物理显示器的计算机生成模拟可被叠加在物理环境或其表示上(例如，如在mr具体实施中)，使得用户202可感知叠加在物理环境之上的物理显示器的计算机生成模拟。在其他具体实施中，物理显示器的计算机生成模拟可以是作为完全cgr环境的一部分的虚拟对象(例如，如在vr应用程序中)。
125.在一些实施方案中，显示器600可表示经由电子设备200呈现给用户202的物理显示器。例如，显示器600可包括实际物理显示器而不是显示器的计算机生成模拟。在这种情况下，如上文相对于图2a的显示器204所描述的，显示器600可被呈现给用户202，使得用户202可查看物理显示器，而不是查看物理显示器的计算机生成模拟。在又其他实施方案中，向用户202呈现物理显示器可通过将物理显示器的逼真图像和/或视频叠加在模拟环境上来执行。
126.如图6a所示，显示器600可包括区域601、602和603。在一些实施方案中，区域601、602和603中的一些或全部可以是物理显示器(例如，虚拟显示器)的表示中的区域，或者可以是物理显示器。在这些实施方案中，显示器600可表示包括多于一个显示器的聚合显示器。因此，区域601、602和603可被确定为处于物理显示器的不同表示中。例如，区域601可被包括在第一物理显示器的表示中，区域602可被包括在第二物理显示器的表示中，并且区域603可被包括在第三物理显示器的表示中。
127.在一些实施方案中，显示器600可以是单个连续显示器(例如，虚拟显示器或物理显示器)的表示。在这些实施方案中，区域601、602和603可被确定为是处于物理显示器的相同表示中的区域。
128.系统栏的第一表示620可由电子设备200显示在显示器600的区域中。例如，第一表示620可被显示在显示器600的区域603上。在实施方案中，第一表示620可被显示在区域603内的任何地点处。例如，虽然第一表示620被示出为显示在区域603的底部，但第一表示620可被显示在区域603的顶部、左侧、右侧、中心等。在实施方案中，第一表示620在区域603中的地点可由系统偏好和/或设置确定，或者可由用户(例如，用户202)确定，该用户可将系统栏定位在区域603内的特定地点处。
129.如本文所用，系统栏可指显示区的一部分(例如，条状部)，该部分可用于显示系统元素诸如系统信息(例如，通知、状态(例如，打开的应用程序的状态)等)，提供系统内功能和文件的导航，显示用于打开应用程序的可选择元素(例如，图标、示能表示等)，显示用于选择已打开的应用程序的可选择元素(例如，图标、示能表示等)，提供特定于应用程序的选项和/或功能(例如，当与文本编辑器相关联地提供时，系统栏可呈现用于打开/关闭/保存文件的选项等)。在一些实施方案中，系统栏是具有多个选项的菜单。在一些实施方案中，对菜单中的每个选项的选择使得电子设备执行不同的操作。
130.在实施方案中，可包括输入机构以促进用户交互。例如，输入机构可包括供用户(例如，用户202)与显示器600进行交互的机构。在实施方案中，输入机构可包括用户的附体的表示(例如，手指、手、腿、脚等的表示)、用户的注视(例如，头部注视、眼睛注视等)、输入设备(例如，鼠标、触笔、笔、触敏表面、图像传感器等)等。在实施方案中，用户的附体的表示可包括附体的虚拟表示和/或可包括表示cgr环境内的附体的特征(例如，地点、取向、距特定点的距离等)的数据。在各方面，可使用被配置为执行手部跟踪、头部注视跟踪、眼睛注视
跟踪、手指跟踪等的输入传感器(例如，触敏表面、图像传感器等)来检测输入机构。如图6a所示，输入机构可包括用户202的注视650和/或光标610。
131.在实施方案中，可检测用户202的注视650。所检测到的注视650可以是头部注视(例如，用户头部所面向的方向)、眼睛注视(例如，用户眼睛所观看的方向)、它们的组合等。可确定用户202的注视650聚焦、放置或以其他方式指向显示器600的特定区域。例如，可确定用户202的注视650指向区域603，在此显示了系统栏的第一表示620。另选地或除此之外，光标610可被确定为被定位和/或显示在区域603内的地点处。
132.在实施方案中，输入机构可被移动。例如，用户202的注视650可被移动，并且可检测注视650的移动(例如，使用图像传感器等)。在实施方案中，响应于所检测到的用户注视变化，可确定注视的新方向的方向。
133.在一个特定示例中，在区域603中显示的第一表示620可以是半透明的(例如，半透明的)。在实施方案中，确定注视650的新方向指向区域603中的比注视650所指向的先前地点更近的新地点可使得第一表示620从半透明转变为不透明。例如，确定注视650的变化指示注视650正在接近第一表示620(例如，基于确定注视650的新方向是第一表示620的预定距离内的地点)可使得第一表示620变得不透明。在实施方案中，第一表示620的不透明度可基于从注视650所指向的地点到第一表示620的地点的距离。例如，随着注视650距第一表示620越来越近，第一表示620的不透明度可增大。在实施方案中，随着注视650移动远离第一表示620，第一表示620的不透明度可减小(例如，第一表示620可变得更加半透明)。在附加或另选的实施方案中，用于改变第一表示620的不透明度的这种功能可基于光标610朝向或远离第一表示620的移动，并且可使用如上文相对于用户注视(例如，注视650)的变化所讨论的类似技术。
134.在另选示例中，如图6b所示，可确定注视650的新方向可指向不同于区域603的区域，诸如指向区域602，如图6b所示。在各方面，系统栏的表示当前可不显示在区域602中。因此，可在区域602中检测到用户的注视(例如，注视650)，区域602不同于其中当前可显示第一表示620的区域603。对注视650的检测可被确定为是显示器600的区域602中的事件。需注意，在一些实施方案中，不是检测用户注视从显示器的区域603到区域602的移动，而是可在区域602中检测用户注视，而不检测用户注视从区域603的实际移动。换句话讲，可不检测注视650是否已从区域603移动到区域602，但注视650可被检测为指向区域602。需注意，在实施方案中，检测显示器600的区域602中的事件以及下文所述的其他步骤可在系统栏未被选择时发生。例如，检测区域602上的注视650以及随后显示系统栏的第二表示可在用户202没有(例如，经由第一表示620)选择系统栏和/或与系统栏交互的情况下发生。
135.在一些实施方案中，检测注视650指向特定区域可包括确定注视650已保持指向特定区域内的地点长达至少预定时间段。例如，可确定注视650已保持指向区域602长达小于预定时间段的时间段(例如，在预定时间段到期之前，注视650的方向移动到不同方向)。在这种情况下，可能不会确定区域602中的事件会发生。当确定注视650已保持指向区域602长达至少与预定时间段相同的时间段时(例如，在预定时间段到期之前，注视650的方向不会移动到不同方向)，可确定会检测到区域602中的事件。
136.在实施方案中，响应于检测到区域602中的事件，确定该事件是否满足系统栏移动标准。在图6b所示的示例中，当区域602中的事件被确定为是在区域602中检测到的用户注
视(例如，注视650)时，可确定区域602中的事件满足系统栏移动标准。
137.响应于确定区域602中的事件满足系统栏移动标准(例如，在区域602中检测到注视650)，而在区域602中显示系统栏的第二表示(例如，第二表示621)，如图6b所示。在实施方案中，第二表示621可具有与第一表示620相同的大小。在实施方案中，第二表示621可类似于第一表示620。例如，第二表示621可包括相同的主题、相同的信息、相同的交互式元素(例如，应用程序图标、示能表示等)等。在一些实施方案中，第二表示621可不同于第一表示620。
138.在实施方案中，第一表示620可继续被显示在区域603中，而第二表示621则被显示在区域602中。在一些实施方案中，第一表示620可在区域603中被显示为半透明的，而第二表示621则被显示在区域602中。在这些实施方案中，当确定注视650移动回到区域603时，第一表示620可从半透明转变为不透明。在其他实施方案中，第一表示620可停止被显示在区域603中，而第二表示621则被显示在区域602中。
139.在一些实施方案中，第二表示621可在与区域603中的第一表示620相同的取向和/或相同的区中被显示在区域602中。例如，第一表示620可被显示为跨区域603的底部的水平条。在这种情况下，第二表示621可被显示为跨区域602的底部的水平条。应当理解，将第一表示620和第二表示621描述为被显示在其相应区域的底部上是为了进行示意性的说明，而不是作为限制。因此，在实施方案中，第一表示620和第二表示621可被显示在其相应区域的底侧、顶侧、左侧和/或右侧中的任一者处。在实施方案中，第二表示621可在与区域603中的第一表示620不同的取向和/或不同的区中进行显示。
140.另选地或除此之外，输入机构可包括光标610。在这些具体实施中，如图6b所示，光标610可从区域603中的地点移动到区域602中的地点。光标610从区域603到区域602的移动可(例如，使用输入传感器、图像传感器等)来检测。在实施方案中，对区域602中的光标610的检测可被确定为是显示器600的区域602中的事件。需注意，在一些实施方案中，不是检测光标610从显示器的区域603到区域602的移动，而是可在区域602中检测光标610，而不检测光标610从区域603进行的实际移动。换句话讲，可不检测光标610是否已从区域603移动到区域602，但光标610可在区域602中被检测到。需注意，在实施方案中，检测显示器600的区域602中的事件以及下文所述的其他步骤可在系统栏未被选择时发生。例如，检测区域602上的光标610以及随后显示系统栏的第二表示可在用户202没有(例如，经由第一表示620)选择系统栏和/或与系统栏交互的情况下发生。
141.在实施方案中，响应于检测到区域602中的事件，可确定该事件是否满足系统栏移动标准。在图6b所示的示例中，当确定区域602中的事件包括检测移动到区域602的光标610时，可确定区域602中的事件满足系统栏移动标准。
142.响应于确定区域602中的事件满足系统栏移动标准(例如，光标610被移动到区域602)，而在区域602中显示系统栏的第二表示(例如，第二表示621)，如图6b所示，并且如上所述。
143.需注意，尽管前述示例和随后的示例可集中于对在显示器的第二区域中检测到的特定事件(例如，在第二区域中检测用户注视、检测移动到第二区域的光标和/或与第二区域中的可选择元素进行交互)的描述，但这样做是为了进行示意性的说明，并且并非旨在以任何方式进行限制。在一些实施方案中，可检测其他事件，并且可确定这些事件是否满足系
统移动标准。应当理解，指示用户与第二区域的潜在和/或实际交互(例如，与第二区域中的ui元素的交互)的任何事件均可被考虑到和/或可触发第二区域中的事件。
144.图7a和图7b示出了根据本公开的各方面的用于在cgr环境内控制对显示器中的系统栏的表示的显示的技术的另一示例。具体地讲，图7a和图7b示出了以下示例，在该示例中基于满足包括与可选择ui元素的交互的系统栏移动标准的事件来控制对系统栏的表示的显示。
145.图7a示出了包括显示器600的cgr环境290。如上所述，显示器600可以是显示器的表示(例如，物理显示器的虚拟表示)、显示区或物理显示器。显示器600可包括区域601、602和603。同样如上所述，在一些实施方案中，区域601、602和603中的一些或全部可以是物理显示器(例如，虚拟显示器)的表示中的区域，或者可以是物理显示器。在一些实施方案中，显示器600可以是单个连续显示器(例如，虚拟显示器或物理显示器)的表示，并且区域601、602和603可被确定为是处于物理显示器的相同表示中的区域。
146.如图7a所示，系统栏的第一表示720可由电子设备200显示在区域601的底部区域中。在实施方案中，第一表示720可被显示在区域601内的任何地点(例如，底部、顶部、左侧、右侧、中心等)，如上所述。在实施方案中，系统栏的表示当前可不显示在区域602中。
147.可选择ui元素630可被显示在显示器600的区域602中。在实施方案中，区域602可包括多个可选择ui元素，并且可选择ui元素630可被包括在该多个可选择ui元素中。在实施方案中，可选择ui元素630可包括被配置为允许用户选择ui元素的图标、示能表示、记号、按钮、交互式ui元素和/或任何其他ui元素。可选择ui元素630可与应用程序相关联，并且可被配置为响应于被选择而使得相关联的应用程序打开。
148.例如，如图7b中所示，用户(例如，用户202)可与可选择ui元素630进行交互。在实施方案中，可确定该交互指示对ui元素630的选择。响应于对可选择ui元素630的选择，相关联的应用程序(例如，应用程序631)可被打开和/或显示在区域602中。
149.在实施方案中，可检测对可选择ui元素630的选择和/或应用程序631的打开。在实施方案中，对可选择ui元素630的选择和/或应用程序631的打开可被确定为是显示器600的区域602中的事件。需注意，在实施方案中，检测显示器600的区域602中的事件以及下文所述的其他步骤可在系统栏未被选择时(例如，在用户(例如，用户202)可能未(例如，经由第一表示720)选择系统栏和/或与系统栏进行交互时)发生。
150.在实施方案中，响应于检测到区域602中的事件，确定该事件是否满足系统栏移动标准。在图7b所示的示例中，当区域602中的事件被确定为是对区域602中的可选择ui元素(例如，可选择ui元素630)的选择和/或对区域602中的应用程序(例如，应用程序631)的打开时，可确定区域602中的事件满足系统栏移动标准。
151.响应于确定区域602中的事件满足系统栏移动标准(例如，在区域602中检测到对可选择ui元素630的选择和/或应用程序631的打开)，而在区域602中显示系统栏的第二表示(例如，第二表示721)，如图7b所示。在实施方案中，第二表示721可具有与第一表示720相同的大小。在实施方案中，第二表示721可类似于第一表示720。例如，第二表示721可包括相同的主题、相同的信息、相同的交互式元素(例如，应用程序图标、示能表示等)等。在一些实施方案中，第二表示721可不同于第一表示720。
152.在实施方案中，第一表示可继续被显示在区域601中，而第二表示721则被显示在
区域602中。在其他实施方案中，第一表示720可停止被显示在区域601中，而第二表示721则被显示在区域602中。
153.在一些实施方案中，第二表示721可在与区域601中的第一表示720相同的取向(水平、竖直、成角度等)和/或相同的区(底部、顶部、左侧和/或右侧)中被显示在区域602中。在实施方案中，第二表示721可在与区域601中的第一表示720不同的取向和/或不同的区中进行显示。
154.图8a和图8b示出了根据本公开的各方面的用于在cgr环境内控制对显示器中的系统栏的表示的显示的技术的另一示例。具体地讲，图8a和图8b示出了以下示例，在该示例中基于所检测到的满足系统栏移动标准的事件来控制在显示器的表示的区域中对系统栏的表示的显示。
155.图8a示出了包括显示器600的cgr环境290。如上所述，显示器600可以是显示器的表示(例如，物理显示器的虚拟表示)、显示区或可以是物理显示器。在实施方案中，显示器600可表示单个显示器或者可表示包括多于一个显示器的聚合显示器。在图8a所示的示例中，显示器600可以是单个显示器的表示。显示器600可包括区域670和680。区域670和680可以是显示器600的单个表示内的区域。区域670可由边界671限定，并且区域680可由边界681限定。在各方面，边界671和681可不被显示在显示器600上或者可被显示在显示器600中。
156.在各方面，显示器600可以是弯曲显示器。在一些实施方案中，显示器600可具有使得显示器600可部分地或完全地围绕位于显示器600前面的用户(例如，用户202)的大小，使得用户可将显示器600感知为围绕他或她的显示器。
157.如图8a所示，系统栏的第一表示820可由电子设备200显示在区域670的底部区域中。在实施方案中，第一表示820可被显示在区域670内的任何地点(例如，底部、顶部、左侧、右侧、中心等)，如上所述。在实施方案中，系统栏的表示当前可不显示在区域680中。
158.图8b示出了在显示器600的区域680中检测到的事件840。在实施方案中，事件840可以是指示用户(例如，用户202)与区域680的潜在和/或实际交互的事件。在实施方案中，可确定事件840是否满足系统栏移动标准。例如，可确定事件840是否是以下各项中的至少一者：对区域680中的用户注视的检测、对移动到区域680中的光标的检测、对与区域680中的可选择元素的交互的检测、区域680中的应用程序的打开、指示用户与区域680的潜在和/或实际交互的任何其他事件、和/或它们的任何组合。
159.需注意，在实施方案中，检测显示器600的区域680中的事件840以及下文所述的其他步骤可在系统栏未被选择时(例如，在用户(例如，用户202)可能未(例如，经由第一表示720)选择系统栏和/或与系统栏进行交互时)发生。
160.响应于确定区域680中的事件840满足系统栏移动标准，而在区域680中显示系统栏的第二表示(例如，第二表示821)，如图8b所示。在实施方案中，第二表示821可具有与第一表示820相同的大小。在实施方案中，第二表示821可类似于第一表示820。例如，第二表示821可包括相同的主题、相同的信息、相同的交互式元素(例如，应用程序图标、示能表示等)等。在一些实施方案中，第二表示821可不同于第一表示820。
161.在一些实施方案中，第二表示821可在与区域670中的第一表示820相同的取向(水平、竖直、成角度等)和/或相同的区(底部、顶部、左侧和/或右侧)中被显示在区域680中。在实施方案中，第二表示821可在与区域670中的第一表示820不同的取向和/或不同的区中进
行显示。
162.在实施方案中，第一表示820可继续被显示在区域670中，而第二表示821则被显示在区域680中。在其他实施方案中，第一表示820可停止被显示在区域670中，而第二表示821则被显示在区域680中。
163.在一些实施方案中，可基于事件840的地点在区域680内的地点处显示第二表示821。例如，事件840可在区域680中被检测到并且可被确定为位于区域680内的特定地点(例如，区域680中用户注视可能指向的地点、区域680中光标可能移动到的地点、用户可与之进行交互的ui元素的区域680中的地点、区域680中应用程序可被打开的地点等)。在这些实施方案中，第二表示821可被显示在区域680内可检测到事件840的地点处。在其他实施方案中，第二表示821可被显示在区域680的底侧、顶侧、右侧或左侧，而不管区域680内可检测到事件840的地点在哪里。
164.图9是示出了用于在cgr环境内控制对显示器中的系统栏的表示的显示的方法500的流程图。在一些实施方案中，方法900可由系统100或系统100的一部分执行。在一些实施方案中，方法900可由一个或多个外部系统和/或设备执行。在一些实施方案中，方法900可由系统100(或系统100的一部分)结合一个或多个外部系统和/或设备来执行。
165.在框902处，系统经由电子设备(例如，可穿戴电子设备、hmd设备等)的显示器在cgr环境内显示表示物理显示器的虚拟显示区。例如，可经由电子设备的第一显示器(例如，左眼显示面板)或第二显示器(例如，第二眼显示面板)来显示表示物理显示器的虚拟显示区。
166.在各方面，虚拟显示区可表示弯曲显示器。在一些实施方案中，虚拟显示区可表示弯曲显示器，该弯曲显示器具有使得该显示器可部分地或完全地围绕位于所表示的显示器前面的用户的大小，使得用户可将显示器感知为围绕他或她的显示器。
167.在实施方案中，虚拟显示区可以是单个连续物理显示器的表示。在其他实施方案中，虚拟显示区可以是多于一个物理显示器的表示(例如，多于一个物理显示器的聚合)。在实施方案中，虚拟显示区可包括被配置用于显示ui元素以及用于显示系统栏的表示的至少一个区域。
168.在框904处，系统在虚拟显示器的第一区域中显示系统栏的第一表示。在实施方案中，系统栏的第一表示可以是cgr环境内所显示的虚拟表示。在实施方案中，第一表示可被显示在第一区域内的任何地点处(例如，底部、顶部、左侧、右侧、中心等)。在实施方案中，系统栏的表示当前可不显示在虚拟显示区的另一区域中。在实施方案中，系统栏可包括多个示能表示、图标和/或可选择ui元素。
169.在框906处，系统检测虚拟显示器的第二区域中的事件。在各方面，虚拟显示器的第二区域可处于虚拟显示器的第一区域之外。在实施方案中，所检测到的事件可以是指示用户与第二区域的潜在和/或实际交互的事件。在实施方案中，可确定事件是否满足系统栏移动标准。例如，可确定该事件是否是以下各项中的至少一者：对第二区域中的用户注视的检测、对移动到第二区域中的光标的检测、对与第二区域中的可选择元素的交互的检测、第二区域中的应用程序的打开、指示用户与第二区域的潜在和/或实际交互的任何其他事件、和/或它们的任何组合。
170.在框908处，当确定事件满足系统栏移动标准时，系统在第二区域中显示系统栏的
第二表示。在实施方案中，检测第二区域中的事件以及当事件满足系统栏移动标准时显示系统栏的第二表示可在系统栏当前未被选择时(例如，在用户(例如，用户202)可能未(例如，经由第一表示)选择系统栏和/或与系统栏进行交互时)发生。
171.在实施方案中，系统栏的第二表示可具有与第一表示相同的大小。在实施方案中，第二表示可类似于第一表示(例如，第二表示可包括与第一表示相同的主题、相同的信息、相同的交互式元素(例如，应用程序图标、示能表示等)等)。在一些实施方案中，第二表示可不同于第一表示。
172.在一些实施方案中，第二表示可在与第一区域中的第一表示相同的取向(水平、竖直、成角度等)和/或相同的区(底部、顶部、左侧和/或右侧)中被显示在第二区域中。在实施方案中，第二表示可在与第一区域中的第一表示不同的取向和/或不同的区中进行显示。
173.在实施方案中，第一表示可继续被显示在第一区域中，而第二表示则被显示在第二区域中。在其他实施方案中，第一表示可停止被显示在第一区域中，而第二表示则被显示在第二区域中。
174.在实施方案中，第一表示可作为半透明对象继续被显示在第一区域中，而第二表示可作为不透明对象被显示在第二区域中。在实施方案中，当确定用户注视或光标移动到第一区域中时，第一表示可从半透明转变为不透明。
175.本公开的各方面涉及以下系统和技术，该系统和技术提供用于在cgr环境内基于物理设备的铰接角来控制对虚拟显示窗口的显示的功能。在实施方案中，控制虚拟显示窗口是否显现(例如，在cgr环境内显示)可包括当物理设备的铰接角达到阈值铰接角时，邻近物理设备(例如，邻近物理设备的显示器)显示虚拟显示窗口。
176.图10a至图10j示出了根据本公开的各方面的用于在cgr环境内基于物理设备的铰接角来控制对虚拟显示窗口的显示的示例性技术。
177.图10a示出了cgr环境1090内的物理设备1000。在实施方案中，物理设备1000可以是具有铰接功能的设备，其中物理设备的至少两个部分可被配置为绕着铰接点转动并且聚集在一起或彼此分离。例如，物理设备1000可包括部分1020和部分1021，这两者可被配置为绕着铰接点1010铰接。在实施方案中，部分1020和1021可彼此分离，同时保持附接在铰接点1010处。在实施方案中，物理设备1000可以是具有此类铰接功能的任何设备(例如，膝上型电脑、智能电话、折叠平板电脑、公文包等)。
178.在实施方案中，物理设备1000可以是cgr环境1090的一部分。例如，如上所述，物理设备1000可经由电子设备200的透明或半透明显示器来呈现(例如，呈现给用户(例如，用户202))，或者可经由如上所述的透传视频来呈现，使得实际物理设备1000可被感知到。
179.在实施方案中，可通过测量部分1020和部分1021之间的分离角度来测量物理设备1000的铰接角。例如，如图10b所示，物理设备1000的当前铰接角可被确定为零。即，部分1020和部分1021可在一起。
180.图10c示出了物理设备1000上的铰接动作。在实施方案中，部分1021或部分1021或这两者可绕着铰接点1010铰接以彼此分离。在图10c所示的示例中，部分1020可绕着铰接点1010在方向1040上远离部分1021铰接。例如，可通过部分1020远离部分1021的铰接动作来确定打开物理设备1000。铰接动作可创建部分1020和1021之间的铰接角1050。
181.图10d示出了部分1020绕着铰接点1010旋转并远离部分1021移动从而在部分1020
和部分1021之间创建当前铰接角1050的铰接动作。在实施方案中，可测量当前铰接角1050。例如，图像传感器可用于跟踪部分1020和1021相对于彼此的地点以测量当前铰接角1050。在其他具体实施中，物理设备1000中的传感器可用于测量当前铰接角1050，并且物理设备1000可向设备200提供表示铰接角的数据。
182.在实施方案中，可提供阈值铰接角1051。阈值铰接角1051可以是预定铰接角，根据该预定铰接角可测量当前铰接角。在实施方案中，阈值铰接角1051可以是相对于部分1021的角度，部分1021是物理设备1000的底部部分。在实施方案中，阈值铰接角1051可被显示为cgr环境内的虚拟对象(例如，显示为线、虚线、点等)。在一些实施方案中，可不显示阈值铰接角1051。
183.在实施方案中，可确定所测量的当前铰接角是否超过阈值铰接角。例如，可将当前铰接角1050与阈值铰接角1051进行比较，以确定当前铰接角1050是否超过阈值铰接角1051。当确定当前铰接角不超过阈值铰接角时，可不显现虚拟显示窗口。在实施方案中，不显现虚拟显示窗口可包括放弃根据以下描述显示虚拟显示窗口。相反，当确定所测量的铰接角超过阈值铰接角时，可显现虚拟显示窗口。
184.如图10c和图10d所示，当前铰接角1050不超过阈值铰接角1051。根据确定当前铰接角1050不超过阈值铰接角1051，可不显现虚拟显示窗口。
185.图10e和图10f示出了部分1020绕着铰接点1010旋转并在方向1040上进一步远离部分1021移动的又一铰接动作。在该示例中，当前铰接角1050已增大。在实施方案中，可确定当前铰接角1050现在是否超过阈值铰接角1051。例如，可将当前铰接角1050与阈值铰接角1051进行比较，以确定当前铰接角1050是否超过阈值铰接角1051。如图10e和图10f所示，当前铰接角1050不超过阈值铰接角1051。根据确定当前铰接角1050不超过阈值铰接角1051，可不显现虚拟显示窗口。
186.在一些实施方案中，物理设备1000可配置有显示器(例如，显示器1030)。物理设备1000还可被配置为使得显示器1030可以是不活动的和/或关闭的(例如，不显示内容或显示全暗屏或全黑屏)，直到达到特定铰接角。当物理设备1000的铰接角达到特定铰接角时，显示器1030可被打开或激活。在图10e所示的示例中，铰接角1050尽管可能不超过阈值铰接角1051，但已达到用于激活显示器1030的铰接角。在这种情况下，显示器1030可被激活。在实施方案中，激活显示器1030可包括在显示器1030中显示至少一部分内容。例如，显示器1030可被激活，并且内容1031和内容1032可被显示在显示器1030中。在实施方案中，内容1031和内容1032可以是不同的内容，可以是内容的部分或者可以是相同内容的不同部分。
187.图10g和图10h示出了部分1020绕着铰接点1010旋转并甚至进一步远离部分1021移动的仍又一铰接动作。在该示例中，当前铰接角1050已进一步增大。在实施方案中，可确定当前铰接角1050现在是否超过阈值铰接角1051。例如，可将当前铰接角1050与阈值铰接角1051进行比较，以确定当前铰接角1050是否超过阈值铰接角1051。如图10e和图10f所示，当前铰接角1050超过阈值铰接角1051。根据确定当前铰接角1050超过阈值铰接角1051，可显现虚拟显示窗口。
188.在实施方案中，显现虚拟显示窗口可包括在cgr环境1090内相对于物理设备显示至少一个虚拟显示窗口。在实施方案中，虚拟显示窗口可被显示在cgr环境1090内的有利于将虚拟显示窗口配置为连接到物理设备的任何区域处。在实施方案中，例如，在物理设备可
能不具有显示器的情况下，虚拟显示窗口可被显示以表示物理设备的显示器。在一些实施方案中，例如，在物理设备可具有显示器的情况下，虚拟显示窗口可被显示为连接到物理设备的显示器(例如，作为物理设备的显示器的延伸)。在实施方案中，虚拟显示窗口的大小可与物理设备的显示器的大小相同。在其他实施方案中，虚拟显示窗口的大小可不同于物理设备的显示器的大小。在这些情况下，虚拟显示窗口的大小可基于系统偏好和/或设置来确定，和/或可基于环境特征来确定。例如，可确定虚拟显示窗口的大小适应cgr环境内可放置物理设备1000的书桌(例如，虚拟书桌或物理书桌)。
189.在图10g所示的示例中，虚拟显示窗口1060可在确定当前铰接角1050超过阈值铰接角1051时被显示在物理设备1000上方的区域中并且连接到物理设备1000的显示器1030。在该示例中，虚拟显示窗口1060将显示器1030向上延伸。在一些实施方案中，可显示附加虚拟显示窗口。例如，虚拟显示窗口1061可被显示在物理设备1000的左侧以将显示器1030向左延伸，和/或虚拟显示窗口1062可被显示在物理设备1000的右侧以将显示器1030向右延伸。应当理解，可显示附加的或更少的虚拟显示窗口。例如，在实施方案中，可显示附加的虚拟显示窗口，使得包括虚拟显示窗口和物理显示器1030的整个区域表示单个连贯的扩展显示器。
190.在实施方案中，显示虚拟显示窗口1060以及如下所述的停止显示虚拟显示窗口1060可以是逐渐地执行的。在实施方案中，显示虚拟显示窗口1060可包括初始地以高透明度(例如，非零透明度)显示虚拟显示窗口1060并且逐渐地降低虚拟显示窗口1060的透明度直到虚拟显示窗口1060变得不透明。在一些实施方案中，虚拟显示窗口1060的透明度可取决于物理设备1000的铰接角。在实施方案中，虚拟显示窗口1060的大小也可逐渐地增大，并且在一些实施方案中，虚拟显示窗口1060的大小可取决于铰接角。
191.在实施方案中，物理设备1000的显示器1030中所显示的内容的至少一部分可被显示在虚拟显示窗口中。例如，如图10g所示，先前被显示在显示器1030中的内容1031可被显示在虚拟显示窗口1060中。在实施方案中，可在显示虚拟窗口时自动地确定可将先前被显示在物理设备的显示器中的哪部分内容显示在虚拟显示窗口中。例如，内容1031和内容1032可以是表示连贯元素(例如，图像、应用程序窗口等)的内容的部分。在这种情况下，当响应于物理设备1000的铰接角超过阈值铰接角1051而显示虚拟显示窗口1060时，连贯元素的大小可增大，部分1031可被移动到虚拟显示窗口1060，并且部分1031可保持被显示在显示器1030中。在实施方案中，内容1031和内容1032可能不是表示连贯元素的内容的部分，但是仍可将内容的至少一部分移动到虚拟显示窗口1060。在一些实施方案中，用户(例如，用户202)可选择要移动到虚拟显示窗口1060的内容。
192.在实施方案中，可在虚拟显示窗口中显示先前未在物理设备的显示器中显示的内容。例如，内容1033可能先前未被显示在物理设备1000的显示器1030中。在这种情况下，当响应于物理设备1000的铰接角超过阈值铰接角1051而显示虚拟显示窗口1060时，可在虚拟显示窗口1060中显示内容1033。
193.在实施方案中，虚拟窗口中所显示的内容可同时被显示(例如，共享)在物理显示器中。例如，内容1033可被显示在物理设备1000的显示器1030中。响应于用户输入(例如，对交互式元素的选择、拖动手势、点击等)，内容1033可同时被显示(例如，共享)在物理显示器1030中。这样，查看cgr环境1090并且可经由设备200感知虚拟显示窗口1060的用户可经由
现实世界物理显示器(例如，显示器1030)向可能无法感知cgr环境1090的其他用户共享来自cgr环境的虚拟内容。
194.在实施方案中，虚拟显示窗口1060可相对于物理设备1000以特定倾斜角进行显示。在实施方案中，虚拟显示窗口1060的倾斜角可与部分1020的铰接角相同。在其他实施方案中，虚拟显示窗口1060的倾斜角可以是固定的和/或预定的。在这些情况下，即使物理设备的铰接角改变，虚拟显示窗口1060的倾斜角也可保持相同(例如，只要物理设备的铰接角超过阈值铰接角即可)。
195.图10i和图10j示出了铰接动作，其中部分1020绕着铰接点1010在方向1041上朝向部分1021旋转。在该示例中，基于方向1041，可确定物理设备1000正被关闭。在该示例中，可确定当前铰接角1050已减小。在实施方案中，可确定当前铰接角1050是否超过阈值铰接角1051。例如，可将当前铰接角1050与阈值铰接角1051进行比较，以确定当前铰接角1050是否超过阈值铰接角1051。如图10j所示，当前铰接角1050不再超过阈值铰接角1051。根据确定当前铰接角1050不超过阈值铰接角1051，停止对虚拟显示窗口(例如，虚拟显示窗口1060、1061、1062和/或它们的任何组合)的显示。
196.在实施方案中，停止显示虚拟显示窗口可包括将虚拟显示窗口中所显示的内容的至少一部分移动到物理设备1000的显示器1030。在实施方案中，移动到显示器1030的内容可包括先前被显示在显示器1030中但移动到虚拟显示窗口的内容，和/或可包括被显示在虚拟显示窗口中但先前并未显示在显示器1030中的内容。
197.在实施方案中，如上所述，停止显示虚拟显示窗口可以是逐渐地执行的。例如，虚拟显示窗口的透明度可逐渐地增大，直到虚拟显示窗口不再可见为止。在另选的或附加的实施方案中，停止显示虚拟显示窗口可包括逐渐地减小虚拟显示窗口的大小，直到窗口不再可见为止。
198.图11是示出了用于在cgr环境内基于物理设备的铰接角来控制对虚拟显示窗口的显示的方法1100的流程图。在一些实施方案中，方法1100可由系统100或系统100的一部分执行。在一些实施方案中，方法1100可由一个或多个外部系统和/或设备执行。在一些实施方案中，方法1100可由系统100(或系统100的一部分)结合一个或多个外部系统和/或设备来执行。在实施方案中，方法1100可由电子设备(例如，可穿戴电子设备、hmd设备等)执行。
199.在框1102处，系统接收和/或获取表示物理对象的铰接角的数据。在实施方案中，可使用图像传感器、物理设备中的传感器、使用可采用前置摄像头的计算机视觉技术等来测量物理设备的铰接角。
200.在实施方案中，响应于获取表示物理设备的铰接角的数据，可确定物理设备的铰接角是否超过阈值铰接角。例如，可将铰接角与阈值铰接角进行比较，以确定铰接角是否超过阈值铰接角。当确定铰接角不超过阈值铰接角时，可不显现虚拟显示窗口。在实施方案中，不显现虚拟显示窗口可包括放弃显示虚拟显示窗口。
201.在框1104处，响应于获取表示物理设备的铰接角的数据，当确定铰接角超过阈值铰接角时，系统经由电子设备(例如，可穿戴电子设备、hmd设备等)的显示器显示相对于物理设备的虚拟显示窗口。例如，可经由电子设备的第一显示器(例如，左眼显示面板)或第二显示器(例如，第二眼显示面板)来显示相对于物理设备的虚拟显示区。
202.在实施方案中，虚拟显示窗口可被显示在cgr环境内的有利于将虚拟显示窗口配
置为被显示为连接到物理设备的任何区域处。在实施方案中，虚拟显示窗口可被显示为连接到物理设备的显示器(例如，作为物理设备的显示器的延伸)。在实施方案中，虚拟显示窗口的大小可与物理设备的显示器的大小相同。在其他实施方案中，虚拟显示窗口的大小可不同于物理设备的显示器的大小。
203.在实施方案中，虚拟显示窗口可被显示在物理设备上方的区域中。在一些实施方案中，可显示附加的或另选的虚拟显示窗口(例如，在物理设备的左侧或右侧)。
204.在实施方案中，显示虚拟显示窗口以及停止显示虚拟显示窗口可以是逐渐地执行的。例如，显示虚拟显示窗口可包括初始地以高透明度显示虚拟显示窗口并且逐渐地降低虚拟显示窗口的透明度直到虚拟显示窗口变得不透明。在实施方案中，虚拟显示窗口的大小可逐渐地增大，直到在显示虚拟显示窗口时达到确定的大小。
205.在实施方案中，物理设备的显示器中所显示的内容的至少一部分可被显示在虚拟显示窗口中。例如，当响应于物理设备的铰接角超过阈值铰接角而显示虚拟显示窗口时，先前被显示在物理设备的显示器中的内容的至少一部分可被移动到虚拟显示窗口。
206.在实施方案中，虚拟显示窗口中所显示的内容可同时被显示(例如，共享)在物理显示器中。例如，响应于用户输入(例如，对交互式元素的选择、拖动手势、点击等)，虚拟显示窗口中所显示的内容可同时被显示(例如，共享)在物理设备的显示器中。这样，被呈现了cgr环境并且可经由电子设备感知虚拟显示窗口的用户可经由现实世界物理显示器向可能无法感知cgr环境的其他用户共享来自cgr环境的虚拟内容。
207.在实施方案中，虚拟显示窗口可相对于物理设备以特定倾斜角进行显示。在实施方案中，即使物理设备的铰接角和/或倾斜角改变，也可维持虚拟显示窗口的倾斜角。
208.在实施方案中，响应于检测到铰接已改变，可确定物理设备的新铰接角是否超过阈值铰接角。当确定新铰接角不超过阈值铰接角时，可停止对虚拟显示窗口的显示。
209.在实施方案中，停止显示虚拟显示窗口可包括将虚拟显示窗口中所显示的内容的至少一部分移动到物理设备的显示器。在实施方案中，移动到物理设备的显示器的内容可包括先前被显示在物理设备的显示器中但移动到虚拟显示窗口的内容，和/或可包括被显示在虚拟显示窗口中但先前并未显示在物理设备的显示器中的内容。
210.在实施方案中，如上所述，停止显示虚拟显示窗口可以是逐渐地执行的。例如，虚拟显示窗口的透明度可逐渐地增大，直到虚拟显示窗口不再可见为止。在另选的或附加的实施方案中，停止显示虚拟显示窗口可包括逐渐地减小虚拟显示窗口的大小，直到窗口不再可见为止。
211.本公开的各方面涉及以下系统和技术，该系统和技术提供用于在cgr环境内基于注视来控制对ui元素的显示的功能。在实施方案中，在cgr环境内基于注视来控制对ui元素(例如，光标、应用程序窗口等)的显示可包括：在cgr环境内的第一位置处显示ui元素；检测cgr环境内用户的当前注视；以及在接收到满足移动标准的请求时，在引入位置处显示ui元素并且然后将ui元素从引入位置移动到基于用户注视确定的第二位置。
212.图12a至图12e示出了根据本公开的各方面的用于在cgr环境内基于注视来控制对ui元素的显示的示例性技术。具体地讲，图12a示出了穿戴电子设备200的用户202，该电子设备被配置为允许用户202查看cgr环境1290。如上所述，在一些实施方案中，电子设备200可类似于上文参考图1a和图1b所描述的电子设备100a。
213.如图12a所示，cgr环境1290包括显示器1200。在实施方案中，显示器1200可以是显示器(例如，物理显示器，诸如物理计算机的监视器或屏幕)的表示，诸如物理显示器的计算机生成模拟。在一些实施方案中，显示器的计算机生成模拟可以是没有对应的物理对应物和/或表示的计算机生成的显示区。在这些情况下，物理显示器的计算机生成模拟可以是可能不会模拟物理显示器的显示区。在一些具体实施中，物理显示器的计算机生成模拟可被叠加在物理环境或其表示上(例如，如在mr具体实施中)，使得用户202可感知叠加在物理环境之上的物理显示器的计算机生成模拟。在其他具体实施中，物理显示器的计算机生成模拟可以是作为完全cgr环境的一部分的虚拟对象(例如，如在vr应用程序中)。
214.在一些实施方案中，显示器1200可表示经由电子设备200呈现给用户202的物理显示器。例如，显示器200可包括实际物理显示器，并且可能不是显示器的计算机生成模拟。在这种情况下，如上文相对于图2a的显示器204所描述的，显示器1200可被呈现给用户202，使得用户202可查看物理显示器，而不是查看物理显示器的计算机生成模拟。在又其他实施方案中，向用户202呈现物理显示器可通过将物理显示器的逼真图像和/或视频叠加在模拟环境上来执行。
215.在各方面，显示器1200可以是弯曲显示器。在一些实施方案中，显示器1200可延伸，使得显示器1200可部分地或完全地围绕用户202，使得用户202可将显示器1200感知为围绕他或她的显示器。
216.在实施方案中，可包括输入机构以促进用户交互。例如，输入机构可包括供用户(例如，用户202)与显示器1200或与显示器1200的ui元素进行交互的机构。在实施方案中，输入机构可包括用户的附体的表示(例如，手指、手、腿、脚等的虚拟表示)、用户的注视(例如，头部注视、眼睛注视等)、输入设备(例如，鼠标、触笔、笔、触敏表面、图像传感器等)等。在实施方案中，用户的附体的表示可包括附体的虚拟表示和/或可包括表示cgr环境内的附体的特征(例如，地点、取向、距特定点的距离等)的数据。在各方面，可使用被配置为执行手部跟踪、头部注视跟踪、眼睛注视跟踪、手指跟踪等的输入传感器(例如，触敏表面、图像传感器等)来检测输入机构。
217.在实施方案中，可提供与输入机构相关联的ui元素。例如，如图12a所示，ui元素1210可被提供并且被显示在显示器1200中。在实施方案中，ui元素1210可以是光标、应用程序窗口等。在该示例中，cgr 1290内的ui元素1210的当前地点可以是地点1220。另外，输入机构可包括用户202的注视1250。具体地讲，需注意，注视1250可具有与其相关联的方向，并且因此注视1250可指向cgr环境1290内的特定地点。
218.在实施方案中，可检测注视和注视方向。例如，可使用输入传感器和/或图像传感器来检测用户202的注视1250，该注视可以是头部注视(例如，用户头部所面向的方向)、眼睛注视(例如，用户眼睛所观看的方向)、它们的组合等。
219.图12b示出了用户202的注视1250已经移动。具体地讲，示出了注视1250指向地点1221。地点1221可以是显示器1200的区1201内的地点。如图所示，区1201可由边界1202限定。
220.在实施方案中，可使用输入传感器和/或图像传感器来检测指向区1201中的地点1221的注视1250。因此，可确定用户202的当前注视(例如，注视1250)可指向地点1221和/或指向区1201。此外，如上所述，注视1250可以是头部注视，在这种情况下可确定用户的头部
指向地点1221和/或区1201，或者可以是眼睛注视，在这种情况下可确定用户的眼睛指向地点1221和/或区1201。
221.在实施方案中，注视1250可用于确定cgr环境1290内的第二地点。第二地点可以是ui元素1210要移动到的地点。在实施方案中，第二地点可以是点(例如，地点1221)或可以是区(例如，区1201)，并且可基于注视1250所指向的地点来确定。例如，当注视1250指向地点1221和区1201时，第二地点可被确定为是地点1221或地点1201。在一些实施方案中，例如，在第二地点被确定为是区的情况下，该区内ui元素1210要移动的特定地点可以是对齐点。在这些情况下，ui元素1210可移动到该区(例如，区1201)，但是可对齐到对齐地点(例如，用户注视所指向的地点或默认地点)。在实施方案中，第二地点可基于用户确定要观看的ui元素。例如，基于注视1250，可确定用户202可能在观看地点1221处的ui元素(例如，特定可选择ui元素、状态ui元素(例如，时间图标等)、系统元素(例如，系统显示图标等)等)。
222.在一些实施方案中，可基于注视1250的停留时间来确定第二地点。例如，可在区1201处检测到注视1250，并且可确定注视1250指向地点1221。在这种情况下，当确定注视1250保持指向(例如，停留在)地点1250长达至少预定时间段时，地点1221可被确定为是第二地点。如果注视1250未保持指向地点1250长达至少预定时间段，则不确定第二地点。
223.在一些实施方案中，可基于注视1250指向特定ui元素来确定第二地点。例如，当注视1250指向区1201中的特定ui元素时，区1201或者区1201内的地点(例如，对齐地点或者区1201内注视1250可能指向的地点)可被确定为第二地点。在实施方案中，可在区1201中提供特定ui元素，其中该特定ui元素可被配置为指示将ui元素1210移动到区1201和/或移动到显示该特定ui元素的地点的请求。在这些情况下，当注视1250指向特定ui元素(例如，长达至少预定时间量)并且区1201或者区1201内的地点(例如，对齐地点或者特定ui元素的地点)可被确定为第二地点时，特定ui元素可被确定为被选择。
224.在实施方案中，确定移动ui元素1210可基于满足移动标准的移动ui元素1210的请求。例如，可接收移动ui元素1210的请求。在实施方案中，移动ui元素1210的请求可包括ui元素1210的实际移动。例如，与ui元素1210相关联或者被配置为控制ui元素1210的输入机构(例如，鼠标、触笔、笔、触敏表面、图像传感器等)可(例如，由用户202)移动，这自然可导致ui元素1210在显示器1200内的对应移动。在实施方案中，输入机构的移动可被确定为是移动ui元素1210的请求。在实施方案中，移动ui元素1210的请求可包括对输入机构的点击和保持。在实施方案中，可确定移动ui元素1210的请求是否满足移动标准。
225.在实施方案中，当已基于用户注视(例如，注视1250)确定第二地点时，可确定移动ui元素1210的请求满足移动标准。在这些情况下，对第二地点的确定可指示用户注视(例如，注视1250)已被检测为指向区1201和/或地点1221，被检测为停留在某一地点长达至少预定时期，和/或被检测为指向区1201中的特定元素，如上所述。
226.在实施方案中，当另外输入机构的移动超过阈值移动量时，可确定移动ui元素1210的请求满足移动标准。例如，如图12b所示，注视1250可指向区1201和/或地点1221。在该示例中，输入机构可移动一段输入机构移动距离。该输入机构移动距离可与阈值移动量进行比较。如果输入机构移动距离超过阈值移动量，则可确定移动ui元素1210的请求满足移动标准。相反，如果输入机构移动距离不超过阈值移动量，则可确定移动ui元素1210的请求不满足移动标准。
227.在实施方案中，当另外输入机构的移动处于特定方向上时，可确定移动ui元素1210的请求满足移动标准。例如，如图12b所示，注视1250可指向区1201和/或地点1221。在该示例中，输入机构可在方向1231上朝向区1201和地点1221移动。在该示例中，当输入机构的移动方向是朝向注视1250所指向的地点和/或区时，可确定移动ui元素1210的请求满足移动标准。相反，如果输入机构的移动方向不是朝向注视1250所指向的地点和/或区，则可确定移动ui元素1210的请求不满足移动标准。
228.在实施方案中，当另外注视1250指向特定类型的应用程序时，可确定移动ui元素1210的请求满足移动标准。例如，注视1250可指向区1201中所显示的应用程序。在该实例中，与ui元素1210相关联的输入机构可被移动。如果注视1250所指向的应用程序是特定类型，则可确定移动ui元素1210的请求满足移动标准。相反，如果注视1250所指向的应用程序不是特定类型，则可确定移动ui元素1210的请求不满足移动标准。
229.在实施方案中，如上所述，当确定移动ui元素1210的请求满足移动标准时，ui元素1210可移动到第二地点。如图12b所示，根据以上描述，第二地点可被确定为是地点1221。同样如图所示，ui元素1210的当前地点1220和第二地点(例如，地点1221)之间存在距离1230。因此，为了将ui元素1210移动到地点1221，需要遍历距离1230。应当理解，将ui元素1210从地点1220移动到地点1221可包括与输入机构(例如，鼠标、触笔、笔、触敏表面、图像传感器等)的移动一致，将ui元素1210跨显示器1200拖动到第二地点(例如，地点1221)。然而，该拖动移动可能花费较长时间，并且在一些情况下，用户可能失去对ui元素1210所在位置的跟踪。当在其中对ui元素进行显示的显示器是大显示器(例如，基本上或完全围绕用户的显示器)时，这是特别值得注意的。另一方面，将ui元素1210从地点1220移动到地点1221可包括将ui元素1210从地点1220隐形传送到地点1221。例如，ui元素1210可被显示在地点1221处，而同时停止被显示在地点1220处。然而，将ui元素1210从地点1220隐形传送到地点1221可能导致不期望的效果，例如，在ui元素1210突然出现在新地点1221时。此外，用户可能不再能看见地点1221中的ui元素1210，尤其是当新地点1221可包括正被显示的内容时，这可能使要对ui元素进行显示的位置模糊不清。
230.在实施方案中，将ui元素1210移动到地点1221可包括两阶段过程。
231.在实施方案中，实施方案的两阶段过程可被配置为促进用户感知ui元素到新地点和/或区的移动而没有不期望的意外，并且可使得更容易跟随和感知ui元素1210到地点1221的移动。在实施方案中，两阶段过程可包括将ui元素1210从地点1220隐形传送到不同于地点1221的引入地点，以及将ui元素从引入地点移动(例如，拖动)到地点1221。
232.图12c示出了从地点1220隐形传送到引入地点1222的ui元素1210。在实施方案中，将ui元素1210从地点1220隐形传送到引入地点1222可包括在引入地点1222处显示ui元素1210，而同时或几乎同时停止在地点1220处显示ui元素1210。结果是ui元素1210看起来是从地点1220隐形传送到地点1222。
233.在实施方案中，可基于第二地点(例如，地点1221)来确定引入地点1222。例如，引入地点可被确定为是在地点1220的方向上距第二地点预定距离处的地点。在实施方案中，引入地点1222也可以是基于第二地点所在的区确定的地点。例如，显示器1200的每个区可具有预定引入地点。例如，引入地点1222可以是区1201的预定引入地点。
234.图12d示出了ui元素1210在从地点1220隐形传送到引入地点1222之后初始地从引
入地点1222移动到地点1221。图12e示出了移动到地点1221的ui元素1210。在实施方案中，将元素1210从引入地点1222移动到地点1221可以动画方式进行显示，并且用户可感知到ui元素1210移动、滑动或以其他方式从引入地点1222拖动到地点1221。在一些实施方案中，作为对ui元素1210从引入地点1222到地点1221的移动的动画显示的一部分，也可播放音频。在一些实施方案中，当ui元素1210从地点1220隐形传送到引入地点1222时，可播放不同的音频。
235.图13是示出了用于在cgr环境内基于注视来控制对ui元素的显示的方法1300的流程图。在一些实施方案中，方法1300可由系统100或系统100的一部分执行。在一些实施方案中，方法1300可由一个或多个外部系统和/或设备执行。在一些实施方案中，方法1300可由系统100(或系统100的一部分)结合一个或多个外部系统和/或设备来执行。
236.在框1302处，系统经由电子设备(例如，可穿戴电子设备、hmd设备等)的显示器在cgr环境内的第一位置处显示ui元素。例如，可经由电子设备的第一显示器(例如，左眼显示面板)或第二显示器(例如，第二眼显示面板)在cgr环境内的第一位置处显示ui元素。
237.在实施方案中，对ui元素进行显示的第一位置可以是虚拟显示器内的地点。在实施方案中，虚拟显示器可表示弯曲显示器，该弯曲显示器具有使得该显示器可部分地或完全地围绕用户的大小，使得用户可将显示器感知为围绕他或她的显示器。
238.在实施方案中，ui元素可以是与输入机构(例如，鼠标、触笔、笔、触敏表面、图像传感器等)相关联的ui元素(例如，光标)，并且输入机构可被配置为控制ui元素。例如，ui元素可基于相关联的输入机构的对应移动而移动。在实施方案中，ui元素可以是应用程序窗口。
239.在框1304处，系统检测cgr环境内用户的当前注视。例如，可使用输入传感器和/或图像传感器来检测用户的注视。在实施方案中，用户的注视可以是头部注视、眼睛注视或它们的组合。在实施方案中，检测用户的当前注视可包括检测当前注视所指向的方向。在实施方案中，可确定当前注视指向cgr环境内的特定地点和/或区。
240.在框1306处，系统基于用户的当前注视来确定cgr环境内的第二位置。在实施方案中，第二位置不同于第一位置。例如，第二位置可以是处于cgr环境内与第一位置的区和/或地点不同的区和/或不同的地点中的位置。
241.在实施方案中，例如，在第二位置被确定为是区的情况下，该区内ui元素要移动的地点可以是对齐点。在这些实施方案中，ui元素可被移动到第二位置(例如，区)并且可被对齐到对齐地点。在实施方案中，第二位置可基于用户确定要观看的ui元素。在实施方案中，可基于用户注视的停留时间来确定第二位置。例如，第二位置可被确定为是用户注视保持指向(例如，停留)长达至少预定时间段的地点。
242.在框1308处，系统接收移动ui元素的请求。在实施方案中，移动ui元素的请求可包括与ui元素相关联的输入机构(例如，鼠标、触笔、笔、触敏表面、图像传感器等)的移动。在实施方案中，移动ui元素的请求可以是将ui元素移动一段移动距离的请求，或者可以是将ui元素在移动方向上移动的请求。在实施方案中，移动ui元素的请求可包括对输入机构的点击和保持(例如，对鼠标、触笔等的点击和保持)。
243.在框1310处，系统响应于确定该请求满足移动标准而在cgr环境内的第三位置处显示ui元素。在实施方案中，第三位置可不同于第一位置和第二位置。在实施方案中，第三位置可以是如上所述cgr环境内的引入地点。
244.在实施方案中，在cgr环境内的第三位置处显示ui元素可包括将ui元素从第一位置隐形传送到第三位置。例如，在第三位置处显示ui元素可包括在第三位置处显示ui元素，而同时或几乎同时停止在第一位置处显示ui元素。结果是ui元素看起来是从第一位置隐形传送到第三位置。
245.在实施方案中，确定请求满足移动标准可包括确定用户注视已被检测为指向第二位置，已被检测为停留在第二位置或第二位置中的ui元素上长达至少预定时间段，和/或已被检测为指向第二位置中的特定ui元素。
246.在实施方案中，确定请求满足移动标准还可包括确定输入机构的移动距离超过阈值移动量。如果输入机构移动距离超过阈值移动量，则可确定移动ui元素的请求满足移动标准。相反，如果输入机构移动距离不超过阈值移动量，则可确定移动ui元素的请求不满足移动标准。
247.在实施方案中，确定请求满足移动标准还可包括确定输入机构的移动方向处于特定方向上。如果确定输入机构的移动方向是朝向第二位置，则可确定移动ui元素的请求满足移动标准。相反，如果确定输入机构的移动方向不是朝向第二位置，则可确定移动ui元素的请求不满足移动标准。
248.在实施方案中，确定请求满足移动标准还可包括确定用户的当前注视指向特定类型的应用程序。如果确定用户的注视所指向的应用程序是特定类型，则可确定移动ui元素的请求满足移动标准。相反，如果不确定用户的注视所指向的应用程序是特定类型，则可确定移动ui元素的请求不满足移动标准。
249.在框1312处，系统响应于在第三位置处显示ui元素而根据请求将ui元素移动到第二位置。在各方面，将ui元素从第三位置移动到第二位置可包括将ui元素从第三位置滑动、拖动和/或以其他方式移动到第二位置，使得ui元素看起来是从第三位置移动(而不是隐形传送)到第二位置。
250.在实施方案中，将ui元素从第三位置移动到第二位置可包括以动画方式显示该移动。该动画显示可使得用户可感知到ui元素1210从第三位置滑动、拖动和/或以其他方式移动(而不是隐形传送)到第二位置。
251.如上所述，本技术的一个方面是采集和使用可从各种来源获取的数据以提供对低功率设备(例如，hmd设备)的专用资源管理，从而为用户节省电池寿命并且向低功率设备的用户提供专用内容。本公开设想，在一些实例中，此采集的数据可包括唯一识别或可用于接触或定位特定人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、推特id、家庭地址、与用户的健康或健身水平有关的数据或记录(例如，生命体征测量、药物信息、锻炼信息)、出生日期或任何其他识别或个人信息。
252.本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于节省用户的低功率设备的电池寿命。因此，例如，使用此类个人信息数据，系统恰当地管理资源以节省低功率设备的电池寿命。此外，本公开还预期个人信息数据有益于用户的其他用途。例如，健康和健身数据可用于向用户的总体健康状况提供见解，或者可用作使用技术来追求健康目标的个人的积极反馈。
253.本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为
满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。用户可以方便地访问此类策略，并应随着数据的采集和/或使用变化而更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法使用之外共享或出售。此外，应在收到用户知情同意后进行此类采集/共享。此外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外，应当调整政策和实践，以便采集和/或访问的特定类型的个人信息数据，并适用于包括管辖范围的具体考虑的适用法律和标准。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险流通和责任法案(hipaa)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此，在每个国家应为不同的个人数据类型保持不同的隐私实践。
254.不管前述情况如何，本公开还设想用户选择性地阻止使用或访问个人信息数据的示例。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，就管理低功率设备的资源而言，本技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。在另一示例中，用户可选择不为专门资源管理提供眼睛跟踪数据，诸如瞳孔地点、瞳孔扩张和/或眨眼速率。在又另一示例中，用户可选择限制眼镜跟踪数据被维持的时间长度或者完全禁止基线眼镜跟踪文件的开发。除了提供“选择加入”和“选择退出”选项外，本公开设想提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。
255.此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据收集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用中，数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如，出生日期等)、控制所存储数据的量和/或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户之间聚合数据)、和/或其他方法来促进去标识。
256.因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的示例，但本公开还设想各种示例也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种示例不会由于缺乏此类个人信息数据的全部或一部分而无法正常进行。例如，可对低功率设备的资源进行管理，并且可通过基于非个人信息数据或绝对最低限度的个人信息(诸如，与用户相关联的设备所请求的内容、对控制低功率设备的系统可用的其他非个人信息或公开可用信息)来推断偏好，从而选择内容(例如，状态更新和/或对象)并且将其递送给用户。