本公开整体涉及提供计算机生成的体验的计算机系统,包括但不限于经由显示器提供虚拟现实和混合现实体验的电子设备。
背景技术:
1、近年来,用于增强现实的计算机系统的发展显著增加。示例增强现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强现实环境进行交互。示例虚拟元素包括诸如数字图像、视频、文本、图标和控制元素(诸如按钮和其他图形)的虚拟对象。
技术实现思路
1、用于与包括至少一些虚拟元素的环境(例如,应用、增强现实环境、混合现实环境和虚拟现实环境)进行交互的一些方法和界面是麻烦、低效并且受限的。例如,提供用于执行与虚拟对象相关联的动作的不足反馈的系统、需要一系列输入来在增强现实环境中实现期望结果的系统,以及虚拟对象操纵复杂、繁琐且容易出错的系统,会给用户造成巨大的认知负担,并且减损虚拟/增强现实环境的体验感。此外,这些方法花费的时间比必要的要长,从而浪费了计算机系统的能量。这后一考虑在电池驱动的设备中是特别重要的。
2、因此,需要具有改进的方法和界面的计算机系统来向用户提供计算机生成的体验,从而使得用户与计算机系统的交互对用户来说更有效且更直观。此类方法和界面任选地补充或替换用于向用户提供扩展现实体验的常规方法。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系,减少了来自用户的输入的数量、程度和/或性质,从而形成了更有效的人机界面。
3、通过所公开的系统减少或消除了与计算机系统的用户界面相关联的上述缺陷和其他问题。在一些实施方案中,计算机系统是具有相关联显示器的台式计算机。在一些实施方案中,计算机系统是便携式设备(例如,笔记本计算机、平板计算机或手持式设备)。在一些实施方案中,计算机系统是个人电子设备(例如,可穿戴电子设备,诸如手表或头戴式设备)。在一些实施方案中,计算机系统具有触摸板。在一些实施方案中,计算机系统具有一个或多个相机。在一些实施方案中,计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中,计算机系统具有一个或多个眼睛跟踪部件。在一些实施方案中,计算机系统具有一个或多个手部跟踪部件。在一些实施方案中,除显示生成部件之外,计算机系统还具有一个或多个输出设备,这些输出设备包括一个或多个触觉输出发生器和/或一个或多个音频输出设备。在一些实施方案中,计算机系统具有图形用户界面(gui)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中,用户通过触控笔和/或手指在触敏表面上的接触和手势、用户的眼睛和手在相对于gui(和/或计算机系统)或用户身体的空间中的移动(如由相机和其他移动传感器捕获的)和/或语音输入(如由一个或多个音频输入设备捕获的)与gui进行交互。在一些实施方案中,通过交互执行的功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时通讯、测试支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的暂态和/或非暂态计算机可读存储介质或其他计算机程序产品中。
4、需要具有用于与三维环境中的内容进行交互的改进方法和界面的电子设备。此类方法和界面可补充或替换用于与三维环境中的内容交互的常规方法。此类方法和界面减少了来自用户的输入的数量、程度和/或性质,并且产生更高效的人机界面。对于电池驱动的计算设备,此类方法和界面节省功率,并且增大电池充电之间的时间间隔。
5、在一些实施方案中,计算机系统显示示出可能交互的区域的虚拟内容,并且显示沉浸式虚拟内容。在一些实施方案中,计算机系统停止沉浸式虚拟内容的显示,并且显示可能交互的区域。在一些实施方案中,计算机系统基于注意力生成针对被虚拟内容遮挡的物理对象的警告。在一些实施方案中,计算机系统基于注意力为物理环境中的人降低虚拟内容的视觉显著性。
6、需注意,上述各种实施方案可与本文所述任何其他实施方案相结合。本说明书中描述的特征和优点并不全面,具体来说,根据附图、说明书和权利要求书,许多另外的特征和优点对本领域的普通技术人员将是显而易见的。此外,应当指出,出于可读性和指导性目的,在原则上选择了本说明书中使用的语言,并且可以不这样选择以描绘或界定本发明的主题。
1.一种方法,所述方法包括:
2.根据权利要求1所述的方法,其中经由所述显示生成部件显示与在以大于所述沉浸阈值的所述沉浸水平显示所述虚拟内容时所述计算机系统的所述用户可能将与其交互的所述物理环境的所述相应区域相对应的所述视觉指示,包括:
3.根据权利要求1至2中任一项所述的方法,其中与所述计算机系统的用户可能将与其交互所述物理环境的的所述相应区域相对应的所述视觉指示与所述物理环境的地板相关联地显示。
4.根据权利要求3所述的方法,其中所述视觉指示具有第一形状,并且其中所述视觉指示是至少部分地半透明的。
5.根据权利要求3至4中任一项所述的方法,其中所述第一形状是椭圆形的并且具有第一相应直径,并且所述视觉指示包括多个形状,所述多个形状包括所述第一形状和不同于所述第一形状的第二形状,其中所述第二形状具有不同于所述第一直径的第二直径。
6.根据权利要求1至5中任一项所述的方法,其中所述经由所述显示生成部件显示与所述计算机系统的所述用户可能将与其交互的所述物理环境的所述相应区域相对应的所述视觉指示包括显示从对应于所述用户的相应部分的三维环境中的第一位置扩展到不同于所述第一位置的所述三维环境中的第二位置的所述视觉指示的边界的动画。
7.根据权利要求6所述的方法,其中所述动画包括应用于所述计算机系统的所述用户可能将与其交互的所述物理环境的所述相应区域的表面的视觉效果。
8.根据权利要求6至7中任一项所述的方法,所述方法还包括:
9.根据权利要求1至8中任一项所述的方法,其中经由所述显示生成部件以大于所述沉浸阈值的所述沉浸水平显示所述虚拟内容包括:
10.根据权利要求1至9中任一项所述的方法,所述方法还包括:
11.根据权利要求10所述的方法,其中满足所述一个或多个标准与虚拟内容已被以大于所述沉浸阈值的所述沉浸水平而显示的次数无关。
12.根据权利要求10至11中任一项所述的方法,所述方法还包括:
13.根据权利要求12所述的方法,其中所述一个或多个标准包括基于所述计算机系统的所述用户与所述虚拟内容的先前交互的新近度而满足的标准。
14.根据权利要求12至13中任一项所述的方法,其中所述一个或多个标准包括基于经由所述一个或多个输入设备检测到先前接收的相应输入的新近度而满足的标准,所述相应输入对应于以大于所述沉浸阈值的沉浸水平在所述物理环境的所述相应区域中显示相应虚拟内容的请求。
15.根据权利要求1至14中任一项所述的方法,其中在显示与所述计算机系统的所述用户可能将与其交互的所述物理环境的所述相应区域相对应的所述视觉指示之后用所述虚拟内容替换所述物理环境的所述相应区域的所述表示的所述至少一部分包括维持所述物理环境的所述相应区域的所述表示的至少一部分的显示。
16.根据权利要求15所述的方法,所述方法还包括:
17.根据权利要求15至16中任一项所述的方法,其中所述物理环境的所述相应区域的所述表示包括与所述计算机系统的所述用户的视点的下部区域相对应的所述物理环境的一部分。
18.根据权利要求1至17中任一项所述的方法,所述方法还包括:
19.根据权利要求1至18中任一项所述的方法,所述方法还包括:
20.根据权利要求1至19中任一项所述的方法,所述方法还包括:
21.根据权利要求1至20中任一项所述的方法,其中在检测到所述用户的所述物理环境的一个或多个特性之后,显示与所述计算机系统的所述用户可能将与其交互的所述物理环境的所述相应区域相对应的所述视觉指示,所述物理环境包括所述物理环境的所述相应区域。
22.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
23.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行时,使得所述计算机系统执行包括以下操作的方法:
24.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
25.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
26.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行时,使得所述计算机系统执行根据权利要求1至21所述的方法中的任一种方法。
27.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
28.一种方法,所述方法包括:
29.根据权利要求28所述的方法,所述方法还包括:
30.根据权利要求28至29中任一项所述的方法,所述方法还包括:
31.根据权利要求28至30中任一项所述的方法,其中与显示所述视觉指示的所述相应区域相对应的所述物理环境中的位置是相对于所述物理环境的第一相应世界锁定位置,所述方法还包括:
32.根据权利要求28至31中任一项所述的方法,所述方法还包括:
33.根据权利要求28至32中任一项所述的方法,其中与观看所述虚拟内容相关联的所述物理环境中的所述相应区域的所述视觉指示包括与所述虚拟内容相关联的信息。
34.根据权利要求33所述的方法,其中所述信息包括与所述虚拟内容相关联的应用程序的指示。
35.根据权利要求34所述的方法,其中所述应用程序的所述指示包括被显示在相应位置处的所述应用程序的视觉表示,所述相应位置与所述物理环境中的所述位置相对应并且在所述物理环境的地板上方,其中,所述物理环境中的所述位置对应于与观看所述虚拟内容相关联的所述物理环境中的所述相应区域。
36.根据权利要求33至35中任一项所述的方法,其中所述信息包括在所述物理环境的相应区域处显示的具有相应形状的视觉表示,所述相应区域对应于与所述相应区域相对应的所述物理环境中的所述位置。
37.根据权利要求36所述的方法,其中所述相应形状是基于与所述虚拟内容相关联的应用程序以具有相应值的视觉特性来显示的。
38.根据权利要求37所述的方法,其中所述相应值基于与所述应用程序相关联的相应内容。
39.根据权利要求37至38中任一项所述的方法,其中所述相应值基于所述应用程序的视觉表示中所包括的颜色。
40.根据权利要求34所述的方法,其中所述信息包括在所述物理环境的相应区域处显示的模拟照明效果,所述物理环境的所述相应区域对应于与所述相应区域相对应的所述物理环境中的所述位置。
41.根据权利要求28至40中任一项所述的方法,所述方法还包括:
42.根据权利要求41所述的方法,所述方法还包括:
43.根据权利要求28至42中任一项所述的方法,其中降低所述虚拟内容的所述至少一部分的所述视觉显著性包括:
44.根据权利要求28至43中任一项所述的方法,其中所述经由所述显示生成部件显示与观看所述虚拟内容相关联的所述物理环境中的所述相应区域的所述视觉指示包括以相对于所述物理环境的第一尺寸显示所述视觉指示,所述方法还包括:
45.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
46.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行时,使得所述计算机系统执行包括以下操作的方法:
47.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
48.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
49.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行时,使得所述计算机系统执行根据权利要求28至44所述的方法中的任一种方法。
50.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
51.一种方法,所述方法包括:
52.根据权利要求51所述的方法,所述方法还包括:
53.根据权利要求51至52中任一项所述的方法,其中所述一个或多个标准包括当所述计算机系统的所述用户的注视指向所述警告时满足的标准。
54.根据权利要求51至53中任一项所述的方法,其中所述一个或多个标准包括当所述用户的所述行为减少所述第一物理对象与所述物理环境中的所述用户的所述潜在运动范围的所述冲突时满足的标准。
55.根据权利要求54所述的方法,其中当朝向所述第一物理对象的所述用户的移动速度减小时,所述行为减少所述第一物理对象与所述物理环境中的所述用户的所述潜在运动范围的所述冲突。
56.根据权利要求54至55中任一项所述的方法,其中当朝向所述第一物理对象的所述用户的移动停止时,所述行为减少所述第一物理对象与所述物理环境中的所述用户的所述潜在运动范围的所述冲突。
57.根据权利要求54至56中任一项所述的方法,其中当所述用户的移动远离所述第一物理对象时,所述行为减少所述第一物理对象与所述物理环境中的所述用户的所述潜在运动范围的所述冲突。
58.根据权利要求51至57中任一项所述的方法,其中根据所述确定位于所述物理环境的所述第一部分中的所述第一位置处的所述第一物理对象与所述物理环境中的所述用户的所述潜在运动范围相冲突来生成所述警告包括生成具有第一显著性的所述警告,所述方法还包括:
59.根据权利要求51至58中任一项所述的方法,其中所述一个或多个标准包括当所检测的行为减少所述第一物理对象与所述物理环境中的所述用户的所述潜在运动范围的所述冲突时满足的标准。
60.根据权利要求51至59中任一项所述的方法,其中生成所述警告包括经由所述显示生成部件显示与所述第一虚拟内容分开的第二虚拟内容,其中所述第二虚拟内容在生成所述警告之前不显示。
61.根据权利要求51至60中任一项所述的方法,其中生成所述警告包括相对于与所述物理环境中的第二位置相对应的所述第一虚拟对象的第二部分,降低与所述第一物理对象的所述第一位置相对应的所述第一虚拟内容的第一部分的视觉显著性,使得所述第一物理对象通过所述第一虚拟内容的所述第一部分至少部分地可见。
62.根据权利要求51至61中任一项所述的方法,其中在显示所述第一虚拟内容的同时生成与所述第一虚拟内容相关联的第一音频输出,并且生成所述警告包括改变所述第一音频输出的一个或多个特性。
63.根据权利要求62所述的方法,其中改变所述第一音频输出的所述一个或多个特性包括生成具有与所述第一物理对象的所述第一位置相对应的方向特性的第二音频输出。
64.根据权利要求62至63中任一项所述的方法,其中改变所述第一音频输出的所述一个或多个特性包括降低所述第一音频输出的相应部分的听觉显著性,其中所述第一音频输出的所述相应部分具有与所述第一物理对象的所述第一位置相对应的方向特性。
65.根据权利要求51至64中任一项所述的方法,其中生成所述警告包括:
66.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
67.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行时,使得所述计算机系统执行包括以下操作的方法:
68.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
69.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
70.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行时,使得所述计算机系统执行根据权利要求51至65所述的方法中的任一种方法。
71.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
72.一种方法,所述方法包括:
73.根据权利要求72所述的方法,其中提高相对于所述第一虚拟内容的所述第一人的所述视觉显著性包括将所述第一人的所述视觉显著性提高到相对于所述第一虚拟内容的第一视觉显著性,所述方法还包括:
74.根据权利要求72至73中任一项所述的方法,其中所述一个或多个标准包括当所述计算机系统已检测到所述第一人的注视指向所述计算机系统的所述用户时满足的标准。
75.根据权利要求72至74中任一项所述的方法,其中所述一个或多个标准包括当所述计算机系统已检测到满足一个或多个第二标准的所述第一人的语音时满足的标准。
76.根据权利要求72至75中任一项所述的方法,其中所述一个或多个标准包括当所述计算机系统已检测到满足一个或多个第二标准的所述第一人的身体的相应部分时满足的标准。
77.根据权利要求76所述的方法,其中当所述计算机系统检测到所述第一人的所述身体的所述相应部分与所述计算机系统的所述用户的距离小于阈值距离时,满足所述标准。
78.根据权利要求76至77中任一项所述的方法,其中当所述计算机系统检测到相对于所述计算机系统的所述用户,所述第一人的所述身体的所述相应部分的取向在阈值取向以内时,满足所述标准。
79.根据权利要求72至78中任一项所述的方法,所述方法还包括:
80.根据权利要求79所述的方法,所述方法还包括:
81.根据权利要求72至80中任一项所述的方法,其中提高相对于所述第一虚拟内容的所述第一人的所述视觉显著性包括修改所述第一虚拟内容的相应部分的视觉外观,其中所述第一虚拟内容的所述相应部分的形状沿着至少一个轴是非对称的。
82.根据权利要求72至81中任一项所述的方法,其中提高相对于所述第一虚拟内容的所述第一人的所述视觉显著性包括修改所述第一虚拟内容的相应部分的视觉外观,所述方法还包括:
83.根据权利要求72至82中任一项所述的方法,其中提高相对于所述第一虚拟内容的所述第一人的所述视觉显著性包括:
84.根据权利要求83所述的方法,所述方法还包括:
85.根据权利要求83至84中任一项所述的方法,其中所述一个或多个标准是基于由所述计算机系统检测到的注意力程度大于阈值注意力程度而被满足的。
86.根据权利要求72至85中任一项所述的方法,其中提高相对于所述第一虚拟内容的所述第一人的所述视觉显著性包括将相对于所述第一虚拟内容的所述第一人的所述视觉显著性提高到相对于所述第一虚拟内容的第一视觉显著性,所述方法还包括:
87.根据权利要求72至86中任一项所述的方法,其中提高相对于所述第一虚拟内容的所述第一人的所述视觉显著性包括将相对于所述第一虚拟内容的所述第一人的所述视觉显著性提高到相对于所述第一虚拟内容的第一视觉显著性,所述方法还包括:
88.根据权利要求87所述的方法,其中所述一个或多个第二标准包括当来自所述用户的所述输入包括用于移动所述第一虚拟内容的输入时满足的标准。
89.根据权利要求87至88中任一项所述的方法,其中所述一个或多个第二标准包括当来自所述用户的所述输入包括用于滚动通过所述第一虚拟内容的输入时满足的标准。
90.根据权利要求87至89中任一项所述的方法,其中所述一个或多个第二标准包括当来自所述用户的所述输入包括与关联于所述第一虚拟内容的一个或多个控件交互的输入时满足的标准。
91.根据权利要求87至90中任一项所述的方法,其中所述一个或多个第二标准包括当来自所述用户的所述输入包括所述用户的身体的一部分处于相应位姿时满足的标准。
92.根据权利要求72至91中任一项所述的方法,其中所述第一虚拟内容是经由所述显示生成部件而与环境的相应部分同时可见的,所述方法还包括:
93.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
94.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行时,使得所述计算机系统执行包括以下操作的方法:
95.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
96.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
97.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行时,使得所述计算机系统执行根据权利要求72至92所述的方法中的任一种方法。
98.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括: