虚拟对象的智能放置以停留在头戴式显示器的视野中的制作方法

文档序号:17656543发布日期:2019-05-15 22:03阅读:148来源:国知局

诸如头戴式显示器(HMD)系统和手持式移动设备(例如,智能电话、平板计算机等等)之类的虚拟现实计算设备可被配置成向用户显示在用户的视野中和/或设备的相机的视野中的虚拟现实环境。类似地,移动设备可以使用相机取景器窗口来显示这样的信息。

提供本背景来介绍以下概述和详细描述的简要上下文。本背景不旨在帮助确定所要求保护的主题的范围,也不旨在被看作将所要求保护的主题限于解决以上所提出的问题或缺点中的任一个或全部的实现。

概述

一种HMD设备被配置成检查虚拟现实环境中新引入的对象(诸如交互式元素,包括菜单、窗口小程序和通知)的放置以确认这些对象显著地出现在用户视野内。如果预期的原始放置会将对象定位在视野之外,则HMD设备重新定位对象,以使得对象的一部分在HMD显示器中最接近其原始放置的边缘处是可查看的。此类虚拟对象的智能放置使得用户能够在新对象被引入虚拟现实环境内时容易地发现新对象,并且接着在对于支持更优化的交互和用户体验而言是舒适的运动和/或头部位置范围内与对象交互。

在一说明性示例中,如果在菜单对象被引入时用户正以向下倾斜的下颚看向虚拟世界的地面,则仅仅菜单对象的一部分在朝向用户视野顶部的HMD显示器上被呈现为可见。仅仅示出新菜单对象的一部分使得用户在下颚向下的头部位置中仍然能够发现对象。将对象部分定位在沿显示器的上边缘向用户指示他能够通过将他的下颚抬起向前看来查看完整菜单对象。一旦用户头部被定向为提供支持原始对象位置的视野,HMD设备在用户的视野内呈现新菜单对象并且通常能够实现完全交互。在这一说明性示例中,当新菜单对象被引入虚拟世界中时头部被定向成与下颚向下取向相比较中性的姿态时,与菜单对象的用户交互更优化和舒适。

提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征,亦非旨在用作辅助确定要求保护的主题的范围。此外,所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。应当理解,上述主题可被实现为计算机控制的装置、计算机进程、计算系统或诸如一个或多个计算机可读存储介质等制品。通过阅读下面的详细描述并审阅相关联的附图,这些及各种其他特征将变得显而易见。

附图简述

图1示出一个说明性的虚拟现实环境,在HMD设备的用户的视野内呈现了该虚拟现实环境的一部分;

图2示出HMD设备的用户位于其中的说明性现实世界环境;

图3示出了由HMD传感器封装提供的说明性数据;

图4-10示出了在HMD设备用户的视野内显示的说明性交互式虚拟对象;

图11描绘正由HMD设备捕捉的与现实世界对象相关联的表面重构数据;

图12示出了说明性表面重构流水线的框图;

图13、14和15是可以使用HMD设备执行的说明性方法的流程图;

图16是虚拟现实HMD设备的说明性示例的图形视图;

图17示出虚拟现实HMD设备的说明性示例的功能框图;

图18和19是可用作虚拟现实HMD设备的组件的说明性封闭面罩的图形前视图;

图20示出了在被部分分解时的封闭面罩的视图;

图21示出了封闭面罩的幻影线前视图;

图22示出了封闭面罩的图形后视图;以及

图23示出了示例性计算系统。

各附图中相同的附图标记指示相同的元素。除非另外指明否则各元素不是按比例绘制的。

详细描述

在位于相关联的现实世界空间中时,用户通常可以在HMD设备所呈现的虚拟现实环境中进行探索、导航、交互以及移动。一说明性虚拟现实环境100被示出在图1中并且一说明性现实世界空间200被示出在图2中。用户102采用HMD设备104来体验被可见地呈现在光学显示器上并且在一些实现中可包括音频和/或触觉/触摸感觉的虚拟现实环境100。在该特定非限制示例中,虚拟现实环境100包括具有用户102可看见并与其交互的各种建筑、商店等的城市街道。当用户改变其头部的位置或朝向和/或在现实世界空间内移动时,其虚拟现实环境的景色可以改变。(由图1中的虚线区域110表示的)视野可被设定尺寸和形状,并且可以控制该设备的其它特性来使得HMD设备体验可视地沉浸式体验以为用户提供在虚拟世界的强烈存在感。

如图3所示,HMD设备104配置有传感器封装300。在下文中更详细描述地描述示例性传感器。传感器封装300可以支持各种功能,包括可用于头部追踪以确定用户头部在物理现实世界空间内的3D(三维)位置和取向315的表面重构310。在一些实现中,传感器封装可以支持注视追踪320以查明用户注视的方向325,在实现本公开的虚拟对象的智能放置技术时用户注视的方向325可以与头部位置和取向数据一起使用。

在具有HMD设备104的给定用户体验期间,各种新的虚拟对象可以被引入环境。可以引入包括以下各项的各种对象中的任一者:可以与体验相整合的那些对象(诸如化身、地形、和建筑物等)、或可以被用于增强或控制体验的那些对象(诸如交互式元素,包括菜单、窗口小程序、通知等)、可以被用于促进HMD设备上支持的给定用户界面或用户体验的那些对象。在之后的示例中,新放置的虚拟对象包括交互式元素,但要强调的是,所公开的虚拟对象的智能放置技术可以适用于其他虚拟对象。

在典型的实现中,HMD设备104的视野110可以相对受限。相应地,存在被引入虚拟现实环境的虚拟对象在一给定时间将出现在用户视野之外并且因而可能难以定位或发现的可能性。相应地,根据使用传感器封装追踪的用户头部位置和取向(以及在一些实现中的注视方向),HMD设备104被配置成执行检查以确认新对象的预期位置显著地在视野110内从而能被容易地发现。在一些实现中,如果新虚拟对象的位置被如此确认,则该对象可以被置于虚拟世界中的其预期原始位置。如果新虚拟对象无法被确认为显著地在视野110内,则HMD设备104重新定位对象以使得它刚刚在显示器中最靠近原始位置的边缘上可查看。

图4到10示出智能虚拟对象放置的说明性示例。图4示出了在用户体验中的某一点处被引入用户视野110内的虚拟世界的示例性虚拟对象405(为了清楚阐述起见,虚拟世界的视野被略去)。虚拟对象405旨在是说明性的,并且所呈现的虚拟对象可以在大小、形状以及在视野中的位置方面与所示出的有所不同。在这一特定示例中,当用户头部位于中性取向(其中用户在某一任意方向上向前看)时,虚拟对象405是被完整呈现的自由漂浮的交互式元素。从该中性取向,用户可以旋转他的头部向左和向右看,向前和向后倾斜他的头部(即,下颚向下和下颚向上)以向下和向上看,并且采用倾斜和旋转的各种组合。在一些实现中,用户还可与头部运动相组合地改变他的注视方向以更改视野。要强调的是,用户可以采用的支持完整对象呈现的特定头部姿态可以根据实现而改变。一般地,与其他取向相比当用户头部被中性取向时用户具有更大的可能的头部运动范围,并且中性取向常常是维持起来最舒适的。因而,当与新交互式虚拟元素交互时,尤其当此类交互(诸如从菜单中选择选项、使用窗口小程序等)可能花费时间时,采用中性头部取向可能常常是期望的。

如果在用户正向下看时新虚拟对象405被引入,则它通常会在视野110之外,因为它的预期放置是在虚拟世界中向前看时能够被看到的一部分中,如上所述。在此情形中,如图5所示,HMD设备104用于重新定位虚拟对象,以使得仅仅虚拟对象中的一部分在在视野110中最靠近其预期原始位置的边缘。在这一示例中,当用户向下看时,虚拟对象405的底部沿视野110的上边缘可查看。当虚拟对象不完全可查看时,在这一情景中,交互性通常被禁用。

如图6所示,在时间t1,当新虚拟对象405被引入时,用户正在向下看。在时间t2,当用户向上看并且将他的头转向中性位置时,HMD设备104将新虚拟对象完成呈现在虚拟世界中其原始预期位置中,并且启用交互性。图7、8和9示出了HMD设备104如何重新定位虚拟对象405以在用户分别向上、向左和向右看时如果对象被定位在虚拟现实环境中的其预期原始位置中时原本不会看到该对象时刚刚在视野内可查看。在每一情形中,经重新定位的虚拟对象405被定位在显示器中最靠近其原始位置的边缘处。

在一些实现中,取决于特定头部姿态(即,旋转和倾斜的组合),部分视图中的经重新定位的虚拟对象可以被动态地定位和/或重新定位在视野周界周围的各个点处。HMD设备将新虚拟对象的部分视图定位在视野中可以被用作一种指导或引导用户头部在空间中的位置和/或定位以使得新虚拟对象能够以完整视图被看到的方法。用户可以被预期在部分视图的方向上直观地移动他的头部以看见新虚拟对象的完整视图。

图10示出了在一些情形中可以被应用于经重新定位的虚拟对象405的各种可任选处理。在一些场景中,包括颜色、图形、动画化、文本等的突出显示(由参考标号1010代表性地表示)可以被应用于虚拟对象以收集用户注意力和/或提供信息或引导。单独的图形或文本指示符1015也可被使用。另外,当用户将他的头部移动到允许新虚拟对象405的完整视图被呈现的位置/取向时,该对象可以被动画化以从其沿视野110边缘的部分视图移动到其完整视图。在一些场景中,还可采用动画化,如图10中的参考标号1020说明性地指示的。

如上所述,设备104被配置成通过使用包括集成深度传感器1105的传感器封装(如图11所示)来执行头部追踪来获得表面重构数据1100。在替换实现中,可以使用合适的立体图像分析技术来导出深度数据。图12示出用于获得现实世界空间中的对象的表面重构数据的说明性表面重构数据流水线1200。需要强调的是所公开的技术是说明性的,并且根据特定实现的要求可以使用其它技术和方法。原始深度传感器数据1202被输入到传感器的3D(三维)姿势估计中(框1204)。传感器姿势跟踪可以例如使用在预期表面和当前传感器测量之间的ICP(迭代最近点)算法来实现。传感器的每个深度测量可以使用例如被编码为符号距离场(SDF)的表面被整合(框1206)到容积表示中。使用循环,SDF被光线投射(框1208)入所估计的系中以提供所述深度图与之对齐的密集表面预测。因而,当用户102环顾虚拟世界时,与现实世界空间200(图2)相关联的表面重构数据可以被收集并且被分析以确定用户头部在空间内的位置和取向。

图13、14和15是可使用HMD设备104来执行的说明性方法的流程图。除非明确说明,否则流程图中所示并且在伴随的文本中描述的方法或步骤不限于特定的次序或顺序。此外,一些方法或其步骤可同时发生或被执行,并且取决于给定实现的要求,在这一实现中不是所有方法或步骤均需要被执行,并且一些方法或步骤可以是可选地被使用。

图13中的方法1300可由支持虚拟现实环境的呈现的HMD设备来执行。在步骤1305,获得描述与HMD设备的用户邻接的物理空间的传感器数据。传感器数据可包括例如使用集成在HMD设备中的深度传感器的深度数据,或者可从外部传感器或源中获得。来自立体成像分析的深度也可被用来创建深度数据。在步骤1310,传感器数据被用来例如使用表面重构来重构物理空间的几何形状。

在步骤1315,物理空间的经重构的几何形状被用来执行对用户头部的追踪以确定虚拟现实环境的当前视野。在一些场景中,在确定当前视野时也可利用注视检测。

当虚拟对象被新引入虚拟现实环境时,在步骤1320,其原始位置被检查。虚拟对象可以被置于虚拟环境内的某一任意位置处。在一些情形中,新对象及其原始位置可具有与虚拟现实环境的某一其他对象或方面相关联的上下文。例如,新对象可以是与图1中的虚拟环境100中示出的城市景观中的特定建筑物相关联的通知。在此类情形中,当他看向大楼时,可能期望通知对象被放置在用户视野内。相应地,通知对象的原始位置可以在例如建筑物的前门附近。在其他情形中,新虚拟对象可能与虚拟现实环境中的特定位置不具有关联。然而,代替将新虚拟对象完全引入用户的当前视野,仅在用户的头部被定位和/或定向在某一阈值范围内时完整地呈现对象可能更优化。当用户以特定头部取向与以用户交互性为特征的一些虚拟对象交互时,可以支持更好的用户体验。例如,如果当用户具有下颚向下的头部取向时通过感测到的头部运动支持交互性的菜单对象被呈现,对于用户而言与菜单对象交互可能是不舒适的,因为与中性取向相比他的头部运动范围受限。

在步骤1325,如果原始位置在当前视野之外,则HMD设备重新定位新虚拟对象,以使得对象的至少一部分在当前视野之内可查看。在步骤1330,当对象的原始位置在当前视野内时,新虚拟对象基本上被完整呈现。替换地,在步骤1335,当用户头部进入对于用户而言一般较舒适的某一预定头部取向范围内时,新虚拟对象基本上被完整呈现。在一些情形中,虚拟对象可以被启动,并且接着被锚定到虚拟世界中不同于其原始位置的一位置处。例如,当用户向下看时,新菜单对象可以被启动并且向用户视野顶部被剪辑。在此情形中,菜单对象可以被锚定在虚拟世界中可能低于其预期原始位置的那个位置处。

图14中的方法1400可以由HMD设备来执行,HMD设备具有一个或多个处理器、用于使用可变视野来呈现虚拟现实环境的显示器、以及存储计算机可读指令(诸如可以被用于实现该方法的软件代码)的一个或多个存储器设备。在步骤1405,使用被纳入HMD设备中的可包括深度传感器或相机系统的传感器封装来生成表面重构数据。在步骤1410,表面重构数据被用于动态地追踪虚拟现实环境的用户当前视野。可利用各种合适的表面重构技术,包括图12中的流水线中示出的其中多个交叠的表面被整合的表面重构技术。在步骤1415,确定被引入虚拟现实环境的新虚拟对象的原始位置是否能够使得新虚拟对象在用户的当前视野中被看到。响应于该确定,在步骤1420,HMD设备被操作以响应于该确定来将新虚拟对象从原始位置重新定位,以使得新虚拟对象的至少一部分在用户的当前视野内可查看。在步骤1425,HMD设备改变新虚拟对象在用户视野内的位置以向用户提供指导。例如,虚拟对象部分的定位可以沿视野的外边缘移动,以帮助将用户头部引导到实现虚拟对象的完整视图的合适位置和取向。

图15中的方法1500可以由存储在HMD设备中的指令来执行,HMD设备在物理空间中操作并且具有呈现虚拟现实环境的显示器。在步骤1505,使用来自HMD设备板上的传感器封装的数据来动态生成物理空间的表明重构模型。该模型可随着用户在物理空间内移动例如在逐帧或其他合适的基础上被更新。在步骤1510,当前表面重构模型被用于确定虚拟现实环境的用户当前视野。在步骤1515,通过将引入虚拟现实环境的虚拟对象的一部分定位在当前视野边缘处来实现对虚拟对象的发现。在步骤1520,该定位可根据作为用户移动的结果而发生的视野改变而变动。

现转至各说明性实现细节,根据本布置的透视、混合现实显示设备可以采用任何合适的形式,包括但不限于诸如HMD设备104和/或其它便携式/移动设备之类的近眼设备。图16示出了透视混合现实显示系统1600的一个特定说明性示例,而图17显示了系统1600的功能框图。显示系统1600包括形成透视显示子系统1604的一部分的一个或多个透镜1602,以便图像可以使用透镜1602(例如,使用到透镜1602上的投影、并入透镜1602中的一个或多个波导系统和/或以任何其他合适的方式)来显示。显示系统1600进一步包括被配置成获取正在被用户查看的背景场景和/或物理空间的图像的一个或多个面向外的图像传感器1606,并可包括被配置成检测声音(诸如来自用户的语音命令)的一个或多个话筒1608。面向外的图像传感器1606可包括一个或多个深度传感器和/或一个或多个二维图像传感器。在替换布置中,代替纳入透视显示子系统,混合现实显示系统可以通过面向外的图像传感器的取景器模式来显示混合现实图像。

显示系统1600还可以进一步包括被配置成检测用户的每一眼睛的注视方向或焦点的方向或位置的注视检测子系统1610,如上文所描述的。注视检测子系统1610可以配置来以任何合适方式确定用户每只眼睛的注视方向。例如,在所示的说明性示例中,注视检测子系统1610包括被配置成导致光的闪烁从用户的每一眼球反射的一个或多个闪光源1612(诸如红外光源),以及被配置成捕捉用户的每一眼球的图像的一个或多个图像传感器1614(诸如面向内的传感器)。根据使用(诸)图像传感器1614收集的图像数据所确定的用户眼球的闪烁和/或用户瞳孔的位置中变化可以用于确定注视方向。

此外,从用户眼睛投射的注视线与外部显示器交叉的位置可以用于确定用户注视的对象(例如,所显示的虚拟对象和/或真实的背景对象)。注视检测子系统1610可以具有任何合适数量和布置的光源以及图像传感器。在一些实现中,可以省略注视检测子系统1610。

显示系统1600还可以包括附加传感器。例如,显示系统1600可以包括全球定位系统(GPS)子系统1616,以允许确定显示系统1600的位置。这可以帮助标识可以位于用户的毗邻物理环境中的现实世界的对象(诸如建筑物等等)。

显示系统1600还可以包括一个或多个运动传感器1618(例如惯性、多轴陀螺仪或加速度传感器),以在用户戴着作为增强现实HMD设备的部分的所述系统时检测用户头的移动和位置/朝向/姿势。运动数据可以潜在地与眼睛跟踪闪烁数据和面向外的图像数据一起被使用来用于注视检测以及用于图像稳定化,以帮助校正来自(诸)面向外图像传感器1606的图像中的模糊。运动数据的使用可以允许注视位置的变化被跟踪,即使不能解析来自(诸)面向外的图像传感器1606的图像数据。

另外,运动传感器1618,以及话筒1618和注视检测子系统1610,还可以被用作用户输入设备,以便用户可以通过眼睛、颈部和/或头部的姿势,以及在一些情况中通过语音命令,与显示系统1600进行交互。可以理解,图16和17中所示出的并在附随的文本中描述的传感器只是出于示例的目的被包括,而不旨在以任何方式作出限制,因为可以使用任何其他合适的传感器和/或传感器的组合来满足增强现实HMD设备的特定实现的需求。例如,生物特征传感器(例如用于检测心脏和呼吸速率、血压、大脑活动、体温等)或环境传感器(例如用于检测温度、湿度、海拔、UV(紫外线)光等级等)可以在一些实现中被使用。

显示系统1600可以进一步包括通过通信子系统1626与传感器、注视检测子系统1610、显示子系统1604,和/或其他组件进行通信的具有逻辑子系统1622和数据存储子系统1624的控制器1620。通信子系统1626还可以促成显示系统与位于远程的资源(例如处理、存储、功率、数据和服务)结合操作。就是说,在一些实现中,HMD设备可以被作为一种系统的部分来操作,该系统可以在不同的组件和子系统间分布资源和能力。

存储子系统1624可以包括存储在其上的指令,这些指令能被逻辑子系统1622执行例如用以:接收并解释来自传感器的输入、标识用户的位置和移动、使用表面重构和其它技术来标识现实对象,以及基于到对象的距离来调暗/淡出显示以便允许所述对象被用户看到,以及其它任务。

显示系统1600被配置有一个或多个音频换能器1628(例如扬声器、耳机等),使得音频可以被用作增强现实体验的部分。功率管理子系统1630可包括一个或多个电池1632和/或保护电路模块(PCM)以及相关联的充电器接口1634和/或用于对显示系统1600中的组件供电的远程电源接口。

可以理解,所描绘的显示设备104和1600是出于示例的目的来描述的,并由此不旨在是限制性的。还应理解,显示设备可包括除所示出的那些之外的附加的和/或替换的传感器、相机、话筒、输入设备、输出设备等,而不会背离本布置的范围。附加地,显示设备及其各传感器和子组件的物理配置可采取各种不同的形式,而不会背离本安排的范围。

图18-22示出可被用作HMD设备的组件的增强现实显示系统1800的说明性替换实现。在该示例中,系统1800使用透视封闭面罩1802,该封闭面罩1802被配置成保护透视显示子系统所利用的内部光学器件组装件。面罩1802通常与HMD设备的其他组件(未示出)对接,其他组件为诸如头部安装/维持系统和其他子系统(包括传感器、电源管理、控制器等),如结合图16和17说明性地描述的。包括卡扣、夹箍、螺钉和其他紧固件等的合适接口元件(未示出)也可被合并到面罩1802中。

该面罩分别包括透视前护罩1804和透视后护罩1806,透视前护罩1804和透视后护罩1806可使用透明材料来建模以促成对光学显示器和周围的现实世界环境的未经遮挡的视觉。可向前护罩和后护罩应用诸如染色、镜化、防反射、防雾和其他镀膜之类的处理,并且还可利用各种色彩和饰面。前护罩和后护罩被固定到如在图19中的部分剖视图中描绘的底座1905,在该部分剖视图中,护罩壳体1910被示为与面罩1802分解。

在HMD设备被佩戴并在操作中被使用时,以及在正常清洁处理等期间,封闭面罩1802可物理地保护敏感的内部组件,包括(在图20中的分解视图中示出的)光学器件显示子部件2002。面罩1802还可保护光学器件显示子部件2002免受各环境要素影响,并在HMD设备被掉落或撞击、被碰撞等情况下免遭损坏。光学器件显示子部件2002按使得各护罩在掉落或碰撞之际被偏转时不接触该子部件的方式被安装在封闭面罩内。

如图20和22所示,后护罩1806按人体工程学上正确的形式被配置成与用户的鼻子和鼻托2204(图22)对接,并且可包括其他舒适特征(例如,作为分立组件来成型和/或添加)。在一些情况下,封闭面罩1802还可将某一水平的光学屈光度曲率(即,眼睛处方)纳入成型的护罩中。

图23示意性地示出了在实现以上描述的配置、布置、方法和过程中的一者或多者时可使用的计算系统2300的非限制性实施例。HMD设备104可以是计算系统2300的一个非限制性示例。计算系统2300以简化形式被示出。可理解,可以使用实际上任何计算机架构,而不偏离本布置的范围。在不同的实施例中,计算系统2300可以采取显示设备、可穿戴计算设备、大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如智能电话)等等的形式。

计算系统2300包括逻辑子系统2302和存储子系统2304。计算系统2300可任选地包括显示子系统2306、输入子系统2308、通信子系统2310和/或在图23中未示出的其他组件。

逻辑子系统2302包括被配置成执行指令的一个或多个物理设备。例如,逻辑子系统2302可以被配置为执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其它逻辑构造的一部分的指令。可以实现这样的指令为执行任务、实现数据类型、变换一个或多个组件的状态或以其它方式达到所需的结果。

逻辑子系统2302可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换,逻辑子系统2302可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统2302的处理器可以是单核或多核的,而其上执行的程序可以被配置用于串行、并行或分布式处理。逻辑子系统2302可任选地包括分布在两个或更多设备之间的独立组件,这些独立组件可位于远程和/或被配置用于进行协调处理。逻辑子系统2302的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。

存储子系统2304包括一个或多个物理设备,该一个或多个物理设备被配置成保持逻辑子系统2302可执行来实现本文中所述的方法和过程的数据和/或指令。在实现此类方法和过程时,存储子系统2304的状态可以被变换(例如,以保持不同的数据)。

存储器子系统2304可包括可移动介质和/或内置设备。存储子系统2304可包括光学存储器设备(例如,CD(压缩盘)、DVD(数字多功能盘)、HD-DVD(高清DVD)、蓝光盘等)、半导体存储器设备(例如,RAM(随机存取存储器)、ROM(只读存储器)、EPROM(可擦除可编程ROM)、EEPROM(电可擦除ROM)等)和/或磁性存储设备(例如,硬盘驱动器、软盘驱动器、磁带驱动器、MRAM(磁致电阻RAM)等)等等。存储子系统2304可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、和/或内容可寻址设备。

可领会,存储子系统2304包括一个或多个物理设备,并排除传播信号自身。然而,在一些实现中,本文描述的指令的各方面可经由通信介质通过纯信号(例如,电磁信号、光学信号等)来传播,而不是被存储在存储设备上。此外,与本布置有关的数据和/或其他形式的信息可以通过纯信号来传播。

在一些实施例中,逻辑子系统2302和存储子系统2304的各方面可以被一起集成到一个或多个硬件-逻辑组件中,通过所述组件来执行在此所述的功能性。这样的硬件逻辑组件可包括:例如,现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)系统以及复杂可编程逻辑设备(CPLD)。

在被包括时,显示子系统2306可用于呈现由存储子系统2304保存的数据的视觉表示。此视觉表示可采用图形用户界面(GUI)的形式。由于目前描述的方法和过程改变了由存储子系统保持的数据,并由此变换了存储子系统的状态,因此同样可以转变显示子系统2306的状态以视觉地表示底层数据的改变。显示子系统2306可包括利用几乎任何类型的技术的一个或多个显示设备。在一些情况下,可将此类显示设备与逻辑子系统2302和/或存储子系统2304一起组合在共享封装中,或者在其他情况下,此类显示设备可以是外围触摸显示设备。

在包括输入子系统2308时,输入子系统2308可包括一个或多个用户输入设备(诸如键盘、鼠标、触摸屏或游戏控制器)或与其对接。在一些实施例中,输入子系统可包括所选择的自然用户输入(NUI)组件或与其对接。这样的组件可以是集成的或外围的,且输入动作的转导和/或处理可以在板上或板外被处理。示例性NUI组件可包括用于语言和/或语音识别的话筒;用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机;用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪;以及用于评估脑部活动的电场感测组件。

在包括通信子系统2310时,通信子系统2310可以被配置成将计算系统2300与一个或多个其他计算设备通信耦合。通信子系统2310可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例,通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中,通信子系统可允许计算系统2300使用诸如因特网这样的网络将消息发送至其他设备以及/或者从其他设备接收消息。

本发明的虚拟对象的智能放置以停留在头戴式显示器的视野中的各示例性实施例现在作为说明而非作为所有实施例的穷尽性列表被提出。一示例包括一种由支持虚拟现实环境在视野内的呈现的头戴式显示器(HMD)设备执行的方法,包括:获得描述与所述HMD设备的用户邻接的物理空间的传感器数据;使用所述传感器数据来重构所述物理空间的几何形状;使用经重构的几何形状来追踪所述物理空间中的用户头部以确定当前视野;当新虚拟对象被引入虚拟现实环境时,检查其原始位置;以及如果原始位置在当前视野之外,则重新定位新虚拟对象,以使得在被重新定位时新虚拟对象的至少一部分在当前视野之内。

在另一示例中,传感器数据包括深度数据,并且该方法进一步包括使用深度传感器来生成该传感器数据,并应用表面重构技术来重构所述物理空间几何形状。在另一示例中,该方法进一步包括使用通过立体成像的深度分析来生成深度数据。在另一示例中,该方法进一步包括将新虚拟对象沿视野边缘重新定位在最接近虚拟现实环境中的原始位置的一位置中。在另一示例中,该方法进一步包括在原始位置在视野之内时基本上完整呈现新虚拟对象。在另一示例中,该方法进一步包括当头部取向在用户的舒适取向范围内时基本上完整呈现新虚拟对象。在另一示例中,舒适取向范围包括中性头部取向。在另一示例中,该方法进一步包括在确定当前视野时检测用户的注视方向。在另一示例中,新虚拟对象是支持用户界面或用户体验的交互式元素。在另一示例中,交互式元素是菜单、窗口小程序、或通知之一。

又一示例包括一种能由物理环境中的用户操作的头戴式显示器(HMD)设备,包括:一个或多个处理器;显示器,所述显示器用于向用户呈现虚拟现实环境,所呈现的虚拟现实环境的视野至少部分地取决于用户头部在物理环境中的姿态而可变;传感器封装;以及存储计算机可读指令的一个或多个存储器设备,所述计算机可读指令在被所述一个或多个处理器执行时执行一种方法,所述方法包括以下步骤:使用所述传感器封装为物理环境的至少一部分生成表面重构数据,使用表面重构数据来动态追踪虚拟现实环境的用户的视野,确定被引入虚拟现实环境的新虚拟对象的原始位置是否能够使得新虚拟对象在用户的当前视野中可查看,以及操作HMD设备以响应于所述确定来将新虚拟对象从原始位置重新定位,以使得新虚拟对象的至少一部分在用户的当前视野内可查看。

在另一示例中,该HMD设备进一步包括响应于来自用户的移动来改变新虚拟对象在当前视野内的位置,该移动包括头部移动或眼睛移动。在另一示例中,定位被改变以将用户引导至新虚拟对象的原始位置,并且进一步包括在当前视野包括原始位置时以完整视图呈现新虚拟对象。在另一示例中,定位被改变以引导用户采用落在预定范围内的头部姿态,并且进一步包括在该头部姿态被采用时以完整视图呈现新虚拟对象。在另一示例中,HMD设备进一步包括使用表面重构数据流水线对物理环境进行建模,该表面重构数据流水线实现一种创建被整合的多个交叠表面的容积方法。在另一示例中,HMD设备进一步包括基本上包围该显示器的封闭保护面罩。

又一示例包括存储计算机可执行指令的一个或多个计算机可读存储器,这些指令用于在头戴式显示器(HMD)设备的可变视野内呈现虚拟现实环境,该HMD设备位于现实世界空间中,该方法包括以下步骤:使用来自被纳入HMD设备中的传感器封装的数据来动态生成现实世界空间的表面重构模型;使用该模型来确定虚拟现实环境的当前视野;通过将虚拟对象的至少一部分定位在当前视野的边缘处来实现用户对被引入虚拟现实环境的虚拟对象的发现;以及在当前视野随着用户移动而改变时,调整虚拟对象的位置。

在另一示例中,该调整包括将虚拟对象的位置沿当前视野的边缘移动。在另一示例中,该一个或多个计算机可读存储器进一步包括在用户头部姿态在阈值范围内时将虚拟对象定位成在当前视野内基本上完全可查看。在另一示例中,该一个或多个计算机可读存储器进一步包括在虚拟对象的预期原始位置在当前视野内时将虚拟对象定位成在当前视野内基本上完全可查看。

尽管用结构特征和/或方法动作专用的语言描述了本主题,但可以理解,所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言,上述具体特征和动作是作为实现权利要求的示例形式公开的。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1