混合现实交互的制作方法
【专利说明】混合现实交互
[0001]
[0002]使用计算设备来搜索和检索相关信息是常见的任务。用于找到并显示信息的典型计算设备可包括智能电话、平板、笔记本计算机等等。然而，这样的计算设备通常限于经由专用图形用户接口和相应的显示元素(诸如，web搜索门户、超链接等)来将用户连接到相关信息。由相应的计算设备生成的这些公知接口和显示元素被绑定到该设备，并通常采用很少的上下文或不采用上下文来将其链接到用户或用户的环境。此外，典型的计算设备在其理解在其中被使用的环境和/或将该环境内的用户活动链接到与该用户相关的信息的能力方面相当受限。
[0003]概沭
[0004]本文公开了涉及用于与混合现实环境中的物理对象进行交互的系统和方法的各个实施例。例如，一个公开的实施例提供一种用于与混合现实环境中的物理对象进行交互的方法。该方法包括提供操作地连接到计算设备的头戴式显示设备，其中该头戴式显示设备包括显示系统和多个输入传感器，该显示系统用于呈现混合现实环境，而多个输入传感器包括用于捕捉物理对象的图像的相机。基于捕捉到的图像来标识物理对象，并且基于混合现实环境的一个或多个方面为标识出的物理对象确定交互上下文。
[0005]该方法包括查询物理对象的存储简档以为该物理对象确定多个交互模式。该方法包括基于交互上下文从多个交互模式中编程地选择所选的交互模式。经由头戴式显示设备的输入传感器之一来接收被定向在该物理对象处的用户输入。基于所选的交互模式将该用户输入解释成对应于虚拟动作。
[0006]该方法进一步包括对与物理对象相关联的虚拟对象执行虚拟动作以由此修改该虚拟对象的外观。该方法随后经由头戴式显示设备以经修改的外观来显示该虚拟对象。
[0007]提供该概述以便以简化形式介绍概念的选集，所述概念在以下详细描述中被进一步描述。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。
[0008]附图简沐
[0009]图1是根据本公开的一实施例的混合现实交互系统的示意图。
[0010]图2示出根据本公开的一实施例的示例头戴式显示设备。
[0011]图3是根据本公开的一实施例的用户佩戴图2的头戴式显示设备并在办公室中使用混合现实交互系统的示意透视图。
[0012]图4A、4B和4C是根据本公开的一实施例的用于与混合现实环境中的物理对象进行交互的方法的流程图。
[0013]图5是计算设备的一实施例的简化示意图解。
[0014]详细描沐
[0015]图1示出混合现实交互系统10的一个实施例的示意图。混合现实交互系统10包括可被存储在计算设备22的大容量存储18中的混合现实交互程序14。混合现实交互程序14可被加载到存储器28中并由计算设备22的处理器30执行以执行下文更为详细地描述的方法和过程中的一个或多个。
[0016]混合现实交互系统10包括混合现实显示程序32，该混合现实显示程序32可生成供经由显示设备(诸如头戴式显示器(HMD)设备36)显示的虚拟环境34以创建混合现实环境38。如以下更详细描述的，虚拟环境34可包括一个或多个虚拟对象，诸如虚拟对象140、虚拟对象242和地理定位目标虚拟对象52。这样的虚拟对象可包括由HMD设备36生成并显示的一个或多个虚拟图像，诸如三维全息对象和其他虚拟对象以及二维虚拟图像。
[0017]计算设备22可采用以下形式:台式计算设备，诸如智能电话、膝上型计算机、笔记本或平板计算机之类的移动计算设备，网络计算机，家庭娱乐计算机，交互式电视，游戏系统，或其他合适类型的计算设备。关于计算设备22的组件和计算方面的附加细节在下文中参考图5更详细地描述。
[0018]计算设备22可使用有线连接来与HMD设备36在操作上连接，或可采用经由WiF1、蓝牙或任何其他合适的无线通信协议的无线连接。例如，计算设备22可通信地耦合到网络16。网络16可采取局域网(LAN)、广域网(WAN)、有线网络、无线网络、个域网、或其组合的形式，并且可包括因特网。
[0019]如以下更详细描述的，计算设备22可经由网络16与一个或多个其他计算设备(诸如服务器20)通信。另外，图1中示出的示例将计算设备22示为与HMD设备36分开的组件。将理解，在其他示例中，计算设备22可被集成到HMD设备36中。
[0020]现在还参考图2，提供了一副具有透明显示器44的可配戴眼镜形式的HMD设备200的示例。将明白，在其他示例中，HMD设备200可以采取其他合适的形式，其中透明、半透明或不透明显示器被支撑在查看者的一只或两只眼睛前方。还将明白，图1中所示的HMD设备36可以采取HMD设备200的形式(如在下文更详细地描述的)或任何其他合适的HMD设备。另外，在本公开的范围内还可使用具有各种形状因子的许多其他类型和配置的显示设备。此类显示设备可包括手持式智能电话、平板计算机以及其他适当的显示设备。
[0021]参考图1和2，HMD设备36包括显示系统48和使图像(诸如全息对象)能够被递送到用户46的眼睛的透明显示器44。透明显示器44可被配置成向透过该透明显示器查看物理环境的用户46在视觉上增强该物理环境50的外观。例如，物理环境50的外观可以由经由透明显示器44呈现的图形内容(例如，一个或多个像素，每一像素具有相应色彩和亮度)来增强以创建混合现实环境。
[0022]透明显示器44还可被配置成使用户能够透过显示虚拟对象表示的一个或多个部分透明的像素来查看物理环境50中的物理现实世界对象(诸如，物理对象154和/或物理对象258)。如图2所示，在一个示例中，透明显示器44可包括位于透镜204内的图像生成元件(诸如例如透视有机发光二极管(OLED)显示器)。作为另一示例，透明显示器44可包括在透镜204边缘上的光调制器。在这一示例中，透镜204可以担当光导以供将光从光调制器递送到用户的眼睛。这样的光导可使得用户能够感知位于物理环境50内的用户正在查看的3D全息图像，同时还允许用户查看物理环境中的物理对象，由此创建混合现实环境。
[0023]HMD设备36还可包括各种传感器和相关系统。例如，HMD设备36可包括利用至少一个面向内的传感器216的眼睛跟踪系统62。该面向内的传感器216可以是被配置成从用户的眼睛获取眼睛跟踪数据66形式的图像数据的图像传感器。假定用户已同意获取和使用这一信息，眼睛跟踪系统62可以使用这一信息来跟踪用户的眼睛的位置和/或运动。
[0024]在一个示例中，眼睛跟踪系统62包括被配置成检测用户的每一个眼睛的注视方向的注视检测子系统。该注视检测子系统可被配置成以任何合适方式确定每一只用户眼睛的注视方向。例如，注视检测子系统可包括诸如红外光源等被配置成使得从用户的每一只眼睛反射闪光的一个或多个光源。一个或多个图像传感器然后可被配置成捕捉用户眼睛的图像。
[0025]如从收集自图像传感器的图像数据确定的闪烁和瞳孔的图像可用于确定每一眼睛的光轴。使用该信息，眼睛跟踪系统62随后可以确定用户正在注视的方向和/或用户正注视着什么物理对象或虚拟对象。这样的眼睛跟踪数据66可随后被提供给计算设备22。将理解，注视检测子系统可以具有任意适当数量和布置的光源和图像传感器。
[0026]HMD设备36还可包括从物理环境50接收物理环境数据60的传感器系统。例如，HMD设备36可包括利用至少一个面向外的传感器212 (如光学传感器)来捕捉图像数据74的光学传感器系统68。面向外的传感器212可以检测其视野内的运动，如视野内的用户46或人或物理对象所执行的基于姿势的输入或其他运动。面向外的传感器212还可从物理环境50和该环境内的物理对象捕捉二维图像信息和深度信息。例如，面向外的传感器212可包括深度相机、可见光相机、红外光相机，和/或位置跟踪相机。
[0027]HMD设备36可包括经由一个或多个深度相机的深度感测。在一个示例中，每一深度相机可包括立体视觉系统的左和右相机。来自这些深度相机中的一个或多个的时间分辨的图像可被彼此配准和/或与来自另一光学传感器(如可见光谱相机)的图像配准，且可被组合以产生深度分辨的视频。
[0028]在其他示例中，结构化光深度相机可被配置成投影结构化红外照明并对从照明被投影到其之上的场景中反射的该照明进行成像。基于所成像的场景的各个区域内邻近特征之间的间隔，可构造该场景的深度图。在其他示例中，深度相机可以采取飞行时间深度相机的形式，其被配置成将脉冲的红外照明投影到该场景上以及检测从该场景反射的照明。可以理解，在本发明的范围内可使用任意其他合适的深度相机。
[0029]面向外的传感器212可以捕捉用户46位于其中的物理环境50的图像。在一个示例中，混合现实显示程序32可包括使用这样的输入来生成对围绕该用户46的物理环境50进行建模的虚拟环境34的3D建模系统。
[0030]HMD设备36还可包括位置传感器系统72，该位置传感器系统72利用一个或多个运动传感器220来捕捉位置数据76，并由此实现对HMD设备的运动检测、位置跟踪和/或取向感测。例如，位置传感器系统72可被用来确定用户的头部的方向、速度和加速度。位置传感器系统72还可被用来确定用户的头部的头部姿态取向。在一个示例中，位置传感器系统72可包括配置成六轴或六自由度的位置传感器系统的惯性测量单元。这一示例位置传感器系统可例如包括用于指示或测量HMD设备36在三维空间内沿三个正交轴(例如，X、y、z)的