自适应事件识别的制作方法
【专利说明】自适应事件识别
[0001]
[0002]在用户界面系统中，使用户输入以及系统对该输入的响应之间的用户经历的等待时间最小化会创建更自然且愉快的用户体验。例如在扩增现实系统中，降低此类等待时间提供了更高质量且更具真实性的扩增现实体验。在一些扩增现实系统中，一个或多个传感器可接收触发系统响应的用户输入。为了监视以获得此类用户输入，系统可周期性地轮询传感器以获得输入。对应于轮询频率的采样等待时间可以是用户感知到的等待时间的很大的一个来源。
[0003]另外并且关于便携式以及其他电池供电设备，节约功率使用和对应的电池寿命也可能是考量因素。尽管在所有时间利用较高的传感器采样率可降低采样等待时间，但这也不合乎需要地消耗了更多功率并且降低了电池寿命。另一方面，尽管利用低采样率可降低功率使用并且增加电池寿命，则此类低采样率也增加了等待时间。
[0004]概述
[0005]本文公开了涉及用于识别所选目标事件的系统和方法的各实施例。例如，一个公开的实施例提供了一种方法，包括在包括多个传感器的显示设备中以对应于较高可能等待时间的第一轮询率来操作所选传感器。从所选传感器接收初始用户相关信息。该方法包括确定该初始用户相关信息是否匹配多个预事件之一，其中每一个预事件对应于一个或多个不同的预事件模式，并且每一个模式导致不同的可能目标事件。
[0006]在初始用户相关信息匹配多个预事件之一的情况下，该方法包括以快于第一轮询率且对应于低于该较高可能等待时间的较低可能等待时间的第二轮询率来操作所选传感器。从所选传感器接收后续用户相关信息。在后续用户相关信息匹配来自不同的可能目标事件之中的所选目标事件的情况下，与所选目标事件相关联的反馈经由显示设备被提供给用户。
[0007]提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本
【发明内容】
并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。
[0008]附图简沐
[0009]图1是根据本公开的一实施例的自适应事件识别系统的示意图。
[0010]图2示出根据本公开的一实施例的示例头戴式显示设备。
[0011]图3是导致所选目标事件的头部移动形式的预事件的示意性图示。
[0012]图4是根据本公开的一实施例的图3的正被检测的预事件以及正被控制的传感器轮询率的示意性图示。
[0013]图5是导致不同的可能目标事件的多个预事件模式的示意性图示。
[0014]图6A和6B是根据本公开的一实施例的用于识别所选目标事件的方法的流程图。
[0015]图7是计算设备的一实施例的简化示意性图示。
[0016]详细描沐
[0017]图1示出了自适应事件识别系统10的一个实施例的示意图。自适应事件识别系统10包括可被存储在计算设备22的大容量存储18中的自适应事件识别程序14。自适应事件识别程序14可被加载到存储器26中并由计算设备22的处理器30执行以执行下文更为详细地描述的方法和过程中的一个或多个。计算设备22还可包括用于对计算设备的各组件供电的电源32，如电池。
[0018]自适应事件识别系统10包括混合现实显示程序34，该混合现实显示程序34可生成用于经由显示设备(诸如头戴式显示器(HMD)设备42)显示的虚拟环境38以创建混合现实环境44。混合现实环境包括显示在物理环境48中的虚拟环境38。如下文更详细地描述的，用户相关信息52可以经由HMD设备42从物理环境48接收。
[0019]计算设备22可采用以下形式:台式计算设备，诸如智能电话、膝上型计算机、笔记本或平板计算机之类的移动计算设备，网络计算机，家庭娱乐计算机，交互式电视，游戏系统，或其他合适类型的计算设备。关于计算设备22的组件和计算方面的附加细节在下文中参考图7更详细地描述。
[0020]计算设备22可使用有线连接来与HMD设备42在操作上连接，或可采用经由WiF1、蓝牙或任何其他合适的无线通信协议的无线连接。例如，计算设备22可通信地耦合到网络
16。网络16可采取局域网(LAN)、广域网(WAN)、有线网络、无线网络、个域网、或其组合的形式，并且可包括因特网。
[0021]计算设备22也可经由网络16与一个或多个其他计算设备通信。另外，图1中示出的示例将计算设备22示为与HMD设备42分开的组件。将理解，在其他示例中，计算设备22可被集成到HMD设备42中。
[0022]现在还参考图2，提供了一副具有透明显示器54的可配戴眼镜形式的HMD设备200的示例。将明白，在其他示例中，HMD设备200可以采取其他合适的形式，其中透明、半透明或不透明显示器被支撑在查看者的一只或两只眼睛前方。还将明白，图1中所示的HMD设备42可以采取HMD设备200的形式(如在下文更详细地描述的)或任何其他合适的HMD设备。另外，在本公开的范围内还可使用具有各种形状因子的许多其他类型和配置的显示设备。此类显示设备可包括手持式智能电话、平板计算机以及其他适当的显示设备。
[0023]参考图1和2，HMD设备42包括显示系统56和使图像(诸如全息对象)能够被递送到用户46的眼睛的透明显示器54。透明显示器54可被配置成向透过该透明显示器查看物理环境的用户46在视觉上增强该物理环境48的外观。例如，物理环境48的外观可以由经由透明显示器54呈现的图形内容(例如，一个或多个像素，每一像素具有相应色彩和亮度)来增强以创建混合现实环境。
[0024]透明显示器54还可被配置成使用户能够透过显示虚拟对象表示的一个或多个部分透明的像素来查看物理环境48中的物理现实世界对象。如图2所示，在一个示例中，透明显示器54可包括位于透镜204内的图像生成元件(诸如例如透视有机发光二极管(0LED)显示器)。作为另一示例，透明显示器54可包括在透镜204边缘上的光调制器。在这一示例中，透镜204可以担当光导以供将光从光调制器递送到用户的眼睛。这样的光导可使得用户能够感知位于物理环境48内的用户正在查看的3D全息图像，同时还允许用户查看物理环境中的物理对象，由此创建混合现实环境44。
[0025]HMD设备42还可包括各种传感器和相关系统。例如，HMD设备42可包括利用至少一个面向内的传感器208的眼睛跟踪系统60。该面向内的传感器208可以是被配置成从用户的眼睛获取眼睛跟踪数据形式的图像数据的图像传感器。假定用户已同意获取和使用这一信息，眼睛跟踪系统60可以使用这一信息来跟踪用户的眼睛的位置和/或运动。
[0026]在一个示例中，眼睛跟踪系统60包括被配置成检测用户的每一个眼睛的注视方向的注视检测子系统。该注视检测子系统可被配置成以任何合适方式确定每一只用户眼睛的注视方向。例如，注视检测子系统可包括诸如红外光源等被配置成使得从用户的每一只眼睛反射闪光的一个或多个光源。一个或多个图像传感器然后可被配置成捕捉用户眼睛的图像。在一些示例中，眼睛跟踪系统60也可被用作用于提供用户相关信息52的用户输入设备，以使得用户可以经由用户眼睛的移动来与HMD设备42交互。
[0027]HMD设备42还可包括从物理环境48接收物理环境数据(诸如用户相关信息52)的传感器系统。例如，HMD设备42可包括利用至少一个面向外的传感器212 (如光学传感器)来捕捉来自物理环境48的图像数据的光学传感器系统62。面向外的传感器212可以检测其视野内的运动，如视野内的用户46或人或物理对象所执行的基于姿势的输入或其他运动。面向外的传感器212还可从物理环境48和该环境内的物理对象捕捉二维图像信息和深度信息。例如，面向外的传感器212可包括深度相机、可见光相机、红外光相机，和/或位置跟踪相机。
[0028]HMD设备42可包括经由一个或多个深度相机的深度感测。在一个示例中，每一深度相机可包括立体视觉系统的左和右相机。来自这些深度相机中的一个或多个的时间分辨的图像可被彼此配准和/或与来自另一光学传感器(如可见光谱相机)的图像配准，且可被组合以产生深度分辨的视频。
[0029]在其他示例中，结构化光深度相机可被配置成投影结构化红外照明并对从照明被投影到其之上的场景中反射的该照明进行成像。基于所成像的场景的各个区域内邻近特征之间的间隔，可构造该场景的深