集成的自由空间和表面输入设备的制作方法

计算系统从指示设备接收输入以控制用户界面(例如，图形用户界面)。例如，鼠标检测相对于表面的二维(2d)运动并且将检测到的运动传送给计算系统。然后，计算系统通常将检测到的运动转换为界面控制，诸如用于控制图形用户界面的显示器上的点。指示设备还包括可以被致动的一个或多个快动开关。快动开关可以支持用于控制计算机界面上的图形界面对象的临界点(tipping-point)机构(例如，拖放)。因此，界面控制设备是与计算系统交互以传送界面控制的不可或缺的部分。

技术实现要素：

本发明的实施例涉及集成的自由空间和表面输入设备。集成的自由空间和表面输入设备可以是指混合输入指示设备。混合输入指示设备可以包括基于集成的自由空间和表面输入系统而进行操作的若干组件，这些组件支持提供自由空间输入和表面输入以控制计算系统的界面对象。自由空间输入和表面输入在单个设备上作为移动数据被跟踪并且作为输出被传送到计算系统。输出用于控制与显示器(例如，监视器显示器或头部安装单元显示器)相关联的界面对象(例如，计算机显示对象或增强现实对象)。在这方面，可以智能地组合来自自由空间跟踪和表面跟踪的移动数据，以对所显示的界面对象执行期望的操作。

在操作中，可以针对混合输入指示设备跟踪和确定自由空间移动数据和表面移动数据。针对混合输入指示设备检测从第一输入到第二输入(诸如从自由空间输入到表面输入或从表面输入到自由空间输入)的转变的界面输入。基于访问自由空间移动数据和表面移动数据的组合来处理界面输入。从混合输入指示设备传送针对界面输入的输出以控制界面。

混合输入指示设备使用各种显示配置的不同类型的计算机显示对象和增强现实对象进行操作。特别地，来自混合输入指示设备的界面输入可操作以控制独立地或同时地显示为计算机显示对象和/或增强现实对象的界面对象。所选择的界面对象基于自由空间输入和表面输入同时可控制。界面对象可以使用自由空间移动数据在自由空间中控制，并且当混合输入指示设备开始接收和跟踪表面输入时，表面移动数据可以被并入以触发界面控制。

另外，可以在混合输入指示设备处处理触发按钮、压力传感器、自由空间触觉反馈和表面触觉反馈，以支持附加的界面控制和反馈，特别是基于集成的自由空间输入和表面输入的界面控制和反馈。例如，触觉反馈可以基于界面输入在不同输入之间的转变而从自由空间触觉反馈转变到表面触觉反馈以及从表面触觉反馈转变到自由空间触觉反馈。

提供本“发明内容”是为了以简化的形式介绍将在以下“具体实施方式”中进一步描述的一些概念。本“发明内容”不旨在确定所要求保护的主题的关键特征或必要特征，也不旨在孤立地用作确定所要求保护的主题的范围的辅助手段。

附图说明

下面参考附图详细描述本发明，在附图中：

图1是示出根据本发明的实施例的示例性的集成的自由空间和表面输入系统的示意图；

图2a是根据本发明的实施例的示例性混合输入指示设备的顶视图的图示；

图2b是根据本发明的实施例的示例性混合输入指示设备的侧视图的图示；

图3是根据本发明的实施例的集成的自由空间和表面输入系统的示例性实现的图示；

图4是根据本发明的实施例的集成的自由空间和表面输入系统的示例性实现的图示；

图5是根据本发明的实施例的集成的自由空间和表面输入系统的示例性实现的图示；

图6是示出根据本发明的实施例的用于实现集成的自由空间和表面输入系统的方法的流程图；

图7是示出根据本发明的实施例的用于实现集成的自由空间和表面输入系统的方法的流程图；

图8是示出根据本发明的实施例的头戴式显示设备的示例性增强现实图像的示意图；

图9是根据本发明的实施例的示例性头戴式显示设备的框图；以及

图10是适用于实现本发明的实施例的示例性计算环境的框图。

具体实施方式

计算系统从指示设备接收输入以控制用户界面(例如，图形用户界面)。例如，鼠标检测相对于表面的二维(2d)运动并且将检测到的运动传送给计算系统。然后，计算系统通常将检测到的运动转换为界面控制，诸如用于控制图形用户界面的显示器上的点。控制还可以包括交互式活动和反馈(例如，视觉反馈和触觉反馈)。指示设备还包括可以被致动的一个或多个快动开关。快动开关可以支持用于控制计算机界面上的图形界面对象的临界点机构(例如，拖放)。技术发展已经导致计算系统可以使用来自自由空间的输入进行操作。例如，视频游戏系统控制器和移动电话基于3d空间中的运动感测能力来支持用户控制。因此，界面控制设备是与计算系统交互以传送界面控制的不可或缺的部分。

可以基于自由空间输入来控制的示例性设备界面是增强现实设备。增强现实设备可以支持增强现实图像的呈现。增强现实图像包括增强现实对象，增强现实对象是为与增强现实设备相关联的用户绘制的虚拟化的对象或实体(例如，全息内容或混合现实内容)。特别地，增强现实对象可以基于真实世界环境来绘制，其中真实世界环境可以由增强现实设备以数字表示来捕获。理解真实世界环境可以基于几种不同的技术，这些技术为增强现实设备提供关于环境的信息。例如，可以实时扫描环境，并且可以动态地生成环境的网格表示，以向增强现实设备提供关于环境的信息。

这样，增强现实设备可以支持增强现实或混合现实体验。这样的体验包括基于增强现实对象来导航通过真实世界环境或者结合真实世界环境来观看增强现实对象(“ar对象”)。ar对象可以包括可以围绕用户放置和缩放的3d对象或虚拟图像的全息图目录。ar对象可以在各种不同的实现中使用(例如，视频游戏、娱乐、生产力工具等)作为可以经由本文中描述的混合输入指示设备通过图形用户界面从用户的致动器来控制的实体。例如，用户可以基于来自自由空间的控制在3d建模工作室应用中设计3d对象，来自自由空间的控制指示要在与3d对象和3d模型工作室应用相关联的界面上执行的控制。常规2d指示设备还可以用于控制在2d显示器上表示的增强现实对象。利用支持表面输入和自由输入的若干计算系统、特别是增强现实设备，在多个输入设备之间转变以控制界面对象可能变得冗长乏味。此外，自由空间跟踪系统缺乏表面跟踪系统的精确性，这使得仅依靠自由空间输入变得困难。例如，视觉跟踪相机可以执行自由空间跟踪，但是当在表面附近移动时可能受到减小的视野的阻碍。用于处理自由空间输入和表面输入的综合方法可以有利地改进针对计算系统的界面控制。

本发明的实施例提供用于集成的自由空间和表面输入的简单且有效的方法和系统。在实施例中，混合输入指示设备可以包括支持提供自由空间和表面输入以控制计算系统的界面对象的若干组件。混合输入指示设备可以是指用于指定自由空间和表面空间中的位置的单个设备。独立地并且结合表面位置信息的自由空间位置信息的组合可以基于移动数据被捕获并且被传送以控制图形用户界面。控制可以包括基于移动数据而生成的交互式活动和反馈(例如，视觉反馈和触觉反馈)。混合输入指示设备可以支持直接输入和间接输入。直接输入可以包括与显示空间并存的输入空间。间接输入可以包括在其中跟踪运动的作为表面的输入空间。

混合输入指示设备支持各种显示配置的不同类型的计算机显示对象和增强现实对象。特别地，来自混合输入指示设备的界面输入可操作以控制独立地或同时地显示为计算机显示对象或增强现实对象的界面对象。所选择的界面对象基于自由空间输入和表面输入同时可控制。界面对象可以使用自由空间移动数据在自由空间中控制，并且当混合输入指示设备开始接收和跟踪表面输入时，表面移动数据可以被并入以触发界面控制。

在示例性实施例中，混合输入指示设备可以是笔状控制器。笔状控制器可以包括可操作以引起与图形用户界面的交互的至少一个微开关按钮，图形用户界面与混合输入指示设备相关联。微开关按钮可以对应于传统计算机鼠标上的右键单击和左键单击按钮。混合输入指示设备可以进一步跟踪界面对象上的压敏控制的压力数据(例如，表面压力数据或自由空间压力数据)。压敏控制可以基于混合输入指示设备上的压敏尖端或混合输入指示设备上的压力按钮。有利地，压力按钮在自由空间中使用，而压力尖端可以在表面上使用。在使用压力数据的一个示例中，用户可以操作混合输入指示设备，使得使用混合输入指示设备的笔状笔划的宽度基于压力数据。特别地，表面压力数据可以用于确定混合输入指示设备相对于表面的角度，以影响对界面对象执行的输出和控制。另外，混合输入指示设备可以构造有触觉反馈对象，该触觉反馈对象向混合输入指示设备的用户提供触摸感。可以引起触觉反馈对象生成与用于集成的自由空间和表面输入的界面控制相对应的力、振动或运动，以形成混合输入指示设备。因此，混合输入指示设备基于自由空间和表面输入为计算系统界面提供统一控制。统一控制可以有利地提供基于灵活的自由空间输入的混合输入接口控制和来自表面输入的精确控制，同时在自由空间输入与表面输入之间自动转变。

参考图1，可以参考作为用于实现本文中描述的功能的操作环境的示例性的集成的自由空间和表面输入系统100来讨论本公开的实施例。集成的自由空间和表面输入系统100包括集成的自由空间和表面输入机构110，集成的自由空间和表面输入机构110包括混合输入指示设备120、计算设备140、头戴式显示器150设备。计算设备140可以包括下面参考图10描述的任何类型的计算设备，并且hmd150可以包括下面参考图8和9描述的任何类型的hmd或增强现实设备。出于详细讨论的目的，增强现实设备是示例性头戴式显示器(hmd)150设备，但是本公开的实施例也考虑其他类型的增强现实设备。hmd150是场景感知设备，其理解围绕真实世界环境的元素并且生成虚拟对象以作为增强现实图像显示给用户。hmd150可以被配置为基于hmd150的组件捕获真实世界环境。hmd150可以包括深度相机和传感器，这些传感器支持理解场景或环境的元素，例如，生成真实世界环境的3d网格表示。hmd150还可以包括用于至少部分基于3d网格表示来投影真实世界中的虚拟对象或图像的增强现实发射器152。在这方面，hmd150可以具体地包括可以使用基于集成的自由空间和表面输入机构110进行操作的混合输入指示设备120来支持的功能(例如，增强现实或混合现实体验)。本文中使用的机构是指任何设备、过程或服务或其组合。机构可以使用诸如硬件、软件、固件、专用设备或其任何组合等组件来实现。机构可以集成到单个设备中，或者可以分布在多个设备上。机构的各种组件可以共同定位或分布。机构可以由其他机构和其组件形成。集成的自由空间和表面输入机构120的组件支持提供集成的自由空间和表面输入。

参考图2a和2b，分别示出了混合输入指示设备200a(“指示设备”200a)的示例性顶视图和混合输入指示设备200b(“指示设备”200b)的示例性侧视图。混合输入指示设备被构造为笔状控制器，其具有支持生成和传送集成的自由空间和表面输入的若干组件。如图2a所示，指示设备200a包括跟踪相机202、深度相机204、触觉反馈对象206、触发按钮208和光学跟踪器210。如图2b所示，指示设备200b包括传感器杆220、指示设备基座230和本体部分240。除了未示出的其他组件，混合输入指示设备还可以包括操作以支持本文中描述的功能的通信介质、处理器、存储器、界面、总线和电源。

在高级别，用户可以保持和控制笔状控制器以生成输入。可以设想，传感器杆220可以被配置为可拆卸地附接到指示设备基座230。可拆卸传感器杆220可以支持指示设备的不同类型的基座。不同的基础构造可以支持与基座相关联的不同类型的功能。例如，笔状基座可以与剑状基座交换，以用于播放涉及剑术的视频游戏，以为用户提供更加沉浸式的游戏体验。基座(无论是可拆卸的还是不可拆卸的)还可以包括与基于传感器杆220而生成的输入相关联的控制致动器。在传感器杆220的一个示例性实现中，传感器杆220可以包括跟踪相机202和深度相机204(例如，ir和rgb相机)以支持跟踪自由空间输入，并且光学跟踪器210跟踪表面输入。传感器杆220可以附加地或替代地包括使用外部磁场生成器进行3d跟踪的磁传感器。可以处理不同类型的2d或3d跟踪输入，特别是当用户从提供自由空间输入移动到表面输入，或者从表面输入移动到自由空间输入时。传感器杆220还可以包括磁传感器和音频麦克风用于捕获和传送其他类型的输入。混合输入指示设备处理输入，并且然后开始相应地将处理后的输入作为输出进行传送。输出可以无线地传输(例如，红外辐射、无线电、基于光的通信装置、蓝牙等)到计算设备以控制计算设备的图形用户界面。在这方面，图形用户界面的控制可以基于转变到表面输入的自由空间输入或转变到自由空间输入的表面输入。

混合输入指示设备基于触发按钮208和压力传感器(未示出)支持附加界面控制。例如，混合输入指示设备的尖端可以包括用于表面压力数据的压力传感器，并且压力按钮可以包括用于自由空间压力数据的压力传感器。混合输入指示设备还可以操作以基于作为输出传送的自由空间和表面输入经由触觉反馈对象206接收触觉反馈(例如，基于施加力、振动或运动的触摸感)。来自混合输入指示设备的其他类型的输出是可能的。输出可以基于来自在混合输入指示设备处跟踪的移动数据的输入或来自与混合输入指示设备通信的外部设备的通信的输入。输出的示例可以包括无线电或光通信装置、音频、光、显示和投影。不同的输出可以通过混合输入指示设备中内置的对应硬件组件来支持。下面进一步讨论混合输入指示设备的组件的细节。

除了或代替所示出的那些，可以使用其他布置和元件(例如，机器、界面、功能、顺序和功能分组等)，并且一些元件可以被完全省略。此外，本文中描述的很多元件是功能实体，这些功能实体可以被实现为离散或分布式组件或与其他组件相结合并且以任何合适的组合和位置来实现。本文中描述为由一个或多个实体执行的各种功能可以由硬件、固件和/或软件来执行。例如，各种功能可以由执行存储在存储器中的指令的处理器执行。

转向图1的组件，混合输入指示设备120包括自由空间跟踪组件122和表面跟踪组件124。混合输入指示设备120还包括集成处理组件130、触发组件132、压力跟踪组件134和触觉反馈组件136。在高级别，混合输入指示设备120可以由用户控制以生成自由空间输入或表面输入。输入基于自由空间跟踪组件122和表面跟踪组件124分别确定自由空间移动数据和表面移动数据来生成。集成处理组件130基于参考移动数据来处理自由空间输入或表面输入。特别地，处理自由空间输入或表面输入可以基于参考移动数据从自由空间输入转变到表面输入或从表面输入转变到自由空间输入。在这方面，基于参考移动数据的处理可以包括标识自由空间移动数据，标识表面移动数据；并且使用自由空间移动数据和表面移动数据生成输出，其中移动数据至少指示从第一输入到第二输入的转变。该移动指示转变，因为跟踪将包括用户从第一输入移动到第二输入的移动数据。可以标识转变并且将其用于为界面的控制生成适当的输出。然后，集成处理组件130传送用于自由空间输入或表面输入的输出，输出基于自由空间移动数据和表面移动数据(或其缺少)来生成。自由空间移动数据和表面空间移动数据可以定义转变移动数据，因为输入转变转变自由空间和表面输入。输出可以用于控制与计算机显示器142相关联的计算设备140的或与增强现实发射器152相关联的hmd150的界面对象。

自由空间跟踪组件122和表面跟踪组件124负责跟踪与混合输入指示设备相关联的移动。自由空间跟踪组件122和表面跟踪组件124可以实现用于分别理解自由空间中和表面上的移动的不同坐标空间。坐标空间可以指示表示移动数据的方式。可以集成坐标空间以一起理解自由空间中和表面上的运动。坐标空间可以用于确定由集成处理组件130传送的自由空间中的移动数据和表面上的移动数据。

自由空间跟踪组件122和表面跟踪组件124中的每个可以包括支持跟踪移动数据的硬件组件(例如，传感器和相机)或者与其相关联。作为示例，自由空间跟踪组件122可以基于惯性测量单元(imu)和内置于混合输入指示设备120中的相机来实现。imu是测量和报告混合输入指示设备的运动属性的电子设备。imu可以基于加速度计和陀螺仪以及磁力计的组合来测量和报告混合输入指示设备120特定的力、角速率和磁场。imu可以作为自由空间中的定向传感器进行操作。在这方面，可以基于多个自由度来跟踪混合输入指示设备。自由空间跟踪组件122可以包括作为环境理解传感器进行操作的相机。相机可以是红外相机(ir)、rgb相机或深度相机。自由空间跟踪硬件组件可以是传感器杆的一部分，如图2a和2b所示的混合输入指示设备中所公开的，其中传感器和相机沿着混合输入指示设备的本体部分240。可以在3d空间中基于自由空间跟踪的坐标空间来跟踪混合输入指示设备120的移动作为自由空间移动数据。当用户在自由空间中移动混合输入指示设备时，移动被捕获作为可以作为输出传送以控制图形用户界面的移动数据。

参考表面跟踪组件124，表面移动可以使用机械设备(例如，跟踪球)来检测，或者可以有利地使用光学跟踪器来检测。特别地，相对于表面的移动可以基于光源(例如，发光二极管(led)和光电二极管阵列)。如图2a和2b中的示例性混合输入指示设备所示，光学跟踪器210可以位于混合输入指示设备的前部(例如，尖端)处。混合输入指示设备移动可以基于2d跟踪的坐标空间在2d空间中进行跟踪。集成的2d和3d坐标空间也可以独立跟踪2d移动或3d移动。2d和3d坐标空间(它们的不同配置)可以根据需要独立地和组合地跟踪以提供本文中描述的功能。特别地，可以在用户从自由空间输入转变到表面输入或从表面输入转变到自由空间输入时跟踪混合输入指示设备。

当检测和跟踪表面输入时，自由空间输入跟踪可以继续。自由空间输入的移动数据可以进一步被并入在对相对于表面的运动的理解中。例如，自由空间移动数据可以支持基于水平表面或垂直表面来确定用户在何处提供输入。跟踪组件还可以跟踪生成与混合输入手势相对应的移动数据的自由空间输入和表面输入。换言之，包括自由空间输入和表面输入两者的程式化运动可以支持发出命令或映射到界面的特定控制。混合输入手势的移动数据也作为输出被传送，该输出被转换为界面上的基于手势的控制。

集成处理组件130负责在混合输入指示设备处处理不同类型的输入以执行操作。输入可以包括来自内部组件或外部组件的在集成处理组件130处处理的通信。集成处理组件130可以处理混合输入指示设备的对应组件的自由空间输入、表面输入、触发输入、压力输入和触觉反馈输入。如本文中讨论的，不同类型的输入与硬件组件(例如，传感器、相机、触觉反馈对象)相关联。一些组件操作以支持捕获与传送到集成处理组件130的输入相关联的数据。集成操作组件130使用帮助将处理后的输入作为输出传送到控制界面的通信介质(例如，连接或通信协议)来操作。集成处理组件130可以执行处理并且传送输出以支持结合在混合输入指示设备处支持的附加功能来转变输入。正在传送的输出可以触发具有计算机显示器142的计算设备140的控制、反馈和交互性以控制计算机显示对象。输出还可以用于具有增强现实发射器的hmd150以控制增强现实对象。

触发组件132负责基于混合输入指示设备120的按钮来处理输入。触发组件132可以与被构造为混合输入指示设备120的一部分的物理触发按钮相关联。该按钮可以是快动开关或微开关，其作为通过混合输入指示设备120的按钮上的物理力被致动的电气开关进行操作。触发组件132可以检测来自混合输入指示设备120的不同类型的触发输入以将触发数据传送到集成处理组件130。

触发按钮可以与不同类型的功能相关联。在一个实施例中，混合输入指示设备132可以包括基于传统的鼠标右击和左击功能进行操作的两个触发按钮。在这方面，触发按钮可以被指定为与右和左鼠标按钮相对应的右和左触发按钮。触发数据结合移动数据可以用于生成控制界面对象的输出。例如，触发按钮输入结合自由空间输入可以生成用于界面对象的第一组控制，其与触发按钮输入结合表面输入可以生成用于界面对象的第二组控制不同。与界面对象相关联的显示类型也可以影响所执行的界面控制的类型。例如，界面对象可以是显示在自由空间中或显示在表面上的增强现实对象；并且界面对象可以是显示在计算机显示器上的计算机显示对象，其中在每种情况下，触发按钮连同输入移动数据执行不同类型的界面控制。

触发按钮还可以用于以下中的任何一种：临界点机构、按钮多击(chording)和/和混合输入手势。临界点机构可以是指将对象从稳定平衡状态置换到新的平衡状态。例如，可以使用基于触发按钮和输入移动数据的指定输入来执行拖放动作。按钮多击可以是指在按住多个按钮时执行动作的能力。这样，当指定的组合被一起致动时，触发按钮、输入移动数据和可选的键盘键都可以组合以执行界面控制。混合输入手势可以是指组合以下中的任何一种的方式：混合输入指示设备、手指移动和点击以执行特定界面控制。例如，可以指定自由空间中与表面上的手势组合的特定手势来执行特定界面控制。可以进一步定义不同的界面控制以用于与从自由空间输入到表面输入或从表面输入到自由空间输入的转变相关的操作。触发按钮还可以用于其他功能，诸如选择操作模式(例如，集成模式、仅表面跟踪模式或仅自由空间跟踪模式)。

如所描述的，触发按钮支持接收与混合输入指示设备组合使用的附加控制。混合输入指示设备还可以使用触敏界面进行操作，触敏界面可以替换触发按钮或与触发按钮组合操作。触敏界面可以包括内置在混合输入设备中的组件或独立于混合输入指示设备的组件。例如，触摸板组件或设备可以与混合输入指示设备相关联。触摸板包括触觉传感器。触觉传感器可以专门用作可以相对于表面来平移运动和位置的专用表面。触摸屏电子可视显示器还可以与混合输入指示设备一起操作以经由触摸屏来接收输入。用户可以在触敏界面上使用他们的手指或在触敏界面上使用混合输入指示设备。混合输入指示设备输入与来自触敏界面的输入相结合可以触发图形用户界面的特定定义控制。例如，可以基于触摸板上的手指输入和来自混合输入指示设备的输入的组合来定义基于姿势的控制。通过触发组件和触敏界面而支持的触发按钮和触敏界面功能的其他变化和组合在本公开的实施例中是预期的。

压力跟踪组件134负责基于与混合输入指示设备120相关联的压力来处理输入。压力跟踪组件134可以与测量和报告压力数据的压力传感器相关联。压力传感器可以位于混合输入指示设备120的尖端处。在尖端处测量的压力数据可以与表面移动数据相关联。压力传感器可以是有利地构造在混合输入指示设备120的本体部分240上的压力按钮。来自压力按钮的压力数据可以与自由空间移动数据相关联。压力数据可以被传送到集成处理组件130以基于压力数据来执行操作。压力数据可以与在集成操作组件130处接收的其他数据(例如，移动数据和触发数据)组合。例如，相对于表面或自由空间的压力数据可以用于准确地确定击键的大小，精细点的精度和准确度，以及应用的快捷按钮。用于控制界面对象的压力数据的其他变化和组合在本公开的实施例中是预期的。

触觉反馈组件136负责处理所接收的输入以致动触觉反馈。触觉反馈可以是指用于重建触觉的混合输入指示设备120处的力、振动或运动的施加。触觉反馈可以与触觉反馈对象相关联，触觉反馈对象是在混合输入指示设备120上生成触觉反馈的设备。如图2a所示的触觉反馈对象206可以沿着混合输入指示设备的本体定位，并且有利地作为传感器杆的一部分。触觉反馈组件136直接在触觉反馈组件136处或经由集成处理组件130接收触觉反馈输入。触觉反馈输入可以响应于从集成处理组件130传送到计算系统的输出而被接收。可以处理作为输出被传送的自由空间输入、表面输入或其组合以生成用于触觉反馈组件136的触觉反馈输入。触觉反馈可以在混合输入指示设备内完全处理和确定。

在混合输入指示设备120处接收的不同类型的输入可以对应于不同类型的触觉反馈。触觉反馈可以与包括从自由空间到表面输入或从表面到自由空间输入的转变的操作相关联。触觉反馈输入可以是触觉反馈数据，该触觉反馈数据用于触发触觉反馈对象，使得操作混合输入指示设备的用户可以感觉到触觉反馈。在这方面，作为示例，当输入是表面输入时，触觉反馈对象可以用较小的力振动，而当输入是自由空间输入时，触觉反馈对象可以用较大的力振动。触觉反馈的其他变化和组合在本公开的组合是预期的。

参考补充图3、4和5，提供了根据本公开的实施例的混合输入指示设备的示例性实现的若干图示。图3示出了用户302、计算机显示对象304、自由空间对象306、表面对象308、混合输入指示设备310、显示设备320、自由空间330和表面340。用户302可以在自由空间330或表面340中操作混合输入指示设备310以生成与自由空间输入或表面输入相对应的输入。输入可以用于控制图形用户界面对象。图形用户界面对象可以在显示设备320、自由空间330或表面340上。图形用户界面对象的不同表示可以独立地或彼此组合地显示。图形用户界面对象的类型可以基于从混合输入指示设备310接收的输入的类型或者基于要控制的图形用户界面对象的类型的用户选择来显示。图形用户界面对象的不同显示可以从任何输入类型来控制，并且不同的显示可以基于不同类型的输入同时更新以控制界面。此外，集成处理功能包括当用户将自由空间输入转变为表面输入或从表面输入转变为自由空间输入以提供图形用户界面的无缝连续控制时的移动数据。集成的移动数据可以包括跟踪转变到自由空间移动数据的自由空间移动数据和表面移动数据或者跟踪表面移动数据和转变到自由空间移动数据的自由空间移动数据。

用户可以在自由空间中移动混合输入指示设备以生成自由空间输入。可以跟踪自由空间输入以确定使用混合输入指示设备310处的传感器捕获的自由空间移动数据。自由空间跟踪组件可以用于确定和传送自由空间移动。自由空间输入基于访问自由空间移动数据在集成处理中被处理，并且作为输出传送到图形界面对象。特别地，自由空间输入可以用于控制自由空间对象306；可以标识并且选择特定部分306a以进行控制。如图4所示，用户还可以在表面上移动混合输入指示设备以生成表面输入。可以跟踪表面输入以确定使用混合输入指示设备310中的传感器捕获的表面移动数据。表面输入跟踪组件可以用于确定和传送表面移动。表面输入基于访问表面移动数据来被处理，并且作为输出被传送以控制图形界面组件。

在图5中，示出了基于佩戴hmd504的用户502的示例性增强现实体验或混合现实体验，其中用户操作混合输入指示设备506。hmd504可以理解环境中的元素以基于环境来生成增强现实图像。增强现实图像可以包括增强现实对象，这些增强现实对象是基于用户执行的动作而生成的并且在真实世界环境中被投影的虚拟对象或图像。增强现实对象可以被配置为关于真实世界对象被陆地包围或被真实世界包围。用户可以引起基于移动混合输入指示设备在自由空间中生成混合现实内容。作为示例，可以生成基于图像的内容(例如，510a、510b和510c)，并且还可以生成基于文本的内容(例如，520a、520b、520c和520d)并且在自由空间中对其进行投影。投影的增强现实对象可以被环境的部分包围并且相对于彼此被包围。例如，灯510a可以被投影在墙壁530上并且与“添加灯”520a并排显示。基于文本的内容“梳妆台就在这里”520可以被显示为被物理梳妆台532陆地包围。“红色框架在这里”520与框架510b的图示相结合地显示在墙壁534上，并且“插座”520d被投影到物理插座536旁边，其中插座周围具有轮廓510c。可以使用全息墨水投影所投影的图像，以模拟实时在真实文字对象和墙壁上书写的体验。hmd504可以支持在混合输入指示设备506与在周围环境中投影的全息墨水之间投影视觉连接器540。视觉连接器540可以从靠近混合输入指示设备的尖端部分的位置投影到靠近基于用户502的动作而生成的全息墨水的位置。

参考图6，提供了一种用于生成集成的自由空间和表面输入的方法。最初，在框610处，检测包括自由空间移动数据的自由空间输入。自由空间跟踪组件可以负责跟踪混合输入指示设备的自由空间移动数据。自由空间移动数据与支持自由空间跟踪和表面跟踪的混合输入指示设备相关联。在框620处，传送基于用于自由空间输入的自由空间移动数据的输出。集成处理组件可以负责传送输出。自由空间输入与图形界面对象相关联。

在框630处，检测包括表面移动数据的表面输入。表面移动数据与从自由空间输入转变到表面输入的混合输入指示设备相关联。混合输入指示设备基于光检测器或跟踪表面移动的其他类型的传感器来生成表面移动数据。当混合输入指示设备生成表面移动数据时，表面移动数据操作为从仅处理自由空间移动数据转变到处理表面移动数据和自由空间移动数据的指示器。表面输入可以在水平表面、垂直表面和其间的任何其他角度表面上检测。基本上水平的表面或基本上垂直的表面可以至少部分基于在自由空间跟踪组件处同时被跟踪的自由空间移动数据来彼此区分。

表面输入还可以与表面压力数据相关联。在一个示例性实现中，混合输入指示设备包括可操作地耦合到表面压力传感器以生成表面压力数据的尖端部分。可以基于表面压力数据和自由空间移动数据的组合来确定混合输入指示设备相对于表面的输入角度。输入角度可以影响生成的输出的类型，特别是所执行的图形界面对象的控制的类型。

在框640处，混合输入指示设备基于表面移动数据转变到传送包括表面输入的输出。表面输入与图形界面对象相关联。输出可用于控制图形用户界面的指令中。图形用户界面可以与计算机监视器的计算机显示器或具有自由空间的头戴式显示器的增强现实显示区域(自由空间或表面)相关联。另外，执行控制的至少子集包括生成自由空间触觉反馈或表面触觉反馈。在实施例中，存在可以同时显示的图形界面对象的两种表示。图形界面对象的第一表示基于自由空间输入而可控制，并且图形对象的第二表示基于表面输入而可控制。

参考图7，提供了一种用于生成集成的自由空间和表面输入的方法。计算机存储介质可以包括在由处理器执行时引起处理器执行该方法的计算机可执行指令。

最初，在框710处，检测包括表面移动数据的表面输入。表面跟踪组件可以负责跟踪混合输入指示设备的表面移动数据。表面移动数据与支持表面跟踪和自由空间跟踪的混合输入指示设备相关联。在框720处，基于表面移动数据来传送输出。表面输入与图形界面对象相关联。

在框730处，检测包括自由空间移动数据的自由空间输入。自由空间移动数据与从表面输入转变到自由空间输入的混合输入指示设备相关联。检测自由空间输入可以包括至少部分基于未检测到表面输入来标识要处理的自由空间输入。在实施例中，自由空间输入基于可操作地耦合到自由空间压力传感器的混合输入指示设备的用户操作按钮而与自由空间压力数据相关联。图形界面对象可以是基于增强现实设备而在真实世界环境中绘制的增强现实对象。增强现实对象可以显示在表面区域和自由空间区域上。

参考图8，描绘了头戴式显示器(hmd)设备802的示例性图像。包括由hmd802设备提供的对应虚拟图像的增强现实图像(例如，804a、804b和804c)通常包括叠加出现在背景上的虚拟图像，并且可以出现为与背景806交互或成一体。背景806包括真实世界场景，例如，用户在没有由hmd802设备发射的增强现实图像的情况下将感知的场景。例如，增强现实图像可以包括叠加出现并且悬挂在背景806的烹饪烤箱或墙壁前面的半空中的食谱书图标804c。

转到图9，根据本文中描述的实施例描述了具有基于用户高度的绘制机构940的hmd设备902。hmd设备902包括类似于眼镜镜片的放置在用户眼睛914前面的透视透镜910。可以设想，可以提供一对透视透镜910，每个眼睛914一个透镜。透镜910包括光学显示组件928，诸如分束器(例如，半镀银镜)。hmd设备902包括支持投影或绘制增强现实图像的增强现实发射器930。除了未示出的其他组件，hmd设备还包括处理器942、存储器944、界面946、总线948和附加hmd组件950。增强现实发射器930发射表示由光线908例示的虚拟图像902的光。来自真实世界场景904的光(诸如光线906)到达透镜910。可以使用附加光学器件来重新聚焦虚拟图像902，使得它看起来源自眼睛914几英尺而不是距显示组件928实际上所在的一英尺。存储器944可以包含由处理器942执行以使得增强现实发射器930能够执行所描述的功能的指令。可以将一个或多个处理器视为控制电路。增强现实发射器使用总线948和其他合适的通信路径与附加hmd组件950通信。

表示虚拟图像902的光线被显示组件928朝向用户的眼睛反射，如光线910例示的，使得用户能够看到图像912。在增强现实图像912中，真实世界场景904的一部分(诸如烹饪烤箱)与整个虚拟图像902(诸如食谱书图标)一起可见。因此，用户可以看到混合现实或增强现实图像912，其中在该示例中食谱书图标悬挂在烹饪烤箱前面。

除了或代替所示出的那些，可以使用其他布置和元件(例如，机器、界面、功能、顺序和功能分组等)，并且一些元件可以被完全省略。此外，本文中描述的很多元件是功能实体，这些功能实体可以被实现为离散或分布式组件或与其他组件相结合并且以任何合适的组合和位置来实现。本文中描述为由一个或多个实体执行的各种功能可以由硬件、固件和/或软件来执行。例如，各种功能可以由执行存储在存储器中的指令的处理器执行。

已经描述了本发明的实施例，下面描述可以实现本发明的实施例的示例性操作环境，以便提供本发明的各个方面的一般上下文。首先特别地参考图10，用于实现本发明的实施例的示例性操作环境被示出并且总体上被指定为计算设备100。计算设备100仅是合适的计算环境的一个示例，并不旨在对本发明的使用范围和功能提出任何限制。计算设备100也不应当被解释为对所示组件中的任何一个或组合有任何依赖性或要求。

本发明可以在计算机代码或机器可用指令的一般上下文中描述，包括由计算机或其他机器(诸如个人数据助理或其他手持设备)执行的计算机可执行指令，诸如程序模块。通常，程序模块(包括例程、程序、对象、组件、数据结构等)是指执行特定任务或实现特定抽象数据类型的代码。本发明可以以各种系统配置来实践，包括手持设备、消费电子产品、通用计算机、专业计算设备等。本发明也可以在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实践。

参考图10，计算设备1000包括直接或间接耦合以下设备的总线1010：存储器1012、一个或多个处理器1014、一个或多个呈现组件1016、输入/输出端口1018、输入/输出组件1020和说明性电源1022。总线1010表示可以是一个或多个总线(例如，地址总线、数据总线或其组合)的内容。为了清楚起见，尽管图10的各种框用线条示出，但是实际上，描绘各种组件并不是如此清楚，并且比喻地，线条将更准确地是灰色和模糊的。例如，可以将诸如显示设备等呈现组件视为i/o组件。此外，处理器具有存储器。认识到，这是本领域的本质并且重申图10的图仅是可以结合本发明的一个或多个实施例来使用的示例性计算设备的说明。在诸如“工作站”、“服务器”、“膝上型计算机”、“手持设备”等类别之间没有进行区分，因为所有这些都在图10的范围内并且指代“计算设备”。

计算设备1000通常包括各种计算机可读介质。计算机可读介质可以是可以由计算设备1000访问的任何可用介质，并且包括易失性和非易失性介质、可移除和不可移除介质。作为示例而非限制，计算机可读介质可以包括计算机存储介质和通信介质。

计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom，闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储设备、或者可以用于存储期望信息并且可以由计算设备1000访问的任何其他介质。计算机存储介质排除信号本身。

通信介质通常在调制数据信号(诸如载波或其他传输机构)中实施计算机可读指令、数据结构、程序模块或其他数据，并且包括任何信息传递介质。术语“调制数据信号”表示以能够在信号中对信息进行编码的方式设置或改变其一个或多个特性的信号。作为示例而非限制，通信介质包括有线介质(诸如有线网络或直接有线连接)以及无线介质(诸如声学、rf、红外线和其他无线介质)。上述任何组合也应当被包括在计算机可读介质的范围内。

存储器1012包括易失性和/或非易失性存储器形式的计算机存储介质。存储器可以是可移除的、不可移除的或其组合。示例性硬件设备包括固态存储器、硬盘驱动器、光盘驱动器等。计算设备1000包括从诸如存储器1012或i/o组件1020等各种实体读取数据的一个或多个处理器。(多个)呈现组件1016向用户或其他设备呈现数据指示。示例性呈现组件包括显示设备、扬声器、打印组件、振动组件等。

i/o端口1018允许计算设备1000在逻辑上耦合到其他设备，包括i/o组件1020，其中一些可以内置在其中。说明性组件包括麦克风、操纵杆、游戏手柄、卫星天线、扫描仪、打印机、无线设备等。

以上段落中描述的实施例可以与一个或多个具体描述的替代方案组合。特别地，在替代方案中，要求保护的实施例可以包含对多于一个其他实施例的参考。要求保护的实施例可以指定对要求保护的主题的进一步限制。

本文中具体描述了本发明的实施例的主题以满足法定要求。然而，描述本身并不意图限制本专利的范围。而是，发明人已经设想，所要求保护的主题还可以以其他方式来实施，以结合其他当前或未来的技术而包括与本文档中描述的步骤不同的步骤或类似的步骤的组合。此外，尽管本文中可以使用术语“步骤”和/或“框”来表示所采用的方法的不同元素，但是这些术语不应当被解释为暗示本文中公开的各个步骤之中或之间的任何特定顺序，除非和除了明确地描述了各个步骤的顺序。

出于本公开的目的，词语“包括(including)”具有与词语“包括(comprising)”相同的广义含义，并且词语“访问(accessing)”包括“接收(receiving)”、“引用(referencing)”或“检索(retrieving)”。此外，除非另有说明，否则诸如“一个(a)”和“一个(an)”等词语包括复数以及单数。因此，例如，在存在一个或多个特征的情况下，满足“一个特征(afeature)”的约束。此外，术语“或”包括连词、反意连词和两者(a或b因此包括a或b、以及a和b)。

出于以上详细讨论的目的，参考作为增强现实设备的头戴式显示设备来描述本发明的实施例；然而，本文中描述的头戴式显示设备仅是示例性的。组件可以被配置用于执行实施例的新颖方面，其中被配置为包括被编程为执行特定任务或使用代码实现特定抽象数据类型。此外，虽然本发明的实施例通常可以参考头戴式显示设备和本文中描述的示意图，但是应当理解，所描述的技术可以扩展到其他实现上下文。

已经关于特定实施例描述了本发明的实施例，这些实施例在所有方面都旨在是说明性的而不是限制性的。在不脱离本发明的范围的情况下，替代实施例对于本发明所属领域的普通技术人员将变得很清楚。

从前述内容可以看出，本发明很好地适用于实现上文所述的所有目的和目的以及其他很清楚并且结构固有的优点。

应当理解，某些特征和子组合是有用的，并且可以在不参考其他特征或子组合的情况下使用。这是权利要求所预期的并且在权利要求的范围内。