由外围设备启用的远程触摸检测的制作方法

本公开整体涉及计算机生成现实(cgr)环境，并且更具体地涉及用于远程触摸检测的技术。

背景技术：

cgr环境是其中为供用户查看而显示的一些对象由计算机生成的环境。用户可通过激活硬件按钮或触摸支持触摸的硬件来与这些虚拟对象进行交互。然而，对于用户而言，用于与虚拟对象进行交互的此类技术可能既繁琐麻烦又不直观。

技术实现要素：

本文描述的是使用多个设备的系统实现远程触摸检测的技术，该多个设备包括放置在物理表面(诸如，桌子顶部)上的外围设备。有了这些技术，用户可通过在物理表面上进行触摸来与虚拟对象进行交互。

在一些实施方案中，描述了一种方法。该方法包括：在第一电子设备处：获取关于输入的第一图像数据，其中使用在第二电子设备外部的第一电子设备的一个或多个相机传感器来获取第一图像数据；获取关于输入的第二图像数据，其中使用第二电子设备的一个或多个相机传感器来获取第二图像数据，第一电子设备与第二电子设备不同；以及，根据基于第一图像数据和第二图像数据确定满足一个或多个标准的组，基于输入来执行操作，其中该一个或多个标准的组包括当输入为触摸输入时满足的标准。

在一些实施方案中，描述了一种非暂态计算机可读存储介质。非暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器实施的一个或多个程序，该一个或多个程序包括用于以下操作的指令：获取关于输入的第一图像数据，其中使用在第二电子设备外部的第一电子设备的一个或多个相机传感器来获取第一图像数据；获取关于输入的第二图像数据，其中使用第二电子设备的一个或多个相机传感器来获取第二图像数据，第二电子设备与第一电子设备不同；以及，根据基于第一图像数据和第二图像数据确定满足一个或多个标准的组，基于输入来执行操作，其中一个或多个标准的组包括当输入为触摸输入时满足的标准。

在一些实施方案中，描述了一种暂态计算机可读存储介质。暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器实施的一个或多个程序，该一个或多个程序包括用于以下操作的指令：获取关于输入的第一图像数据，其中使用在第二电子设备外部的第一电子设备的一个或多个相机传感器来获取第一图像数据；获取关于输入的第二图像数据，其中使用第二电子设备的一个或多个相机传感器来获取第二图像数据，第二电子设备与第一电子设备不同；以及，根据基于第一图像数据和第二图像数据确定满足一个或多个标准的组，基于输入来执行操作，其中一个或多个标准的组包括当输入为触摸输入时满足的标准。

在一些实施方案中，描述了第一电子设备。第一电子设备包括：一个或多个处理器；以及存储器，该存储器存储被配置为由该一个或多个处理器实施的一个或多个程序，该一个或多个程序包括用于以下操作的指令：获取关于输入的第一图像数据，其中使用在第二电子设备外部的第一电子设备的一个或多个相机传感器来获取第一图像数据；获取关于输入的第二图像数据，其中使用第二电子设备的一个或多个相机传感器来获取第二图像数据，第二电子设备与第一电子设备不同；以及，根据基于第一图像数据和第二图像数据确定满足一个或多个标准的组，基于输入来执行操作，其中一个或多个标准的组包括当输入为触摸输入时满足的标准。

在一些实施方案中，描述了第一电子设备。第一电子设备包括：用于获取关于输入的第一图像数据的装置，其中使用在第二电子设备外部的第一电子设备的一个或多个相机传感器来获取第一图像数据；用于获取关于输入的第二图像数据的装置，其中使用第二电子设备的一个或多个相机传感器来获取第二图像数据，第二电子设备与第一电子设备不同；以及用于根据基于第一图像数据和第二图像数据确定满足一个或多个标准的组，基于输入来执行操作的装置，其中一个或多个标准的组包括当输入为触摸输入时满足的标准。

在一些实施方案中，描述了一种方法。该方法包括：在第一电子设备处：使第二电子设备的红外光源发射红外光；获取关于输入的图像数据，其中使用第一电子设备的一个或多个相机传感器来获取图像数据，第二电子设备与第一电子设备不同；以及，根据基于图像数据确定满足一个或多个标准的组，基于输入来执行操作，其中一个或多个标准的组包括当输入接触红外光时满足的标准。

在一些实施方案中，描述了一种非暂态计算机可读存储介质。该非暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器实施的一个或多个程序，该一个或多个程序包括用于以下操作的指令：使第二电子设备的红外光源发射红外光；获取关于输入的图像数据，其中使用第一电子设备的一个或多个相机传感器来获取图像数据，第二电子设备与第一电子设备不同；以及，根据基于图像数据确定满足一个或多个标准的组，基于输入来执行操作，其中一个或多个标准的组包括当输入接触红外光时满足的标准。

在一些实施方案中，描述了一种暂态计算机可读存储介质。该暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器实施的一个或多个程序，该一个或多个程序包括用于以下操作的指令：使第二电子设备的红外光源发射红外光；获取关于输入的图像数据，其中使用第一电子设备的一个或多个相机传感器来获取图像数据，第二电子设备与第一电子设备不同；以及，根据基于图像数据确定满足一个或多个标准的组，基于输入来执行操作，其中一个或多个标准的组包括当输入接触红外光时满足的标准。

在一些实施方案中，描述了第一电子设备。第一电子设备包括：一个或多个处理器；以及存储器，该存储器存储被配置为由该一个或多个处理器实施的一个或多个程序，该一个或多个程序包括用于以下操作的指令：使第二电子设备的红外光源发射红外光；获取关于输入的图像数据，其中使用第一电子设备的一个或多个相机传感器来获取图像数据，第二电子设备与第一电子设备不同；以及，根据基于图像数据确定满足一个或多个标准的组，基于输入来执行操作，其中一个或多个标准的组包括当输入接触红外光时满足的标准。

在一些实施方案中，描述了第一电子设备。第一电子设备包括：用于使第二电子设备的红外光源发射红外光的装置；用于获取关于输入的图像数据的装置，其中使用第一电子设备的一个或多个相机传感器来获取图像数据，第二电子设备与第一电子设备不同；以及用于根据基于图像数据确定满足一个或多个标准的组，基于输入来执行操作的装置，其中一个或多个标准的组包括当输入接触红外光时满足的标准。

在一些实施方案中，描述了一种方法。该方法包括：在第一电子设备处：使第一电子设备的红外光源发射红外光；获取关于输入的图像数据，其中使用第二电子设备的一个或多个相机传感器来获取图像数据，第一电子设备与第二电子设备不同；以及，根据基于图像数据确定满足一个或多个标准的组，基于输入来执行操作，其中一个或多个标准的组包括当输入接触红外光时满足的标准。

在一些实施方案中，描述了一种非暂态计算机可读存储介质。该非暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器实施的一个或多个程序，该一个或多个程序包括用于以下操作的指令：使第一电子设备的红外光源发射红外光；获取关于输入的图像数据，其中使用第二电子设备的一个或多个相机传感器来获取图像数据，第一电子设备与第二电子设备不同；以及，根据基于图像数据确定满足一个或多个标准的组，基于输入来执行操作，其中一个或多个标准的组包括当输入接触红外光时满足的标准。

在一些实施方案中，描述了一种暂态计算机可读存储介质。该暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器实施的一个或多个程序，该一个或多个程序包括用于以下操作的指令：使第一电子设备的红外光源发射红外光；获取关于输入的图像数据，其中使用第二电子设备的一个或多个相机传感器来获取图像数据，第一电子设备与第二电子设备不同；以及，根据基于图像数据确定满足一个或多个标准的组，基于输入来执行操作，其中一个或多个标准的组包括当输入接触红外光时满足的标准。

在一些实施方案中，描述了第一电子设备。第一电子设备包括：一个或多个处理器；以及存储器，该存储器存储被配置为由该一个或多个处理器实施的一个或多个程序，该一个或多个程序包括用于以下操作的指令：使第一电子设备的红外光源发射红外光；获取关于输入的图像数据，其中使用第二电子设备的一个或多个相机传感器来获取图像数据，第一电子设备与第二电子设备不同；以及，根据基于图像数据确定满足一个或多个标准的组，基于输入来执行操作，其中一个或多个标准的组包括当输入接触红外光时满足的标准。

在一些实施方案中，描述了第一电子设备。第一电子设备包括：用于使第一电子设备的红外光源发射红外光的装置；用于获取关于输入的图像数据的装置，其中使用第二电子设备的一个或多个相机传感器来获取图像数据，第一电子设备与第二电子设备不同；以及用于根据基于图像数据确定满足一个或多个标准的组，基于输入来执行操作的装置，其中一个或多个标准的组包括当输入接触红外光时满足的标准。

附图说明

在下面的描述中，参考形成以下描述的一部分且示出本公开的几个示例的附图。应当理解，还可利用其它示例，并且在不脱离本公开的范围的情况下，可进行结构和操作方面的改变。在不同附图中使用相同的附图符号指示相似或相同的项目。

图1a至图1b描绘了在各种cgr技术中使用的示例性系统。

图2示出了包括头戴式显示设备以及用于启用远程触摸检测的外围设备的系统的示例。

图3示出了提示用户纠正错误状态的通知的示例。

图4至图5示出了cgr环境中的远程触摸检测的示例。

图6至图10示出了cgr环境中的远程触摸检测的附加示例。

图11至图12示出了包括头戴式显示设备以及用于启用远程触摸检测的外围设备的系统的另选示例。

图13为示出用于执行远程触摸检测的方法的流程图。

图14为示出用于执行远程触摸检测的另选方法的流程图。

具体实施方式

图1a和图1b描绘了在各种cgr技术中使用的示例性系统100。

在一些实施方案中，如图1a所示，系统100包括设备100a。设备100a包括各种部件，诸如处理器102、rf电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件任选地通过设备100a的通信总线150进行通信。

在一些实施方案中，系统100的元件在基站设备(例如，计算设备，诸如远程服务器、移动设备或膝上型计算机)中实现，并且系统100的其它元件在设计成由用户佩戴的头戴式显示器(hmd)设备中实现，其中hmd设备与基站设备通信。在一些实施方案中，设备100a在基站设备或hmd设备中实现。

如图1b所示，在一些实施方案中，系统100包括两个(或更多个)通信中的设备，诸如通过有线连接或无线连接。第一设备100b(例如，基站设备)包括处理器102、rf电路104和存储器106。这些部件任选地通过设备100b的通信总线150进行通信。第二设备100c(例如，头戴式设备)包括各种部件，诸如处理器102、rf电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件任选地通过设备100c的通信总线150进行通信。

在一些实施方案中，系统100为移动设备。在一些实施方案中，系统100为hmd设备。在一些实施方案中，系统100为可穿戴hud设备。

系统100包括处理器102和存储器106。处理器102包括一个或多个通用处理器、一个或多个图形处理器、和/或一个或多个数字信号处理器。在一些实施方案中，存储器106是存储计算机可读指令的一个或多个非暂态计算机可读存储介质(例如，闪存存储器，随机存取存储器)，所述计算机可读指令被配置为由一个或多个处理器102实施以执行下述技术。

系统100包括rf电路104。rf电路104任选地包括用于与电子设备、网络(诸如互联网、内联网)和/或无线网络(诸如蜂窝网络和无线局域网(lan))通信的电路。rf电路104任选地包括用于使用近场通信和/或短程通信(诸如)进行通信的电路。

系统100包括显示器120。在一些实施方案中，显示器120包括第一显示器(例如，左眼显示面板)和第二显示器(例如，右眼显示面板)，每个显示器用于向用户的相应眼睛显示图像。对应的图像同时显示在第一显示器和第二显示器上。任选地，对应的图像包括来自不同视点的相同虚拟对象和/或相同物理对象的表示，从而产生视差效应，该视差效应向用户提供显示器上对象的立体感效应。在一些实施方案中，显示器120包括单个显示器。对于用户的每只眼睛，对应的图像同时显示在单个显示器的第一区域和第二区域上。任选地，对应的图像包括来自不同视点的相同虚拟对象和/或相同物理对象的表示，从而产生视差效应，该视差效应向用户提供单个显示器上对象的立体感效应。

在一些实施方案中，系统100包括用于接收用户输入的触敏表面122，诸如轻击输入和轻扫输入。在一些实施方案中，显示器120和触敏表面122形成触敏显示器。

系统100包括图像传感器108。图像传感器108任选地包括一个或多个可见光图像传感器(诸如电荷耦合设备(ccd)传感器)和/或可操作以从物理环境获取物理对象的图像的互补金属氧化物半导体(cmos)传感器。图像传感器还任选地包括一个或多个红外(ir)传感器，诸如无源ir传感器或有源ir传感器，用于检测来自物理环境的红外光。例如，有源ir传感器包括ir发射器，诸如ir点发射器，用于将红外光发射到物理环境中。图像传感器108还任选地包括一个或多个事件相机，该事件相机被配置为捕获物理对象在物理环境中的移动。图像传感器108还任选地包括一个或多个深度传感器，该深度传感器被配置为检测物理对象与系统100的距离。在一些实施方案中，系统100组合使用ccd传感器、事件相机和深度传感器来检测系统100周围的物理环境。在一些实施方案中，图像传感器108包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器任选地被配置为从两个不同的视角捕获物理对象在物理环境中的图像。在一些实施方案中，系统100使用图像传感器108来接收用户输入，诸如手势。在一些实施方案中，系统100使用图像传感器108来检测系统100和/或显示器120在物理环境中的位置和取向。例如，系统100使用图像传感器108来跟踪显示器120相对于物理环境中的一个或多个固定对象的位置和取向。在一些实施方案中，系统100将面向内(例如，面向用户)的图像传感器108用于凝视跟踪和/或手部运动跟踪，这可用于例如控制用户的化身。

在一些实施方案中，系统100包括麦克风112。系统100使用麦克风112来检测来自用户和/或用户的物理环境的声音。在一些实施方案中，麦克风112包括麦克风阵列(包括多个麦克风)，该麦克风阵列任选地串联操作，以便识别环境噪声或在物理环境的空间中定位声源。

系统100包括用于检测系统110和/或显示器100的取向和/或移动的取向传感器120。例如，系统100使用取向传感器110来跟踪系统100和/或显示器120的位置和/或取向的变化，诸如，相对于物理环境中的物理对象而言。取向传感器110任选地包括一个或多个陀螺仪和/或一个或多个加速度计。

物理环境(或真实环境)是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品(或物理对象或真实对象)，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。

相反，计算机生成现实(cgr)环境是指人们经由电子系统感知和/或交互的完全或部分模拟的环境。在cgr中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在cgr环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，cgr系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对cgr环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。

人可以使用其感官中的任一者来感测cgr对象和/或与cgr对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，音频对象创建3d或空间音频环境，该3d或空间音频环境提供3d空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些cgr环境中，人可以感测和/或只与音频对象交互。

cgr的示例包括虚拟现实和混合现实。虚拟现实(vr)环境(虚拟环境)是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。vr环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与vr环境中的虚拟对象交互。

与被设计成完全基于计算机生成的感官输入的vr环境相比，混合现实(mr)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。

在一些mr环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现mr环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。

混合现实的示例包括增强现实和增强虚拟。增强现实(ar)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现ar环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人使用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人使用系统借由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现ar环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人使用该系统感知叠加在物理环境之上的虚拟对象。

增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得修改后的部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除或模糊其部分而进行转换。

增强虚拟(av)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特征的表示。例如，av公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。

有许多不同类型的电子系统使人能够感测和/或与各种cgr环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(hud)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于接触镜片)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、oled、led、uled、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。

图2示出了包括外围设备200a和头戴式显示器(hmd)设备200b的系统200。外围设备包括相机传感器210(例如，图像传感器108)和运动传感器(例如，取向传感器110)。另外，hmd设备200b自身可以是系统100的实施方案，或者可以是系统100的一部分(诸如设备100a)的实施方案。

包括外围设备200a和hmd设备200b的系统200使得能够在表面206上实现准确的远程触摸检测，以便与使用hmd设备200b显示的cgr环境中显示的ui元素进行交互(例如，控制、操纵、激活、选择)。在一些实施方案中，系统200形成三角系统(例如，外围设备200a上一个相机传感器，hmd设备200b上两个相机传感器)。在一些实施方案中，系统200包括外围设备200a(例如，没有相机传感器)，该外围设备发射红外光以供hmd设备200b上的相机传感器检测。在一些实施方案中，系统200不包括外围设备200a，并且依赖于hmd设备200b来使用深度感测技术执行远程触摸检测。

在图2处，用户202正佩戴着hmd设备200b，该hmd设备使用户能够观看cgr环境。用户202坐在物理环境中的桌子204处，其中桌子204包括表面206，该表面上放置有物理对象，诸如，外围设备200a和对象208(例如，物理杯子)。

图3示出了用户202经由hmd设备200b的透明或半透明显示器观看cgr环境的视角。在一些实施方案中，hmd设备200b的显示器是不透明的，因此用户使用透传视频观看物理环境。

在图3处，外围设备200a位于与对象208相邻的表面206上。为了实现最佳操作，外围设备200a可以请求在其自身附近或周围的附加空间，使得一个或多个相机传感器210不会被遮挡物(例如，障碍物)遮挡。在图3中，系统200确定是否已满足一个或多个操作条件的组。在一些实施方案中，这组操作条件包括要求在外围设备200a上的传感器(例如，相机传感器210)和hmd设备200b上的传感器之间存在直视视线。在一些实施方案中，这组操作条件包括要求没有对象遮挡(例如，妨碍)相机传感器210。例如，当没有对象在相机传感器的预定义阈值距离内时，则没有对象遮挡相机传感器210。由于对象208与相机传感器210的紧紧相邻，系统200确定相机传感器210被遮挡。外围设备200a、hmd设备200b或第三设备可确定相机传感器210是否被遮挡。在一些实施方案中，这组操作条件包括要求外围设备200a处于合适的取向(例如，外围设备的表面相对于地面大致平行，是水平的，是垂直的，等等)。

在一些实施方案中，确定相机传感器210是否被遮挡包括：获取关于与相机传感器210靠近或相邻的对象的图像数据；以及基于图像数据确定相机传感器210是否被遮挡。在一些实施方案中，hmd设备200b确定相机传感器210是否被遮挡。在一些实施方案中，由hmd设备200b确定相机传感器210是否被遮挡包括从外围设备200a接收关于相机传感器210的视场中的对象的图像数据。在一些实施方案中，在从外围设备200a接收到图像数据之后(或响应于此)，hmd设备200b基于图像数据确定相机传感器210是否被遮挡。在一些实施方案中，图像数据包括使用相机传感器210和/或hmd设备200b处的相机传感器生成的图像数据。

在确定相机传感器210被遮住之后，hmd设备200b显示通知212，该通知提示用户纠正错误状态。通知212包括外围设备200a被遮挡的指示。通知212还包括将外围设备200a移动到新位置的提示。在一些实施方案中，通知212包括移动正导致相机传感器210被遮挡的对象的提示。

在图4处，用户202在外围设备200a已移动到新位置之后观看cgr环境。在外围设备200a移动到新位置之后(或响应于此)，系统200确定相机传感器210是否被遮挡。系统200确定相机传感器未被遮挡。例如，系统200确定对象208位于离相机传感器210的阈值距离之外。在一些实施方案中，系统200响应于确定外围设备200a已移动到新位置来确定相机传感器210是否被遮挡。外围设备200a、hmd设备200b或第三设备可确定外围设备200a是否已移动到新位置。在一些实施方案中，使用从外围设备200a的运动传感器来获取的数据来进行该确定。在确定满足用于外围设备210a的操作条件的组(例如，相机传感器210不再被遮挡)之后，hmd设备200b停止显示通知212。

在图4处，在满足用于外围设备210a的操作条件的组之后(或响应于此)，hmd设备200b显示用户界面(ui)。在图4中，用户界面包括ui元素214a、214b、214c和214d。另外，hmd设备200b显示虚拟触控板218，其显示的方式使得虚拟触控板218似乎放置在表面206上(或与其重合)。在一些实施方案中，hmd设备200b不显示虚拟触控板218。在一些实施方案中，作为对虚拟触控板218的补充或替代，hmd设备200b显示虚拟键盘。在一些实施方案中，当用户在所显示的虚拟键盘的键的位置(或与其对应的位置)处执行轻击手势时，系统200经由虚拟键盘接收输入。

一旦显示ui元素，则假设，用户注意到ui元素214a处于错误的取向，并因此希望纠正其取向。用户通过准备在表面206上执行轻击手势来开始。外围设备200a使用相机传感器210来获取关于对象216a(例如，用户的手的食指)的信息。另外，hmd设备200b经由位于hmd设备200b处的相机传感器来获取关于对象216a的信息。因此，外围设备200a和hmd设备200b两者均使用其相应的相机传感器来获取关于对象216a的信息(例如，图像数据)。获取关于对象的信息可包括使用相机传感器来捕获对象在相机传感器的视场中的一个或多个图像。从设备200a和200b两者的视角捕获关于对象216a的信息允许设备更好地解析对象216a的位置和移动，从而有助于检测的准确性。

在图5处，当ui元素214a被突出显示以供选择(例如，相对于其它ui元素被强调)时，用户通过使用对象216a在表面206上执行轻击手势来选择用于编辑的ui元素214a。随着对象216a朝向表面206移动，外围设备200a和/或hmd设备200b使用相应设备的相机传感器来捕获关于对象216a的信息。系统200使用该信息来确定对象216a的移动是否满足一个或多个标准的组，一个或多个标准的组包括例如要求对象的移动导致触摸输入。外围设备200a、hmd设备200b或第三设备可进行该确定。在一些实施方案中，确定对象216a的移动是否满足一个或多个标准的组包括确定对象216a的移动是否为有效输入(例如，对系统200的有效输入)。在一些实施方案中，一个或多个标准的组包括要求触摸输入发生在虚拟触控板218的边界内。在一些实施方案中，系统200使用所捕获的图像来使用3d对象检测和/或模板匹配来跟踪对象(例如，对象216a)。在一些实施方案中，系统200从所捕获的图像中提取手姿态信息和/或手指姿态信息以确定对象216a的移动是否满足一个或多个标准的组。

在一些实施方案中，当由相机传感器来获取的信息指示对象已触摸表面(例如，与其重合)时，对象的移动会导致触摸输入。在一些实施方案中，一个或多个标准的组包括对象的移动是否为识别到的手势。值得注意的是，由于设备200b也位于该表面上，其能够更好地检测该表面上的轻击，因此传感器210可具有到轻击位置的清晰视线。相比之下，设备200a还可依靠深度分析来确定对象是否已经以这种方式沿z轴移动，以将其定性为表面上的轻击。在一些实施方案中，一个或多个标准的组包括要求对象是有效对象。例如，当对象为手的手指时，对象是有效对象。在一些实施方案中，当对象为书写工具(例如，笔、铅笔)或触笔时，对象是有效对象。

在图5处，系统200确定对象216a的移动满足一个或多个标准的组。例如，确定对象216a的移动满足一个或多个标准的组包括确定对象216a的移动为识别到的手势(例如，轻击手势)。在确定对象216a的移动满足一个或多个标准的组之后，系统200基于轻击手势选择ui元素214a。

在图6处，响应于对ui元素214a的选择，hmd设备200b显示ui元素214a，而不显示其它ui元素。用户202可使用旋转手势来纠正ui元素214a的取向。外围设备200a和/或hmd设备200b使用相应的相机传感器来捕获关于对象216a和/或对象216b(例如，用户的手的拇指)的信息。

在图7处，当用户执行旋转手势时，外围设备200a和hmd设备200b继续使用其相应的相机传感器来捕获关于对象216a和/或对象216b的信息。由于对象216a的位置和取向，由hmd设备200b的相机传感器捕获的信息不足以确定对象216a和216b的移动是否满足一个或多个标准的组。具体地，所捕获的信息不包括关于对象216a的信息，因为对象216a不在hmd设备200b的相机传感器的视场中。然而，由于外围设备200a的位置，由外围设备200a的相机传感器210捕获的信息包括关于对象216a的信息。该场景展示了具有从不同视角(例如，角度)捕获信息的相机传感器的系统的优点。

使用所捕获的来自外围设备200a和hmd设备200b的信息，系统200确定对象216a和对象216b的移动满足一个或多个标准的组。例如，系统200基于所捕获的信息确定对象216a和216b的移动导致触摸输入并且是识别到的手势(例如，旋转手势)。在确定对象216a和对象216b的移动满足一个或多个标准的组之后，hmd设备200b显示从其在图6中的初始取向顺时针旋转到图7中所示的中间取向的ui元素214a。

在图8处，当用户继续执行旋转手势时，外围设备200a和hmd设备200b继续使用其相应的相机传感器来捕获关于对象216a和/或对象216b的信息。使用所捕获的信息，系统200确定对象216a和216b的移动是否继续满足一个或多个标准的组。在确定对象216a和216b的移动继续满足一个或多个标准的组之后，hmd设备200b显示从其在图7中的中间取向进一步顺时针旋转到图8中所示的最终取向的ui元素214a。

在图9处，一旦ui元素214a处于期望的取向，则用户希望增大所显示的ui元素214a的尺寸。为了放大所显示的ui元素214a，用户发起展开手势。如相对于图6至图8中的旋转手势所描述的，外围设备200a和hmd设备200b使用相应的相机传感器来捕获关于对象216a和对象216b的信息。

当用户执行展开手势时，外围设备200a和hmd设备200b继续使用其相应的相机传感器来捕获关于对象216a和对象216b的信息。使用所捕获的来自外围设备200a和hmd设备200b的信息，系统200确定对象216a和对象216b的移动满足一个或多个标准的组。例如，系统200基于所捕获的信息确定对象216a和对象216b的移动导致触摸输入并且是识别到的手势(例如，展开手势)。在确定对象216a和对象216b的移动满足一个或多个标准的组之后，hmd设备200b显示将ui元素214a从其在图9中的初始尺寸放大到图10中所示的最终尺寸的动画。

图11示出了系统200的另选实施方案。在图4至图10中，外围设备200a包括用于捕获关于在其视场中的对象的信息的相机传感器210。在一些实施方案中，外围设备200a不具有相机传感器。在一些实施方案中，外围设备200a包括红外发射器220，该红外发射器发射红外光以启用远程触摸检测。在一些实施方案中，红外发射器220作为平行(或基本上平行)于表面206的光平面来发射红外光222。为了检测远程触摸，hmd设备200b获取关于与红外光222重合(例如，相交)的对象的信息。

例如，类似于图4中的场景，假设图11中的用户202希望选择ui元素214a以便纠正ui元素的取向。当ui元素214a被突出显示以供选择(例如，相对于其它ui元素被强调)时，用户通过使用对象216a在表面206上执行轻击手势来选择用于编辑的ui元素214a。

在图12处，当对象216a朝红外光222的平面移动时，hmd设备200b使用其相机传感器来捕获关于对象216a的信息。例如，一旦对象216a与红外光222的平面重合，则hmd设备200b检测由与红外光222的平面重合的对象216a引起的红外光的反射(例如，识别遮挡)。系统200使用所捕获的该信息来确定对象216a的移动是否满足一个或多个标准的组，该一个或多个标准的组包括例如对象的移动导致触摸输入。外围设备200a、hmd设备200b或第三设备可进行该确定。

在一些实施方案中，当系统200基于由相机传感器来获取的信息确定对象已触摸表面(例如，与其重合)时，对象的移动会导致触摸输入。在一些实施方案中，当对象已与红外光222的平面重合时，系统200确定对象已触摸表面。在图12处，系统200确定对象216a的移动满足一个或多个标准的组。在确定对象216a的移动满足一个或多个标准的组之后，系统200基于轻击手势选择ui元素214a，如相对于图5所描述的。

图13是示出用于远程触摸检测的方法1300的流程图。在一些实施方案中，该方法由外围设备200a执行。在一些实施方案中，该方法由hmd设备200b执行。在一些实施方案中，该方法由与外围设备200a和hmd设备200b不同的第三设备执行。

在框1302处，第一电子设备获取关于输入(例如，216a、216b)(或对象的移动(例如，216a、216b))的第一图像数据(例如，所捕获的图像)，其中使用第二电子设备(例如，外围设备(例如，200a)、hmd设备(例如，200b))的一个或多个相机传感器(例如，图像传感器108)获取第一图像数据。在一些实施方案中，获取第一图像数据包括获取关于所检测到的物理表面(例如，206)的图像数据。在一些实施方案中，在获取关于输入的第一图像数据和第二图像数据之前，第一电子设备基于来自第二电子设备的取向数据(例如，运动数据)来确定是否存在用于接收触摸输入的合适环境(例如，第二电子设备搁置在平坦表面上)。在一些实施方案中，输入(或对象的移动)发生在除第二电子设备的位置和第一电子设备的位置之外的位置处。

在一些实施方案中，根据确定第二电子设备的一个或多个相机传感器被遮挡，第一电子设备提示(例如，经由视觉提示(例如，212)、听觉提示和/或触觉提示)将第二电子设备移动到新位置。在一些实施方案中，该方法还包括：基于(例如，使用第二电子设备和/或第一电子设备的一个或多个相机传感器来获取的)图像数据来确定第二电子设备的一个或多个相机传感器是否被遮挡。在一些实施方案中，图像数据包括关于第二电子设备的一个或多个相机传感器的视场中的对象(例如，208)(或其中不存在对象)的信息或关于与第二电子设备相邻或靠近的对象(或其中不存在对象)的信息。在一些实施方案中，确定当视场中的对象(例如，208)在一个或多个相机传感器的阈值距离内时，第二电子设备的一个或多个相机传感器被遮挡。在一些实施方案中，该方法包括提示移动第二电子设备、或提示移动引起遮挡的对象、或它们的组合。

在框1304处，第一电子设备获取关于输入(例如，216a、216b)(或对象的移动(例如，216a、216b))的第二图像数据(例如，所捕获的图像)，其中使用第一电子设备(例如，头戴式设备(例如，200b)、外围设备(例如，200a))的一个或多个相机传感器(例如，图像传感器108)获取第二图像数据，第二电子设备与第一电子设备不同。在一些实施方案中，第一电子设备可与第二电子设备相同。在一些实施方案中，获取第二图像数据包括获取关于所检测到的物理表面的图像数据。在一些实施方案中，第一设备与第二设备通信。在一些实施方案中，第一图像数据和第二图像数据对应于相同的时间点或时间段。在一些实施方案中，输入包括第一对象(例如，手的第一手指)和第二对象(例如，手的第二手指)的移动，并且第一图像数据和第二图像数据中的至少一者不包括与第一对象和第二对象均有关的信息。在一些实施方案中，第一图像数据和第二图像数据组合地提供充足的数据以用于确定是否满足一个或多个标准的组。

在框1306处，基于第一图像数据和第二图像数据来确定是否满足一个或多个标准的组，其中一个或多个标准的组包括当输入为触摸输入时满足的标准。在一些实施方案中，一个或多个标准的组包括当对象的移动为有效输入时满足的标准。在一些实施方案中，有效输入为触摸输入。在一些实施方案中，有效输入是由有效对象(例如，手指、指状部、笔、触笔)执行的触摸输入。在一些实施方案中，当对象的移动不是触摸输入时，未满足一个或多个标准的组。在一些实施方案中，当对象的移动由无效对象(例如，除用户的指状部或手指之外的对象)执行时，未满足一个或多个标准的组。

在一些实施方案中，标准包括当输入(或对象的移动)是手势(例如，识别到的手势)(例如，轻击、双击、拖动、轻弹、捏合、展开、按压、旋转)时满足的标准。在一些实施方案中，标准包括当输入(或对象的移动)为轻击手势时满足的标准。在一些实施方案中，标准包括当输入(或对象的移动)为捏合手势或展开手势时满足的标准。在一些实施方案中，标准包括当输入(或对象的移动)为旋转手势时满足的标准。在一些实施方案中，标准包括当输入(或对象的移动)与用户的一个或多个手指(例如，指状部)对应(例如，由其执行)时满足的标准。在一些实施方案中，当对象的移动由无效对象(例如，除用户的指状部或手指之外的对象)执行时，未满足一个或多个标准的组。在一些实施方案中，由第一电子设备对满足一个或多个标准的组进行确定。在一些实施方案中，第二电子设备进行该确定。

在框1308处，根据确定满足一个或多个标准的组，第一电子设备基于(例如，响应于)输入(或对象的移动)(与检测到的表面(例如，206)(例如，桌子或书桌的顶部)接触的输入)执行操作。在一些实施方案中，根据基于第一图像数据和第二图像数据确定未满足一个或多个标准的组，第一电子设备放弃基于输入来执行操作。

在一些实施方案中，第一电子设备使用第一电子设备的一个或多个相机传感器来获取关于第二电子设备的图像数据。在一些实施方案中，第一电子设备基于关于第二电子设备的图像数据来确定第二电子设备的位置。在一些实施方案中，使用技术(诸如，3d对象检测和/或与图像数据的模板匹配)来确定第二电子设备的位置。在一些实施方案中，第一电子设备基于第二电子设备的位置显示虚拟键盘(或触控板(例如，218))。在一些实施方案中，第二电子设备的位置用作用于确定在何处显示虚拟键盘(或触控板)的参考点。在一些实施方案中，虚拟键盘(或触控板)显示的方式使得虚拟键盘(或触控板)似乎搁置在物理表面(例如，206)(即，第二电子设备所搁置的相同物理表面)上。

图14是示出用于远程触摸检测的方法1400的流程图。在一些实施方案中，该方法由设备200a执行。在一些实施方案中，该方法由设备200b执行。在一些实施方案中，该方法由与外围设备200a和hmd设备200b不同的第三设备执行。

在框1402处，第一电子设备使第二电子设备(例如，200a、200b)的红外光源(例如，220)(例如，一个或多个红外光源)发射红外光(例如，222)。在一些实施方案中，根据确定第二电子设备的红外光源被遮挡，第一电子设备提示(例如，经由视觉提示(例如，212)、听觉提示和/或触觉提示)将第二电子设备移动到新位置。在一些实施方案中，该方法还包括：基于(例如，使用第一电子设备的一个或多个相机传感器来获取的)图像数据来确定第二电子设备的红外光源是否被遮挡。在一些实施方案中，图像数据包括关于与第二电子设备靠近或相邻的对象(或其中不存在对象)的信息。在一些实施方案中，确定当对象在第二电子设备或红外光源的阈值距离内时，第二电子设备的红外光源被遮挡。在一些实施方案中，该方法包括提示移动第二电子设备、或提示移动引起遮挡的对象、或它们的组合。

在框1404处，第一电子设备获取关于输入(例如，216a、216b)(或对象的移动(例如，216a、216b))的图像数据，其中使用第一电子设备(例如，200a、200b)的一个或多个相机传感器来获取图像数据，第二电子设备与第一电子设备不同。在一些实施方案中，输入(或对象的移动)发生在除第二电子设备的位置和第一电子设备的位置之外的位置处。

在框1406处，基于图像数据来确定是否满足一个或多个标准的组，其中一个或多个标准的组包括当输入(例如，216a、216b)与红外光(例如，222)接触时满足的标准。在一些实施方案中，一个或多个标准的组包括当对象的移动为有效输入时满足的标准。在一些实施方案中，有效输入为触摸输入。在一些实施方案中，有效输入是由有效对象(例如，手指、指状部、笔、触笔)执行的触摸输入。在一些实施方案中，当对象的移动不是触摸输入时，未满足一个或多个标准的组。在一些实施方案中，当对象的移动由无效对象(例如，除用户的指状部或手指之外的对象)执行时，未满足一个或多个标准的组。

在一些实施方案中，标准包括当输入(或对象的移动)是手势(例如，识别到的手势)(例如，轻击、双击、拖动、轻弹、捏合、展开、按压、旋转)时满足的标准。在一些实施方案中，标准包括当输入(或对象的移动)为轻击手势时满足的标准。在一些实施方案中，标准包括当输入(或对象的移动)为捏合手势或展开手势时满足的标准。在一些实施方案中，标准包括当输入(或对象的移动)为旋转手势时满足的标准。在一些实施方案中，标准包括当输入(或对象的移动)与用户的一个或多个手指(例如，指状部)对应(例如，由其执行)时满足的标准。在一些实施方案中，当对象的移动由无效对象(例如，除用户的指状部或手指之外的对象)执行时，未满足一个或多个标准的组。在一些实施方案中，由第一电子设备对满足一个或多个标准的组进行确定。在一些实施方案中，第二电子设备进行该确定。

在框1408处，根据确定满足一个或多个标准的组，第一电子设备基于(例如，响应于)输入(或对象的移动)(与检测到的表面(例如，206)(例如，桌子、书桌的顶部)接触的输入)来执行操作。在一些实施方案中，根据基于图像数据确定未满足一个或多个标准的组，第一电子设备放弃基于输入来执行操作。

在一些实施方案中，第一电子设备使用第一电子设备(例如，200b)的一个或多个相机传感器来获取关于第二电子设备(例如，200a)的图像数据。在一些实施方案中，第一电子设备基于关于第二电子设备的图像数据来确定第二电子设备的位置。在一些实施方案中，使用技术(诸如，3d对象检测和/或与图像数据的模板匹配)来确定第二电子设备的位置。在一些实施方案中，第一电子设备基于第二电子设备的位置显示虚拟键盘(或触控板(例如，218))。在一些实施方案中，第二电子设备的位置用作用于确定在何处显示虚拟键盘(或触控板)的参考点。在一些实施方案中，虚拟键盘(或触控板)显示的方式使得虚拟键盘(或触控板)似乎搁置在物理表面(例如，206)(即，第二电子设备所搁置的相同物理表面)上。

上文相对于方法1400所述的过程的详情也以类似方式适用于相对于方法1300所述的方法。例如，方法1300任选地包括上文参考方法1400所述的方法的一个或多个特征。例如，方法1300还可包括发射红外光以实现准确的远程触摸检测。为了简明起见，这些详情在下文中不再重复。

有利地，方法1300和1400提高了远程触摸检测的准确性和鲁棒性。例如，方法1300和1400使得能够准确地检测远程触摸，其包括忽略虚假输入(例如，非手输入、手掌输入)的能力。这可以产生用于与cgr环境进行交互的高效且直观的技术。

此外，本公开还涉及以下实施例：

实施例1.一种方法，包括：

获取关于输入的第一图像数据，其中使用在第二电子设备外部的第一电子设备的一个或多个相机传感器来获取所述第一图像数据；

获取关于所述输入的第二图像数据，其中使用所述第二电子设备的一个或多个相机传感器来获取所述第二图像数据，所述第一电子设备与所述第二电子设备不同；以及

根据基于所述第一图像数据和所述第二图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入为触摸输入时满足的标准。

实施例2.根据实施例1所述的方法，还包括：

根据基于所述第一图像数据和所述第二图像数据确定未满足所述一个或多个标准的组，放弃基于所述输入来执行所述操作。

实施例3.根据实施例1至2中任一项所述的方法，还包括：

在获取关于所述输入的所述第一图像数据和所述第二图像数据之前，基于来自所述第二电子设备的取向数据来确定是否存在用于接收触摸输入的合适环境。

实施例4.根据实施例1至3中任一项所述的方法，其中所述输入发生在除所述第一电子设备的位置和所述第二电子设备的位置之外的位置处。

实施例5.根据实施例1至4中任一项所述的方法，其中所述标准包括当所述输入为手势时满足的标准。

实施例6.根据实施例5所述的方法，其中所述标准包括当所述输入为轻击手势时满足的标准。

实施例7.根据实施例5所述的方法，其中所述标准包括当所述输入为捏合手势或展开手势时满足的标准。

实施例8.根据实施例5所述的方法，其中所述标准包括当所述输入为旋转手势时满足的标准。

实施例9.根据实施例1至8中任一项所述的方法，其中所述标准包括当所述输入对应于用户的一个或多个手指时满足的标准。

实施例10.根据实施例1至9中任一项所述的方法，其中由所述第一电子设备做出满足一个或多个标准的组的确定。

实施例11.根据实施例1至10中任一项所述的方法，其中所述第一图像数据和所述第二图像数据对应于相同的时间点或时间段。

实施例12.根据实施例1至11中任一项所述的方法，还包括：

根据确定所述第二电子设备的所述一个或多个相机传感器被遮挡，提示将所述第二电子设备移动到新位置。

实施例13.根据实施例1至12中任一项所述的方法，还包括：

使用所述第一电子设备的所述一个或多个相机传感器来获取关于所述第二电子设备的图像数据；以及

基于关于所述第二电子设备的所述图像数据来确定所述第二电子设备的位置；以及

基于所述第二电子设备的所述位置来显示虚拟键盘。

实施例14.根据实施例1至13中任一项所述的方法，其中：

所述输入包括第一对象和第二对象的移动，并且

所述第一图像数据和所述第二图像数据中的至少一者不包括关于所述第一对象和所述第二对象两者的信息。

实施例15.根据实施例14所述的方法，其中所述第一图像数据和所述第二图像数据组合地提供充足的数据以用于确定是否满足所述一个或多个标准的组。

实施例16.一种系统，包括：

一个或多个处理器；以及

一个或多个存储器，所述一个或多个存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据实施例1至15中任一项所述的方法的指令。

实施例17.根据实施例16所述的系统，其中所述一个或多个存储器包括所述第一电子设备的第一存储器和所述第二电子设备的第二存储器。

实施例18.根据实施例16至17中任一项所述的系统，其中所述一个或多个存储器包括与所述第一电子设备和所述第二电子设备不同的第三电子设备的第三存储器。

实施例19.一种方法，包括：

在第一电子设备处：

获取关于输入的第一图像数据，其中使用在第二电子设备外部的第一电子设备的一个或多个相机传感器来获取所述第一图像数据；

获取关于所述输入的第二图像数据，其中使用所述第二电子设备的一个或多个相机传感器来获取所述第二图像数据，所述第一电子设备与所述第二电子设备不同；以及

根据基于所述第一图像数据和所述第二图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入为触摸输入时满足的标准。

实施例20.根据实施例19所述的方法，还包括：

根据基于所述第一图像数据和所述第二图像数据确定未满足所述一个或多个标准的组，放弃基于所述输入来执行所述操作。

实施例21.根据实施例19至20中任一项所述的方法，还包括：

在获取关于所述输入的所述第一图像数据和所述第二图像数据之前，基于来自所述第二电子设备的取向数据来确定是否存在用于接收触摸输入的合适环境。

实施例22.根据实施例19至21中任一项所述的方法，其中所述输入发生在除所述第一电子设备的所述位置和所述第二电子设备的所述位置之外的位置处。

实施例23.根据实施例19至22中任一项所述的方法，其中所述标准包括当所述输入为手势时满足的标准。

实施例24.根据实施例23所述的方法，其中所述标准包括当所述输入为轻击手势时满足的标准。

实施例25.根据实施例23所述的方法，其中所述标准包括当所述输入为捏合手势或展开手势时满足的标准。

实施例26.根据实施例23所述的方法，其中所述标准包括当所述输入为旋转手势时满足的标准。

实施例27.根据实施例19至26中任一项所述的方法，其中所述标准包括当所述输入对应于用户的一个或多个手指时满足的标准。

实施例28.根据实施例19至27中任一项所述的方法，其中由所述第一电子设备做出满足一个或多个标准的组的确定。

实施例29.根据实施例19至28中任一项所述的方法，其中所述第一图像数据和所述第二图像数据对应于相同的时间点或时间段。

实施例30.根据实施例19至29中任一项所述的方法，还包括：

根据确定所述第二电子设备的所述一个或多个相机传感器被遮挡，提示将所述第二电子设备移动到新位置。

实施例31.根据实施例19至30中任一项所述的方法，还包括：

使用所述第一电子设备的所述一个或多个相机传感器来获取关于所述第二电子设备的图像数据；以及

基于关于所述第二电子设备的所述图像数据来确定所述第二电子设备的位置；以及

基于所述第二电子设备的所述位置来显示虚拟键盘。

实施例32.根据实施例19至31中任一项所述的方法，其中：

所述输入包括第一对象和第二对象的移动，并且

所述第一图像数据和所述第二图像数据中的至少一者不包括关于所述第一对象和所述第二对象两者的信息。

实施例33.根据实施例32所述的方法，其中所述第一图像数据和所述第二图像数据组合地提供充足的数据以用于确定是否满足所述一个或多个标准的组。

实施例34.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器实施的一个或多个程序，所述一个或多个程序包括用于执行根据实施例19至33中任一项所述的方法的指令。

实施例35.一种第一电子设备，包括：

一个或多个处理器；以及

存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据实施例19至33中任一项所述的方法的指令。

实施例36.一种第一电子设备，包括：

用于执行根据实施例19至33中任一项所述的方法的装置。

实施例37.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：

获取关于输入的第一图像数据，其中使用在第二电子设备外部的所述第一电子设备的一个或多个相机传感器来获取所述第一图像数据；

获取关于所述输入的第二图像数据，其中使用所述第二电子设备的一个或多个相机传感器来获取所述第二图像数据，所述第一电子设备与所述第二电子设备不同；以及

根据基于所述第一图像数据和所述第二图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入为触摸输入时满足的标准。

实施例38.一种第一电子设备，包括：

一个或多个处理器；以及

存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：

获取关于输入的第一图像数据，其中使用在第二电子设备外部的所述第一电子设备的一个或多个相机传感器来获取所述第一图像数据；

获取关于所述输入的第二图像数据，其中使用所述第二电子设备的一个或多个相机传感器来获取所述第二图像数据，所述第一电子设备与所述第二电子设备不同；以及

根据基于所述第一图像数据和所述第二图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入为触摸输入时满足的标准。

实施例39.一种第一电子设备，包括：

用于获取关于输入的第一图像数据的装置，其中使用在第二电子设备外部的所述第一电子设备的一个或多个相机传感器来获取所述第一图像数据；

用于获取关于所述输入的第二图像数据的装置，其中使用所述第二电子设备的一个或多个相机传感器来获取所述第二图像数据，所述第一电子设备与所述第二电子设备不同；以及

用于根据基于所述第一图像数据和所述第二图像数据确定满足一个或多个标准的组，基于所述输入来执行操作的装置，其中所述一个或多个标准的组包括当所述输入为触摸输入时满足的标准。

实施例40.一种方法，包括：

在第一电子设备处：

获取关于输入的第一图像数据，其中使用在第二电子设备外部的第一电子设备的一个或多个相机传感器来获取所述第一图像数据；

获取关于所述输入的第二图像数据，其中使用所述第二电子设备的一个或多个相机传感器来获取所述第二图像数据，所述第一电子设备与所述第二电子设备不同；以及

根据基于所述第一图像数据和所述第二图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入为触摸输入时满足的标准。

实施例41.根据实施例40所述的方法，还包括：

根据基于所述第一图像数据和所述第二图像数据确定未满足所述一个或多个标准的组，放弃基于所述输入来执行所述操作。

实施例42.根据实施例40至41中任一项所述的方法，还包括：

在获取关于所述输入的所述第一图像数据和所述第二图像数据之前，基于来自所述第一电子设备的取向数据来确定是否存在用于接收触摸输入的合适环境。

实施例43.根据实施例40至42中任一项所述的方法，其中所述输入发生在除所述第一电子设备的所述位置和所述第二电子设备的所述位置之外的位置处。

实施例44.根据实施例40至43中任一项所述的方法，其中所述标准包括当所述输入为手势时满足的标准。

实施例45.根据实施例44所述的方法，其中所述标准包括当所述输入为轻击手势时满足的标准。

实施例46.根据实施例44所述的方法，其中所述标准包括当所述输入为捏合手势或展开手势时满足的标准。

实施例47.根据实施例44所述的方法，其中所述标准包括当所述输入为旋转手势时满足的标准。

实施例48.根据实施例40至47中任一项所述的方法，其中所述标准包括当所述输入对应于用户的一个或多个手指时满足的标准。

实施例49.根据实施例40至48中任一项所述的方法，其中由所述第一电子设备做出满足一个或多个标准的组的确定。

实施例50.根据实施例40至49中任一项所述的方法，其中所述第一图像数据和所述第二图像数据对应于相同的时间点或时间段。

实施例51.根据实施例40至50中任一项所述的方法，还包括：

根据确定所述第一电子设备的所述一个或多个相机传感器被遮挡，提示将所述第一电子设备移动到新位置。

实施例52.根据实施例40至51中任一项所述的方法，还包括：

使用所述第二电子设备的所述一个或多个相机传感器来获取关于所述第一电子设备的图像数据；以及

基于关于所述第一电子设备的所述图像数据来确定所述第一电子设备的位置；以及

基于所述第一电子设备的所述位置来显示虚拟键盘。

实施例53.根据实施例40至52中任一项所述的方法，其中：

所述输入包括第一对象和第二对象的移动，并且

所述第一图像数据和所述第二图像数据中的至少一者不包括关于所述第一对象和所述第二对象两者的信息。

实施例54.根据实施例53所述的方法，其中所述第一图像数据和所述第二图像数据组合地提供充足的数据以用于确定是否满足所述一个或多个标准的组。

实施例55.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据实施例40至54中任一项所述的方法的指令。

实施例56.一种第一电子设备，包括：

一个或多个处理器；以及

存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据实施例40至54中任一项所述的方法的指令。

实施例57.一种第一电子设备，包括：

用于执行根据实施例40至54中任一项所述的方法的装置。

实施例58.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：

获取关于输入的第一图像数据，其中使用在第二电子设备外部的所述第一电子设备的一个或多个相机传感器来获取所述第一图像数据；

获取关于所述输入的第二图像数据，其中使用所述第二电子设备的一个或多个相机传感器来获取所述第二图像数据，所述第一电子设备与所述第二电子设备不同；以及

根据基于所述第一图像数据和所述第二图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入为触摸输入时满足的标准。

实施例59.一种第一电子设备，包括：

一个或多个处理器；以及

存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：

获取关于输入的第一图像数据，其中使用在第二电子设备外部的所述第一电子设备的一个或多个相机传感器来获取所述第一图像数据；

获取关于所述输入的第二图像数据，其中使用所述第二电子设备的一个或多个相机传感器来获取所述第二图像数据，所述第一电子设备与所述第二电子设备不同；以及

根据基于所述第一图像数据和所述第二图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入为触摸输入时满足的标准。

实施例60.一种第一电子设备，包括：

用于获取关于输入的第一图像数据的装置，其中使用在第二电子设备外部的所述第一电子设备的一个或多个相机传感器来获取所述第一图像数据；

用于获取关于所述输入的第二图像数据的装置，其中使用所述第二电子设备的一个或多个相机传感器来获取所述第二图像数据，所述第一电子设备与所述第二电子设备不同；以及

用于根据基于所述第一图像数据和所述第二图像数据确定满足一个或多个标准的组，基于所述输入来执行操作的装置，其中所述一个或多个标准的组包括当所述输入为触摸输入时满足的标准。

实施例61.一种方法，包括：

使第一电子设备的红外光源发射红外光；

获取关于输入的图像数据，其中使用第二电子设备的一个或多个相机传感器来获取图像数据，所述第一电子设备与所述第二电子设备不同；以及

根据基于所述图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入接触所述红外光时满足的标准。

实施例62.根据实施例61所述的方法，还包括：

根据基于所述图像数据确定未满足所述一个或多个标准的组，放弃基于所述输入来执行所述操作。

实施例63.根据实施例61至62中任一项所述的方法，其中所述输入发生在除所述第一电子设备的所述位置和所述第二电子设备的所述位置之外的位置处。

实施例64.根据实施例61至63中任一项所述的方法，其中所述标准包括当所述输入为手势时满足的标准。

实施例65.根据实施例64所述的方法，其中所述标准包括当所述输入为轻击手势时满足的标准。

实施例66.根据实施例64所述的方法，其中所述标准包括当所述输入为捏合手势或展开手势时满足的标准。

实施例67.根据实施例64所述的方法，其中所述标准包括当所述输入为旋转手势时满足的标准。

实施例68.根据实施例61至67中任一项所述的方法，其中所述标准包括当所述输入对应于用户的一个或多个手指时满足的标准。

实施例69.根据实施例61至68中任一项所述的方法，其中由所述第二电子设备做出满足一个或多个标准的组的确定。

实施例70.根据实施例61至69中任一项所述的方法，还包括：

根据确定所述第一电子设备的所述红外光源被遮挡，提示将所述第一电子设备移动到新位置。

实施例71.根据实施例61至70中任一项所述的方法，还包括：

使用所述第二电子设备的所述一个或多个相机传感器来获取关于所述第一电子设备的图像数据；以及

基于关于所述第一电子设备的所述图像数据来确定所述第一电子设备的位置；以及

基于所述第一电子设备的所述位置来显示虚拟键盘。

实施例72.一种系统，包括：

一个或多个处理器；以及

一个或多个存储器，所述一个或多个存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据实施例61至71中任一项所述的方法的指令。

实施例73.根据实施例72所述的系统，其中所述一个或多个存储器包括所述第一电子设备的第一存储器和所述第二电子设备的第二存储器。

实施例74.根据实施例72至73中任一项所述的系统，其中所述一个或多个存储器包括与所述第一电子设备和所述第二电子设备不同的第三电子设备的第三存储器。

实施例75.一种方法，包括：

在第一电子设备处：

使第二电子设备的红外光源发射红外光；

获取关于输入的图像数据，其中使用所述第一电子设备的一个或多个相机传感器来获取所述图像数据，所述第一电子设备与所述第二电子设备不同；以及

根据基于所述图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入接触所述红外光时满足的标准。

实施例76.根据实施例75所述的方法，还包括：

根据基于所述图像数据确定未满足所述一个或多个标准的组，放弃基于所述输入来执行所述操作。

实施例77.根据实施例75至76中任一项所述的方法，其中所述输入发生在除所述第一电子设备的所述位置和所述第二电子设备的所述位置之外的位置处。

实施例78.根据实施例75至77中任一项所述的方法，其中所述标准包括当所述输入为手势时满足的标准。

实施例79.根据实施例78所述的方法，其中所述标准包括当所述输入为轻击手势时满足的标准。

实施例80.根据实施例78所述的方法，其中所述标准包括当所述输入为捏合手势或展开手势时满足的标准。

实施例81.根据实施例78所述的方法，其中所述标准包括当所述输入为旋转手势时满足的标准。

实施例82.根据实施例75至81中任一项所述的方法，其中所述标准包括当所述输入对应于用户的一个或多个手指时满足的标准。

实施例83.根据实施例75至82中任一项所述的方法，其中由所述第一电子设备做出满足一个或多个标准的组的确定。

实施例84.根据实施例75至83中任一项所述的方法，还包括：

根据确定所述第二电子设备的所述红外光源被遮挡，提示将所述第二电子设备移动到新位置。

实施例85.根据实施例75至84中任一项所述的方法，还包括：

使用所述第一电子设备的所述一个或多个相机传感器来获取关于所述第二电子设备的图像数据；以及

基于关于所述第二电子设备的所述图像数据来确定所述第二电子设备的位置；以及

基于所述第二电子设备的所述位置来显示虚拟键盘。

实施例86.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据实施例75至85中任一项所述的方法的指令。

实施例87.一种第一电子设备，包括：

一个或多个处理器；以及

存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据实施例75至85中任一项所述的方法的指令。

实施例88.一种第一电子设备，包括：

用于执行根据实施例75至85中任一项所述的方法的装置。

实施例89.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：

使第二电子设备的红外光源发射红外光；

获取关于输入的图像数据，其中使用所述第一电子设备的一个或多个相机传感器来获取所述图像数据，所述第一电子设备与所述第二电子设备不同；以及

根据基于所述图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入接触所述红外光时满足的标准。

实施例90.一种第一电子设备，包括：

一个或多个处理器；以及

存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：

使第二电子设备的红外光源发射红外光；

获取关于输入的图像数据，其中使用所述第一电子设备的一个或多个相机传感器来获取所述图像数据，所述第一电子设备与所述第二电子设备不同；以及

根据基于所述图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入接触所述红外光时满足的标准。

实施例91.一种第一电子设备，包括：

用于使第二电子设备的红外光源发射红外光的装置；

用于获取关于输入的图像数据的装置，其中使用所述第一电子设备的一个或多个相机传感器来获取所述图像数据，所述第一电子设备与所述第二电子设备不同；以及

用于根据基于所述图像数据确定满足一个或多个标准的组，基于所述输入来执行操作的装置，其中所述一个或多个标准的组包括当所述输入接触所述红外光时满足的标准。

实施例92.一种方法，包括：

在第一电子设备处：

使所述第一电子设备的红外光源发射红外光；

获取关于输入的图像数据，其中使用第二电子设备的一个或多个相机传感器来获取图像数据，所述第一电子设备与所述第二电子设备不同；以及

根据基于所述图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入接触所述红外光时满足的标准。

实施例93.根据实施例92所述的方法，还包括：

根据基于所述图像数据确定未满足所述一个或多个标准的组，放弃基于所述输入来执行所述操作。

实施例94.根据实施例92至93中任一项所述的方法，其中所述输入发生在除所述第一电子设备的所述位置和所述第二电子设备的所述位置之外的位置处。

实施例95.根据实施例92至94中任一项所述的方法，其中所述标准包括当所述输入为手势时满足的标准。

实施例96.根据实施例95所述的方法，其中所述标准包括当所述输入为轻击手势时满足的标准。

实施例97.根据实施例95所述的方法，其中所述标准包括当所述输入为捏合手势或展开手势时满足的标准。

实施例98.根据实施例95所述的方法，其中所述标准包括当所述输入为旋转手势时满足的标准。

实施例99.根据实施例92至98中任一项所述的方法，其中所述标准包括当所述输入对应于用户的一个或多个手指时满足的标准。

实施例100.根据实施例92至99中任一项所述的方法，其中由所述第一电子设备做出满足一个或多个标准的组的确定。

实施例101.根据实施例92至100中任一项所述的方法，还包括：

根据确定所述第一电子设备的所述红外光源被遮挡，提示将所述第一电子设备移动到新位置。

实施例102.根据实施例92至101中任一项所述的方法，还包括：

使用所述第二电子设备的所述一个或多个相机传感器来获取关于所述第一电子设备的图像数据；以及

基于关于所述第一电子设备的所述图像数据来确定所述第一电子设备的位置；以及

基于所述第一电子设备的所述位置来显示虚拟键盘。

实施例103.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据实施例92至102中任一项所述的方法的指令。

实施例104.一种第一电子设备，包括：

一个或多个处理器；以及

存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据实施例92至102中任一项所述的方法的指令。

实施例105.一种第一电子设备，包括：

用于执行根据实施例92至102中任一项所述的方法的装置。

实施例106.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：

使所述第一电子设备的红外光源发射红外光；

获取关于输入的图像数据，其中使用第二电子设备的一个或多个相机传感器来获取所述图像数据，所述第二电子设备与所述第一电子设备不同；以及

根据基于所述图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入接触所述红外光时满足的标准。

实施例107.一种第一电子设备，包括：

一个或多个处理器；以及

存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：

使所述第一电子设备的红外光源发射红外光；

获取关于输入的图像数据，其中使用第二电子设备的一个或多个相机传感器来获取所述图像数据，所述第二电子设备与所述第一电子设备不同；以及

根据基于所述图像数据确定满足一个或多个标准的组，基于所述输入来执行操作，其中所述一个或多个标准的组包括当所述输入接触所述红外光时满足的标准。

实施例108.一种第一电子设备，包括：

用于使所述第一电子设备的红外光源发射红外光的装置；

用于获取关于输入的图像数据的装置，其中使用第二电子设备的一个或多个相机传感器来获取所述图像数据，所述第二电子设备与所述第一电子设备不同；以及

用于根据基于所述图像数据确定满足一个或多个标准的组，基于所述输入来执行操作的装置，其中所述一个或多个标准的组包括当所述输入接触所述红外光时满足的标准。