检测用至少两个控制对象执行的手势的制作方法
【专利说明】
【背景技术】
[0001]本发明的方面涉及计算机接口。具体来说，描述了手势界面和检测用至少两个控制对象执行的手势的相关系统和方法。
[0002]显示装置的标准接口通常涉及电子输入端的物理操纵。电视远程控制涉及推动按钮。触摸屏显示器接口涉及检测与物理表面的触摸相互作用。此类接口具有大量的缺点。作为一个替代方案，个人的移动可以用于控制电子装置。手的移动或个人身体的另一部分的移动可以由电子装置检测并用于确定将由所述装置执行(例如提供给由所述装置执行的界面)或输出到外部装置的命令。个人的此类移动可以被称为手势。手势可以不需要个人物理操纵输入装置。
【发明内容】
[0003]描述了涉及无接触平移手势的某些实施例。在一些实施例中，一种方法可以包含使用远程检测装置远程检测至少两个控制对象，并通过检测平移手势启动命令，启动平移手势移动模式。随后所述方法可以包含使用所述远程检测装置远程检测所述至少两个控制对象跨越平行于内容表面的控制平面的同步移动，其中所述内容表面显示内容的一部分，并响应于所述至少两个控制对象跨越所述控制平面的所述同步移动的所述检测，调整显示在所述内容表面上的所述内容的所述部分。随后此类方法可以进一步包含通过使用所述远程检测装置远程检测平移脱离运动，结束所述平移手势移动模式。
[0004]在根据一个潜在实施例的某些方法中，检测所述平移脱离运动包括检测所述至少两个控制对象之一已经从所述控制平面去除。在根据另一个潜在实施例的某些方法中，检测所述平移脱离运动包括检测所述至少两个控制对象相对于彼此的移动已经超出预定阈值。在根据另一个潜在实施例的某些方法中，预定阈值由以下定义:阈值=((最大容限-最小容限)X因子)+最小容限；其中所述容限水平是系统设计值，并且所述因子值是基于控制对象速度。
[0005]在根据另一个潜在实施例的某些方法中，所述因子值进一步基于与用户相关的静止控制对象摇晃测量。在根据另一个潜在实施例的某些方法中，所述控制对象速度是在多个控制速度测量值上求平均值以补偿抖动。在根据另一个潜在实施例的某些方法中，所述远程检测装置是安装到用户头部的相机。在根据另一个潜在实施例的某些方法中，所述远程检测装置包括光学相机、立体相机或深度相机。在根据另一个潜在实施例的某些方法中，其中所述远程检测装置包括安装在手部的惯性传感器。在根据另一个潜在实施例的某些方法中，所述平移手势启动命令包括使用所述远程检测装置检测所述至少两个控制对象每一者已经放入平行于所述内容表面的所述控制平面中的水平位置中预定时间量。
[0006]另一个潜在实施例是一种设备，其包含处理模块、存储器和图像捕获模块。在此类设备中，所述存储器包括使处理器执行根据各种实施例的方法的计算机可读指令。一种此类实施例包括远程检测至少两个控制对象；通过检测平移手势启动命令，启动平移手势移动模式；使用所述远程检测装置远程检测所述至少两个控制对象跨越平行于内容表面的控制平面的同步移动，其中所述内容表面显示内容的一部分；响应于所述至少两个控制对象跨越所述控制平面的所述同步移动的所述检测，调整显示在所述内容表面上的所述内容的所述部分；以及通过使用所述远程检测装置远程检测平移脱离运动，结束所述平移手势移动模式。
[0007]在其它实施例中，所述设备可以进一步包含音频传感器；和扬声器。在此类实施例中，所述平移手势启动命令可以包括经由所述音频传感器接收的语音命令。在其它实施例中，所述设备可以进一步包含天线；蜂窝电话通信模块；和局域网模块。在此类实施例中所述内容可以经由所述局域网模块从所述显示输出模块传达到所述内容表面。在其它实施例中，所述设备可以进一步包含头戴式装置，所述头戴式装置包括以通信方式耦合到所述计算机处理器的第一相机。
[0008]另一个潜在实施例涉及一种系统，其可以包含第一相机和以通信方式耦合到所述第一相机的第一计算装置。所述系统可以进一步包含以通信方式耦合到所述第一计算装置的输出显示器，并且所述第一计算装置可以包括手势分析模块，所述手势分析模块识别至少两个控制对象并追踪所述至少两个控制对象跨越平行于所述输出显示器的内容表面的控制平面的同步移动，其中所述识别和追踪使用来自所述第一相机的多个图像。在其它实施例中，所述第一计算装置包括内容控制模块，所述内容控制模块将内容输出到所述输出显示器，识别包含当前内容位置的所述内容的细节，并且响应于所述至少两个控制对象跨越所述控制平面的所述同步移动的所述追踪，调整所述内容的所述当前内容位置。
[0009]在其它实施例中，所述系统可以另外包含以通信方式耦合到所述第一计算装置的第二相机。在此类实施例中，当所述手势分析模块通过识别所述第一相机与所述至少两个控制对象中的至少一者之间的障碍物，被阻挡的控制对象时；并可以使用来自所述第二相机的第二多个图像检测所述被阻挡的控制对象的移动作为所述至少两个控制对象的所述同步移动的一部分。
[0010]一个潜在实施例包括一种用于确定输入模式的脱离的方法，所述方法包括:确定计算机系统的输入模式已经接合；基于在所述输入模式期间检测到的至少两个控制对象的移动，影响所述计算机系统的操作；以及基于所述至少两个控制对象之间的分离，确定所述输入模式已经脱离，其中造成所述脱离的所述分离的量变化。
[0011]其它此类实施例可以在所述分离的量基于所述至少两个控制对象的运动速度或行进的距离变化的情况下起作用。在其它替代实施例中，其它变量可以用于确定所述分离量。在其它实施例中，每一个控制对象的速度用于确定行进的距离。在其它实施例中，位置测量值可以用于确定所述分离。在其它实施例中，分离阈值可以基于所述两个控制对象行进的距离与每一个控制对象的速度。
[0012]在其它实施例中，一种接合输入模式的方法包括检测实质上静止阈值时间量的多个控制对象。在其它此类实施例中，一种接合输入模式的方法可以包括检测所述多个控制对象保持静止并近似在相同平面中。在其它实施例中，一种接合输入模式的方法可以包括确定所述多个控制对象大约平行于内容或内容表面。在其它实施例中，一种接合输入模式的方法可以包括确定所述多个控制对象在预定体积内。
[0013]其它实施例可以包括在真实表面或虚拟表面上呈现所布置的内容，识别其中多个控制对象保持静止在相同姿势或特定的预定姿势的接合输入。在其它此类实施例中，沿着垂直于内容表面的平面的矢量从内容表面去除所述控制对象包括脱离命令。
[0014]其它实施例可以包括显示内容，识别所述多个控制对象的同步移动以影响所述内容，其中所述影响包括基于所检测到的移动调整所述显示的内容。在其它此类实施例中，所述调整包括平移，并且所述平移匹配所检测到的所述多个控制对象的同步移动。在额外的其它实施例中，所检测到的同步移动近似平行于内容。在额外实施例中，所述多个控制对象是用户的手。在其它实施例中，所述控制对象的移动的检测和识别由相机执行。在各种实施例中，此类相机包括2D相机、立体相机、深度感相机。在替代实施例中，所述相机可以是使用惯性移动单元、红外检测器、声波运动检测或确定多个控制对象的移动和位置的任何其它此类装置确定位置的远程检测装置。
[0015]另一个潜在实施例可以包括一种用于检测对计算机系统的命令的方法，所述方法包括:检测至少两个控制对象的运动；确定在所述运动中所述至少两个控制对象之间的分离是否在可变阈值内；以及基于所述分离是否在所述可变阈值内，确定所述运动是否包括对所述计算机系统的命令。在此类方法的其它替代实施例中，所述方法可以在所述阈值基于所述至少两个的运动速度或行进的距离变化，仅仅基于速度可变的情况下起作用。在此类方法的其它替代实施例中，所述方法可以在所述阈值仅仅基于距离变化的情况下起作用。在此类方法的其它替代实施例中，所述方法可以在所述阈值基于速度与距离的组合变化的情况下起作用。在此类方法的其它替代实施例中，所述方法可以在通过相机(2d、立体、ToF、深度等)检测，所述控制对象是用户手的情况下起作用。在其它实施例中，检测可以通过惯性检测单元和红外雷达单元或其它此类检测装置进行。
[0016]在此类方法的其它替代实施例中，所述方法可以另外包括确定所述运动是否包括命令，进一步包括确定所述运动是否是实质上平面的。在此类方法的其它替代实施例中，所述方法可以另外包括确定所述平面是否实质上平行于显示的内容。在此类方法的其它替代实施例中，所述方法可以另外包括平移移动，进一步包括使显示的内容平移。在额外的此类实施例中，检测到的所述控制对象的运动包括实质上平行于内容的实质上直线运动。在额外的此类实施例中，运动包括所述控制对象中的至少一者的环绕，进一步包括确定运动在z方向上的阈值内，其中所述z方向阈值基于速度和/或总行进距离可变。在某些实施例中，所述Z方向阈值可以基于用户手的伸展范围。在额外实施例中，所述Z方向阈值可以基于用户手的速度。在其它实施例中，所述Z方向阈值可以基于用户手的速度、用户手的伸展范围和从用户手的静止位置的偏移的任何组合。
[0017]一种额外实施例可以包括一种用于检测对计算机系统的命令的方法，所述方法包括:检测至少两个控制对象的运动；和基于在至少所述运动的一部分中所述至少两个控制对象之间的分离确定所述运动是否包括对计算机系统的命令。其它实施例可以在所述确定是基于所述分离在至少所述运动的所述部分中是否在可变阈值内的情况下起作用。其它实施例可以在所述阈值基于所述至少两个的运动速度或行进的距离变化，仅仅基于速度可变的情况下起作用。其它实施例可以在变量仅仅是基于距离的情况下起作用。其它实施例可以在所述变量是基于速度与距离的组合的情况下起作用。
[0018]—个潜在实施例可以是一种方法，其包括:基于来自一或多个检测装置的信息，检测由至少两个控制对象执行的手势启动命令；基于所述手势启动命令的所述检测，启动手势模式；基于来自所述一或多个检测装置的信息，检测所述至少两个控制对象跨越实质上平行于显示内容的表面的控制平面的实质上同步移动；响应于所述至少两个控制对象跨越所述控制平面的所述实质上同步移动的所述检测，使所述显示的内容得到调整；以及通过使用来自所述一或多个检测装置的信息检测脱离运动，结束所述手势模式。
[0019]此类方法的额外实施例可以在检测所述脱离运动包括检测所述至少两个控制对象相对于彼此的移动已经超出可变阈值的情况下起作用。此类方法的额外实施例可以在所述可变阈值由最小控制对象容限、最大控制对象容限之间的差异和校准因子定义的情况下起作用。此类方法的额外实施例可以在如下情况下起作用:其中所述最小控制对象容限是用户手的最小伸展；其中所述最大控制对象容限是所述用户手的最大伸展；并且所述校准因子是至少部分取决于所述手离中性位置的距离的变量。
[0020]此类方法的额外实施例可以在所述校准因子是基于与用户相关的静止控制对象摇晃测量的情况下起作用。此类方法的额外实施例可以在所述校准因子是基于所述至少两个控制对象的速度的情况下起作用。此类方法的额外实施例可以在所述至少两个控制对象的速度在多个控制速度测量值上求平均值以补偿抖动的情况下起作用。此类方法的额外实施例可以在检测所述平移脱离运动包括检测所述至少两个控制对象之一已经从所述控制平面去除的情况下起作用。此类方法的额外实施例可以在其中所述控制对象包括用户的手并且所述一或多个检测装置包括安装到用户头部的相机的情况下起作用。
[0021]此类方法的额外实施例可以在所述控制对象包括用户手并且其中所述一或多个检测装置包括安装在手部的惯性传感器的情况下起作用。此类方法的额外实施例可以在检测所述手势启动命令包括基于来自所述一或多个远程检测装置的信息检测所述至少两个控制对象每一者已经放入平行于所述内容表面的所述控制平面中的水平位置中预定时间量的情况下起作用。
[0022]此类方法的额外实施例可以在显示内容的表面是由计算装置产生并投影到用户的观看区域的虚拟表面的情况下起作用。此类方法的额外实施例可以在显示内容的表面是被动物理表面的情况下起作用，其中所述内容通过头戴式装置投影到用户眼睛并通过将所述被动物理表面设定为显示内容的表面的计算装置与所述被动物理表面匹配。此类方法的额外实施例可以在仅仅对于头戴式装置的单个用户，内容显示在被动物理表面上的情况下起作用。此类方法的额外实施例可以在对于头戴式装置的第一多个用户，内容显示在所述被动物理表面上并且对于头戴式装置的第二多个使用者，不显示在所述被动物理表面上的情况下起作用。
[0023]此类方法的额外实施例可以在显示所述内容的所述表面是电视显示器的情况下起作用。此类方法的额外实施例可以在如下情况下起作用:其中由所述至少两个控制对象执行的所述手势启动命令包括用户的两只手在控制平面中的抓握运动；并且其中所述脱离运动包括所述用户的两只手在所述控制平面中的释放运动。
[0024]—个额外实施例可以是一种设备，其包括:处理模块，其包括计算机处理器；计算机可读存储媒体，其耦合到所述处理模块；显示输出模块，其耦合到所述处理模块；以及图像捕获模块，其耦合到所述处理模块；其中所述计算机可读存储媒体包括计算机可读指令，所述计算机可读指令在被所述计算机处理器执行时，使所述计算机处理器执行包括以下的方法:基于来自一或多个检测装置的信息，检测由至少两个控制对象执行的手势启动命令；基于所述手势启动命令的所述检测启动手势模式；基于来自所述一或多个检测装置的信息，检测所述至少两个控制