缩放手势的检测的制作方法
【专利说明】
【背景技术】
[0001]本发明的方面涉及显示器接口。确切地说，描述使用非接触式手势的检测来控制显示器中的内容的非接触式接口及相关联的方法。
[0002]显示装置的标准接口通常涉及电子输入端的物理操纵。电视遥控器涉及推动按钮。触摸屏显示器接口涉及检测与物理表面的触摸交互。此类接口具有大量的缺点。作为一替代方案，人的动作可以用于控制电子装置。手部动作或人身体的另一部分的动作可以由电子装置检测并用于确定将由所述装置执行(例如提供给被所述装置执行的接口)或输出到外部装置的命令。人的此类动作可以被称为手势。手势可以不需要人物理操纵输入装置。
【发明内容】
[0003]描述与非接触式缩放手势的检测相关的某些实施例。一个可能实施例包含一种通过远程检测与用户相关联的控制对象来检测此手势及响应于缩放起始输入而起始缩放模式的方法。接着识别包含当前缩放量、最小缩放量及最大缩放量的内容的细节，且估计包含最大伸展及最小伸展的控制对象的最大运动范围。接着将最小缩放量及最大缩放量与最大伸展及最小伸展匹配，从而创建沿着缩放向量从最大伸展到最小伸展的缩放匹配。远程检测装置接着用以远程检测控制对象沿着缩放向量的移动，且响应于控制对象沿着缩放向量的移动的检测并基于缩放匹配调整内容的当前缩放量。
[0004]在额外替代实施例中，控制对象可包含用户的手部。在又其它实施例中，远程检测控制对象沿着缩放向量的移动可涉及检测用户的手部在三个维度中的当前位置；将缩放向量估计为在用户拉动或推动闭合手掌使其朝向或远离用户时用户的手部的运动路径；及检测在用户拉动或推动闭合手掌使其朝向或远离用户时用户的手部的运动路径。
[0005]额外替代实施例可包含通过使用远程检测装置远程检测缩放脱离运动来结束缩放模式。在额外替代实施例中，控制对象包括用户的手部；及检测缩放脱离运动包括在检测到手部的手掌闭合位置之后检测手部的手掌张开位置。在额外替代实施例中，检测缩放脱离运动包括检测控制对象已偏离缩放向量超过缩放向量阈值量。在额外替代实施例中，远程检测装置包括可与安装于手部或腕部的EMG传感器组合以检测手掌张开位置及手掌闭合位置以便确定抓握手势的光学相机、立体相机、深度相机或例如腕带等安装于手部的惯性传感器。在额外替代实施例中，控制对象为用户的手部，且缩放起始输入包括在手部处于沿着缩放向量的第一位置时由远程检测装置检测到手部的手掌张开位置，后跟着手部的手掌闭合位置。
[0006]又其它实施例可涉及作为缩放匹配的部分将沿着缩放向量的第一位置与当前缩放量匹配。在额外替代实施例中，识别内容的细节还可包含将最小缩放量及最大缩放量与最大单次伸展缩放量进行比较，及调整缩放匹配以将将最小伸展与第一封端缩放设置相关联且将最大伸展与第二封端缩放设置相关联。在此些实施例中，第一封端缩放设置与第二封端缩放设置之间的缩放差可小于或等于最大单次伸展缩放量。又其它实施例可涉及通过在手部处于沿着缩放向量的不同于第一位置的第二位置时使用远程检测装置远程检测缩放脱离运动来结束缩放模式。又其它实施例可另外涉及在手部处于沿着缩放向量的不同于第二位置的第三位置时响应于第二缩放起始输入而起始第二缩放模式，及响应于第二位置与第三位置之间的沿着缩放向量的差来调整第一封端缩放设置及第二封端缩放设置。
[0007]—个可能实施例可经实施为一种由以下各者组成的设备:处理模块、耦合到处理模块的计算机可读存储媒体、耦合到处理模块的显示器输出模块；及耦合到处理模块的图像俘获模块。在此类实施例中，计算机可读存储媒体可包含计算机可读指令，所述计算机可读指令在由计算机处理器执行时致使计算机处理器执行根据各种实施例的方法。一个此类实施例可涉及使用由图像俘获模块接收的数据检测与用户相关联的控制对象；响应于缩放起始输入而起始缩放模式；识别包含当前缩放量、最小缩放量及最大缩放量的内容的细节；估计包含最大伸展及最小伸展的控制对象的最大运动范围；将最小缩放量及最大缩放量与最大伸展及最小伸展匹配以创建沿着缩放向量从最大伸展到最小伸展的缩放匹配；使用图像俘获模块远程检测控制对象沿着缩放向量的移动；及响应于控制对象沿着缩放向量的移动的检测并基于缩放匹配调整内容的当前缩放量。
[0008]额外替代实施例可进一步包含音频传感器；及扬声器。在此类实施例中，缩放起始输入可包括经由音频传感器接收的语音命令。在额外替代实施例中，可经由显示器输出模块将当前缩放量传达到服务器基础架构计算机。
[0009]—个可能实施例可经实施为一种系统，其包含第一相机；以通信方式耦合到第一相机的第一计算装置；及以通信方式耦合到第一计算装置的输出显示器。在此类实施例中，第一计算装置可包含手势分析模块，所述手势分析模块使用来自第一相机的图像识别与用户相关联的控制对象，估计包含最大伸展及最小伸展的控制对象沿着缩放向量在用户与输出显示器之间的最大运动范围，及由控制对象识别沿着缩放向量的运动。在此类实施例中，第一计算装置可进一步包含内容控制模块，所述内容控制模块将内容输出到输出显示器，识别包含当前缩放量、最小缩放量及最大缩放量的内容的细节，将最小缩放量及最大缩放量与最大伸展及最小伸展匹配以创建沿着缩放向量的缩放匹配，及响应于控制对象沿着缩放向量的移动的检测并基于缩放匹配调整内容的当前缩放量。
[0010]另一实施例可进一步包含以通信方式耦合到第一计算装置的第二相机。在此类实施例中，手势分析模块可识别第一相机与控制对象之间的障碍；及接着使用来自第二相机的第二图像检测控制对象沿着缩放向量的移动。
[0011]另一实施例可为一种调整计算机化对象或功能的属性的方法，所述方法包括:检测控制对象；确定控制对象在至少一个方向上的总有效运动；检测控制对象的移动；及基于所检测到的移动调整计算机化对象或功能的属性，其中调整量是基于所检测到的移动相较于总有效运动的比例。
[0012]其它实施例可在属性在一范围内可调整的情况下起作用，且其中与范围成比例的调整量大约等效于所检测到的移动相较于总有效运动的比例。其它实施例可在属性包括缩放的情况下起作用。其它实施例可在属性包括平移或滚动的情况下起作用。其它实施例可在属性包括音量级控制的情况下起作用。其它实施例可在控制对象包括用户的手部的情况下起作用。其它实施例可在基于解剖模型确定总有效运动的情况下起作用。其它实施例可在基于随着时间的过去用户所收集的数据确定总有效运动的情况下起作用。
[0013]其它实施例可包括确定在第二方向上的总有效运动，及在每一方向上控制两个单独对象或功能，其中第一方向控制缩放，且第二方向控制平移。
[0014]额外实施例可为用于致使调整缩放级别的方法，所述方法包括:基于在起始缩放时与用户相关联的控制对象的位置及用户相对于所述位置所能伸到的范围来确定缩放空间；检测控制对象的移动；及致使基于所检测到的移动相较于所确定的缩放空间的量值来调整所显示元件的缩放级别。
[0015]其它实施例可在所述致使包括致使在控制对象定位于缩放空间的第一极值处时以最大缩放级别显示元件及致使在控制对象定位于缩放空间的第二极值处时以最小缩放级别显示元件的情况下起作用。其它实施例可在第一极值与第二极值相反地定位的情况下起作用。其它实施例可在第一极值大约位于用户的驱干处的情况下起作用，且其中第二极值大约位于最大所能伸到的范围处。其它实施例可在存在邻近第一极值及/或第二极值的死区的情况下起作用。其它实施例可在缩放级别从当前缩放级别到最大缩放级别的增加的比例大约等效于所检测到的移动从位置到第一极值的比例的情况下起作用。其它实施例可在缩放级别从当前缩放级别到最小缩放级别的降低的比例大约等效于所检测到的移动从位置到第二极值的比例的情况下起作用。
[0016]额外实施例可为一种方法，其包括:确定包含最大伸展及最小伸展的与用户相关联的控制对象的运动范围；基于来自一或多个检测装置的信息检测控制对象实质上在与缩放命令相关联的方向上的移动；及响应于控制对象的移动的检测来调整所显示内容的当前缩放量，其中识别包含当前缩放量、最小缩放量及最大缩放量的内容的细节；且其中将最小缩放量及最大缩放量与最大伸展及最小伸展匹配以创建沿着所述方向从最大伸展到最小伸展的缩放匹配。
[0017]此方法的额外实施例可进一步在控制对象包括用户的手部的情况下起作用，且其中远程检测控制对象沿着缩放向量的移动包括:检测用户的手部在三个维度中的当前位置；将方向估计为在用户拉动或推动手部使其朝向或远离用户时用户的手部的运动路径；及检测在用户拉动或推动手部使其朝向或远离用户时用户的手部的运动路径。
[0018]额外实施例可进一步包括通过远程检测缩放脱离运动来结束缩放模式。此方法的额外实施例可进一步在控制对象包括用户的手部的情况下起作用；且其中检测缩放脱离运动包括在检测到手部的手掌闭合位置之后检测手部的手掌张开位置。此方法的额外实施例可进一步在一或多个检测装置包括光学相机、立体相机、深度相机或安装于手部的惯性传感器的情况下起作用，且其中安装于手部或腕部的EMG传感器用以检测手掌张开位置及手掌闭合位置。
[0019]此方法的额外实施例可进一步在检测缩放脱离运动包括检测控制对象已偏离缩放向量超过缩放向量阈值量的情况下起作用。此方法的额外实施例可进一步在控制对象为用户的手部的情况下起作用；且进一步包括检测缩放起始输入，其中缩放起始输入包括手部的手掌张开位置，后跟着手部的手掌闭合位置。
[0020]此方法的额外实施例可进一步在将在检测到缩放起始输入时手部沿着方向的第一位置与当前缩放量匹配的情况下起作用。
[0021]此方法的额外实施例可进一步在内容的细节进一步包括以下各者的情况下起作用:将最小缩放量及最大缩放量与最大单次伸展缩放量进行比较；及调整缩放匹配以将最小伸展与第一封端缩放设置相关联且将最大伸展与第二封端缩放设置相关联；其中第一封端缩放设置与第二封端缩放设置之间的缩放差小于或等于最大单次伸展缩放量。
[0022]额外实施例可进一步包括通过在手部处于沿着缩放向量的不同于第一位置的第二位置时使用一或多个检测装置远程检测缩放脱离运动来结束缩放模式；在手部处于沿着缩放向量的不同于第二位置的第三位置时响应于第二缩放起始输入而起始第二缩放模式；及响应于第二位置与第三位置之间的沿着缩放向量的差来调整第一封端缩放设置及第二封端缩放设置。
[0023]此方法的额外实施例可进一步在响应于控制对象沿着缩放向量的移动的检测及基于缩放匹配来调整内容的当前缩放量包括以下各者的情况下起作用:识别最大可允许缩放速率；监视控制对象沿着缩放向量的移动；及在沿着缩放向量的相关联的移动超过速率阈值时将缩放的改变速率设置为最大可允许缩放速率直到当前缩放量匹配缩放向量上的当前控制对象位置为止。
[0024]此方法的额外实施例可进一步在进一步基于用户的手臂长度的分析来确定缩放匹配的情况下起作用。此方法的额外实施例可进一步在用户的第一手势之前基于驱干大小、高度或手臂长度中的一或多者来估计缩放匹配的情况下起作用；且其中基于由用户执行的至少一个手势的分析来更新缩放匹配。
[0025]此方法的额外实施例可进一步在缩放匹配识别最小伸展附近的空间的死区的情况下起作用。此方法的额外实施例可进一步在缩放匹配识别最大伸展附近的空间的第二死区的情况下起作用。
[0026]另一实施例可为一种设备，其包括:包括计算机处理器的处理模块；耦合到处理模块的计算机可读存储媒体；耦合到处理模块的显示器输出模块；及耦合到处理模块的图像俘获模块；其中计算机可读存储媒体包括计算机可读指令，所述计算机可读指令在由计算机处理器执行时致使计算机处理器执行一种方法，所述方法包括:确定包含最大伸展及最小伸展的与用户相关联的控制对象的运动范围；基于来自一或多个检测装置的信息检测控制对象实质上在与缩放命令相关联的方向上的移动；及响应于控制对象的移动的检测来调整所显示内容的当前缩放量，其中识别包含当前缩放量、最小缩放量及最大缩放量的内容的细节；且其中将最小缩放量及最大缩放量与最大伸展及最小伸展匹配以创建沿着方向从最大伸展到最小伸展的缩放匹配。
[0027]额外实施例可进一步包括扬声器；其中缩放起始输入包括经由音频传感器接收的语音命令。额外实施例可进一步包括天线；及局域网模块；其中经由局域网模块将内容从显示器输出模块传达到显示器。
[0028]额外此些实施例可在经由显示器输出模块将当前缩放量传达到服务器基础架构计算机的情况下起作用。额外实施例可进一步包括头戴式装置，所述头戴式装置包括以通信方式耦合到计算机处理器的第一相机。
[0029]额外实施例可进一步包括:以通信方式耦合到第一相机的第一计算装置；及输出显示器，其中第一计算装置进一步包括将内容输出到输出显示器的内容控制模块。额外此些实施例可在设备为头戴式装置(HMD)的情况下起作用。
[0030]额外此些实施例可在输出显示器及第一相机经集成为HMD的组件的情况下起作用。额外此些实施例可在HMD进一步包括将内容图像投影到用户的眼睛中的投影仪的情况下起作用。额外此些实施例可在图像包括虚拟显示表面中的内容的情况下起作用。额外此些实施例可在第二相机以通信方式耦合到第一计算装置的情况下起作用；且其中手势分析模块识别第一相机与控制对象之间的障碍，且使用来自第二相机的第二图像检测控制对象沿着缩放向量的移动。
[0031]额外实施例可为一种系统，其包括:用于确定包含最大伸展及最小伸展的与用户相关联的控制对象的运动范围的装置；用于基于来自一或多个检测装置的信息检测控制对象实质上在与缩放命令相关联的方向上的移动的装置；及用于响应于控制对象的移动的检测来调整所显示内容的当前缩放量的装置，其中识别包含当前缩放量、最小缩放量及