基于深度的用户界面手势控制的制作方法
【专利说明】
【背景技术】
[0001]现代计算设备包括组合了改进的用于感测周围环境以及与周围环境交互的能力的不断增加的处理力。作为这样的改进能力的结果，许多计算设备正采用诸如触摸计算和基于手势的计算之类的新的输入模态。
[0002]用户界面手势可以包括基于触摸的输入手势，诸如轻敲、刷、以及以其它方式操纵计算设备的触摸表面。用户界面手势还可以包括在不物理接触计算设备的情况下做出的输入手势，包括移动用户的身体、肢体、手或手指来命令用户界面动作。基于这样的运动的输入手势有时称为知觉或空气手势。
【附图说明】
[0003]在附图中通过举例说明而不是限制的方式来图示本文所描述的概念。为了图解的简化和明晰，附图中所图示的元素未必按比例绘制。在适当考虑的情况下，在附图中重复使用了附图标记以用来指示对应或类似的元件。
[0004]图1是用于基于深度的手势控制的计算设备的至少一个实施例的简化框图；
图2是图1的计算设备的深度传感器系统的至少一个实施例的简化示意图；
图3是图1的计算设备的环境的至少一个实施例的简化框图；
图4是可以由图1和图3的计算设备执行的用于基于深度的手势控制的方法的至少一个实施例的简化流程图；
图5是可以被赋予给由图1和图3的计算设备识别的输入手势的多个深度平面的示意图；以及
图6是可以由图1和图3的计算设备执行的用于初级或次级用户界面命令执行的方法的至少一个实施例的简化流程图。
【具体实施方式】
[0005]虽然本公开的概念易受各种修改和替代形式的影响，但是其具体实施例通过举例说明在附图中已经示出并且在本文将进行详细描述。然而应当理解，不存在将本公开的概念局限于所公开的特定形式的意图，而是相反，意图是覆盖与本公开和所附权利要求书一致的所有修改、等同体和替代体。
[0006]在说明书中对“ 一个实施例”、“实施例”、“说明性实施例”等的引用指示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可以或未必包括该特定特征、结构或特性。而且，这样的短语未必指的是同一个实施例。此外，当与实施例相联系地描述特定特性、结构或特性时，应当承认该特定特性、结构或特性处于本领域技术人员的知识范畴内以影响与无论是否明确描述的其它实施例相联系的这样的特征、结构或特性。
[0007]在一些情况下所公开的实施例可以采用硬件、固件、软件、或其任何组合来实现。所公开的实施例还可以被实施为由瞬时或非瞬时机器可读(例如计算机可读)储存媒体承载或在瞬时或非瞬时机器可读(例如计算机可读)储存媒体上存储的指令，所述指令可以由一个或多个处理器读取和执行。机器可读储存媒体可以被体现为任何储存设备、机制或用于存储或传送采用可由机器读取的形式的信息的其它物理结构(例如，易失性或非易失性的存储器、媒体盘、或其它媒体设备)。
[0008]在附图中，一些结构特征或方法特征可以采用具体布置和/或次序示出。然而，应当意识到，可能不需要这样的具体布置和/或次序。确切地，在一些实施例中，这样的特征可以采用与说明性附图中所示出的不同的方式和/或次序来布置。另外，在特定附图中包括的结构特征或方法特征不意味着暗示在所有的实施例中都需要这样的特征，而是在一些实施例中，可能不包括这样的特征，或者这样的特征可以与其它特征相组合。
[0009]现在参照图1，在说明性实施例中，计算设备100包括显示器112、触摸屏114、手势传感器120和深度传感器122。计算设备100的用户可以通过执行由手势传感器120检测的各种输入手势与计算设备100交互。如下面更详细地讨论的，输入手势可以由用户在显示器112前面某距离处执行。计算设备100被配置成使用深度传感器122确定至输入手势的距离一以及藉此至用户的距离，以及基于所确定的深度对输入手势作出响应。基于深度的手势控制允许自然和流畅的手势控制，特别允许涉及深度的用户界面隐喻。另外，基于深度的手势控制与诸如触摸控制之类的其它输入模态相组合允许与传统界面的丰富交互，以及可以允许用户容易地管理复杂的用户界面。特别是当与通过面部识别、骨骼追踪等的用户标识组合时，基于深度的手势控制还可以便利于与多个用户的交互。
[0010]计算设备100可以体现为能够执行本文所描述的功能的任何类型的设备。例如，计算设备100可以体现为，但不限于，计算机、智能电话、平板电脑、膝上型计算机、笔记本计算机、桌面型计算机、工作站、台式计算机、移动计算设备、蜂窝电话、手持电话、消息收发设备、车辆远程信息设备、网络器具、Web器具、分布式计算系统、多处理器系统、基于处理器的系统、消费者电子设备、数字电话设备、和/或被配置成对基于深度的手势命令作出响应的任何其它计算设备。如图1中所示，说明性计算设备100包括处理器102、输入/输出子系统104、存储器106、以及数据储存设备108。当然，在其它实施例中，计算设备100可以包括其它或附加的部件，诸如通常在桌面型计算机中出现的那些(例如，各种输入/输出设备)。另外，在一些实施例中，说明性部件中的一个或多个可以结合在另一部件中，或者以其它方式形成另一部件的一部分。例如，在一些实施例中，存储器106或其各部分可以结合在处理器102中。
[0011]处理器102可以体现为能够执行本文所描述的功能的任何类型的处理器。例如，处理器102可以体现为(多个)单核或多核处理器、数字信号处理器、微控制器、或其它处理器或处理/控制电路。类似地，存储器106可以体现为能够执行本文所描述的功能的任何类型的易失性或非易失性存储器或数据储存器。在操作中，存储器106可以存储在计算设备100操作期间使用的各种数据和软件，诸如操作系统、应用、程序、库、以及驱动程序。存储器106通信联络地经由I/O子系统104耦合到处理器102，其中I/O子系统104可以被体现为用来使与处理器、存储器106、以及计算设备100的其它部件的输入/输出操作便利的电路系统和/或部件。例如，I/o子系统104可以为体现为，或者以其它方式包括，存储器控制器集线器、输入/输出控制集线器、固件设备、通信链路(即，点至点链路、总线链路、导线、电缆、光导、印刷电路板迹线等)和/或使输出/输出操作便利的其它部件和子系统。在一些实施例中，I/O子系统104可以形成芯片上系统(SoC)的一部分，以及连同处理器102、存储器106、以及计算设备100的其它部件一起结合在单个集成电路芯片上。
[0012]数据储存设备108可以体现为针对数据的短期或长期储存所配置的任何类型的一个或多个设备。例如，数据储存设备108可以体现为存储设备和电路、存储卡、硬盘驱动器、固态驱动器、或其它数据储存设备。
[0013]计算设备100的通信电路110可以体现为能够在计算设备100与其它远程设备之间实现通信的任何通信电路、通信设备或其集合。通信电路110可以被配置成使用使这样的通信生效的任何一个或多个通信技术(例如，无线或有线通信)以及相关联的协议(例如，以太网、蓝牙' W1-Fi?、WiMAX等)。在一些实施例中，通信电路110可以体现为包括无线网络适配器的网络适配器。
[0014]如上面所讨论的，计算设备100还包括显示器112。显示器112可以体现为能够显示数字信息的任何类型的显示器，诸如液晶显示器(IXD)、发光二极管(LED)显示器、等离子体显示器、阴极射线管(CRT)、或其它类型的显示设备。显示器112耦合到触摸屏114。触摸屏114可以体现为能够响应于被计算设备100的用户触摸来生成输入数据的任何类型的触摸屏。在一些实施例中，触摸屏114可以附连于显示器112或者在物理上结合在显示器112中。触摸屏114可以使用任何合适的触摸屏输入技术来检测用户对显示在显示器112上的信息的触觉选择，所述触摸屏输入技术包括但不限于电阻式触摸屏传感器、电容式触摸屏传感器、基于相机的触摸屏传感器、表面声波(SAW)触摸屏传感器、红外触摸屏传感器、光学成像触摸屏传感器、声学触摸屏传感器、和/或其它类型的触摸屏传感器。另外，触摸屏114可以对多个同时触摸点进行响应。
[0015]在一些实施例中，计算设备100可以包括相机116和/或音频传感器118。相机116可以体现为与计算设备100集成的数字相机或其它数字成像设备。相机116包括电子图像传感器，诸如有源像素传感器(APS)，例如互补金属氧化物半导体(CMOS)传感器，或电荷耦合设备(CCD)。音频传感器118可以体现为能够捕获音频信号的任何传感器，诸如麦克风、线路输入插座、模数转换器(ADC)、或其它类型的音频传感器。
[0016]计算设备100还包括手势传感器120，其可以体现为能够检测和识别由用户执行的输入手势的任何类型的电子传感器。例如，手势传感器120可以体现为能够捕获用户的移动图像的数字视频相机。在说明性实施例中，不需要特定的分辨率；在一些实施例中，手势传感器120或许仅能够解析用户身体和四肢的大动作。在其它实施例中，手势传感器120或许能够解析用户的脸和/或手的精细细节。当然，在其它实施例中，诸如相机116和/或深度传感器122之类的其它部件可以体现、或以其它方式包括在手势传感器120中。
[0017]计算设备100还包括深度传感器122。深度传感器122可以体现为能够检测计算设备100 (和/或显示器112)与由用户执行的输入手势之间的距离的任何类型的电子传感器。例如，深度传感器122可以体现为立体深度相机、结构光相机、或接近传感器。在一些实施例中，深度传感器122可以体现为或者以其它方式包括计算设备100的其它部件。例如，深度传感器122可以体现为、或以其它方式包括在触摸屏114中的电容式或电阻式传感器，其被配置成测量至用户手指的距离。另外或可替代地，深度传感器122可以体现为或者以其它方式包括通信电路110。在这样的实施例中，通信电路110可以被配置成确定至由用户相对于计算设备100操纵的传送器的距离。例如，计算设备100可以测量用于诸如Bluetooth?或近场通信之类的短程通信的信号强度，该短程通信可以用来确定至传送器的距离。对应的传送器可以嵌入在由用户操纵的设备中，诸如触笔或其它指向设备。另外或可替代地，深度传感器122可以包括计算设备100的相机116，其可以被配置成例如从投影仪类型的显示器112测量用户所投射的阴影的位置以及基于阴影的明显位置确定至用户的物理距离。
[0018]现在参考图2，示图200图示了深度传感器122的又一实施例。在说明性实施例中，计算设备100包括带有集成触摸屏114的显示器112。显示器112限定了从显示器112投影出去的表面法线202。深度传感器122包括两个可见光相机122a、122b。相机122a、122b中的每一个可以独