基于免接触的手势的输入的制作方法
【专利摘要】一种方法包括：在设备的附近通过用户操作的物理对象执行手势；生成数据，所述数据用于描述在执行所述手势时所述用户操作的对象的呈现；以及将所述数据解释为与至少一个对象（例如所述设备显示的对象）相关。
【专利说明】基于免接触的手势的输入
[0001]本申请是申请号为200780024504.5的中国专利申请“基于免接触的手势的输入”(申请日:2007年6月27日)的分案申请。
【技术领域】
[0002]根据本发明示例性实施例的教导一般涉及电子设备的用户接口，更具体地，涉及手动激活的用户输入设备、方法、系统和计算机程序产品。
【背景技术】
[0003]在逐渐融合的多媒体电子行业中采用的输入设备变得越来越重要。人机终端接口在很长时间里考验着系统的设计者，然而由于几十年前鼠标的出现而没有得到明显的发展。在设备小型化和可用性的目的直接彼此冲突的移动和无线设备领域中，这是一个特别具有挑战性的问题。如果使用例如手指运动和/或用户手势的最简单形式向计算终端(CT)(其非限制性实例可包括:多媒体终端、通信终端、显不主导系统(display dominatedsystem, DDS)和设备、游戏设备和便携式计算机)提供基本输入信息，那么可实现在人类与CT之间的自然和智能的交互。
[0004]与输入设备相关的技术传统上依赖于一组机电开关(例如传统的键盘)。这样的方法需要相对较大区域用于一组开关(键盘按键)，这组开关通常专用于仅一个操作。通过触摸屏显示器提供了更高级的解决方案，例如以具有集成光学触摸屏的有源矩阵LCD(AMLCD)技术将触敏开关嵌入显示器本身。在这个方法中，“单按钮”趋势向“分布式传感系统”演进，该“分布式传感系统”可嵌入设备和/或甚至直接嵌入显示器本身(AMIXD)。这种基于传感器的输入设备的物理操作可基于不同材料的机械运动、电导率/电容的改变、受静电场或光学特性的影响(通过从表面的手指阴影/反射形成)。AMLCD技术可参考文档:56.3，ff.den Boer等，“Active Matrix LCD with Integrated Optical Touch Screen”，SID03文摘(Baltimore, 2003), 1494-1497 页，以及 59.3, A.八13；[16311等,“ Integrated Optical TouchPanel in al4.1”AMLCD”，SID04文摘，v.35，版本1，1544-1547页，它们的全部内容通过引用结合于此。
[0005]还可以参考A.Abileah 等的标题为 “ Integrated Optical Light SensitiveActive Matrix Liquid Crystal display” 的美国专利 7，009，663B2 (2006 年 3 月 7 日)，以及 A.Abileah 等的标题为“Light Sensitive Display”的美国专利 7，053，967 (2006 年5月30日)(都转让给Planar系统公司)，它们的全部内容通过引用结合于此。
[0006]在多媒体设备仪器的发展中，当前的趋势涉及硬件小型化以及提供较大输入容量的需求。如果输入设备可被小型化，则可为可视化组件分配更多空间，特别在显示主导概念(DDC)设备中。由于在输入设备中的改进可提供新的设计自由度以及额外的游戏相关功能，所以游戏设备的情形甚至更具有挑战性。
[0007]当前用户输入设备的实例包括基于触摸动作的设备，例如一些音乐存储和回放设备、以及某些能够识别手写字母和命令的个人数字助理(PDA)和类似设备。[0008]此外，还涉及一些基于结构光的系统，例如在如下文档中所述的那些系统:Sze的标题为“Method for Enhancing Performance in a System Utilizing an Array ofSensors that Sense at Least Two Dimensions，，的美国专利 6，690，354B2 (2004 年 2 月10 日)；Tomasi 等的标题为“Quas1-Three-Dimensional Method and Apparatus to Detectand Localize Interaction of User-Object and Virtual Transfer Device，，的美国专利 6，710，770 (2004 年 3 月 23 日)；以及 Tomasi 等的标题为 “Method and Apparatusfor Approximating Depth of an Object’ s Placement Onto a Monitored Region withApplications to Virtual Interface Devices” 的美国专利 7，050，177B2 (2006 年 5 月23日)(都转让给Canesta公司)，它们的全部内容通过引用结合于此。
【发明内容】
[0009]根据本发明的非限制性和示例性实施例可克服上述和其它问题，并且可实现其它优点。
[0010]根据本发明示例性实施例的一方面，提供一种方法，包括:在设备的附近通过用户操作的物理对象执行手势；生成数据，所述数据用于描述在执行所述手势时所述用户操作的对象的呈现；以及将所述数据解释为与所述设备显示的至少一个对象相关。
[0011]根据本发明示例性实施例的另一方面，提供一种在计算机可读介质中实现的计算机程序产品，通过至少一个数据处理器执行所述计算机程序产品，所产生的操作包括:响应于用户在设备的表面附近使用用户操作的物理对象执行手势，来生成数据，所述数据用于描述在执行所述手势时所述用户操作的对象的呈现；以及将所述数据解释为与向用户显示的信息相关。
[0012]根据本发明示例性实施例的另一方面，提供一种设备，包括:显示信息的单元；成像系统，用于生成数据，所述数据用于描述在执行手势时用户操作的对象的呈现；以及数据处理器，将所述数据解释为与所显示的信息相关。
[0013]根据本发明示例性实施例的另一方面，提供一种方法，包括:响应于用户在设备的附近采用至少一个手指形成手势，来生成数据，所述数据用于描述在形成所述手势时所述至少一个手指的呈现；以及将所述数据解释为与显示屏上出现的至少一个对象相关。
[0014]根据本发明示例性实施例的另一方面，提供一种装置，包括:显示器，向用户显现信息；传感装置，响应于用户在所述装置的表面附近使用用户操作的物理对象执行手势，所述传感装置具有提供数据的输出，所述数据用于描述在执行所述手势时所述用户操作的对象的呈现；以及单元，具有与所述传感装置的输出耦合输入，并操作为解释数据以识别所执行的手势，以及将所识别的手势解释为在某种形式上与被显现的信息相关。
【专利附图】
【附图说明】
[0015]当结合所附附图阅读时，本发明的教导的以上和其它方面在以下【具体实施方式】中变得更加清楚，其中:
[0016]图1A不出包括多个超声传感器(UST)作为用户输入设备的设备；
[0017]图1B是图1A的设备的简化框图；
[0018]图2A示出本发明的另一示例性实施例，其中将UST集成到以小型投影仪实现的设备中；
[0019]图2B是图2A的小型投影仪设备的简化框图；
[0020]图3A、3B (共同称为图3)，图4A-4D (共同称为图4)，图5A、5B (共同称为图5)，和图6描述了根据本发明示例性实施例可用于选择用于执行的各个命令的示例性基于手指的手势；
[0021]图7示出手指距离的超声观察的原理；
[0022]图8A-8D (共同称为图8)示出根据本发明示例性实施例可用于选择用于执行的各个命令的示例性基于手指的手势；
[0023]图9是描述通过图1OB所示的设备执行的示例性手指检测处理的逻辑流程图，其适用于捕获在图8和IOA中所示的基于手指的手势；
[0024]图1OA示出通过图1OB的设备检测的同时接触的多个点的感测实例；
[0025]图1OB是具有能够生成一个或多个指尖的图像的显示器的设备的简化框图；以及
[0026]图11是描述根据本发明示例性实施例的方法的逻辑流程图。
【具体实施方式】
[0027]参照图1A和IB(共同称为图1)，其示出设备10，例如具有能够显现信息的至少一个视觉显示器12的显示主导设备，其包括多个超声传感器(UST) 14A、14B和14C (共同称为UST14)作为用户输入设备，而图1B是图1A的设备的简化框图。应注意，在图1B中，假设设备10包括与存储器(MEM) 18耦合的数据处理器(DP)，所述存储器(MEM) 18存储适用于在执行本发明示例性实施例时使用的程序18A。作为非限制性实例，设备10可以是或可以包括PDA、无线通信设备、游戏设备、互联网装置、远程控制设备(例如适用于通过电视机或公共交互广告牌使用的设备)、音乐存储和回放设备、投影仪、视频存储和回放设备、多媒体设备、诸如台式计算机或便携式计算机的计算机、或通常包括向用户呈现信息(例如显示屏或显示表面)或从用户接收命令和/或输入信息的用户接口的任意类型电子设备。
[0028]在图1的示例性实施例中，3个UST14排列在设备10的表面IOA上，并且能够使用三角测量来检测用户手指20A、20B (还称为手指a、手指b)在三维空间中的位置。设备10采用由UST14在设备10的表面附近建立的超声场，来提供能使得设备10实时地感知手指位置以及可能的运动并做出反应的感知技术。
[0029]通常，给定的UST14使用高频声能进行检查并做出测量。为了示出一般原理，图7中示出典型的脉冲/回波设备的配置。典型的UST系统包括几个功能单元，例如脉冲发生器/接收器15A和超声传感器15B。脉冲发生器/接收器15A是分别可生成机械运动和/或电子脉冲的电子设备。传感器15B通过脉冲发生器部分驱动来生成高频超声能。声能以波的形式通过空气引入并进行传播。当在该波路径中存在中断(例如手指运动)时，能量的一部分从中断处向回反射。将被反射的波信号通过传感器15B转换成电信号，并对其进行处理以提供从传感器15B到中断处的距离(公知地，基于往返过程飞行时间的测量)。可显示对从信号生成到接收到回波时的时间的被反射的信号强度。还可以利用被反射信号的相位和强度改变来测量手指-传感器距离。
[0030]当用户的手指或更通常是手进入设备10前方的扫描场时，UST14系统测量到各个手指的距离。3个UST14传感器(在一些示例性实施例中可以在CT上具有固定的相对位置)能够提供各个手指-传感器距离的测量(al，a2，a3，bl，b2，b3)。应注意，设备10可通过少于3个的UST14传感器来实现，然而，通过提供第三UST传感器，可通过观察在三维(3D)空间中手指运动方向上的改变来使用用于执行的手指运动和基本操作命令(例如但不限于，选择、复制、粘贴、移动、删除)。当/如果需要更高的空间检测分辨率(时)，设备10还可以以例如UST传感器阵列的形式使用多于3个的UST14传感器来实现。
[0031]通常，典型地期望限制检测机构的范围，从而其在设备10的传感表面(无论传感器是UST传感器还是其它类型的传感器)附近包括相当有限的空间(其可被考虑来定义“工作封装(envelope)”)，以便不会因为例如背景对象(例如用户身体的其它部分)的存在和/或运动而生成不期望的输入。典型地，传感范围将小于大约I米，更典型地，所述值大约为例如10-20cm(或更少)。典型地，最大传感范围可以是传感器技术的函数。例如，本发明的UST实施例典型地具有比下面所述的AMLCD实施例更大的检测/传感范围。可以理解，当用户将一个手指或多个手指、或者一只手或多个手放在设备10的附近时，“在设备的附近”或传感表面将是空间量、或平面或更通常是表面，它们在深度(从传感表面开始)以及横向范围(在能够从传感表面感测的区域)两个方面被包含在该传感设备的最大可用传感范围中。
[0032]应注意，在图1A中通过在显示器12上显示2个指针(例如2个十字)12AU2B而对检测的手指位置进行转换并向用户呈现。
[0033]所述UST14系统可用于在3D空间中实时地跟踪用户的手指位置。可通过在显示器12上显示一个或多个指针12A、12B来执行跟踪的可视化(可用于向用户提供感知反馈)。这个技术向用户提供了视觉坐标，并便于对在显示器12上的呈现的对象(例如图标和命令栏)进行操作。此外，如果在显示器12上显示一组标准的字符，则可向用户提供打字(键盘输入)功能，其中传统的键盘可通过虚拟键盘代替。触觉反馈(出现在机械键盘中)可通过例如显示器12上的手指“阴影”的短暂闪烁(表示特定按键被接受以及字符被输入或相应命令被执行)来代替。此外，可增加音效以确认某个命令被接受。
[0034]在一些应用中，并非检测特定手指，而是可检测整个手的所有或一部分。换句话说，被显示的指针(例如12A)可以与手的重心关联，并用于驱动/导航该指针。这种配置可大大简化(硬件和软件)的总需求，并且特别适用于在仅一个指针导航/控制需要时的情况。
[0035]图2示出本发明的另一示例性实施例，其中将UST14系统集成到以小型投影仪30实现的设备中，而图2B是图2A的小型投影仪设备30的简化框图。因此，对于在图1中同样可以找到的组件也进行编号。小型投影仪设备30包括与DP16耦合的投影仪或投影引擎32，并投放出图像34用于用户浏览。为了本发明的目的，可将图像34看作在“显示屏”或“显示表面”上。同样可显示与用户手指20A、20B的位置对应的指针34A、34B。小型投影仪设备30可经由一些有线或无线接口 36 (例如蓝牙收发器)链接至电话或其它多媒体设备38，并且可显示来源于设备38的数据。可采用与图1相同或类似的UST14扫描概念。此夕卜，可以在例如组合有大型投影图像和基于用户手势输入的高级游戏概念中采用基于手指/手放置和/或运动的、与投影仪引擎32组合所得到的用户输入系统。使用基于手势的语言并结合更大格式的显示图像34，能够改进游戏概念，以及基于3D中动态用户运动的游戏设计。
[0036]可使用实时手指跟踪和在显示器/投影仪图像12/34上呈现相关指针(attributed pointers)来确定基本的面向对象或面向手势的命令。可以在不同的显示对象(例如图标、方框、滚动条和文件)上采用诸如选择、复制、粘贴、移动、删除和切换的命令。如下所述根据几个非限制性实例可将它们分成面向对象和面向手势/浏览的操作。
[0037]面向对象:
[0038]选择:手指I在显示器的一角或一些保留区域手指2在要选择的显示对象下方缓慢移动下方
[0039]复制:当被选定时通过一个手指在对象上点击
[0040]粘贴:通过一个手指快速双击
[0041]移动:缓慢移动位于移动对象上的两个手指
[0042]删除:通过先前的选定对象上的两个手指(快速)双击
[0043]切换:切换(开/关)基于手指运动方向的改变，或者可选择地，基于手指加速度的改变
[0044]面向手势/浏览:
[0045]选择与指针位置相关的对象:张开/闭合手(见图3A、3B)
[0046]前向/后向浏览:通过一个手指逆时针/顺时针周期性旋转(见图4A-4D)
[0047]放大/缩小:伸开/合拢两个手指(见图5A、5B和8D)
[0048]运行/执行预先选定的图标/命令:用两个手指围成圈(见图6)。
[0049]以上所述的示例性手势协议能够通过手指运动或手势在显示器14 (或投影显示器34)上操作对象。这些示例性协议为基于手势的命令和语言提供了较大的容量和设计自由度，并且可用于利用多媒体设备10的全方位功能，同时还为游戏和其它类似的应用提供了改进。本发明的示例性实施例的使用还很好地适用于互联网浏览器和类似的应用，例如当通过HTML页面滚动以及在显示页面中选择链接时。
[0050]应注意，尽管上文描述了使用一个或多个手指，但是在UST14的能量场中采用由用户保持和操作的笔(stylus)或某些其它对象的至少一部分同样在示例性实施例的范围内。为了方便，将包括人的一个手指或多个手指、一只手或多只手、棒状物或笔的所有这些对象都称作用户操作的物理对象。
[0051]应该理解，作为几个非限制性实例，可通过基于手势的游戏设备、无线通信设备、计算机和包含计算机的仪器、机器人通信系统、用于残疾人的通信系统和导航表来使用本发明的示例性实施例。应注意，通过本发明的示例性基于超声波的实施例所提供的大大减小了用户输入设备的物理尺寸的能力，能够相应地增加用户显示设备的表面积，这在小型、手持和便携式设备(例如作为两个非限制性实例的PDA和蜂窝式电话)中是有利的。
[0052]还应注意，本发明的以上示例性实施例的使用不需要用户在手或手指上佩戴任意额外硬件。此外，由于“手指/手”的尺寸可被任意缩小，并且不限于任意特定手指/笔的尺寸，所以提高了可扩展性。
[0053]现在进一步描述本发明的示例性实施例，其中同样使用用户操作对象(例如基于手指)手势，其中通过使用成像类设备或系统(例如集成在显示设备中，例如根据上文中引用的具有集成光学触摸屏的有源矩阵LCD (AMLCD)显示设备技术构成的设备)来检测手势。这些示例性实施例还通过采用关于预定命令和协议的手指手势为命令/数据定义和通信提供计算平台，并适用于在当前和未来设备中采用最小数目键垫/键盘和最大尺寸视觉显示器的DDC设备。在这些不同的实施例中，可采用以下示例性以及非限制性手势和相关命令。
[0054]图1OB示出示例性设备50的框图，所述设备50具有能够记录用户指尖的图像(例如图8和/或IOA中所示的图像)的显示器52。在这种情况下的显示器52可以是根据上文中引用的具有集成光学触摸屏的有源矩阵LCD (AMLCD)显示设备技术构成的设备。应注意，改进扫描(例如文本和条形码)也可以实现。在其它实施例中，可提供一个独立相机或多个相机以便例如通过显示器52的透明表面来成像用户的手指/手。
[0055]在图1OA所示的实例中，显示器52同时捕获在显示器52的表面上的5个离散位置处的用户指尖的图像。应注意，这个特定模式可被解释为一个特定手势，而所呈现的4个指尖(例如不包括拇指)可被解释为另一个特定手势。因为彼此指尖的角取向可能不同，所以在5个或更少指尖之间的间隔可改变，以编码出多个不同手势。
[0056]程序18A可适用于执行根据图9 (还参见以上引用的公开文本:59.3，A.Abileah等的 “Integrated Optical Touch Panel in al4.1” AMLCD” 的图 6)所不的逻辑流程图的程序。
[0057]通常，从捕获图像提取指尖，并记录提取结果。基于这些记录，系统判断是否开始识别处理。不管是否开始识别处理，系统都需要确定是否以及何时删除所存储的记录(这可能是基于定时器)。每当捕获新的图像时，重复所述步骤的全部或至少一部分。在捕获图像中的指尖(图8中的特征40)可看作由表示(作为非限制性实例的)重心、边缘、以及与背景不同的亮度的数据所描述的对象。存在许多图像分割方法，可用于指尖图像提取。一个示例性和非限制性分割方法是分水岭(Watershed)方法。
[0058]简而言之，分水岭是对于图像(典型地是灰度图)采用形态分水岭算子的函数。分水岭算子将图像分成分水岭区域及其边界。将灰度图看作表面，每个局部最小量可考虑成水降落在周围地区排水沟的点。分水岭的边界位于山脊的顶端。算子通过唯一索引来标记每个分水岭区域，并将边界设置为O。典型地，使用型态梯度、或包含提取边缘的图像用于分水岭算子的输入。在原始图像中的噪音和较小的不重要波动可生成伪最小梯度(spuriousminima in the gradients),其可导致过度分割。平滑算子的使用或手工标记种子点是避免过度分割的两个示例性方法。此外，可参照例如Dougherty的1992年SPIE光学工程出版社的 “An Introduction to Morphological Image Processing” 的分水岭函数。
[0059]可使用具有3个成员的组来代表一个指尖的状态:2个用于指尖的坐标，I个用于表示它是否触摸平面(触摸状态)。栈或队列是用于在指尖触摸表面时记录坐标的合适的数据结构。可使用定时器或计数器来记录指尖何时离开表面。
[0060]根据本发明示例性实施例的手势识别任务是根据输入手势从一组候选项中选择正确的命令/操作。开始手势识别步骤的条件可取决于组的内容。例如，如果在组中仅包括X标记和复选标记(见图8B、8C)，则可将条件设置为不包含指尖的连续图像的数目的阈值。如果对于该组增加放大/缩小手势，则可使用新的条件，即在一个图像中何时检测到2个指尖(见图8D)来启动手势识别处理。
[0061]存在许多不同的模式识别方法，可用于手势识别。例如，由于固有的健壮性可使用基于统计方法的方法。可包括归一化和/或平滑化技术作为手势识别处理的一部分。
[0062]记录指尖图像的状态的功能便于手势识别。然而，当这些记录没有用时，应该将它们删除。例如，只要将轨迹识别为复选标记(见图8C)，就可删除表示指尖的轨迹的记录。然而，对于放大/缩小手势(见图8D)，优选地仅在指尖离开显示器52的表面之后，可删除轨迹。
[0063]通常，可以理解，本发明的一方面是多个记录中每个记录的连续创建，其中多个记录中的每个记录包括用于描述在执行手势时在实时对应点处用户操作的物理对象的位置的数据。
[0064]应注意，在以上讨论的各个示例性实施例中，DP16可以是任意类型适合的数据处理器，例如体现为在集成电路中的数据处理器，并且存储器18可以是任意类型适合的数据存储设备，包括基于半导体和基于磁盘或磁带的数据存储设备。
[0065]图8中描述了在做出相应手势时通过支持图像的显示器52所记录的与显示器52的上表面关联的用户手指的“图像”。图8中标记为40的特征代表用户指尖的当前位置(当前图像)，而标记为42的特征代表在用户指尖运动期间所做的先前图像，即上文提到的指尖轨迹。箭头通常表示指尖40的运动方向。
[0066]显示器52的使用可提供根据本发明示例性实施例要记录和处理的基于一个手指和多个手指的手势。现在提供几个非限制性实例。
[0067]基于一个手指的命令/协议:
[0068]1.手势:顺时针(CW)- 反时针(CCW)圆形旋转(见图8A)
[0069]相关命令:浏览/滚动/列表应用
[0070]2.手势:随后通过一个手指轻敲(Tapl-Tapl...)
[0071]相关命令:激活设备/电话、运行/执行预先选定的选项
[0072]3.手势:手指在某对象/图标上保持不动(超过某时间阈值)
[0073]相关命令:选择对象/图标
[0074]4.手势:手指在某项目/对象/图标上停留之后缓慢移动
[0075]相关命令:选择该项目/对象/图标，直到移动结束
[0076]5.手势:交叉垂直线(X标记，见图8B )
[0077]相关命令:删除
[0078]6.手势:垂直移动的缺口(复选标记，见图8C)
[0079]相关命令:接受:和确认
[0080]7.手势:围绕要选择的项目/图标的封闭曲线
[0081]相关命令:选择项目/图标的组
[0082]基于两个手指的命令/协议:
[0083]8.手势:线性接近/分开(手指接近，然后分离，反之亦然，见图8D)
[0084]相关命令:放大/缩小,尺寸调节
[0085]9.手势:用两个手指同时接触图标/对象
[0086]相关命令:选择准备尺寸调节的图标/对象
[0087]10.手势:用两个手指同时轻敲(Tapl和2，Tapl和2，重复…)
[0088]相关命令:高级重要性接受和确认
[0089]11.手势:一个手指在图标/对象上停留，然后特定对象的菜单出现；另一个手指进行圆形旋转，并切换菜单选项，同时抬升两个手指来选择和执行菜单选项
[0090]相关命令/应用:选择和执行菜单选项[0091]12.混合手势
[0092]可使用上文所述的基本手势的适当组合来执行一些混合手势，例如复制(COPY)、剪切(⑶T)、粘贴(PASTE)等。例如；
[0093]一复制=选择(SELECT) +内部的复选标记(在选择项目的附近执行)
[0094]一剪切=选择+内部的X标记
[0095]一粘贴基于复制，假设在复制之后剪贴板内容的指示符在屏幕上可见，然后在剪贴板上的一个轻敲(TAP)可创建粘贴命令，并将内容粘贴在指针或预先选定的项目/图标处。
[0096]以上所述的协议能够通过用户操作的物理对象(例如一个或多个手指)的运动而在显示器52上操作和/或选择对象。这些协议的使用为基于手势的命令和语言提供了较大的输入性能以及设计自由度，还可用于利用设备50的全功率(full power)ο游戏设备也可以从它们的使用中获益。
[0097]参照图11，根据上述本发明的各个实施例，可以理解，提供了一种方法，包括:在设备的附近通过用户操作的物理对象执行手势(步骤11A);生成用于描述在执行所述手势时由用户操作的对象做出的动作的数据(步骤11B);以及将所述数据解释为与显示屏上出现的至少一个对象(例如命令)相关(步骤11C)。
[0098]应注意，可使用从触摸屏显示(2D检测系统)到3D检测系统(例如上述UST实施例)、或基于相机的系统、或基于相机-麦克风的虚拟键盘的不同输入/输出(I/O)技术来实现基于手势的协议。也可以使用结构光的系统(例如基于激光的光投射/检测系统)，作为额外的非限制性实例，也可以是触摸板输入设备。
[0099]本发明这些示例性实施例的使用提供了具有最小数目所需按键的显示主导概念设备，提供了用于实现基于手势的输入设备，并且不需要提供任何重要的硬件。此外，可通过软件协议来确定命令及其解释。此外，本发明这些示例性实施例的使用提供了通过用户进行命令定制(个性化)的可能。例如，用户可以将删除手势定义为与图8B所示不同的一个手势，例如将具有从中穿过的对角线的圆圈定义为删除手势。
[0100]一般地，如这里所考虑的，由用户操作的物理对象进行的动作可以包括:一个或多个基本圆形动作、基本线性动作、至少一个基本圆形动作与至少一个基本线性动作的组合、基本圆形动作和基本线性动作中的至少一个与一段时间内基本没有动作的组合、基本曲线动作和轻敲动作。对于用户操作的物理对象包括用户的至少两个手指的情况，动作可包括一个手指相对于另一个手指的运动。记录的数据可描述用户操作的物理对象的速度和加速度中的至少一个。对于用户操作的物理对象包括用户的至少一个手指的情况，记录的数据可描述由至少一个手指摆出的至少一个形状。
[0101]当结合附图和所附权利要求阅读时，根据先前的描述，对于相关领域的普通技术人员来说，各种修改和改变变得显而易见。正如本领域的技术人员可以尝试其它手势和命令一样，仅作为一些实例，也可采用其它类似或等同的用户输入设备和技术，例如基于电阻和/或电容的触摸板或触摸屏设备。然而，本发明的教导的所有这些和类似修改仍将落入本发明的范围。
[0102]此外，通过实例，本发明示例性实施例可提供初始的用户训练会话，其中在程序18A提示时用户多次输入相同的手势，以训练对作为用户特征的特定手指运动和/或速度、以及可能的指尖尺寸的手势识别处理。作为实例，这可用于建立特定阈值或手势识别处理所使用的阈值。
[0103]此外，通过实例，并且对于图8-10的二维实施例，如果存在足够的周围照明使得即使在指尖没有与显示设备的表面实际接触时也能够获得指尖图像，那么显示器52的表面的实际接触不是必要的。在这种情况下，可以在设备50的附近的三维空间内视觉获得手指或指尖图像。
[0104]此外，在一些实施例中，可以在结合图8-10的手、手指、指尖图像实施例的相同设备中使用图1-7的UST系统，并且可以在任意给定时间使用从其中一个或另一个、或两者导出的信息进行手势识别。通常，可以在相同的设备中共同采用两个或更多类似或不同的对象感测技术。
[0105]应注意，在上述本发明的各个示例性实施例中，DP16可基于存储器18中存储的包含在程序18A中的程序指令执行基本上所有的所需处理。然而，在图像获取系统或子系统本身(例如在图1-7的基于超声的成像系统或在图8-10的基于光学的成像系统)中执行至少某些处理也在示例性实施例的范围内。例如，可以在成像系统中通过本地嵌入的数据处理器执行实际图像生成处理，并且可将结果传递至DP16并通过其处理，以执行手势识别和解释操作。
[0106]此外，可以理解，可将某些手/手指手势定义为在不同设备、应用和语言之间具有标准的和通用的含义。一个非限制性实例可以是食指和大拇指形成圆圈，而剩余的三个手指伸开(0K手势)，这可普遍解释为例如“保存和关闭文件”。本发明示例性实施例的使用方便了这种类型的操作。
[0107]通常，可以理解，本发明示例性实施例的一方面是一种方法、一种计算机程序产品以及一种装置，其响应于用户在设备的附近使用用户操作的物理对象执行手势，以生成在执行手势时描述用户操作的物理对象的呈现的数据，以及将所述数据解释为与至少一个对象相关。
[0108]这里采用的“用户操作的物理对象的呈现”可包括但不限于，在二维或三维空间中用户操作的物理对象的空间方位、在二维或三维空间中用户操作的物理对象的静止、在二维或三维空间中用户操作的物理对象形成的形状、在二维或三维空间中用户操作的物理对象所做的动作、在二维或三维空间中用户操作的物理对象的速度、在二维或三维空间中用户操作的物理对象的加速度、及其组合。
[0109]例如，在执行顺时针和逆时针指尖运动的图8A中所示的手势时由用户的指尖描绘的模式可能相同(即圆圈或椭圆)，然而通过实时或基本实时地感测指尖运动的方向，两个手势彼此可能不同。
[0110]应注意，可使用固定和扫描型两种传感器，例如用超声波束扫描环境的UST系统/组件。
[0111]此外，可以较好的使用本发明的实例的某些特征而无需相应地使用其它特征。由此，先前的描述应该理解为仅是本发明的原理、教导、实例和示例性实施例的示例性表述，而非对其的限制。
【权利要求】
1.一种方法，包括: 在设备的附近检测通过两个或多个用户操作的物理对象执行的手势的执行，所述检测包括检测两个或多个用户操作的物理对象的每一个的位置； 显示指针，其中，所显示的指针的位置是基于所述两个或多个用户操作的物理对象之一的位置； 生成数据，所述数据用于描述在执行所述手势时所述两个或多个用户操作的对象的位置；以及 将所述数据解释为与所述设备所显示的对象相关。
2.如权利要求1的方法，其中，所述用户操作的物理对象包括用户的手指或者用户的手的至少一部分。
3.如权利要求1或2的方法，其中，生成数据包括:生成用于描述由所述两个或多个用户操作的对象在二维或三维空间内所做的动作的数据。
4.如权利要求1至3任意一项的方法，其中，生成数据包括:生成用于描述由所述两个或多个用户操作的对象在一段时间内所做的动作的数据。
5.如权利要求1至4任意一项的方法，其中，所述手势包括以下的至少一个:基本圆形动作、基本线性动作、至少一个基本圆形动作与至少一个基本线性动作的组合、基本圆形动作和基本线性动作与一 段时间内基本无动作的组合、基本曲线动作和轻敲动作。
6.如权利要求1至5任意一项的方法，其中，所述手势包括:所述两个或多个用户操作的物理对象之一相对于所述另一个两个或多个用户操作的物理对象中的至少另一个的运动。
7.如权利要求1至6任意一项的方法，其中所述数据描述所述两个或多个用户操作的物理对象的速度和加速度中的至少一个。
8.如权利要求1至7任意一项的方法，还包括:显示第二指针，其中，所显示的第二指针的位置是基于所述两个或多个用户操作的物理对象中的另一个的位置。
9.如权利要求1至8任意一项的方法，其中，将所述数据解释为与所述设备所显示的对象相关包括:在所显示的对象上实现命令。
10.如权利要求9的方法，其中，在所显示的对象上实现命令包括以下的至少一个:选择所显示的对象、移动所显示的对象、放大所显示的对象和缩小所显示的对象。
11.一种装置，包括: 至少一个处理器；以及 至少一个存储计算机程序指令的存储器，其被配置为与所述至少一个处理器工作以使得所述装置至少执行以下操作: 在设备的附近检测通过两个或多个用户操作的物理对象执行的手势的执行，所述检测包括检测两个或多个用户操作的物理对象的每一个的位置； 显示指针，其中，所显示的指针的位置是基于所述两个或多个用户操作的物理对象之一的位置； 生成数据，所述数据用于描述在执行所述手势时所述两个或多个用户操作的对象的位置；以及 将所述数据解释为与所述设备所显示的对象相关。
12.如权利要求11的装置，其中，所述用户操作的物理对象包括用户的手指或者用户的手的至少一部分。
13.如权利要求11的装置，其中，生成数据包括:生成用于描述由所述两个或多个用户操作的对象在二维或三维空间内所做的动作的数据。
14.如权利要求11的装置，其中，生成数据包括:生成用于描述由所述两个或多个用户操作的对象在一段时间内所做的动作的数据。
15.如权利要求11的装置，其中，所述手势包括以下的至少一个:基本圆形动作、基本线性动作、至少一个基本圆形动作与至少一个基本线性动作的组合、基本圆形动作和基本线性动作与一段时间内基本无动作的组合、基本曲线动作和轻敲动作。
16.如权利要求11的装置，其中，所述手势包括:所述两个或多个用户操作的物理对象之一相对于所述另一个两个或多个用户操作的物理对象中的至少另一个的运动。
17.如权利要求11的装置，其中，所述数据描述所述两个或多个用户操作的物理对象的速度和加速度中的至少一个。
18.如权利要求11的装置，其中，所述至少一个处理器和所述至少一个存储计算机程序指令的存储器被配置为使得所述装置执行:显示第二指针，其中，所显示的第二指针的位置是基于所述两个或多个用户操作的物理对象中的另一个的位置。
19.如权利要求11的装置，其中，将所述数据解释为与所述设备所显示的对象相关包括:在所显示的对象上实现命令。
20.如权利要求19的装置，其中，在所显示的对象上实现命令包括以下的至少一个:选择所显示的对象、移动所显示的对象、放大所显示的对象和缩小所显示的对象。
21.如权利要求11的装置，其中，所述装置被包含在包括用于执行无线通信的装置的设备中。
22.—种系统，包括:如权利要求11的装置、以及传感器装置和显示器中的至少一个。
【文档编号】G06F3/01GK103529942SQ201310480408
【公开日】2014年1月22日 申请日期:2007年6月27日 优先权日:2006年6月28日
【发明者】Z·莱迪沃耶维克, 邹燕明, 汪孔桥, R·T·塔卡拉, V·T·兰茨, R·莱赫蒂涅米, J·I·兰塔纳, R·瓦塔帕拉斯特 申请人:诺基亚公司