专利名称：多点触控标记菜单和有方向性的和弦手势的制作方法
技术领域：
本发明的实施例一般地涉及多点触控表面，并且更具体地涉及多点触控标记菜单和有方向性的和弦(chord)手势。
背景技术：
用于软件程序的用户界面(UIs)被设计成包括使用输入设备(诸如鼠标、键盘、或 屏幕等多点触摸表面允许使用一个或更多个手指来导航UI。然而，在多点触控表面上使用一个或更多个手指不能完全提供有效地导航UI所需要的输入精度。已经尝试在UI设计中进行一些修改以增加通过一个或更多个手指对多点触控屏幕的输入的精确度，包括对于在Π中包括的元素的放大和缩小的能力或构造Π以包括一列大的可选择的元素。因为可以将Π元素放大至通过使指尖接触多点触控屏幕可容易选择的宽度和高度，因此放大和缩小的特征允许用户更有效地与在UI中包括的小的界面元素交互。类似地，因为每个大的可选的元素通常超过用于提供对于多点触控屏幕的输入的指尖的尺寸，因此用户容易对包括多列大的可选择的元素的UI进行导航。然而，这些Π技术消耗了宝贵的屏幕实际使用面积和/或要求用户连续地调整用于精确输入的界面的缩放水平，这导致了低效的和繁琐的交互。如前所述，在本领域内存在对于克服了传统方法相关的缺点的用户界面技术的需求。
发明内容
本发明的一个实施例提供了用于与多点触控表面交互以执行操作的方法。该方法包括检测到至少一个手指接触多点触控表面；识别由手指的组合定义的和弦，所述手指的组合与接触所述多点触控表面的所述至少一个手指相关联；以及基于所述和弦执行与操作相关的第一功能。本发明的实施例的一个优点是作为通过多点触控表面通过上述技术可检测到的和弦的结果，显著地扩展了多点触控表面的输入能力。
通过参照实施例(在附图中示出一些实施例)，以这样的方式，可以详细地理解本发明实施例的上述特征、能够获得以上简要概述的本发明的更具体的描述。然而应当注意，附图仅示出了本发明的典型的实施例，并且因此不应被认为是限制了本发明的范围，对于本发明可以具有其它等效的实施例；图I是根据本发明的一个实施例，示出了通过使用一个手的五个手指的不同组合可能引起的三十一种可能的和弦的表格的概念图；图2A是根据本发明的一个实施例,用于使用提起和敲击(lift-and-stroke)技术确定和弦的方法步骤的流程图；图2B是示出根据本发明的一个实施例的使用提起和敲击技术创建和弦的概念图；图3A是根据本发明的一个实施例的用于使用照相机系统确定和弦的方法步骤的流程图；图3B是示出根据本发明的一个实施例的使用照相机系统创建和弦的概念图；
图4是示出根据本发明的一个实施例的八个和弦的映射和对应功能的概念图；图5是示出根据本发明的一个实施例的创建和弦并且执行和弦手势的概念图；图6是根据本发明的一个实施例，用于使用和弦手势执行包括在标记菜单中的命令的方法步骤的流程图；图7是示出根据本发明的一个实施例的使用和弦手势执行包括在标记菜单中的命令的概念图；图8是示出根据本发明的一个实施例的使用数字触控笔连同和弦手势的概念图；以及图9是示出了被配置成执行本发明的一个或多个方面的计算机的概念图。
具体实施例方式在以下描述中，陈述大量的特定的细节以提供对本发明的实施例的更深入的理解。然而，对于本领域技术人员将是明显的，可以缺少一个或更多个这些特定的细节而实施本发明的实施例。在其它情况下，没有描述公知的特征以避免模糊本发明的实施例。图I是示出了根据本发明的一个实施例，通过使用一只手的五个手指的不同组合可能引起的三十一种可能的和弦的表格100的概念图。如图所示，表格100包括行10、行
20、行30、行40、行50、和弦102-和弦162、手指向上表示164、以及手指向下表示166。行10、20、30、40、以及50包括了使用手的五个手指在多点触控表面上可能创建的不同和弦。在表格100中描述的和弦102-和弦162中的每一个包括五个圆,其中每个圆映射到手的特定的手指。手指向上表示164代表不接触多点触控表面的手指；反之，手指向下表示166代表接触多点触控表面的手指。行10包括通过使手的单个手指接触多点触控表面可以创建的和弦102、104、106、108以及110。行20包括通过使手的两个手指接触多点触控表面可以创建的和弦112、114、116、118、120、122、124、126、128以及130。行30包括通过使手的三个手指接触多点触控表面可以创建的和弦132、134、136、138、140、142、144、146、148以及150。行40包括通过使手的四个手指接触多点触控表面可以创建的和弦152、154、156、158以及160。行50包括通过使手的五个手指接触多点触控表面可以创建的和弦162。在一个实施例中，如果使用右手创建在表格100中所示的和弦102-和弦162，则大拇指对应和弦中最左边的圆并且小拇指对应和弦中最右边的圆。例如，如果使用右手，则和弦120代表其中食指和中指接触多点触控表面而其它手指不接触多点触控表面的和弦。在另一实施例中，和弦160代表其中食指、中指、无名指、以及小姆指接触多点触控表面而大拇指不接触多点触控表面的和弦。在替选的实施例中，如果使用左手创建和弦102-和弦162，则小拇指对应在和弦中最左边的圆并且大拇指对应在和弦中最右边的圆。例如，在使用左手的实施例中，和弦136代表在其中大姆指、中指、以及无名指接触多点触控表面而其它手指不接触多点触控表面的和弦。在传统的系统中，多点触控表面不能确定哪个特定的手指接触了多点触控表面。如将在下面所详细描述的，本发明的实施例提供了用于确定哪个特定的手指接触多点触控表面并且根据该确定提供某种功能的技术。图2A是根据本发明的一个实施例，用于使用提起和敲击技术确定和弦的方法步骤的流程图。本领域的技术人员将会理解，即使结合图1，图2B，图3B-图5，以及图7-图9的系统描述了方法200，但是任何被配置成执行该方法步骤(以任何顺序)的系统都在本发明的实施例的范围内。
如图所示，方法200开始于步骤202，在该步骤中包括在计算机系统中的处理器确定用户已经使手的全部五个手指接触多点触控表面。在一些实施例中，多点触控表面可以被编程为当五个手指接触多点触控表面时向用户发出声音。在一些实施例中，计算机系统包括多点触控表面。在步骤204，处理器识别五个接触点并且确定手的每个手指的位置。在一个实施例中，多点触控表面使用(X，y)坐标系统。当在手的五个手指与多点触控表面之间创建了五个接触点中的每一个时，将用于五个接触点中的每一个的(X，y)坐标信息从多点触控表面传递到处理器。处理器接收与每个手指相关的(x，y)坐标信息并且执行计算以确定手的哪些手指对应于五个(x，y)坐标。该计算可能包括确定用于一对手指的(x，y)坐标信息之间的距离、用于一对手指的(x，y)坐标信息之间的斜率等。在一些实施例中，多点触控表面可以被配置成用于惯用右手的或惯用左手的操作模式中。在这些实施例中，当执行计算以确定手的哪些手指对应于五个(X，y)坐标时，处理器可能考虑操作模式。当多点触控表面的处理器完成关于五个(X，y)坐标的计算时，将手指坐标映射存储在存储器中，该映射为与五个(x，y)坐标信息相关的特定手指的映射。该存储器可以包括在计算机系统和/或多点触控表面装置中。在步骤206，处理器检测从多点触控表面提起零个或更多个手指。在一个实施例中，用户提起他或/她的中指、无名指、以及小拇指，使得仅拇指和食指保持接触多点触控表面。多点触控表面可以被编程为显示脉冲动画，该动画向用户传达一个或更多个接触点不再接触多点触控表面。例如，在多点触控表面上在从多点触控表面提起的接触点中的每一个上显示三个扩展的圆的动画。动画为用户提供他或她已经更改了接触多点触控表面的手指的数量的通知。在一些实施例中，处理器连续地和/或周期性地确定哪些手指接触多点触控表面。在步骤208，处理器确定是否有至少一个手指保持接触多点触控表面。如在步骤206所描述，处理器可以连续地和/或周期性地确定哪些手指接触多点触控表面。以这样的方式，处理器可以识别对于多点触控表面的用户输入的任何改变。例如，如果用户从多点触控表面上移除他或她的无名指和小拇指，则处理器会接收到三个(x，y)坐标信息，并且知道只有三个手指保持接触多点触控表面。如果处理器确定没有手指保持接触多点触控表面，则方法200返回到如上所述的步骤202。在一个实施例中，当他或她决定取消对多点触控表面的输入时，用户移除他或她的所有五个手指。如果，在步骤208，处理器确定至少有一个手指保持接触多点触控表面，则方法200继续步骤210。在步骤210，处理器确定与和多点触控表面保持接触的手指对应的和弦。如在步骤204中所描述，存储器可以包括初始接触多点触控表面的用户的五个手指的手指坐标映射。例如，用户是惯用右手的，并且已经提起他或她的食指、无名指、以及小拇指(仅留下他或她的大拇指和中指接触多点触控表面)。多点触控表面的处理器然后接收到两个(x，y)坐标信息用于大拇指的接触点的一个(x，y)坐标信息，和用于中指的接触点的另一个(x，y)坐标信息。处理器从存储器调出手指坐标映射并且将两个(x，y)坐标信息与存储
在手指坐标映射中的坐标对比。处理器然后识别与两个(x，y)坐标信息对应的用户的两个手指，并且确定用户当前的手指配置。在用户保持大拇指和中指接触的示例中，处理器确定用手势表示的和弦是和弦114，如在图I中所示。在一些实施例中，处理器被编程为容许某一范围的移动以补偿当在步骤206中用户从多点触控表面移除一个或更多个手指时可能发生的接触多点触控表面中的手指的小的移动。在步骤212，处理器执行与和弦相关的动作。在一个实施例中，处理器识别和弦并且执行与该和弦相关的存储器查找的功能。在一个实施例中，用手势表示和弦是与显示用户界面(UI)菜单相关的，其中基于用手势表示了哪个和弦而显示Π菜单。在一些实施例中，可以通过用户定制与每个和弦相关的功能。方法200的实施例可以包括对于用户的输入，多点触控表面的响应时间中的编程的延迟。更具体地，在步骤206中，用户不太可能会在完全相同的时间提起所有手指。在一个实施例中，如果用户计划提起他或她的无名指和小拇指，但是首先提起他或她的小拇指，则处理器接收到四个手指接触多点触控表面的更新，识别到图I中的和弦152并且执行与和弦152相关的功能。在替选的实施例中，如果处理器被编程为在步骤206等待随后的输入，则可能提供给用户足够的时间提起他或她的无名指而不执行与和弦152相关的功能。因此，当在时间的阈值量内还提起无名指时，处理器接收到用户想要的和弦，即图I中的和弦150，并且处理器执行与和弦150相关的功能。以这样的方式实现阈值时间为用户提供了更直观的用户输入技术，并且补偿了与用户输入相关的延迟和错误。图2B是示出根据本发明的一个实施例的使用提起和敲击技术创建和弦的概念图。如在图2A中所描述，当用户使手的所有五个手指接触多点触控表面时运行提起和敲击技术，以使得可以创建手指的坐标映射并且将其存储在存储器中。如在图2B中所示，提起和敲击起始点220与用户向下在多点触控表面上放置所有五个手指相关联。提起和敲击起始点220示出了使他或她的所有五个手指接触多点触控表面的惯用右手的用户。在一个实施例中，多点触控表面被编程为当用户的所有五个手指接触多点触控表面时，在多点触控表面上显示动画。例如，如在步骤208中所描述，多点触控表面的背景可能闪现以向用户传达多点触控表面已经准备好用户使用提起和敲击技术创建特定的和弦。在替选的实施例中，从包括在多点触控表面中的扬声器发出听得见的鸣响，该鸣响也可以有效地向用户传达多点触控表面已经准备好用户创建包括在图I中的和弦102-和弦160中的一个。应当注意，和弦162等同于提起和敲击起始点220,其中使用户的手的所有五个手指接触多点触控表面。还在图2B中示出了提起和敲击终止点230、232、234。当在使所有五个手指接触多点触控表面之后用户移除他或她的中指时创建提起和敲击终止点230。当在使所有五个手指接触多点触控表面之后用户移除他或她的食指和中指时创建提起和敲击终止点232。当在使所有五个手指接触多点触控表面之后用户移除他或她的大拇指和小拇指时创建提起和敲击终止点234。通过利用提起和敲击技术多点触控表面可以识别在图I中包括的和弦120-和弦160中的每一个。图3A是根据本发明的一个实施例，用于使用照相机系统确定和弦的方法步骤的流程图。本领域的技术人员将会理解，即使结合图1，图2B，图3B-图5，以及图7-图9的系统描述了方法300，但是任何被配置成执行该方法步骤(以任何顺序)的系统都在本发明的实施例的范围内。 如图所示，方法300开始于步骤302，其中处理器确定使用户的手的一个或更多个手指接触了多点触控表面。在一个实施例中，多点触控表面包括处理器，该处理器连同一个或更多个照相机一起执行方法300的步骤。在替选的实施例中，在被连接到多点触控表面的计算机系统中包括的处理器可以包括执行方法300的步骤的处理器。在一些实施例中，多点触控表面可能被编程为当一个或更多个手指接触多点触控表面时发出声音。例如，用户可以使他或她的大姆指、食指、以及中指接触多点触控表面(由包括在图I中的和弦150表不)。在步骤304，当一个或更多个手指接触多点触控表面时，一个或更多个照相机捕获手和手指的图像。在一个实施例中，一个或更多个照相机放置在多点触控表面之下并且能够捕获在多点触控表面边界内的任何运动或接触点。例如，可以将多点触控表面分为四个象限，其中通过分配给每个象限的不同的照相机捕获在每个象限中发生的运动。如在上述实施例中所描述，通过用户的手可以创建图I的和弦150。在步骤304，多点触控表面的照相机系统追踪并且捕获用户的手和手指的图像，并将每个图像存储在包括在多点触控表面的存储器中。在一些实施例中，执行输入延迟，其中当用户停止移动他或她的手和/或手指时，通过分析存储在存储器中的多个图像，处理器确定用户已经完成了制作和弦手势。在一个实施例中，多点触控表面的照相机每秒捕获两个图像并且将其存储到多点触控表面的存储器中。因此，如果两个连续的图像几乎相同，则处理器确定用户的手并且因此确定和弦手势已经持续了至少一秒。在步骤306，处理器围绕图像中的手和一个或更多个手指创建边界框。在一个实施例中，处理器分析存储在多点触控表面的存储器中的最新的图像以确定在图像中的手和手指的区域。然后处理器可以围绕手和一个或更多个手指生成边界，并且剪裁位于边界外部的图像的任何部分。然后可以将剪裁过的图像作为边界框存储在存储器中。在步骤308中，处理器分析边界框以确定与接触多点触控表面的手指对应的和弦。在一个实施例中，处理器首先载入图像识别软件以辅助与边界框相关的数据的处理。例如，图像识别软件通过识别手的手掌部分和内部部分而识别手的边界和方向。图像识别软件还通过识别指尖而识别手的手指的边界和方向。图像识别软件合并边界并且剪裁边界框，其中剪裁过的边界框完美地标明手和手指的界限。图像识别软件然后分析在剪裁过的边界框中的手指以确定大拇指、食指、中指、无名指、以及小拇指。根据一些实施例，通过分析相对于接触点之间的接触点的位置以及相对于边界框几何结构的接触点的位置来确定各个手指。例如，在一个实施例中，在边界框水平中心的阈值距离内的接触点可以确定为中指。在另一实施例中，在边界框左边缘的接触点可以确定为大拇指(例如，对于惯用右手的用户)。在一些实施例中，进一步剪裁边界框以使得剩余的边界框仅包括手指。这被称为“分割的边界框”。最终，图像识别软件通过分析各种要素(诸如压力点、手指弯曲等)确定五个手指中的哪些手指实际接触多点触控表面。当图像识别软件完成其处理时，识别通过用户输入的实际和弦(例如图I中的和弦150)。在一些实施例中，图像识别软件被安装在计算机系统中，并且通过包括在计算机系统中的处理器执行图像识别软件。在步骤310，处理器执行与和弦相关的动作。在一个示例中，处理器确定用户用手势表示了图I的和弦150，并且执行存储器查找以确定与和弦150相关的功能。在一些实施例中，可以通过用户定制和弦150的功能以显示正被显示在多点触控表面上的计算机辅助设计(CAD)软件中的编辑菜单。用户然后可以提起他或她的大拇指、食指、以及中指(即，与·和弦150相关的手指)并且保持显示编辑菜单。用户然后可以通过单个手指接触多点触控菜单来选择在编辑菜单中的元素，其中单个手指接触点位于所选择的编辑菜单元素的边界内。在替选的实施例中，在响应于检测到和弦150而显示编辑菜单之后，用户可以在不从多点触控表面上提起手指的情况下，在编辑菜单选项的方向上滑动他或她的手指，以选择编辑菜单选项。图3B是示出根据本发明的一个实施例的使用照相机系统创建和弦的概念图。图3B示出了照相机310、和弦输入320、边界框322、剪裁过的边界框330、分割后的边界框340、以及和弦350。照相机320追踪用户手和手指的运动。在一个实施例中，单个照相机放置在多点触控表面之下，以使得照相机可以追踪用户的手和手指。在其它的实施例中，两个或更多的照相机放置在多点触控表面之后，以使得可以对多点触控表面进行划分，并且更精确地追踪用户的手和手指。在另一实施例中，一个或更多个照相机可以放置在多点触控表面的上面或多点触控表面的侧面。在图3B中所示的示例中，当用户使他或她的大拇指、食指、以及中指接触多点触控表面时，仓Il建和弦输入320。在一个实施例中，从包括在多点触控表面中的扬声器中发出可听得见的鸣响，该鸣响向用户传达他或她已经建立了与多点触控表面的接触。多点触控表面的处理器围绕和弦输入320创建了边界框322，其中边界框322为用户的手和手指的整个图像的边界。在一个实施例中，如在图3A的步骤306中所描述地创建边界框322。处理器通过分析边界框322并剪裁不包括一部分手和/或手指的边界框322中的每个部分然后确定剪裁过的边界框330。然后，处理器通过分析剪裁过的边界框330并孤立手的每个手指来确定分割后的边界框340。如通过分割后的边界框340所示，处理器剪掉与手的每个手指不相关的所有信息，。如在图3A的步骤306中所描述地处理分割后的边界框340。然后通过处理器识别与手势相关的和弦350。另外，在一个实施例中，处理器以被剪裁为边界框330的边界框332开始。边界框330然后被剪裁为分割后的边界框340，并且分割后的边界框340被剪裁为实际的和弦350。然后，处理器将和弦350与存储在存储器中的和弦的映射进行比较以确定响应于检测到和弦350该采取什么动作。图4是示出根据本发明的一个实施例的八个和弦和对应功能的映射的概念图。图4包括和弦图例402和和弦模板404、406、408、410、412、414、416、418。在一个实施例中，和弦图例402显示在与在计算机系统上执行的图形应用相关的用户界面的右上方。根据各种实施例，如本文所描述的，可以由用户经由提起和敲击技术或经由照相机系统技术来以手势表示和弦模板404、406、408、410、412、414、416、418中的每一个。和弦图例402可以显示任何数量的和弦模板。在一个实施例中，如在图4中所示，和弦图例402显示八个不同的和弦模板。和弦模板是和弦及其对应的功能的视觉表示。和弦图例402为用户提供了用于一些可获得的功能(该功能可以通过用手势表示不同的和弦实现)的参考，而不要求用户记住每个和弦。例如，和弦模板404代表用于当使用户的大拇指接触多点触控表面时显示选择的家具的预定图样的功能。在一些实施例中，和弦模板404、406、408、410、414、414、418中的每一个是可定制的，并且可以包括和弦102-和弦162中的任一个。用手势表示每个和弦并且将每个和弦与相关的功能相联系。·另外，在一些实施例中，和弦图例402是动态的并且基于用户选择的和弦模板而改变。例如，如果用户选择水果和弦模板408，显示选择的不同的水果图样，并且和弦图例402用八个新和弦模板替换和弦模板404-418中的每一个，八个新的和弦模板显示对于显示的水果图样选择(诸如颜色、形状等)可用的过滤功能。在替选的实施例中，在和弦图例402中可以包括任何数量的和弦手势。图5是示出根据本发明的一个实施例的创建和弦并且执行和弦手势的概念图。如图所示，在用户创建和弦之后，用户可以沿多点触控表面在八个不同的手势可能性502中的一个上滑动他或她的手。例如,用户可以使他或她的大拇指和小拇指接触多点触控表面，并且然后在向上的方向上沿多点触控表面滑动拇指和小拇指。通过使用提起和敲击技术或照相机系统技术通过创建和弦可以实现和弦手势，并且然后在保持和弦的同时沿多点触控表面执行有方向性的移动。和弦手势可能性502代表当通过多点触控表面检测到和弦时可获得的和弦手势。在图5中所示的实施例中，通过多点触控表面识别八个不同的手势可能性502。八个可能的方向包括北、东北、东、东南、南、西南、西、以及西北。在替选的实施例中，多点触控表面识别额外的方向(如，东北偏北)，或识别图案(如环形图案)。图5还示出了用户执行东和弦手势504、北和弦手势506、以及西南和弦手势508的示例。如本文所描述的，和弦手势504、506、508中的每一个可以联系到特定的功能或动作。与和弦手势相关的动作的一个示例是显示用户界面选择菜单。图6是根据本发明的一个实施例，用于使用和弦手势执行包括在标记菜单中的命令的方法步骤的流程图。本领域的技术人员将会理解，即使结合图1，图2B，图3B-图5，以及图7-图9的系统描述了方法600，但是任何被配置成执行这些方法步骤(以任何顺序)的系统都在本发明的实施例的范围内。如图所示，方法600开始于步骤602，在该步骤中处理器检测和弦。在各种的实施例中，处理器通过使用提起和敲击技术或照相机系统技术检测和弦。在步骤604，处理器执行与检测到的和弦相关的动作。在一个实施例中，用户通过使他或她的大拇指和中指接触多点触控表面来创建图I中的和弦114。处理器执行查找，并且基于和弦输入确定将标记菜单显示给用户。在图7中作为标记菜单715示出标记菜单的示例，将在以下对其进行详细描述。标记菜单随后显示给用户。在步骤606，处理器检测和弦手势。在一个实施例中，用户在北方向上朝着在标记菜单内显示的最上方的元素滑动和弦114。例如，用户可以沿向上的方向拖动他或她的大拇指和中指冋时保持他或她的大姆指和中指接触多点触控表面。在另一实施例中，用户在南方向上朝着在标记菜单内显示的最下方元素滑动和弦114。在步骤608，处理器确定通过和弦手势选择的标记菜单元素。在以上描述的示例中，用户执行北和弦手势并且朝着标记菜单内的最上方的元素拖动他或她的大拇指和中指。处理器检测此和弦手势并且确定应当选择与最上方的元素相关的功能。在步骤610，多点触控表面执行与所选择的标记菜单元素相关的动作。在一个实施例中，与选择的元素相关的动作包括使多点触控表面进入睡眠模式。在替选的实施例中，与 选择的元素相关的动作包括显示嵌套标记菜单，其中用户可以随后执行第二和弦手势以选择在嵌套标记菜单中包括的一个或更多个项。嵌套标记菜单为用户提供直观的方式与多层级菜单交互，多层级菜单有利地提供了大量的可以通过简单的和弦手势链执行的功能。因此，在一些涉及嵌套标记菜单的实施例中，在步骤610之后方法600返回步骤602以确定并且执行与不同的嵌套标记菜单等级相关的命令。图7是示出根据本发明的一个实施例使用和弦手势执行包括在标记菜单中的命令的概念图。如图所示，用户用多点触控表面创建和弦，从而导致标记菜单715被显示。标记菜单715包括中心点708和标记菜单项720、722、724、726、728、730、732、以及734。在一些实施例中，标记菜单715被配置为显示在距离输入区域702偏移706的多点触控表面上。例如，偏移706的长度和方向被分别地配置为向着输入区域702的东北方向100像素。这样的偏移防止用户的手阻碍他或她看见标记菜单715，这通常发生在如果标记菜单715显示在与输入区域702相同的位置时。在一个实施例中，中心点707显示为位于标记菜单715的中心的星状图标。中心点708为用户可以输入的任何和弦手势提供起始点。还如在图7中所示，然后用户可以执行西南和弦手势704。执行西南和弦手势704导致将要执行标记菜单选择710。标记菜单选择选择标记菜单项726。在一些实施例中，在用户执行和弦手势的同时在多点触控表面上绘制代表标记菜单选择710的线，以使得如果其偏离轨道则用户可以调整和弦手势的方向。同样地，显示线帮助防止错误输入。在一些实施例中，标记菜单项720-734中的每一个可以与嵌套标记菜单相关。例如，当选择标记菜单项728时，标记菜单项728可以被配置成显示随后的标记菜单，该标记菜单以特定的长度和方向偏离标记菜单715。这样的嵌套标记菜单允许用户使用和弦手势选择更大量的选项。在一些实施例中，处理器被配置成在多点触控表面上以锯齿形(zig-zag)风格显示每个嵌套标记菜单,其中每个之前选择的标记菜单保持显示在多点触控表面上。同样地，在一些实施例中，用户可以可选地执行与最近执行的和弦手势相反的和弦手势以取消最近显示的标记菜单，并且返回之前的标记菜单，即，执行与所执行的用于选择特定的标记菜单项相反的和弦手势。在其它实施例中，与在图7中所示的八个菜单项相比，标记菜单715被配置成包括较少或较多的π项。例如，在标记菜单中包括较少的Π项可以允许通过多点触控表面输入并识别简单的北、东、南、以及西和弦手势，以使得新用户可以有效地对标记菜单进行导航。在标记菜单中包括较多的Π项可以允许通过多点触控表面识别高级的和弦手势，包括例如东北偏北和弦手势。图8是示出根据本发明的一个实施例的联合和弦手势使用数字触控笔的概念图。如图所示，多点触控表面802可以允许双手交互。例如，可以用右手806持有触控笔808，并且通过左手804执行和弦手势。在一些实施例中，双手交互系统为多点触控表面的用户提供了用于输入数据和进行选择的更精确的方法。在一些实施例中，双手交互允许用户与较小的UI元素交互并且允许提供额外的选项。例如，用户可以使用由包括在多点触控表面中的处理器正在执行的软件创建示例。如在图7中所描述，结合标记菜单使用的和弦手势为用户提供了直观并有用 的方式来对与多点触控装置的当前操作模式相关的功能进行导航。用户可以使用软件以创建不例，该不例的创建使用右手806和触控笔808,同时使用左手执彳了调整触控笔808的参数(诸如笔画的宽度，笔画的颜色、笔画的纹理等)的和弦手势。联合和弦手势使用触控笔808是有效的用户输入技术，因为用户不需要为了选择与触控笔808相关的不同选项而穿越多点触控表面改变触控笔808的位置。替选的实施例包括在其中用户是惯用左手的并且使用右手执行和弦手势同时用左手持有触控笔的配置。图9示出了被配置成执行本发明的一个或更多个方面的计算机系统900。计算机系统900包括而不限于，中央处理器单元(CPU) 930、系统存储器910、图像处理单元(GPU)934、GPU存储器920、存储器桥905、显示装置936、系统磁盘940、装置桥942、网络接口 944，以及例如鼠标、键盘、触控板等输入装置946。当显示装置936是多点触控显示装置时，可以省略输入装置946中的一个或更多个，并且用户可以使用他或她的手以直接地对多点触控显示装置936提供输入。显示装置936可以被配置成使用电容感应、照相机生成的图像、或任何技术上可行的用于检测多个手指和多个手的输入的技术。在其它实施例中，多点触控输入装置(诸如多点触控触控板)独立于显示装置936。在一个实施例中，系统存储器910被配置成存储应用程序912，当通过CPU 930执行应用程序912时，应用程序912被配置用于提供用于多个手指鼠标仿真的界面。在其它实施例中，通过一个或更多个不同的处理器(包括在多点触控输入装置中包括的处理器)执行应用程序912。CPU 930经由存储器桥905与系统存储器910通信，存储器桥905可以是例如北桥装置或子系统。系统存储器910被配置成存储应用程序以及通过CPU 930生成或使用的数据。系统存储器910经由系统存储器总线950连接到存储器桥905。存储器桥905经由GPU系统总线952连接到GPU 934。GPU系统总线952可能包括任何技术上可行的数据互联，诸如公知的个人电脑互联(PCI)串行总线。还使用互联系统(诸如PCI)将存储器桥905连接到装置桥942。GPU 934按通常方式并入用于渲染三维(3D)和二维(2D)图像的实时图像渲染装置。GPU 934将像素数据传送到可以包括传统的CRT或IXD显示器的显示装置936。GPU 934使用GPU存储器总线954连接到GPU存储器920。GPU存储器920可能被配置成存储通过GPU 934使用或生成的数据。当存储在GPU存储器920中的数据被CPU 930访问时，该数据通过GPU 934和存储器桥905。在一些实施例中，实现CPU 930的集成电路可以并入额外的功能模块，诸如存储器桥905和装置桥942。在替选的实施例中，实现GPU934的集成电路可以并入额外的功能模块，诸如存储器桥905和装置桥942。 装置桥942连接到硬盘驱动器940、网络接口 944、以及输入装置946。硬盘驱动器940提供大量存储的程序和数据。网络接口 944使用本地局域网(LAN)接口使用任何合适的技术(诸如以太网)提供对其它计算机的网络连接。输入装置946提供用户输入。包括USB或其它端口连接器、CD驱动器、DVD驱动器、膜记录装置等的其它组件(没有明确示出)也可以连接到I/O桥907。将图9中的各种组件互连的通信通道可以使用任何合适的协议，诸如PCI (外围设备互联)、PCI-Express (PCI_E)、AGP (加速图形接口)、超传输、快速通道互联、或任何其它总线或点对点通信协议实现，并且在不同的装置之间的连接可以使用本领域内公知的不同的协议。总之，本发明的实施例提供了用于当用户使一个或更多个手指接触多点触控表面时检测和弦的技术。提起和敲击技术涉及使手的所有五个手指接触多点触控表面从而可以创建手指映射。然后从多点触控表面上提起一个或更多个手指，从而可以通过分析手指映射和不再接触多点触控表面的一个或更多个手指来确定和弦。还可以使用照相机系统检测和弦。照相机系统可以包括追踪用户的手和手指穿越多点触控表面的运动的一个或更多个照相机。处理器然后可以分析通过一个或更多个照相机捕获的图像以确定用户创建了哪个和弦。另外，本发明的实施例提供了用于将和弦与有方向性的移动手势相结合并且使用该手势控制系统功能的技术。具体地，一些实施例允许使用和弦和有方向性的移动和弦手势控制的应用菜单，诸如单层级和嵌套标记菜单。作为通过多点触控表面通过上述技术可检测到的和弦的结果，本发明实施例的一个优势是显著地扩展了多点触控表面的输入性能。另一个优势是和弦手势创建了与每个和弦相关的额外的输入功能。又一个优势是标记菜单允许多点触控表面的用户容易地并且方便地查看并且与可获得的特征交互，该可获得的特征是通过使用和弦以及和弦手势由多点触控表面提供的。虽然以上描述针对本发明的实施例，但是可能想到本发明的其它的和另外的实施例而不背离其基本的范围。例如，本发明的方面可以实现为硬件或软件或硬件和软件的组合。本发明的一个实施例可以实现为用于和计算机系统一起使用的软件产品。程序产品的程序限定了实施例(包括在此描述的方法)的功能并且可以包含在不同的计算机可读的存储介质中。示例的计算机可读的存储介质包括但不限于(i)在其上永久存储信息的非可写存储介质(例如在计算机中的只读存储装置，诸如通过⑶-ROM驱动器可读的⑶-ROM磁盘、快闪存储器、ROM芯片或任何类型的非易失性半导体存储器)；以及(ii)在其上存储可更改信息的可写存储介质(例如在磁盘驱动器中的软盘或硬盘驱动器或任何类型的固态随机存取半导体存储器)。当这样的计算机可读的存储介质包含指向本发明的功能的计算机可读指令时，其是本发明的实施例。鉴于前述，通过下面的权利要求确定本发明的范围。
权利要求
1.一种用于与多点触控表面交互以执行操作的方法，所述方法包括 检测到至少一个手指接触所述多点触控表面； 识别由手指的组合定义的和弦，所述手指的组合与接触所述多点触控表面的所述至少一个手指相关联；以及 基于所述和弦执行与所述操作相关的第一功能。
2.根据权利要求I所述的方法，其中执行所述第一功能的步骤包括在所述多点触控表面上显示与所述和弦相关的一个或更多个用户界面元素。
3.根据权利要求2所述的方法，其中所述一个或更多个用户界面元素包括放射状的标记菜单。
4.根据权利要求3所述的方法，其中所述放射状的标记菜单以固定的距离偏离所述至少一个手指与所述多点触控表面接触的位置。
5.根据权利要求I所述的方法，其中识别所述和弦的步骤包括 确定五个手指接触所述多点触控表面； 对于所述五个手指中的每一个手指，识别在所述多点触控表面上与所述手指相关的接触点； 检测已经从所述多点触控表面提起所述五个手指中的零个或更多个手指；以及基于将与所述多点触控表面保持接触的每个手指与在所述多点触控表面上的对应接触点相关联，识别与所述至少一个手指相关的所述和弦。
6.根据权利要求I所述的方法，其中识别所述和弦的步骤包括 捕获接触所述多点触控表面的所述至少一个手指的一个或更多个图像； 确定在所述一个或更多个图像内的边界框，所述边界框围绕与所述多点触控表面接触的所述至少一个手指；以及 分析所述边界框以识别与接触所述多点触控表面的所述至少一个手指相关的所述和弦。
7.根据权利要求6所述的方法，其中从所述多点触控表面下方捕获所述一个或更多个图像。
8.根据权利要求I所述的方法，还包括所述如下步骤 检测通过所述至少一个手指沿所述多点触控表面滑动产生的和弦手势；以及 基于所述和弦手势执行与所述操作相关的第二功能。
9.根据权利要求8所述的方法，其中执行所述第一功能的步骤包括在所述多点触控表面上显示与所述和弦相关的一个或更多个用户界面元素，并且其中执行所述第二功能的步骤包括选择与所述和弦手势相关的用户界面元素。
10.一种存储指令的计算机可读存储介质，当通过处理器执行所述指令时，所述指令通过执行所述如下步骤使计算装置与多点触控表面交互来执行操作 检测到至少一个手指接触所述多点触控表面； 识别由手指的组合定义的和弦，所述手指的组合与接触所述多点触控表面的所述至少一个手指相关联；以及 基于所述和弦执行与所述操作相关的第一功能。
11.根据权利要求10所述的计算机可读存储介质，其中执行所述第一功能的步骤包括显示与在所述多点触控表面上的所述和弦相关的一个或更多个用户界面元素。
12.根据权利要求11所述的计算机可读存储介质，其中所述一个或更多个用户界面元素包括放射状的标记菜单。
13.根据权利要求12所述的计算机可读存储介质，其中所述放射状的标记菜单以固定的距离偏离所述至少一个手指与所述多点触控表面接触的位置。
14.根据权利要求10所述的计算机可读存储介质，其中识别所述和弦的步骤包括 确定五个手指接触所述多点触控表面； 对于所述五个手指中的每一个手指，识别在所述多点触控表面上与所述手指相关的接触点； 检测已经从所述多点触控表面提起所述五个手指中的零个或更多个手指；以及基于将与所述多点触控表面保持接触的每个手指与在所述多点触控表面上的对应接触点相关联，识别与所述至少一个手指相关的所述和弦。
15.根据权利要求10所述的计算机可读存储介质，其中识别所述和弦的步骤包括 捕获与所述多点触控表面接触的所述至少一个手指的一个或更多个图像； 确定在所述一个或更多个图像内的边界框，所述边界框围绕与所述多点触控表面接触的所述至少一个手指；以及 分析所述边界框以识别与接触所述多点触控表面的所述至少一个手指相关的所述和弦。
16.根据权利要求15所述的计算机可读存储介质，其中从所述多点触控表面下方捕获所述一个或更多个图像。
17.根据权利要求10所述的计算机可读存储介质，还包括如下所述步骤 检测通过所述至少一个手指沿所述多点触控表面滑动产生的和弦手势；以及 基于所述和弦手势执行与所述操作相关的第二功能。
18.根据权利要求17所述的计算机可读存储介质，其中执行所述第一功能的步骤包括在所述多点触控表面上显示与所述和弦相关的一个或更多个用户界面元素，并且其中执行所述第二功能的步骤包括选择与所述和弦手势相关的用户界面元素。
19.一种计算机系统，包括 处理器；以及 存储指令的存储器，当通过处理器执行所述指令时，所述指令通过执行所述如下步骤使计算装置与多点触控表面交互以执行操作 检测到至少一个手指接触所述多点触控表面； 识别由手指的组合定义的和弦，所述手指的组合与接触所述多点触控表面的所述至少一个手指相关联；以及 基于所述和弦执行与所述操作相关的第一功能。
20.根据权利要求19所述的计算机系统，其中执行所述第一功能的步骤包括在所述多点触控表面上显示与所述和弦相关的一个或更多个用户界面元素。
全文摘要
本发明提供了一种用于与多点触控表面交互以执行操作的方法。该方法包括检测到至少一个手指接触多点触控表面、识别通过与接触多点触控表面的至少一个手指相关的手指组合定义的和弦、并且执行与基于和弦的操作相关的第一功能。该方法可以还包括将和弦结合到有方向性的移动手势中，并且使用该手势控制系统功能。
文档编号G06F3/023GK102947783SQ201180015642
公开日2013年2月27日 申请日期2011年3月25日 优先权日2010年3月26日
发明者乔治·菲茨莫里斯, 托维·格罗斯曼, 杰勒德·朱利安·列平斯基 申请人:欧特克公司