利用触摸敏感设备控制、操纵和编辑媒体文件的姿态的制作方法

利用触摸敏感设备控制、操纵和编辑媒体文件的姿态的制作方法
【专利摘要】本发明的实施例涉及一种系统、方法和软件，用于实现用于管理和编辑计算设备或系统上的媒体文件的利用触摸敏感设备（诸如触摸敏感显示器）的姿态。特别地，人手在触摸/接近敏感设备上的姿态输入可用于控制、编辑、和操纵文件，诸如媒体文件，所述媒体文件包括但不限于图形文件、照片文件和视频文件。
【专利说明】利用触摸敏感设备控制、操纵和编辑媒体文件的姿态
[0001]本申请是申请号为200780051755.2、申请日为2007年12月28日、发明名称为“利
用触摸敏感设备控制、操纵和编辑媒体文件的姿态”的专利申请的分案申请。
[0002]对相关申请的交叉引用
[0003]本发明要求2007年I月5日提交的序列号为60/878，754的美国临时专利申请的基于35USC119(e)的权益，该临时专利申请的内容通过引用结合于此。
【技术领域】
[0004]本发明涉及通过利用触摸敏感设备上的手姿态来管理、操纵和编辑诸如显示器上的图形对象之类的媒体对象的系统和方法。
【背景技术】
[0005]现在有许多类型的输入装置用于在计算机系统中执行操作。所述操作通常对应于移动光标和在显示屏上进行选择。所述操作还可包括翻页、滚动、平移、缩放，等等。举例而言，输入装置可包括按钮、开关、键盘、鼠标、轨迹球、触摸板、操纵杆、和触摸屏，等等。这些设备中的每一种都具有在设计计算机系统时所考虑的优点和缺点。
[0006]按钮和开关实际上通常是机械的并且对移动光标和进行选择提供有限的控制。例如，它们通常专用于在特定的方向上移动光标(例如箭头键)或者进行特定的选择(例如回车、删除、数字等)。
[0007]在使用鼠标装置时，输入指针在显示器上的移动通常对应于当用户沿表面移动鼠标时鼠标的相对移动。在使用轨迹球装置时，输入指针在显示器上的移动通常对应于当用户在外壳内移动轨迹球时轨迹球的相对移动。鼠标和轨迹球装置通常还包括一个或多个用于进行选择的按钮。鼠标装置还可包括滚轮，其允许用户通过将滚轮向前或向后滚转来滚动所显示的内容。
[0008]利用触摸板装置，诸如个人膝上型计算机上的触摸板，输入指针在显示器上的移动通常对应于当用户手指(或触笔)沿触摸板的表面移动时用户手指(或触笔)的相对移动。另一方面，触摸屏可以是一种类型的显示屏，其通常包括覆盖显示屏的触摸敏感透明面板(或"皮肤")。当使用触摸屏时，用户通常通过(通常使用触笔或手指)直接点向显示在屏幕上的对象(诸如⑶I对象)而在显示屏上进行选择。
[0009]为了提供附加功能，已经利用某些上述输入装置实现了手姿态。举例而言，在触摸板上，当可在触摸板表面上检测到一个或多个轻敲时可以进行选择。在有些情况下，可以轻敲触摸板的任何部分，而在其它情况下，可以轻敲触摸板的专用部分。除选择以外，还可以通过利用在触摸板边缘的手指运动来启动滚动。
[0010]转让给Apple Computer, Inc.的美国专利 N0.5，612，719 和 N0.5，590，219 描述了姿态的一些其它使用。美国专利N0.5，612，719公开了一种屏幕上的按钮，其响应于在屏幕上或接近该按钮处进行的至少两个不同的按钮姿态。美国专利N0.5，590，219公开了一种用于识别在计算机系统的显示屏上的椭圆型姿态输入的方法。[0011]最近，已经实现了更多的高级姿态。例如，可以通过在触摸板上放置四个手指来启动滚动，以使得滚动姿态被识别以及然后在触摸板上移动这些手指以执行滚动事件。但是，用于实现这些高级姿态的方法可能是有限的，而且在许多情况下并不直观。在某些应用中，尤其是在涉及利用计算机系统管理或编辑媒体文件的应用中，利用触摸屏的手姿态可允许用户更有效和更精确地实现期望的操作。
[0012]基于以上所述，需要改进姿态在触摸敏感设备上可被执行的方式，尤其是对于管理和编辑媒体文件而言。

【发明内容】

[0013]本发明涉及一种系统、方法和软件，用于实现用于在计算机系统上管理和编辑媒体文件的利用触摸敏感设备(诸如触摸敏感显示器)的姿态。特别地，人手在触摸/接近敏感设备上的姿态输入可用于控制、编辑、和操纵文件，诸如媒体文件，所述媒体文件包括但不限于照片文件和视频文件。
[0014]根据一个实施例，在触摸敏感计算机桌面应用显示器上的姿态输入用于实现传统的鼠标/轨迹球动作，诸如确定目标(target)、选择、右点击动作、滚动等。
[0015]根据另一实施例，在触摸敏感显示器上的姿态输入可用于实现用以编辑诸如照片文件之类的图像文件的编辑命令。可经由用户界面(〃π〃)元素，诸如滑动条，来识别姿态输入。经由UI元素的姿态输入可通过改变在所述Π元素上的接触点的数量而变化。
[0016]根据另一实施例,姿态输入启用(invoke) UI元素的激活,然后，与所启用的UI元素的姿态交互可实现进一步的功能。
【专利附图】

【附图说明】
[0017]图1是根据本发明一示例性实施例的计算机系统的框图。
[0018]图2示出根据本发明另一示例性实施例的另一计算机系统。
[0019]图3是根据本发明一示例性实施例的一种多点处理方法。
[0020]图4A和4B示出根据本发明的一个实施例的检测到的触摸图像。
[0021]图5示出根据本发明的一个实施例的一组特征。
[0022]图6是根据本发明的一个实施例的一种参数计算方法。
[0023]图7A-7E和71-7K示出根据本发明的一个实施例的用于执行确定任务目标和/或选择任务的各种姿态。
[0024]图7F-7H示出用于识别和实现图7A_E的姿态输入的方法的图。
[0025]图8A-8G示出根据本发明的一个实施例的旋转姿态。
[0026]图9是根据本发明的一个实施例的一种基于触摸的方法的图。
[0027]图10是根据本发明的一个实施例的一种基于触摸的方法的图。
[0028]图11是根据本发明的一个实施例的一种基于触摸的方法的图。
[0029]图12是根据本发明的一个实施例的一种缩放姿态方法的图。
[0030]图13A-13H示出根据本发明的一个实施例的一系列缩放。
[0031]图14是根据本发明的一个实施例的一种平移方法的图。
[0032]图15A-1?不出根据本发明的一个实施例的一系列平移。[0033]图16是根据本发明的一个实施例的一种旋转方法的图。
[0034]图17A-17C示出根据本发明的一个实施例的一系列旋转。
[0035]图17D和17E示出根据本发明的一个实施例的用于旋转可选目标的方法。
[0036]图18A和18B示出根据本发明的一个实施例的用于编辑照片文档的姿态输入。
[0037]图18C是示出用于识别和实现图18A和18B的姿态输入的方法的图。
[0038]图18D和18E不出根据本发明的一个实施例的用于在照片应用中放大和缩小照片文件的姿态输入。
[0039]图19A-19D示出根据本发明的一个实施例的用于滚过重放的连续文件的姿态输入。
[0040]图19E和19F示出根据本发明的一个实施例的用于在数字照相机显示器上滚过重放的照片文件的姿态输入。
[0041]图19G示出根据本发明的一个实施例的用于在重放期间标记或删除照片文件的姿态输入。
[0042]图19H示出根据本发明的另一实施例的用于在重放期间标记或删除照片文件的一种可替换的姿态输入。
[0043]图20是根据本申请的一个实施例的示出用于实现图18A-19F的方法的方法的概图。
[0044]图21A-2ID示出根据本发明的一个实施例的用于利用视频应用来控制和/或编辑视频的姿态输入。
[0045]图22A和22B是用于实现图21A-21D的姿态输入的方法的图。
[0046]图23示出根据本发明的一个实施例的用于利用音频应用来控制和/或编辑音频的姿态输入。
【具体实施方式】
[0047]在下面对优选实施例的描述中参考附图，其中附图作为本说明书一部分，并且通过图示出可实践本发明的具体实施例的方式来示出附图。应当理解，可使用其他实施例，并且可产生结构变化而不脱离本发明优选实施例的范围。
[0048]图1是根据本发明一个实施例的示例性计算机系统50的框图。计算机系统50可对应于个人计算机系统，诸如台式机、膝上型计算机、平板计算机、或手持式计算机。计算机系统还可对应于计算装置，诸如蜂窝电话、PDA、专用媒体播放器、和消费电子设备，等等。
[0049]图1所示的示例性计算机系统50包括处理器56，该处理器56被配置成执行指令和进行与计算机系统50相关联的操作。例如，使用例如从存储器中检索的指令，处理器56可控制对于计算系统50的部件之间的输入和输出数据的接收和操纵。处理器56可在单芯片、多芯片、或多个电部件上实现。例如，可为处理器56使用各种结构，包括专用或嵌入式处理器、单目标处理器、控制器、和ASIC，等等。
[0050]大多数情况下，处理器56与操作系统一起操作以执行计算机代码以及产生和使用数据。操作系统通常是众所周知的，这里将不作更详细的描述。举例而言，操作系统可对应于0S/2、D0S、Unix、Linux、Palm OS,等等。操作系统还可以是专用操作系统,诸如可供限定用途装置型计算设备使用的那些操作系统。操作系统、其它计算机代码和数据可驻留在能够可操作地耦接到处理器56的存储区58中。存储区58通常提供用于存储可由计算机系统50使用的计算机代码和数据的空间。举例而言，存储区58可包括只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器，等等。信息还可驻留在可移动存储介质上，并在需要时载入或安装到计算机系统50上。可移动存储介质包括例如⑶-ROM、PC-CARD、存储卡、软盘、磁带、和网络部件。
[0051]计算机系统50还可包括能够可操作地耦接到处理器56的显示设备68。显示设备68可以是液晶显示器(IXD)(例如有源矩阵、无源矩阵，等等)。可替换地，显示设备68可以是诸如单色显示器、彩色图形适配器(CGA)显示器、增强型图形适配器(EGA)显示器、可变图形阵列(VGA)显示器、超级VGA显示器、阴极射线管(CRT)等等之类的监视器。显示设备还可对应于等离子体显示器或用电子墨水实现的显示器。
[0052]显示设备68通常可被配置成显示图形用户界面(⑶I )69，所述图形用户界面69提供在计算机系统的用户和操作系统或其上运行的应用之间的易于使用的界面。一般而言，GUI69表示具有图形图像、对象或矢量表示的程序、文件和操作选项。图形图像可包括窗口、字段、对话框、菜单、图标、按钮、光标、滚动条，等等。这些图像可布置为预定的布局，或者可被动态地创建以服务于用户正在进行的特定操作。在操作期间，用户可以选择和/或激活各种图形图像以启动与其相关联的功能和任务。举例而言，用户可以选择用于打开、关闭、最小化或最大化窗口的按钮或用于发起(launch)特定程序的图标。⑶169可以在显示设备68上为用户附加地或可替换地显示信息，诸如非交互的文本和图形。
[0053]计算机系统50还可包括能够可操作地耦接到处理器56的输入设备70。输入设备70可被配置成从外界传送数据到计算机系统50中。输入设备70可以例如用于执行跟踪以及针对显示器68上的⑶169进行选择。输入设备70还可用于在计算机系统50中发布命令。输入设备70可以包括被配置成接收来自用户触摸的输入并将该信息发送给处理器56的触摸感测设备。举例而言，触摸感测设备可对应于触摸板或触摸屏。在很多情况下，触摸感测设备识别触摸以及在触摸敏感表面上的触摸的位置和幅度。触摸感测设备检测触摸和向处理器56报告所述触摸，并且处理器56根据其程序设计解释所述触摸。例如，处理器56可以根据特定触摸启动任务。一种专用处理器可用于在本地处理触摸并减小对计算机系统的主处理器的需要。
[0054]触摸感测设备可以基于包括但不限于电容性感测、电阻性感测、声表面波感测、压力感测、和/或光感测等的感测技术。而且，所述触摸感测手段可以基于单点感测或多点感测。单点感测仅仅能够区分单个触摸，而多点感测可能能够区分同时发生的多个触摸。
[0055]如上面所讨论的，输入设备70可以是位于显示器68上面或前面的与显示设备68集成的触摸屏，或者可以是诸如触摸板之类的单独的部件。
[0056]计算机系统50还优选地包括耦接到一个或多个I/O设备80的能力。举例而言，I/o设备80可对应于键盘、打印机、扫描仪、照相机、麦克风、和/或扬声器，等等。I/O设备80可以与计算机系统50集成，或者它们可以是单独的部件(例如外围设备)。在有些情况下，I/O设备80可以通过有线连接(例如线缆/端口)连接到计算机系统50。在其它情况下，I/O设备80可以通过无线连接连接到计算机系统50。举例而言，数据链路可对应于PS/2、USB、IR、Firewire、RF、或蓝牙，等等。
[0057]根据本发明的一个实施例，计算机系统50被设计为识别施加到输入设备70的姿态85并基于所述姿态85控制计算机系统50的各方面。在有些情况下，姿态可定义为可映射到一个或多个特定计算操作的与输入设备的程式化(stylized)交互。可通过各种手部、特别是手指运动产生姿态85。可替换地或附加地，可用触笔产生姿态。在所有这些情况中，输入设备70接收姿态85，处理器56执行指令以进行与姿态85相关联的操作。此外，存储区58可包括姿态操作程序88，其可以是操作系统的一部分或单独的应用。姿态操作程序88通常可包括一组指令，其识别姿态85的发生并向一个或多个软件代理通知姿态85和/或响应于姿态85要采取的动作(或多个动作)。下面讨论关于可用作输入命令的各种姿态的另外的细节。
[0058]根据一个优选实施例，一旦用户执行了一个或多个姿态，输入设备70就将姿态信息传递给处理器56。使用来自存储器58的指令，更特别地，使用姿态操作程序88，处理器56解释姿态85并基于姿态85控制计算机系统50的不同部件，诸如存储器58、显示器68、以及I/O设备80。姿态85可被识别为用于在存储在存储器58中的应用中执行动作、修改显示在显示器68上的图像对象、修改存储在存储器58中的数据，和/或用于在I/O设备80中执行动作的命令。
[0059]此外，虽然图1出于图示的目的将输入设备70和显示器68表示为两个单独的框，但是这两个框可以在一个设备上实现。
[0060]图2示出一个示例性计算系统10，其使用多重触摸(mult1-touch)面板24作为姿态的输入设备；所述多重触摸面板24同时可以是显示器面板。计算系统10可以包括专用于多重触摸子系统27的一个或多个多重触摸面板处理器12。可替换地，多重触摸面板处理器功能可以由诸如状态机之类的专用逻辑来实现。外围设备11可包括但不限于随机存取存储器(RAM)或其它类型的存储器或存储设备、和监视计时器等。多重触摸子系统27可包括但不限于一个或多个模拟通道17、通道扫描逻辑18、以及驱动器逻辑19。通道扫描逻辑18可以存取RAM16，自主地从模拟通道读取数据，以及为模拟通道提供控制。该控制可以包括将多重触摸面板24的各列多路复用到模拟通道17。此外，通道扫描逻辑18可以控制驱动器逻辑和被选择性施加到多重触摸面板24的各行的激励信号。在某些实施例中，多重触摸子系统27、多重触摸面板处理器12和外围设备11可集成到单个专用集成电路(ASIC)中。
[0061]驱动器逻辑19可提供多个多重触摸子系统输出20，并且可提供驱动高压驱动器的专用接口，该高压驱动器优选地包括解码器21以及其后的电平位移器和驱动器级22，但是电平位移功能也可在解码器功能之前执行。电平位移器和驱动器22可提供从低压电平(例如CMOS电平)到高压电平的电平位移，从而为降噪目的提供较好的信噪(S/N)比。解码器21可将驱动接口信号解码到N个输出之一，而N可以是面板中的最大行数。解码器21可用于减小所述高压驱动器和多重触摸面板24之间所需的驱动线的数目。每个多重触摸面板行输入23可驱动多重触摸面板24中的一行或多行。应当注意，驱动器22和解码器21也可集成到单个ASIC中，集成到驱动器逻辑19中，或者在有些情况下是不必要的。
[0062]多重触摸面板24可包括具有多个行迹线或驱动线(driving line)和多个列迹线或感测线(sensing line)的电容性感测介质,但是也可使用其他感测介质。行和列迹线可以由透明导电介质形成，诸如氧化铟锡(ITO)或氧化锑锡(ΑΤ0)，但是也可使用其它透明和不透明材料，诸如铜。在某些实施例中，行和列迹线可以在电介质材料的相对面上形成，并且可以彼此垂直，但是在其它实施例中，可能是其它非笛卡尔定向。例如，在极坐标系中，感测线可以是同心圆，而驱动线可以是径向延伸线(或反之)。因此，应当理解，这里所使用的术语〃行〃和〃列〃，〃第一维度〃和〃第二维度〃，或〃第一轴〃和〃第二轴〃，意图是不仅包括正交网格，也包括具有第一和第二维度的其它几何构型的相交迹线(例如极坐标布置的同心线和径向线)。行和列可以形成在衬底的单面上，或者可以形成在由电介质材料分隔的两个分开的衬底上。在有些情况下，附加的电介质覆盖层可以置于行或列迹线之上，以强化结构和保护整个组件免被损坏。
[0063]在多重触摸面板24的迹线的〃交点〃处，其中迹线在彼此上方和下方通过(交叉)(但是彼此不进行直接电接触)，迹线实质上形成两个电极(但是也可能有多于两个迹线相交)。行迹线和列迹线的每个交点可代表一个电容性感测节点，并且可被视为图像元素(像素)26，这在多重触摸面板24被用作捕捉触摸的〃图像〃时可能特别有用。(换而言之，在多重触摸子系统27已经确定是否在多重触摸面板中的每个触摸传感器处检测到了触摸事件后，多重触摸面板中发生触摸事件处的触摸传感器的图案(pattern)可被视为触摸"的图像〃(例如手指触摸面板的图案)。)行和列电极之间的电容在该给定行保持在DC时表现为在所有列上的杂散电容，而在该给定行被AC信号激励时表现为互电容Csig。可通过对到Csig的改变进行测量而检测手指或其它物体接近或位于多重触摸面板上的存在。多重触摸面板24的列可驱动多重触摸子系统27中的一个或多个模拟通道17 (这里也称为事件检测和解调电路)。在某些实施方式中，每一列可耦接到一个专用模拟通道17。但是，在其它实施方式中，各列可经由模拟开关耦接到较少数量的模拟通道17。
[0064]计算系统10还可包括主处理器14，其用于接收来自多重触摸面板处理器12的输出和基于所述输出执行动作，所述输出可包括但不限于:移动诸如光标或指针之类的对象，滚动或平移，调节控制设置，打开文件或文档，查看菜单，进行选择，执行指令，操作连接到主机设备的外围设备，等等。主处理器14，其可以是个人计算机CPU，还可执行可能与多重触摸面板处理无关的附加功能，并且可耦接到程序存储器15和诸如LCD显示器之类用于向设备用户提供用户界面(UI)的显示设备13。
[0065]应当注意，虽然图2示出专用的MT面板处理器12，但是可通过主处理器14直接控制多重触摸子系统。此外，还应当注意，多重触摸面板24和显示设备13可集成到单个触摸屏显示设备中。多重触摸传感器检测——包括通过触摸面板的接近检测——的更多细节在下列共同转让的共同未决申请中得以描述，包括:作为美国专利公开N0.US2006/0097991 公开的申请 N0.10/840, 862、作为美国专利公开 N0.US2006/0238522 公开的申请 N0.11/428，522、和 2007 年 I 月 3 日提交的名为"Proximity and Mult1-TouchSensor Detection and Demodulation〃的申请,其所有内容通过引用结合于此。
[0066]图3不出根据本发明一个实施例的一种多点处理方法100。多点处理方法100可以例如在图1或图2示出的系统中执行。多点处理方法100通常从块102开始，在块102，可从多点输入设备——更特别地，从多点触摸屏——读取图像。虽然使用术语〃图像"，但是应当注意，数据可以以其它形式出现。大多数情况下，从触摸屏读取的图像为触摸屏的每个感测点或像素提供幅度(Z)作为位置(X和y)的函数。幅度可以例如反映在每个点测量的电容。
[0067]在块102之后，多点处理方法100继续到块104，在块104，所述图像可被转换成特征的集合或列表。每个特征代表一个不同的输入，诸如一个触摸。大多数情况下，每个特征可包括其自己的唯一标识符(ID)、x坐标、y坐标，Z幅度、角度O、面积A，等等。举例而言，图4A和4B示出某个时刻的特定图像120。在图像120中，可能有基于两个不同触摸的两个特征122。所述触摸可以例如由一对手指触摸所述触摸屏而形成。如所示的，每个特征122可包括唯一标识符(ID)、X坐标、y坐标、Z幅度、角度Θ、和面积A。更特别地，第一特征 122A 可由 IDp Xp YpZp OpA1 表示，而第二特征 122B 可由 ID2、Χ2、Υ2、Ζ2、Θ2、Α2 表示。该数据可例如利用多重触摸协议而输出。
[0068]从数据或图像到特征的转换可利用在作为美国专利公开N0.US2006/007991公开的共同未决的美国专利申请N0.10/840, 862中描述的方法完成，该申请再次通过引用结合在此。如其中所公开的，原始数据通常以数字化形式被接收，并且可包括触摸屏每个节点的值。所述值可以在O和256之间，其中O相当于无触摸压力，而256相当于全触摸压力。然后，原始数据可被过滤以减小噪声。一旦过滤，就可生成梯度数据(gradient data),其指示每组相连点的拓扑。然后，可基于梯度数据计算触摸区域的边界(即，可确定哪些点可集合在一起而形成每个触摸区域)。举例而言，可使用分水岭算法。一旦确定了边界，可计算每一触摸区域的数据(例如X、Y、Ζ、Θ、Α)。
[0069]在块104之后，多点处理方法100继续到块106，在块106，可执行特征分类和成组。在分类过程中，可确定每一特征的身份。例如，可将特征分类为特定手指、拇指、手掌或其它物体。一旦被分类，特征就可成组。形成组的方式可以广泛变化。大多数情况下，特征可基于某些准则(例如它们具备类似的属性)而成组。例如，图4Α和图4Β中所示的两个特征可集合在一起，因为这些特征中的每一个的位置可彼此邻近或者因为它们来自相同的手。成组可包括某一级别的过滤，以滤除不是触摸事件的一部分的特征。在过滤时，可拒绝一个或多个特征，因为它们满足某些预定义的准则或者因为它们不满足某些准则。举例而言，特征之一可被分类为位于平板PC边缘的拇指。因为该拇指正在用于握持设备而不是正用于执行任务，因此由此生成的特征被拒绝，即，该特征不被认为是正在处理的触摸事件的一部分。
[0070]在块106之后，多点处理方法100继续到块108，在块108，可计算特征组的关键参数。关键参数可包括特征之间的距离、所有特征的x/y形心(centroid)、特征旋转、组的总压(例如在形心处的压力)，等等。如图5所示，所述计算可包括找到形心C、绘制从形心C到每个特征的虚拟线130、定义每个虚拟线(D1和D2)的距离、以及然后取距离D1和D2的平均值。一旦计算出所述参数，就可报告参数值。通常利用组标识符(GID)和每个组中的特征数目(在该例中是三个)来报告参数值。大多数情况下，初始参数值和当前参数值都被报告。初始参数值可以基于放下(set down)，即当用户将其手指放在触摸屏上，而当前值可基于在放下之后发生的笔划(stroke)中的任一点。
[0071]应当理解，块102 - 108可在用户笔划期间反复地执行，从而生成多个顺序配置的信号。可在稍后的步骤中比较初始参数和当前参数以在系统中执行动作。
[0072]在块108之后，过程流继续到块110，在块110，将组或者可将组与用户界面(UI)元素相关联。UI元素可以是按钮框、列表、滑块、轮子、旋钮，等等。每个Π元素代表用户界面的一个部件或控件。UI元素背后的应用能够访问在块108中计算的参数数据。在一种实施方式中，所述应用对触摸数据跟与其相对应的UI元素的相关度进行排序。排序可以基于某些预定的准则。排序可包括产生品质因数，以及，无论哪个Π元素具有最高的品质因数，都赋予其对所述组的单独访问。甚至还可以具有一定程度的历史性(一旦一个Π元素主张对该组的控制，该组就与该Π元素粘附(stick with)直到另一 Π元素具有高得多的排序为止)。举例而言，排序可包括确定形心(或特征)到与UI元素相关联的图像对象的接近度。
[0073]在块110之后，多点处理方法100继续到块112和114。块112和114可以大致同时执行。在一个实施例中，从用户角度，块112和114看起来是同时执行的。在块112，可基于初始参数值和当前参数值之间的差执行一个或多个动作，并且这一个或多个动作还可以基于它们所关联到的UI元素，如果有这样的UI元素的话。在块114，可提供关于正在执行的所述一个或多个动作的用户反馈。举例而言，用户反馈可包括显示、音频、和/或触觉反
馈，寺寺。
[0074]图6是根据本发明一个实施例的一种参数计算方法150。参数计算方法150可例如对应于图3示出的块108。参数计算方法150通常从块152开始，在块152，可接收一组特征。在块152之后，参数计算方法150继续到块154，在块154，可确定该组特征中的特征数目是否有改变。例如，特征的数目可能由于用户抬起或放置另一手指而改变。可能需要不同的手指来执行不同的控制(例如，跟踪、作姿态)。如果特征的数目已改变，则参数计算方法150继续到块156，在块156，可计算初始参数值。如果特征的数目保持不变，则参数计算方法150继续到块158，在块158，可计算当前参数值。然后，参数计算方法150继续到块150，在块150，可报告初始和当前参数值。举例而言，初始参数值可包含点之间的平均初始距离(或Distance (AVG) initial),而当前参数值可包含点之间的平均当前距离(或Distance (AVG) current)。这些可以在后面的步骤中加以比较以控制计算机系统的各方面。
[0075]上述方法和技术可用于实现任意数目的GUI界面对象和动作。例如，可创建姿态以检测和完成用户命令，从而调整窗口大小、滚动显示、旋转对象、放大或缩小所显示的视图、删除或插入文字或其它对象，等等。
[0076]一个基本类别的姿态应当允许用户输入可通过使用传统的鼠标或轨迹球装置来输入的普通命令。图7F示出用于处理对鼠标点击动作的检测的流程图。从块710开始，可检测手指的一个或两个触摸。如果所检测到的触摸可被确定711为一个手指，则可确定712该触摸是否跟与可选择的文件对象相关联的某个显示图像对象具有预定的接近度，如果是的话，进行714选择动作。如果检测到716与可选择的对象相关联的两次轻敲动作，则可启用718双击动作。可通过检测手指离开触摸屏并立即重新触摸该触摸屏两次而确定两次轻敲动作。根据可替换的实施例，如果检测到手指在选定对象上的触摸保持超过一预定时间段，则也可启用双击动作。
[0077]如图7G所示，如果检测到的一个手指触摸不与可选择的文件对象相关联，而是被确定720为与一网络地址超链接相关联，则可启用单击动作从而可激活该超链接。如果该超链接是在非浏览器环境中被触摸的，则还将发起浏览器应用。
[0078]如果检测到711两个手指触摸，那么如果至少一个接触点与可选择的文件对象713相关联，则选择715该对象。如果在保持该接触点的同时在触摸敏感显示器上检测到717所述手指之一的一次或多次轻敲，则可启用右键点击鼠标动作。
[0079]根据一个优选实施例，如果检测到的一个或多个触摸不与任何可选择的文件对象或超链接相关联，则如图7H所示，可确定722该接触点(或多个接触点)是否与/是否可能与一可滚动区域相关联，所述可滚动区域诸如是文本编辑应用窗口、文件列表窗口、或因特网网页。
[0080]滚动通常涉及将显示的数据或图像移过显示屏上的查看区域，以便可在该查看区域中查看新一组数据。大多数情况下，一旦查看区域已满，新的每一组数据就出现在查看区域的边缘并且所有其它组数据移开一个位置。即，对于移出查看区域的每一组数据，出现新的一组数据。实质上，这些功能允许用户查看目前在查看区域外的连续多组数据。大多数情况下，用户通过以更大速度移动其手指，能够加速对数据组的遍历。滚过列表的示例可在以下美国专利公开中找到:Νο.2003/0076303AUN0.2003/0076301AUN0.2003/0095096A1,这些专利公开通过引用结合于此。
[0081]如果接触点(或多个接触点)位于/可能位于一可滚动区域中，则可启用723类似于在传统的鼠标装置上压下滚轮的滚动动作。如果该可滚动区域仅仅在一个方向上可滚动(例如上下)，则所启用的滚动动作将是单方向滚动。如果该可滚动区域在两个维度上可滚动，则所启用的滚动动作将是全方向的。
[0082]在滚动可能被限制在纵向(即Y轴)的单方向滚动动作中，只有所跟踪的触摸移动的纵向矢量分量将被用作用于实现纵向滚动的输入。类似地，在滚动可能被限制在横向(即X轴)的单方向滚动动作中，只有所跟踪的触摸移动的横向矢量分量将被用作用于实现横向滚动的输入。如果该滚动动作是全方向的，则所实现的滚动动作将跟踪所跟踪的触摸的移动。
[0083]根据一个优选实施例，如果检测到的触摸是一个手指触摸，则可以以正常或IX速度准备执行724滚动动作。如果并且一旦接触的手指开始在触摸屏上移动，则可通过跟踪接触点在触摸屏上的移动来执行滚动动作。如果检测到的触摸是两个手指触摸，则可以以两倍或2X速度执行725滚动动作。还可增加另外的手指以执行更快的滚动动作，其中，在多页面文档窗口中，检测到四个手指触摸可被解释为〃pg up (向上翻页)〃或〃pg dn (向下翻页)〃命令。
[0084]根据另一实施例，即使当手指从触摸屏移开时，显示的数据也继续移动。该连续运动可至少部分基于之前的运动。例如，可以以相同的方向和速度继续滚动。在有些情况下，滚动随时间减慢，即，遍历通过媒体项的速度变得越来越慢，直到滚动最终停止从而留下静止的列表为止。举例而言，进入查看区域的每个新媒体项可逐渐地减小速度。可替换地或附加地，当手指放回到触摸屏上时，显示的数据停止移动。即，将手指放回触摸屏上可实现制动(braking),其停止或减慢连续进行的运动。
[0085]举例说明以上讨论的姿态动作，如图7A所示，利用触摸屏(诸如图2示出的多重触摸屏24)，用手指501在图像对象(例如文件列表500)上的单次手指轻敲可解释为相当于鼠标单击，在该例子中这可指示选择，所述选择通常通过突出显示所选的文件或图像对象来表示。检测到在图像对象上的两次轻敲可解释为相当于鼠标双击，这可启用与所轻敲的图像对象相关联的应用的发起。例如，在屏幕上两次轻敲文件列表，诸如照片文件，可使得发起照片查看应用并打开该照片文件。
[0086]可通过用至少一个手指触摸与要放下(drop)的对象相关联的图像和通过保持该触摸以图形地将该对象拖曳到期望的放下地点，来启用拖放功能，如图7B所示的，图示出将文件列表500从文件夹窗口 502拖放到文件夹窗口 503。[0087]某些鼠标功能可能需要两个触摸来完成。例如，如图7C所示，可以通过两个手指启用〃右键点击〃姿态，其中一个手指作为接触手指506而第二手指507轻敲屏幕至少一次，以指不右键点击动作。图7D不出，在可能完成右键点击动作之后，可以启用动作窗口504，然后，弟一手指可移到所启用的窗口 504以选择并用单个手指506轻敲动作项505。根据本发明的一个实施例，只有当检测到的轻敲与检测到的接触非常接近，并且检测到的轻敲位于接触手指的左边(从用户的角度看是接触手指的右边)时，才可能实现右键点击动作。
[0088]可仅仅利用触摸动作来执行一般需要组合鼠标与键盘动作的其他文件选择功能。例如，在Microsoft Windows环境中，为了在文件窗口 502中选择多个文件，用户通常需要在保持按下shift按钮的同时在要选择的一系列文件上拖曳鼠标图标。不保持按下shift按钮的话，鼠标图标的拖曳可解释为拖放动作。如图7E所示，根据本发明的一个实施例，检测到对文件列表的两个紧密关联的触摸拖拽可被认为是用于选择一组文件508的多选动作。为了避免将所述双触摸动作误译为诸如旋转动作之类的另一命令，只有当检测到这两个触摸彼此相对紧密接近时，才优选地启用该双触摸多选功能。
[0089]参考图7H中描述的滚动动作，并且如图71和7J中所示，在可滚动窗口中的一个或两个手指接触可使得该窗口的显示内容以不同速度滚动。具体而言，一旦启用723滚动动作，如果确定在触摸敏感显示器上仅仅检测到一个手指(或一个接触点)，就以IX速度724发生滚动，如果检测到两个手指(或两个接触点)则以2X速度滚动。根据一个优选实施例，在滚动动作期间，滚动条727和728与滚动方向相一致地移动。
[0090]最后，利用能够进行接近检测的多重触摸显示器，诸如前述的且通过引用结合于此的共同转让的共同未决申请N0.10/840, 862 (公开为美国专利公开N0.US2006/0097991)和 2007 年 I 月 3 日提交的名为"Proximity and Mult1-Touch Sensor Detection andDemodulation"的申请中描述的面板，手指姿态还可用于启用可相当于鼠标图标在图像对象上的悬停的悬停(hover )动作。
[0091]举例而言，参考图7K，在台式机729中，对用户手指501在应用图标731上的接近的检测可解释为悬停动作，其启用悬停的应用图标730的卷动弹出(rolling popup)。如果用户触摸该弹出的图标，则可启用双击动作从而可发起该应用。类似的概念可应用于特定应用的情况，诸如当照片文件以缩略图格式显示在照片管理软件中时，对手指在缩略图上的接近的检测启用悬停动作，从而可增大该悬停的照片缩略图的大小(而不是选择)。
[0092]姿态还可用于启用和操纵虚拟控制界面，诸如音量旋钮、开关、滑块、键盘、以及可创建用于帮助人与计算系统或消费电子品的交互的其他虚拟界面。以利用姿态启用虚拟控制界面为例，并参考图8A-8H，将描述用于在平板PC175的显示器174的⑶I界面172上控制虚拟音量旋钮170的旋转姿态。为了启动旋钮170，用户将其手指176放在多点触摸屏178上。可能已经显示了虚拟控制旋钮,或者是,放下的手指的特定数量、定向或轮廓,或紧跟其后的手指的移动，或用户交互的这些及其他特征的某一组合，可启用要显示的虚拟控制旋钮。在任一情况下，计算系统将手指组关联到该虚拟控制旋钮并确定用户打算使用该虚拟音量旋钮。
[0093]该关联还可以部分基于计算装置在输入时候的模式或当前状态。例如，对于相同的姿态，如果当前正在计算装置上播放歌曲，则该姿态可解释为音量旋钮姿态，而如果正在执行对象编辑应用，则该姿态可解释为旋转命令。可提供其它用户反馈，包括例如听觉或触觉反馈。
[0094]一旦如图8A所示的那样显示了旋钮170，用户的手指176就可放在旋钮170的周围，就像它是实际的旋钮或拨号盘那样，并且然后可以绕旋钮170旋转以便模拟转动旋钮170。而且，在旋钮170可能〃转动〃时，可以提供例如具有喀喇声形式的听觉反馈或具有振动形式的触觉反馈。用户还可使用他或她的另一只手来握住平板PC175。
[0095]如图8B所示，多点触摸屏178检测至少一对图像。特别地，在放下时创建第一图像180，并在手指176旋转时可创建至少一个其它图像182。虽然仅仅示出了两个图像，但是大多数情况下，在这两个图像之间将有更多图像递增出现。每个图像代表在一特定时刻与触摸屏接触的手指的轮廓。这些图像也可称为触摸图像。将要理解的是，术语〃图像〃并不意味着该轮廓被显示在屏幕178上(而是由触摸感测设备成像)。也应注意，虽然使用术语〃图像"，但是数据可以具有代表各个时间的触摸平面的其它形式。
[0096]如图SC所示，图像180和182中的每一个都可转变成特征184的集合。每个特征184可以与一特定触摸相关联，该触摸例如来自环绕旋钮170的每个手指176的指尖以及用于握住平板PC175的另一只手177的拇指。
[0097]如图8D所示，特征184被分类——即每个手指/拇指被标识——并为每个图像180和182成组。在该具体实例中，与旋钮170相关联的特征184A可以集合在一起形成组188，而与拇指相关联的特征184B可被滤出。在可替换的布置中，拇指特征184B可被单独当做分开的特征(或位于另一个组中)，以例如改变输入或系统的操作模式或者实现另一姿态，例如与显示在屏幕上在拇指(或其它手指)区域内的均衡器滑块相关联的滑块姿态。
[0098]如图8E所示，可以为每个图像180和182计算特征组188的关键参数。与第一图像180相关联的关键参数表示初始状态，而第二图像182的关键参数表示当前状态。
[0099]同样如图8E所示，由于特征组188接近于旋钮170，旋钮170是与特征组188相关联的Π元素。然后，如图8F所示，可以比较来自各个图像180和182的特征组188的关键参数值以确定旋转矢量，即，特征组从初始状态到当前状态顺时针旋转五(5)度。在图8F中，初始特征组(图像180)以虚线示出，而当前特征组(图像182)以实线示出。
[0100]如图8G所示，基于旋转矢量，平板PC175的扬声器192根据手指176的旋转量而增大(或减小)其输出，即，基于5度的旋转将音量增加5%。平板PC的显示器174也可根据手指176的旋转量来调节旋钮170的旋转，即，旋钮170的位置旋转五(5)度。大多数情况下，旋钮的旋转与手指的旋转同时发生，即，手指每旋转一度，旋钮旋转一度。实质上，虚拟控制旋钮跟随出现在屏幕上的姿态。进一步地，平板PC的音频单元194可对每单位旋转提供一次喀喇声，例如，基于五度旋转提供五次喀喇。更进一步地，平板PC175的触觉单元196可对每次喀喇提供一定振动量或其它触觉反馈，从而模拟实际的旋钮。
[0101]应当注意，可以与虚拟控制旋钮姿态同时执行另外的姿态。例如，可以利用双手同时控制多于一个虚拟控制旋钮，即，一只手控制一个虚拟控制旋钮。可替换地或附加地，可以与虚拟控制旋钮同时控制一个或多个滑动条，即一只手操作虚拟控制旋钮，同时另一只手的至少一个手指(可替换地，多于一个手指)操作至少一个滑动条(可替换地，多于一个滑动条)，例如每个手指一个滑动条。
[0102]还应当注意，虽然该实施例是利用虚拟控制旋钮来描述的，但是在另一实施例中，UI元素可以是虚拟滚轮。作为例子，虚拟滚轮可模仿实际的滚轮，诸如在美国专利公开N0.US2003/0076303AU N0.US2003/0076301A1 和 N0.US2003/0095096A1 中描述的那些，所有这些专利公开通过引用结合于此。
[0103]图9是根据本发明的一个实施例的一种基于触摸的方法200的图。该方法通常从块202开始，在块202，可检测出现在多点感测设备上的用户输入。用户输入可包括一个或多个触摸输入，每个触摸输入具有一个唯一标识符。在块202之后,该基于触摸的方法200继续到块204，在块204，如果用户输入可能包括单个唯一标识符(一个触摸输入)，则用户输入可被分类为跟踪或选择输入，或者如果用户输入可能包括至少两个唯一标识符(多于一个触摸输入)，则用户输入可被分类为姿态输入。如果用户输入可被分类为跟踪输入，则基于触摸的方法200继续到块206，在块206，可执行与用户输入相对应的跟踪。
[0104]如果用户输入被分类为姿态输入，则基于触摸的方法200继续到块208，在块208，可执行与用户输入相对应的一个或多个姿态控制动作。姿态控制动作可至少部分地基于至少两个唯一标识符发生的变化或者在至少两个唯一标识符之间发生的变化。
[0105]图10是根据本发明的一个实施例的一种基于触摸的方法250的图。基于触摸的方法250通常从块252开始，在块252，可在在触摸敏感表面上输入笔划期间捕捉初始图像。在块252之后，基于触摸的方法250继续到块254，在块254，可基于初始图像确定触摸模式。例如，如果初始图像包括单个唯一标识符，则触摸模式可对应于跟踪或选择模式。另一方面,如果初始图像包括多于一个唯一标识符，则触摸模式可对应于姿态模式。
[0106]在块254之后，基于触摸的方法250继续到块256，在块256，可在在触摸敏感表面上输入笔划期间捕捉下一图像。在笔划期间通常可连续地捕捉图像，因此可能有多个与该笔划相关联的图像。
[0107]在块256之后，基于触摸的方法250继续到块258，在块258，可确定在捕捉初始图像和捕捉下一图像之间触摸模式是否改变。如果触摸模式改变，则基于触摸的方法250继续到块260，在块260，下一图像可被设置为初始图像，然后基于新的初始图像在块254再次确定触摸模式。如果触摸模式保持不变，则基于触摸的方法250继续到块262，在块262，可比较初始图像和下一图像，并且可基于该比较生成一个或多个控制信号。
[0108]图11是根据本发明的一个实施例的一种基于触摸的方法300的图。基于触摸的方法300从块302开始，在块302，可输出图像对象，其可以是⑶I对象。例如，处理器可指示显示器显示特定图像对象。在块302之后，基于触摸的方法300继续到块304，在块304，接收在该图像对象上的姿态输入。例如，用户可以在触摸屏表面上以姿态方式放置或移动其手指，同时其手指在所显示的图像对象上。姿态输入可以包括一个或多个相继发生的单个姿态或同时发生的多个姿态。每个姿态通常具有与之相关联的特定顺序、运动、或定向。例如，姿态可以包括手指张开(spread apart)或手指合拢(close together)、旋转手指、和/或平移手指，等等。
[0109]在块304之后，基于触摸的方法300继续到块306，在块306，可基于姿态输入并与该姿态输入一致地修改图像对象。通过修改，意味着图像对象根据正在执行的特定姿态或多个特定姿态而变化。通过使其一致，意味着大致在姿态或多个姿态正在执行的同时发生变化。大多数情况下，在姿态(多个姿态)和在图像对象处发生的变化之间有一一对应关系，并且它们基本上同时发生。实质上，图像对象跟随手指的运动。例如，手指张开的同时可以放大对象，手指合拢的同时可以减小图像对象，旋转手指的同时可以旋转对象，平移手指的同时可以允许图像对象平移或滚动。
[0110]在一个实施例中，块306可包括确定哪个图像对象与正在执行的姿态相关联，然后将所显示的对象锁定到置于其上的手指，以使得该图像对象根据姿态输入而变化。通过将手指锁定或关联到图像对象，该图像对象可根据手指正在触摸屏上进行的操作而连续地调节其自身。通常，所述确定和锁定发生在放下时，即，当手指放置在触摸屏上时。
[0111]图12是根据本发明的一个实施例的缩放姿态方法350的图。缩放姿态可在诸如图2所示的多重触摸面板24之类的多点触摸屏上执行。缩放姿态方法350通常从块352开始，在块352，检测至少第一手指和第二手指在触摸敏感表面上的同时存在。至少两个手指的存在可用于表明该触摸是姿态触摸而不是基于一个手指的跟踪触摸。在有些情况下，仅仅两个手指的存在表明该触摸是姿态触摸。在其它情况下，多于两个的任意数目的手指表明该触摸是姿态触摸。实际上，无论是两个、三个、四个或更多手指在触摸，并且即使在所述姿态期间数目改变，所述姿态触摸都可工作，即，在所述姿态期间的任何时候只需要最少两个手指。
[0112]在块352之后，缩放姿态方法350继续到块354，在块354，比较至少两个手指之间的距离。该距离可以是从手指到手指，或者从每个手指到某个其它参考点，例如形心。如果两个手指之间的距离增大(张开)，可生成放大信号，如块356所示。如果两个手指之间的距离减小(合拢)，可生成缩小信号，如块358所示。大多数情况下，手指的放下将把手指关联或锁定到一个正在显示的特定图像对象。例如，触摸敏感表面可以是触摸屏，而图像对象可以显示在该触摸屏上。这通常在至少一个所述手指位于该图像对象上时发生。从而，当手指相分离地移动时，放大信号可用于增加图像对象中的嵌入特征的大小，而当手指收缩到一起时，缩小信号可用于减小该对象中的嵌入特征的大小。所述缩放通常发生在预定义的边界内，诸如显示器的周界、窗口的周界、和/或该图像对象的边缘，等等。嵌入特征可以形成在多个层上，每一层代表不同级别的缩放。
[0113]大多数情况下，缩放的量根据两个对象之间的距离而变化。而且，缩放通常可与对象的运动基本同时地发生。例如，随着手指张开或合拢，对象同时就放大或缩小。虽然该方法是针对缩放的，但是应当注意它也可用于增加或减少。缩放姿态方法350对于诸如出版、照片和绘图程序之类的图形程序尤其有用。而且，缩放可用于控制诸如照相机之类的外围设备，即，当手指张开时，照相机缩小，当手指合拢时，照相机放大。
[0114]图13A-13H示出利用上面描述的方法的一系列缩放。图13A示出呈现北美洲地图形式的图像对象364的显示器，其中该图像对象364具有可缩放的嵌入级别。在有些情况下，如图所示，图像对象可以位于形成图像对象364的边界的窗口之内。图13B示出用户将其手指366置于北美洲368的一区域之上，具体而言是美国370之上，更具体而言是California372之上。为了在California372上进行放大，用户开始张开其手指366，如图13C所示。如图13D — 13H所示，随着手指366进一步张开(检测到的距离增大)，地图进一步在 Northern California374 上放大,然后到 Northern California374 的一特定区域，然后到Bayarea376,然后到半岛378 (例如，San Francisco和San Jose区域之间的区域)，然后到位于 San Francisco 和 San Jose 之间的城市 San Carlos380。为了缩小 San Carlos380并回到北美洲368，手指366根据上述顺序的相反顺序合拢回一起。[0115]图14是根据本发明的一个实施例的一种平移方法400的图。平移姿态可以在多点触摸屏上执行。平移方法400通常从块402开始，在块402，可以检测至少第一对象和第二对象在触摸敏感表面上的同时存在。至少两个手指的存在可用于表明该触摸是姿态触摸而不是基于一个手指的跟踪触摸。在有些情况下，仅仅存在两个手指表明该触摸是姿态触摸。在其它情况下，多于两个的任意数目的手指表明该触摸是姿态触摸。实际上，无论是两个、三个、四个或更多手指在触摸，并且即使数目在所述姿态期间改变，所述姿态触摸都可工作，即，只需要最少两个手指。
[0116]在块402之后，平移方法400继续到块404，在块404，监测当两个对象一起移过触摸屏时这两个对象的位置。在块404之后，平移方法400继续到块406，在块406，当这两个对象的位置相对于初始位置改变时，可生成平移信号。大多数情况下，手指的放下将把手指关联或锁定到显示在触摸屏上的特定图像对象。通常，当所述手指中的至少一个位于该图像对象上的位置上时。从而，当手指一起移过触摸屏时，平移信号可用于使图像在手指方向上平移。大多数情况下，平移的量根据两个对象移动的距离而变化。而且，平移通常可与对象的运动基本同时地发生。例如，随着手指移动，对象随着手指同时移动。
[0117]图15A-1?不出基于上面所描述的平移方法400的一系列平移。利用图13A的地图，图15A示出用户将其手指366置于地图上。一旦放下，手指366就锁定到地图。如图15B所示，当手指366纵向向上移动时，整个地图364可向上移动，从而使得地图364的之前看到的部分被置于查看区域之外，而地图364的未看到的部分被置于查看区域之内。如图15C所示，当手指366水平地横向移动时，整个地图364可横向移动，从而使得地图364的之前看到的部分被置于查看区域之外，而地图364的未看到的部分被置于查看区域之内。如图1?所示，当手指366斜向移动时，整个地图364可斜向移动，从而使得地图364的之前看到的部分被置于查看区域之外，而地图364的未看到的部分被置于查看区域之内。应当理解，地图364的运动跟随手指366的运动。该过程类似于沿桌子滑动一张纸。手指施加于纸上的压力将纸锁定到手指，并且当手指滑过桌子时，这张纸随着手指移动。
[0118]图16是根据本发明的一个实施例的旋转方法450的图。旋转姿态可在多点触摸屏上执行。旋转方法450通常从块452开始，在块452，可以检测第一对象和第二对象的同时存在。至少两个手指的存在可用于表明该触摸是姿态触摸而不是基于一个手指的跟踪触摸。在有些情况下，仅仅存在两个手指表明该触摸是姿态触摸。在其它情况下，多于两个的任意数目的手指表明该触摸是姿态触摸。在一些其它情况下，无论是两个、三个、四个或更多手指在触摸，并且即使在所述姿态期间数目改变，所述姿态触摸都可工作，即，只需要最少两个手指。
[0119]在块452之后，旋转方法450继续到块454，在块454，设置每个手指的角度。所述角度通常可以相对于参考点而确定。在块454之后，旋转方法450继续到块456，在块456，当至少一个所述对象的角度相对于参考点改变时，可生成旋转信号。大多数情况下，手指的放下将把手指关联或锁定到显示在触摸屏上的特定图像对象。通常，当所述手指中的至少一个位于该图像对象上的位置上时，该图像对象将被关联或锁定到所述手指。从而，当手指旋转时，旋转信号可用于在手指旋转的方向上(例如，顺时针、逆时针)旋转该对象。大多数情况下，对象的旋转量根据手指的旋转量而变化，即，如果手指移动5度，则对象也将如此。而且，旋转通常可与手指的运动基本同时地发生。例如，在手指旋转的同时，对象随着手指旋转。
[0120]图17A-17C示出基于上面描述的方法的一系列旋转。利用图13A的地图，图17A示出用户将其手指366置于地图364上。一旦放下，手指366就锁定到地图364。如图17B所示，当手指366以顺时针方向旋转时，整个地图364可以根据旋转的手指366而以顺时针方向旋转。如图17C所示，当手指366以逆时针方向旋转时，整个地图364可以根据旋转的手指366而以逆时针方向旋转。
[0121]应当注意，虽然图17A-17C示出使用拇指和食指来启用旋转姿态，但是使用两个除拇指之外的手指，诸如食指和中指，也可用于启用旋转姿态。
[0122]而且，在某些特殊应用中，可能不要求两个手指来启用旋转姿态。例如，根据一个优选实施例以及如图17D和17E所示，可以利用单个手指姿态将照片缩略图旋转到期望的定向(例如从横向到纵向)。特别地，一旦检测到与可选择的照片缩略图图标741相关联的触摸，并且其中该触摸输入是这样的姿态，即，检测到的触摸形成绕缩略图中心部分的旋转或径向弧，则该输入被解释为用于根据所述旋转或径向弧的方向旋转缩略图的指令。根据一个优选实施例，缩略图图标的旋转将也使得对应的文件对象改变定向配置。根据另一个实施例，在照片管理应用中，检测到旋转姿态还将启用snap命令，以将照片缩略图朝旋转方向自动旋转90度。
[0123]图18A和18B示出根据之前在图10中描述的本发明的一个示例性实施例的、利用通过Π元素的姿态输入来编辑诸如照片之类的媒体文件的另一个示例。特别地，如图18A所示，在照片编辑器环境750中，可以提供用于编辑照片的各方面的Π元素751，其中在该照片编辑器环境750中，可以打开照片图像文件(例如JPEG文件)752以供编辑。UI元素751可以是级别滑动条，用于调节照片某些方面的级别。在图18A所示的示例中，UI元素751可以是用于接收触摸姿态以调节照片的亮度级别的界面。特别地，随着所跟踪的手指触摸移到所述条的左边，亮度级别被减小，而如果所跟踪的触摸移到该UI元素的右边，则亮度级别增大。根据一个实施例，Π元素优选地是透明的，以便用户仍然可以看到在UI元素后面的照片图像。在另一个实施例中，显示在屏幕上的照片大小可以减小以便为分开显示的UI元素腾出空间，其中该UI元素可以紧接着所显示的照片的下方放置。
[0124]图18B示出通过选择性地利用单个或多个接触点，经由UI元素751切换姿态输入模式的能力。特别地，如图18B所示，检测到在UI元素751上的第二接触点将使得操作模式从亮度级别调节变成对比度级别调节。在这种情况下，两个接触点向左或向右移动将分别使得照片的对比度级别减小或增大。检测到另外的接触点(例如三个或四个手指)还可被解释为用于切换到其它操作模式(诸如缩放、色调调节、gamma级别等)的指令。注意到，虽然图18A和18B示出通过Π元素751来调节亮度和对比度级别，但是用户可以编程或定制Π元素751以将接触点数目解释为指的是操作模式的其它形式。还应当注意，滑动条Π元素751可以采用其它形式，诸如虚拟滚轮。
[0125]图18C是示出与上面在图18A和18B中讨论的特定示例相关联的算法的流程图。特别地，如图18C所示，在屏幕上输出760Π元素751。如果检测到761姿态输入触摸，则可进一步确定762-765有多少接触点与所述触摸相关联。根据检测到的接触点的数目，可以在767-769激活相应的操作模式。一旦激活了适当的操作模式，就检测770对接触点(或多个接触点)的跟踪，以根据操作模式实现771相应的调节。应当注意，操作模式可以在编辑过程期间的任一时间点切换，原因在于如果检测到772的接触点(或多个接触点)的数目改变，则该过程返回到确定762-764以便激活新的操作模式。
[0126]图18D和18E示出利用上面讨论的相同UI元素751，通过输入其它姿态指令来启用另外的动作。特别地，在调节所显示照片的亮度级别的同时，第二手指可用于实现放大或缩小动作。放大和缩小动作可通过检测到第二接触点以及两个接触点之间距离接近度的变化而启用。两个接触点之间的距离变化可根据图12所示以及上面讨论的方法而被解释为放大或缩小动作。应当注意，根据一个实施例，如果检测到的第二接触点与第一接触点保持恒定距离，将不会启用缩放动作；在这种情况下，该姿态将被解释为用于激活第二操作模式(例如如图18A和18B所示的从亮度级别调节变成对比度级别调节)的输入。
[0127]图19A和19B示出利用姿态输入来滚过媒体文件——诸如显示在照片编辑器中的照片文件一的示例。特别地，如图19A和19B所示，触摸检测区754可以专用于滚动动作，从而手指在触摸屏750所显示的照片752上的上下移动姿态可被解释为用于滚动到下一照片753的姿态输入。根据一个优选实施例，不必显示Π元素来启用滚动操作模式；相反地，检测到手指在触摸检测区754中的向下滑动动作(例如，检测到接触点的向下跟踪移动)可足以自动启用滚动动作。根据一个可替换实施例，Π元素可以在屏幕上显示为用于向用户指示滚动动作已被激活的虚拟纵向滑动条和用于继续滚动动作的触摸检测区754的区域。
[0128]根据一个优选实施例，如果检测到的向下跟踪移动具有多于一个接触点(例如双手指滑动姿态)，则可以以2X速度执行滚动，类似于上面描述的关于在可滚动区域中启用滚动动作的方式。
[0129]图19C和19D示出Π元素的另一种形式，虚拟滚轮755，用于接收姿态输入以滚动照片的显示。在该实施例中，可通过用一个手指在照片上执行圆形触摸这一简单姿态或三个手指的接触来启用虚拟滚轮。一旦可呈现虚拟滚轮UI元素755，用户就可以〃旋转〃该虚拟滚轮以滚过照片。在该特定实施例中，滚动速度不由在滚轮755上检测到多少接触点来控制，而是由接触点绕虚拟滚轮755中心旋转的速度来控制。
[0130]图19E和19F示出在数字照相机780的显示屏781上的图19A和19B的构想。根据一个优选实施例，数字照相机780的显示屏781可由多重触摸敏感面板制成，诸如上面在图2中描述的多重触摸敏感面板2。
[0131]图19E示出一个实施例，其中，在数字照相机780的重放模式中，检测到至少一个手指在触摸检测区782中的纵向向下挥击姿态输入启用重放滚动动作，从而可显示下一照片。根据另一实施例，在显示屏781任何部分上的向下姿态输入可以自动启用滚动动作。
[0132]图19F示出图19E的一个可替换实施例，其中需要检测到两个触摸以启用重放滚动。特别地，在接触区783的接触点与在接触区782处或其附近的向下滑动输入的组合可启用滚动动作以显示下一照片。应当注意，图19A到19E中描述的方法不要求特定的形状因子(form factor)，因为该方法可在PC监视器、膝上型计算机监视器、数字照相机、或具有触摸屏的任何类型的设备上实现。
[0133]图19G示出根据另一实施例的在诸如照片文件之类的媒体文件的重放期间可输入的另外的姿态。特别地，类似于图18A和18B中示出的实施例，通过区分在触摸敏感显示器上接触点的数目(即手指的数目)，相同的移动可以被不同地解释。在这个例子中，两个手指的纵向向下挥击姿态可被解释为用于删除照片文件、标记照片文件(出于诸如编制相册的目的)、或任何其它有用命令的姿态。
[0134]图19H示出利用触摸敏感显示器的其它指定的Π区来检测其它的另外的姿态。在这个例子中，在另一指定区756检测到接触点可被解释为指的是删除、标记、或其它有用的命令。根据一个实施例，多个接触区可显示为照片文件的透明覆盖。
[0135]应当注意，虽然图19示出在纵向向下方向上的挥击姿态，但是还可以想到，在纵向向上方向或水平方向上的挥击也可以被指定为相同命令的姿态输入。
[0136]图20示出用于实现图19A-19F所示的方法的一种可能的算法。特别地，在第一步骤，在触摸敏感显示器上显示790多个照片之一。如果检测到791在显示屏上的触摸，则可确定792该触摸是否是姿态输入，并接收793姿态输入的类型(例如向下跟踪滑动动作、圆形跟踪旋转动作，等等)。根据检测到的姿态输入，可根据需要输出794Π元素(例如滑动条或虚拟滚轮)，然后可启用795与该Ul元素或该姿态输入的使用相对应的动作。
[0137]应当注意，图18-20中描述的方法也可在视频环境中实现。特别地，在视频文件重放期间，也可启用并显示诸如图18A所示的横向滑动条之类的Π元素，从而，根据检测到的接触点数目，可激活用于改变视频的诸如亮度、对比度之类的某些可调节方面的操作模式。同时，还可以按类似方式实现图19A-19F中示出的滚动和缩放方法，不过将执行的是倒回和快进动作，而非滚动。
[0138]可利用在某些已有控制元素上的姿态输入来实现视频文件的另外的编辑/重放功能。根据一个优选实施例，可通过选择性地收缩或展开重放时间线指示条来实现视频文件的非线性时间重放。特别地，图21A示出视频应用790 (诸如视频重放应用)，其显示视频重放791以及进度条792，进度条792上的重放队列793指示视频重放的时间进度。
[0139]根据一个优选实施例，重放队列793可以在进度条792上向前或向后移动以实现视频的快进和倒回。该队列也可保持在相同位置或以非线性速度调整，以实现视频的可变速度重放或暂停。根据一个优选实施例，视频应用790可以显示在触摸敏感显示器上，并且可以通过由手501的手指在该队列可在屏幕上显示的位置处手动触摸该队列来操纵重放队列793的位置。S卩，重放队列793既可用作进度指示符，也可用作用于控制视频重放的速度和时间位置的Π元素。
[0140]根据一个优选实施例，整个进度条792可用作为一个Π元素，从而用户可通过展开或收缩进度条的一个或多个部分来实现视频的非线性重放。特别地，如图21B所示，可通过两个手指放大或缩小姿态(如上面针对图12所讨论的)来操纵UI元素进度条792。在图21B所示的例子中，放大姿态启用重放时间在60分钟标记和80分钟标记之间的展开。在图21B所示的例子中，视频的重放速度变成非线性的，原因在于视频的重放速度可以在60和80分钟标记之间的时间段期间减慢。可替换地，视频的重放速度可以在O和60分钟标记之间以及在80分钟标记之后加快，而在60和80分钟标记之间为正常的重放速度。
[0141]图21C示出显示在视频应用790中的一个另外的UI元素794。在该实施例中，UI元素794可以是虚拟滚轮，用户可借其进一步控制视频的重放速度。与对进度条792的操纵相结合，用户可以首先指定视频中重放速度要减慢的部分，由此，用户可使用滚轮794来进一步调整重放队列793以控制视频的重放方向和/或速度。
[0142]图21D示出可增加到视频应用790的用于编辑目的的其它另外的触摸敏感Π元素。例如，如图21D所示，可增加滑动条Π元素796以检测用于启用级别调节的姿态输入，所述级别调节诸如是平移调节或亮度、对比度、色调、gamma等类型的调节。类似于参考图18A-18E所讨论的UI元素751，滑动条UI元素796可用于通过改变滑动条UI元素796上的接触点数目来启用不同的操作模式。
[0143]UI元素795也可显示在视频应用790中以实现视频的声音编辑。特别地，Π元素795可以包括用于要与视频混合的不同通道或声音或音乐的记录或重放的多个级别调节。
[0144]根据一个优选实施例，视频应用790的用户可以定制显示哪些Π元素，并且还可以安排所述UI元素执行期望的功能。
[0145]图22A和22B示出用于实现关于图21A — 21D描述的方法的一个示例算法800。特别地，如图22A所示的，可发起视频应用790以提供视频重放和/或编辑802。可显示803进度条792。如果在进度条792上检测到804触摸，则可确定805该触摸是放大还是缩小命令。如果该触摸没被检测为放大或缩小命令，则可根据所跟踪的触摸输入操纵该重放队列。如果该触摸被检测为是缩放姿态，则进度条中检测到触摸的部分可被操纵从而根据该姿态输入展开或收缩。
[0146]在图22B，步骤808-810可被执行以分别可选地显示另外的UI元素，诸如滚轮、混声器、和滑动条级别调节。可在步骤811-813检测触摸(多个触摸)，然后可启用适当的功能814-818。
[0147]图23示出本发明的另一实施例，其用于操纵音频或音乐文件的重放和记录。如图23所示，音乐应用830可以显示一对虚拟转盘842和843，其上正在播放两个音乐唱片834和835，所述唱片是单曲(single)或LP唱片之一。唱片834和835可以是正在通过音乐应用830重放的数字音乐文件(例如歌曲A和歌曲B)的图形表示。换而言之，唱片可以是音乐文件的图形印记，就好像音乐文件被印刻在物理唱片上一样。
[0148]类似于一对物理转盘，触笔844和触笔855可以是重放队列的图形图标指示，该重放队列的位置可以通过在触摸敏感显示器屏幕上触摸该队列和将该图标拖曳到图形唱片上的期望位置而变化。触笔的移动将引起相应歌曲的重放点的跳转，就像在物理转盘上一样。
[0149]同样类似于一对物理转盘，可以由一个或多个手指触摸开始/停止按钮838和839，以来回切换歌曲再现的开始或停止/暂停。速度变化条840和841可被线性调节以控制歌曲的重放速度。窗口 831和833可以图形地再现所再现歌曲的频率表示，同时窗口 832可以显示音乐应用832的实际输出的频率表示，该实际输出可以仅仅是正在再现的歌曲之一，或者是歌曲的混合/组合。混合/平移条850可被操纵以调制或解调正在再现的两个歌曲。
[0150]在歌曲再现期间，可以类似于物理唱片那样操纵唱片834和835。例如，唱片的快速来回移动可以引起唱片〃刮擦(scratching)"的声音效果，就像音乐节目主持人常常在物理转盘上做的那样。
[0151]应当注意，上面所描述的方法可以在相同姿态笔划期间同时实现。即，选择、跟踪、缩放、旋转和平移能够在一个姿态笔划期间全部执行，姿态笔划可包括张开、旋转和滑动手指。例如，一旦放下至少两个手指，所显示的对象(地图)就可被关联或锁定到这两个手指。为了缩放，用户可以张开或合拢其手指。为了旋转，用户可以旋转其手指。为了平移，用户可以滑动其手指。可以在一个连续运动中同时发生这些动作中的每一个。例如，用户可以张开和合拢其手指，同时旋转和滑动其手指横过触摸屏。可替换地，用户可以分割这些运动中的每一个而不必重设该姿态笔划。例如，用户可以首先张开其手指，然后旋转其手指，然后合拢其手指、然后滑动其手指，等等。
[0152]还应当注意，不一定总是要使用人的手指来实现姿态输入。可能的话，使用诸如触笔之类的指点设备也足以实现姿态输入。
[0153]在共同转让的作为美国专利公开N0.US2006/0026521公开的共同未决申请N0.10/903, 964和作为美国专利公开N0.US2006/0026535公开的申请N0.11/038, 590中，示出并描述了可用作输入的、用以实现界面命令——包括与Π元素的交互——的姿态笔划的附加示例，上述申请都全部通过弓I用结合于此。
[0154]本领域技术人员可进行许多变化和修改而不脱离本发明的精神和范围。因此，必须理解，对示出的实施例进行阐述仅仅是出于示例的目的，并且它们不应当被认为是对由所附权利要求限定的本发明的限制。例如，虽然这里针对个人计算设备描述了本发明的许多实施例，但是应当理解，本发明不限于台式机或膝上型计算机，而是可以普遍地适用于其它计算应用，诸如移动通信设备、独立的多媒体再现设备，等等。
[0155]本说明书中使用的用于描述本发明及其各实施例的词不仅要从其普通限定的含义上来理解，而且要包括在本说明书中特定定义的、超出普通限定含义的范围之外的结构、材料或动作。因此，如果一个元素在本说明书的上下文中可被理解为包括多于一个含义，则其在权利要求中的使用必须被理解为对于本说明书和该词本身所支持的所有可能含义都是通用的。
[0156]因此，所附权利要求中的词或元素的定义在本说明书中被限定为不仅包括字面上阐述的元素的组合，而且包括用于以基本相同的方式执行基本相同功能来获得基本相同的结果的所有等同结构、材料或动作。在这种意义上，因而可以想到可以用两个或更多元素等效代替权利要求中的任何一个元素，或者可以用单个元素代替权利要求中的两个或更多元素。
[0157]本领域技术人员所想到的源自所主张的主题的非实质性变化，无论是现在已知的还是以后想出的，都被明确地认为是相当于在权利要求的范围内。因此，现在或以后本领域技术人员已知的明显代替被限定为在所限定的权利要求元素的范围内。
[0158]因此，本权利要求要被理解为包括上面特别示出和描述的、在概念上等价的、以及可以明显作为代替的事物。例如，权利要求中记载的术语"计算机"或"计算机系统"应当至少包括台式计算机、膝上型计算机、或诸如移动通信设备(例如蜂窝电话或W1-Fi/Skype电话、电子邮件通信设备、个人数字助理设备)和多媒体再现设备(例如，iPod、MP3播放器、或任何数字图形/照片再现设备)之类的任何移动计算设备。
【权利要求】
1.一种用于处理利用触摸敏感显示器的触摸输入的方法，包括: 在具有触摸敏感显示器的计算机系统处: 在触摸敏感显示器上显示多个可选对象； 检测在所述触摸敏感显示器上的触摸输入，所述触摸输入至少包括在所述触摸敏感显示器上的第一接触点及第一接触点的移动；以及 响应于检测到触摸输入而执行以下动作: 当所述触摸输入包括单个接触点时，将所述触摸输入识别为滚动姿态，并根据第一接触点的移动滚动所述多个可选对象；以及 当所述触摸输入包括彼此紧密接近的第一接触点和第二接触点以及第一接触点和第二接触点在相同方向上的移动时，将所述触摸输入识别为选择姿态，并根据第一接触点和第二接触点的移动选择所述多个可选对象中的两个或更多个。
2.如权利要求1所述的方法，包括在根据第一接触点的移动滚动所述多个可选对象时，在所述显示器上显示滚动动作图标。
3.如权利要求1所述的方法，其中至少部分地基于第一接触点与第二接触点之间的距离，所述触摸输入被识别为选择姿态。
4.如权利要求1所述的方法，其中至少部分地基于第一接触点与第二接触点之间的距离，所述触摸输入被识别为选择姿态而不是旋转姿态。
5.如权利要求1所述的方法，其中所述触摸输入的检测不需要检测键盘上的按钮的激活。`
6.一种计算机系统，包括: 触摸敏感显示设备，其被配置为显示多个可选对象并检测在所述触摸敏感显示设备上的触摸输入，所述触摸输入至少包括在所述触摸敏感显示设备上的第一接触点及第一接触点的移动； 处理器，其被配置为响应于检测到触摸输入而执行以下动作: 当所述触摸输入包括单个接触点时，将所述触摸输入识别为滚动姿态，并根据第一接触点的移动滚动所述多个可选对象；以及 当所述触摸输入包括彼此紧密接近的第一接触点和第二接触点以及第一接触点和第二接触点在相同方向上的移动时，将所述触摸输入识别为选择姿态，并根据第一接触点和第二接触点的移动选择所述多个可选对象中的两个或更多个。
7.如权利要求6所述的计算机系统，所述触摸敏感显示设备被配置为在根据第一接触点的移动滚动所述多个可选对象时，显示滚动动作图标。
8.如权利要求6所述的计算机系统，其中所述计算机系统为移动电话和数字音频播放器之一 O
9.如权利要求6所述的计算机系统，其中至少部分地基于第一接触点与第二接触点之间的距离，所述触摸输入被识别为选择姿态。
10.如权利要求6所述的计算机系统，其中至少部分地基于第一接触点与第二接触点之间的距离，所述触摸输入被识别为选择姿态而不是旋转姿态。
11.如权利要求6所述的计算机系统，其中所述触摸输入的检测不需要检测键盘上的按钮的激活。
12.一种用于处理利用触摸敏感显示器的触摸输入的装置，包括: 用于在触摸敏感显示器上显示多个可选对象的部件； 用于检测在所述触摸敏感显示器上的触摸输入的部件，所述触摸输入至少包括在所述触摸敏感显示器上的第一接触点及第一接触点的移动；以及 用于响应于检测到触摸输入而使能以下动作的部件: 当所述触摸输入包括单个接触点时，将所述触摸输入识别为滚动姿态，并根据第一接触点的移动滚动所述多个可选对象；以及 当所述触摸输入包括彼此紧密接近的第一接触点和第二接触点以及第一接触点和第二接触点在相同方向上的移动时，将所述触摸输入识别为选择姿态，并根据第一接触点和第二接触点的移动选择所述多个可选对象中的两个或更多个。
13.如权利要求12所述的装置，包括用于在根据第一接触点的移动滚动所述多个可选对象时，在所述显示器上显示滚动动作图标的部件。
14.如权利要求12所述的装置，其中至少部分地基于第一接触点与第二接触点之间的距离，所述触摸输入被识别为选择姿态。
15.如权利要求12所述的装置，其中至少部分地基于第一接触点与第二接触点之间的距离，所述触摸输入被识别为选择姿态而不是旋转姿态。
16.如权利要求12所述 的装置，其中所述触摸输入的检测不需要检测键盘上的按钮的激活。
【文档编号】G06F3/0484GK103631496SQ201310719094
【公开日】2014年3月12日 申请日期:2007年12月28日 优先权日:2007年1月5日
【发明者】G·克里斯蒂 申请人:苹果公司