手持移动通信装置的制作方法

专利名称：手持移动通信装置的制作方法
技术领域：
本实用新型涉及通过在触摸敏感装置上使用手势来管理、操纵和 编辑媒体对象(例如在显示器上的图形对象)的系统。
背景技术：
现今具有许多类型的输入装置用于在计算机系统中进行操作。这 些操作一般是在显示屏上移动光标并进行选择。这些操作也可以包括 分页、巻动、扫视、缩放等等。例如，输入装置可以包括按钮、开关、 键盘、鼠标、轨迹球、触摸垫、游戏杆、触摸屏等。这些装置的每一 个都具有优点和缺点，这是当设计计算机系统时必须考虑的。
按钮和开关一般是机械性质的，并对于光标的移动和进行选择提 供有限的控制。例如，它们一般专用于沿特定方向移动光标(例如箭 头键)，或者进行特定的选择(例如输入、删除、编号等等)。
在使用鼠标装置时，在显示器上输入指针的运动一般对应于当用 户沿着一个表面移动鼠标时鼠标的相对运动。在使用轨迹球装置时， 输入指针在显示器上的运动一般对应于当用户在一个壳体内移动轨 迹球时轨迹球的相对运动。鼠标和轨迹球装置一般还包括一个或多个 用于进行选择的按钮。鼠标装置还可以包括巻动轮，其允许用户借助 于向前或向后滚动巻动轮来巻动被显示的内容。
利用触摸垫装置，例如在个人便携式计算机上的触摸垫，在显示 器上输入指针的运动一般对应于当用户的手指在触摸垫的表面上运 动时用户手指(或铁笔)的相对运动。在另一方面，触摸屏可以是一 种类型的显示屏，其一般包括覆盖着显示屏的触摸敏感的透明板(或 "皮肤")。当使用触摸屏时，用户一般通过直接点击(通常用手指或
铁笔)在屏幕上显示的对象(例如GUI对象)在显示屏上进行选择。
4为了提供附加的功能， 一些输入装置实现了手势。例如，在触摸 垫中，当在触摸垫的表面上可以检测到一个或多个轻击时可以进行选 择。在一些情况下，可以轻击触摸垫的任何部分。除去选捧之外，借 助于使用手指在触摸垫边沿的运动可以启动巻动。
授予苹果计算机公司的美国专利5612719和55卯219描述了手势 的一些其它的使用，美国专利5612719披露了一种屏上按钮，其响应 在屏幕上在按钮上或按钮附近的至少两个不同的按钮手势。美国专利 55卯219披露了 一种用于辨认在计算机系统的显示屏上输入的椭圆形 手势的方法。
近来，实现了一些更先进的手势。例如，通过把4个手指放在触 摸垫上，从而认出巻动手势，此后在触摸垫上移动这些手指，可以启 动巻动，以便执行巻动亊件。不过，用于实现这些先进的手势的方法 可能受到限制，并且在许多情况下可能是违反直觉的。在某些应用中， 特别是涉及使用计算机系统管理或编辑媒体文件的应用中，使用触摸
屏的手势可以使用户能够更有效地和精确地实现所需的操作。
基于上述，需要进行改进，使得手势可以在触摸敏感装置上被执 行，特别是关于管理和编辑媒体文件。

实用新型内容
本实用新型解决了在触摸/接近敏感装置上人手的手势输入可以 用来控制、编辑和处理文件的技术问题。
本实用新型提供了一种手持移动通信装置，包括触敏显示屏； 用于引起所述显示屏显示媒体文件的一段的装置，所述媒体文件包括 文本项和图形项中的至少一个；用于检测在所述显示屏的表面上的触 摸巻动输入的装置，所述触摸巻动输入包括在所述显示屏的表面上的 人的手指的落地点，所述落地点对应于显示所述媒体文件的所述一段 的所述显示屏上的位置；用于检测在所述显示屏上所述人的手指落地 点的拖拉运动的装置，所述拖拉运动跨越正被显示的所述媒体文件的 所述一段的一部分，并包括垂直的和水平的矢量分量；用于确定所述手指落地点的所述拖拉运动以指示巻动操作的装置；用于使所迷媒体 文件在所述显示屏上巻动的装置，其中所述巻动被限制于垂直和水平 方向之一。
本实用新型提供了一种手持移动通信装置，包括触敏显示屏； 用于使所述显示屏显示媒体文件的一段的装置，所述媒体文件包括文 本项和图形项中的至少一个；用于检测在所述显示屏的表面上的触摸 巻动输入的装置，所述触摸巻动输入包括在所述显示屏的表面上的人 的手指落地点，所述落地点对应于显示所述媒体文件的所述一段的显 示屏上的位置；用于检测在所述显示屏上人的手指落地点的拖拉运动 的装置，所述拖拉运动跨越正被显示的媒体文件的所述一段的一部 分；用于检测所述人的手指落地点的拖拉运动的方向的装置，其中所 述拖拉运动的方向包括垂直分量矢量和水平分量矢量；以及用于使所 述媒体文件在所述显示屏上按照检测的拖拉运动的方向巻动的装置。
本申请涉及用于通过触摸敏感装置(例如触摸敏感显示器)实现 手势的系统和软件，用于在计算机系统上管理和编辑媒体文件。具体 地说，在触摸/接近敏感装置上人手的手势输入可以用来控制、编辑和 处理文件(例如媒体文件，包括但不限于照片文件和视频文件)。
按照一个实施例，在触摸敏感的计算机桌面应用显示器上的手势 输入用于实现常规的鼠标/轨迹球操作，例如目标、选择、右点击操作、 巻动等等。
按照另 一个实施例，在触摸敏感显示器上的手势输入用于实现用 于编辑图像文件例如照片文件的编辑指令。手势输入可以通过用户界 面(UI)元件例如滑动条被辨别。手势输入可以借助于UI元件通过改变 在UI元件上触摸点的数量被改变。
按照另一个实施例，手势输入包括UI元件的激活，在此之后和 相关的UI元件的手势的相互作用可以实现其它的功能。
本实用新型实现了在触摸/接近敏感装置上人手的手势输入可以 用来控制、编辑和处理文件的有益效果。

图l是按照本发明的示例的实施例的计算机系统的方块图； 囝2表示按照本发明的另一个示例的实施例的计算机系统； 图3表示按照本发明的一个示例的实施例的多点处理方法； 图4A，4B表示按照本发明的 一个实施例的检测的触摸图像； 图5表示按照本发明的一个实施例的一组特征； 图6表示按照本发明一个实施例的参数计算方法； 图7A-7E和7I-7K表示按照本发明的一个实施例用于指定目标 和/或选择任务的多种手势；
图7F-7H表示用于辨别和实现图7A-E的手势输入的方法；
图8A-8G表示按照本发明的一个实施例的转动姿式；
图9表示按照本发明一个实施例的基于触摸的方法；
图IO表示按照本发明一个实施例的基于触摸的方法；
图ll是按照本发明一个实施例的基于触摸的方法；
图12表示按照本发明一个实施例的缩放手势方法；
图13A-13H表示按照本发明一个实施例的缩放顺序；
图14表示按照本发明一个实施例的扫视方法；
图15A-15D表示按照本发明一个实施例的扫视顺序；
图16表示按照本发明一个实施例的转动方法；
图17A-17C表示按照本发明一个实施例的转动顺序；
图17D-17E表示按照本发明一个实施例的用于转动可选目标的
方法；
图18A和18B表示按照本发明一个实施例的用于编辑照片文件 的手势输入；
图18C表示用于辨别和实现图18A，18B的手势输入的方法； 图18D和18E表示按照本发明一个实施例在照片应用内用于近 摄和远摄照片文件的手势输入；
图19A-19D表示按照本发明一个实施例用于通过再现顺序文件
巻动的手势输入；
7图19E和19F表示按照本发明一个实施例用于在数字照相机显 示器上通过再现照片文件巻动的手势输入；
图19G表示按照本发明一个实施例用于在再现期间标记或删除 照片文件的手势输入；
图19H表示按照本发明另一个实施例用于在再现期间标记或删 除照片文件的另一个手势输入；
图20是表示按照本发明一个实施例用于实现图18A-19F的方法 的总图21A-21D表示按照本发明一个实施例使用视频应用用于控制/ 编辑视频的手势输入；
图22A和22B表示用于实现图21A-21D的手势输入的方法；以
及
图23表示按照本发明一个实施例用于使用音频应用控制/编辑音 频的手势输入。
具体实施方式
在下面的优选实施例的说明中，参考构成本说明的一部分的附 图，其中通过说明示出了可以实现本发明的特定实施例。应当理解， 不脱离本发明的优选实施例的范围，可以利用其它的实施例，可以进 行结构的改变。
图l是按照本发明一个实施例的计算机系统50的方块图。计算 机系统50可以是个人计算机系统，例如台式机、便携计算机、图形 输入板或手持计算机。计算机系统也可以是计算装置例如蜂窝电话、 PDA、专用媒体播放器、用户电子装置等等。
图l所示的示例的计算机系统50可以包括处理器56，其被配置 用于执行指令，并用于执行和计算机系统50有关的操作。例如使用 例如从存储器检索的指令，处理器56可以控制在计算机系统50的元 件之间的输入和输出数据的接收和处理。处理器56可以在单个芯片、 多个芯片上实现或者由多个电气元件来实现。例如，处理器56可以使用多种体系结构，包括专用的或嵌入式处理器、羊用途处理器、控
制器、ASIC等等。
在大多数情况下，处理器56和操作系统一起工作，以执行计算 机代码并产生和使用数据。操作系统一般是熟知的，因而不再详细说 明。例如，操作系统可以是OS/2、 DOS、 Unix、 Palm OS等等。操 作系统还可以是特殊用途的操作系统，例如可用于受限用途的设备型 计算装置的操作系统。操作系统、其它计算机代码和数据可以驻留在 在操作上和处理器56相连的存储器块58内。存储器块58 —般提供 用于存储计算机代码和可以由计算机系统50使用的数据的位置。例 如，存储器块58可以包括只读存储器(ROM)、随机存取存储器(RAM)、 硬盘装置等等。信息也可以驻留在可除去的存储介质上，当需要时被 下栽或安装到计算机系统50上。可除去的存储介质例如包括 CD-ROM、 PC-CARD、存储卡、软盘、磁带和网络元件。
计算机系统50还可以包括可以在操作上和处理器56相连的显示 装置68。显示装置68可以是液晶显示器(LCD)(例如有源矩阵、无 源矩阵等)。或者，显示装置68可以是监视器，例如单色显示器、 彩色图形适配器(CGA)显示器、增强的图形适配器(EGA)显示器、可 变图形阵列(VGA)显示器、超级VGA显示器、阴极射线管(CRT)等。 显示装置还可以是等离子显示器或利用电子链接实现的显示器。
显示装置68—般可被配置用于显示图形用户界面69,其使得容 易使用在计算机系统的用户和操作系统或在操作系统上运行的应用 程序之间的用户界面。 一般地说，GUI69代表程序、文件、以及具有 图形图像、对象或矢量表示的可操作的选择。图形图像可以包括窗口、 字段、会话框、菜单、图标、按钮、巻动条等。这种图像可以以预定 的布局被管理，或者可以被动态地产生，以用于用户进行的特定操作。 在操作期间，用户可以选择和/或激活多种图形图像，以便启动功能以 及和功能相关联的任务。例如，用户可以选择打开、关闭、最小化或 最大化窗口的按钮，或者选择启动特定程序的图标。GUI69可以在显 示装置18上对用户附带地或者另外地显示信息，例如非交互式的文
9本和图形。
计算机系统50还可以包括在操作上可以和处理器56相连的输入 装置70。输入装置70可被配置用于从外部世界向计算机系统50传递 数据。输入装置70例如可用于进行跟踪以及在显示器68上对GUI 69 进行选择。输入装置70还可用于在计算机系统50中发送指令。输入 装置70可以包括触摸感知装置，其被配置用于接收来自用户的触摸 的输入，并把这个信息发送到处理器56。例如，触摸感知装置可以是 触摸垫或触摸屏。在许多情况下，触摸感知装置辨别触摸以及在触摸 感知表面上触摸的位置和大小。触摸感知装置检测并向处理器56报 告触摸，处理器56则按照其程序解释触摸。例如，处理器56可以按 照特定的触摸启动任务。可以使用专用处理器局部地处理触摸，并降 低对计算机系统的主处理器的要求。
触摸感知装置可以基于感知技术，包括但不限于电容感测、电阻 感测、表面声波感测、压力感测、光感测等等。此外，触摸感知装置 可用于单点感测或多点感测。单点感测只能辨别一个触摸，而多点感 测能够辨别同时发生的多个触摸。
如上所述，输入装置70可以是触摸屏，其位置显示器68的上方 或前方，和显示装置68集成在一起，或者是一个单独的元件，例如 触摸垫。
计算机系统50优选地还包括用于和一个或多个I/O装置80耦合 的电容。例如，1/O装置80可以是键盘、打印机、扫描仪、照相机、 麦克风、扬声器等等。1/O装置80可以和计算机系统50集成在一起， 或者是单独的元件(例如外围装置)。在一些情况下，1/O装置80可 以通过有线连接(例如电缆/端口 )和计算机系统50相连。在其它情 况下，1/O装置80可以通过无线链接和计算机系统80相连。例如， 数据链接可以是PS/2、 USB、 IR、火线、RF、蓝牙等。
按照本发明的一个实施例，计算机系统50被设计用于辨别提供 给输入装置70的手势85，并根据手势85控制计算机系统50的各个 方面。在一些情况下，手势可被定义为可被映射成一个或多个特定的计算搮作的和输入装置的被风格化的相互作用。手势85可以通过各 种手(更具体地说手指)的运动被构成。额外地或者替换地，手势可 以借助于铁笔而被构成。在所有这些情况下，输入装置70接收手势 85，处理器56执行和手势85相关的操作的指令。此外，存储器块58 可以包括手势操作的程序88，其可以是操作系统的一部分，或者是一 个单独的应用程序。手势操作程序88 —般可以包括一组指令，该指 令辨别手势85的发生并把手势85和/或响应手势85而进行的搮作通 知一个或多个软件代理。有关可以作为输入指令使用的各种手势的其 它细节将在下面被进一步讨论。
按照优选实施例，当用户进行一个或多个手势时，输入装置70 把手势信息传递到处理器56。处理器56使用来自存储器58的指令， 更具体地说，使用手势操作的程序88，解释手势85，并根据手势85 控制计算机系统50的不同的元件，例如存储器58、显示器68和I/0 装置80。手势85可被识别为指令，用于执行在存储器58中存储的应 用程序中的搮作、修改在显示器68上显示的图像对象，修改在存储 器58中存储的数据，和/或在I/O装置80中进行操作。
此外，虽然为了说明的目的图l作为两个单独的方块示出了输入 装置70和显示器69，但这两个方块可以在一个装置上被实现。
图2表示使用多触摸板作为手势输入装置的示例的计算系统10， 多触摸板24可以同时是一个显示板。计算系统IO可以包括专用于多 触摸子系统27的一个或多个多触摸板处理器12。或者，多触摸板处 理器的功能可以由专用逻辑例如状态机来实现。外围设备11可以包 括但不限于随机存取存储器(RAM)或其它类型的存储器、监视定时器 等。多触摸子系统27可以包括但不限于一个或多个模拟通道17、通 道扫描逻辑18和驱动器逻辑19。通道扫描逻辑18可以访问RAM 16， 从模拟通道自动地读数据并对模拟通道提供控制。该控制可以包括把 多触摸板24的列多路传输到模拟通道17。此外，通道扫描逻辑18可 以控制驱动器逻辑以及被选择地提供给多触摸板24的行的模拟信号。 在一些实施例中，多触摸子系统27、多触摸板处理器12和外围设备11可以被集成在一个应用特定的集成电路(ASIC)中。
驱动器逻辑19可以提供多个多触摸子系统输出20，可以提供驱 动高压驱动器的专有界面，高压驱动器优选地包括译码器21和后续 的电平移动器和驱动器级22,虽然电平移动功能可以在译码器功能之 前被执行。电平移动器和驱动器22可以提供从低电压电平(例如 CMOS电平)到较高电压电平的电平移动，提供较好的信噪比以便减 少噪声。译码器21可以把驱动界面信号译码成N个输出之一，其中 N可以是板中的最大的行数。译码器21可用于减少在高压驱动器和 多触摸板24之间所需的驱动线的数量。每个多触摸板行输入23可以 驱动多触摸板24中的一个或多个行。应当注意，驱动器22和译码器 21可被集成为一个ASIC,被集成在驱动器逻辑19中，或者在一些实 例中可能是不需要的。
多触摸板24可以包括电容感测介质，具有多个行轨迹或行驱动 线，以及多个列轨迹或感测线，虽然也可以使用其它的感测介质。行 轨迹和列轨迹可以由透明的导电介质构成，例如铟锡氧化物(ITO)或 锑锡氣化物(ATO)，虽然也可以使用其它透明的和非透明的材料例如 铜。在一些实施例中，行轨迹和列轨迹可以在介电材料的相对侧上被 形成，并且可以相互垂直，虽然在其它实施例中，其它的非笛卡儿方 位也是可能的。例如，在极座标系统中，感测线可以是同心圆，驱动 线可以是沿径向延伸的线(或反之亦然)。因此，应当理解，这里使 用的术语"行"和"列"、"第一维，，和"第二维"、"第一轴线"和"第二轴 线"旨在不仅包括正交的栅格，而且包括具有第一维和第二维其它几 何结构的相交的轨迹(例如极座标排列的同心线和径线)。行和列可 以在衬底的一侧上被形成，或者可以在由介电材料隔开的两个单独的 衬底上被形成。在一些例子中， 一个附加的介电覆盖层可被置于行轨 迹或列轨迹上，以增强该结构并保护整个组件不被破坏。
在多触摸板24的"交点"，即上下轨迹互相通过(跨过)(但不 进行相互直接电接触)的位置，轨迹基本上形成两个电极(虽然两个 以上的轨迹也可以交叉)。行轨迹或列轨迹的每个交点可以提供电容感测节点，并且可被视为一个围像元素(像素)26，当多触摸板24 被看作捕获触摸的"图像，，时这尤其是有用的。换句话说，在多触摸子 系统27确定在多触摸板内的每个触摸传感器是否检测到触摸亊件之 后，在发生了触摸亊件的多触摸板中的触摸传感器的图案可被视为触 摸的"困像"(例如触摸多触摸板的手指的图案)。当给定的行被保持 在DC下时，在行电极和列电极之间的电容似乎是在所有列上的杂散 电容，当给定的行利用AC信号激励时，则似乎是共有电容Csig。在 多触摸板上或附近手指或其它物体的存在可以通过测量改变为Csig 而被检测。多触摸子系统27中的多触摸板124的列可以驱动一个或 多个模拟通道17(这里也叫做亊件检测和解调电路)。在一些实现中， 每个列可被耦联到一个专用的模拟通道17。不过，在其它实现中，这 些列可以通过模拟开关耦联到较少的模拟通道17。
计算系统IO还可以包括主处理器14，用于接收来自多触摸板处 理器12的输出并根据该输出进行搮作，包括但不限于移动对象例如 光标或指针、巻动或扫视、调节控制设置、打开文件或文档、浏览菜 单、进行选择、执行指令、操作和主设备相连的外围设备等。主处理 器14，其可以是个人计算机的CPU，也可以执行和多触摸板处理无 关的附加功能，并且可以和程序存储器15以及显示装置13例如LCD 显示器相连，以便向设备的用户提供用户界面(UI)。
应当注意，虽然困2示出了专用的MT板处理器12，多触摸子 系统可被主处理器14直接控制。此外，应当注意，多触摸板24和显 示装置13可被集成在一个触摸屏显示装置中。多触摸传感器检测的 其它细节，包括由触摸板进行的接近检测，在共同转让的未决申请中 被描述了，包括申请号10/840862 ，其美国专利公开号为 US2006/0097991 ， 申请号为 11/428522 ， 美国专利公开号 US2006/0238522,以及在2007年1月3日提交的名称为"Proximity and Multi-Touch Sensor Detection and Demodulation(接近与多触摸传感 器检测和解调)"的专利申请，所有这些专利申请的全部内容通过引用 被包括在此。图3表示按照本发明的一个实施例的多点处理方法100。多点处 理方法100例如可以在图l或图2所示的系统中被执行。多点处理方 法100 —般在块102开始，此时可以从多点输入装置即多点触摸屏读 出图像。虽然使用了"图像"这个术语，应当注意数据可以呈其它的形 式。在大多数情况下，从触摸屏读出的图像对于触摸屏的每个检测点 或像素提供作为位置(x，y)的函数的幅值(Z)，该幅值例如可以反映 在每个点测量的电容。
在块102之后，多点处理方法IOO前进到块104，此时可以把图 像转换成特征集合或特征列表。每个特征代表不同的输入例如触摸。 在大多数情况下，每个特征可以包括其自身的唯一标识符(ID)、 y座 标、x座标、Z幅值、角度6、面积A等。例如，图4A，4B实时地表 示一个具体图像120。在图像120中，可以具有两个基于两个不同触 摸的特征122。这些触摸例如可以由触摸所述触摸屏的一对手指形成。 如图所示，每个特征122可以包括唯一的标识符(ID)、 x座标、y座标、 Z幅值、角度0、以及面积A。更具体地说，第一特征122A可以由 ID,，XhYhZi，ehAi表示，第二特征12B可以由ID2，X2，Y2，Z2，e2，A2表示。 这些数据例如可以使用多触摸协议被输出。
从数据或困像到特征的转换可以使用在申请号为10/840862、公 开号为US2006/007991的未决的美国专利申请中所述的方法来实现， 该专利申请也通过引用被包括在此。如该专利申请中所述，原始数据 一般以数字化的形式被接收，并且可以包括关于触摸屏的每个节点的 值。这些值可以在0和256之间，其中O等于没有触摸压力，256等 于全部的触摸压力。此后，原始数据可被滤波以便减少噪声。 一旦经 过滤波，便可以产生指示每组连接点的拓朴的梯度数据。此后，可以 根据梯度数据计算触摸区域的边界(即进行这样的确定，确定哪些点 可被分成一组，以形成每个触摸区域)例如，可以使用分水呤算法。 一旦边界被确定，便可以计算关于每个触摸区域的数据(例如 X，Y，Z，e，A)。
在块104之后，多点处理方法IOO前进到块106，在此可以执行特征分类和分组处理。在分类期间，可以确定每个特征的特性。例如， 特征可被分类为具体的手指、拇指、手掌或其它物体。 一旦被分类， 便可以对特征分组。构成组的方式可以是多种多样的。在大多数情况 下，可以根据一些标准(例如它们具有类似的属性)对特征分组。例
如，图4A，4B所示的两个特征可被分为一组，这是因为这些特征的每 一个可被置于另一个附近，或者因为它们来自同一只手。分组可以包 括某种程度的滤波，以滤除不是触摸亊件的一部分的特征。在滤波时， 可以拒绝一个或多个特征，因为它们满足一些预定的准则，或者因为 它们不满足一些准则。例如，其中的一个特征可被分类为位于输入板 PC边沿的拇指。因为拇指用于保持着设备，而不用于执行任务，由 其产生的特征被拒绝，即不被认为是被处理的触摸亊件的一部分。
在块106之后，多点处理方法100前进到块108，此时可以计算 特征组的关键参数。关键参数可以包括特征之间的距离、所有特征的 x/y质心、特征转动、所述组的总压力(例如在质心的压力)等。如 图5所示，该计算可以包括求出质心C，确定每个虚线(D1，D2)的 距离D，然后求出距离D1， D2的平均值。 一旦参数被算出，便可以 报告参数值。参数值一般和组标识(GID)以及在每组内的特征数目(本 例中为3个)一起被报告。在大多数情况下，报告初始的和当前的参 数值。初始参数值可以基于落地(set down)，即当用户把其手指置 于触摸屏上时，当前值可以基于在落地之后发生的动作内的任一点。
如应当理解的那样，块102- 108在用户的动作期间可被重复地 执行，借以产生多个按顺序配置的信号。在后面的步骤中，可以使初 始的和当前的参数进行比较，以便在系统中进行操作。
在块108之后，处理流程前进到块110，在此可以使所述组和用 户界面(UI)元件相关联。UI元件可以是按钮块、表、滑动块、滚轮、 扳钮等。每个UI元件代表用户界面的元件或控制。在UI元件后面的 应用程序可以访问在块108计算的参数数据。在一个实现中，应用程 序对触摸数据对和与其相应的UI元件的关联排序。该排序可以基于 一些预定的准则。排序可以包括产生优值，并且不管哪个UI元件具
15有最高的优值，只允许其访问所述组。甚至还具有某种程度的滞后(一
旦所述UI元件之一要求控制那个组，该组便粘住该UI元件，直到另
一个ui元件具有更高的排序)。例如，排序可以包括确定质心(或
特征)到与UI元件关联的图像对象的接近度。
在块110之后，多点处理方法前进到块112和114。块112和114 可以被大致地同时执行。在一个实施例中，从用户看来，块112和114 似乎被同时执行。在块112中，可以根据在初始的和当前的参数值之 间的差值执行一个或多个操作，也可以根据和其关联的UI元件被执 行(如果有的话)。在块114中可以提供关于正被执行的一个或多个 操作用户的反馈。例如，用户反馈可以包括显示、音频、触觉反馈等。 附图6表示按照本发明的一个实施例的参数计算方法150。参数 计算方法150例如可以对应于图3所示的块108。参数计算方法150 一般在块152开始，在此可以接收特征组。在块152之后，参数计算 方法150前进到块154，确定在特征组内的特征数目是否发生了改变。 例如，由于用户抬起或放置一个附加的手指而使特征数目发生改变。 可能需要不同的手指进行不同的控制(例如跟踪、作手势)。如果特 征数目改变，则参数计算方法前进到块156,在此可以计算初始参数 值。如果数目保持相同，则参数计算方法150前进到块158，可以计 算当前参数值。此后，参数计算方法150前进到块160，可以报告初 始和当前参数值。例如，初始参数值可以包含点之间的平均初始距离 (或初始距离(AVG)),当前参数值可以包含点之间的平均当前距离 (或当前距离(AVG))。这些可以在以后的步骤中被比较，以便控制 一个计算机系统的各个方面。
上述方法和技术可用于实现任何数量的GUI界面对象和操作。 例如，可以产生手势，以便检测和实现用户指令，以改变窗口的尺寸、 巻动一个显示、转动一个对象、拉近和推远一个显示的视图、删除或 插入文本或其它对象等。
手势的基本种类应当使用户能够输入可以通过使用常规的鼠标 或轨迹球装置输入的常用的指令。图7表示用于处理鼠标点击操作的
16流程图表，图7F表示用于处理鼠标点击操作的检测的流程图。由块 710开始，可以进行手指的一个或两个触摸的检测，如果在711确定 检测的触摸是一个手指，则712确定该触摸是否在与可选的文件对象 关联的被显示图形对象的预定接近度之内，如果是，则在714进行选 择操作。如果在716检测到和可选对象关联的双击操作，则718可以 调用双击操作。双击操作可以通过检测手指离开触摸屏并立即再次触 摸屏幕来检测。按照另一个实施例，如果检测到触摸选择的对象的手 指停留的时间大于一个预定的时间间隔，则可以调用双击操作。
如图7G所示，如果检测到手指触摸不和一个可选文件对象相关， 而是在720确定和一个网络地址超级链接相关，则调用单点击操作， 借以启动超级链接。如果在非浏览器环境内超级链接被触摸，则应当 运行浏览器应用程序。
如果在711检测到两个手指触摸，则在713如果至少一个落地点 和可选文件对象相关，则在715选择该对象。如果在717检测到在触 敏显示器上手指之一的一个或多个点击，同时落地点被保持，则可以 调用右点击鼠标操作。
按照优选实施例，如果检测到的一个或多个触摸不与任何可选文 件对象或超级链接相关，则如图7H所示，在722确定落地点是否和 可巻动的区域(例如文本编辑应用窗口、文件列表窗口或者互联网网 页)相关。
巻动一般涉及在显示屏上的观察区域上移动显示的数据或图像， 使得可以在观察区域看到一组新的数据。在大多数情况下， 一旦观看 区域成为满的，则每个新的数据组便出现在观看区域的边沿，并且所 有的其它数据组向上移动一个位置。即，出现新的数据组来代替移出 观看区域的每个数据组。实质上，这些功能使得用户能够看到当前在 观看区域之外的相继的数据组。在大多数情况下，用户借助于快速移 动其手指能够加速其对这些数据组的遍历。通过列表进行巻动的例子 可以在申请号为2003/0076303A1, 2003/0076301A1，2003/0095096A1 的美国专利申请中找到，这些专利申请通过引用被包括在此。如果落地点能够/可以在可巻动的区域内，则可以和下压常规鼠
标装置上的巻动轮类似地在723调用巻动操作，如果可巻动的区域只
能沿一个方向巻动(例如上下)，则被调用的巻动操作是单向巻动。如果可巻动区域可以沿两个方向巻动，则调用的巻动操作是全方向的。
在把巻动约束为垂直方向(即Y轴)的单向巻动操作中，只有被跟踪的触摸运动的垂直矢量分量被用作实现垂直巻动的输入。类似地，在被约束为水平方向的巻动的单向巻动操作中，只有被跟踪的触摸运动的水平矢量分量被用作实现水平巻动的输入。如果巻动操作是全向的，则实现的巻动操作将跟踪被跟踪的触摸的运动。
按照优选实施例，如果检测到的触摸是一个手指触摸，则在724巻动操作可以准备以正常的或者1X速度进行。如果并且一旦落地的手指开始的触摸屏上运动，则可以通过跟踪在触摸屏上落地点的运动进行巻动操作。如果检测到的触摸是两个手指的触摸，则在725可以以两倍或2X速度进行巻动操作。还可以增加附加的手指，以便进行更快的巻动操作，其中检测到四手指触摸可被解释成在多页文件窗口内的"上翻页"或"下翻页"指令。
按照另一个实施例，即使当从触摸屏上除去手指时，显示的数据也继续运动。该继续运动可以至少部分地基于以前的运动。例如，可以以相同的方向和速度继续巻动。在一些情况下，巻动随时间变慢，即通过媒体项目的遍历越来越慢，直到最终停止巻动而留下一个静止的表。例如，进入视区的每个新的媒体项可以逐渐增加地减少速度。额外地或者替换地，当手指放回触摸屏上时，显示数据停止运动。即，在触摸屏上把手指放回可以实现制动，其停止或者减慢继续操作的运动。
下面通过例子说明上述的手势操作，如图7A所示，使用触摸屏(例如图2所示的多触摸屏24)，由手指501在图像对象(例如文件表500)上进行的一个手指的点按可被解释为等同于鼠标的一个点击，在本例中其可以表示 一个选择，其 一般通过加亮选择的文件或图像对象来表示。检测到的图像对象上的两次点按可被解释为等同于鼠标的两次点击，其可以引起和点按的图像对象相关的应用程序的运行。例如，对屏幕上列出的一个文件(例如照片文件)的两次点按可以引起运行照片浏览应用程序和打开照片文件。
在至少一个手指内，借助于保持触摸，如图7B所示，通过触摸与要被落地的对象相关的困像可以调用拖放功能以及图形地把对象拖到所需的落地位置，显示了文件表501从文件夹窗口 502被拖放到文件夹窗口 503。
某些鼠标功能可能需要两次触摸才能完成。例如图7C所示，利用两个手指可以作出"右点击"手势，其中一个手指作为落地手指506，第二手指507轻击屏幕至少一次，以表示右点击操作。图7D表示在可以进行右点击搮作之后，可以调用操作窗口 504，此后第一手指可以移动到调用的窗口 504,以便利用一个手指506选择和轻击搮作项505。按照本发明的一个实施例，只有当检测到的轻击位于检测到的落地点附近，并且只有当检测到的轻击位于落地手指的左方(从用户的观察点看落地手指的右方)时，才能实现右点击操作。
通常要求鼠标和键盘操作组合的其它选择功能可以只使用触摸操作来实现。例如，在微软视窗环境下，为了选择文件窗口 502内的多个文件，用户一般需要按住移动(shift)按钮的同时在要被选择的序列文件上拖动鼠标图标。不按住移动(shift)按钮，鼠标图标的拖动可被解释为拖放操作。如图7E所示，按照本发明的实施例，检测到文件表的两个接近的相关触摸拖动可被解释为用于选择一组文件508的多选择搮作。为了避免把所述二触摸操作错误地解释为其它的指令，例如转动操作，优选地，只有当检测到的两个触摸彼此相当接近时才调用二触摸多选择功能。
参见图7H、 71和7J表示的巻动操作，在可巻动的窗口内一个或两个手指着地可以引起窗口的显示内容以不同的速度巻动。具体地说， 一旦在723调用巻动操作，如果确定在触敏显示器上只检测到一个手指(或一个落地点)，则在724以1X的速度巻动，如果检测到两个手指(或两个落地点)，则以2X的速度巻动。按照优选实施例，在巻动操作期间，巻动条727和728沿与巻动方向一致的方向运动。
最后，使用能够进行接近度检测的多触摸显示器，例如在前述的并通过引用被包括在本说明中的共同转让的申请号为10/840862 (美国专利^>开号US2006/0097991)专利申请以及在2007年1月3日提交的名称为"接近和多触摸传感器检测和解调"的专利申请中描述的板，手指的姿式也可用于引起等效于使鼠标图标悬停在图像对象上的悬停操作。
例如，参见图7K，桌面729内应用图标731上方用户手指501的接近度检测可被解释为悬停操作，其引起悬停的应用图标730的滚动弹出。如果用户触摸弹出的图标，则可以调用双击操作，借以运行该应用程序。对于应用特定的情况，可以应用类似的构思，例如当在照片管理软件内以缩略图格式显示照片文件时，检测到在缩略图上方手指接近则调用悬停操作，借以可以放大悬停的照片缩略图的尺寸(但是不选择)。
手势还可以用于调用和操纵虚拟控制界面例如音量按钮、开关、滑块、键盘以及其它可被产生用于帮助人和计算机系统或用户电子选项进行相互作用的虚拟界面。例如，使用手势调用虚拟控制界面，参见图8A-8H,说明了在输入板PC175的显示器174的GUI界面上用于控制虚拟音量按钮170的转动手势。为了启动按钮170，用户把手指176放到多点触摸屏178上。虚拟控制按钮可能已被显示，或者特定的数字、落地的手指的方位或轮廓、或者落地之后瞬间手指的运动、或者这些与用户的相互作用的其它特征的一些组合可调用要被显示的虚拟控制按钮。在每种情况下，计算系统把手指组和虛拟控制按钮相关联，并确定用户要使用虚拟音量按钮。
所述关联也可以部分地基于计算装置在输入时刻的模式或当前状态。例如，相同的手势当在计算装置上正在播放歌曲时可被解释为音量按钮，或者如果正在执行对象编辑应用程序则被解释为转动指令。可以提供其它的用户反馈，例如包括听觉或触觉反馈。一旦显示按钮170，如图8A所示，用户的手指176便可以位于按钮170的周围，好象它是一个实际的按钮或转盘一样，然后可以在按钮170周围转动，以模拟转动按钮170。此外，当按钮170被"转动"时，可以提供例如点击声音形式的听觉反馈、或振动形式的触觉反馈。用户还可以使用另 一只手保持输入板PC 175。
如图8B所示，多触摸屏178检测到至少一对图像。具体地说，第一图像180在落地时被产生，当使手指176转动时，可以产生至少一个另外的图像182。虽然只示出了两个图像，在大多数情况下，具有在这两个图像之间渐增地出现的许多更多的图像。每个图像表示在一个特定时刻和触摸屏接触的手指的轮廓。这些图像还可被称为触摸图像。应当理解，术语"图像"不是指在屏幕178上被显示的轮廓(而是由触敏装置形成的图像)。还应当注意，虽然使用了"图像"这个术语，但是数据可以呈代表不同时刻的触摸平面的其它形式。
如图8C所示，每个图像180和182可被转换成特征184的集合。每个特征184可以和特定触摸相关联，例如在按钮170的周围每个手指176的指尖和用于保持输入板PC175的另一只手177的拇指。
如图8D所示，特征184被分类，即每个手指/拇指被识别，并对图像180和182的每一个分组。在这种特定情况下，和按钮170关联的特征184A可被分成一组，以形成组188，和拇指关联的特征184B可被滤除。在替换结构中，拇指特征184B可以借助于其自身(或在另一组中)被作为单独的特征来对待，例如，为了改变系统的输入模式或操作模式，或者为了实现另一个手势，例如和在拇指(或其它手指)区域内在屏幕上显示的均衡滑块关联的滑块手势。
如图8E所示，可以对于每个图《象180、 182计算特征组188的关键参数.和第一图像关联的关键参数表示初始状态，和第二图像182关联的关鍵参数表示当前状态。
也如图8E所示，按钮170是和特征组188关联的UI元件，这是因为其和按钮170接近。此后，如图8F所示，来自每个图像180、182的特征组188的关鍵参数值可以被比较，以确定转动矢量，即从初始状态到当前状态顺时针转动5度的特征组。在图8F中，用虛线示出了初始特征组(图像180)，而用实线示出了当前特征组(图像182)。
如图8G所示，根据转动矢量，输入板PC175的扬声器192按照手指176的转动量增加(或减小)其输出，即，根据5度的转动，使音量增加5%。输入板PC175的显示器174也可以按照手指176的转动量调节按钮170的转动，即，使按钮170的位置转动5度。在大多数情况下，按钮的转动和手指的转动同时发生，即，手指转动l度，按钮也转动l度。实质上，虚拟控制按钮跟随着在屏幕上发生的手势。此外，输入板PC的音频单元194可以对每个转动单位提供点击声，例如根据5度的转动，提供5个点击。此外，输入板PC175的触觉单元196可以对于每个点击提供一定量的振动或其它触觉反馈，借以模拟实际按钮。
应当注意，在进行虚拟控制按钮手势的同时可以进行附加的手势。例如，可以使用两只手同时控制一个以上的虚拟控制按钮，即，一只手用于一个虚拟控制按钮。额外地或者替换地， 一个或多个滑动条可以作为虛拟控制按钮被同时控制，即， 一只手操作虛拟控制按钮，而另一只手的至少一个手指或者一个以上的手指操作至少一个滑动块或一个以上的滑动条，例如每个手指一个滑动条。
还应当注意，虽然使用虚拟控制按钮说明了本实施例，在另一个实施例中，UI元件可以是虛拟巻动轮。作为例子，虛拟巻动轮可以模拟实际的巻动轮，例如专利公开号 US2003/0076303A1，US2003/0076301A1，以及US2003/0095096A1的专利申请所述，这些专利申请通过引用被包括在此。
图9表示按照本发明的一个实施例的基于触摸的方法200。该方法在块202开始，在此可以检测在多点触敏装置上发生的用户输入。用户输入可以包括一个或多个触摸输入，每个触摸输入具有唯一的标识。在块202之后，基于触摸的方法200前进到块204，在此对用户输入进行分类，当用户输入包括一个唯一标识时被分类为跟踪或选择输入，当用户输入包括至少两个唯一标识时(一个以上的触摸输入)被分类为手势输入。如果用户输入可被分类为跟踪输入，则基于触摸
的方法200前进到块206，在此进行对应于用户输入的跟踪。
如果用户输入被分类为手势输入，则基于触摸的方法200前进到块208，在此进行对应于用户输入的一个或多个手势控制操作。手势控制操作至少部分地基于由所述至少两个唯一标识或者在所述至少两个唯一标识之间发生的改变。
图10标识按照本发明一个实施例的基于触摸的方法250。基于触摸的方法250在块252开始，在此在触敏表面上进行的输入敲击期间可以捕获初始困像。在块252之后，基于触摸的方法250前进到块254，在此基于初始图像确定触摸模式。例如，如果初始图像包括一个唯一标识，则触摸模式对应于跟踪或选择模式。在另一方面，如果图像包括一个以上的唯一标识，则触摸模式对应于手势模式。
在块254之后，基于触摸的方法250前进到块256，在此在触敏表面上进行输入敲击期间可以捕获下一个图像。在敲击期间 一般可以按照顺序捕获图像，因而可以具有和敲击相关的多个图像。
在块256之后，基于触摸的方法250前进到块258，在此确定触摸模式是否在初始图像和下一个图像捕获期间发生了改变。如果触摸模式发生了改变，则基于触摸的方法250前进到块260，在此可以把下一个图像设置为初始图像，此后在块254基于新的初始图像再次被确定。如果触摸模式保持相同，该方法则前进到块262，在此初始图像和下一个图像进行比较，并根据比较结果产生一个或多个控制信号。
图11表示按照本发明的一个实施例的基于触摸的方法300。该方法在块302开始，在此输入可以是GUI对象的图像对象。例如，处理器可以命令显示器显示特定的图像对象。在块302之后，方法300前进到块304,在此通过图像对象接收手势输入。例如，用户可以在触摸屏的表面上同时在显示图像对象上方以手势方式着地或移动其手指。手势输入可以包括连续发生的一个或多个单个手势，或者同时发生的多个手势。 一般每个手势具有特定的顺序、运动或与其相关的方位。例如，手势可以包括分开手指或者手指闭合在一起的手势，转动手指、平移手指的手势等。
在块304之后，方法300前进到块306，在此# 据手势输入并和手势输入一致地修改图像对象。这里的修改意味着图像对象按照正在进行的特定手势而改变。这里的"一致地"意味着所述的改变几乎在进行所述手势的同时发生。在大多数情况下，在手势和图像对象发生的改变之间具有一对一的关系，并且它们基本上同时发生。实质上，图像对象跟随着手势的运动。例如，散开的手指可以同时放大对象、闭合的手指可以同时缩小图像对象、转动手指可以同时转动对象、平移手指可以允许同时扫视或巻动图像对象。
在一个实施例中，块306包括确定哪个图像对象与正在进行的手势相关，此后把显示对象锁定在位于其上方的手指上，从而该图像对象按照手势输入而改变。借助于锁定手指或使手指和图像对象相关联，图像对象可以按照在触摸屏上手指的动作继续调节其自身。通常所述确定和锁定在手指落下时发生，即当手指位于触摸屏上时发生。
图12表示按照本发明的一个实施例的缩放(zoom)手势方法350。缩放手势可以在多点触摸屏例如图2所示的多触摸板24上被执行。该方法在块352开始，在此检测至少第一手指和第二手指在触敏表面上同时存在。至少两个手指的存在可被配置用于表示该触摸是手势触摸而不是基于一个手指的跟踪触摸。在一些情况下，只有两个手指存在表示触摸是手势触摸。在另一些情况下，两个以上的任何数量的手指表示触摸是手势触摸。事实上，手势触摸可被配置使得在2个、3个、4个或更多个手指触摸时都能操作，即使在手势期间数量发生改变，即，在手势期间在任何时刻最少只需要两个手指。
在块352之后，该方法350前进到块354，在此比较在至少两个手指之间的距离。该距离可以是从手指到手指的距离，或者是从每个手指到另一个参考点例如质心的距离。如果在两个手指之间的距离增加(散开手指)，则产生拉近信号，如块356所示。如果两个手指之间的距离减少(闭合手指)，则产生推远信号，如块358所示。在大多数情况下，手指的落下将把手指关联或锁定到正被显示的一个特定图像对象。例如，触敏表面可以是触摸屏，图像对象可以在触摸屏上显示。这一般在至少一个手指位于图像对象的上方时发生。结果，当手指移动而分开时，拉近信号可被用于增加图像对象中的嵌入特征的尺寸，当手指捏在一起时，推远信号可被用于减小在对象中嵌入特征的尺寸。缩放一般在预定的边界内进行，例如显示器的周边、窗口的周边、图像对象的边沿等。嵌入特征可被形成在多层上，其中的每一个代表不同的缩放等级。
在大多数情况下，缩放量按照两个对象之间的距离而改变。此外，缩放一般基本上和对象的运动同时地进行。例如，当手指分开或闭合在一起时，对象在同时被拉近或推远。虽然这种方法针对缩放，应当注意，其也可以用于放大或缩小。缩放手势方法300在图形程序例如出版、照片和制图程序中是尤其有用的。此外，缩放可用于控制外围设备例如照相机，即，当手指分开时，照相机推远，当手指闭合时，照相机拉近。
图13A-13H表示使用上述方法的缩放顺序。图13A表示具有呈北美地图形式的图像对象364的显示，其中具有嵌入的可被缩放的层次。在一些例子中，如图所示，图像对象可位于构成图像对象364的边界的窗口内。图13B表示用户把手指置于北美368的上方，具体地说在美国370 (更具体地说加利福尼亚372)的上方。为了在加利福尼亚372上拉近，用户开始分开其手指366，如图13C所示。随着手指366的分开(检测到距离增加)，地图在北加利福尼亚上被放大，然后到北加利福尼亚374的一个特定区域，再到海弯区域376，再到半島378 (例如在旧金山和SanJose Area之间的区域)，再到位于旧金山和San Jose之间的San Carlos市区380，如图13D-13H所示。为了缩小San Carlos380并回到北美368，在上述的顺序之后，手指366闭合在一起，不过沿相反的方向。
围14表示按照本发明的一个实施例的扫视(pan)方法400。扫
25视手势可以在多点触摸屏上进行。扫视方法400在块402开始，在此 检测在触敏表面上同时存在至少第一对象和第二对象。至少两个对象 的存在可被配置用于表示触摸是手势触摸而不是基于一个手指的跟 踪触摸。在一些情况下，只存在两个手指表示触摸是手势触摸。在另 外一些情况下，两个以上的任何数量的手指表示触摸是手势触摸。实 际上，手势触摸可被配置使得在2个、3个、4个或更多个手指触摸 时都能操作，即使在手势期间数量改变，即，最少只需要两个手指。
在块402之后，该方法前进到块404，在此当对象一起在触摸屏 上移动时监视两个对象的位置。在块404之后，方法400前进到块406， 在此当两个对象的位置相对于初始位置改变时产生扫视信号。在大多 数情况下，手指的落下将把手指关联或锁定到在触摸屏上显示的特定 图像对象。典型地，当至少一个手指位于所述图像对象的位置上方时。 结果，当手指在触摸屏上移动时，扫视信号被用于沿手指的方向移动 图像。在大多数情况下，扫视量按照两个对象移动的距离而改变。此 外，扫视基本上和对象的运动同时发生。例如，当手指运动时，对象 同时随着手指运动。
图15A-15D表示基于上述的扫视方法400的扫视顺序。使用图 13A的地图，图15A表示用户把手指置于地图上方。在手指被定位之 后，手指366被锁定到地图。如图15B所示，当手指366垂直向上移 动时，整个地图364向上移动，借以使地图364的以前看得见的部分 被置于观看区域的外部，而以前看不见的部分被置于观看区域内。如 图15C所示，当手指366沿侧向水平移动时，整个地图364可以沿侧 向移动，借以使地图364的以前看得见的部分被置于观看区域的外部， 而以前看不见的部分被置于观看区域内。如图15D所示，当手指366 沿对角线方向移动时，整个地图364沿对角线方向移动，借以使地图 364的以前看得见的部分被置于观看区域的外部，而以前看不见的部 分被置于观看区域内。应当理解，地图364的运动跟随着手指366的 运动。这种处理和使一张纸沿着桌面滑动类似。手指施加在纸上的压 力把纸锁定到手指上，当手指在桌面上滑动时，这张纸随手指而运动。
26图16表示按照本发明一个实施例的转动方法450。转动手势可 以在多点触摸屏上进行。转动方法450在块452开始，在此检测同时 存在笫一对象和笫二对象。至少两个手指的存在可被配置用于表示触 摸是手势触摸而不是基于一个手指的跟踪触摸。在一些情况下，只存 在两个手指便表示触摸是手势触摸。在另一些情况下，两个以上的任 何数量的手指的存在表示触摸是手势触摸。还在另一些情况下，手势 触摸可被配置使得在2个、3个、4个或更多个手指触摸时都能操作， 即使在手势期间数量发生改变，即，在手势期间在任何时刻最少只需 要两个手指。
在块452之后，转动方法450前进到块454，在此设置每个手指 的角度。该角度一般相对于一个参考点被确定。在块454之后，该方 法前进到块456，在此当至少一个对象的角度相对于参考点改变时便 产生转动信号。在大多数情况下，手指的安放将使得把手指锁定或关 联到在触摸屏上显示的一个特定的图像对象。 一般地说，当至少一个 手指位于图像对象上的图像上方时，该图像对象便被锁定或关联到该 手指。结果，当手指转动时，便使用转动信号沿手指转动的方向(例 如顺时针、反时针)转动所述对象。在大多数情况下，对象的转动量 随手指的转动量而改变，即，如果手指转动5度，则对象也转动5度。 此外，转动一般基本上和手指的运动同时进行。例如，当手指转动时， 对象同时随手指转动。
图17A-17C表示基于上述的方法的转动顺序。使用图13的地图， 图17A表示用户把其手指366置于地图364的上方。在安放之后，手 指366便被锁定到地图364。如图17B所示，当手指366沿顺时针方 向转动时，整个地图364按照转动的手指沿顺时针方向转动。如图17C 所示，当手指366沿反时针方向转动时，整个地图364按照转动的手 指沿反时针方向转动。
应当注意，虽然图17A-17C所示使用拇指和食指作出转动手势， 也可以使用两个手指例如食指和中指作出转动手势。
此外，在某种特定应用中，不需要使用两个手指产生转动手势。例如，按照优选实施例并如图17D和17E所示，利用一个手指手势可
位)。具体地说，在检测到与可选的照片缩略图图标741有关的触摸， 并且其中触摸输入是手势，使得检测的触摸围绕缩略图的中心部分形 成转动的弧或放射状的弧时，则该输入被解释为用于使缩略图按照转 动的弧或放射状的弧的方向转动的指令。按照优选实施例，缩略图图 标的转动还可以使对应的文件对象改变方位配置。按照另一个实施 例，在照片管理的应用程序内，检测到转动手势将产生快移(snap) 指令，其使得照片缩略困朝向转动方向自动转动90度。
图18A和18B表示按照如图IO所示的本发明的示例的实施例通 过UI元件使用手势输入编辑媒体文件例如照片的另一个例子。具体 地说，如图18A所示，在可以打开以便编辑照片图像文件(例如JPEG 文件)752的照片编辑器环境750内，可以提供UI元件751，用于编 辑照片的各方面。UI元件751可以是一个水平滑动条，用于调节照片 的某个方面的水平。在图18A所示的例子中，UI元件751可以是用 于接收触摸手势的界面，用于调节照片的亮度。具体地说，当被跟踪 的手指触摸在条上向左移动时，亮度减小，而当跟踪的触摸在UI元 件上向右移动时，亮度增加。按照一个实施例，UI元件最好是半透明 的，以便用户可以看到在UI元件后面的照片的图像。在另一个实施 例中，在屏幕上被显示照片的尺寸可被减小，以为单独显示的UI元 件留出位置，其可以紧挨着位于被显示照片的下方。
图18B表示通过选择地使用 一个或多个落地点通过UI元件751 转换手势输入模式的能力。具体地说，如图18B所示，检测到在UI 元件751上的第二落地点将使操作模式从亮度调节转换到对比度调 节。在这个例子中，两个落地点向左或向右的运动将分别使得照片的 对比度减少或增加。检测到附加的落地点(例如3个或4个手指)也 可以被解释为用于转换其它操作模式的指令(例如缩放、色调调节、 伽马值调节等)。应当注意，虽然图18A，18B表示通过UI元件751 调节亮度和对比度，用户可对UI元件编程或者定制UI元件751，使得把落地点的数量解释为其它形式的採作模式。还应当注意，滑动条
UI元件751可以呈其它形式，例如虚的巻动轮。
图18C表示和上述的图18A，18B的特定例子相关的算法流程图。 具体地说，如图18C所示，在760在屏幕上输出UI元件751。如果 在761检测到手势输入触摸，则在762 - 765确定和该触摸相关的落 地点数量。在767-769根据检测到的落地点的数量，启动对应的操 作模式。 一旦合适的操作模式被启动，在770便检测落地点的跟踪， 以按照搮作模式在771实现对应的调节。应当注意，在编辑处理期间， 在任何时刻都能转换操作模式，因而如果在772检测到改变的落地点 的数量，则在762-764处理向回循环，以便启动新的操作模式。
图18D和18E表示使用上面说明的同 一个UI元件751通过输入 其它手势指令引起附加操作。具体地说，在调节显示照片的亮度的同 时，可以使用笫二手指实现拉近或推远操作。可以通过检测第二落地 点和在两个落地点之间的接近距离的改变来引起拉近和推远。按照上 面说明的以及困12所示的方法，两个落地点之间的距离改变可被解 释为拉近或推远操作。应当注意，按照一个实施例，如果检测到的第 二落地点和第一落地点之间的距离保持不变，则不引起缩放操作，在 这种情况下，手势将被解释为用于启动第二操作方式的输入(例如从 亮度调节改变为对比度调节，如图18A，18B所示)。
图19A，19B表示使用手势输入通过媒体文件(例如在照片编辑 器内显示照片文件)巻动的例子。具体地说，如图19A，19B所示，触 摸检测区域754可专用于巻动操作，借以使得在触摸屏750的显示的 照片752上手指的上下运动的手势可被解释为用于巻动到下一个照片 753的手势输入。按照优选实施例，不需要显示引起巻动操作方式的 UI元件，而是，检测到手指在触摸检测区域754内的向下滑动操作便 足以自动地引起巻动操作。按照另一个实施例，UI元件在屏幕上可以 虚的垂直滑动条被显示，以向用户指示已经启动了巻动操作，以及用 于继续巻动操作的触摸检测区域754的面积。
按照优选实施例，如果检测到的向下跟踪运动具有一个以上的落
29地点(例如两个手指滑动手势)，则滑动以2X速度进行，与上述的 关于在可巻动区域内引起巻动操作的方式类似。
图19C和19D表示另一种形式的UI元件，即虛拟巻动轮755， 用于接收手势输入以巻动照片显示。在本实施例中，可以通过利用一 个手指在照片上执行圓形触摸或者用3个手指向下触摸的简单的手势 来产生虚拟巻动轮。一旦出现虚拟巻动轮UI元件755，用户便可以"转 动"虚拟巻动轮以通过所述照片巻动。在这个特定的实施例中，巻动 的速度不由检测到的巻动轮755上的落地点的数量控制，而是由落地 点围绕虚拟巻动轮755的中心转动的速度控制。
图19E和19F表示在数字照相机780的显示屏781上图19A和 19B的构思。按照优选实施例，数字照相机780的显示屏781可以由 多触敏板构成，例如上面图2所示的多触摸板2。
图19E表示一个实施例，其中在数字照相机780的播放方式下， 检测到在触摸检测区域782内至少一个手指的垂直向下重击的手势输 入引起播放巻动操作，借以可显示下一张照片。按照另一个实施例， 在显示器781的任何部分上的向下手势输入将自动地引起巻动操作。
图19F表示图19E的一个可替代的实施例，其中需要检测两个 触摸以便产生播放巻动。具体地说，在向下触摸区域783的下触摸点 和沿着下触摸区域782上或附近的向下滑动输入的组合可以引起巻动 操作，以便显示下一个照片。应当注意，图19A到19E所述的方法不 形成特定因素，因为该方法可以在PC监视器、便携式监视器、数字 照相机或具有触摸屏的任何类型的装置上被实现。
图19G表示按照另 一个实施例可以在媒体文件(例如照片文件) 的播放期间输入的附加手势。具体地说，和图18A，18B所示的实施例 类似，借助于辨别在触摸敏感显示器上的落地点的数量(即手指的数 量)，可以不同地解释相同的运动。在本例中，用两个手指进行的垂 直落地点重击手势可被解释为用于删除照片文件、标记照片文件(例 如编辑相册)的手势，或任何其它有用指令。
图19H表示使用触敏显示器的其它指定UI区来检测其它附加的手势。在本例中，检测到在另一个指定区756的落地点可把解释为删 除、标记或其它有用的指令。按照一个实施例，多个落地点区可被显 示为所述照片文件的半透明的覆盖图。
应当注意，虽然图19表示沿垂直向下方向的重击手势，也可以 设想，沿垂直向上方向或沿水平方向的重击可被指定为相同指令的手 势输入。
图20表示用于实现图19A-19F的一种可能的算法。具体地说， 在第一步790,在触敏显示器上显示多张照片中的一张照片。如果在 791检测到在显示屏上的触摸，则在792确定该触摸是否是手势输入， 并在793接收手势输入的类型(例如向下跟踪的滑动操作、圆形跟踪 的转动操作等)。按照检测的手势输入，在794根据需要输出UI元 件(例如滑动条或垂直巻动轮)，此后在795产生对应于UI元件使 用或手势输入的採作。
应当注意，图18-20所述的方法也可以在视频环境内实现。具 体地说，在视频文件播放期间，可以产生并显示UI元件例如图18A 所示的水平滑动条，借以根据检测到的落地点的数量，启动用于改变 视频的某些可调节方面的操作方式，例如亮度、对比度等。与此同时， 也可以用类似方式实现图19A-19F所示的巻动和缩放方法，虽然代替 巻动，也可以进行重绕和快进操作。
使用在某些预先存在的控制元件上的手势输入可以实现视频文 件的附加的编辑/播放功能。按照优选实施例，借助于选择地缩小或扩 大播放时间线指示条，可以实现视频文件的非线性时间播放。具体地 说，图21A表示视频应用790(例如视频播放应用程序)和进展条792 一起显示视频播放791，其上播放队列793指示视频播放的时间进展。
按照优选实施例，播放队列793可以在进展条792上前后移动， 以反映视频的快进和重绕。播放队列可被保持在相同的位置，或者以 非线性速度被调整，以实现视频的可变速播放或暂停。按照优选实施 例，视频应用790可在触敏显示器上显示，播放队列793的位置可以 通过手501的手指在屏幕上显示的队列的位置对队列进行触摸而被操
31纵。即，播放队列793可作为进展指示器和用于控制视频播放的速度 和临时位置的UI元件。
按照优选实施例，整个进展条792可以作为UI元件，借以用户 可以借助于扩大或缩小进展条的一个或多个部分来实现视频的非线 性播放。具体地说，如图21B所示，UI元件进展条792可以通过两 个手指的拉近或推远手势(如上面参照图12所述)来操作。在图21B 所示的例子中，拉近手势引起在60分钟标记和80分钟标记之间播放 时间延长，在图21B所示的例子中，视频的播放速度成为非线性的，
以变慢。或者，在0和60分钟标记之间以及在80分钟标记之后的视 频的播放速度可被加速，而在60和80分钟标记之间的播放速度是标 准的。
图21C表示在视频应用790内显示的附加UI元件794。在本例 中，UI元件794可以是虚拟的巻动轮，借以用户能够进一步控制视频 的播放速度。和进展条792的操纵相结合，用户可以首先指定播放速 度被变慢的视频部分，因而用户可以使用巻动轮794进一步调整播放 队列793以控制视频的播放方向和/或速度。
图21D表示可以为编辑目的添加于视频应用790上的其它附加 触敏UI元件。例如，如图21D所示，滑动条UI元件796可被添加 用于检测用于引起水平调整的手势输入，例如扫视(pan)调整或亮 度、色度、对比度、伽马等类型的调整。和参照图18A-18E讨论的 UI元件751类似，滑动条UI元件796可用于通过改变在其上的落地 点数量引起不同的操作方式。
UI元件795也可以在视频应用7卯内便被显示，以实现视频的 声音编辑。具体地说，UI元件795可以包括多个音平调整，用于播放 不同的通道或与视频混和的声音或音乐。
按照优选实施例，视频应用790的用户可以定制被显示的UI元 件，并还可以额外地对UI元件编程以实现所需的功能。
图22A和22B表示用于实现参照图21A-21D所述的方法的示例算法800。具体地说，如图22A所示，在802,视频应用790可被启 动以提供视频播放和/或编辑。在803，进展条792被显示。在804如 果检测到进展条792上的触摸，则在805确定该触摸是拉近还是推远 指令。如果未检测到是拉近或推远的指令的触摸，则可以按照跟踪触 摸输入操纵播放队列。如果检测到的触摸是缩放手势，则被检测到该 触摸的所述进展条的部分可被操纵以按照所述手势输入进行扩大或 缩小。
如图22B所示，可以进行步骤808-810，以选择地分别显示附 加的UI元件，例如巻动轮、混声器、以及滑动条水平调整。在步骤 811 - 813可以检测触摸，此后可以调用合适的功能814 - 818。
图23表示用于操纵显示器和音频或音乐文件的记录的本发明的 另一个实施例。如图23所示，音乐应用830可以显示一对虛拟转盘 842和843，其上正在播放两个音乐记录834和835，这些记录是单个 记录或LP记录之一。记录834和835可以是数字音乐文件的图形表 示(例如歌曲A和歌曲B)，其通过音乐应用830正被播放。换句话 说，该记录可以是音乐文件的图形印刻，好象音乐文件被印刻在物理
记录上o
如同 一对物理转盘，唱针844和855可以是播放队列的图形图标 表示，其位置可以通过在触敏显示屏上触摸播放队列并把图标拖放到 图形记录上的所需位置来改变。唱针的移动将引起对应的歌曲的播放 点的跳跃，如同在物理的转盘上那样。
也如同一对物理转盘，可以由一个或多个手指触摸开始/停止按 钮838和839，从而引起歌曲再现的停止/暂停。速度改变条840和841 可被线性地调整，以控制歌曲的播放速度。窗口 831和833可以图形 地再现被再现歌曲的频率表示，同时窗口 832可以显示音乐应用832 的实际输出的频率表示，其可以简单地是一个正被再现的歌曲，或者 是歌曲的混和/组合。混和/摇摄(pan)条850可被操纵，以便调制或 解调正被再现的两个歌曲。
在歌曲再现期间，记录834和835可以类似于物理记录被操纵。例如，记录的快回和快进可以引起记录"损伤"的声音效果，如同盘採 作员经常在物理转盘上进行的那样。
应当注意，上迷的方法可以在相同的手势触击期间同时被实现。 即，在手势触击期间，可以进行选择、跟踪、缩放、转动和扫视，其 可以包括散开、转动和滑动手指。例如，在至少两个手指安放之后， 被显示的对象(地图)可以和该两个手指相关联或者被锁定于该两个 手指。为了缩放，用户可以散开或闭合其手指。这些操作的每一个可 以在连续运动中同时发生。例如，用户可以散开和闭合其手指，同时 在触摸屏上转动和滑动手指。或者，用户可以对这些运动中的每一个 进行分段，而不必使手势触击复位。例如，用户可以首先散开其手指， 然后转动该手指，然后闭合该手指，然后滑动该手指等等。
还应当注意，不必总是使用人的手指实现手势输入。在可能的情 况下，使用点击装置例如铁笔实现手势输入也就足够了。
包括和UI元件(例如虚拟的巻动轮)进行交互作用的可被用作
用于实现界面指令的手势触击的附加例子在共同在审的申请号为
10/卯3964、美国专利公开号为US2006/0026521以及申请号为 11/038590、美国专利乂>开号为US2006/0026535的未决专利申请中描 述了，这些专利申请的全部内容通过引用被包括在此。
不脱离本发明的范围和构思，本领域技术人员可以作出许多改变 和改型。因此，必须理解，所提出的实施例仅仅是一些例子，而不应 当用于限制如权利要求限定的本发明。例如，虽然其中针对个人计算 装置说明了本发明的实施例，应当理解，本发明不限于台式计算机或 便携式计算机，而是可以应用于其它的计算应用例如移动通信设备、 独立的多媒体再现装置等。
本说明使用的用于描述本发明及其各个实施例的词语应当理解 为不仅包括其通常定义的意义，而且还包括在通常定义的意义之外的 由在本说明的结构、材料或操作中的特殊的定义。因而，如果一个元 件在本说明的上下文中可被理解为包括一个以上的意义，那么在权利 要求中其使用必须理解为由说明书和该词语本身支持的所有可能的意义。
因此，下面权利要求的词语或元件的定义被在本说明中定义了， 其不仅包括字面上提出的元件的组合，而且包括用于以基本相同的方
^t料或操作。^这个意义上，对于在下面5权利要求中的任何一个元件， 可以设想，可以作出两个或多个元件的等效替代物，或者可以用一个
元件替代权利要求中的两个或两个以上的元件。
在本领域普通技术人员看来，对于权利要求的主题的非实质的改
变，现在已知的或者以后想出的，都应当认为被包括在权利要求的范 围内。因此，对于本领域普通技术人员，现在已知的或者以后已知的 各种替代方案，都应当被限定在被定义的权利要求的元件的范围内。
因而，权利要求应当被理解为包括上面具体说明和描述的、在构 思上等效的、以及显然可被替代的技术方案。例如，权利要求中提及 的术语"计算机"或"计算机系统"应当至少包括台式计算机、便携式计 算机、或任何移动计算装置例如移动通信装置(例如蜂窝电话或
Fi/Skype电话、电子邮件通信装置、个人数字助理装置)，以及多媒 体再现装置(例如iPod，MP3播放器，或任何数字困形/光学再现装置)。
权利要求1. 一种手持移动通信装置，其特征在于包括触敏显示屏；用于引起所述显示屏显示媒体文件的一段的装置，所述媒体文件包括文本项和图形项中的至少一个；用于检测在所述显示屏的表面上的触摸卷动输入的装置，所述触摸卷动输入包括在所述显示屏的表面上的人的手指的落地点，所述落地点对应于显示所述媒体文件的所述一段的所述显示屏上的位置；用于检测在所述显示屏上所述人的手指落地点的拖拉运动的装置，所述拖拉运动跨越正被显示的所述媒体文件的所述一段的一部分，并包括垂直的和水平的矢量分量；用于确定所述手指落地点的所述拖拉运动以指示卷动操作的装置；用于使所述媒体文件在所述显示屏上卷动的装置，其中所述卷动被限制于垂直和水平方向之一。
2. 如权利要求1所述的手持移动通信装置，还包括用于从初始巻 动速度逐渐减少所述巻动的速度直到停止所述巻动的装置。
3. 如权利要求1所述的手持移动通信装置，还包括 用于检测在所述显示屏上第二人手指落地点的装置，所述第二人手指落地点在媒体文件在所述显示屏上巻动期间被检测；以及用于响应所述第二人手指落地点的检测使所述媒体文件的巻 动立即停止的装置。
4. 一种手持移动通信装置，其特征在于包括 触敏显示屏；用于使所述显示屏显示媒体文件的一段的装置，所述媒体文件包括文本项和图形项中的至少一个；用于检测在所述显示屏的表面上的触摸巻动输入的装置，所述触 摸巻动输入包括在所述显示屏的表面上的人的手指落地点，所述落地点对应于显示所迷媒体文件的所述一段的显示屏上的位置；用于检测在所述显示屏上人的手指落地点的拖拉运动的装置，所述拖拉运动跨越正被显示的媒体文件的所述一段的一部分；用于检测所述人的手指落地点的拖拉运动的方向的装置，其中所述拖拉运动的方向包括垂直分量矢量和水平分量矢量；以及用于使所述媒体文件在所述显示屏上按照检测的拖拉运动的方向巻动的装置。
5. 如权利要求4所述的手持移动通信装置，还包括用于从初始巻 动速度逐渐减少所述巻动的速度直到停止所述巻动的装置。
6. 如权利要求4所述的手持移动通信装置，还包括 用于检测在所述显示屏上第二人手指落地点的装置，所述第二人手指落地点在所述媒体文件在所述显示屏上巻动期间被检测；以及用于响应所述第二人手指落地点的检测使所述媒体文件的巻动 立即停止的装置。
专利摘要一种手持移动通信装置，包括触敏显示屏；用于引起所述显示屏显示媒体文件的一段的装置；用于检测在所述显示屏的表面上的触摸卷动输入的装置，所述触摸卷动输入包括在所述显示屏的表面上的人的手指的落地点，所述落地点对应于显示所述媒体文件的所述一段的所述显示屏上的位置；用于检测在所述显示屏上所述人的手指落地点的拖拉运动的装置；用于确定所述手指落地点的所述拖拉运动以指示卷动操作的装置；用于使所述媒体文件在所述显示屏上卷动的装置。本实用新型解决了在触摸/接近敏感装置上人手的手势输入可以用来控制、编辑和处理文件的技术问题。本实用新型用于在计算装置或系统上管理和编辑媒体文件。
文档编号G06F3/048GK201266371SQ20082000220
公开日2009年7月1日 申请日期2008年1月4日 优先权日2007年1月5日
发明者格雷格·克里斯蒂 申请人:苹果公司