具有多重触摸输入的便携式电子设备的制作方法

专利名称：具有多重触摸输入的便携式电子设备的制作方法
技术领域：
本公开实施例涉及使用了多重触摸敏感显示器的用户界面。
背景技术：
随着便携设备越来越小型化，以及所要处理和存储的信息量的增 长，目前，设计出允许用户易于与设备交互的用户界面成了一个很大 挑战。然而，由于用户界面不但是用户用以接收内容的途径，而且它 还对包括用户尝试访问设备功能部件或工具在内的用户操作或行为 做出响应，因此，这种设计的效果并不是很好。某些便携式电子设备 (例如移动电话)采取了添加更多按钮，过载按钮功能或是使用复杂 菜单系统的手段来允许用户访问、存储和操控数据。这些常规用户界 面往往导致产生需要用户记忆的复杂按键序列和菜单分级。实际上， 某些按键序列过于复杂，以至于需要两只手来完成。
相应地，目前需要一种用于便携设备的更为简单和直观的用户界 面，其中该用户界面允许用户访问、存储和操控图形对象及数据，而 不用记忆按键序列或茱单分级。

发明内容
上述缺陷和与用于便携式电子设备的用户界面相关联的其他问 题是通过所公开的便携式电子设备来减少或消除的，其中该便携式电 子设备使用了多重触摸输入来检测一个或多个接触和/或运动。该设备 根据一个或多个用户接触和/或运动对图形对象执行一个或多个操作。
在某些实施例中， 一种用于在便携式电子设备中检测多重触摸输
入的方法包括在便携式电子设备的显示器表面上显示对象；检测与
该对象相关联的多重触摸输入，根据多重触摸输入确定要对该对象执
行的操作；以及对该对象执行操作。在对该对象执行操作时，该对象 可以具有低于预定阈值的分辨率，而在其他时间，该对象可以具有大 于预定阈值的分辨率。
在某些实施例中， 一种便携式电子设备包括多重触摸敏感显示 器以及一个或多个处理器，其中所述一个或多个处理器与多重触摸敏 感显示器相耦合，以便检测与多重触摸敏感显示器相接触的用户的两 个或更多手指的运动。检测到的运动被用于确定要对在该多重触摸敏 感显示器上呈现或显示的对象执行的操作。在对该对象执行操作时， 该对象可以具有低于预定阈值的分辨率，而在其他时间，该对象可以 具有大于预定阈值的分辨率。
在某些实施例中， 一种便携式电子设备包括多重触摸敏感显示 器。检测器与该多重触摸敏感显示器相耦合，并且被适配成检测与该 多重触摸敏感显示器相接触的用户的两个或更多手指的运动。与该检 测器相耦合的一个或多个处理器可以被配置成根据检测到的运动来 确定要对在多重触摸敏感显示器上呈现的对象执行的操作，以及对该 对象执行操作。在对该对象执行操作时，该对象可以具有低于预定阈 值的分辨率，而在其他时间，该对象可以具有大于预定阚值的分辨率。
在某些实施例中， 一种使用多重触摸敏感显示器来调整参数的方 法包括检测多重触摸敏感显示器的显示器表面上的一个或多个接 触；在接触位置显示至少一个图形对象；检测与一个或多个接触相关
联的运动；根据该运动来调整该对象的至少一个参数；以及检测至少 一个丢失的接触。响应于检测到丢失的接触，保存参数的当前值并且 启动定时器。响应于在重新建立接触之前定时器超出阈值，从显示器 表面上移除该图形对象。响应于在定时器超出阈值之前重新建立接 触，在显示器表面上保持该图形对象的显示。 一个或多个接触的运动 将被再次检测，并且根据检测到的运动来调整参数。
在某些实施例中， 一种用于在便携式电子设备上显示网页的方法 包括接收网页；自动缩放该网页，以便在显示器窗口中显示整个网 页；接收第一触摸输入；响应于第一触摸输入，激活网页以及网页中
的至少一些字段或链接；接收第二触摸输入以及响应于第二触摸输 入，对网页执行操作。当对该网页执行操作时，该网页可以具有小于 预定阈值的分辨率，而在其他时间，该网页可以具有大于预定阈值的 分辨率。
在某些实施例中， 一种使用多重触摸敏感显示器来调整参数的方
法包括在多重触摸敏感显示器设备的显示器表面上检测一个或多个 第一接触；检测与手势对应并且与一个或多个第 一接触相关联的第一 运动；根据该第一运动来调整至少一个参数；检测一个或多个第一接 触的中断；检测显示器表面上的一个或多个第二接触；检测与一个或
多个第二接触相关联的第二运动，其中该第二运动对应于该手势；以 及根据第二运动来调整至少一个参数。
在某些实施例中， 一种方法包括在便携式电子设备的触摸屏显 示器中显示图形对象(例如网页)，其中下采样数据被用于显示对象； 检测与该对象相关联的多重触摸输入；根据多重触摸输入确定要对该 对象执行的操作；对该对象执行操作；通过使用下采样数据来实时显 示该操作所导致的对象改变；以及在操作之后结合下采样数据来显示 该对象。
前述方法可以由便携式电子设备执行，其中该便携式电子设备具 有附带了图形用户界面(GUI)的触摸敏感显示器、 一个或多个处理 器、存储器以及保存在存储器中用于执行这些方法的一个或多个模 块、程序或指令集。在某些实施例中，该便携式电子设备提供了包括 无线通信在内的多种功能。
用于执行前述方法的指令可以包含在被配置成由一个或多个处 理器执行的计算机程序产品中。


为了更好地理解本发明的上述实施例及其附加实施例，以下将会 结合下列附图来参考关于这些实施例的描述，在附图中，相同的附图 标记在所有附图中指示相应的部分。
图1是对多重触摸输入做出响应的便携式电子设备的一个实施 例的例示。
图2是用于图1所示的便携式电子设备的接触/运动检测处理流 程的一个实施例的流程图。
图3是对用于参数调整的多重触摸输入做出响应的便携式电子 i殳备的 一个实施例的例示。
图4A是参数调整处理流程的一个实施例的流程图。 图4B是参数调整处理流程的一个实施例的流程图。 图5是具有万维网浏览器的便携式电子设备的一个实施例的例示。
图6A描述的是使用图5所示的万维网浏览器的缩放操作的一个 实施例。
图6B描述的是在万维网浏览器中激活的虚拟键盘的一个实施例。
图7是万维网浏览器处理流程的一个实施例的流程图。
图8是便携式电子设备架构的一个实施例的框图。
图9是多重触摸敏感显示器系统架构的一个实施例的框图。
具体实施例方式
现在将会详细参考附图中举例描述的实施例。为了全面理解本发 明，在以下详细描述中阐述了众多具体细节。但是，本领域普通技术 人员应该清楚了解，本发明是可以在没有这些具体细节的情况下实现 的。在其他实例中并未详细描述公知的方法、过程、组件和电路，以 免不必要地混淆实施例特性。
首先将注意力放在包括便携式通信设备在内的便携设备的实施 例上，其中该设备具有通过使用多重触摸输入来检测一个或多个接触 和/或运动的用户界面。这种设备4艮据一个或多个用户接触和/或运动 来对图形对象执行一个或多个操作。
多重触摸输入操作概述
图1是对多重触摸输入进行响应的便携式电子设备100的一个实 施例例示。该设备100包括具有图形用户界面(GUI) 102的多重触 摸敏感显示器。该显示器表面是透明的，由此允许将各种图形对象显 示给用户(例如网页)。在某些实施例中，GUI 102可以被分成多个 部分或窗口。例如，GUI102可以包括用于保持代表了常用功能(例 如电子邮件、地址薄、浏览器、音乐等等)的图形对象的托盘(tray) 106。该GUI 102还可以包括用于操控图形对象，显示和操作网页， 读取消息、文本或数据以及输入信息的窗口 104。在GUI102上，通 过按下菜单按钮，可以显示和改变各种显示。在移动电话实施例中， 在GUI102上可以显示表示传统的语音和数据服务操作(例如桂起、 清除等等)的专用图形对象。
用户可以使用各种单指手势或多指手势来操控GUI 102中的一 个或多个图形对象112。这里使用的手势是一个与触摸屏显示器表面 相接触的物体/附件的运动。可以使用一个或多个手指来对在GUI102 中呈现的一个或多个图形对象112执行二维或三维操作，并且这些操 作包括但不局限于放大、缩放、扩展、最小化、重新调整大小、旋转、 滑动、打开、关闭、聚焦、转动、重排序、激活、停用以及其他任何 可以对图形对象执行的操作。在某些实施例中，该手势指示了以直观 方式关联于手势的操作。例如，用户可以将食指108和拇指110 (没 有按比例绘制)放在图形对象12的两侧、边缘或边角，并且通过一 起或分离移动食指108和拇指110来分别执行收聚(pinching)或反 收聚(anti-pinching )手势。这种手势指示的操作将会导致图形对象 112的维度改变。在某些实施例中，收聚手势将会导致图形对象112 的尺寸在所收聚的维度上减小。而在某些实施例中，收聚手势则会导 致图形对象112的尺寸在所有维度上按比例减小。在某些实施例中， 反收聚或去收聚(de-pinching)移动将会导致图形对象112的尺寸在 被执行了反收聚的维度上增大。在图1中，用户的食指108和拇指110 被用于反收聚或扩展方形图形对象112的侧面，由此如虛线114和116 所示，这样做将会导致对象112的x维度增大。在其他实施例中，反
收聚或去收聚移动将会导致图形对象尺寸在所有维度上增大(例如在
x和y维度上按比例放大)。
在某些实施例中，图形对象112是以大于预定分辨率(例如触摸 屏分辨率的一半或四分之一)的分辨率来显示的。在根据操作来修改 图形对象112的显示时，这时可以用低于预定阈值的分辨率来显示该 图形对象112。在处理速度有限的便携设备上，通过在操作过程中以 较低分辨率来进行显示，可以允许在只有少量或者没有可察觉的滞后 时间的情况下看到针对该对象所进行的改变，由此可以使用户界面更 好响应用户输入。
很明显，可以使用任意数量和/或组合的手指来操控图形对象， 并且本公开实施例并不局限于任何特定数量或组合。例如，在某些实 施例中，用户可以通过放置多个手指与显示器表面102接触以及在所 有方向向外展开手指来放大对象。在其他实施例中，用户可以通过抓
取对象的边角、侧面或边缘以及执行去收聚或收聚动作来扩大或最小 化对象。在某些实施例中，用户可以通过在显示器表面102上轻敲一
个或多个手指来聚焦或者放大特定对象或一部分对象。
在某些实施例中，当用户与所要操作的图形对象直接接触时，这
时将会发生接触。在其他实施例中，当用户接触所要操作的图形对象
附近时，这时将会发生接触。后一种技术与结合网页以及其他计算机
用户界面所使用的"热点"技术相类似。 濕/适微舰理絲
图2是用于图1所示的便携式电子设备100的接触/运动检测处 理流程200的一个实施例的流程图。虽然在下文中描述的接触/运动检 测处理流程200包含了很多按照特定顺序出现的操作，但是很明显， 这些处理可以包括更多或更少的操作，并且这些操作既可以按顺序执 行，也可以并行执行(例如使用并行处理器或多线程环境)。
处理流程200是以检测与显示器表面102的接触为开始的(202 )。 一旦检测到接触，则对接触的数量加以确定(也就是与显示器表面相 接触的手指的数量)(204)。如果检测到运动(206)，则根据接触
数量以及运动类型来选择一个或多个操作(210)，例如旋转、扭转、 滑动或收聚手势。然后，在相关联的图形对象上执行选定的操作 ("2)。该操作可以根据运动和接触的任何组合或序列而被选择， 包括但不局限于在图形对象上或是其附近旋转或扭转手指，滑动手 指，快速重复接触显示器表面，收聚、反收聚手势等等。如果没有检 测到运动(206)，则仅仅根据接触数量来选择操作(206),以及对 相关联的图形对象执行操作(步骤212)。 參炎鏍整
图3是对用于参数调整的多重触摸输入做出响应的便携式通信 i殳备100的一个实施例例示。该实施例可以用于控制应用中的一个或 多个参数，例如媒体播放器或移动电话的音量控制。在某些实施例中， 图形对象300是响应于与显示器表面102进行的一个或多个接触而出 现的。该图形对象300可以是旋钮、开关、 一个或多个按压按钮或是 其他任何通常与电子或计算机设备结合使用的可辨认控制器。在某些 实施例中，用户可以将一个或多个手指(例如食指108和拇指110) 放在图形对象300之上或是其附近的一个或多个位置，并且通过产生 手势来调整所要控制的参数。举个例子，如果图形对象300是一个旋 钮，那么用户可以将一个或多个手指沿该旋钮的圆周放置，并且在顺 时针或逆时针方向上执行旋转或扭转运动，以便对参数进行调整。
在媒体播放器应用中，当用户执行特定类型的接触(例如三指或 四指接触)时，这时在显示器表面102上，图形对象300将会出现在 接触点上或是接触点附近。然后，用户可以通过执行扭转操作来调整 歌曲或其他音频来源的参数(例如音量，无线电调谐器，均衡)。在 某些实施例中，图形对象300是动画形式的，由此对象将会显现成是 以与用户执行的扭转手势同步的方式来转动的。在某些实施例中，在 显示器表面102中可以添加一个或多个附加图形302 (例如直方图) 或文本，由此用户可以确定所要调整的参数的值。
在某些实施例中，用户可以通过增大或减小施加于接触位置的压 力量来调整参数。例如在媒体播放器应用中，当用户与显示器表面102
14
接触时，这时可以显示无线电广播界面的图形对象300。该无线电广 播界面可以包括用于改变无线电台的查找按钮。然后，用户可以通过
按下查找按钮来改变无线电站。查找速度可以根据用户施加在查找按 钮上的压力量或是与查找按钮的接触持续时间来调整。
参数调整处理流程
图4A是参数调整处理流程400的一个实施例的流程图。虽然下 文中描述的参数调整处理流程400包含了很多按照特定顺序出现的操 作，但是很明显，这些处理可以包括更多或更少的操作，并且这些操 作既可以按顺序执行，也可以并行执行(例如使用并行处理器或多线 程环境)。
在调整某个参数(例如参考图3描述的音量控制旋钮)时，这时 有可能出现用户失去与显示器表面102的接触的情形。例如，在组合 的媒体播放器/移动电话设备中，用户有可能会在调整曲目音量时接收 到呼叫。在用户结束呼叫之后，他或她有可能希望继续调整音量。与 从显示器表面102 (图3)中移除图形对象300 (图3)不同，该图形 对象30(J (图3)可以留在显示器表面102 (图3)上，并且在预定时 段中保持其当前状态。该时间量可以作为可从菜单系统访问的首选项 窗格或窗口中的选项由用户来进行设置。
在某些实施例中，上述功能可以使用参数调整处理流程400来实 现。该处理流程400是以在显示器表面上检测到N个接触为开始的
(402)。当检测到N个接触时，在该显示器表面上，在接触点之上 或是其附近呈现一个或多个图形对象(404)。然后，用户被允许通 过在接触点上或是其附近执行手势来调整参数。如果检测到运动
(406)，则根据该运动来调整参数(408)。该图形对象可以是动画 形式的，由此模拟该运动以及向用户指示该参数正被调整。如果丟失 N个接触中的一个或多个接触(410)，那么该参数的当前值或状态 将被保存，并且将会启动一个定时器(412)。如果该定时器在重新 建立接触之前超出阈值时间(414)，则从显示器表面上移除该图形 对象，并且保存该参数的当前值。如果在定时器超出阈值时间之前重
新建立接触，那么该图形对象将会保留在显示器表面，由此允许用户从在操作408中计算的最后一个值开始继续调整参数。
图4B是参数调整处理流程450的一个实施例的流程图。虽然下 文中描述的参数调整处理流程450包含了很多按照特定顺序出现的操 作，但是很明显，这些处理可以包括更多或更少的操作，并且这些操 作既可以按顺序执行，也可以并行执行(例如使用并行处理器或多线 程环境)。
在调整某个参数时(例如放大或定向所显示的图形对象)，这时 有可能出现用户无意中失去与显示器表面102的接触的情形。例如， 用户有可能希望通过执行两次或多次的多重触摸手势来调整参数。该 手势可以包括重复运动，例如旋转(例如与旋转旋钮相对应)或去收
聚(其中用户将其手指合在一起来进行接触，然后分别移动手指)。 例如，用户可以进行接触，执行手势，中断接触，再次进行接触，以 及再次执行手势。这个序列可以重复多次。针对所显示的图形对象所 进行的调整可以依照手势来进行。在某些实施例中，如果在中断接触 与再次取得接触之间经过的时间低于预定值或时间间隔，那么，通过 应用或使用与这种重复手势相对应的操作，可以修改所显示的图形对 象。
在某些实施例中，上述功能可以使用参数调整处理流程450来实 现。该处理流程450是以在显示器表面上检测到N个接触为开始的
(402 )。用户通过在图形对象之上或是其附近执行手势来调整与图 形对象相关联的参数。如果检测到运动(406)，则根据该运动来调 整参数(408)。该图形对象可以是动画形式的，由此可以模拟运动， 并且向用户指示该参数正被调整。如果在N个接触中有一个或多个接 触丢失(410)，并且定时器在重新建立接触之前超出了阈值时间
(414)，那么即使检测到附加的N个接触，用于该图形对象的参数 也可以保持不变。如果在N个接触中有一个或多个接触丢失(410)， 并且在重新建立接触之前定时器低于阈值时间(414)，那么可以根 据后续检测到的运动来调整该参数(408)。在其他实施例中，定时器操作(414)可以从参数调整处理流程450中移除。
在某些实施例中，通过使用定时器，可以允许修改用于图形对象 的参数，而不需要在N个接触中具有不必要的精度。举个例子，如果 使用了多个手势来改变参数，那么用户将很难在多个实例中校准N个 接触。应该理解的是，通过4吏用定时器，在阈值时间以内，处于N个 先前接触附近的N个接触将会对应于相同的相应图形对象。由此，后 续手势可以用于修改相应图形对象的参数。
在某些实施例中，参数变体可以是所述N个接触在该手势期间 的位移的非线性函数。例如，幅度和/或方位变化可以是旋转和/或去 收聚手势的指数函数。这样做可以允许用户在不执行多个手势的情况 下或是通过使用较少手势来修改图形对象，其中与作为所述N个接触 在手势期间的位移的函数的参数线性变体相比，使用的手势相对较
图5是具有万维网浏览器的便携式电子设备的一个实施例例示。 在某些实施例中，在显示器表面102上显示的是完整网页500的缩小 比例的版本。这样做允许用户查看网页的全部内容。用户可以使用一 个或多个手指手势或轻敲而对网页502的一部分进行缩放。在某些实 施例中，用户可以通过轻敲网页500的一部分或者通过在所要缩放的 部分附近或是其上执行去收聚手势来对网页500的一部分进行缩放。 在某些实施例中，用户可以选择缩小按钮或是显示器表面102上给出 的其他机构504，或者可以执行不同的手势或轻敲序列(例如通过收 聚来缩小)，以便从网页500的一部分开始缩小。在某些实施例中， 其中可以4吏用预定的网页手势来激活网页500，例如单击或双击。当 网页500变为活动时，网页500中包含的任何链接、文本输入字段、 下拉菜单、复选框等等将会处于活动状态。在某些实施例中，如果将 网页500指定为"只读"，那么可以显示和缩放该网页，但是该网页不 能与用户进行交互(例如无法点击或以其他方式激活页面中的链接)。
在某些实施例中，网页500是以大于预定分辨率(例如触摸屏分
辨率的二分之一或四分之一)的分辨率来显示的。当依照诸如放大之
类的操作来修改网页500的显示时，这时可以使用低于预定阈值的分 辨率来显示网页500。
在某些实施例中，在使用网页500的先前下采样数据(down sample data )(也就是使用在拉近或放大对象之前下采样的网页数据 (更概括地说则是对象))来执行拉近或放大处理时，网页500被显 示。由此，在放大期间，所显示的图像有可能会像素化(pixelated)。 网页500可以以与放大之后的最终放大率相对应的较高分辨率重新提 供。在某些实施例中，在缩小或取消放大时，网页500的分辨率可以 下采样。该缩放操作可以是一个或多个手势和/或一个或多个轻敲的非 线性函数。例如，放大率的变化可以是与一个或多个手势和/或一个或 多个轻敲相对应的一个或多个位置或是一个或多个运动范围的非线 性函数。
图6A描述的是使用了图5所示的万维网浏览器的缩放操作的一 个实施例。在处于缩放模式时，用户可以使用多重触摸在多个方向上 浏览网页500。在图6A中，用户对网页500的一个部分502进行放 大，并且可以通过在期望方向沿着显示器表面102滑动手指(在图6A 中并没有按比例绘制)来改变窗口 104中显示的网页部分。举个例子， 如果用户在窗口 104中朝着设备IOO的顶部滑动手指，那么网页500 将会在该方向移动，由此显示先前处于视图以外的网页500的较低部 分(先前在窗口 104中并未显示)。在某些实施例中，网页500移经 窗口 104的速度可以由手势的速度或频率来确定。例如，行进中的手 指手势有可能导致网页500依照用户沿着显示器表面102游动其手势 的速度来移动。在某些实施例中，用户可以通过使用一个或多个手指 一次或多次轻敲链接600或"热点"来将其激活。在其他实施例中，如 参考图6B所描述的那样，用户可以通过轻敲显示器表面102来激活 虚拟键盘或其他输入设备。
图6B描述的是在万维网浏览器中激活的虚拟键盘602的一个实 施例。响应于用户触摸输入(例如轻敲)，在显示器表面102的窗口
18
104中将会显示一个虛拟键盘。在某些实施例中，该键盘602是一个 可以使用一个或多个手指而被调整大小、最小化、往上还原或往下还 原、或是在显示器表面102周围移动的图形对象。该键盘602可以用 于将数据输入那些通常在网页中发现的对话框或其他文本输入字段。 当用户键入软按键时，键入的输入将被显示给用户，以便用于验证和 编辑。在某些实施例中，每一个软按键将会改变外观，以便指示其何 时变为活动。例如，当用户手指接近按鍵位置时，该按鍵可以放大、 改变颜色、振动或是变为高亮显示。在某些实施例中， 一旦激活某个 按键，那么其他按键将被锁定，以便防止因为疏忽而造成的输入。当 选择了某个按键时，该特征将会为用户提供虚拟提示，由此减少因为 疏忽地按下相邻按键所导致的输入错误。用户可以通过轻敲显示器表
来从显示器表面中移除虚拟键盘602。 万舉^浙f器^理;《程
图7是用于结合图6A和6B所描述的万维网浏览器的万维网浏 览器处理流程700的一个实施例的流程图。虽然下文中描述的接触/ 运动检测处理流程700包含了很多按照特定顺序出现的操作，但是很 明显，这些处理可以包括更多或更少的操作，并且这些操作既可以按 顺序执行，也可以并行执行(例如使用并行处理器或多线程环境)。 响应于多重触摸输入，设备接收来自服务器的网页(702)。然后， 该网页将会按比例缩放，以便匹配在显示器内(例如窗口104内部) (704)。设备100等待用于指示用户意图放大网页中的某一部分的 用户输入，例如去收聚手势(706)。根据接收到的输入，确定浏览 器操作(708)，并且设备100执行该浏览器操作(710)。
便^F式电f设务束游
图8是便携式电子设备架构的一个实施例的框图。 一般来说，便 携式电子设备800包括 一个或多个计算机可读介质802，处理系统 804，输入/输出(I/O)子系统806，射频(RF)电路808以及音频电 路810。这些组件可以通过一条或多条通信总线或信号线路803耦合。
设备800可以是任何便携式电子设备，包括但不局限于手持式计算机、 平板计算机、移动电话、媒体播放器、个人数字助理(PDA)等等， 此外还包括这其中的两个或多个物品的组合。
很明显，图8所示的架构仅仅是用于便携式电子设备800的架构 的 一个实例，并且设备800可以具有比所示组件更多或更少的组件， 或者可以具有不同的组件配置。图8所示的各种组件可以用硬件、软 件或软硬件组合的方式实施，包括一个或多个信号处理和/或专用集成 电路。RF电路808被用于在连至一个或多个其他设备的无线链路或 网络上发送和接收信息，并且包含用于执行该功能的公知电路，其中 该电路包括但不局限于天线系统、RF收发信机、 一个或多个放大器、 调谐器、 一个或多个振荡器、数字信号处理器、CODEC芯片组、存 储器等等。在某些实施例中，RF电路808能够使用一种或多种通信 协议来与其他设备建立和保持通信，其中该协议包括但不局限于时分 多址(TDMA)、码分多址(CDMA)、全球移动通信系统(GSM )、 增强型数据GSM环境(EDGE )、宽带码分多址(W-CDMA ) 、 Wi-Fi (例如IEEE 8t)2.11a、 IEEE 802.11b、 IEEE 802.11g和/或IEEE 802.11n)、蓝牙、Wi-MAX、借助网际协i义的语音传输(VoIP)、 用于电子邮件、即时消息传递和/或短消息服务(SMS)的协议、或是 其他任何适当的通信协议，包括在本文提交日尚未开发完成的通信协 议。
RF电路808和音频电路810经由外i殳接口 816耦合到处理系统 804。接口 816包括用于在外设与处理系统804之间建立和保持通信 的各种已知组件。音频电路810与音频扬声器840以及麦克风842相 耦合，并且包含了用于对从接口 816接收而使用户能与其他用户实时 通信的语音信号进行处理的已知电路。在某些实施例中，音频电路810 包括头戴式耳机插孔(未显示)。RF电路808以及音频电路810接 收的语音和数据信息(例如在语音识别或语音命令应用中)将会经由 接口 816而被发送到一个或多个处理器818。所述一个或多个处理器 818被配置成对用于一个或多个应用程序830的各种数据格式进行处
20理。
应该指出的是，术语"数据"包括但不局限于可供保存在介质802 上的一个或多个应用830 (例如万维网浏览器、电子邮件等等)使用 的文本、图形、网页、JAVA程序、窗口小部件(widget)、电子邮 件、即时消息、语音、数字图像或视频、窗口小部件、MP3等等。在 某些实施例中，设备800能够经由无线网络或外部端口 836来上载和 下载来自因特网的各种数据，例如文件、曲目、数字图像、视频、电 子邮件、窗口小部件、即时消息等等。
外设接口 816将设备的输入和输出外设耦合到处理器818以及计 算机可读介质802。所述一个或多个处理器818经由控制器820而与 一个或多个计算机可读介质802进行通信。该计算机可读介质802可 以是能够存储可供一个或多个处理器818使用的代码和/或数据的设 备或介质。该介质802可以包括存储器分级，包括但不局限于緩存器、 主存储器以及辅助存储器。该存储器分级可以使用RAM(例如 SRAM、 DRAM、 DDRAM) 、 ROM、 FLASH、磁和/或光学存储设 备的任何组合来实现，其中举例来说，所述磁和/或光存储器设备可以 是盘驱动器、磁带、CD (紧凑型盘)以及DVD (数字视频盘)。介 质802还可以包括用于传送用以指示计算机指令或数据(具有或不具 有调制了信号的载波)的承载信息的信号的传输介质。例如，该传输 介质可以包括通信网络，并且包括但不局限于因特网(也被称为万维 网)， 一个或多个内部网，局域网(LAN)，广域网(WAN)、存 储区域网(SAN)、城域网(MAN)等等。
所述一个或多个处理器818运行保存在介质802上的各种软件组 件，以便执行设备800的各种功能。在某些实施例中，软件组件包括 操作系统822，通信模块(或指令集)824，接触/运动模块(或指令 集)826，图形模块(或指令集)828, —个或多个应用(或指令集) 830，定时器模块(或指令集)832，以及网页浏览器模块(或指令集) 834。
操作系统822 (例如Darwin、 RTXC、 LINUX、 UNIX、 OS X、
WINDOWS或是Vxworks之类的嵌入式操作系统)包括用于控制和 管理常规系统任务(例如内存管理、存储设备控制、电源管理等等) 以及有助于各种软硬件组件之间通信的各种过程、指令集、软件组件 和/或驱动器。
通信模块824为经由 一个或多个外部端口 836与其他设备进行通 信提供便利，并且它还包括用于处理从RF电路808和/或外部端口 836 接收的数据的各种软件组件。外部端口 836 (例如USB、 FireWireTM 等等)被适配成直接或者经由网络(例如因特网，无线LAN等等) 间接耦合到其他设备。
图形模块828包括用于在多重触摸敏感显示器系统812的显示器 表面上再现、动画化以及显示图形对象的各种已知软件组件。应该指 出的是，术语"图形对象，，包含了可以显示给用户的任何对象，包括但 不局限于文本、网页、图标、数字图像、动画等等。
所述一个或多个应用830可以包括安装在设备400上的任何应 用，包括但不局限于浏览器、地址簿、联系人列表、电子邮件、即时 消息传递、字处理、键盘模拟、窗口小部件、启用JAVA的应用、加 密、数字权利管理、语音识别、语音复制、位置确定能力(例如由全 球定位系统(GPS)来提供)、音乐播放器(回放那些保存在一个或 多个文件中的音乐，例如保存在MP3或AAC文件中的音乐)等等。
在某些实施例中，设备800可以包括MP3播放器的功能，例如 iPod( Apple Computer, Inc.的商标)。由此，i史备800可以包括与iPod 兼容的36针连接器。在某些实施例中，设备800可以包括在成像应 用中使用的一个或多个可选光学传感器(未显示)，例如CMOS或 CCD图像传感器。
如先前参考图1~7中的实施例所描迷的那样，接触/运动模块826 包括用于执行与多重触摸敏感显示器系统812相关联的各种操作的各 种软件组件。
如参考实施例400 (图4A)和实施例450 (图4B)所描述的那 样，定时模块832是与参数调整处理流程400 (图4)结合使用的软
件定时器。此外，该定时器832也可以用硬件来实现。
I/O子系统806与多重触摸敏感显示器系统812以及一个或多个 物理控制设备814 (例如按压按钮、开关、拨号盘、LED等等)相耦 合，以便控制或执行各种功能，例如电源控制、扬声器音量控制、振 铃音量、键盘输入、滚动、挂起、菜单、屏幕锁定、清除和结束通信 等等。多重触摸敏感显示器812经由多重触摸敏感显示屏控制器852 而与处理系统804进行通信，其中该触摸触敏显示屏控制器包含用于 处理用户输入的各种组件(例如扫描硬件)。以下结合图9描迷多重 触摸显示器系统架构的示例。 一个或多个其他输入控制器854接收/ 发送来自/去往其他输入或控制设备814的电信号。所述其他输入/控 制设备814可以包括物理按钮(例如按压按钮、摇杆按钮等等)、拨 号盘、滑块开关、摇杆等等。
多重触摸敏感显示器812向用户显示可^L输出。该可视输出可以 包括文本、图形、视频及其组合。某些或所有可视输出可以对应于用 户界面对象。多重触摸敏感显示器812还可以根据触觉和/或触感接触 接受来自用户的输入。该多重触摸敏感显示器812形成接受用户输入 的触敏表面。该多重触摸敏感显示器812和多重触摸屏控制器852(以 及介质802中的任何相关联的模块和/或指令集)检测多重触摸敏感显 示器812上的接触(以及所述接触的移动或释放)，并且会将检测到 的接触转换成与在发生接触时显示在触摸屏上的用户界面对象的交 互，其中举例来说，该用户界面对象可以是一个或多个软按键。在一 个例示实施例中，多重触摸敏感显示器812与用户之间的接触点对应 于用户的一个或多个手指。多重触摸敏感显示器812可以使用LCD (液晶显示器)技术或LPD (发光聚合物显示器)技术，但在其他实 施例中，也可以使用其他显示技术。该多重触摸敏感显示器812和多 重触摸屏控制器832可以使用多种触敏技术中的任何一种来检测接触 及其移动或释放，这些技术包括但不局限于电容、电阻、红外和表面 表波技术，以及其他接近传感器(proximity sensor )阵列或是用于确 定与多重触摸敏感显示器812相接触的一个或多个接触点的其他技术。
触摸敏感显示器可以类似于下列专利中描述的多重除摸触摸感
应板美国专利6,323,846(Westerman等人)、6，570，557( Westerman 等人)和/或6，677，932 (Westerman),和/或美国专利申请乂>开 2002/0015024Al，其中每一份专利和申请都在这里引入作为参考。但 是，触摸敏感显示器显示的是来自便携设备的可视输出，而触摸感应 板则没有提供可视输出。触摸敏感显示器812可以具有高于100dpi 的分辨率。在一个例示实施例中，触摸屏126可以具有大约168dpi 的分辨率。用户可以使用任何适当物体或附件来接触多重触摸敏感显 示器812，例如指示笔、笔、手指等等。
在某些实施例中，除了触摸屏之外，设备800还可以包括用于激 活或停用特定功能的触摸板(未显示)。在某些实施例中，该触摸板 是设备的触敏区域，与触摸屏不同，触摸板并未显示可视输出。该触 摸板既可以是与多重触摸敏感显示器812分离的触敏表面，也可以是 由多重触摸敏感显示器812形成的触敏表面的扩展。
设备800还包括用于为各种硬件组件供电的电源系统838。该电 源系统838可以包括电源管理系统， 一个或多个电源(例如电池、交 流电(AC))，再充电系统，电源故障检测电路，电源转换器或逆 变器，电源状态指示器(例如发光二极管(LED)),以及与便携设 备中的电源生成、管理和分布相关联的其他任何组件。
在某些实施例中，外设接口 816、 一个或多个处理器818以及存 储器控制器820可以在单个芯片、例如处理系统804上实现。但在某 些其他实施例中，它们也可以在独立芯片上实现。
/重^Mfi ^"器^鍵来种襯迷
图9是多重触摸敏感显示器系统架构812的一个实施例的框图。 该显示器系统812通常包含了扫描硬件902、校准和接近图像形成模 块卯4、接触追踪和识别模块906、手指同步检测器模块908、手指运 动分量提取器模块910以及和谐(chord)运动识别器912。应该指出 的是，根据设计选择，显示器系统812可以具有更多或更少的组件，
24
或者可以具有不同的组件配置。
内置在显示器系统812的显示器表面中的传感器检测指尖、拇指 以及其他传导触摸设备与显示器表面的接近度。在某些实施例中，显 示器表面将被调整大小，以便在被嵌入到便携式电子设备800的时候 提供用于手指手势的空间。电子扫描硬件902对处于显示器系统812 的显示器表面下方的传感器阵列中的每一个接近传感器进行控制和 读取。校准模块卯4从传感器阵列的完整扫描中构造一个原始接近图 像，并且从中减去背景传感器偏移。该背景传感器偏移可以仅仅是在 没有东西接触显示器表面时获取的接近图像。然后，经过偏移校正的 接近图像被传递到接触追踪和识别模块906，该模块将图像分成可辨 别的手指表面接触，并且在其移经连续图像的时候对其进行追踪和识 别。所识别的接触的路径将被传递到手指同步检测模块908以及运动 分量提取模块910，其中该模块包含了用于区别手指配置以及对检测 到的手指运动做出响应的算法。
手指同步检测器908就同时按下和释放手指子集而对同一只手 的手指活动进行检查。当检测到这种同时活动时，它会将同步子集中 的手指识别的组合传递给和谐运动识别器912。
在易于对显示器表面执行的手部操控，例如手部平移、围绕手腕 的手部旋转、通过握紧手指进行的手部缩放以及不同的手部倾斜中， 手指运动分量提取模块910从单独的手指运动中计算多个控制自由 度。
和谐运动识别器912根据同步检测器908识别的同步手指子集以 及手指运动分量提取器模块910提取的运动方向和速度来产生和谐的 轻敲或运动事件。然后，这些事件将被转递给多重触摸敏感屏控制器 852。
在某些实施例中，控制器852是将从和谐(chord)运动识别器 912接收的事件保持在临时排序的队列中，并且将其调度到处理系统 804的通信接口。在控制器/接口 852与处理系统804之间通信的方法 有可能依照处理系统804的功能和处理能力而存在很大差异。在某些
实施例中，模块906、 908、 910和912是在软件中实施的，并且它们 将会运行处理系统804的一个或多个处理器818。在这类实施例中， 显示器系统812将会包括用于扫描接近传感器阵列(模块902)，形 成接近图像(模块卯4)，以及将其压缩并且经由控制器/接口 852发 送到处理器804的硬件。接口 832则将接近图像识别处理的结果作为 输入传递给驻留在便携式电子设备800上的应用830。
出于例证和描述目的，在上文中给出了关于本发明具体实施例的 描述。但是，这些实施例并不是穷举性的，并且它们并未将本发明局 限于所公开的确切形式。相反，应该了解的是，有鉴于上述教导，众 多的修改和变更都是可行的。这些实施例是为了最佳说明本发明的原 理及其实际应用而被选择和描述的，由此能使本领域技术人员最佳地 使用本发明，以及使用具有与所设想的实际运用相适合的各种修改的 不同实施例。
权利要求
1. 一种方法，包括:在便携式电子设备的显示器上显示图形对象，其中该对象具有大于第一预定阈值的分辨率；检测与该对象相关联的多重触摸输入；根据多重触摸输入，确定要对该对象执行的操作；以及对该对象执行操作，其中在对该对象执行操作时，该对象具有低于预定阈值的分辨率。
2. 根据权利要求1所述的方法，其中所要执行的操作是改变对 象的放大等级。
3. 根据权利要求1所述的方法，其中当输入对应于与显示器表 面的两个或更多个接触之间的距离变化时，所要执行的操作是改变对 象的放大等级。
4. 根据权利要求1所述的方法，其中所要执行的操作是改变对 象的放大等级，其中放大等级的改变量对应于与显示器表面的两个或 更多个接触之间的距离变化。
5. 根据权利要求1所述的方法，其中所要执行的操作包括改变 对象的至少一个维度。
6. 根据权利要求1所述的方法，其中当检测到的运动对应于与 显示器表面的两个或更多个接触之间的距离变化时，所要执行的操作 是改变对象的至少一个维度。
7. 根据权利要求1所述的方法，其中所要执行的操作包括旋转 该对象。
8. 根据权利要求1所述的方法，其中所要执行的操作包括在至 少一个维度上沿着显示器表面移动对象。
9. 根据权利要求1所述的方法，其中所要执行的操作包括扩大对象。
10. 根据权利要求l所述的方法，其中所要执行的操作包括最小 化对象。
11. 根据权利要求l所述的方法，其中所要执行的操作包括对该 对象的至少一部分进行放大。
12. 根据权利要求l所述的方法，其中所要执行的操作包括对该 对象的至少一部分进行缩小。
13. 根据权利要求1所述的方法，其中该便携式电子设备包括移 动电话。
14. 一种便携式电子设备，包括 多重触摸敏感显示器；以及与多重触摸敏感显示器相耦合的一个或多个处理器，用于检测与 多重触摸敏感显示器相接触的用户的两个或更多个手指的运动，根据 检测到的运动确定要对在多重触摸敏感显示器上呈现的图形对象执 行的操作，以及对该对象执行操作，其中在对该对象执行操作时，该 对象具有低于预定阈值的分辨率，并且其中在其他时间，该对象具有 大于预定阈值的分辨率。
15. —种便携式电子设备，包括 多重触摸敏感显示器；与多重触摸敏感显示器相耦合并且被适配成检测与多重触摸敏 感显示器相接触的用户的两个或更多个手指的运动的检测器；与检测器相耦合的一个或多个处理器，并且该处理器被配置成根 据检测到的运动确定要对在多重触摸敏感显示器上呈现的图形对象 执行的操作，以及对该对象执行操作，其中在对该对象执行操作时， 该对象具有低于预定阈值的分辨率，并且其中在其他时间，该对象具 有大于预定阈值的分辨率。
16. —种方法，包括检测多重触摸敏感显示器设备的显示器表面上的一个或多个第 一接触；检测与 一个或多个第 一接触相关联的第 一运动，其中该第 一运动 对应于多重触摸手势； 根据第一运动调整图形对象的至少一个参数； 检测一个或多个第一接触的中断； 检测显示器表面上的一个或多个第二接触； 检测与一个或多个第二接触相关联的第二运动，其中第二运动对 应于多重触摸手势；以及根据第二运动调整至少一个参数。
17. 根据权利要求16所述的方法，其中一个或多个第二接触是 在检测到 一个或多个第 一接触的中断之后的预定时间间隔中发生的。
18. 根据权利要求16所述的方法，其中至少一个参数包括图形 对象的放大率。
19. 根据权利要求16所述的方法，其中至少一个参数包括图形 对象的方位。
20. 根据权利要求16所述的方法，其中手势包括旋转。
21. 根据权利要求16所述的方法，其中手势包括去收聚，并且 其中所述去收聚包括将两个或更多个接触彼此远离。
22. 根据权利要求16所述的方法，其中在对该对象执行操作时， 该对象具有低于预定阈值的分辨率，而在其他时间，该对象具有大于 预定阈值的分辨率。
23. —种方法，包括检测多重触摸敏感显示器设备的显示器表面上的一个或多个接触；显示与显示器表面上的接触点接近的至少一个图形对象； 检测与一个或多个接触相关联的运动； 根据该运动调整至少一个参数； 检测显示器表面上的接触丢失；响应于检测到丢失的接触，存储参数的当前值并且启动定时器； 响应于在重新建立接触之前定时器超出阈值，从显示器表面上移 除该图形对象；以及响应于在定时器超出阈值之前重新建立接触，在显示器表面上保 持该图形对象的显示，检测一个或多个接触的附加运动，并且根据该 附加运动来调整参数。
24. 根据权利要求23所述的方法，其中该图形对象被动画化以 模拟运动。
25. 根据权利要求23所述的方法，其中该参数是音量控制。
26. —种用于在便携式电子设备上显示网页的方法，包括 接收网页；自动缩放该网页，以便在显示器窗口中显示整个网页； 接收第一触摸输入；响应于第一触摸输入，激活网页以及网页中的至少某些字段或链接；接收第二触摸输入；以及响应于第二触摸输入，对网页执行操作，其中当在该网页上执行 操作时，该网页具有小于预定阈值的分辨率，并且其中在其他时间， 该网页具有大于预定阈值的分辨率。
27. 根据权利要求26所迷的方法，其中该操作包括对显示器窗 口中的网页的一部分进行放大。
28. 根据权利要求27所述的方法，其中该操作包括改变窗口中 显示的网页的一部分。
29. 根据权利要求26所述的方法，其中该操作包括显示虛拟键盘。
30. —种计算机可读介质，在该计算机可读介质上存储了指令， 其中当由便携式电子设备中的处理器执行时，该指令使处理器执行以 下操作在便携式电子设备的显示器表面上显示图形对象； 检测与该对象相关联的多重触摸输入； 根据多重触摸输入，确定将要对该对象执行的操作；以及 对该对象执行操作，其中在对该对象执行操作时，该对象具有低 于预定阈值的分辨率，并且其中在其他时间，该对象具有大于预定阈 值的分辨率。
31. —种计算机可读介质，在该计算机可读介质上存储了指令， 其中当由便携式电子设备中的处理器执行时，该指令使处理器执行以 下操作检测多重触摸敏感显示器的显示器表面上的一个或多个接触； 显示与显示器表面上的接触点接近的至少一个图形对象； 检测与 一个或多个接触相关联的运动； 根据该运动调整至少一个参数； 检测显示器表面上的接触丢失；响应于检测到丢失的接触，存储参数的当前值并且启动定时器； 响应于在重新建立接触之前定时器超出阈值，从显示器表面上移除该图形对象；以及响应于在定时器超出阈值之前重新建立接触，在显示器表面上保持该图形对象的显示，检测一个或多个接触的附加运动，并且根据该附加运动调整参数。
32. —种计算机可读介质，在该计算机可读介质上存储了指令， 其中当由便携式电子设备中的处理器执行时，该指令使处理器执行以 下操作接收网页；自动缩放该网页，以便在显示器窗口中显示整个网页； 接收第一触摸输入；响应于第一触摸输入，激活网页以及网页中的至少某些字段或链接；接收第二触摸输入；以及响应于第二触摸输入，对网页执行操作，其中当在该网页上执行 操作时，该网页具有小于预定阈值的分辨率，并且其中在其他时间， 该网页具有大于预定阈值的分辨率。
33. —种方法，包括在便携式电子设备的触摸屏显示器上显示图形对象，其中下釆样 数据被用于显示对象；检测与该对象相关联的多重触摸输入；根据多重触摸输入确定要对该对象执行的操作；对该对象执行操作；通过使用下采样数据实时显示该操作所导致的对象的变化；以及 在操作之后结合重新采样数据来显示该对象。
全文摘要
一种具有多重触摸输入的便携式通信设备，该设备检测一个或多个多点接触和运动，并且根据一个或多个多点接触和/或运动来对对象执行一个或多个操作。在对该对象执行操作时，该对象具有低于预定阈值的分辨率，并且其中在其他时间，该对象具有大于预定阈值的分辨率。
文档编号G06F3/048GK101379461SQ200680053036
公开日2009年3月4日 申请日期2006年12月29日 优先权日2005年12月30日
发明者B·奥丁, G·克里斯蒂, I·乔德里, S·O·勒梅, S·福斯塔 申请人:苹果公司