专利名称：具有多重触摸输入的便携式电子设备的制作方法
技术领域：
本公开实施例涉及使用了多重触摸敏感显示器的用户界面。
背景技术：
随着便携设备越来越小型化，以及所要处理和存储的信息量的增长，目前，设计出允许用户易于与设备交互的用户界面成了一个很大挑战。然而，由于用户界面不但是用户用以接收内容的途径，而且它还对包括用户尝试访问设备功能部件或工具在内的用户操作或行为做出响应，因此，这种设计的效果并不是很好。某些便携式电子设备(例如移动电话)采取了添加更多按钮，过载按钮功能或是使用复杂菜单系统的手段来允许用户访问、 存储和操控数据。这些常规用户界面往往导致产生需要用户记忆的复杂按键序列和菜单分级。实际上，某些按键序列过于复杂，以至于需要两只手来完成。相应地，目前需要一种用于便携设备的更为简单和直观的用户界面，其中该用户界面允许用户访问、存储和操控图形对象及数据，而不用记忆按键序列或菜单分级。
发明内容
上述缺陷和与用于便携式电子设备的用户界面相关联的其他问题是通过所公开的便携式电子设备来减少或消除的，其中该便携式电子设备使用了多重触摸输入来检测一个或多个接触和/或运动。该设备根据一个或多个用户接触和/或运动对图形对象执行一个或多个操作。在某些实施例中，一种用于在便携式电子设备中检测多重触摸输入的方法包括 在便携式电子设备的显示器表面上显示对象；检测与该对象相关联的多重触摸输入，根据多重触摸输入确定要对该对象执行的操作；以及对该对象执行操作。在对该对象执行操作时，该对象可以具有低于预定阈值的分辨率，而在其他时间，该对象可以具有大于预定阈值的分辨率。在某些实施例中，一种便携式电子设备包括多重触摸敏感显示器以及一个或多个处理器，其中所述一个或多个处理器与多重触摸敏感显示器相耦合，以便检测与多重触摸敏感显示器相接触的用户的两个或更多手指的运动。检测到的运动被用于确定要对在该多重触摸敏感显示器上呈现或显示的对象执行的操作。在对该对象执行操作时，该对象可以具有低于预定阈值的分辨率，而在其他时间，该对象可以具有大于预定阈值的分辨率。在某些实施例中，一种便携式电子设备包括多重触摸敏感显示器。检测器与该多重触摸敏感显示器相耦合，并且被适配成检测与该多重触摸敏感显示器相接触的用户的两个或更多手指的运动。与该检测器相耦合的一个或多个处理器可以被配置成根据检测到的运动来确定要对在多重触摸敏感显示器上呈现的对象执行的操作，以及对该对象执行操作。在对该对象执行操作时，该对象可以具有低于预定阈值的分辨率，而在其他时间，该对象可以具有大于预定阈值的分辨率。在某些实施例中，一种使用多重触摸敏感显示器来调整参数的方法包括检测多重触摸敏感显示器的显示器表面上的一个或多个接触；在接触位置显示至少一个图形对象；检测与一个或多个接触相关联的运动；根据该运动来调整该对象的至少一个参数；以及检测至少一个丢失的接触。响应于检测到丢失的接触，保存参数的当前值并且启动定时器。响应于在重新建立接触之前定时器超出阈值，从显示器表面上移除该图形对象。响应于在定时器超出阈值之前重新建立接触，在显示器表面上保持该图形对象的显示。一个或多个接触的运动将被再次检测，并且根据检测到的运动来调整参数。在某些实施例中，一种用于在便携式电子设备上显示网页的方法包括接收网页； 自动缩放该网页，以便在显示器窗口中显示整个网页；接收第一触摸输入；响应于第一触摸输入，激活网页以及网页中的至少一些字段或链接；接收第二触摸输入以及响应于第二触摸输入，对网页执行操作。当对该网页执行操作时，该网页可以具有小于预定阈值的分辨率，而在其他时间，该网页可以具有大于预定阈值的分辨率。在某些实施例中，一种使用多重触摸敏感显示器来调整参数的方法包括在多重触摸敏感显示器设备的显示器表面上检测一个或多个第一接触；检测与手势对应并且与一个或多个第一接触相关联的第一运动；根据该第一运动来调整至少一个参数；检测一个或多个第一接触的中断；检测显示器表面上的一个或多个第二接触；检测与一个或多个第二接触相关联的第二运动，其中该第二运动对应于该手势；以及根据第二运动来调整至少一个参数。在某些实施例中，一种方法包括在便携式电子设备的触摸屏显示器中显示图形对象(例如网页)，其中下采样数据被用于显示对象；检测与该对象相关联的多重触摸输入；根据多重触摸输入确定要对该对象执行的操作；对该对象执行操作；通过使用下采样数据来实时显示该操作所导致的对象改变；以及在操作之后结合下采样数据来显示该对象。前述方法可以由便携式电子设备执行，其中该便携式电子设备具有附带了图形用户界面(GUI)的触摸敏感显示器、一个或多个处理器、存储器以及保存在存储器中用于执行这些方法的一个或多个模块、程序或指令集。在某些实施例中，该便携式电子设备提供了包括无线通信在内的多种功能。用于执行前述方法的指令可以包含在被配置成由一个或多个处理器执行的计算机程序产品中。
为了更好地理解本发明的上述实施例及其附加实施例，以下将会结合下列附图来参考关于这些实施例的描述，在附图中，相同的附图标记在所有附图中指示相应的部分。图1是对多重触摸输入做出响应的便携式电子设备的一个实施例的例示。图2是用于图1所示的便携式电子设备的接触/运动检测处理流程的一个实施例的流程图。图3是对用于参数调整的多重触摸输入做出响应的便携式电子设备的一个实施例的例示。图4A是参数调整处理流程的一个实施例的流程图。图4B是参数调整处理流程的一个实施例的流程图。图5是具有万维网浏览器的便携式电子设备的一个实施例的例示。图6A描述的是使用图5所示的万维网浏览器的缩放操作的一个实施例。图6B描述的是在万维网浏览器中激活的虚拟键盘的一个实施例。图7是万维网浏览器处理流程的一个实施例的流程图。图8是便携式电子设备架构的一个实施例的框图。图9是多重触摸敏感显示器系统架构的一个实施例的框图。
具体实施例方式现在将会详细参考附图中举例描述的实施例。为了全面理解本发明，在以下详细描述中阐述了众多具体细节。但是，本领域普通技术人员应该清楚了解，本发明是可以在没有这些具体细节的情况下实现的。在其他实例中并未详细描述公知的方法、过程、组件和电路，以免不必要地混淆实施例特性。首先将注意力放在包括便携式通信设备在内的便携设备的实施例上，其中该设备具有通过使用多重触摸输入来检测一个或多个接触和/或运动的用户界面。这种设备根据一个或多个用户接触和/或运动来对图形对象执行一个或多个操作。多重触摸输入操作概述图1是对多重触摸输入进行响应的便携式电子设备100的一个实施例例示。该设备100包括具有图形用户界面(GUI) 102的多重触摸敏感显示器。该显示器表面是透明的， 由此允许将各种图形对象显示给用户(例如网页)。在某些实施例中，⑶I 102可以被分成多个部分或窗口。例如，GUI102可以包括用于保持代表了常用功能(例如电子邮件、地址薄、浏览器、音乐等等)的图形对象的托盘(tray) 106。该⑶I 102还可以包括用于操控图形对象，显示和操作网页，读取消息、文本或数据以及输入信息的窗口 104。在⑶1102上，通过按下菜单按钮，可以显示和改变各种显示。在移动电话实施例中，在GUI 102上可以显示表示传统的语音和数据服务操作(例如挂起、清除等等)的专用图形对象。用户可以使用各种单指手势或多指手势来操控GUI 102中的一个或多个图形对象112。这里使用的手势是一个与触摸屏显示器表面相接触的物体/附件的运动。可以使用一个或多个手指来对在GUI102中呈现的一个或多个图形对象112执行二维或三维操作， 并且这些操作包括但不局限于放大、缩放、扩展、最小化、重新调整大小、旋转、滑动、打开、 关闭、聚焦、转动、重排序、激活、停用以及其他任何可以对图形对象执行的操作。在某些实施例中，该手势指示了以直观方式关联于手势的操作。例如，用户可以将食指108和拇指 110(没有按比例绘制)放在图形对象12的两侧、边缘或边角，并且通过一起或分离移动食指108和拇指110来分别执行收聚(pinching)或反收聚(anti-pinching)手势。这种手势指示的操作将会导致图形对象112的维度改变。在某些实施例中，收聚手势将会导致图形对象112的尺寸在所收聚的维度上减小。而在某些实施例中，收聚手势则会导致图形对象112的尺寸在所有维度上按比例减小。在某些实施例中，反收聚或去收聚(de-pinching) 移动将会导致图形对象112的尺寸在被执行了反收聚的维度上增大。在图1中，用户的食指108和拇指110被用于反收聚或扩展方形图形对象112的侧面，由此如虚线114和116 所示，这样做将会导致对象112的χ维度增大。在其他实施例中，反收聚或去收聚移动将会导致图形对象尺寸在所有维度上增大(例如在χ和y维度上按比例放大)。在某些实施例中，图形对象112是以大于预定分辨率(例如触摸屏分辨率的一半或四分之一)的分辨率来显示的。在根据操作来修改图形对象112的显示时，这时可以用低于预定阈值的分辨率来显示该图形对象112。在处理速度有限的便携设备上，通过在操作过程中以较低分辨率来进行显示，可以允许在只有少量或者没有可察觉的滞后时间的情况下看到针对该对象所进行的改变，由此可以使用户界面更好响应用户输入。很明显，可以使用任意数量和/或组合的手指来操控图形对象，并且本公开实施例并不局限于任何特定数量或组合。例如，在某些实施例中，用户可以通过放置多个手指与显示器表面102接触以及在所有方向向外展开手指来放大对象。在其他实施例中，用户可以通过抓取对象的边角、侧面或边缘以及执行去收聚或收聚动作来扩大或最小化对象。在某些实施例中，用户可以通过在显示器表面102上轻敲一个或多个手指来聚焦或者放大特定对象或一部分对象。在某些实施例中，当用户与所要操作的图形对象直接接触时，这时将会发生接触。 在其他实施例中，当用户接触所要操作的图形对象附近时，这时将会发生接触。后一种技术与结合网页以及其他计算机用户界面所使用的“热点”技术相类似。接触/运动检测处理流程图2是用于图1所示的便携式电子设备100的接触/运动检测处理流程200的一个实施例的流程图。虽然在下文中描述的接触/运动检测处理流程200包含了很多按照特定顺序出现的操作，但是很明显，这些处理可以包括更多或更少的操作，并且这些操作既可以按顺序执行，也可以并行执行(例如使用并行处理器或多线程环境)。处理流程200是以检测与显示器表面102的接触为开始的(20 。一旦检测到接触，则对接触的数量加以确定(也就是与显示器表面相接触的手指的数量M204)。如果检测到运动006)，则根据接触数量以及运动类型来选择一个或多个操作010)，例如旋转、 扭转、滑动或收聚手势。然后，在相关联的图形对象上执行选定的操作012)。该操作可以根据运动和接触的任何组合或序列而被选择，包括但不局限于在图形对象上或是其附近旋转或扭转手指，滑动手指，快速重复接触显示器表面，收聚、反收聚手势等等。如果没有检测到运动006)，则仅仅根据接触数量来选择操作006)，以及对相关联的图形对象执行操作 (步骤212)。参数调整图3是对用于参数调整的多重触摸输入做出响应的便携式通信设备100的一个实施例例示。该实施例可以用于控制应用中的一个或多个参数，例如媒体播放器或移动电话的音量控制。在某些实施例中，图形对象300是响应于与显示器表面102进行的一个或多个接触而出现的。该图形对象300可以是旋钮、开关、一个或多个按压按钮或是其他任何通常与电子或计算机设备结合使用的可辨认控制器。在某些实施例中，用户可以将一个或多个手指(例如食指108和拇指110)放在图形对象300之上或是其附近的一个或多个位置， 并且通过产生手势来调整所要控制的参数。举个例子，如果图形对象300是一个旋钮，那么用户可以将一个或多个手指沿该旋钮的圆周放置，并且在顺时针或逆时针方向上执行旋转或扭转运动，以便对参数进行调整。在媒体播放器应用中，当用户执行特定类型的接触(例如三指或四指接触)时，这时在显示器表面102上，图形对象300将会出现在接触点上或是接触点附近。然后，用户可以通过执行扭转操作来调整歌曲或其他音频来源的参数(例如音量，无线电调谐器，均衡)。在某些实施例中，图形对象300是动画形式的，由此对象将会显现成是以与用户执行的扭转手势同步的方式来转动的。在某些实施例中，在显示器表面102中可以添加一个或多个附加图形302(例如直方图)或文本，由此用户可以确定所要调整的参数的值。在某些实施例中，用户可以通过增大或减小施加于接触位置的压力量来调整参数。例如在媒体播放器应用中，当用户与显示器表面102接触时，这时可以显示无线电广播界面的图形对象300。该无线电广播界面可以包括用于改变无线电台的查找按钮。然后，用户可以通过按下查找按钮来改变无线电站。查找速度可以根据用户施加在查找按钮上的压力量或是与查找按钮的接触持续时间来调整。参数调整处理流程图4A是参数调整处理流程400的一个实施例的流程图。虽然下文中描述的参数调整处理流程400包含了很多按照特定顺序出现的操作，但是很明显，这些处理可以包括更多或更少的操作，并且这些操作既可以按顺序执行，也可以并行执行(例如使用并行处理器或多线程环境)。在调整某个参数(例如参考图3描述的音量控制旋钮)时，这时有可能出现用户失去与显示器表面102的接触的情形。例如，在组合的媒体播放器/移动电话设备中，用户有可能会在调整曲目音量时接收到呼叫。在用户结束呼叫之后，他或她有可能希望继续调整音量。与从显示器表面102(图幻中移除图形对象300(图幻不同，该图形对象300(图 3)可以留在显示器表面102(图幻上，并且在预定时段中保持其当前状态。该时间量可以作为可从菜单系统访问的首选项窗格或窗口中的选项由用户来进行设置。在某些实施例中，上述功能可以使用参数调整处理流程400来实现。该处理流程 400是以在显示器表面上检测到N个接触为开始的002)。当检测到N个接触时，在该显示器表面上，在接触点之上或是其附近呈现一个或多个图形对象004)。然后，用户被允许通过在接触点上或是其附近执行手势来调整参数。如果检测到运动G06)，则根据该运动来调整参数008)。该图形对象可以是动画形式的，由此模拟该运动以及向用户指示该参数正被调整。如果丢失N个接触中的一个或多个接触010)，那么该参数的当前值或状态将被保存，并且将会启动一个定时器G12)。如果该定时器在重新建立接触之前超出阈值时间 G14)，则从显示器表面上移除该图形对象，并且保存该参数的当前值。如果在定时器超出阈值时间之前重新建立接触，那么该图形对象将会保留在显示器表面，由此允许用户从在操作408中计算的最后一个值开始继续调整参数。图4B是参数调整处理流程450的一个实施例的流程图。虽然下文中描述的参数调整处理流程450包含了很多按照特定顺序出现的操作，但是很明显，这些处理可以包括更多或更少的操作，并且这些操作既可以按顺序执行，也可以并行执行(例如使用并行处理器或多线程环境)。在调整某个参数时(例如放大或定向所显示的图形对象)，这时有可能出现用户无意中失去与显示器表面102的接触的情形。例如，用户有可能希望通过执行两次或多次的多重触摸手势来调整参数。该手势可以包括重复运动，例如旋转(例如与旋转旋钮相对应)或去收聚(其中用户将其手指合在一起来进行接触，然后分别移动手指)。例如，用户可以进行接触，执行手势，中断接触，再次进行接触，以及再次执行手势。这个序列可以重复多次。针对所显示的图形对象所进行的调整可以依照手势来进行。在某些实施例中，如果在中断接触与再次取得接触之间经过的时间低于预定值或时间间隔，那么，通过应用或使用与这种重复手势相对应的操作，可以修改所显示的图形对象。在某些实施例中，上述功能可以使用参数调整处理流程450来实现。该处理流程 450是以在显示器表面上检测到N个接触为开始的002)。用户通过在图形对象之上或是其附近执行手势来调整与图形对象相关联的参数。如果检测到运动(406)，则根据该运动来调整参数008)。该图形对象可以是动画形式的，由此可以模拟运动，并且向用户指示该参数正被调整。如果在N个接触中有一个或多个接触丢失010)，并且定时器在重新建立接触之前超出了阈值时间G14)，那么即使检测到附加的N个接触，用于该图形对象的参数也可以保持不变。如果在N个接触中有一个或多个接触丢失010)，并且在重新建立接触之前定时器低于阈值时间G14)，那么可以根据后续检测到的运动来调整该参数008)。在其他实施例中，定时器操作(414)可以从参数调整处理流程450中移除。在某些实施例中，通过使用定时器，可以允许修改用于图形对象的参数，而不需要在N个接触中具有不必要的精度。举个例子，如果使用了多个手势来改变参数，那么用户将很难在多个实例中校准N个接触。应该理解的是，通过使用定时器，在阈值时间以内，处于N 个先前接触附近的N个接触将会对应于相同的相应图形对象。由此，后续手势可以用于修改相应图形对象的参数。在某些实施例中，参数变体可以是所述N个接触在该手势期间的位移的非线性函数。例如，幅度和/或方位变化可以是旋转和/或去收聚手势的指数函数。这样做可以允许用户在不执行多个手势的情况下或是通过使用较少手势来修改图形对象，其中与作为所述N个接触在手势期间的位移的函数的参数线性变体相比，使用的手势相对较少。万维网浏览实施例图5是具有万维网浏览器的便携式电子设备的一个实施例例示。在某些实施例中，在显示器表面102上显示的是完整网页500的缩小比例的版本。这样做允许用户查看网页的全部内容。用户可以使用一个或多个手指手势或轻敲而对网页502的一部分进行缩放。在某些实施例中，用户可以通过轻敲网页500的一部分或者通过在所要缩放的部分附近或是其上执行去收聚手势来对网页500的一部分进行缩放。在某些实施例中，用户可以选择缩小按钮或是显示器表面102上给出的其他机构504，或者可以执行不同的手势或轻敲序列(例如通过收聚来缩小)，以便从网页500的一部分开始缩小。在某些实施例中，其中可以使用预定的网页手势来激活网页500，例如单击或双击。当网页500变为活动时，网页500中包含的任何链接、文本输入字段、下拉菜单、复选框等等将会处于活动状态。在某些实施例中，如果将网页500指定为“只读”，那么可以显示和缩放该网页，但是该网页不能与用户进行交互(例如无法点击或以其他方式激活页面中的链接)。在某些实施例中，网页500是以大于预定分辨率(例如触摸屏分辨率的二分之一或四分之一)的分辨率来显示的。当依照诸如放大之类的操作来修改网页500的显示时， 这时可以使用低于预定阈值的分辨率来显示网页500。
9
在某些实施例中，在使用网页500的先前下采样数据(down sample data)(也就是使用在拉近或放大对象之前下采样的网页数据(更概括地说则是对象))来执行拉近或放大处理时，网页500被显示。由此，在放大期间，所显示的图像有可能会像素化 (pixelated)。网页500可以以与放大之后的最终放大率相对应的较高分辨率重新提供。在某些实施例中，在缩小或取消放大时，网页500的分辨率可以下采样。该缩放操作可以是一个或多个手势和/或一个或多个轻敲的非线性函数。例如，放大率的变化可以是与一个或多个手势和/或一个或多个轻敲相对应的一个或多个位置或是一个或多个运动范围的非线性函数。图6A描述的是使用了图5所示的万维网浏览器的缩放操作的一个实施例。在处于缩放模式时，用户可以使用多重触摸在多个方向上浏览网页500。在图6A中，用户对网页500的一个部分502进行放大，并且可以通过在期望方向沿着显示器表面102滑动手指 (在图6A中并没有按比例绘制)来改变窗口 104中显示的网页部分。举个例子，如果用户在窗口 104中朝着设备100的顶部滑动手指，那么网页500将会在该方向移动，由此显示先前处于视图以外的网页500的较低部分(先前在窗口 104中并未显示)。在某些实施例中， 网页500移经窗口 104的速度可以由手势的速度或频率来确定。例如，行进中的手指手势有可能导致网页500依照用户沿着显示器表面102游动其手势的速度来移动。在某些实施例中，用户可以通过使用一个或多个手指一次或多次轻敲链接600或“热点”来将其激活。 在其他实施例中，如参考图6B所描述的那样，用户可以通过轻敲显示器表面102来激活虚拟键盘或其他输入设备。图6B描述的是在万维网浏览器中激活的虚拟键盘602的一个实施例。响应于用户触摸输入(例如轻敲)，在显示器表面102的窗口 104中将会显示一个虚拟键盘。在某些实施例中，该键盘602是一个可以使用一个或多个手指而被调整大小、最小化、往上还原或往下还原、或是在显示器表面102周围移动的图形对象。该键盘602可以用于将数据输入那些通常在网页中发现的对话框或其他文本输入字段。当用户键入软按键时，键入的输入将被显示给用户，以便用于验证和编辑。在某些实施例中，每一个软按键将会改变外观，以便指示其何时变为活动。例如，当用户手指接近按键位置时，该按键可以放大、改变颜色、振动或是变为高亮显示。在某些实施例中，一旦激活某个按键，那么其他按键将被锁定，以便防止因为疏忽而造成的输入。当选择了某个按键时，该特征将会为用户提供虚拟提示，由此减少因为疏忽地按下相邻按键所导致的输入错误。用户可以通过轻敲显示器表面(例如轻敲两次)或者通过按下虚拟关闭机构(例如虚拟关闭按钮)来从显示器表面中移除虚拟键盘 602。万维网浏览器处理流程图7是用于结合图6A和6B所描述的万维网浏览器的万维网浏览器处理流程700 的一个实施例的流程图。虽然下文中描述的接触/运动检测处理流程700包含了很多按照特定顺序出现的操作，但是很明显，这些处理可以包括更多或更少的操作，并且这些操作既可以按顺序执行，也可以并行执行(例如使用并行处理器或多线程环境)。响应于多重触摸输入，设备接收来自服务器的网页(702)。然后，该网页将会按比例缩放，以便匹配在显示器内(例如窗口 104内部)(704)。设备100等待用于指示用户意图放大网页中的某一部分的用户输入，例如去收聚手势(706)。根据接收到的输入，确定浏览器操作(708)，并且设备100执行该浏览器操作(710)。便携式电子设备架构图8是便携式电子设备架构的一个实施例的框图。一般来说，便携式电子设备800 包括一个或多个计算机可读介质802，处理系统804，输入/输出(I/O)子系统806，射频 (RF)电路808以及音频电路810。这些组件可以通过一条或多条通信总线或信号线路803 耦合。设备800可以是任何便携式电子设备，包括但不局限于手持式计算机、平板计算机、 移动电话、媒体播放器、个人数字助理(PDA)等等，此外还包括这其中的两个或多个物品的组合。很明显，图8所示的架构仅仅是用于便携式电子设备800的架构的一个实例，并且设备800可以具有比所示组件更多或更少的组件，或者可以具有不同的组件配置。图8所示的各种组件可以用硬件、软件或软硬件组合的方式实施，包括一个或多个信号处理和/或专用集成电路。RF电路808被用于在连至一个或多个其他设备的无线链路或网络上发送和接收信息，并且包含用于执行该功能的公知电路，其中该电路包括但不局限于天线系统、RF 收发信机、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC芯片组、 存储器等等。在某些实施例中，RF电路808能够使用一种或多种通信协议来与其他设备建立和保持通信，其中该协议包括但不局限于时分多址(TDMA)、码分多址(CDMA)、全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、宽带码分多址(W-CDMA)、Wi-Fi (例如IEEE 802. 11a、IEEE 802. lib、IEEE 802. Ilg 和 / 或 IEEE802. Iln)、蓝牙、Wi-MAX、借助网际协议的语音传输(VoIP)、用于电子邮件、即时消息传递和/或短消息服务(SMS)的协议、或是其他任何适当的通信协议，包括在本文提交日尚未开发完成的通信协议。RF电路808和音频电路810经由外设接口 816耦合到处理系统804。接口 816包括用于在外设与处理系统804之间建立和保持通信的各种已知组件。音频电路810与音频扬声器840以及麦克风842相耦合，并且包含了用于对从接口 816接收而使用户能与其他用户实时通信的语音信号进行处理的已知电路。在某些实施例中，音频电路810包括头戴式耳机插孔(未显示)。RF电路808以及音频电路810接收的语音和数据信息(例如在语音识别或语音命令应用中)将会经由接口 816而被发送到一个或多个处理器818。所述一个或多个处理器818被配置成对用于一个或多个应用程序830的各种数据格式进行处理。应该指出的是，术语“数据”包括但不局限于可供保存在介质802上的一个或多个应用830(例如万维网浏览器、电子邮件等等)使用的文本、图形、网页、JAVA程序、窗口小部件(widget)、电子邮件、即时消息、语音、数字图像或视频、窗口小部件、MP3等等。在某些实施例中，设备800能够经由无线网络或外部端口 836来上载和下载来自因特网的各种数据，例如文件、曲目、数字图像、视频、电子邮件、窗口小部件、即时消息等等。外设接口 816将设备的输入和输出外设耦合到处理器818以及计算机可读介质 802。所述一个或多个处理器818经由控制器820而与一个或多个计算机可读介质802进行通信。该计算机可读介质802可以是能够存储可供一个或多个处理器818使用的代码和 /或数据的设备或介质。该介质802可以包括存储器分级，包括但不局限于缓存器、主存储器以及辅助存储器。该存储器分级可以使用RAM(例如SRAM、DRAM、DDRAM)、ROM、FLASH、磁和/或光学存储设备的任何组合来实现，其中举例来说，所述磁和/或光存储器设备可以是盘驱动器、磁带、CD(紧凑型盘)以及DVD(数字视频盘)。介质802还可以包括用于传送用以指示计算机指令或数据(具有或不具有调制了信号的载波)的承载信息的信号的传输介质。例如，该传输介质可以包括通信网络，并且包括但不局限于因特网(也被称为万维网)， 一个或多个内部网，局域网(LAN)，广域网(WAN)、存储区域网(SAN)、城域网(MAN)等等。所述一个或多个处理器818运行保存在介质802上的各种软件组件，以便执行设备800的各种功能。在某些实施例中，软件组件包括操作系统822，通信模块(或指令集)拟4，接触/运动模块(或指令集)拟6，图形模块(或指令集)拟8，一个或多个应用(或指令集)830，定时器模块(或指令集)832，以及网页浏览器模块(或指令集)834。操作系统822 (例如 Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS 或是 Vxworks 之类的嵌入式操作系统)包括用于控制和管理常规系统任务(例如内存管理、存储设备控制、电源管理等等)以及有助于各种软硬件组件之间通信的各种过程、指令集、软件组件和/或驱动器。通信模块拟4为经由一个或多个外部端口 836与其他设备进行通信提供便利，并且它还包括用于处理从RF电路808和/或外部端口 836接收的数据的各种软件组件。外部端口 836(例如USB、FireWireTM等等)被适配成直接或者经由网络(例如因特网，无线 LAN等等)间接耦合到其他设备。图形模块828包括用于在多重触摸敏感显示器系统812的显示器表面上再现、动画化以及显示图形对象的各种已知软件组件。应该指出的是，术语“图形对象”包含了可以显示给用户的任何对象，包括但不局限于文本、网页、图标、数字图像、动画等等。所述一个或多个应用830可以包括安装在设备400上的任何应用，包括但不局限于浏览器、地址簿、联系人列表、电子邮件、即时消息传递、字处理、键盘模拟、窗口小部件、 启用JAVA的应用、加密、数字权利管理、语音识别、语音复制、位置确定能力(例如由全球定位系统(GPS)来提供)、音乐播放器(回放那些保存在一个或多个文件中的音乐，例如保存在MP3或AAC文件中的音乐)等等。在某些实施例中，设备800可以包括MP3播放器的功能，例如iPod (Apple Computer, Inc.的商标)。由此，设备800可以包括与iPod兼容的36针连接器。在某些实施例中，设备800可以包括在成像应用中使用的一个或多个可选光学传感器(未显示)，例如CMOS或CCD图像传感器。如先前参考图1 7中的实施例所描述的那样，接触/运动模块拟6包括用于执行与多重触摸敏感显示器系统812相关联的各种操作的各种软件组件。如参考实施例400 (图4A)和实施例450 (图4B)所描述的那样，定时模块832是与参数调整处理流程400(图4)结合使用的软件定时器。此外，该定时器832也可以用硬件来实现。1/0子系统806与多重触摸敏感显示器系统812以及一个或多个物理控制设备 814(例如按压按钮、开关、拨号盘、LED等等)相耦合，以便控制或执行各种功能，例如电源控制、扬声器音量控制、振铃音量、键盘输入、滚动、挂起、菜单、屏幕锁定、清除和结束通信等等。多重触摸敏感显示器812经由多重触摸敏感显示屏控制器852而与处理系统804 进行通信，其中该触摸触敏显示屏控制器包含用于处理用户输入的各种组件(例如扫描硬件)。以下结合图9描述多重触摸显示器系统架构的示例。一个或多个其他输入控制器854 接收/发送来自/去往其他输入或控制设备814的电信号。所述其他输入/控制设备814可以包括物理按钮(例如按压按钮、摇杆按钮等等)、拨号盘、滑块开关、摇杆等等。多重触摸敏感显示器812向用户显示可视输出。该可视输出可以包括文本、图形、 视频及其组合。某些或所有可视输出可以对应于用户界面对象。多重触摸敏感显示器812 还可以根据触觉和/或触感接触接受来自用户的输入。该多重触摸敏感显示器812形成接受用户输入的触敏表面。该多重触摸敏感显示器812和多重触摸屏控制器852(以及介质 802中的任何相关联的模块和/或指令集)检测多重触摸敏感显示器812上的接触(以及所述接触的移动或释放)，并且会将检测到的接触转换成与在发生接触时显示在触摸屏上的用户界面对象的交互，其中举例来说，该用户界面对象可以是一个或多个软按键。在一个例示实施例中，多重触摸敏感显示器812与用户之间的接触点对应于用户的一个或多个手指。多重触摸敏感显示器812可以使用LCD(液晶显示器)技术或LPD(发光聚合物显示器)技术，但在其他实施例中，也可以使用其他显示技术。该多重触摸敏感显示器812和多重触摸屏控制器832可以使用多种触敏技术中的任何一种来检测接触及其移动或释放，这些技术包括但不局限于电容、电阻、红外和表面表波技术，以及其他接近传感器(proximity sensor)阵列或是用于确定与多重触摸敏感显示器812相接触的一个或多个接触点的其他技术。触摸敏感显示器可以类似于下列专利中描述的多重除摸触摸感应板美国专利 6，323，846 (Westerman 等人)、6，570, 557 (Westerman 等人)和 / 或 6，677，932 (Westerman)， 和/或美国专利申请公开2002/0015024A1，其中每一份专利和申请都在这里引入作为参考。但是，触摸敏感显示器显示的是来自便携设备的可视输出，而触摸感应板则没有提供可视输出。触摸敏感显示器812可以具有高于IOOdpi的分辨率。在一个例示实施例中，触摸屏1 可以具有大约168dpi的分辨率。用户可以使用任何适当物体或附件来接触多重触摸敏感显示器812，例如指示笔、笔、手指等等。在某些实施例中，除了触摸屏之外，设备800还可以包括用于激活或停用特定功能的触摸板(未显示)。在某些实施例中，该触摸板是设备的触敏区域，与触摸屏不同，触摸板并未显示可视输出。该触摸板既可以是与多重触摸敏感显示器812分离的触敏表面，也可以是由多重触摸敏感显示器812形成的触敏表面的扩展。设备800还包括用于为各种硬件组件供电的电源系统838。该电源系统838可以包括电源管理系统，一个或多个电源(例如电池、交流电(AC))，再充电系统，电源故障检测电路，电源转换器或逆变器，电源状态指示器(例如发光二极管(LED))，以及与便携设备中的电源生成、管理和分布相关联的其他任何组件。在某些实施例中，外设接口 816、一个或多个处理器818以及存储器控制器820可以在单个芯片、例如处理系统804上实现。但在某些其他实施例中，它们也可以在独立芯片上实现。多重触摸显示器系统架构概述图9是多重触摸敏感显示器系统架构812的一个实施例的框图。该显示器系统 812通常包含了扫描硬件902、校准和接近图像形成模块904、接触追踪和识别模块906、手指同步检测器模块908、手指运动分量提取器模块910以及和谐(chord)运动识别器912。 应该指出的是，根据设计选择，显示器系统812可以具有更多或更少的组件，或者可以具有不同的组件配置。
内置在显示器系统812的显示器表面中的传感器检测指尖、拇指以及其他传导触摸设备与显示器表面的接近度。在某些实施例中，显示器表面将被调整大小，以便在被嵌入到便携式电子设备800的时候提供用于手指手势的空间。电子扫描硬件902对处于显示器系统812的显示器表面下方的传感器阵列中的每一个接近传感器进行控制和读取。校准模块904从传感器阵列的完整扫描中构造一个原始接近图像，并且从中减去背景传感器偏移。该背景传感器偏移可以仅仅是在没有东西接触显示器表面时获取的接近图像。然后， 经过偏移校正的接近图像被传递到接触追踪和识别模块906，该模块将图像分成可辨别的手指表面接触，并且在其移经连续图像的时候对其进行追踪和识别。所识别的接触的路径将被传递到手指同步检测模块908以及运动分量提取模块910，其中该模块包含了用于区别手指配置以及对检测到的手指运动做出响应的算法。手指同步检测器908就同时按下和释放手指子集而对同一只手的手指活动进行检查。当检测到这种同时活动时，它会将同步子集中的手指识别的组合传递给和谐运动识别器912。在易于对显示器表面执行的手部操控，例如手部平移、围绕手腕的手部旋转、通过握紧手指进行的手部缩放以及不同的手部倾斜中，手指运动分量提取模块910从单独的手指运动中计算多个控制自由度。和谐运动识别器912根据同步检测器908识别的同步手指子集以及手指运动分量提取器模块910提取的运动方向和速度来产生和谐的轻敲或运动事件。然后，这些事件将被转递给多重触摸敏感屏控制器852。在某些实施例中，控制器852是将从和谐(chord)运动识别器912接收的事件保持在临时排序的队列中，并且将其调度到处理系统804的通信接口。在控制器/接口 852 与处理系统804之间通信的方法有可能依照处理系统804的功能和处理能力而存在很大差异。在某些实施例中，模块906、908、910和912是在软件中实施的，并且它们将会运行处理系统804的一个或多个处理器818。在这类实施例中，显示器系统812将会包括用于扫描接近传感器阵列(模块90 ，形成接近图像(模块904)，以及将其压缩并且经由控制器/接口 852发送到处理器804的硬件。接口 832则将接近图像识别处理的结果作为输入传递给驻留在便携式电子设备800上的应用830。出于例证和描述目的，在上文中给出了关于本发明具体实施例的描述。但是，这些实施例并不是穷举性的，并且它们并未将本发明局限于所公开的确切形式。相反，应该了解的是，有鉴于上述教导，众多的修改和变更都是可行的。这些实施例是为了最佳说明本发明的原理及其实际应用而被选择和描述的，由此能使本领域技术人员最佳地使用本发明，以及使用具有与所设想的实际运用相适合的各种修改的不同实施例。
权利要求
1.一种使用下采样数据显示图形对象的方法，包括 将图形对象的数据下采样为第一分辨率；使用下采样数据在便携式电子设备的触摸屏显示器上显示图形对象； 在使用下采样数据在触摸屏显示器上显示图形对象时，检测与该图形对象相关联的多重触摸输入；根据该多重触摸输入确定要对图形对象执行的操作； 对图形对象执行该操作；在对图形对象执行该操作时，使用该下采样数据实时显示该操作所导致的图形对象的变化；以及将使用该下采样数据显示图形对象替换为利用具有高于第一分辨率的第二分辨率的重新采样数据显示该图形对象。
2.如权利要求1所述的方法，其中所述图形对象的显示的替换在执行所述操作之后发生。
3.如权利要求1所述的方法，其中所述图形对象的显示的替换在执行所述操作结束时发生。
4.如权利要求1所述的方法，其中所述图形对象是网页。
5.如权利要求1所述的方法，其中所述操作是对图形对象的放大操作。
6.如权利要求5所述的方法，其中所述下采样是在对图形对象进行放大操作之前对该图形对象进行缩小操作期间执行的。
7.如权利要求5所述的方法，其中对图形对象的放大操作是由所述多重触摸输入形成的手势的非线性函数。
8.一种使用下采样数据显示图形对象的设备，包括 用于将图形对象的数据下采样为第一分辨率的装置；用于使用下采样数据在便携式电子设备的触摸屏显示器上显示图形对象的装置； 用于在使用下采样数据在触摸屏显示器上显示图形对象时，检测与该图形对象相关联的多重触摸输入的装置；用于根据该多重触摸输入确定要对图形对象执行的操作的装置； 用于对图形对象执行该操作的装置；用于在对图形对象执行该操作时，使用该下采样数据实时显示该操作所导致的图形对象的变化的装置；以及用于将使用该下采样数据显示图形对象替换为利用具有高于第一分辨率的第二分辨率的重新采样数据显示该图形对象的装置。
9.如权利要求8所述的设备，其中所述图形对象的显示的替换在执行所述操作之后发生。
10.如权利要求8所述的设备，其中所述图形对象的显示的替换在执行所述操作结束时发生。
11.如权利要求8所述的设备，其中所述图形对象是网页。
12.如权利要求8所述的设备，其中所述操作是对图形对象的放大操作。
13.如权利要求12所述的设备，其中所述下采样是在对图形对象进行放大操作之前对该图形对象进行缩小操作期间执行的。
14.如权利要求12所述的设备，其中对图形对象的放大操作是由所述多重触摸输入形成的手势的非线性函数。
15.一种便携式电子设备，包括触摸屏显示单元，被配置为显示图形对象；和耦接到触摸屏显示单元的处理单元，该处理单元被配置为将图形对象的数据下采样为第一分辨率；使得能够使用下采样数据在触摸屏显示单元上显示图形对象；在使用下采样数据在触摸屏显示单元上显示图形对象时，检测与该图形对象相关联的多重触摸输入；根据该多重触摸输入确定要对图形对象执行的操作；对图形对象执行该操作；在对图形对象执行该操作时，使得能够使用该下采样数据实时显示该操作所导致的图形对象的变化；以及使得能够将使用该下采样数据显示图形对象替换为利用具有高于第一分辨率的第二分辨率的重新采样数据显示该图形对象。
16.如权利要求15所述的设备，其中所述图形对象的显示的替换在执行所述操作之后发生。
17.如权利要求15所述的设备，其中所述图形对象的显示的替换在执行所述操作结束时发生。
18.如权利要求15所述的设备，其中所述图形对象是网页。
19.如权利要求15所述的设备，其中所述操作是对图形对象的放大操作。
20.如权利要求19所述的设备，其中所述下采样是在对图形对象进行放大操作之前对该图形对象进行缩小操作期间执行的。
21.如权利要求19所述的设备，其中对图形对象的放大操作是由所述多重触摸输入形成的手势的非线性函数。
全文摘要
一种具有多重触摸输入的便携式通信设备，该设备检测一个或多个多点接触和运动，并且根据一个或多个多点接触和/或运动来对对象执行一个或多个操作。在对该对象执行操作时，该对象具有低于预定阈值的分辨率，并且其中在其他时间，该对象具有大于预定阈值的分辨率。
文档编号G06F3/048GK102169415SQ20111010358
公开日2011年8月31日 申请日期2006年12月29日 优先权日2005年12月30日
发明者B·奥丁, G·克里斯蒂, I·乔德里, S·O·勒梅, S·福斯塔 申请人:苹果公司