本专利申请为提交于2012年7月15日的美国临时申请61/671,774的非临时性申请，其公开内容全文以引用方式并入本文中。
本专利申请与以下美国专利和专利申请相关：公布于2001年11月27日的美国专利6,326,846(提交于1999年1月25日的专利申请09/236,513)；公布于2008年12月23日的美国专利7,469,381(提交于2007年12月14日的专利申请11/956,969)；公布于2009年1月20日的美国专利7,479,949(提交于2008年4月11日的专利申请12/101,832)；以及提交于2007年1月31日的美国专利申请11/700,636。这些专利和专利申请的相应的公开全文以引用方式并入本文中。
背景技术：
本公开整体涉及多点触摸手势识别并且具体地涉及用于三维(3D)交互的多点触摸手势识别的消歧。
多点触摸设备允许用户使用手势与所显示的信息进行交互，这些手势通常通过用一个或多个手指或诸如触笔之类的其他接触对象触摸触敏表面形成。接触点的数量和一个或多个接触点的运动由多点触摸设备进行检测并且被解译为手势，该设备可响应于这些手势执行各种动作。
技术实现要素：
根据本发明的某些实施例，多点触摸设备可智能地解译与3D对象、场景或区域的所显示的图像相关的不同手势并使其消歧。例如，当与描绘3D区域(诸如地图)的所显示的图像进行交互时，用户可能想要平移(pan)图像以看到区域的不同部分，放大或缩小以看到区域的更多细节或更大部分，和/或旋转或倾斜图像以从不同角度观察图像。在不同时刻，用户可能想要进行单一调节或想要同时自由调节多个观察参数，例如，在平移或旋转时缩放。多点触摸设备可包括用于检测用户的手势的传感器和用于将检测到的手势转换成一个或多个命令以修改所显示的图像的解译逻辑器(例如，在可于编程处理器、专用电路或它们的组合上执行的软件中实现)。
在一些实施例中，解译逻辑器可基于由用户执行的初始手势动作来选择用于图像的操纵模式，并且图像操纵命令可基于解译手势(包括初始手势和后续的动作)而生成。图像操纵命令可由设备执行以操纵图像，例如，通过改变限定虚拟摄像机的观察位置、观察方向和/或观察角度的参数。例如，操纵模式可包括一个或多个单控制模式，诸如用于修改观察位置的平移模式、用于修改图像放大率(或用于移动虚拟摄像机更靠近或远离观察对象或区域)的缩放模式、用于使虚拟摄像机朝向不同方向的旋转模式和/或用于调节与虚拟摄像机相关联的倾斜角度的倾斜模式。操纵模式还可包括一个或多个多控制模式，诸如允许同时修改多个参数的平移/缩放/旋转模式。
以下具体实施方式连同附图将提供对本发明的实质和优点的更好理解。
附图说明
图1示出根据本发明的实施例的计算机系统。
图2示出根据本发明的实施例的能够在电子设备上显示的地图。
图3A和3B示出根据本发明的实施例的平移手势。
图4A和4B示出根据本发明的实施例的放大手势。
图5A和5B示出根据本发明的实施例的旋转手势。
图6A和6B示出根据本发明的实施例的倾斜手势。
图7为根据本发明的实施例的用于使用手势操纵图像的过程的流程图。
图8A和8B示出根据本发明的实施例的多控制操纵。
图9为根据本发明的实施例的用于基于手势输入选择操纵模式的过程的流程图。
图10为根据本发明的实施例的用于基于手势输入选择操纵模式的另一过程的流程图。
图11A和11B示出根据本发明的实施例的多控制操纵。
图12A和12B示出根据本发明的实施例的多控制操纵。
具体实施方式
本专利申请包括和包含了以下专利和出版物作为具体实施方式的一部分：
·公布于2001年11月27日的Westerman等人的美国专利6,326,846；
·公布于2008年12月23日的Ording的美国专利7,469,381；
·公布于2009年1月20日的Jobs等人的美国专利7,479,949；以及
·公布于2008年2月14日的Westerman等人的美国专利申请公开号2008/0036743(提交于2007年1月31日的专利申请11/700,636)。
根据本发明的某些实施例，多点触摸设备可智能地解译与3D对象、场景或区域的所显示的图像相关的不同手势并使其消歧。例如，当与描述3D区域(诸如地图)的所显示的图像进行交互时，用户可能想要平移图像以看到区域的不同部分，放大或缩小以看到区域的更多细节或更大部分，和/或旋转或倾斜图像以从不同角度观察图像。在不同时刻，用户可能想要进行单一调节或想要同时自由调节多个观察参数，例如，在平移或旋转时缩放。多点触摸设备可包括用于检测用户的手势的传感器和用于将检测到的手势转换成一个或多个命令以修改所显示的图像的解译逻辑器(例如，在可于编程处理器、专用电路或它们的组合上执行的软件中实现)。
在一些实施例中，解译逻辑器可基于由用户执行的初始手势动作来选择用于图像的操纵模式，并且图像操纵命令可基于解译手势(包括初始手势和后续的动作)而生成。图像操纵命令可由设备执行以操纵图像，例如，通过改变限定虚拟摄像机的观察位置、观察方向和/或观察角度的参数。例如，操纵模式可包括一个或多个单控制模式，诸如用于修改观察位置的平移模式、用于修改图像放大率(或用于移动虚拟摄像机更靠近或远离观察对象或区域)的缩放模式、用于使虚拟摄像机朝向不同方向的旋转模式和/或用于调节与虚拟摄像机相关联的倾斜角度的倾斜模式。操纵模式还可包括一个或多个多控制模式，诸如允许同时修改多个参数的平移/缩放/旋转模式。
I.多点触摸消歧系统
图1示出根据本发明的实施例的计算机系统100。计算机系统100可以实现为具有多种形状因数的各种计算设备中的任一个，包括例如，台式计算机或膝上型计算机、平板电脑、智能电话、车载导航系统、个人数据助理(PDA)、或任何其他类型的计算设备，但不限于任何特定的形状因数。计算机系统100可包括存储子系统110、输入设备120、显示器125、网络接口135、总线140和一个或多个处理单元105。
一个或多个处理单元105可包括可具有一个或多个核的单个处理器，或多个处理器。在一些实施例中，一个或多个处理单元105可包括通用主处理器以及一个或多个专用协处理器诸如图形处理器、数字信号处理器等。在一些实施例中，一些或全部处理单元105可使用定制电路诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)来实施。在一些实施例中，此类集成电路执行存储在电路自身上的指令。在其他实施例中，一个或多个处理单元105可执行存储在存储子系统110中的指令。
存储子系统110可包括各种存储器单元，诸如系统存储器、只读存储器(ROM)以及永久性存储设备。ROM可存储电子设备100的一个或多个处理单元105和其他模块所使用的静态数据和指令。永久性存储设备可为即使在计算机系统100断电的情况下也可存储指令和数据的非易失性可读和可写存储器单元。系统存储器可根据需要使用诸如动态随机存取存储器之类的易失性读写存储器或非易失性存储器来实现。系统存储器可存储当前由一个或多个处理单元105使用的指令和数据的一些或全部。
存储子系统110或其单元可使用计算机可读存储介质的任何组合来实现，包括各种类型的半导体存储芯片(DRAM、SRAM、SDRAM、闪存存储器、可编程ROM)等。还可以使用磁盘和/或光盘。在一些实施例中，存储子系统110可包括可以是可读和/或可写的可移除存储介质；此类介质的例子包括光盘(CD)、只读数字通用光盘(例如，DVD-ROM、双层DVD-ROM)、只读和可刻录盘、超密度光盘、闪存卡(例如，SD 卡、mini-SD卡、micro-SD卡等)、磁性“软”盘等。计算机可读存储介质不包括载波和无线地或通过有线连接传送的暂时性电信号。
在一些实施例中，存储子系统110可存储将由一个或多个处理单元105执行的一个或多个软件程序，诸如地图应用程序145。“软件”通常是指在被一个或多个处理单元105执行时使得计算机系统100执行各种操作，从而定义对软件程序的操作进行执行和实施的一个或多个特定机器实施的指令序列。指令可存储为驻留在只读存储器中的固件和/或存储在磁性存储装置中的应用，所述固件和/或应用可被读取到存储器中以供处理器处理。软件可以实现为单个程序或根据需要进行交互的独立程序或程序模块的集合。程序和/或数据可存储在非易失性存储装置中并在程序执行期间全部或部分地复制到易失性工作存储器中。一个或多个处理单元105可从存储子系统110中获取用于执行的程序指令以及用于处理的数据以便执行本文所述的各种操作。
用户界面可由一个或多个用户输入设备120、显示设备125和/或一个或多个其他用户输出设备(未示出)提供。输入设备120可包括用户可经由其将信号提供至计算系统100的任何设备；计算系统100可解译指示特定用户请求或信息的信号。在各种实施例中，输入设备120可包括键盘、触摸板、触摸屏、鼠标或其他指向设备、滚轮、点击轮、拨号盘、按钮、开关、小键盘、麦克风等中的任一者或全部。在包含手势识别的实施例中，至少一个输入设备120可提供能够检测多个不同接触区域的位置和动作的触敏表面。实例在美国专利6,326,846和美国专利7,479,949中有所描述；然而，应当理解，并不需要触敏表面的特定具体实施。
显示器125可显示由电子设备100生成的图像并且可包括各种图像生成技术，例如阴极射线管(CRT)、液晶显示器(LCD)、包括有机发光二极管(OLED)在内的发光二极管(LED)、投影系统等，连同支持电子器件(例如，数模或模数转换器、信号处理器等)。一些实施例可包括设备，诸如同时用作触敏输入设备和显示设备的触摸屏(例如，位于LCD、LED或OLED显示器上的触敏覆盖层)。在显示器非触敏性的实施例中，可提供独立的触敏表面以促成基于手势的输入。
在一些实施例中，可除显示器125之外或替代显示器125提供其他用户输出设备。例子包括指示灯、扬声器、触觉“显示”设备、打印机等。
在一些实施例中，用户界面可提供图形用户界面，其中显示器125的某些区域中的可见图像元素被定义为用户使用用户输入设备120所选择的活动元素或控制元件。例如，用户可操纵用户输入设备(例如，鼠标或跟踪垫)以将屏幕上的光标或指针定位在控制元件上，然后点击按钮或轻按触敏表面以指示选择。可选地，用户可在触摸屏设备上触摸控制元件(例如，使用手指或触笔)。在一些实施例中，用户可以说出与控制元件相关联的一个或多个字(所述字可为例如元素上的标记或与该元素相关联的功能)。在一些实施例中，可将触敏设备上的用户手势识别并解译为输入命令；这些手势可以但并不需要与显示器125中的任何特定阵列相关联。也可以实施其他用户界面。
网络接口135可以为电子设备100提供语音和/或数据通信能力。在一些实施例中，网络接口135可以包括用于访问无线语音和/或数据网络(例如，利用蜂窝电话技术、高级数据网络技术诸如3G、4G或EDGE，WiFi(IEEE 802.11系列标准)，或其他移动通信技术，或它们的任意组合)的射频(RF)收发器组件、GPS接收器组件，和/或其他组件。在一些实施例中，除了无线接口之外或者替代无线接口，网络接口135可以提供有线网络连接性(例如，以太网)。网络接口135可以利用硬件(例如，天线、调制器/解调器、编码器/解码器，以及其他模拟和/或数字信号处理电路)与软件组件的组合来实现。
总线140可包括可通信地连接电子设备100的许多内部设备的各种系统、外围设备和芯片集总线。例如，总线140可以将一个或多个处理单元105与存储子系统110可通信地耦接。总线140还连接至输入设备120和显示器125。总线140还通过网络接口135将电子设备100耦接至网络。以此方式，电子设备100可以是多个计算机系统的网络(例如，局域网(LAN)、广域网(WAN)、内联网)的一部分，或者网络的网络(诸如互联网)的一部分。电子设备100的任何或所有组件均可与本发明一起使用。
一些实施例包括电子部件，诸如将计算机程序指令存储在计算机可读存储介质中的微处理器、存储装置和存储器。本说明书中所描述的许多特征可实施为过程，所述过程被指定为在计算机可读存储介质上编码的程序指令的集合。在由一个或多个处理单元执行这些程序指令时，这些程序指令使处理单元执行程序指令中所指示的各种操作。程序指令或计算机代码的例子包括机器代码，诸如由编译器产生的机器代码，以及包括由计算机、电子组件或微处理器使用解译器来执行的更高级别代码的文件。
通过合适的编程，一个或多个处理单元105可为电子设备100提供各种功能。例如，一个或多个处理单元105可执行地图应用程序145。地图应用程序145可提供各种功能，诸如显示给定区域的地图的能力。所显示的区域可为地图数据对其可用的“标测”区域的全部或部分。地图数据可本地存储，例如存储在存储子系统110中，或根据需要远程存储和获取，例如通过网络接口135。在各种实施例中，标测区域可表示地球表面、另一行星或天体的表面、空间区域、或虚构区域(例如，由艺术家创建的区域)的一部分(或全部)，并且在任何给定时间，地图应用程序145可显示标测区域的任何部分(例如，多达全部)。地图可呈现为图解模型(例如，线条画)，呈现为拟真模型(例如，从卫星、空中和/或地平面照片或详细的艺术效果图创建)，或呈现为该二者的混合(例如，图解道路覆盖于拟真图像上)。
在任何给定时间，地图应用程序145可显示标测区域的一些部分(或全部)的图像。例如，所显示的区域可基于设备的当前位置和/或识别所关注区域的用户输入进行选择。所显示的区域可例如基于用户输入和/或响应于计算系统100的方位(位置和/或取向)上的变化进行动态更新。
应当理解，计算机系统100是示例性的，且变型形式和修改形式是可能的。计算机系统100可具有此处未具体描述的其他能力(例如，移动电话、全球定位系统(GPS)、电源管理、一个或多个相机、用于连接外部设备或附件的各种连接端口，等等)。此外，尽管参考特定块描述了计算机系统100，但应当理解，定义这些块是为了描述方便，并非意在暗示组件部分的特定物理布置。此外，块不必对应于物理上不同的部件。可以配置块以执行各种操作，例如通过对处理器编程或提供适当的控制电路，并且各个块根据初始配置是如何获得的而可以是能重新配置的或不能重新配置的。可以在包括利用电路和软件的任意组合实现的电子设备在内的多种装置中实现本发明的实施例。
图2示出根据本发明的实施例的能够在电子设备(例如，执行地图应用程序145的计算机系统100)上显示的地图200。地图200示出尺寸设定成适合显示器的区域。在该示例中，地图200可为能够从不同角度观察、而不限于正上方的3D地图，并且用户可执行手势以操纵视图。在一些实施例中，地图200可在2D模式和3D模式之间切换。
所显示的地图可由用户来操纵。在一些实施例中，基于限定虚拟摄像机在3D空间中的位置和取向的参数来呈现需显示的地图。响应于来自用户的手势输入，可执行命令以修改参数，从而重新定位摄像机(即，改变位置和/或取向)，并且可通过新的摄像机参数重新呈现地图。例如，可通过在平行于地图的地平面的平面平移虚拟摄像机来平移地图，允许观察不同区域。可通过沿着其光轴平移虚拟摄像机更靠近或远离地平面(或在不移动虚拟摄像机的情况下通过改变与虚拟摄像机相关联的焦距或放大因数)来缩放地图，允许视图中的区域被放大或缩小。可通过改变虚拟摄像机的光轴和/或“向上”矢量的取向来旋转地图。可通过重新定位虚拟摄像机以改变光轴和地图的地平面之间的“倾斜”角度来倾斜地图。下文描述可用于执行此类操纵的手势的实例。
在一些实施例中，所显示的地图还可操作为界面以允许用户访问另外的信息。例如，用户可轻按在地图上标记的位置(例如，餐厅202或博物馆204)以获得关于该位置的更多信息(例如，营业机构的电话号码、营业时间、所提供的产品和服务、顾客评论和反馈等)。其他位置相关的信息也是可用的，诸如当前或预测的天气状况、即将发生的事件、用于导航到位置的逐向指示、停车可用性等。
尽管图2和其他图示出地图图像，但根据具体实施，图像例如可为由计算机辅助设计(CAD)程序生成的对象的模型、包含真实的和/或计算机生成对象的场景的图像的效果图、或真实或虚拟3D区域的任何其他图像。
II.单控制模式
现将描述可用于操纵所显示的地图(或其他图像)的手势的实例。在这些实例中，基于接触的数量和接触在触敏表面的运动来限定手势。在一些实施例中，示出的接触数量被视为最小数量并且忽略任何额外的接触。
图3A和3B示出使得电子设备在用户选择的方向上相对于显示区域移动或平移地图的可见部分的“平移”手势。在一些实施例中，平移可在不改变摄像机的取向的情况下通过在平行于地图的地平面的平面上移动虚拟摄像机来实现。
参见图3A，如果地图300a显示在触摸屏显示器上，用户可将接触302a(例如，手指)置于屏幕上并在如箭头304所指示的某一方向上移动接触302a。作为响应，如图3B的地图300b所示，电子设备可在所指示的方向上平移地图。
在一些实施例中，地图配合接触运动304而平移使得地图上大致相同的位置保持处于接触的位置，如图3B所示，其中接触302b和地图300b相对于显示区域的边缘同时移动。例如，在地图300a中，艺术博物馆处于接触302a处，并且在地图300b中，同一艺术博物馆大致保持在接触302b处。因此，用户可控制地图的移动速率和方向，并且平移手势可提供“拖动”地图的体验。拖动地图可涉及改变在显示区域显示的地图的部分和/或改变限定可见部分的边界的参数。
在一些实施例中，用户可改变方向。例如，用户可将接触302a(例如，手指)置于屏幕上并且在如箭头304所指示的某一方向上移动接触302a，然后在另一方向上(例如，向右、向左、向上、向下或斜对角地)移动接触302a。作为响应，电子设备可在移动接触时随着接触的移动平移地图。平移手势不限于线性运动。在一些实施例中，用户可限定地图的曲线运动路径。例如，接触302a的移动可为弯曲路径(代替箭头304所指示的直线)。接触的移动可包括线性移动和非线性移动的任何组合。
在一些实施例中，平移可被视为涉及一个接触或两个或更多个接触在平行方向上的线性运动的手势。基于运动的特征(包括运动的线性、方向和速率)的各种组合，使用两个(或更多个)接触的平移可区别于其他手势。接触的相对位置还可用于区分手势之间的不同。实例在下文进行了描述。
图4A和4B示出使电子设备放大所呈现地图的尺寸的“放大”手势。在一些实施例中，可通过沿虚拟摄像机的光轴朝地平面移动虚拟摄像机以放大或远离地平面以缩小来实现缩放。在一些实施例中，可通过改变与虚拟摄像机相关联的放大因数或焦距来实现缩放。
参考图4A，如果地图400a在触摸屏显示器上显示，用户可放置两个接触402a和404a(例如，手指和拇指，或两个手指)与触摸屏接触并如箭头406、408所指示的，移动接触402、404彼此远离。作为响应，如图4B所示，电子设备可放大地图。该运动有时被称为向外按压或“扩张”。在一些实施例中，扩张(或按压)运动可通过由箭头406、408形成的角度来识别。例如，如果在零度的阈值角度内，可识别放大/缩小操作。
在一些实施例中，地图配合接触运动而放大使得地图上大致相同的位置保持处于如图4B所示的每个接触处。例如，接触402a和402b均位于地图400a和400b上的同一交点附近(例如，位于Minna Street和3rd Street的拐角附近)，并且接触404a和404b位于地图400a和400b上的同一位置附近(例如，就在3rd Street旁边，沿街区的约一半位置处)。即，对于地图400a到400b，在移动406、408引起显示器上的变化之后，接触相对于地图对象可具有类似的位置。因此，用户可控制缩放操作的速率、角度和中心位置。
在一些实施例中，如果接触缓慢移动，则放大协调于接触运动；即，减速扩张。在一些实施例中，快速扩张手势可使地图放大预定义的步长大小，例如，从当前的放大因数到下一“步长”。可存在任何数量的预定义步长，例如，从最小放大率到最大放大率可存在10、16、20个步长等。快速扩张可用于更快地缩小，例如，如果用户想要从足够放大的视图(例如，城市街区的视图)达到足够缩小的视图(例如，城市视图、州视图、国家视图等)。
尽管并未单独示出，但也可定义相关的“缩小”手势以减小所呈现地图的尺寸。缩小手势可被定义为向内按压或“按压”，例如，反转图4A和4B的接触402和404的运动使得它们相互更靠近地移动，而不是离得更远。相对于扩张和放大的上述相同概念，包括快速和缓慢扩张和协调地图放大与扩张运动接触，可应用于向内按压操作以实现缩小。
在一些实施例中，在缩放操作协调于接触的运动的情况下，可响应于单个手势来执行放大和缩小。单个手势可被限定为从初始手势直至手势终止事件(例如，从触敏表面提升一个或多个接触)的时间持续或进行中。例如，用户可通过缩小开始，断定她已进行得过量，并且反向运动以再放大回原尺寸。在该示例中，在缩小和再放大回原尺寸时，用户的两个手指(或其他接触)保持接触于触敏表面。
在一些实施例中，放大和缩小可被视为能够通过两个或更多个接触来表征的单个手势，该两个或更多个接触以改变(增大或减小)其间距离的方式大致线性地移动。例如，如图4A和4B所示，接触402a和404a由第一距离(410a)分隔开来；在运动406和408之后，接触402b和404b由第二距离(410b)分隔开来。在示出的扩张操作中，第一距离小于第二距离。在按压操作中，第一距离可大于第二距离。
图5A和5B示出使得电子设备相对于显示器旋转地图的“旋转”手势，允许用户从不同角度查看地图。在一些实施例中，旋转可以实现为虚拟摄像机围绕其光轴旋转，使摄像机的“向上”矢量重新取向。然而，对于查看3D地图的用户，这可能无法产生期望效果，尤其在光轴未取向成垂直于地图的地平面的情况下。相反，用户可能更喜欢拥有从不同方向(例如，东侧相对于北侧查看)呈现相同区域的视图而不是侧面地或颠倒地显示区域的旋转。因此，在一些实施例中，旋转操作可被定义为在平行于地图的地平面的圆周中移动虚拟摄像机。圆周的中心为虚拟摄像机的光轴与地平面相交的“目标点”，并且圆周的半径根据当前倾斜角度和摄像机位置来确定。同时，随着围绕圆周的运动，摄像机重新取向以使光轴保持在目标点。在光轴垂直于地平面(竖直向下查看)的特定情况下，虚拟摄像机的圆周运动可成为围绕光轴的旋转。
参考图5A，如果地图500a在触摸屏显示器上显示，则用户可放置两个接触502a和504a(例如，手指和拇指，或两个手指)接触于触摸屏并且大致围绕接触的公共中心以弧线方式移动接触。对于用户，运动可类似于用手指和拇指拨转拨号盘。作为响应，电子设备可旋转如图5B所示的地图500b。在一些实施例中，随着地图的旋转，与地图相关联的文本元素，包括街道和地标标识符，可重新取向使得它们大致保持右侧朝上，这可通过比较图5A和5B而看到。
在一些实施例中，旋转配合接触502a相对于502b以及504a相对于504b的运动(如箭头506和508所指示)而执行。旋转的量值可为使得接触502a、504a围绕公共中心的完全的360度旋转对应于完全的360度旋转。在这种情况下，光轴正交于地图而执行的旋转可导致地图上大致相同的位置保持在如图5A和5B所示的接触502、504a处。例如，接触502a相比于接触502b(例如，就在Minna Street旁边，沿街区的路的约四分之一处)可处于地图上相对于其他地图对象大致相同的位置，并且接触504a相比于接触504b(例如，靠近艺术博物馆)可处于地图上相对于其他地图对象大致相同的位置。对于光轴的其他取向，未必是这样。
在一些实施例中，如果缓慢执行手势，则旋转协调于接触运动。在一些实施例中，快速旋转手势可使得地图旋转预定角度(例如，45度或90度)。在一些实施例中，旋转手势可基于运动的旋转(相对于线性)部件而区别于其他手势，其中两个接触在围绕介于其间的某一点的相同方向上旋转。
图6A和6B示出能够用于调节相对于查看地图的地平面角度的“倾斜”手势；该角度有时称为倾斜角度或倾斜角。在一些实施例中，倾斜角度调节在一定程度上类似于旋转来实现，不同的是虚拟摄像机在垂直于地平面的圆周内移动。圆周的中心为光轴与地平面相交的目标点，并且圆周的平面被定义为包含光轴并垂直于地平面。随着虚拟摄像机沿该垂直取向的圆周移动，摄像机同时重新取向使得光轴保持在目标点处。倾斜角度被定义为地平面和光轴之间的角度，其中0度对应于地平面并且90度(垂直于地平面)对应于竖直向下查看。
参考图6A，地图600a以90度的倾斜角度来显示，即，从上面竖直向下查看地图区域。为了使地图倾斜(或改变倾斜角度)，用户可沿显示器的X轴并排放置两个接触602a和604a(例如，两个手指、或手指和拇指)并且在如箭头606、608所指示的大致正交于将其连接的直线的方向上移动接触602a、604a，得到图6B中的接触602b和604b的放置。如图6B所示，倾斜手势改变地图600b中的视角使得可以倾斜角度查看地图区域，而不是竖直向下查看。
倾斜角度变化的速率和大小可基于用户动作来确定。例如，可使用转换因子来将接触602a、602b、604a和604b移动的距离转换为倾斜角度的变化，并且变化可根据接触的运动适时地施加。在一些实施例中，选择转换因子使得等于屏幕高度的90％的距离对应于地图应用程序所允许的最大倾斜角度和最小倾斜角度之间的差值；也可使用其他转换因子。接触行进的距离可在两个维度(如620处所指示的，被定义为相对于显示器的当前取向的水平和垂直的X和Y方向)或仅在一个维度(例如，仅Y方向，忽略X方向上的运动)进行测量。
在一些实施例中，如图6A和6B所示，向上(朝显示区域的顶部)移动接触602a、604a致使地图朝地面视角倾斜(减小倾斜角度)，并且向下(朝显示区域的底部)移动接触602b、604b致使地图朝从上方的视角倾斜(增大倾斜角度)。用户可在一个方向下开始倾斜手势，然后在单个手势内使其反转。
在一些实施例中，倾斜角度限制在90度和0度的范围之间，而不论用户是何动作。将最小倾斜角度限制在零可防止用户从下方(其可能是不切实际或不提供信息的视角)查看地图区域。在一些实施例中，最小倾斜角度可大于0度；例如，可使用诸如15度、20度、36度等之类的值。最大倾斜角度可限制在90度；在一些实施例中，不适用该限制。在允许的情况下，可呈现大于90度的倾斜角度，例如，作为“上下颠倒”视角。(这可能使一些用户失去方向感。)
倾斜手势可根据使其区别于涉及两个接触的其他手势的各种标准来识别。在一些实施例中，这些标准与接触的相对位置和运动均有关。例如，为了检测倾斜手势，可需要两个接触大致位于平行于X轴的直线上。因此，参考图6A，可限定每个接触602、604的质心(见例如美国专利6,326,846、美国专利7,479,949和美国专利申请公布号2008/0036743D对于有关识别接触的质心的附加描述)，并且可限定连接质心的直线610。作为用于识别倾斜手势的第一标准，可需要直线610大致平行于显示器上的水平线(例如，基准线612)。也可使用各种特定阈值；例如，可需要直线610和直线612之间的角度小于预定义的最大角度，其可为例如30度、25度、17度或其他角度。在一些实施例中，可计算表示直线610和612的归一化向量的点积并且应用最小阈值；例如，大于0.3、0.35、0.4、0.5或其他值的点积。
此外或另选地，可将标准适用于接触的运动。例如，为了检测倾斜手势，可需要两个接触的运动大致平行于Y轴。又如，可将速度标准适用于运动。在一些实施例中，假设用户通常想要以受控方式缓慢改变倾斜角度，Y方向上的快速动作可被解译为未指示倾斜(其根据速率可能被解译为另一手势，例如，平移或滑动)。例如，这可以实现为对与倾斜手势相关联的接触的运动速率的上限。
应当理解，本文所述的手势和地图是示例性的，且变型形式和修改形式是可能的。例如，如上所述，在一些实施例中，可忽略任何额外的接触(超过手势限定数量的接触)。在一些实施例中，用户可在做手势的过程中添加新的接触并且移除初始接触中的一个(例如，切换手指)，并且只要至少手势限定数量的接触(或根据具体实施，至少一个接触)保持一直接触于触敏表面，则可将动作视为相同手势的延续。
除上述手势之外或代替上述手势，还可限定并使用其他手势。例如，快速滑动可在滑动方向上使地图平移预定距离。地图上特定位置上的轻按手势可使得设备获得并呈现有关该位置的信息。手势、手势解译启发法和可与手势相关联的命令的另外实例在美国专利号6,326,846；7,469,381；7,479,949；和美国专利申请公布号2008/0036743中有所描述。
在一些实施例中，可对地图的修改范围进行限制。例如，如上所述，倾斜角度可通过最大值和最小值进行限制。缩放(或放大)还可通过最大比例因子和最小比例因子进行限制。还可限制平移，例如，在地图区域具有边缘的情况下。(这可能并非涵盖整个行星的表面的地图区域的情况，但可能是其他类型的地图的情况，诸如建筑物、城市或具有边界的虚构区域的地图。)当遇到范围限制时，可提供视觉反馈，例如经由如美国专利7,469,381所描述的橡胶筋效应。
在一些实施例中，所显示的地图的修改可被动画化，例如，从而使手势的运动相关联。例如，地图穿过显示器的运动看起来可基于运动的变化来加速、减速和/或改变方向。在修改正应用预定变化(例如，响应于如上所述的快速缩放或快速滚动手势)的情况下，可使用适当常量将加速和减速应用于修改；例如，可将摩擦系数用于模型加速和/或减速。摩擦建模和相关的视觉效应的实例也在美国专利7,469,381中有所描述。这可使得修改对于用户看起来像自然运动。
诸如上文所述的手势可用于操纵包含任何数量和/或类型的对象的3D空间中的区域的地图或任何其他图像。图7为根据本发明的实施例的用于操纵图像的过程700的流程图。过程700例如可在图1的计算机系统100或其他电子设备中实现。
在框702处，显示3D区域的图像。根据具体实施，该图像例如可为地图(例如，图2的地图200)、由计算机辅助设计(CAD)程序所生成对象的模型、包含真实的和/或计算机生成的对象的场景的图像的效果图、或真实或虚拟3D区域的其他图像。图像可基于虚拟摄像机参数诸如位置、取向(例如，旋转角度)、视线方向(例如，倾斜角度)和放大因数来以默认状态显示。默认状态可使用由程序所限定的启动参数、从另一程序所接收的信息(例如，提供餐厅评论的应用程序可调用地图应用程序以显示特定餐厅的位置，提供餐厅的位置)或由用户所确定的最新的参数组(例如，在应用程序每次启动时返回至最后显示的视图)来确定。
在框704处，过程700可检测设备的触敏表面上的一个或多个接触。在一些实施例中，触敏表面可为显示器。在一些实施例中，也可使用其他触敏表面，包括触控板、鼠标和其他用户输入设备。
在框706处，过程700可检测一个或多个接触的初始手势运动。初始手势运动(有时也称为手势的滞后)可包括任何运动，其足够大和/或足够快速以被认为是有意的并且使之消除与其他手势相关联的其他运动的歧义；手势运动的实例在上文和美国专利号6,326,846；7,469,381；7,479,949；和美国专利申请公布号2008/0036743中有所描述。
在框708处，过程700可基于接触的数量和初始手势运动来选择操纵模式。操纵模式的实例在下文进一步描述并且可包括上述操纵(例如，平移、旋转、缩放和倾斜)和/或其他操纵的任何组合。在一些实施例中，操纵模式可使用参考图9举例说明和描述的过程来确定。
在框710处，基于所选择的操纵模式和初始手势运动，过程700可修改所显示的图像。例如，如果选择了平移操纵模式(例如，基于图3A中的初始手势运动304)，则可在所显示的图像(例如，图3B中的地图300b)上执行平移操作。在框710处可应用并显示上述任何其他操纵模式和/或另外的操纵模式。
在一些实施例中，尽管框706处的初始手势运动用来识别手势，但手势本身也可延伸到初始手势运动之外。因此，在框712处，过程700可检测与手势相关联的另外的运动并且基于运动进一步修改所显示的图像(返回框710)。在框714处，如果未检测到另外的运动，则过程700可确定是否已发生手势终止事件。例如，如果所有接触从触敏表面移除和/或如果所有接触停止移动至少阈值时间段，则可检测到手势终止事件。如果未检测到手势终止事件，过程700可返回至框712以检测与当前手势相关联的另外的运动。当手势终止事件发生时，过程700可返回至框702以检测发起另一手势的另一接触。
过程700允许用户以任何顺序使用手势的任何组合来与3D区域的所显示的图像进行交互并且无需指示用户意图的任何另外的输入。用户还可开始操纵手势，实时地看到其效果，并且相应地响应，例如，根据需要使手势继续、改变速率或方向、或结束手势。因此，用户体验能够感到自然而直观。
如上所述，电子设备可自动区分用户可做出的各种手势并且选择操纵模式，其中根据所选择的模式来解译后续的运动并且对所显示的图像进行操纵直至手势终止事件发生。现将描述选择操纵模式。
在一些实施例中，用户所作的手势可被识别为指示一组不同操纵中的一个或另一个，例如，上述平移、缩放、旋转或倾斜操纵中的任何一个。在这种情况下，对应的操纵可被选择为操纵模式。这些在本文中也被称为单控制模式，其指示每次对地图视图仅作出一种类型的修改。
III.多控制模式
本发明的一些实施例允许手势被识别为调用“多控制”模式，其中可并发或同时作出两种或更多种类型的修改。多控制模式的实例为允许平移、缩放(放大)和旋转的并发或同时修改同时相对于地图空间的竖直轴线保持恒定的倾斜角度的模式。
图8A和8B示出根据本发明的实施例的多控制操纵。图8A示出地图视图800a和执行如箭头806、808所指出的多控制手势的接触802、804。该手势与线性运动(与平移手势相关联)、旋转运动(与旋转手势相关联)和扩张运动(与缩放手势相关联)的元素相结合。基于这些元素，可对地图800a进行平移、旋转和缩放以产生新的视图，例如，图8B中所示的地图800b。在多控制模式中，地图的变换可协调于相关的运动部件，并且用户可具有将地图自由调节至期望位置、取向和放大率的体验。
在一些实施例中，多控制模式可包括两种或更多种修改(例如，旋转和平移、平移和缩放、旋转和倾斜等)的任何组合，并且可识别任何数量的不同多控制模式。在一些实施例中，倾斜控制不包括在任何多控制模式中，但仅作为单控制模式使用。
任何可用的单控制模式或多控制模式可由电子设备基于经由触敏表面所接收的手势输入进行选择。设备可基于手势的特征(例如，接触的数量和接触的初始运动的特性诸如方向和/或速率)实现各种启发法以确定特定手势是否应调用单控制模式或多控制模式以及将调用的特定模式。
图9为根据本发明的实施例的用于基于手势输入选择操纵模式的过程900的流程图。例如，可使用过程900来实现过程700的框708。
在框902处，对从触敏表面所接收的触摸式数据进行分析以确定一个或多个所检测接触中的每一个的位置和速度(速率和方向)。然后，可应用各种启发法来确定所检测的运动是否对应于所限定手势中的任一个。
例如，在框904处，过程900可确定是否已满足用于识别倾斜手势的标准。如上参考图6A和6B所描述的，这些标准可包括：(a)是否检测到至少两个接触；(b)是否大致平行于X轴布置两个接触；(c)是否在Y方向上移动接触；以及(d)是否以小于最大速率移动接触。如果满足倾斜标准，则在框906处，过程900可选择作为单控制模式的倾斜模式。参考图7，如果在框708处选择了倾斜模式，后续的运动可作为倾斜手势的延续来处理直至终止事件发生。
再次参见图9，在框908处，过程900可确定是否已满足用于识别平移手势的标准。如上参考图3A和3B所描述的，这些标准可包括：(a)是否检测到至少一个接触；以及(b)是否接触主要线性地移动。如果满足平移标准，则在框910处，过程900可选择作为另一单控制模式的平移模式。参考图7，如果在框708处选择了平移模式，后续的运动可作为平移手势的延续来处理直至终止事件发生。
再次参见图9，在框912处，过程900可确定是否已满足用于识别缩放手势的标准。如上参考图4A和4B所描述的，这些标准可包括：(a)是否检测到至少两个接触；(b)是否一个或多个接触朝向或远离另一个移动；以及(c)是否运动主要为线性的。如果满足缩放标准，则在框914处，过程900可选择作为第三单控制模式的缩放模式。参考图7，如果在框708处选择了缩放模式，后续的运动可作为缩放手势的延续来处理直至终止事件发生。
再次参见图9，在框916处，过程900可确定是否已满足用于识别旋转手势的标准。如上参考图5A和5B所描述的，这些标准可包括：(a)是否检测到至少两个接触；(b)是否接触中的两个以大致圆形模式移动；以及(c)是否运动大致为围绕公共中心旋转的。如果满足旋转标准，则在框918处，过程900可选择作为第四单控制模式的旋转模式。参考图7，如果在框708处选择了旋转模式，后续的运动可作为旋转手势的延续来处理直至终止事件发生。
再次参见图9，在框920处，过程900可确定是否已满足用于识别多控制手势的标准。如上参考图8A和8B所描述的，多控制模式可通过结合了各种单控制手势的方面的手势进行调用。因此，例如，如果多控制模式允许平移、缩放和旋转，则用于识别多控制手势的标准可包括：(a)是否检测到两个或更多个接触；(b)是否一个或多个接触的初始运动的速率低于阈值；以及(c)是否初始运动与至少两个单控制手势的特性相结合，诸如平移加缩放、旋转加缩放、或旋转加平移。如果满足多控制标准，则在框922处，过程900可选择多控制模式。参考图7，如果在框708处选择了多控制模式，后续的运动可基于特定运动作为平移、旋转和缩放的组合来处理。多控制模式可继续应用直至手势终止事件发生。
在一些实施例中，设备可识别手势输入以调用除操纵所显示的图像之外的功能。因此，再次参见图9，在框924处，过程900可确定是否已满足用于识别其他手势(例如，轻按、两次轻按、滑动等)的标准。用于多个手势的手势识别标准的实例在美国专利号6,326,846；7,469,381；7,479,949；和美国专利申请公布号2008/0036743中有所描述。如果识别出另一手势，则在框926处，过程900可执行与手势相关联的动作，其可能包括或不包括修改图像。参考图7，如果在框708处识别出与操纵所显示的图像不相关的手势，则过程700可在于框924处执行适当的动作之后返回至框704(或退出，根据所考虑的动作)。
再次参见图9，如果在框924处，未识别出手势，过程900可确定忽略输入(框928)。参考图7，在这种情况下，过程700可返回至框704以等待另一手势。
应当理解，过程700和900为例示性的并且变型形式和修改形式是可能的。可并行执行按序列描述的步骤，可改变步骤的次序，且可修改、组合、添加或省略步骤。例如，尽管图9示出标准可适用于其中的特定次序，但应当理解也可使用任何次序。另外，结合各种手势所描述的标准为例示性的，并且可使用其他标准。用于识别和解译手势输入的技术的其他描述在美国专利号6,326,846；7,469,381；7,479,949；和美国专利申请公布号2008/0036743中有所提供。
在一些实施例中，手势识别可基于评分模型，而不是基于满足特定标准。图10为根据本发明的实现评分模型的实施例的用于基于手势输入选择操纵模式的过程1000的流程图。例如，可使用过程1000来实现过程700的框708。
在框1002处，对从触敏表面所接收的触摸式数据进行分析以确定一个或多个所检测接触中的每一个的位置和速度(速率和方向)。在框1004处，可计算针对预定义的可能手势库中的每个手势的分数。库例如可包括如上所述的平移、缩放、旋转和倾斜手势；也可包括其他手势。库可定义每个手势的评分功能，其中分数为接触和/或其初始运动的特征的数学函数。分数被定义成反应具有某组特性的手势意在成为正在被评分的特定手势的可能性。在一些实施例中，评分功能可基于生物力学限制(例如，手指的活动范围)、有关用户行为的假设和/或在预期手势已知的情况下从试图作出各种手势的用户池所采集的统计数据进行设计。多种算法和技术可用于定义不同手势的分数，并且库可包括任何数量的手势。在一些实施例中，基于阈值的标准和/或基于上下文的标准可用作过滤器以减少为其计算分数的手势的数量。
在框1006处，可检查与不同手势相关联的分数以确定是否任何单个手势具有高于阈值的分数。可将阈值定义为绝对分数、或两个最高分数之间的差值或最高分数和分数的平均值之间的差值，等等。如果恰好一个手势具有高于阈值的分数，则在框1008处，选择对应于具有高于阈值的分数的手势的单控制模式。在一些实施例中，框1008还可包括执行与跟图像操纵不相关的手势相关联的功能，其类似于上述过程900的框922。
在框1010处，如果没有手势的评分高于阈值，或如果多个手势的评分高于阈值，则选择多控制模式。例如，如果多个手势的评分高于阈值，则可选择包括所有此类手势的多控制模式。如果在框1006处没有手势的评分高于阈值，则可应用比框1006处低的阈值，并且所选择的多控制模式可包括评分高于较低阈值的手势。又如，如果两个(或三个或四个等)最高分数彼此充分接近，则所选择的多控制模式可结合与具有两个(或三个、或四个等)最高分数的手势相关联的操纵。在一些实施例中，可定义单个多控制模式(例如，包括旋转、平移和缩放控制)，并且当框1006处的评分比较结果不指示单个无歧义手势时可选择该模式。也可使用用于定义和选择多控制模式的其他技术。
另外的多控制模式在图11A、11B、12A和12B中示出。图11A和11B示出根据本发明的实施例的多控制操纵。图11A示出地图视图1100a和执行如箭头1106、1108所指示的多控制手势的接触1102a、1104a。该手势与运动(与平移手势相关联)和旋转运动(与旋转手势相关联)的元素相结合。手势可包括其他运动元素，但这里未作描述。
例如，可沿图11A中的箭头1106移动接触1102a以移动至图11B中的1102b，而同时可沿图11A中的箭头1108移动接触1104a以移动至图11B中的1104b。基于这些元素，可对地图1100a进行平移和旋转以产生新的视图，例如，图11B所示的地图1100b。在多控制模式中，地图的变换可协调于相关的运动部件，并且用户可拥有将地图自由调节至期望位置、取向和放大率的体验。
如图11A和11B所示，从地图1100a到地图1100b，对象在可视区中的定位发生变化。例如，对象1110a位于地图1100a中的可视区的中心附近，并且对象1110b朝向地图1100b的顶部。该变化可能与基于接触的线性运动的平移操作相关联。另外，从地图1100a到地图1100b，对象在可视区中的取向发生变化。例如，取向指示器1115a示出第一取向，并且取向指示器1115b示出第二取向。取向的变化可为接触的角度旋转的结果，例如，与旋转操作相关联。
如图11A和11B所示，接触1102a与1104a之间的距离和1102b与1104b之间的距离大致相同。因此，在示出的图示中，几乎不存在放大或缩小，并且建筑物的尺寸大致相同。当确定用户期望两个(并且仅两个)操纵模式时，可发生双模式操纵模式。
根据本发明的实施例的多控制操纵的另一实例在图12A和12B中示出。图12A示出地图视图1200a和执行如箭头1206、1208所指示的多控制手势的接触1202a、1204a。该手势与运动(与平移手势相关联)和缩小运动(与缩放手势相关联)的元素相结合。手势可包括其他运动元素，但这里未作描述。
例如，可沿图12A中的箭头1206移动接触1202a以移动至图12B中的1202b，而同时可沿图12A中的箭头1208移动接触1204a以移动至图12B中的1204b。基于这些元素，可对地图1200a进行平移和旋转以产生新的视图，例如，图12B所示的地图1200b。在多控制模式中，地图的变换可协调于相关的运动部件，并且用户可拥有将地图自由调节至期望位置、取向和放大率的体验。
如图12A和12B所示，从地图1100a到地图1100b，对象在可视区中的定位发生变化。例如，与莫斯克尼会议中心相关联的对象(以及相关联的文本信息)相对于可视区的边缘改变位置。该变化可能与根据接触的线性运动的平移操作相关联。在一些实施例中，如上所述，可对平移运动进行协调。例如，接触1202a和1202b相对于接触处于其上的对象(例如，建筑物)大致位于相同位置，并且接触1204a和1204b相对于接触处于其上的对象(例如，另一建筑物)大致位于相同位置。
另外，从地图1200a到地图1200b，对象在可视区中的比例发生变化。变化比例可为放大/缩小操作的结果。如图所示，接触1102a和1104a之间的距离大于1102b和1104b之间的距离。另外，接触的移动相对于其他接触为基本线性的。在一些实施例中，如上所述，可对缩放运动进行协调。例如，接触1202a和1202b相对于接触处于其上的对象(例如，建筑物的端部)大致位于相同位置，并且接触1204a和1204b相对于接触处于其上的对象(例如，同一建筑物的中间部分)大致位于相同位置。在示出的图示中，几乎不存在角度旋转(例如，如在用户模拟拨转拨号盘时将出现的)；因此，地图1200a和1200b的取向大致相同。除了以大致相同的取向显示地图对象，该取向还可通过取向指示器1215a和1215b来反映。
应当理解，本文描述的模式选择过程是例示性的，并且可以做出变型和修改。可并行执行按序列描述的步骤，可改变步骤的次序，且可修改、组合、添加或省略步骤。基于分数和基于阈值的标准的不同组合可用于区分不同手势。标准可结合能够通过触敏表面检测的任何信息，包括但不限于：接触的数量；每个接触的相对于其他接触的位置；每个接触的相对于触敏表面的位置(也称为“绝对”位置)；每个接触的移动速率；每个接触的移动方向(其可相对于触敏表面和/或相对于一个或多个其他接触进行定义)；与每个接触相关联的压力；每个接触的持续时间；连续接触之间的时间；等等。手势识别可基于顺序(例如，作为决策树)或并行实施的特定标准、评分模型和/或它们的任何组合。
上述实施例提供与操纵3D区域的所显示的图像相关的多种手势的识别。手势可允许用户改变查看区域的方向(例如，通过旋转和/或倾斜)、图像的放大率(例如，通过缩放)和/或图像的可视部分(例如，通过平移)。在一些实施例中，图像操纵手势的效果可通过从虚拟摄像机的视角呈现图像来实现，并且手势可被解译为改变虚拟摄像机的位置和/或取向。以单控制模式操作允许用户每次调节一个观察参数，而以多控制模式操作允许同时调节多个观察参数，赋予用户对视图进行灵活而直观的控制。设备可基于手势的特征自动确定是否以单控制模式或多控制模式操作，并且用户可通过终止当前手势并开始新的手势来在任何时间改变模式。
如上所述，一些实施例提供一个多控制模式，该多控制模式在保持倾斜角度不变的情况下允许同时控制平移、缩放和旋转。对于一些应用程序(诸如地图)，这可为有益的，因为调节倾斜角度可能比调节其他参数更令用户困惑。在其他应用程序中，可期望其他多控制模式；例如，在CAD应用程序中，多控制模式可允许围绕不同轴旋转对象(或视图)，但不允许在旋转时进行缩放。
虽然已相对于具体实施例对本发明进行了描述，但本领域的技术人员将认识到许多修改形式是可能的。例如，尽管参考3D地图示出了图像操纵，但也可使用类似的手势和解译来操纵多种应用程序中的3D对象或区域的任何种类的图像，包括但不限于CAD应用程序、计算机动画应用程序、视频游戏等。还可修改本文所述的特定手势，并且各种实施例可包括比上述手势更多或更少的手势和/或手势的不同组合。还可将手势解译为指示不同命令；例如，可以定义倾斜、滚动和偏航手势，用于定位虚拟(或真实，取决于应用程序)摄像机或3D空间中的其他对象。
在一些实施例中，还可结合与操纵图像或图像的视图不相关的手势。例如，用户可能够编辑图像(例如，通过添加、更改或重新定位对象)，或用户可能够获得有关图像中对象的附加信息(例如，有关地图上示出的营业机构的信息，诸如营业时间、电话号码、评论和反馈等)。对象的实例为图11中的对象1110，其为可选择用于附加信息的信息图标。图像中的对象的其他实例包括图2中的餐厅202或博物馆204。
附加信息可能存在于与图像中的对象相关联的弹出式图形元素中。在一些实施例中，在选择了对象时呈现弹出式图形元素。图12中的弹出式图形元素1210为呈现附加信息的实例。在一些实施例中，弹出式图形元素可响应于对图像中对象的用户选择而显示，而在其它实施例中，弹出式图形元素可响应于搜索查询而显示。在一些实施例中，弹出式图形元素可基于预定标准而自动显示。
在一些实施例中，在3D模式中，弹出式图形元素可能看起来像“悬停”在对象上，就像在对象上方“悬在空中”。在2D模式中，弹出式图形元素可看起来像邻近对象(例如，位于对象上方、下方或附近)。响应于操纵手势，弹出式图形元素可保持在相对于对象的大致相同的位置处。例如，弹出式图形元素可在缩放、平移、旋转、倾斜或它们的组合之后保持“悬停”在对象上。在一些实施例中，弹出式图形元素响应于放大或缩小操作保持大致相同的尺寸，而图像中的周围对象重调尺寸。在一些实施例中，弹出式图形元素保持在可视区内的大致相同的位置，而图像中的周围对象重新定位。
在一些实施例中，只要与弹出式图形元素相关联的对象在屏幕上显示，弹出式图形元素就保持在图像上显示。例如，只要在平移(或旋转、倾斜、缩放)操作之后，对象保持在可视区中，弹出式图形元素就可在操作之后保持在屏幕上显示。在一些实施例中，如果对象离开可视区(和/或被显示器上的另一对象诸如3D建筑物对象所遮挡)，则弹出式通知消失。在一些实施例中，当对象重新进入可视区时(例如，作为平移视图使得对象离开屏幕然后大致平移回到初始视图的手势的结果)，弹出式图形元素不重新显示，而在其它实施例中，弹出式图形元素重新显示。
此外，本文所述的手势解译技术提供使手势消歧的能力，包括手势可调用与另外被单独识别的多个手势相结合的多控制操作模式的情况。此类技术对除操纵3D图像之外的情形也具有适用性，因此本文所述的技术在其他情况下可用于区分相关的手势并允许任何用户交互(包括与3D区域或对象的图像不相关的交互)的多控制模式。
可使用任何触敏表面来检测手势。在一些实施例中，触敏表面可为显示设备的覆盖层或其他部件，提供触摸屏界面；然而，还可使用独立于显示设备而定位的触敏表面，诸如触控板。可使用手指、触笔或特定触敏表面可检测的任何其他对象来形成接触。在一些实施例中，触敏表面可对接近敏感，并且可基于对表面的接近来检测“接触”而无需实际的物理接触。
可使用专用部件和/或可编程处理器和/或其它可编程设备的任意组合来实现本发明的实施例。本文所述的各种过程可以任何组合方式在相同处理器或不同处理器上实现。在组件被描述为被配置成执行某些操作的情况下，可以例如通过设计电子电路以执行操作、通过对可编程电子电路(诸如微处理器)进行编程以执行操作或它们的任何组合，来实现这种配置。尽管上述实施例可引用具体硬件和软件部件，但本领域的技术人员将会知道，也可以使用硬件和/或软件部件的不同组合，并且被描述为在硬件中实现的特定操作也可能在软件中实现，或反之亦然。
可在各种计算机可读存储介质上编码并存储结合本发明的各种特征的计算机程序。合适的介质包括磁盘或磁带、光学存储介质诸如光盘(CD)或DVD(数字多功能盘)、闪存存储器，以及其它非暂态介质。可将用程序代码编码的计算机可读介质与兼容的电子设备封装在一起，或者该程序代码可独立于电子设备提供(例如，经由互联网下载或作为单独封装的计算机可读存储介质)。
因此，尽管已相对于具体实施例描述了本发明，但应当理解，本发明意在覆盖以下权利要求范围之内的所有修改和等价形式。