过扫描显示设备以及使用该过扫描显示设备的方法

过扫描显示设备以及使用该过扫描显示设备的方法
【专利摘要】一种显示设备，该显示设备包括显示面板、触摸屏面板和计算机处理器，所述显示面板包括被配置成显示一个或多个图像对象的显示区域和被配置成防止在过扫描区域内显示图像的过扫描区域，覆在所述显示区域和所述过扫描区域的所述触摸屏面板被配置成检测并生成指示所检测到的交互的交互数据，所述计算机处理器被配置成访问第一交互数据、确定第一交互数据反映与所述触摸屏面板的对应地与所述过扫描区域重叠的至少一个部分的交互、基于第一交互数据来标识第一特定交互输入类型以及指令所述显示面板调用所述显示区域中的一个或多个图像对象的显示或改变所述显示区域中的一个或多个图像对象的显示。
【专利说明】过扫描显示设备以及使用该过扫描显示设备的方法

【技术领域】
[0001]本公开涉及多点触摸显示设备的特征。
[0002]背景
[0003]类似于传统的触摸屏显示设备，一些多点触摸显示设备需要用户提供在显示设备的显示区域内的物理接触。结果，可在显示区域内的画布上对图像对象进行操纵。然而，使用显示设备的显示区域来接收用户输入以便对画布的图像对象进行操纵有时妨碍了用户在操纵图像对象的同时接收显示区域整体的无遮挡视图。

【专利附图】

【附图说明】
[0004]图1是被配置成向用户提供操纵视图以及操纵在画布上排列的显示的图像对象的能力的多点触摸显示设备的图。
[0005]图2是被配置成在覆在过扫描区域上的触摸屏设备处接收接触输入的显示设备的过扫描区域的图示。
[0006]图3是用于为过扫描区域内的用户输入选择用户界面交互的交互过程的示例的流程图。
[0007]图4-6是被配置成接收过扫描区域的各部分内的接触输入以供查看器的显示和交互的显示设备的图。
[0008]图7是用于选择用于查看器的显示和交互的用户界面交互的交互过程的示例的流程图。
[0009]图8-10是被配置成接收过扫描区域的各部分内的接触输入以供键盘的显示和交互的显示设备的图。
[0010]图11是用于选择用于键盘的显示和交互的用户界面交互的交互过程的示例的流程图。
[0011]图12-14是被配置成接收过扫描区域的各部分内的接触输入以供菜单的显示和交互的显示设备的图。
[0012]图15-18是被配置成接收过扫描区域的各部分内的接触输入以供另一菜单的显示和交互的显示设备的图。
[0013]图19是用于选择用于菜单的用户界面交互的交互过程的示例的流程图。
[0014]图20是用于选择用于菜单的用户界面交互的交互过程的另一示例的流程图。
[0015]图21-26是被配置成接收过扫描区域的各部分内的接触输入以供下拉抽屉菜单的显示和交互的显示设备的图。
[0016]图27是用于选择用于被配置成向用户提供对图像对象的选择的下拉抽屉显示菜单的显示和交互的用户界面交互的交互过程的示例的流程图。
[0017]图28是被配置成接收过扫描区域和显示区域的各部分内的接触输入来操纵画布的相机视图的显示设备的图。
[0018]图29是被配置成接收过扫描区域的各部分内的接触输入来操纵画布的相机视图的显示设备的图。
[0019]图30是用于选择用于平摇画布的相机视图的用户界面交互的交互过程的示例的流程图。
[0020]图31a和31b是被配置成接收过扫描区域的各部分内的接触输入来操纵画布的相机视图的显示设备的图。
[0021]图32a和32b是被配置成接收过扫描区域的各部分内的接触输入来操纵画布的相机视图的显示设备的图。
[0022]图33是用于选择用于缩放画布的相机视图的用户界面交互的交互过程的示例的流程图。
[0023]图34是用于基于过扫描区域内的用户输入来选择用户界面交互的示例性交互过程的流程图。
[0024]图35a和35b是被配置成接收过扫描区域和显示区域的各部分内的接触输入来操纵画布的相机视图的显示设备的图。
[0025]图36a和36b是被配置成接收过扫描区域和显示区域的各部分内的接触输入来操纵画布的相机视图的显示设备的图。
[0026]图37a和37b是被配置成接收过扫描区域和显示区域的各部分内的接触输入来操纵画布的相机视图的显示设备的图。
[0027]图38a和38b是被配置成接收过扫描区域和显示区域的各部分内的接触输入来操纵画布的相机视图的显示设备的图。
[0028]图39是用于选择用于操纵画布的相机视图的用户界面交互的交互过程的示例的流程图。
[0029]图40和41是被配置成接收过扫描区域和显示区域的各部分内的接触输入来使得能够实现对所显示的图像对象的选择以及使相机视图的中心定位在所选对象上的显示设备的图。
[0030]图42是使得用户能够选择所显示的图像对象并使相机视图的中心定位在所选对象上的交互过程的示例的流程图。

【具体实施方式】
[0031]触摸屏显示设备包括在显示设备的显示区域上延伸的触敏表面。通过将这个触敏表面延伸到触摸屏设备的显示区域之外，通过允许用户使用不遮挡显示区域的触摸与触摸屏设备进行交互来增强触摸屏设备的功能是可能的。触敏表面的被定位在触摸屏设备的非显示区域上的部分被称为“过扫描(overscan) ”区域并且可被有利地利用以执行各种图形用户界面(GUI)功能。值得注意的是，过扫描区域和显示区域可具有相同或基本相同的对于触摸的二维敏感性。
[0032]如在以下更加详细描述的，过扫描区域可被用于启动与触摸屏设备的各种GUI交互，包括例如，打开和关闭促进对显示在显示区域中的对象的操纵的对象查看器、打开和关闭可被用于对显示在显示区域中的对象进行注释的虚拟键盘、打开和关闭菜单以及改变显示在显示区域中的对象的视图。触摸屏设备可基于用户输入的类型(例如，垂直划动、单指轻击、三指双轻击、“捏合”手势、“张开”手势等)和/或用户输入在触摸屏设备的过扫描区域内的位置(例如，在过扫描区域的在显示区域的突出显示的边界下方的部分中等)来确定要启动哪个GUI交互。例如，用户可使用向上垂直划动来触摸或以其他方式与过扫描区域的在显示区域下方的部分进行交互，从而启动虚拟键盘GUI交互，这得到了看上去从过扫描区域中滑出并进入显示区域的虚拟键盘。以下将进一步描述可响应于提供在过扫描区域中的输入来被启动的这个和其他⑶I交互。
[0033]图1是多点触摸显示设备I的图示，该多点触摸显示设备I被配置成向用户提供操纵视图以及操纵安排在画布上的所显示的图像对象的能力。例如，用户被提供查看画布的全部区域以及通过使用显示设备I的缩放控件来查看画布的可选择部分的能力，这将在以下详细描述。通过使用缩放控件来查看比画布的全部区域少的部分，用户能够启动画布的全部区域的各部分的相机视图。在另一实现中，相机视图可被操纵来平摇(pan)到画布的其他区域。
[0034]在一个实现中，显示设备I包括用界面边界13来包围(或围绕)显示区域12的过扫描区域11，其中界面边界13形成在过扫描区域11和显示区域12之间。在此，界面边界可具有基本上很小的维度或没有维度。例如，界面边界13仅仅标识毗连的过扫描区域11和显示区域12之间的无缝边界并可不具有任何特定的厚度或宽度。显示区域12被配置成提供被安排在画布上的所显示的图像对象的可选择视图，而过扫描区域11被配置成排除图像对象的显示。即，显示区域12可被配置成包括显示像素元素，而过扫描区域11可被配置成排除显示像素元素(即，过扫描区域11可不包括显示像素元素，并且因此，可不能够显示图像对象)。由于过扫描区域11可有意地排除显示像素元素，所以显示设备I的显示图像对象的显示区域12可比显示设备I的整体大小要小。
[0035]在一些实现中，过扫描区域11和显示区域12可类似于相-框，其中过扫描区域11环绕(或围绕)显示区域12。附加地，虽然图1和2中显示的显示设备I具有矩形的几何形状，即，过扫描区域11和显示区域12被显示为矩形，但是显示设备12可具有其他几何形状。例如，显示区域12可具有圆形形状，而过扫描区域11可以是圆形框或可以是具有完全包围该圆形显示区域12的不同形状(例如，方形或矩形)的框。相反，过扫描区域11可以是具有圆形形状的框，而显示区域12可具有位于圆形过扫描区域11内的不同形状(例如，矩形或方形)。在其他实现中，显示区域12可改为具有框的形状(例如，圆形、方形或矩形)，其中过扫描区域11完全被包围在显示区域框12中。
[0036]在一些实现中，过扫描区域11可仅从显示区域120的外部边界中的一个或多个的全部或一部分中延伸。例如，过扫描区域11可以是仅与显示区域12的底部边界相邻的矩形。过扫描区域11可延伸显示区域12的一个或多个侧边界(例如，矩形显示区域12的顶部、底部、右或左边界)的完整长度或可仅延伸显示区域12的一个或多个侧边界的完整长度的一部分。例如，过扫描区域11可以是与16英寸乘9英寸的矩形显示区域12的底部边界的中心部分相邻的I英寸乘I英寸的方形。
[0037]在各实现的每个中，过扫描区域11被配置具有使得允许接受在ID维度(S卩，沿着X轴和y轴之一或两者)和2D维度(即，沿着X轴和y轴两者)两者中的接触输入的这样尺寸的宽度。和被配置成接收点类接触输入的边缘类型区域相反，过扫描区域11可被配置成具有允许沿多个X轴和I轴方向的有目的的接触输入的宽度。此外，过扫描区域11可被配置成维持基本不变的宽度。例如，显示设备I可被配置使得过扫描区域11被构建为专用于接收接触输入的基本“永久的”区域。在一些实现中，显示设备I可不具有重新配置过扫描区域11的宽度的能力。相反地，显示设备I可具有重新配置过扫描区域11的宽度的能力。然而，过扫描区域11可被配置成不显示图像对象，即，过扫描区域11排除显示像素元素。
[0038]覆在过扫描区域11和显示区域12之上的是触摸屏设备14，该触摸屏设备14在显示设备I的水平边1al和10a2以及垂直边1bl和10b2之间延伸。触摸屏设备14可被配置成覆在过扫描区域11和显示区域12两者之上，并可被配置成接收来自过扫描区域11和显示区域12两者内的用户输入。
[0039]触摸屏设备14可要求用户用一个或多个手指、指示笔和/或其他机制来物理地触摸其表面以与触摸屏设备14的表面交互。触摸屏设备14的其他实现可被配置成通过检测到以下来接收输入:一个或多个手指、指示笔和/或其他机制通过在显示区域的表面周围悬停或以其他方式在显示区域的表面附近来与多点触摸显示设备的表面进行交互，而不要求输入机制实际作出与触摸屏显示设备的表面的物理接触。在一些实现中，触摸屏设备14可通过输入机制悬停在例如其表面的10_内来接收输入。在一个特定的示例中，触摸屏设备14是通过输入机制与触摸屏设备的传感器矩阵交互使得输入机制在传感器矩阵上的位置处作出电容变化来检测输入机制在其表面上的位置的电容触摸传感器。这个电容变化接着被测量来估计输入机制的位置。
[0040]如以下详细描述的，画布的所显示的图像对象可基于由触摸屏设备14提供的指示一个或多个输入机制与覆在过扫描区域11上的触摸屏设备14的各部分的交互的输入数据(也称为交互数据)以及指示一个或多个输入机制与覆在显示区域12上的触摸屏设备14的各部分的交互的输入/交互数据来被操纵。此外，画布可基于指示一个或多个输入机制与覆在过扫描区域11和显示区域12之一或两者上的触摸屏设备14的各部分的交互的输入/交互数据来被操纵，以向用户提供可选择的相机视图。
[0041]在一些实现中，显示设备I包括具有单个触摸传感器矩阵的触摸屏面板，该触摸屏面板检测一个或多个输入机制在该矩阵上的二维位置并生成指示该一个或多个输入机制在该矩阵上的二维位置的交互数据。矩阵可从例如第一多个基本上平行的导体(例如，行导体)中形成，该第一多个基本上平行的导体(例如，行导体)与第二多个基本上平行的导体(例如，列导体)相交使得第一多个导体中的每个导体与第二多个导体中的每个导体相交并且反之亦然。可通过例如测量从第一多个导体的导体中的一个或多个到第二多个导体的导体中的一个或多个或到共同系统接地的电容变化来检测一个或多个输入机制的位置。显示设备I能从生成的交互数据中确定一个或多个输入机制是位于显示区域12上还是位于过扫描区域11上。在一个实现示例中，显示设备I包括数据存储，该数据存储将传感器矩阵上的第一组二维位置(其中每个位置可由例如行坐标和列坐标来表示)存储为对应于显示区域12并将传感器矩阵中的第二且不同的一组二维位置存储为对应于过扫描区域11。显示设备I能从交互数据中确定一个或多个输入机制的二维位置并能够通过将所确定的位置与所存储的第一和第二组位置进行比较来确定一个或多个输入机制的二维位置是在显示区域12上还是在过扫描区域11上。显示设备I可接着基于交互输入是在显示区域12内被接收到还是在过扫描区域11内被接收到来不同地处理交互输入。
[0042]在一些实现中，第一和第二组位置可一起与形成矩阵的单个连续区域的位置相对应。在其他实现中，第一和第二组位置可分别对应于传感器矩阵的两个不同的区域，该两个不同的区域彼此被传感器矩阵的被认为既不在显示区域内也不在过扫描区域内的一个或多个导体(例如，行和/或列)分开。在一些实现中，第一和第二组位置一起包括了传感器矩阵上的所有位置。在其他实现中，第一和第二组位置包括少于传感器矩阵上的所有位置的位置，使得一些二维位置既不在显示区域12内也不在过扫描区域11内。
[0043]在一些实现中，设备I包括沿着(或平行于)垂直边1bl之一垂直地延伸的垂直滚动条区域15v和沿着(或平行于)水平边10a2之一水平地延伸的水平滚动条区域15h。由于设备I被配置成向用户提供画布的整个区域以及画布的可选择区域部分的相机视图，所以滚动条可被显示以向用户提供关于相机视图相对于画布的整体区域的相对定位的指示。如在以下详细描述的，在一些实现中，操纵相机视图来显示画布的特定区域使得在垂直滚动条区域15v和水平滚动条区域15h内显示垂直滚动条和水平滚动条。
[0044]图2是被配置成在覆在过扫描区域11上的触摸屏设备14处接收交互输入的显示设备I的过扫描区域11的图示。出于简明和惯例的目的，交互输入可随后被称为接触输入，而交互输入数据可随后被称为接触输入数据。然而，应当理解，在以下公开中任何对于接触输入和数据的引用构想了由与触摸屏设备14的表面直接物理接触的一个或多个输入机制(例如，手指或机械类型的设备，诸如指示笔)或响应于其生成的输入和数据以及由悬停在触摸屏设备14的表面附近而不实际接触触摸屏设备14的表面的一个或多个输入机制(如之前提到的)或响应于其生成的输入和数据两者。
[0045]此外，出于简明和惯例的目的，对接收过扫描区域11内的接触输入的引用可与在触摸屏设备14处接收过扫描区域11的对应部分内的接触输入同义。例如，当在过扫描区域11的各部分内接收到接触输入时，可以理解，接触输入是在过扫描区域11的对应(各)部分处对触摸屏设备14作出的。
[0046]可在过扫描区域11的各个区域内接收到接触输入。例如，过扫描区域11可包括分别对应于显示设备I的顶部、边1、底部和边2部分的过扫描输入区域lla-d。此外，过扫描区域11可包括分别对应于置于过扫描输入区域lla-d之间的角落区域的过扫描输入角落区域llel-4。虽然过扫描输入区域lla-d被显示为具有基本相同的宽度wl (从界面边界13到垂直和水平边1al、10a2、1bl和10b2中对应的各个)，但是过扫描区域11可被提供具有基本不同的宽度wl。例如,过扫描输入区域Ila可具有基本大于或基本小于过扫描输入区域IlbUlc和Ild的宽度的宽度wl (沿着y轴方向)，或过扫描输入区域Ilb可具有基本大于或基本小于过扫描输入区域lla、llc和Ild的宽度的宽度wl (沿着x轴方向)。此夕卜，相对的过扫描输入区域Ila和Ilc可具有基本大于或基本小于相对的过扫描输入区域Ilb和Ild的宽度wl (沿着X轴方向)的宽度wl (沿着y轴方向)。附加地,相邻的过扫描输入区域Ila和Ilb可具有基本大于或基本小于相邻的过扫描输入区域Ile和Ild的宽度wl (沿着X轴和Y轴方向)的宽度wl (沿着X轴和Y轴方向)。
[0047]在一些实现中，过扫描区域11可具有与显示区域的n:m的宽度比，其中‘η’对应于过扫描区域11的宽度wl，而‘m’对应于显示区域12的宽度w2，并且‘η’和‘m’中的每个都例如是I到100之间的数。作为示例，1:1的宽度比可指示过扫描区域11的宽度《I基本上与显示区域的宽度w2相同。类似地，1:2的宽度比可指示过扫描区域11的宽度wl基本上是显示区域的宽度w2的一半。相反地，2:1的宽度比可指示过扫描区域11的宽度wl基本上是显示区域的宽度w2的两倍。
[0048]在一些实现中，为了向显示设备I的用户提供对使用对过扫描区域11的接触输入来操纵相机(或画布)的精度，3:1的宽度比(过扫描区域11的宽度wl基本上是显示区域的宽度w2的三倍)或4:1的宽度比(过扫描区域11的宽度wl基本上是显示区域的宽度w2的四倍)可以是所需要的。
[0049]在一些实现中，为了向显示设备I的用户提供对操纵显示区域12上的图像对象的精度，1:3的宽度比(过扫描区域11的宽度wl基本上是显示区域的宽度w2的三分之一)或1:4的宽度比(过扫描区域11的宽度wl基本上是显示区域的宽度w2的四分之一)可以是所需要的。
[0050]在一些实现中，虽然为了与过扫描输入区域lla-d进行区分，在图2中显示了过扫描输入角落区域llel-4，但是过扫描输入角落区域llel-4可以是过扫描输入区域lla_d的延伸。例如，过扫描输入角落区域Ilel和lle2可被配置成是过扫描输入区域Ila的延伸。替换地，只有过扫描输入角落区域Ilel和lle2之一可被配置成是过扫描输入区域Ila的延伸。然而，出于解释的目的，过扫描输入角落区域llel-4将被认为与过扫描输入区域lla-d不同。
[0051]在一些实现中，过扫描输入区域lla-e并不一定是被配置成接收特定类型的接触输入的离散的各个区域。但出于呈现过扫描输入区域lla-e的共同整体的逻辑划分的目的，过扫描输入区域lla-e被单独地显示。例如，过扫描输入区域lla-e的共同整体可被认为是被配置成接收每种特定类型的接触输入的单个过扫描区域。在此，可在过扫描输入区域lla-e的任一个中接收接触输入，而不在接触输入的类型之间或过扫描输入区域lla-e中的哪些接收该些类型的接触输入之间进行区分。
[0052]在一些实现中，过扫描输入区域lla-e可被呈现为被配置成接收特定类型的接触输入的离散的各个区域。例如，各个过扫描输入区域lla-e可被认为是被配置成接收特定类型的接触输入的离散的过扫描区域lla-e。在此，可在过扫描输入区域lla-e的任一个中接收接触输入并与在其他过扫描输入区域lla-e的任一个中接收到的接触输入进行区分。
[0053]在一些实现中，过扫描输入角落区域llel-4可被呈现为是被配置成接收与过扫描输入区域lla-d所接收的特定类型的接触输入不同的特定类型的接触输入的离散的各个区域。相反地，过扫描输入角落区域llel-4可被呈现为是被配置成接收与过扫描输入区域lla-d所接收的特定类型的接触输入类似的特定类型的接触输入的离散的各个区域。例如，过扫描输入区域lla-d可被认为是被配置成接收第一特定类型的接触输入的单个过扫描区域，而过扫描输入角落区域llel-4可被配置成接收与第一类型的接触输入不同的第二类型的接触输入。在此，可在没有区分的情况下在过扫描角落输入区域llel-4的任一个中接收接触输入，或可在过扫描角落输入区域llel-4的每个中接收不同类型的接触输入。
[0054]对于过扫描区域11的接触输入可根据类型来分类。具体而言，接触输入的类型可包括例如，滑扫、滑动(即，与滑扫相同，但具有较慢的速度并有时称为拖动)、轻拂、捏合手指、张开手指、轻击、双轻击、三轻击等。这些类型中的一些可进一步基于所涉及的手指的数量来被指定(例如，单手指轻击、双手指轻击、单手指滑扫、三手指三轻击、三手指滑动等)。滑扫、滑动和轻拂还可基于滑扫或滑动的方向来被进一步指定(例如，垂直向上滑扫、垂直向下滑扫、从左到右水平滑动、从右向左水平滑动等)。接触输入的类型还可基于被用于作出接触的手(即，左手或右手)和/或基于从其接收到接触输入的用户的身份来被进一步指定。
[0055]在一些实现中，接触输入的类型是由系统识别的多点触摸手势(即，标准化的绘图运动)(例如，单个手指的滑动以形成字母“S”、两个手指的滑动以形成环等)。系统可例如将不同的GUI交互分配到位于过扫描区域的相同部分处的多个不同多点触摸手势中的每个(例如，在过扫描输入区域IIa处的环手势可启动查看器GUI交互，而在过扫描输入区域Ila处的单手指双轻击手势可启动键盘GUI交互)。附加地或替换地，系统可把将被相同的多点触摸手势启动的不同的CTI交互分配到过扫描区域的多个不同部分中的各个(例如，在过扫描输入区域Ila处的环手势可启动查看器⑶I交互，而在过扫描输入区域Ilb处的环手势可启动键盘⑶I交互)。
[0056]一般而言，过扫描输入区域lla-d以及过扫描输入角落区域llel-4可被配置成接收与用于操纵显示在显示区域12上的对象图像以及显示设备I的控制操作功能的不同类型的命令相关联的接触输入。例如，过扫描输入区域lla-d接收的初始接触输入可提供对显示设备I的第一类型的控制，而过扫描输入区域lla-d接收的随后的接触输入可提供对显示设备I的第二类型的控制。替换地，过扫描输入区域lla-d接收的初始接触输入可提供对显示设备I的第一类型的控制，而除了过扫描输入区域lla-d之外的区域(诸如显示区域12的区域)接收的随后的接触输入可提供对显示设备I的第二类型的控制。此外，过扫描输入区域lla-d接收的和/或显示区域12接收的各个接触输入的顺序组合可提供对显示设备I的对应的不同控制中的改变。基于在过扫描区域11内接收到的接触输入的类型以及在过扫描区域11内接收到的接触输入的位置，用户界面交互可被选择。
[0057]图3是用于响应于过扫描区域内的用户输入来启动⑶I交互的交互过程300的示例的流程图。在一些实现中，图3中示出的过程300可被例如图1和2的显示设备I来执行。在显示设备I处接收到接触输入(310)。作出接收到的接触输入是否是在过扫描区域11内接收到的判定(320)。如果确定接收到的接触输入不是在过扫描区域11内接收到的，则过程300结束。在一些实现中，当接触输入是在显示区域内而非在过扫描区域内被接收到时，可使用标准的或传统的触摸屏接触输入处理来对接触输入进行处理。
[0058]然而，如果确定接收到的接触输入是在过扫描区域11内接收到的，则基于所接收到的接触输入的类型和/或基于过扫描区域内接收到该接触输入的位置来选择并执行图形用户界面(GUI)交互。值得注意的是，在过扫描区域11内接收到的交互/接触输入也称为过扫描输入，而在显示区域12内接收到的交互/接触输入也称为显示区域输入。在选择了⑶I交互后，过程300可结束。
[0059]如在此描述的，⑶I交互指由显示设备I内的或通信地耦合到显示设备I的一个或多个计算机处理器执行的一组离散的过程或指令，该组离散的过程或指令通过调用显示区域12中的图像(即，显示先前没有被显示的图像)和/或响应于用户交互来对显示区域12内已显示的图像进行操纵(例如，移动、修改和/或删除显示的图像)来引起显示设备I的显示中的特定改变。显示的图像也可与用户交互分开地(或响应于用户交互)来改变以向用户传递新的信息。尽管在此公开的实现关注于响应于过扫描输入来选择和执行GUI交互，但是可响应于过扫描输入来触发不与显示的图像有关的其他类型的交互。例如，位于过扫描区域11的部分Ile中的与环之后是水平或垂直滑动相对应(其中环和滑动顺序地发生，同时维持与过扫描区域11连续的或基本连续的接触/交互)的过扫描输入类型可触发对显示设备的音频音量的改变。例如，滑动的方向可被用于确定音量应该被增加还是降低(例如，从底部到顶部的垂直滑动造成音量上的增加，而从顶部到底部的垂直滑动造成音量上的减低)，并且可选地，可基于滑动的长度来确定音量改变的量(例如，相比于向上滑动3英寸，向上滑动I英寸造成较少的音量上的增加)。
[0060]图4是被配置成接收过扫描区域11的各部分内的接触输入以供查看器的显示和交互的显示设备I的图。在一些实现中，显示设备I可包括可由用户基于在过扫描区域11内提供的接触输入来选择的查看器14a。例如，查看器14a可响应于用户在过扫描区域11的对应于查看器14a的位置并且被分配给查看器14a的部分中提供接触输入来显示给用户。查看器14a的位置的指示可沿着界面边界13作为查看器14a的最上层边界的表示被提供给用户。例如，查看器14a的最上层边界可稍微延伸到显示区域12中。在此，查看器14a可之前已经被对接在这个位置，如以下详细描述的。
[0061]值得注意的是，过扫描区域11的被分配给查看器14a的部分可以例如是过扫描区域11的邻近显示在显示区域12中的查看器14a的最靠近过扫描区域11的边界(例如，垂直或水平边界)的部分。在一些实现中，过扫描区域的这个部分的水平或垂直长度可以等于查看器14a的边界的对应水平或垂直长度。在其他实现中，过扫描区域的这个部分的水平或垂直长度可以分别大于或小于查看器14a的边界的水平或垂直长度例如预定的量。
[0062]在图4中，用户可在过扫描区域11内的查看器14a的最上层边界下方对应地垂直地沿着y轴方向的位置处提供接触输入(I)。在过扫描区域11内的接触输入(I)的初始接触后，可在显示区域12内显示接触输入位置指示符16以向用户指示接触输入(I)的接收。接触输入位置指示符16可垂直地沿着y轴方向与过扫描区域11内接收到的接触输入(I)的位置对齐(例如，位置指示符16可具有与接触输入相同或大致相同的X轴坐标)。例如，接触输入(I)可包括过扫描区域11内的单点触摸接触输入。替换地，接触输入(I)可包括由过扫描区域11接收到的滑扫接触输入以启动对查看器14a的打开。在此，滑扫接触输入可在过扫描区域11内开始并在过扫描区域11内沿着y轴方向继续。在一些实现中，滑扫可延伸进入显示区域12中以创建用户正将查看器14a从其所对接的位置向上滑动进入显示区域12内的假象。
[0063]在过扫描区域11的被分配给查看器14a的位置中接收到接触输入(I)后，查看器14a可例如通过沿着y轴方向从界面边界13滑动并进入显示区域12来打开，如图5中显示的。一旦查看器14a被打开，用户就可选择显示在查看器14a中的代表性图像对象以操纵显示在显示区域12上的对应的图像对象。例如，可通过提供对查看器14a的接触输入(2)来选择显示在查看器14a中的代表性图像对象01，接着指示符‘r’被显示为覆在查看器14a上并且显示区域12将显示在查看器14a上的代表性图像对象01与显示在显示区域12上的对应的图像对象01’连接。用户所提供的关于查看器14a内的代表性图像对象01的接触输入(2)的平移运动可造成显示区域12内对应的图像对象01’的对应的平移运动(即，平移操纵)，并且指示符‘r’将跟随代表性图像对象01和对应的图像对象01’的相对移动。一旦用户完成了接触输入(2)的平移运动并在查看器14a内移除接触输入(2)，指示符‘r’就将不再被显示并且对应的图像对象01’将在显示区域12内保持固定。
[0064]在一些实现中，图像对象可包括各种不同的项。例如，图像对象可包括文本文档、基本上静止的图像、基本上移动的图像、地图、出版物、视频记录、基本上实况的视频信号、可视化的语音记录、基本上实况的可视化的语音信号、因特网网页以及因特网网站中的一个或多个。在一些实现中，一旦用户完成了与查看器14a的交互，用户就可通过提供在过扫描区域11的被分配到查看器14a的部分内的接触输入(3)来关闭查看器14a，如在图6中显示的。如和打开查看器14a那样，接触输入(3)可在显示区域12内生成向用户指示接触输入(3)的接收的接触输入位置指示符16的显示。例如，接触输入(3)可包括过扫描区域11内的单点触摸接触输入。替换地，接触输入(3)可包括由过扫描区域11接收到的滑扫接触输入以启动对查看器14a的关闭。在此，滑扫接触输入可在过扫描区域11内开始并在过扫描区域11内沿着y轴方向(但沿着与查看器14a被打开的相反的方向)继续(例如，滑扫可以是在较靠近于查看器14a的位置处开始并在较远离查看器14a的位置处结束的垂直滑扫)。在另一实现中，滑扫接触输入可在显示区域12内的覆在查看器14a的显示上的位置处开始并在过扫描区域内的位置处结束，使得用户看上去触摸查看器14a并将查看器14a滑动进入其对接的位置，就好像它是真实的、而非虚拟对象。
[0065]在接收到接触输入(3)后，查看器14a可例如通过沿着y轴以从显示区域12向界面边界13的方向‘d’滑动来转移到其关闭或对接状态。如在图4中显示的，一旦查看器14a被关闭，就可沿着界面边界13作为查看器14a的最上层边界来向用户提供查看器14a的位置的指示。例如，查看器14a的最上层边界可稍微延伸进入显示区域12中以示出查看器14a的对接位置。
[0066]图7是用于显示查看器并使得能与其交互的交互过程700的示例的流程图。在一些实现中，图7中示出的过程700可被例如图1和2的显示设备I来执行。
[0067]在显示设备I处接收到接触输入(710)。作出接收的接触输入是否是在过扫描区域11内的位置处的输入的判定(720)。如果接收到的接触输入不是在过扫描区域11内的位置处的输入，则过程700结束。在一些实现中，当接触输入是在显示区域12内而非在过扫描区域11内被接收到时，可使用标准的或传统的触摸屏接触输入处理来对接触输入进行处理。
[0068]然而，如果接收到的接触输入对应于在过扫描区域11内接收到的输入，则基于接触输入在过扫描区域11内的位置以及接触输入的类型来选择GUI交互(730)。在这个示例中，基于接触输入是在过扫描区域11的被分配到查看器14a的部分内的位置处接收到的判定以及基于接触输入对应于与查看器GUI交互相关联的输入类型(例如，接触输入对应于在过扫描区域中的较远离查看器14a的位置处开始并在较靠近查看器14a的位置处结束的垂直滑扫，其是先前与查看器GUI交互相关联的接触输入的类型)的判定来选择查看器⑶I交互。
[0069]执行查看器⑶I交互(740)。对查看器⑶I交互的执行可包括显示/打开查看器(740a)(例如，通过将查看器滑动出其对接状态)、接收所显示的查看器14a内来自用户的附加的接触输入(740b)以及响应于并基于在所显示的查看器14a内接收到的附加的接触输入来操纵显示在画布上的图像对象(740c)。
[0070]可在触摸屏显示的在所显示的查看器14a外部的位置处接收附加的接触输入(750)。作出接收到的附加的接触输入是否是在所显示的查看器14a外部、但在过扫描区域11内接收到的判定(760)。如果确定接收到的附加的接触输入是在所显示的查看器14a外部接收到、但不是在过扫描区域11内接收到，则过程700返回到操作740b以等待来自用户的进一步的输入。在一些实现中，当附加的接触输入是在显示区域内(并且在所显示的查看器14a外部)而非在过扫描区域内被接收到时，可使用标准的或传统的触摸屏接触输入处理来对接触输入进行处理。
[0071]然而，如果确定接收到的附加的接触输入是在所显示的查看器14a外部但在过扫描区域11内被接收到，则可基于过扫描区域中接收到该附加的接触输入的位置以及基于在过扫描区域内接收到的接触输入的类型来选择附加的图形用户界面(GUI)交互(770)。在这个示例中，基于接触输入是在过扫描区域11的被分配到查看器14a的位置内接收到的判定以及基于接触输入对应于与终止查看器GUI交互相关联的输入类型(例如，接触输入对应于在过扫描区域中的较靠近查看器14a的位置处开始并在较远离查看器14a的位置处结束的垂直滑扫，其是先前与终止查看器GUI交互相关联的接触输入的类型)的判定来选择终止查看器⑶I交互。
[0072]对终止查看器⑶I交互的执行发生(780)。对终止查看器⑶I交互的执行使得查看器被移除(即，关闭或对接)(780a)，并且过程700结束。
[0073]图8是被配置成利用过扫描区域来使得能够显示虚拟键盘以及能够实现用户与键盘的交互的显示设备I的图。在一些实现中，显示设备I可包括可响应于和基于用户在过扫描区域11内提供的接触输入被用户选择的键盘14b。例如，可通过在过扫描区域11的被分配到键盘14b并且对应于键盘14b的位置的部分内提供接触输入来向用户显示键盘14b。键盘14b的位置的指示可沿着界面边界13作为键盘14b的最上层边界的表示被提供给用户。例如，键盘14b的最上层边界可稍微延伸到显示区域12中。在此，键盘14b可之前已经被对接在这个位置，如以下详细描述的。
[0074]值得注意的是，过扫描区域11的被分配给键盘14b的部分可以例如是过扫描区域11的邻近显示在显示区域12中的键盘14b的最靠近过扫描区域11的边界(例如，垂直或水平边界)的部分。在一些实现中，过扫描区域的这个部分的水平或垂直长度可以等于键盘14b的边界的对应水平或垂直长度。在其他实现中，过扫描区域的这个部分的水平或垂直长度可以分别大于或小于键盘14b的边界的水平或垂直长度例如预定的量。
[0075]在图8中，用户可在对应地垂直地沿着从过扫描区域11内的键盘14b的最上层边界的y轴方向的位置处提供接触输入(I)。在过扫描区域11内的接触输入(I)的初始接触后，可在显示区域12内向用户显示指示接触输入(I)的接收的接触输入位置指示符16。接触输入位置指示符16可垂直地沿着y轴方向与过扫描区域11内接收到的接触输入(I)的位置对齐(例如，位置指示符16可具有与接触输入的大致中心相同或大致相同的X轴坐标)。例如，接触输入(I)可包括过扫描区域11内的四点触摸接触输入。该四点触摸接触输入可复制当使用键盘时手指的“主行(home row)”位置。替换地，接触输入(I)可包括过扫描区域11内的单点触摸接触输入。此外，接触输入(I)可包括由过扫描区域11接收的单点接触输入的滑扫接触输入以启动键盘14b的打开。在此，滑扫接触输入可在过扫描区域11内启动并在过扫描区域11内沿着y轴方向继续。在一些实现中，滑扫可延伸进入显示区域12中以创建用户正将键盘14b从其所对接的位置向上滑动进入显示区域12内的假象。
[0076]在过扫描区域11的被分配给键盘14b的位置中接收到接触输入(I)后，键盘14b可例如通过沿着y轴方向从界面边界13滑动并进入显示区域12来打开，如图9中显示的。一旦键盘14b被打开，用户可对显示在显示区域12中的各个图像对象进行注释。例如，显示在显示区域12中的图像对象O1可被选择并且可由用户从键盘14b中选择(2)各个字符。接着，所选的字符可被覆盖在或嵌入在所选图像对象O1内。
[0077]在一些实现中，一旦用户完成了对显示在显示区域12上的图像对象的选择和注释，用户就可通过在过扫描区域11的被分配到键盘14b的部分内提供接触输入来关闭键盘14b，如在图10中显示的。如和打开键盘14b那样，接触输入(3)可致使在显示区域12内显示向用户指示接触输入(3)的接收的接触输入位置指示符16。例如，接触输入(3)可包括过扫描区域11内的单点触摸接触输入。替换地，接触输入(3)可包括由过扫描区域11接收到的滑扫接触输入以启动对键盘14b的关闭。在此，滑扫接触输入可在过扫描区域11内开始并在过扫描区域11内沿着I轴方向(但沿着与键盘14b被打开的相反的方向)继续(例如，滑扫可以是在较靠近于键盘14b的位置处开始并在较远离键盘14b的位置处结束的垂直滑扫)。在另一实现中，滑扫接触输入可在显示区域12内的覆在键盘14b的显示上的位置处开始并在过扫描区域内的位置处结束，使得用户看上去触摸键盘14b并将键盘14b滑动进入其对接的位置，就好像它是真实的、而非虚拟对象。
[0078]在接收到接触输入(3)后，键盘14b可例如通过沿着7轴以从显示区域12向界面边界13的方向‘d’滑动来转移到其关闭或对接位置。如在图8中显示的，一旦键盘14b被关闭，可沿着界面边界13作为键盘14b的最上层边界的表示来向用户提供键盘14b的位置的指示。例如，键盘14b的最上层边界可稍微延伸进入显示区域12中以示出键盘14b的对接位置。
[0079]图11是用于显示键盘并使得能与其交互的交互过程1100的示例的流程图。在一些实现中，图11中示出的过程1100可被例如图1和2的显示设备I来执行。
[0080]在显示设备I处接收到接触输入(1110)。
[0081]作出接收的接触输入是否是在过扫描区域11内的位置处的输入的判定(1120)。如果接收到的接触输入不是在过扫描区域11内的位置处的输入，则过程1100结束。在一些实现中，当接触输入是在显示区域12内而非在过扫描区域11内被接收到时，可使用标准的或传统的触摸屏接触输入处理来对接触输入进行处理。然而，如果接收到的接触输入对应于在过扫描区域11内接收到的输入，则基于接触输入在过扫描区域11内的位置以及接触输入的类型来选择GUI交互(1130)。在这个示例中，基于接触输入是在过扫描区域11的被分配到键盘14b的部分内的位置处接收到的判定以及基于接触输入对应于与键盘⑶I交互相关联的输入类型(例如，接触输入对应于在过扫描区域中的较远离键盘14b的位置处开始并在较靠近键盘14b的位置处结束的垂直滑扫，其是先前与键盘GUI交互相关联的接触输入的类型)的判定来选择键盘GUI交互。
[0082]执行键盘⑶I交互(1140)。
[0083]对键盘⑶I交互的执行可包括显示/打开键盘(1140a)(例如，通过将键盘滑动出其对接状态)、接收所显示的键盘14b内来自用户的附加的接触输入(1140b)以及响应于并基于在所显示的键盘14b内接收到的附加的接触输入来对显示在画布上的图像对象进行注释(1140c)。
[0084]可在触摸屏显示的在所显示的键盘14b外部的位置处接收附加的接触输入(1150)。作出是否是在所显示的键盘14b外部但在过扫描区域11内被接收到的判定(1160)。如果确定接收到的附加的接触输入是在所显示的键盘14b外部接收到、但不是在过扫描区域I内接收到，则过程1100返回到操作1140b以等待来自用户的进一步的输入。在一些实现中，当附加的接触输入是在显示区域内(并且在所显示的键盘14b外部)而非在过扫描区域内被接收到时，可使用标准的或传统的触摸屏接触输入处理来对接触输入进行处理。然而，如果确定接收到的附加的接触输入是在所显示的键盘14b外部但在过扫描区域11内被接收到，则可基于过扫描区域中接收到该附加的接触输入的位置以及基于在过扫描区域内接收到的接触输入的类型来选择附加的图形用户界面(GUI)交互(1170)。在这个示例中，基于接触输入是在过扫描区域11的被分配到键盘14b的位置内接收到的判定以及基于接触输入对应于与终止键盘GUI交互相关联的输入类型(例如，接触输入对应于在过扫描区域中的较靠近键盘14b的位置处开始并在较远离键盘14b的位置处结束的垂直滑扫，其是先前与终止键盘GUI交互相关联的接触输入的类型)的判定来选择终止键盘GUI交互。
[0085]对终止键盘⑶I交互的执行发生(1180)。对终止键盘⑶I交互的执行使得键盘被移除(即，关闭或对接)(1180a)，并且过程110结束。
[0086]图12是被配置成利用过扫描区域来使得能够显示菜单以及能够实现用户与菜单的交互的显示设备I的图。在一些实现中，显示设备I可包括可响应于用户在过扫描区域11内提供接触输入来被显示给用户的菜单14c。例如，菜单14c可响应于用户在过扫描区域11的与菜单14c相对应的预定部分内提供接触输入来被显示给用户。不像过扫描区域的与已经将它们的位置经由图形元素(例如，显示区域内邻近或沿着界面边界13的被突出显示的显示边界或片段)标识给用户的查看器14a和键盘14b相对应的部分，过扫描区域11的与菜单14c的相对应部分的位置在一些实现中可不经由图形元素被可视地用信号通知给用户，并由此，可要求用户事先知晓关于过扫描区域11的可选择以与菜单14c进行交互的部分的存在和位置。例如，菜单14c可位于过扫描区域11的最左边接触输入区域Ilc (在图2中)。当然，过扫描区域11的被分配到查看器14a、键盘14b和/或菜单14c中的任一个的部分可以是接触输入区域lla-d中的任一个或接触输入区域lla-d中的任一个的任一部分并且是用户可配置的。
[0087]在图12中，用户可在过扫描区域11的被分配到菜单14c的部分中的位置处提供接触输入(I)。在接触输入(I)在过扫描区域11的被分配到菜单14c的部分内的初始接触后，可启动对菜单14c的打开。例如，接触输入(I)可包括由过扫描区域11接收的单点接触输入的滑扫接触输入以启动菜单14c的打开。在此，滑扫接触输入可在过扫描区域11内开始并沿着过扫描区域11内的方向‘d’(y轴方向)继续。
[0088]在接收接触输入(I)后，菜单14c可由例如以从界面边界13并进入显示区域12的y轴方向滑动来打开，如图13中显示的。一旦菜单14c被打开，用户就可选择(2)菜单14c内的各个菜单项来执行各种功能，各种功能可包括例如对显示在显示区域12中的相机视图或图像对象进行操纵。
[0089]一旦用户完成了对菜单项的选择，用户就可通过在过扫描区域11的被分配到菜单14c的部分中提供接触输入(3)来关闭菜单14c，如在图12中显示的。如和打开查看器14a和键盘14b那样，接触输入(3)可使得在显示区域12内显示向用户指示接触输入(3)的接收的接触输入位置指示符16。例如，接触输入(3)可包括过扫描区域11内的单点触摸接触输入。替换地，接触输入(3)可包括由过扫描区域11接收到的滑扫接触输入以启动对菜单14c的关闭。在此，滑扫接触输入将在过扫描区域11内开始并在过扫描区域11内沿着y轴方向继续(但沿着与菜单14C被打开的相反的方向)。在接收到接触输入(3)后，菜单14c可沿着从显示区域12向界面边界13的y轴方向‘d’来关闭。
[0090]图15是被配置成在过扫描区域11的各部分内接收接触输入来使得能够显示附加的菜单以及使得用户能与该附加的菜单进行交互的显示设备I的图。在一些实现中，显示设备I可包括可响应于用户在过扫描区域11内提供接触输入来被显示给用户的菜单14d。例如，菜单14d可响应于用户在过扫描区域11的对应于菜单14d的预定部分内提供接触输入来被显示给用户。不像过扫描区域11的与已经将它们的位置经由图形元素(例如，显示区域内邻近或沿着界面边界13的被突出显示的显示边界或片段)标识给用户的查看器14a和键盘14b相对应的部分，过扫描区域11的与菜单14d相对应的部分的位置在一些实现中可不经由图形元素被可视地用信号通知给用户，并由此，可要求用户事先知晓关于过扫描区域11的可选择以与菜单14d进行交互的部分的存在和位置。例如，菜单14d可位于沿着过扫描区域11的接触输入区域Ild(在图2中)。当然，过扫描区域11的被分配到查看器14a、键盘14b和/或菜单14c的任一个的部分可沿着接触输入区域lla_d中的任一个，可以是用户可配置的。
[0091]在图15中，用户可在过扫描区域I的被分配到菜单14d的部分中的位置处提供接触输入(I)。在接触输入(I)在过扫描区域11的被分配到菜单14d的部分内的初始接触后，可启动对菜单14d的打开。例如，接触输入(I)可包括由过扫描区域11接收到的滑扫接触输入以启动对菜单14d的打开。在此，滑扫接触输入将在过扫描区域11内的接触输入
(I)处开始并在接触输入(Γ )处在显示区域12内沿着方向‘d’(X轴方向)继续。
[0092]一旦菜单14d在显示区域12内被打开并且不再接收到接触输入(1’)，如图16中显示的，菜单14d就可沿着方向‘d’向界面边界13返回。接着，如在图17中显示的，菜单14d可对接在界面边界13处。
[0093]一旦菜单14d被对接在界面边界13处，用户就可选择菜单14d内的各个菜单项来执行各种功能，各种功能可包括例如对显示在显示区域12中的相机视图或图像对象进行操纵。
[0094]一旦用户完成了对菜单项的选择，用户就可通过在过扫描区域11的被分配到菜单14d的部分中提供接触输入(2)来关闭菜单14d，如在图18中显示的。
[0095]替换地，在一些实现中，可通过自用户向菜单14d提供输入以来流逝的时间量来确定对菜单14d的关闭。例如，菜单14d可在已经经过了预设时间量后关闭。在此，暗示是用户不再希望与菜单14d的菜单项中的任一个进行交互或选择。由此，菜单14d可行进到关闭。
[0096]图19是用于显示菜单并使得能与其交互的交互过程1900的示例的流程图。在一些实现中，图19中示出的过程1900可被例如图1和2的显示设备I来执行。
[0097]在显示设备I处接收到接触输入(1910)。
[0098]作出接收的接触输入是否是在过扫描区域11内的位置处的输入的判定(1920)。如果接收到的接触输入不是在过扫描区域11内的位置处的输入，则过程1900结束。在一些实现中，当接触输入是在显示区域12内而非在过扫描区域11内被接收到时，可使用标准的或传统的触摸屏接触输入处理来对接触输入进行处理。然而，如果接收到的接触输入对应于在过扫描区域11内接收到的输入，则基于接触输入在过扫描区域11内的位置以及接触输入的类型来选择GUI交互(1930)。在这个示例中，基于接触输入是在过扫描区域11的被分配到菜单14d的部分内的位置处接收到的判定以及基于接触输入对应于与菜单⑶I交互相关联的输入类型(例如，接触输入对应于在过扫描区域中的较远离菜单14d的位置处开始并在较靠近菜单14d的位置处结束的水平滑扫，其是先前与菜单GUI交互相关联的接触输入的类型)的判定来选择菜单GUI交互。
[0099]执行菜单⑶I交互(1940)。
[0100]对菜单⑶I交互的执行可包括显示/打开菜单(1940a)(例如，通过将查看器滑动出其对接状态)、接收所显示的菜单14d内来自用户的附加的接触输入(1940b)以及响应于并基于在所显示的菜单14d内接收到的附加的接触输入来操纵显示在画布上的图像对象(1940c)。
[0101]可在触摸屏显示的在所显示的菜单14d外部的位置处接收附加的接触输入(1950)。作出接收到的附加的接触输入是否是在所显示的菜单14d外部、但在过扫描区域11内接收到的判定(I960)。如果确定接收到的附加的接触输入是在所显示的菜单14d外部接收到、但不是在过扫描区域11内接收到，则过程1900返回到操作1940b以等待来自用户的进一步的输入。在一些实现中，当附加的接触输入是在显示区域12内(并且在所显示的菜单14d外部)而非在过扫描区域11内被接收到时，可使用标准的或传统的触摸屏接触输入处理来对附加的接触输入进行处理。
[0102]然而，如果确定接收到的附加的接触输入是在所显示的菜单14d外部但在过扫描区域11内被接收到，则可基于过扫描区域11中接收到该附加的接触输入的位置以及基于在过扫描区域11内接收到的接触输入的类型来选择附加的图形用户界面(GUI)交互。在这个示例中，基于附加的接触输入是在过扫描区域11的被分配到菜单14d的位置内接收到的判定以及基于附加的接触输入对应于与终止菜单GUI交互相关联的输入类型(例如，附加的接触输入对应于在过扫描区域11中的较靠近菜单14d的位置处开始并在较远离菜单14d的位置处结束的水平滑扫，其是先前与终止菜单CTI交互相关联的接触输入的类型)的判定来选择终止菜单⑶I交互。
[0103]对终止菜单⑶I交互的执行发生(1980)。对终止菜单⑶I交互的执行使得菜单14d被移除(即，关闭或对接)(1980a)，并且过程1900结束。图20是用于启用与菜单的用户界面交互的交互过程2000的示例的流程图。与图19的过程1900相反，图20的过程2000与其中作出是否在特定的时间段期间在菜单中接收到附加的接触输入的判定的实现相对应。在一些实现中，图20中示出的过程2000可被例如图1和2的显示设备I来执行。
[0104]在显示设备I处接收到接触输入(2010)。
[0105]作出接收到的接触输入是否指示由一个或多个输入机制与过扫描区域11的接触的判定(2020)。如果确定接收到的接触输入指示在过扫描区域11外部的接触(例如，显示区域12内的接触)，则过程2000结束。然而，如果确定接收到的接触输入指示与过扫描区域11的接触，则基于过扫描区域内发生该接触输入的位置以及接收到的接触输入的类型来选择⑶I交互(2030)。在这个示例中，基于接触输入是在过扫描区域11的被分配到菜单的部分内的位置处接收到的判定并且基于接触输入对应于与菜单GUI交互相关联的输入类型(例如，接触输入对应于在过扫描区域中的较远离界面边界13的邻近过扫描区域11的被分配到菜单的部分的片段的位置处开始并在过扫描区域中的较靠近邻近过扫描区域11的被分配到菜单的部分的片段的位置处结束的垂直滑扫，其是先前与菜单GUI交互相关联的接触输入的类型)的判定来选择菜单GUI交互。
[0106]执行菜单⑶I交互(2040)。对菜单⑶I交互的执行可包括显示/打开菜单14d(2040a)(例如，通过将菜单14d滑动出其对接状态)、接收所显示的菜单14d内来自用户的附加的接触输入(2040b)以及响应于并基于在所显示的菜单14d内接收到的附加的接触输入来操纵显示在画布上的图像对象(2040c)。
[0107]作出是否在从在所显示的菜单14d内接收到接触输入开始的特定时间段期间在所显示的菜单14d中接收到附加的接触输入的判定。如果接收到的附加的接触输入不是在特定时间段内接收到的，则菜单14d从显示中移除(2060)，并且过程2000结束。然而，如果接收到的附加的接触输入是在特定时间段内在所显示的菜单14d内接收到的，则执行菜单⑶I交互(2070)。对菜单⑶I交互的执行可包括操纵菜单14d的显示并接收所显示的菜单14d内来自用户的附加的接触输入，并且响应于并基于在所显示的菜单14d内接收到的附加的接触输入来操纵显示在画布上的图像对象(2070a)。在一些实现中，当附加的接触输入是在显示区域内(并且在所显示的菜单14d外部)而非在过扫描区域11内被接收到时，可使用标准的或传统的触摸屏接触输入处理来对附加的接触输入进行处理。
[0108]图21是被配置成接收过扫描区域11的各部分内的接触输入以供显示下拉抽屉菜单和与其交互的显示设备I的图。在一些实现中，显示设备I可包括被配置成向用户提供对图像对象的选择的下拉显示(“抽屉”)。例如，抽屉可包括先前保存/访问的各个图像对象，或可包括图像对象库(或诸库)。在图21中，抽屉14e可响应于用户在过扫描区域11的对应于抽屉He的位置并被分配到抽屉14e的部分中提供接触输入来显示给用户。例如，用户可提供包括在过扫描区域11的对应于抽屉He的部分内的触摸接触输入的接触输入(I)连同随后沿着方向‘d’跨越界面边界13进入显示区域12的滑扫运动(2)。在一些实现中，滑扫可延伸进入显示区域12中以创建用户正将抽屉14e从其关闭位置向下滑动进入显示区域12内的印象。在过扫描区域11内接收到接触输入(I)后，界面边界13的最上层的边可变得被突出显示以向用户提供抽屉被启动来打开的反馈。接着，在接收到跨越界面边界13进入显示区域12的滑扫运动(2)后，抽屉14e可沿着方向‘d’从界面边界13的被突出显示的最上层的边中打开，如图22中显示的。作为对抽屉14e的打开过程的结果，显示区域12的相机视图可沿着方向‘d’被移位。
[0109]值得注意的是，过扫描区域11的被分配给抽屉14e的部分可以例如是过扫描区域11的邻近显示在显示区域12中的抽屉14e的最靠近过扫描区域11的边界(例如，垂直或水平边界)的部分。在一些实现中，过扫描区域的这个部分的水平或垂直长度可以等于抽屉He的边界的对应水平或垂直长度。在其他实现中，过扫描区域的这个部分的水平或垂直长度可以分别大于或小于抽屉He的边界的水平或垂直长度例如预定的量。
[0110]图23是被配置成接收接触输入以操纵来自下拉显示(“抽屉”)的图像对象的显示设备I的图。在一些实现中，显示设备I可包括用于显示各个图像对象的抽屉He。例如，抽屉He可包括供用户选择的各个不同图像对象中的图像对象01的显示。可通过沿着基本上与抽屉14e平行的方向滑扫来在抽屉14e内查看不同的图像对象。例如，随着用户沿着基本上与抽屉14e平行的方向来提供接触输入，可提供滚动条区域14f以向用户指示显示在抽屉He中的图像对象的相对移动。随着用户沿着抽屉14e滑扫(或滚动)，在滚动条区域14f内显示的滚动条14f将沿着滚动条区域14f遍历。
[0111]在图23中，用户可提供对应于所需图像对象01的接触输入(2)达预定的时间段。例如，用户可将接触输入(2)提供为到抽屉14e的对应于所需图像对象01的区域上的相对长时间的按压输入。自用户向所需图像对象01提供接触输入(2)经过了预定时间段后，所需图像对象01可被复制为覆在所需图像对象01上的图像对象副本01 ’,但是图像对象副本01’可用比所需图像对象01稍微放大的大小来显示。一旦图像对象副本01’被复制，附加的用户接触输入(3)就可被提供到覆在图像对象副本01’上的显示区域12上以将图像对象副本01’操纵到画布上，并且重新调整图像对象副本01’的大小。例如，用户可将接触输入(3)提供为维持在图像对象副本01’上的触摸输入接触并对图像对象副本01’重新定位(在维持触摸输入接触的同时)。在此，图像对象副本01’可沿着X轴和y轴方向两者来操纵以及可被旋转而具有新的参考系X’轴和I，轴并且在大小上放大或减小。一旦图像对象副本01 ’已经被操纵到画布上的位置中并且被重新调整大小(如果需要的话)，则用户可移除维持的接触输入(4)。由此，被操纵的图像对象副本01’可被定位到画布上，作为图像对象 01，，。
[0112]在一些实现中，虽然图24可示出对单个图像对象01的复制和操纵，但是抽屉14e上显示的多个不同的图像对象可被定位到画布上。此外，从抽屉14e中检索到的相同的图像对象可在画布上被多次复制和操纵。例如，如果用户想要将来自抽屉He的图像对象01的多个副本定位到画布上，则用户可简单地重复图23和24的接触输入以及操纵过程(2)、
(3)和(4)。
[0113]一旦用户已经复制并操纵了显示在抽屉14e中的所需数量的图像对象，抽屉就可返回到关闭位置。例如，如在图25中显示的，可通过在对应于抽屉14e的过扫描区域11内提供输入接触(5)来启动对抽屉14e的关闭。在此，输入接触(5)可包括对过扫描区域11的单点触摸输入。结果，抽屉He可沿着方向‘d’来关闭并且显示在显示区域12内的图像对象可回复到它们的原始位置，如在图21中显示的。替换地，可在接收到不同的接触输入后关闭抽屉14e，如在图26中显示的。
[0114]在一些实现中，可提供滑扫接触输入以启动对抽屉14e的关闭，如在图26中显示的。例如，用户可通过提供在显示区域12内开始的初始滑扫接触输入(5)并提供沿着y轴方向跨越抽屉He并跨越界面边界13进入过扫描区域11的对应部分的持续滑扫接触输入(5，)来发起对抽屉14e的关闭。结果，抽屉14e可沿着方向‘d’来关闭并且显示在显示区域12内的图像对象可回复到它们的原始位置，如在图21中显示的。
[0115]图27是用于选择关于被配置成向用户提供对图像对象的选择的下拉显示(“抽屉”)的用户界面交互的交互过程2700的示例的流程图。在一些实现中，图27中示出的过程2700可被例如图1和2的显不设备I来执行。
[0116]在显示设备I处接收到接触输入(2710)。
[0117]作出接收的接触输入是否是在过扫描区域11内的位置处的输入的判定(2720)。如果接收到的接触输入不是在过扫描区域11内的位置处的输入，则过程2700结束。在一些实现中，当接触输入是在显示区域12内而非在过扫描区域11内被接收到时，可使用标准的或传统的触摸屏接触输入处理来对接触输入进行处理。然而，如果接收到的接触输入对应于在过扫描区域11内接收到的输入，则基于接触输入在过扫描区域11内的位置以及接触输入的类型来选择GUI交互(2730)。在这个示例中，基于接触输入是在过扫描区域11的被分配到抽屉He的部分内的位置处接收到的判定以及基于接触输入对应于与抽屉GUI交互相关联的输入类型(例如，接触输入对应于在过扫描区域11中的较远离抽屉He的位置处开始并在较靠近抽屉He的位置处结束的垂直滑扫，其是先前与抽屉GUI交互相关联的接触输入的类型)的判定来选择抽屉GUI交互。执行抽屉GUI交互(2740)。对抽屉GUI交互的执行可包括显示/打开抽屉14e(2740a)、接收与显示在抽屉14e中的特定图像对象相关联的接触输入(该接触输入与选择该特定图像对象相关联)(2740b)以及响应于并基于在抽屉14e内的接触输入来复制所选的图像对象并在覆在抽屉上的位置处显示复制的图像对象(2740c)。
[0118]可在复制的图像对象的位置处接收到附加的接触输入以将复制的图像对象操纵到画布上(2750)。可在触摸屏显示的各位置处接收附加的接触输入(2760)。作出接收到的附加的接触输入是否是在抽屉14e外部、但在过扫描区域11内接收到的判定(2770)。如果确定接收到的附加的接触输入是在抽屉He外部接收到并且不在过扫描区域11内接收至IJ，则过程2700返回到操作2740b以等待来自用户的进一步输入。在一些实现中，当附加的接触输入是在显示区域12内(并且在抽屉14e外部)而非在过扫描区域内被接收到时，可使用标准的或传统的触摸屏接触输入处理来对接触输入进行处理。然而，如果确定接收到的附加的接触输入是在抽屉14e外部但在过扫描区域11内被接收到，则可基于过扫描区域11中接收到该附加的接触输入的位置以及基于在过扫描区域11内接收到的接触输入的类型来选择附加的Gn交互(2780)。在这个示例中，基于接触输入是在过扫描区域11的被分配到抽屉He的位置内接收到的判定以及基于接触输入对应于与终止抽屉GUI交互相关联的输入类型(例如，接触输入对应于在过扫描区域11中的较靠近抽屉He的位置处开始并在较远离抽屉He的位置处结束的垂直滑扫，其是先前与终止抽屉GUI交互相关联的接触输入的类型)的判定来选择终止抽屉⑶I交互。替换地，与终止抽屉⑶I交互相关联的输入类型可包括在过扫描区域11内对应于抽屉He的位置的位置处的接触输入，其是先前与终止抽屉⑶I交互相关联的接触输入的类型。
[0119]对终止抽屉⑶I交互的执行发生(2790)。对终止抽屉⑶I交互的执行使得抽屉14e被移除(即，关闭或对接)(2790a)，并且过程2700结束。
[0120]在一些实现中，可基于先前与可在过扫描区域11的先前不与查看器14a、键盘14b、菜单14c、菜单14d和/或抽屉14e相关联的部分中提供的查看器14a、键盘14b、菜单14c、菜单14d和/或抽屉14e相关联的特定手势(或诸手势)来调用对查看器14a、键盘14b、菜单14c、菜单14d和/或抽屉14e的打开(或显示)。例如，包括第一圆运动(即，完整的圆，诸如“O”)以及对角滑扫一起的第一特定手势可与“打开”查看器14a相关联，而包括第二圆运动(即，少于完整的圆，诸如“c”)以及对角滑扫一起的第二且不同的特定手势可与“关闭”查看器14相关联。在此，可顺序地提供第一圆运动和对角滑扫，同时在过扫描区域11内维持持续接触(或基本上持续的接触)。类似地，可顺序地提供第二圆运动和对角滑扫，同时在过扫描区域11内维持持续接触(或基本上持续的接触)。
[0121]在一些实现中，可在过扫描区域11的不与调用(或显示)查看器14a相关联的部分(相同的部分或不同的部分)内提供这些第一和第二特定手势，如在图4和6中显示的。例如，可从在过扫描区域11的边位置(图2中的边I或边2)处提供第一特定手势来产生对查看器14a的调用(或显示)。附加地，可从在过扫描区域11的顶部/底部(图2中的顶部或底部)处提供第二特定手势来产生对查看器14a的显示的移除。
[0122]在一些实现中，可从在过扫描区域11的第一部分中提供第一特定手势来产生对查看器14a的调用(或显示)。附加地，可从在过扫描区域11的基本相同的第一部分处提供第二特定手势来产生对查看器14a的显示的移除。由此，过扫描区域11内接收第一和特定手势的位置可基本上不同或基本上彼此不同。
[0123]类似地，在一些实现中，可要么在过扫描区域11基本相同的部分内要么在过扫描区域11基本不同的部分内使用特定手势来调用键盘14b、菜单14c、菜单14d和/或抽屉14e的任一或全部。
[0124]图28是被配置成接收过扫描区域11和显示区域12的各部分内的接触输入来操纵画布的相机视图的显示设备I的图。在一些实现中，显示设备I可包括显示具有沿着X轴和y轴朝向的画布的图像对象的显示区域12。用户可使用接触输入来操纵显示画布的图像对象的相机。例如，用户可在过扫描区域11内提供初始接触输入(I)并可继续沿着X轴方向跨越界面边界13来进入显示区域12，同时维持后续的接触输入(I，)。在此，用户的后续接触输入(Γ)与初始接触输入(I)是连续的，在过扫描区域11和显示区域12之间没有中断接触，即，在过扫描区域11内开始并持续进入到显示区域12内的滑扫运动。结果，显示在显示区域12内的示出图像对象的画布可沿着对应的X轴方向移动，并且相机将沿着与对应的X轴方向相反的方向来显示画布的各部分。例如，沿着正(+) X轴方向移动画布造成沿着负(-)χ轴方向移动相机。
[0125]替换地，在一些实现中，或者除了接触输入(I)和(Γ )之外，后续接触输入(Γ )可沿着y轴方向继续。例如，虽然初始接触输入(I)可在过扫描区域Ii内，但是进入显示区域12的后续接触输入(Γ)可包括y轴方向分量。结果，显示在显示区域12内的示出图像对象的相机可基于初始接触输入(I)和后续接触输入(Γ )沿着对应的X轴方向和对应的y轴方向来移动。
[0126]类似地，用户可在过扫描区域11内提供初始接触输入(2)并可继续沿着y轴方向跨越界面边界13来进入显示区域12，同时维持后续的接触输入(2’)。在此，用户的后续接触输入(2’)与初始接触输入(2)是连续的，在过扫描区域11和显示区域12之间没有中断接触，即，在过扫描区域11内开始并持续进入到显示区域12内的滑扫运动。结果，显示在显示区域12内的示出图像对象的画布可沿着对应的y轴方向移动，并且相机将沿着与对应的y轴方向相反的方向来显示画布的各部分。例如，沿着正(+)y轴方向移动画布造成沿着负(-)y轴方向移动相机。
[0127]替换地，在一些实现中，或者除了接触输入(2)和(2’ )之外，后续接触输入(2’ )可沿着X轴方向继续。例如，虽然初始接触输入(2)可在过扫描区域11内，但是进入显示区域12的后续接触输入(2’)可包括X轴方向分量。结果，显示在显示区域12内的示出图像对象的相机可基于初始接触输入(2)和后续接触输入(2’ )沿着对应的y轴方向和对应的X轴方向来移动。
[0128]在一些实现中，可在显示区域12上显示垂直滚动条14v和水平滚动条14h以向用户提供与相机相对于画布的整体区域的位置有关的反馈。由于设备I被配置成向用户提供画布的整个区域的相机视图以及画布的可选择区域部分，所以垂直滚动条14v和水平滚动条14h根据相机移动的量来沿着显示区域12的垂直和水平方向移动。例如，随着用户提供接触输入⑴和(Γ )，即将画布沿着与接触输入⑴和(Γ )的方向基本相同的方向相对应的方向移动，水平滚动条将沿着与接触输入(I)和(Γ )序列基本相反的方向水平地移动。在此，将画布沿着与基本上与接触输入(I)和(Γ)的方向相同的方向相对应的方向移动造成沿着基本上与接触输入(I)和(Γ )的方向相反的方向改变画布的相机视图。
[0129]类似地，在一些实现中，随着用户提供接触输入(2)和(2’)，即将画布沿着与接触输入(2)和(2’)的方向基本相同的方向相对应的方向移动,垂直滚动条将沿着与接触输入(2)和(2’ )序列基本相反的方向垂直地移动。在此，将画布沿着与基本上与接触输入(2)和(2’ )的方向相同的方向相对应的方向移动造成沿着基本上与接触输入(2)和(2’ )的方向相反的方向改变画布的相机视图。
[0130]此外，在一些实现中，随着用户提供接触输入(1)/(1’)和(2)/(2’)，S卩，沿着X轴和y轴方向移动画布，垂直和水平滚动条将沿着基本上与接触输入(1)/(1’ )和(2)/(2’ )序列相反的方向分别垂直地和水平地移动。在此，将画布沿着与基本上与接触输入(I)/(Γ )和⑵/(2’ )的方向相同的方向相对应的方向移动造成沿着基本上与⑴/(Γ )和(2)/(2’ )的方向相反的方向改变画布的相机视图。
[0131]图29是被配置成接收过扫描区域11的各部分内的接触输入来操纵画布的相机视图的显示设备I的图。在一些实现中，显示设备I可包括显示具有沿着X轴和y轴朝向的画布的图像对象的显示区域12。用户可使用接触输入来操纵显示画布的图像对象的相机。例如，用户可在过扫描区域11的垂直部分内沿着X轴和y轴方向两者来提供接触输入(1)，而在跨越界面边界13进入显示区域12内不继续接触输入(I)。结果，显示在显示区域12内的示出图像对象的画布可沿着对应的X轴和I轴方向移动，并且相机将沿着与对应的X轴和y轴方向相反的方向来显不画布的各部分。例如，沿着正(+)χ轴和y轴方向移动画布造成沿着负(-)χ轴和I轴方向移动相机。
[0132]类似地，在一些实现中，用户可使用接触输入来操纵显示画布的图像对象的相机。例如，用户可在过扫描区域11的水平部分内沿着X轴和y轴方向两者来提供接触输入(1)，而在跨越界面边界13进入显示区域12内不继续接触输入(2)。结果，显示在显示区域12内显示的图像对象的画布可沿着对应的X轴和I轴方向移动，并且相机将沿着与对应的X轴和y轴方向相反的方向来显不画布的各部分。例如，沿着正(+)χ轴和y轴方向移动画布造成沿着负(-)χ轴和I轴方向移动相机。
[0133]在一些实现中，过扫描区域11可被配置成具有宽度(或诸宽度)以将用户的接触输入基本上适应在过扫描区域内。例如，如图2中显示的，触摸屏设备15有目的地扩展来覆盖整个过扫描区域11。由此，用户可充分使用整个过扫描区域11来提供对显示设备I的接触输入。例如，过扫描区域11不仅仅接收接触输入，过扫描区域11还被配置成接收后续的接触输入。如在图29中显示的，可仅仅基于在过扫描区域11内接收到的二维输入来确定对画布(或相机)的操纵。由此，过扫描区域11必须拥有足够的区域来接收二维输入。
[0134]图30是用于选择与平摇画布的相机视图有关的用户界面交互的交互过程3000的示例的流程图。在一些实现中，图30中示出的过程3000可被例如图1和2的显示设备I来执行。
[0135]在显示设备I处接收到接触输入(3010)。
[0136]作出接收的接触输入是否是在过扫描区域11内的位置处的输入的判定(3020)。如果接收到的接触输入不是在过扫描区域11内的位置处的输入，则过程3000结束。在一些实现中，当接触输入是在显示区域12内而非在过扫描区域11内被接收到时，可使用标准的或传统的触摸屏接触输入处理来对接触输入进行处理。然而，如果接收到的接触输入对应于在过扫描区域11内接收到的输入，则基于接触输入在过扫描区域11内的位置以及接触输入的类型来选择GUI交互(3030)。在这个示例中，基于接触输入是在过扫描区域11的部分内的位置处接收到的判定并且基于接触输入对应于与相机平摇GUI交互相关联的输入类型(例如，接触输入对应于在过扫描区域11内的位置处开始的垂直和/或水平滑扫)的判定来选择相机平摇GUI交互。在一些实现中，如在以上详细描述的，滑扫可在过扫描区域11内开始并继续跨越界面边界13进入显示区域12。在一些实现中，如在以上详细描述的，滑扫可在过扫描区域11内开始并结束，而不继续跨越界面边界13进入显示区域12。在一些实现中，滑扫可在过扫描区域11内开始，要么沿着X轴和y轴方向之一要么沿着X轴和I轴方向两者继续跨越界面边界13进入显示区域12，并接着在过扫描区域11内结束。
[0137]执行相机平摇⑶I交互(3060)。对相机平摇⑶I交互的执行可包括响应于并基于在过扫描区域11内接收到的接触输入来操纵画布(或相机，取决于与查看器或图像对象有关的参考系)(3060a)。
[0138]图31a和31b是被配置成接收过扫描区域11的各部分内的接触输入来操纵画布的相机视图的显示设备I的图。在某些实现中，显示设备I可以包括显示具有沿着X轴和y轴朝向的画布的图像对象的显示区域12。用户可使用接触输入来操纵显示画布的图像对象的相机。例如，用户可在过扫描区域11的部分14g中提供初始两点接触输入(I)。在提供两点接触输入(I)后，可在显示区域内显示垂直和水平滚动条14v和14h，向用户提供关于相机相对于整个画布的位置的指示。在接收到初始两点接触输入(I)后，用户可在过扫描区域11的部分Hg内提供后续两点接触输入(2)，如图31b中显示的。例如，用户可提供“捏合”类型输入(2)，其将造成相机从画布中缩小。在一些实现中，用户提供“捏合”类型输入(2)的速度可确定相机从画布中缩小的速度。例如，以相对慢的方式提供“捏合”类型输入⑵可造成以对应地慢的速度从画布中缩小。相反，以相对快的方式提供“捏合”类型输入(2)可造成以对应地快的速度从画布中缩小。
[0139]作为提供“捏合”类型输入(2)的结果，图像对象将在大小上减小，但相机将不平摇画布。此外，垂直和水平滚动条14v和14h将在长度上增加以向用户提供相机正在显示画布的增加的区域的指示，如与在图31a中显示的比图31b中显示的垂直和水平滚动条14v和14h相对短的垂直和水平滚动条14v和14h相反。
[0140]图32a和32b是被配置成接收过扫描区域11的各部分内的接触输入来操纵画布的相机视图的显示设备I的图。在一些实现中，显示设备I可包括显示具有沿着X轴和y轴朝向的画布的图像对象的显示区域12。用户可使用接触输入来操纵显示画布的图像对象的相机。例如，用户可在过扫描区域11的部分Hg中提供初始两点接触输入(I)。在提供两点接触输入(I)后，可在显示区域内显示垂直和水平滚动条14v和14h，向用户提供关于相机相对于整个画布的位置的指示。在接收到初始两点接触输入(I)后，用户可在过扫描区域11的部分Hg内提供后续两点接触输入(2)，如图32b中显示的。例如，用户可提供“张开”类型输入(2)，其将造成相机对画布放大。
[0141]在一些实现中，用户提供“张开”类型输入(2)的速度可确定相机对画布放大的速度。例如，以相对慢的方式提供“张开”类型输入⑵可造成以对应地慢的速度对画布放大。相反，以相对快的方式提供“张开”类型输入(2)可造成以对应地快的速度对画布放大。
[0142]作为提供“张开”类型输入(2)的结果，图像对象将在大小上增加，但相机将不平摇画布。此外，垂直和水平滚动条14v和14h将在长度上降低以向用户提供相机正在显示画布的减少的区域的指示，如与在图32a中显示的比图32b中显示的垂直和水平滚动条14v和14h相对长的垂直和水平滚动条14v和14h相反。
[0143]在一些实现中，诸如图31a、31b、32a和32b，过扫描区域11的部分14g可被预先安排来提供缩小/放大功能。例如，虽然过扫描区域11的部分14g被显示为被定位于沿着过扫描区域11的水平右下区域，但是过扫描区域11的部分14g也可被定位于沿着过扫描区域11的垂直右侧区域。类似地，基于用户是惯用右手的还是惯用左手的，过扫描区域11的部分Hg可被定位于沿着过扫描区域11的水平右上/右下和/或左侧区域。
[0144]图33是用于选择与平摇相机视图有关的用户界面交互的交互过程3300的示例的流程图。在一些实现中，图33中示出的过程3300可被例如图1和2的显示设备I来执行。
[0145]在显示设备I处接收到接触输入(3310)。
[0146]作出接收的接触输入是否是在过扫描区域11内的位置处的输入的判定(3320)。如果接收到的接触输入不是在过扫描区域11内的位置处的输入，则过程3300结束。在一些实现中，当接触输入是在显示区域12内而非在过扫描区域11内被接收到时，可使用标准的或传统的触摸屏接触输入处理来对接触输入进行处理。然而，如果接收到的接触输入对应于在过扫描区域11内接收到的输入，则基于接触输入在过扫描区域11内的位置以及接触输入的类型来选择GUI交互(3330)。在这个示例中，基于接触输入是在过扫描区域11的部分内的位置Hg处接收到的判定并且基于接触输入对应于与相机缩放GUI交互相关联的输入类型(例如，接触输入对应于在过扫描区域11内的位置处的“捏合”或“张开”运动)的判定来选择相机缩放GUI交互。在一些实现中，如以上详细描述的，可在过扫描区域11的被分配用来接收“捏合”和/或“张开”运动的部分Hg内提供“捏合”或“张开”运动。例如，相机缩放⑶I交互可包括缩小功能，其中在显示区域12内显示的图像对象的大小根据“捏合”接触输入提供的量来减少。相反，相机缩放GUI交互可包括放大功能，其中在显示区域12内显示的图像对象的大小根据“张开”接触输入提供的量来增加。执行相机缩放⑶I交互(3340)。对相机缩放⑶I交互的执行可包括响应于并基于在过扫描区域11的部分Hg内接收到的接触输入来操纵画布(或相机，取决于与查看器或图像对象有关的参考系)(3340a)。
[0147]图34是用于响应于过扫描区域内的用户输入来启动⑶I交互的交互过程3400的示例的流程图。过程3400类似于过程300，除了它显式地提供通过以下触发的⑶I交互:
(I)被同时维持的在过扫描区域内的输入与在显示区域(例如，画布区域)内的附加的输入的组合；和(2)被同时维持的在过扫描区域内的输入与在过扫描区域内的附加的输入的组合。在一些实现中，图34中示出的过程3400可被例如图1和2的显示设备I来执行。
[0148]在显示设备I处接收到接触输入(3402)。作出接收到的接触输入是否是在过扫描区域11内接收到的判定(3404)。如果确定接收到的接触输入不是在过扫描区域11内接收到的，则过程3400结束。在一些实现中，当接触输入是在显示区域内而非在过扫描区域内被接收到时，可使用标准的或传统的触摸屏接触输入处理来对接触输入进行处理。
[0149]然而，如果确定接收到的接触输入是在过扫描区域11内接收到的，则可任选地，基于所接收到的接触输入的类型和/或基于过扫描区域内接收到该接触输入的位置来选择(3406)并执行图形用户界面(⑶I)交互(3408和3408a)。在一些实现中，接收到的接触输入可不对应于被系统识别为用于触发⑶I交互的输入类型，并且因此，没有⑶I交互可响应于接收到的接触输入来被选择。
[0150]在显示设备I处接收到附加的输入(3410)。作出附加的输入是在显示区域12(例如，画布)内还是在过扫描区域11内的判定(3412)。如果附加的输入被确定为位于显示区域12 (例如，画布)内，则作出在操作3402期间接收到的初始过扫描输入是否被维持的判定(3414)。换句话说，作出关于生成了或正在生成过扫描初始输入的输入机制是否在接收到附加的画布输入时维持了与触摸屏的交互(例如，从初始过扫描手势开始的时间到附加的画布手势开始或在一些实现中结束的时间中维持与触摸屏连续的或基本连续的交互)的判定。如果在操作3402期间接收到的初始过扫描输入没有被维持(S卩，一个或多个输入机制在附加的画布输入被接收到时中断了与触摸屏的接触或交互)，则附加的画布输入被认为与过扫描输入不相关并因此被显示设备I根据不利用过扫描输入的标准对象操纵技术来处理(3416)。
[0151]然而，如果在操作3402期间接收到的初始过扫描输入在附加的画布输入被接收到时被维持，则根据初始过扫描输入的位置和类型并且根据附加的画布输入的位置和类型来选择⑶I交互(3418)。所选的⑶I交互可被执行(3420)并可造成对显示在画布上的对象的操纵(3420a)。
[0152]由此，在过程3400，可选择基于从过扫描触摸/交互和并发的显示区域(例如，画布)触摸/交互两者中形成的组合输入的特定GUI交互。例如，可基于在过扫描区域11的第一部分中检测到的第一多点触摸手势和在显示区域12或画布的第一部分中并发地检测到的第二多点触摸手势来选择特定GUI交互。由此，可仅当两个不同的且预定的多点触摸手势在显示设备I的表面的两个不同区域中被并发地检测到(即，在过扫描区域11的第一部分中的一个特定手势和在显示区域12的第一部分中的另一特定手势)时才选择该特定GUI交互。如果例如第二多点触摸手势被在显示区域12的第二部分而非第一部分中并发地检测到，则以上提到的该特定GUI交互可不被选择并且进而基于这两个手势来选择不同的GUI交互。替换地，每个手势可改为被相互独立地对待，而非基于两个手势来选择不同的GUI交互。即，过扫描手势可使得基于该手势和其在过扫描区域11中的位置来选择特定GUI交互，并且画布手势可造成不利用过扫描输入的标准对象操纵处理的并发执行。以下关于附图35-42描述基于过扫描区域接触输入和画布/显示区域接触输入的组合来选择的GUI交互的示例。
[0153]值得注意的是，尽管过程3400构想了过扫描区域接触输入(或多点触摸手势)是初始输入并且画布/显示区域接触输入(或多点触摸手势)是后续附加的输入，但是其他实现可具有对输入的不同的时间排序。例如，画布/显示区域接触输入可以是初始输入，而过扫描区域接触输入可以是后续附加的输入，或两个输入被同时地接收。
[0154]回头参考图34，如果附加的输入被确定为位于过扫描区域12内，则作出在操作3402期间接收到的初始过扫描输入是否被维持的判定(3422)。换句话说，作出关于生成了或正在生成过扫描初始输入的输入机制是否在接收到附加的过扫描输入时维持了与触摸屏的交互(例如，从初始过扫描手势开始的时间到附加的过扫描手势开始或在一些实现中结束的时间中维持与触摸屏连续的或基本连续的交互)的判定。如果在操作3402期间接收到的初始过扫描输入没有被维持(即，一个或多个输入机制在附加的过扫描输入被接收到时中断了与触摸屏的接触或交互)，则附加的过扫描输入被认为与初始过扫描输入不相关，并因此可被分开地且单独地用于基于附加的过扫描输入的类型和/或基于过扫描区域中接收到该附加的过扫描输入的位置来选择并执行其自己的分开的图形用户界面(GUI)交互(3424、3426 和 3426a)。
[0155]然而，如果在操作3402期间接收到的初始过扫描输入在附加的过扫描输入被接收到时被维持，则基于初始过扫描输入的位置、初始过扫描输入的接触类型、附加的过扫描输入的位置和/或附加的过扫描输入的接触类型来选择GUI交互(3428)。接着可执行所选的⑶I交互(3430)以例如使得能够对显示在显示区域12中的对象进行操纵(3430a)。
[0156]值得注意的是，在一些实现中，初始过扫描输入和附加的过扫描输入可造成两个不同的且独立的⑶I交互分开地且同时地发生。例如，初始过扫描输入可以是启动键盘⑶I交互的垂直向上滑动，其使得键盘看上去从过扫描区域中向上滑出并进入显示区域的底部。在用户使用一只手来向上滑动键盘时，用户可同时使用第二只手来启动分开的终止查看器GUI交互，其使得显示在显示区域顶部处的查看器看上去向上滑动进入过扫描区域并滑出视图。对查看器的向上滑动可与对键盘的向上滑动同时发生。
[0157]在一些实现中，初始过扫描输入造成对初始⑶I交互的选择和执行，并且后续过扫描输入通过用后续⑶I交互来替换初始⑶I交互来造成对初始⑶I交互的终止。例如，初始过扫描输入可以是在过扫描区域11的部分Ilc中垂直地滑动单个手指，其造成触发查看器开始从过扫描区域向上滑动进入显示区域12的查看器⑶I交互。后续过扫描输入可以是与第一个手指组合来创建两指滑动和分开手势的沿着过扫描区域11的相同部分Ilc滑动地比第一个手势稍微慢点的第二个手指，该两指滑动和分开手势用组合的缩放/平摇⑶I交互来替换查看器⑶I交互，该组合的缩放/平摇⑶I交互基于两个手指之间的距离变化来缩放相机视图并根据两个手指位置的质心移动来平摇相机视图。
[0158]尽管过程3400公开了单个初始输入和单个附加的输入，但是应当理解任意数量的被并发维持(即，在同一时间同时地与触摸屏交互)的过扫描和/或显示区域输入可被组合来选择不同的GUI交互。类似地，任意数量的被并发维持的过扫描和/或显示区域输入可被分开地且独立地对待，使得每个过扫描输入可触发与被其他输入触发的那些⑶I交互同时发生的其自己的分开的⑶I交互，并且每个显示区域输入可触发其自己对不利用过扫描输入的标准对象操纵处理的执行，该执行与被其他输入触发的那些处理同时发生。
[0159]图35a和35b是被配置成接收过扫描区域11和显示区域12的各部分内的接触输入来操纵画布的相机视图的显示设备I的图。在一些实现中，显示设备I可包括显示具有沿着X轴和y轴朝向的画布的图像对象的显示区域12。用户可使用接触输入来操纵显示画布的图像对象的相机。例如，用户可在过扫描区域11的部分Hg中提供初始两点接触输入(1)，其中图像对象Ol被显示。在提供两点接触输入(I)后，可在显示区域内显示垂直和水平滚动条14V和14h，向用户提供关于相机相对于整个画布的位置的指示。在接收到初始两点接触输入(I)后，用户可在过扫描区域11的部分Hg内提供后续两点接触输入(1’)，如图34b中显示的。例如，用户可提供“捏合”类型输入(Γ )，其将造成相机从画布中缩小，其中图像对象01’被显示。
[0160]在一些实现中，用户提供“捏合”类型输入(2)的速度可确定相机从画布中缩小的速度。例如，以相对慢的方式提供“捏合”类型输入(2)可造成以对应地慢的速度从画布中缩小。相反，以相对快的方式提供“捏合”类型输入(2)可造成以对应地快的速度从画布中缩小。
[0161]附加地，在一些实现中，诸如图34b，用户可在显示区域12内提供附加的接触输入
(2)和后续接触输入(2’)。例如，后续接触输入(2’)可包括X轴和y轴两者分量。在此，附加的和后续接触输入(2)和(2’ )可在“捏合”类型输入(Γ )的输入期间提供。结果，不仅图像对象在大小上减少，画布还沿着后续接触输入(2’)相对于附加的接触输入(2)的方向移动。此外，垂直和水平滚动条14v和14h将在长度上增加以向用户提供相机正在显示画布的增加的区域的指示，如与在图34a中显示的比图34b中显示的垂直和水平滚动条14v和14h相对短的垂直和水平滚动条14v和14h相反。
[0162]此外，在一些实现中，如在图34b中显示的，提供接触输入(1)/(1’)和(2)/(2’)，即，缩小画布和沿着X轴和y轴方向移动画布(平摇相机)，将沿着与接触输入(1)/(1’)和
(2)/(2’ )序列基本上相反的方向分别垂直地和水平地移动垂直和水平滚动条14v和14h。此外，垂直和水平滚动条14v和14h将对应于接触输入(1)/(1’)提供的对画布缩小的量来增长。在此，将画布沿着与同接触输入(1)/(1’)和(2)/(2’)的方向基本上相同的方向相对应的方向移动造成沿着与接触输入(1)/(1’ )和(2)/(2’ )的方向基本上相反的方向改变画布的相机视图。
[0163]图36a和36b是被配置成接收过扫描区域11和显示区域12的各部分内的接触输入来操纵画布的相机视图的显示设备I的图。在一些实现中，显示设备I可包括显示具有沿着X轴和y轴朝向的画布的图像对象的显示区域12。用户可使用接触输入来操纵显示画布的图像对象的相机。例如，用户可在过扫描区域11的部分14g内提供初始两点接触输入
(1)，其中图像对象01被显示。在提供两点接触输入(I)后，可在显示区域内显示垂直和水平滚动条14v和14h，向用户提供关于相机相对于整个画布的位置的指示。在接收到初始两点接触输入(I)后，用户可在过扫描区域11的部分Hg内提供后续两点接触输入(1’)，如图35b中显示的。例如，用户可提供“张开”类型输入(Γ )，其将造成相机对画布放大，其中图像对象01’被显示。
[0164]在一些实现中，用户提供“张开”类型输入(2)的速度可确定相机对画布放大的速度。例如，以相对慢的方式提供“张开”类型输入⑵可造成以对应地慢的速度对画布放大。相反，以相对快的方式提供“张开”类型输入(2)可造成以对应地快的速度对画布放大。
[0165]附加地，在一些实现中，诸如图35b，用户可在显示区域12内提供附加的接触输入
(2)和后续接触输入(2’)。例如，后续接触输入(2’)可包括X轴和y轴两者分量。在此，附加的和后续接触输入(2)和(2’ )可在“张开”类型输入(Γ )的输入期间提供。结果，不仅图像对象在大小上增加(即，放大画布)，画布还沿着后续接触输入(2’ )相对于附加的接触输入(2)的方向移动。此外，垂直和水平滚动条14v和14h将在长度上降低以向用户提供相机正在显示画布的减少的区域的指示，如与在图35a中显示的比图35b中显示的垂直和水平滚动条14v和14h相对长的垂直和水平滚动条14v和14h相反。
[0166]此外，在一些实现中，如在图35b中显示的，提供接触输入(1)/(1’)和(2)/(2’)，即，放大画布和沿着X轴和y轴方向移动画布(平摇相机)，将沿着与接触输入(1)/(1’)和(2)/(2’ )序列基本上相反的方向分别垂直地和水平地移动垂直和水平滚动条14v和14h。此外，垂直和水平滚动条14v和14h将对应于接触输入(1)/(1’)提供的对画布放大的量来缩短。在此，将画布沿着与同接触输入(1)/(1’)和(2)/(2’)的方向基本上相同的方向相对应的方向移动造成沿着与接触输入(1)/(1’ )和(2)/(2’ )的方向基本上相反的方向改变画布的相机视图。
[0167]图37a和37b是被配置成接收过扫描区域11和显示区域12的各部分内的接触输入来操纵画布的相机视图的显示设备I的图。在一些实现中，显示设备I可包括显示具有沿着X轴和y轴朝向的画布的图像对象的显示区域12。用户可使用接触输入来操纵显示画布的图像对象的相机。例如，用户可在过扫描区域11的部分14g内提供初始两点接触输入
(1)，其中图像对象01被显示。在提供两点接触输入(I)后，可在显示区域内显示垂直和水平滚动条14v和14h，向用户提供关于相机相对于整个画布的位置的指示。在接收到初始两点接触输入(I)后，用户可在过扫描区域11的部分Hg内提供后续两点接触输入(1’)，如图37b中显示的。例如，用户可提供“捏合”类型输入(Γ )，其将造成相机从画布中缩小，其中图像对象01被顺时针旋转且被显示为图像对象01’。
[0168]在一些实现中，用户提供“捏合”类型输入(2)的速度可确定相机从画布中缩小的速度。例如，以相对慢的方式提供“捏合”类型输入(2)可造成以对应地慢的速度从画布中缩小。相反，以相对快的方式提供“捏合”类型输入(2)可造成以对应地快的速度从画布中缩小。
[0169]附加地，在一些实现中，诸如在图37b中，用户可在显示区域12内提供附加的两点接触输入(2)和后续两点接触输入(2’)。例如，后续接触输入(2’ )可包括顺时针旋转移动。在此，附加的和后续接触输入(2)和(2’ )可在“捏合”类型输入(Γ )的输入期间提供。结果，不仅图像对象在大小上减少(即，缩小画布)，画布还被顺时针旋转大约后续接触输入(2’)相对于附加的两点接触输入(2)的角度。此外,垂直和水平滚动条14v和14h将在长度上增加以向用户提供相机正在显示画布的增加的区域的指示，如与在图37a中显示的比图37b中显示的垂直和水平滚动条14v和14h相对短的垂直和水平滚动条14v和14h相反。
[0170]此外，在一些实现中，诸如在图37b中显示的那样，提供两点接触输入(1)/(1’)和
(2)/(20,即缩小画布和顺时针旋转画布大约基于附加的和后续两点接触输入⑵和(2’)的角度，将沿着与接触输入(I)和(Γ )序列基本上相反的方向来对应于接触输入(I)和(Γ )提供的画布缩小的量分别垂直地和水平地增长垂直和水平滚动条14v和14h。在此，将画布沿着与同接触输入(I)和(Γ )的方向基本上相同的方向相对应的方向移动造成沿着与两点接触输入(I)和(I’ )的方向基本上相反的方向改变画布的相机视图。
[0171]图38a和38b是被配置成接收过扫描区域11和显示区域12的各部分内的接触输入来操纵画布的相机视图的显示设备I的图。在一些实现中，显示设备I可包括显示具有沿着X轴和y轴朝向的画布的图像对象的显示区域12。用户可使用接触输入来操纵显示画布的图像对象的相机。例如，用户可在过扫描区域11的部分14g内提供初始两点接触输入
(1)，其中图像对象Ol被显示。在提供两点接触输入(I)后，可在显示区域内显示垂直和水平滚动条14v和14h，向用户提供关于相机相对于整个画布的位置的指示。在接收到初始两点接触输入(I)后，用户可在过扫描区域11的部分Hg内提供后续两点接触输入(1’)，如图38b中显示的。例如，用户可提供“张开”类型输入(Γ )，其将造成相机对画布放大，其中图像对象01被逆时针旋转且被显示为图像对象01 ’。
[0172]在一些实现中，用户提供“张开”类型输入(2)的速度可确定相机对画布放大的速度。例如，以相对慢的方式提供“张开”类型输入⑵可造成以对应地慢的速度对画布放大。相反，以相对快的方式提供“张开”类型输入(2)可造成以对应地快的速度对画布放大。
[0173]附加地，在一些实现中，诸如在图38b中，用户可在显示区域12内提供两点接触输入(2)和后续两点接触输入(2’)。例如，后续接触输入(2’ )可包括逆时针旋转移动。在此，附加的和后续接触输入(2)和(2’ )可在“张开”类型输入(Γ )的输入期间提供。结果，不仅图像对象在大小上增加，画布还被逆时针旋转大约后续接触输入(2’ )相对于两点接触输入(2)的角度。此外，垂直和水平滚动条14v和14h将在长度上降低以向用户提供相机正在显示画布的减少的区域的指示，如与在图38a中显示的比图38b中显示的垂直和水平滚动条14v和14h相对长的垂直和水平滚动条14v和14h相反。
[0174]此外，在一些实现中，诸如在图38b中显示的那样，提供两点接触输入(1)/(1’)和
(2)/(20,即放大画布和逆时针旋转画布大约基于附加的和后续两点接触输入⑵和(2’)的角度，将沿着与接触输入(I)和(Γ )序列基本上相反的方向来对应于接触输入(I)和(Γ )提供的画布放大的量分别垂直地和水平地缩短垂直和水平滚动条14v和14h。在此，将画布沿着与同接触输入(I)和(Γ )的方向基本上相同的方向相对应的方向移动造成沿着与接触输入(I)和(I’ )的方向基本上相反的方向改变画布的相机视图。
[0175]图39是用于启用与画布的相机视图的交互的交互过程3900的示例的流程图。过程3900是其中过扫描输入触发缩放⑶I交互(B卩，画布的相机视图的放大或缩小)以及附加的画布输入触发相机平移/旋转⑶I交互(即，画布的相机视图的平移或旋转)的过程3400的示例。在一些实现中，图39中示出的过程3900可被例如图1和2的显示设备I来执行。
[0176]在显示设备I处接收到接触输入(3902)。作出接收到的接触输入是否是在过扫描区域11内接收到的判定(3904)。在接收到的接触输入被确定为是在过扫描区域11内被接收到后，基于所接收到的接触输入的类型和/或基于过扫描区域中接收到接触输入的位置来选择(3906)并执行缩放⑶I交互(3908和3908a)。在一些实现中，如以上详细描述的，可在过扫描区域11的被分配用来接收“捏合”和/或“张开”运动的部分Hg内提供两点“捏合”或“张开”运动。例如，缩放⑶I交互可执行缩小功能，其中显示在显示区域12内的图像对象的大小根据“捏合”接触输入提供的量来减少。相反，缩放GUI交互可执行放大功能，其中在显示区域12内显示的图像对象的大小根据“张开”接触输入提供的量来增加。
[0177]在显示设备I处接收到附加的输入(3910)。作出附加的输入是在显示区域12(例如，画布)内还是在过扫描区域11内的判定(3912)。附加的输入被确定为位于显示区域12(例如，画布)内，并因此作出在操作3902期间接收到的初始过扫描输入是否被维持的判定(3914)。换句话说，作出关于生成了或正在生成过扫描初始输入的输入机制是否在接收到附加的画布输入时维持了与触摸屏的交互(例如，从初始过扫描手势开始的时间到附加的画布手势开始或在一些实现中结束的时间中维持与触摸屏连续的或基本连续的交互)的判定。在这个示例中，在操作3402期间接收到的初始过扫描输入在附加的画布输入被接收到时被维持，并且因此根据初始过扫描输入的位置和类型并且根据附加的画布输入的位置和类型来选择相机平移/旋转GUI交互(3918)。所选的相机平移/旋转GUI交互可被执行(3920)并可造成画布的相机视图平移和/或旋转，其造成对显示的对象的对应操纵，如在例如图35到38中显示的(3920a)。
[0178]由此，在示例性过程3900中，显示设备I响应于初始过扫描交互输入(诸如例如，对应于“捏合”或“张开”运动的两指接触输入)选择缩放⑶I交互。显示设备I执行所选的缩放GUI交互来使得相机视图响应于捏合和/或张开运动对画布放大和/或缩小。在提供初始过扫描交互输入的两个手指保持交互并由此继续向显示设备的过扫描区域提供输入时，显示设备的显示区域接收到附加的画布交互输入(诸如例如类似于在图35B或图36B中显示的单手指接触输入)。显示设备I基于其同时检测到过扫描区域内的两指接触输入和显示区域内的单指接触输入来选择相机平移/旋转GUI交互。随着三个手指在当前保持与触摸屏的交互的同时进行移动，同时地执行两个不同的GUI交互来致使相机视图改变:(1)缩放⑶I交互致使相机视图根据过扫描区域中两个手指之间的分开距离来放大或缩小；并且同时地(2)相机平移/旋转GUI交互致使相机视图根据显示区域中单个附加的手指的平移来平移。
[0179]在另一示例中，附加的画布交互输入可以是类似于图37b或图38b中显示的两指接触输入，其中两个手指的指尖旋转使得对应于两个手指的指尖的两个触摸点/区域围绕它们的质心旋转给定的角量。显示设备I基于其同时检测到过扫描区域内的两指接触输入和显示区域内的两指接触输入来选择相机平移/旋转GUI交互。随着四个手指在当前保持与触摸屏的交互的同时进行移动，同时地执行两个不同的GUI交互来致使相机视图改变:(1)缩放⑶I交互致使相机视图根据过扫描区域中两个手指之间的分开距离来放大或缩小；并且同时地(2)相机平移/旋转GUI交互致使相机视图根据对应于接触/交互显示区域的两个手指的指尖的两个触摸点/区域的旋转来旋转。在一些实现中，也计算对应于触摸显示区域的两个手指的指尖的两个触摸点/区域的质心，使得质心的移动附加地致使平移/旋转GUI交互根据质心的移动产生与相机视图的旋转同时的相机视图的对应平移。
[0180]图40和41是被配置成接收过扫描区域11和显示区域12的各部分内的接触输入来操纵画布的相机视图的显示设备I的图。在一些实现中，显示设备I可包括显示具有沿着X轴和y轴朝向的画布的图像对象的显示区域12。用户可使用接触输入来操纵显示画布的图像对象的相机。例如，如图40中显示的，用户可在过扫描区域11的部分14i内提供初始三点接触输入(I)，其中图像对象01被显示。在提供三点接触输入(I)后，每个图像对象(或图像对象分组)被突出显示以向用户提供要被用户选择的图像对象(或图像对象分组)的可用性的指示。在接收到初始三点接触输入(I)后，用户可通过在显示区域12处提供瞬时接触输入(2)来选择图像对象之一 01。在提供瞬时接触输入(2)后，所选的图像对象01被进一步突出显示来指示用户对于图像对象01的选择。
[0181]接着，在一些实现中，诸如在图41中显示的那样，用户可通过移除三点接触输入(I)来提供后续输入(Γ )。在移除三点接触输入(I)后，可执行画布的放大以及沿着X轴和y轴方向移动画布(平摇相机)。例如，由于选择了图像对象01，可通过将图像对象01’置于相机内的中心来实现画布的放大。在此，图像对象01的原始朝向将被维持，并且将确定画布被放大的量以将图像对象01’显示在显示区域12内来达到其可能的最完整程度。
[0182]图42是用于启用与画布的相机视图的交互的交互过程4200的示例的流程图。过程4200是过程3400的示例，其中过扫描输入触发突出显示可选对象⑶I交互(即，造成在屏幕上对那些可被用户选择的对象进行突出显示的交互)并且附加的画布输入触发中心定位所选对象GUI交互(即，改变相机视图以将所选的对象重新定向到屏幕的中心使得它们显示为在显示区域12中可能的最完整程度的交互)。在一些实现中，图42中示出的过程4200可被例如图1和2的显示设备I来执行。
[0183]在显示设备I处接收到接触输入(4202)。作出接收到的接触输入是否是在过扫描区域11内接收到的判定(4204)。在接收到的接触输入被确定为是在过扫描区域11内被接收到后，基于所接收到的接触输入的类型和/或基于过扫描区域中接收到接触输入的位置来选择(4206)并执行突出显示可选对象⑶I交互(4208)。执行⑶I交互可在接触输入被用户维持的同时(例如，在三点手指接触输入保持交互或接触触摸屏的同时)使得显示在显示区域12中的一个或多个先前不可被选择的对象变为用户可选择。执行GUI交互还可在接触输入被用户维持的同时造成视觉上对那些用户可选择对象和显示在显示区域12中的不是用户可选择的其他对象进行区分(4208a)。可通过例如突出显示用户可选择的对象来将用户可选择的对象与不是用户可选择的对象视觉上进行区分。在一些实现中，作为从例如在颜色、纹理、大小、透明度和/或朝向上的差异而产生的用户可选择对象和不是用户可选择的对象的可视外观上的不同来视觉上对它们进行区分。图40提供了显示区域12的一个示例，其中显示的可选择对象响应于三点接触输入(例如，三指按压)被突出显示。
[0184]一旦接触输入不再被用户维持，则突出显示可选⑶I交互可终止，使得一个或多个对象不再被突出显示并且不再是用户可选择的。用户可通过中断与触摸屏的接触/交互(例如，通过抬起所有手指或移除用于生成输入的所有输入机制，使得没有手指或输入机制被用于生成保持接触/交互触摸屏的输入)和/或通过(通过例如抬起用于生成输入的一个或多个手指/输入机制或放下接着与手指/输入机制组合来生成输入的一个或多个附加的手指/输入机制)将接触输入改变为对应于不同GUI交互的不同输入来结束接触输入(即，不再维持接触输入)。
[0185]在一些实现中，突出显示可选对象GUI交互不使得先前不可选择的对象变为用户可选择的。相反，在这些实现中，出于使得用户能够快速地标识哪些对象可被用户选择的目的，突出显示可选对象⑶I交互进而仅突出显示或以其他方式视觉上区分那些已经是并且继续是用户可选择的那些对象。在其他实现中，显示区域12可显示可选择的和不可选择的对象两者，并且突出显示可选对象GUI交互可接着被触发来使得不可选择的对象中的一些变得可选择的，同时突出显示显示区域12中的所有可选择的对象并且任选地，对那些新的可选择对象与先前的可选择对象进行区分。
[0186]在显示设备I处接收到对应于用户对显示在画布内的对象之一的选择的附加的输入(4210)。作出附加的输入是在显示区域12 (例如，画布)内还是在过扫描区域11内的判定(4212)。附加的输入被确定为位于显示区域12(例如，画布)内，并因此作出在操作4202期间接收到的初始过扫描输入是否被维持的判定(4214)。换句话说，作出关于生成了或正在生成过扫描初始输入的输入机制是否在接收到附加的画布输入时维持了与触摸屏的交互(例如，从初始过扫描手势开始的时间到附加的画布手势开始或在一些实现中结束的时间中维持与触摸屏连续的或基本连续的交互)的判定。在这个示例中，在操作3402期间接收到的初始过扫描输入在附加的画布输入被接收到时被维持，并且因此根据初始过扫描输入的位置和类型并且根据附加的画布输入的位置和类型来选择中心定位所选对象GUI交互(4218)。可执行中心定位所选对象⑶I交互(4220和4220a)。
[0187]对中心定位所选对象⑶I交互的执行可使得用户能够通过交互或接触显示区域12中的相应对象来选择被突出显示的(或被视觉上区分的)用户可选择对象中的一个或多个，如例如在图40中显示的。附加地，对中心定位所选对象GUI交互的执行可接着基于并响应于用户不再维持在操作4202期间接收到的初始过扫描输入来对一个或多个所选对象进行重新定向和/或重新调整大小，如例如在图41中显示的。具体地，一个或多个所选对象可被平移，使得一个或多个所选对象可被定位在相机视图的中心并且任选地，还可在大小上被增加以使得一个或多个所选对象占据相机视图的更大部分。在一些实现中，一个或多个所选对象在显示区域12内被变得尽可能的大，同时依然显示全部所选对象的全部部分。在一些实现中，标识一个或多个所选对象的优选轴并且该一个或多个所选对象还被旋转或重新定向，使得它们的优选轴平行于显示区域12的边(例如，水平或垂直边)或显示在显示区域12内的边。
[0188]在图40和41显示的示例中，初始过扫描输入是过扫描区域11的部分Ilc中的三点接触或三指接触输入。启动或触发中心定位所选对象GUI交互的附加的画布输入是在显示区域12中的用户可选择对象01上的单指接触。用户接着从过扫描区域11中移除他的或她的手，从而中断三点接触输入。响应于用户中断三点接触输入，中心定位所选对象GUI交互对所选对象01进行重新定向和重新调整大小，如图41中显示的。
[0189]以上描述的实现中的一些涉及执行所选⑶I交互造成对显示的对象的操纵。在其他实现中，执行所选⑶I交互中的任一或全部可附加地或替换地造成对对象的调用(即，在显示区域中显示先前没有被显示的对象)。
[0190]在一些实现中，提供到过扫描区域11和/或显示区域12的各种接触输入实质上可彼此互换地使用。例如，在过扫描区域11内提供的接触输入可被类似地提供为显示区域12内提供的接触输入。在此，显示设备I可被配置成在在过扫描区域11内提供的特定接触输入类型与在显示区域12内提供的特定接触输入类型之间进行区分。相反，在显示区域12内提供的接触输入可被类似地提供为过扫描区域11内提供的接触输入。此外，在过扫描区域11和/或显示区域12内提供的接触输入的组合可被用于调用对图像对象和/或画布(或相机视图)的操纵。
[0191]在一些实现中，提供到过扫描区域11的接触输入可与第一特定接触输入类型相关联，而提供到显示区域12的接触输入可与不同于第一特定接触输入类型的第二特定接触输入类型相关联。例如，提供到显示区域12的与第一特定接触输入类型相关联的接触输入可不调用一般与提供到过扫描区域11的第一特定接触输入类型相关联的操纵。相反，提供到过扫描区域11的与第二特定接触输入类型相关联的接触输入可不调用一般与提供到显示区域12的第二特定接触输入类型相关联的操纵。
[0192]在一些实现中，显示设备I可被配置成接收更新以将特定接触输入类型与过扫描区域11和/或显示区域12相关联(或重新关联或去关联)。例如，显示设备I可向用户提供选择性地定制并将不同的特定接触输入类型分配到显示设备I的特定功能操作。
[0193]在一些实现中，显示设备I可向用户提供切换到学习模式的能力以便用显示设备I的特定功能操作来定制用户的独特的行为习惯。例如，惯用左手的用户可具有与惯用右手的用户的偏好不同的偏好。类似地，一些用户可偏好将显示I定向到纵向朝向，而其他用户可偏好横向朝向。在任一情况下，显示设备I可以是可配置的以适应用户的偏好。
[0194]在一些实现中，显示设备I可被配置成向用户提供将接触输入的录入限制在过扫描区域11的特定部分内的能力。例如，喜欢将他们的手掌沿着过扫描区域11的底部部分倚靠的用户可“关闭”过扫描区域11的底部部分以防止接收接触输入，从而防止在过扫描区域11的底部部分内的接触输入的无意输入。
[0195]替换地，显示设备I可被配置成拒绝在过扫描区域11的特定部分内的某些接触输入类型。例如，相对大的接触输入(即，具有基本上对应于用户手掌面积处的面积的接触输入)可被选为不合乎需要的接触输入类型。接着，显示设备I可识别这种“大小”的接触输入是不合乎需要的，并且防止调用与不合乎需要的接触输入类型相关联的任何功能。类似地，提供到显示区域12的特定接触输入可被预先确定为不合乎需要的接触输入类型。此夕卜，同时提供到过扫描区域11和显示区域12的特定接触输入的组合可被预先确定为不合乎需要的接触输入类型。在这个实现中，显示设备I可被提供对以下接触输入类型的预先确定的标识:基于被分类为已知且可接受来用于调用显示设备I的功能的接触输入类型被分类为“不清楚”的接触输入类型。
[0196]所描述的系统、方法和技术可以以数字电子电路、计算机硬件、固件、软件或这些元件的组合来实现。实现这些技术的装置可包括适当的输入和输出设备、计算机处理器以及在其上存储计算机程序或其他计算机可读指令以供一个或多个处理设备(例如，可编程处理器)执行的有形计算机可读存储介质。
[0197]实现这些技术的过程可由执行指令的程序以便通过操作输入数据和生成适当的输出来执行所需功能的可编程处理器执行。这些技术可在可编程系统上可执行的一个或多个计算机程序中实现，可编程系统包括被耦合以接收来自数据存储系统的数据和指令并且将数据和指令传送至数据存储系统的至少一个可编程处理器、至少一个输入设备、以及至少一个输出设备。每一计算机程序可用高级过程或面向对象编程语言来实现，或如果需要，每一计算机程序可用汇编语言或机器语言来实现；并且在任何情况下，该语言可以是汇编或解释语言。
[0198]合适的处理器包括，作为示例，通用和专用微处理器两者。一般而言，处理器将接收来自只读存储器或随机存取存储器的指令和数据。适于存储计算机程序指令和数据的存储设备包括所有形式的非易失存储器，包括，作为示例，半导体存储设备，诸如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)和闪存设备；磁盘，诸如内置硬盘或可移动盘；磁光盘；以及紧致盘只读存储器(CDROM)。上述各项中的任一个可由特别设计的专用集成电路(ASIC)补充或被结合在ASIC中。
[0199]多点触摸显示设备包括各种各样的显示设备以及相关联的系统和组件。一些多点触摸显示设备要求与多点触摸显示设备的表面的物理接触来接收输入。例如，这样的多点触摸显示设备可通过检测由手指、指示笔、一些其他机械的、机电的或磁性的输入机制和/或同时多个这样的输入机制的任意组合作出的与多点触摸显示设备的表面的接触来接收输入。此外，一些这样的多点触摸显示设备可被配置使得接收输入的表面可看上去与多点触摸显示设备在其上显示对象的表面为同一表面(无论接收输入的表面与多点触摸显示设备在其上显示对象的表面是否实际上为同一表面)。替换地，其他这样的多点触摸显示设备可在明显地远离且不同于多点触摸显示设备在其上显示对象的表面的表面上接收输入。这样的多点触摸显示系统的一个示例是向远离且不同的显示提供输入的启用多点输入的独立平板。
[0200]其他多点触摸显示设备不要求与多点触摸显示设备的表面的物理接触来接收输入。例如，这样的多点触摸显示设备可通过检测在多点触摸显示设备的表面的附近存在手指、指示笔、一些其他机械的、机电的或磁性的输入机制和/或多个这样的输入机制的任意组合来接收输入，即使这样的输入机制并没有与多点触摸显示设备的表面有物理接触。
[0201]此外，在此公开的各种不同的转换和注释可由被配置成同时接收多个输入的任意其他类型的多点计算系统来实现，包括例如被配置成接收来自多个定点设备(例如，多个计算机鼠标)的同时输入和/或来自一个或多个定点设备和另一输入设备(例如，键盘)的同时输入的系统。此外，在此公开的各种不同的转换和注释中的一些不限于在多点触摸设备上的实现并由此可被实现在单点设备上。
[0202]可作出各种修改。例如，如果公开的技术的步骤以不同的次序来执行，依然可达成有用的结果。此外，可通过按不同的方式来组合各种公开的技术的各个步骤或组件和/或如果公开的系统的组件可案不同的方式来组合和/或被其他组件替换或补充来达成有用的结果。
【权利要求】
1.一种显示设备，包括: 显示面板，所述显示面板包括显示区域和位于邻近所述显示区域的过扫描区域，其中界面边界位于所述显示区域和所述过扫描区域之间，所述显示区域被配置成显示一个或多个图像对象并且所述过扫描区域被配置成防止在所述过扫描区域内显示图像； 覆在所述显示区域和所述过扫描区域的触摸屏面板，所述触摸屏面板被配置成检测由一个或多个输入机制对所述触摸屏面板上的点作出的交互并生成指示所检测到的交互的交互数据；以及 计算机处理器，被配置成: 访问第一交互数据； 确定所述第一交互数据反映由所述一个或多个输入机制在第一时间作出的与所述触摸屏面板的对应地与所述过扫描区域重叠的至少一个部分的交互； 基于所述第一交互数据来标识多个交互输入类型中的第一特定交互输入类型； 确定所标识的第一特定交互输入类型是否与调用或改变所述显示区域中的所述一个或多个图像对象的显示相关联；以及 基于确定所标识的第一特定交互输入类型与调用或改变所述显示区域中的所述一个或多个图像对象的显示相关联，指示所述显示面板调用所述显示区域中的所述一个或多个图像对象的显示或改变所述显示区域中所述一个或多个图像对象的显示。
2.如权利要求1所述的显示设备，其特征在于，由一个或多个输入机制作出的交互包括由所述一个或多个输入机制悬停在所述触摸屏面板上的所述点上方，而不作出与所述触摸屏面板上的所述点的物理接触。
3.如权利要求1所述的显示设备，其特征在于，所述处理器被配置成基于所标识的第一特定交互输入类型来指示所述显示面板调用所述显示区域中的所述一个或多个图像对象的显示。
4.如权利要求3所述的显示设备，其特征在于，所述一个或多个图像对象包括文本文档、基本上静止的图像、基本上移动的图像、地图、出版物、视频记录、基本上实况的视频信号、可视化的语音记录、基本上实况的可视化的语音信号、因特网网页以及因特网网站。
5.如权利要求1所述的显示设备，其特征在于，所述处理器被配置成基于所标识的第一特定交互输入类型来指示所述显示面板改变所述显示区域中的所述一个或多个图像对象的显示。
6.如权利要求1所述的显示设备，其特征在于，所述第一特定交互输入类型包括基本上持续的输入接触，所述基本上持续的输入接触通过所述触摸屏面板的与所述过扫描区域重叠的第一点并继续到所述触摸屏面板的与所述过扫描区域重叠的第二点，所述第一点对应于第一水平坐标和第一垂直坐标并且所述第二点对应于第二水平坐标和第二垂直坐标，以及 其中所述第一和所述第二水平坐标彼此不同并且所述第一和所述第二垂直坐标彼此不同。
7.如权利要求1所述的显示设备，其特征在于，所述处理器还被配置成: 访问第二交互数据， 确定所述第二交互数据反映由所述一个或多个输入机制在所述第一时间之后的第二时间作出的与所述触摸屏面板的对应地与所述过扫描区域重叠的所述至少一个部分的交互； 基于所述第二交互数据来标识所述多个交互输入类型中的第二特定交互输入类型，所标识的第二特定交互类型不同于所标识的第一特定交互类型； 确定所标识的第二特定交互输入类型是否与调用所述显示区域中的所述一个或多个图像对象的不同显示或启动对所述显示区域中的所述一个或多个图像对象的显示的不同改变相关联；以及 基于确定所标识的第二特定交互输入类型与调用所述显示区域中的所述一个或多个图像对象的不同显示或启动对所述显示区域中的所述一个或多个图像对象的显示的不同改变相关联，指示所述显示面板调用所述显示区域中的所述一个或多个图像对象的不同显示或启动对所述显示区域中所述一个或多个图像对象的显示的不同改变。
8.如权利要求1所述的显示设备，其特征在于， 其中所述触摸屏面板的所述至少一个部分包括对应地与所述过扫描区域重叠的第一部分以及对应地与所述过扫描区域重叠的第二且不同的部分； 其中所述处理器被配置成确定所述第一交互数据反映与所述触摸屏面板的至少一部分的交互包括所述处理器被配置成确定所述第一交互数据反映由所述一个或多个输入机制作出的与所述第一部分的交互， 其中所述处理器被配置成指示所述显示面板调用所述显示区域中的所述一个或多个图像对象的显示或改变所述显示区域中的所述一个或多个图像对象的显示包括所述处理器被配置成基于所标识的第一特定交互输入类型以及所述第一交互数据反映与所述第一部分的交互的确定两者来调用或改变所述显示。
9.一种用于操作显示设备的方法，所述显示设备包括显示面板、触摸屏面板和计算机处理器，所述显示面板包括显示区域和邻近所述显示区域的过扫描区域，其中界面边界置于所述显示区域和所述过扫描区域之间，所述显示区域被配置成显示一个或多个图像对象并且所述过扫描区域被配置成防止在所述过扫描区域内显示图像，覆在所述显示区域和所述过扫描区域的所述触摸屏面板被配置成检测由一个或多个输入机制作出的对所述触摸屏面板上的点的交互并生成指示所检测到的交互的交互数据，所述方法包括: 使用所述计算机处理器来访问第一交互数据； 使用所述计算机处理器来确定所述第一交互数据反映由所述一个或多个输入机制在第一时间作出的与所述触摸屏面板的对应地与所述过扫描区域重叠的至少一个部分的交互； 使用所述计算机处理器基于所述第一交互数据来标识多个交互输入类型中的第一特定交互输入类型； 使用所述计算机处理器来确定所标识的第一特定交互输入类型是否与调用或改变所述显示区域中的所述一个或多个图像对象的显示相关联；以及 使用所述计算机处理器并基于确定所标识的第一特定交互输入类型与调用或改变所述显示区域中的所述一个或多个图像对象的显示相关联，指示所述显示面板调用所述显示区域中的所述一个或多个图像对象的显示或改变所述显示区域中所述一个或多个图像对象的显示。
10.如权利要求9所述的方法，其特征在于，还包括: 使用所述计算机处理器来访问第二交互数据， 使用所述计算机处理器来确定所述第二交互数据反映由所述一个或多个输入机制在所述第一时间之后的第二时间作出的与所述触摸屏面板的对应地与所述过扫描区域重叠的所述至少一个部分的交互， 使用所述计算机处理器基于所述第二交互数据来标识所述多个交互输入类型中的第二特定交互输入类型，所标识的第二特定交互类型不同于所标识的第一特定交互类型；以及 使用所述计算机处理器来基于确定所标识的第二特定交互输入类型与调用或改变所述显示区域中的所述一个或多个图像对象的显示相关联，指示所述显示面板调用所述显示区域中的所述一个或多个图像对象的不同显示或启动对所述显示区域中所述一个或多个图像对象的显示的不同改变。
【文档编号】G06F3/041GK104285195SQ201380024697
【公开日】2015年1月14日 申请日期:2013年5月11日 优先权日:2012年5月11日
【发明者】P·L·戴维森 申请人:感知像素股份有限公司