结合交互式表面来使用物理对象的制作方法

专利名称：结合交互式表面来使用物理对象的制作方法
结合交互式表面来使用物理对象
背景技术：
交互式表面提供用于与计算机实现的应用进行交互的替换机制。典型的交互式表面包括用于在该交互式表面上显示信息的投影机制。交互式表面还包括用于检测用户在与该交互式表面进行交互过程中作出的选择的输入机制。例如，交互式表面可以检测用户何时触摸了该交互式表面的特定部分。通过这样的交互，用户可以操纵交互式表面所显示的数字对象并执行其他操作。交互式表面技术还有很大的改进空间。例如，交互式表面所提供的输入机制有时不方便使用(因为，例如，用户可能难以使用这一输入机制输入信息或操纵数字对象)。输入机制还可提供不令人满意的精度和响应性。此外，交互式表面可能使用户混淆。在多个用户参与同一交互式表面时，这尤其是一个问题。在这一场景中，交互式表面可能因多个数字对象而变得混乱。此外，对于大型交互式表面，用户可能难以操纵他们不可及的一些数字对象。此外，交互式表面可能不能提供适应用户自然地分组进行交互的方式的协作式环境。例如，协作式环境可能不能提供用于在会议参与者之间共享信息的方便机制，交互式表面可能同样不能提供用于协作式地操作共享的信息的合适机制。现有交互式表面技术还可能有另外的缺点。概述在一个说明性实现中，描述了用于允许用户使用物理设备(“设备”)参与交互式表面的交互式管理模块(IMM)。IMM对设备在所选位置处的放置以及在交互式表面上的方向进行检测。作为响应，IMM在交互式表面上显示数字对象以与该设备相关联地使用。该数字对象可被放置于接近该设备；此外，该数字对象可以具有与该设备相同的方向。在一种情况下，该设备是键盘类设备并且该数字对象提供呈现用户使用该键盘类设备输入的信息的虚拟表示的显示界面。根据另一说明性方面，IMM可以与被同时放置于交互式表面上的多个物理输入设备进行交互，从而适应将交互式表面用于协作式环境。根据又一说明性方面，IMM显示将该设备与该数字对象进行关联的虚拟属性。例如，IMM可以在该数字对象和该设备两者周围呈现边界(诸如此类)；各边界可被分配同一颜色以传达该数字对象与该设备之间的联系。作为替换或补充，虚拟属性可以与将该数字对象与该设备连接起来的线相对应。根据又一说明性方面，用户可以移动该设备来接近另一已有显示对象。作为响应， IMM可以自动地将该设备与该另一显示对象进行关联。根据又一说明性方面，用户可以移动另一已有显示对象来接近该设备。作为响应， IMM可以自动地将该已有显示对象与该设备进行关联。根据又一说明性方面，I匪可以检测接近首先提到的设备的第二设备的放置。作为响应，IMM可以将这两个设备与单个数字对象进行关联。在一个特定示例中，第一用户可以使用第一设备来输入第一选择并且第二用户可以使用第二设备来输入第二选择。在将第一和第二设备拿到一起时，IMM可以将在这两个用户标识的选择进行归并，从而创建组合选择。根据又一说明性方面，I匪可以在交互式表面上这样一处位置显示新数字对象 a)在被认为适当的程度上满足至少一个放置约束；以及b)减少该新数字对象与交互式表面上的其他已有对象之间的冲突。根据又一说明性方面，该设备是鼠标类设备。IMM通过确定该鼠标类设备在交互式表面上的绝对位置和该鼠标类设备在交互式表面上的方向来操作。IMM使用这一信息来定义参照系。IMM相对于所定义的参照系来将光标显示在交互式表面上。该参照系可以相对于交互式表面的最接近边(或与交互式表面相关联的其他参考对象)或鼠标类设备自身的方向等来选择。根据又一说明性方面，IMM允许用户激活该鼠标类设备的触摸模式，于是光标模拟手指接触点。根据又一说明性方面，IMM允许用户使用光标接触点和手指接触点的任何组合来修改数字对象。例如，用户可以使用一个或多个光标接触点(例如，由同时放置于交互式表面上的多个输入设备控制)来操纵不可及的数字对象。根据又一说明性方面，IMM可以维护交互式表面(和/或被放置于交互式表面上的各单独的数字对象和/或物理对象)在不同的相应时间点的多个图像表示。用户可以检索这些图像表示以调查针对交互式表面采取的操作的历史。根据又一说明性方面，描述了用于允许用户参与包含物理物品(“物品”)的交互式表面的交互式管理模块(IMM)，该物理物品诸如使信息可视地呈现在它的表面上的有形介质(例如，物理文档)。在一个说明性实现中，IMM通过检测物品在交互式表面上的放置来操作。IMM随后在交互式界面上显示界面对象以与物品相关联地使用。IMM检测用户对该界面对象的副本相关的激活，并且作为响应，生成该物品的数字副本。该副本相关激活可对应于用户通过拉该界面对象来象征性地将数字副本拖离该物品的运动。IMM将该数字副本存放在交互式表面上的用户所标识的位置处。根据又一说明性方面，IMM可以通过拍摄整个交互式表面的图像并随后裁剪整个表面的图像以获得物品的图像来生成数字副本。根据又一说明性方面，IMM可以检测用户对数字副本的特定部分的选择。作为响应，IMM可以突出显示物品的对应部分。同一过程可以反过来执行，例如，在用户选择物品的一部分时，提示IMM突出显示数字副本的对应部分。根据又一说明性方面，IMM可以检测用户何时在数字副本上做了标记。作为响应， IMM可以将对应的数字标记应用于物理物品。同一过程可以反过来执行，例如，当用户在物品上做标记时，提示IMM在数字副本上做对应标记。根据又一说明性方面，IMM可以检测用户将数字副本移动到交互式表面的编辑区域。IMM可以接着检测用户将物理标记应用于编辑区域内的数字副本。作为响应，IMM可以生成该物品的另一数字副本。该另一数字副本包括物理标记的数字表示及其原始内容。提供本概述是为了以简化的形式介绍一些概念，这些概念将在以下详细描述中进一步描述。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。
附图简述

图1示出其中多个用户可以参与交互式表面的说明性交互式表面环境。图2示出可在图1的交互式表面环境中使用的说明性内容投影功能和输入功能。图3示出供在图1的说明性交互式表面环境中使用的交互式表面的说明性自顶向下视图。图4是图3中示出的交互式表面的一部分的更详细的自顶向下视图。图5是示出用于确定光标在交互式表面上的位置的说明性过程的流程图。图6示出用于确定供在图5的过程中对光标进行定位的参照系的第一技术；在此， 该参照系是基于交互式表面的最近边缘的。图7示出用于确定供在图5的过程中对光标进行定位的参照系的第二技术；在此， 该参照系是基于被用来控制光标的鼠标类设备的方向的。图8是示出用于生成被放置于交互式表面上的物品的数字副本的说明性过程的流程图(以及随附示例)。图9是示出用于以数字对象不与交互式表面上的已有对象相冲突的方式来将数字对象放置于交互式表面上的说明性过程的流程图(以及随附示例)。图10是示出用于以触摸模式操作鼠标类设备的说明性过程的流程图；在该模式中，该鼠标类设备所控制的光标模拟放置于交互式表面上的手指接触。图11是示出用于在一设备被放置于交互式表面上时生成新数字对象的说明性过程的流程图(以及随附示例)。图12是示出用于在一设备被放置于接近交互式表面上已有数字对象时使得该已有数字对象与该设备相联系的说明性过程的流程图(以及随附示例)。图13是示出用于在已有数字对象被移动到接近一设备时使得该已有数字对象与该设备相联系的说明性过程的流程图(以及随附示例)。图14是示出用于将单个数字对象与两个设备进行联系的说明性过程的流程图 (以及随附示例)；这一过程还描绘了可如何通过将这两个设备拿到彼此接近来归并由两个相应数字对象(由这两个相应设备控制)所提供的内容。图15是示出用于使用不同的接触点场景来操纵数字对象的说明性过程的流程图 (以及随附示例)。图16是示出用于通过将设备放置于数字对象的顶部，并象征性地使用该设备作为移动该数字对象或对该数字对象执行某一其他动作的手柄，来操纵该数字对象的说明性过程的流程图(以及随附示例)。图17是示出用于基于放置于交互式表面上的物理物品来创建数字副本的说明性过程的流程图(以及随附示例)。图18是示出用于呈现与放置于交互式表面上的物品相关联的菜单对象的说明性过程的流程图(以及随附示例)。图19是示出用于基于对数字对象的一部分的选择来突出显示物品的对应部分 (或反之亦然)的说明性过程的流程图(以及随附示例)。图20是示出用于基于对数字副本所做的标记来在物理物品上创建对应的数字标记的说明性过程的流程图(以及随附示例)。
图21是示出用于将物理标记应用于交互式表面的编辑区域内的物品的数字副本，然后生成物品的包括该标记的数字表示的新数字副本的说明性过程的流程图(以及随附示例)。图22是示出用于生成交互式表面在不同的相应时刻的一系列表示(和/或出现在交互式表面上的任何单独对象的一系列表示)并向用户显示关于该系列的任何信息的说明性过程的流程图。图23示出可被用来实现上述附图中示出的特征的任何方面的说明性处理功能。贯穿本公开和各附图使用相同的附图标记来引用相同的组件和特征。100系列标号指的是最初在图1中所找到的特征，200系列的标号指的是最初在图2中找到的特征，300 系列的标号指的是最初在图3中找到的特征，依此类推。详细描述本发明阐述了允许用户使用放置于交互式表面上的物理对象来参与交互式表面的方法。在一种情况下，物理对象可以对应于键盘类设备、鼠标类设备、或其他类型的输入设备(或不同类型的输入设备的任何组合)。物理对象还对应于使信息呈现在它们相应表面上的物理文档(诸如此类)。该方法还提供用于管理放置于交互式表面上的物理对象与相应数字对象之间的关联的各种机制。根据一个场景，使用物理对象可以便于用户参与交互式表面。例如，键盘类设备和鼠标类设备展示出大多数用户很容易熟悉的经受了时间考验的可靠行为，该方法可以在交互式表面环境的上下文中充分利用这些有益特征。此外，该方法还包括用于消除放置于交互式表面上的物理对象与同该物理对象相关联的数字对象之间的对应关系的歧义的有用技术。这一方面可以在多个用户参与同一交互式表面时帮助减少混淆。此外，该方法提供允许用户访问并操纵交互式表面上的不可及的数字对象的工具。另外，该方法提供用于允许用户方便地将信息散布给协作式环境中的其他用户的工具，该方法随后允许用户以高效且用户友好的方式协作性地与共享信息进行交互。更一般而言，此处公开的概念可以解决上述挑战或问题中的一个或多个，但不限于解决这些挑战或问题中的全部或任一个。本发明是如下组织的。章节A描述可被用来使用物理对象参与交互式表面的说明性系统和工具。章节B描述章节A中阐述的系统和工具的说明性应用。章节C描述可用于实现在章节A和B中描述的特征的任何方面的说明性处理功能。作为预备事项，某些附图在一个或多个组件被不同地称为功能、模块、特征、元素等上下文中描述概念。附图中示出的各种组件能够以任何方式实现，例如通过软件、硬件、 固件、手动处理操作等或这些实现的任何组合。在一种情况下，在附图中将各组件示为分开的不同单元可以反映对对应的不同组件的使用。另选地或另外地，附图中所示的任何单个组件可由多个物理组件来实现。另选地或另外地，附图中的任何两个或更多分开组件的描绘可以反映单个物理组件所执行的不同功能。进而要讨论的，图23提供了关于附图中示出的功能的一个说明性实现的附加细节。其他附图以流程图形式描述概念。以此形式，某些操作被描述为以特定次序执行的不同的组成框。这些实现是说明性而非限制性的。此处描述的某些框可被分组在一起并在单个操作中执行，某些框可被分成多个组成框，并且某些框可以按与此处所示的不同的次序执行(或可并行执行)。流程图中所示的框可以通过软件、固件、硬件、手动处理、这些实现的任何组合等来实现。关于术语，短语“配置成”涵盖可以构造任何种类的功能来执行所标识的操作的任何方式。功能可被配置成使用例如硬件、软件、固件等和/或它们的任何组合来执行操作。术语“逻辑”涵盖用于执行任务的任何功能。例如，流程图中所示的每一操作对应于用于执行该操作的逻辑。在一种情况下，逻辑可以对应于计算机可读指令。在另一情况下，逻辑可以对应于分立逻辑组件或计算机可读指令和分立逻辑组件的组合等。A.说明性系统和工具Α. 1.说明性交互式表面环境的概览(图1-4)图1示出其中多个用户102可以参与交互式表面104的说明性交互式表面环境 100。在本文中最经常描绘的情况下，交互式表面104对应于任何大小的平坦的水平桌面。 然而，不对什么可构成交互式表面104加以限制。在其他情况下，交互式表面104可以垂直地安装(例如，安装在墙上)或以任何其他非水平方向来安装。作为替换或补充，交互式表面104可以具有弯曲的表面或任何其他种类的非平坦轮廓。广义而言，可以使用任何种类的内容投影功能106来将信息投影到交互式表面 104上。在一种情况下，内容投影功能106可对应于将信息投影到交互式表面104上的一个或多个视频投影仪。这样的内容投影功能106可部署在交互式表面104上方、交互式表面 104下方、或相对于交互式表面104的任何其他方向(或各种方向的任何组合)。作为替换或补充，内容投影功能106可以与交互式表面本身104集成在一起。可以部分地基于与交互式表面104的每一应用相关联的约束来选择内容投影功能106的放置。例如，在某些情况下，内容投影功能106位于数字表面104上方是适当的，因为放于交互式表面104上的物理对象可能遮挡数字内容(例如，在从下方进行投影的情况下)。在用户参与交互式表面104时，输入功能108用于接收来自用户的输入。同样，可以使用各种类型的输入功能和输入功能的组合。在一种情况下，输入功能108可对应于对用户对交互式表面104的参与进行感测的一个或多个远程传感器。例如，输入功能108可包括可检测用户何时触摸或以其他方式移近交互式表面104的红外发射器一检测器装置。 输入功能108还可提供生成交互式表面104的高分辨率图像以用作输入的成像功能。这样的远程传感类输入功能108可部署在交互式表面104上方、交互式表面104下方、或相对于交互式表面104的任何其他方向(或各种方向的任何组合)。作为替换或补充，输入功能 108可以与交互式表面本身104集成在一起。同样，可以部分地基于与交互式表面104的每一应用相关联的约束来选择输入功能108的放置。此外，如下文更详细地描述的，一个或多个物理对象110可被放置于交互式表面104上。这些物理对象110的子集可对应于输入类设备。在用户与交互式表面104进行交互时，这些输入设备可以接收来自用户的输入，并且因而形成构成输入输入功能108的一套技术的一部分。图2将提供关于内容投影功能106 和输入功能108的一个说明性实现的附加细节。交互式管理模块(IMM) 112对应于用于管理到交互式表面104上的内容投影并处理用户输入的任何功能。更具体地，IMM 112可对应于用于执行将在下文描述的各种过程的技术，如图5-22所示。IMM 112与一个或多个应用程序提供模块114进行交互(为简明起见，在下文用复数来引用)。诸应用程序模块114提供用户可以参与的任何类型的功能，如上述功能、文档处理功能、通信功能(例如，电子邮件功能、即时消息收发功能等)，等等。诸应用程序模块 114可对应于本地应用程序资源、远程(网络可访问)应用程序资源、或其某一组合。对什么可构成如此处所使用的应用程序模块这一术语不加以限制。此外，尽管本文开发的许多示例将涉及多个用户102以协作式方式与一共同的应用程序模块进行交互的用途，多个用户可以使用交互式表面104来同时与不同的应用程序模块114进行交互。此外，单个用户可以参与交互式表面104。返回交互式表面104本身，如上所述，用户可以将物理对象的任何组合放置于其表面上。术语“物理对象”涵盖可在物理上由用户处理的任何类型的有形对象。作为对比， “数字对象”涵盖由内容投影功能106电子地投影到交互式表面104的表面上的任何类型的对象。一般性的术语“对象”涵盖任何类的对象，包括物理对象和数字对象。本文描述的物理对象110涵盖两种类型的对象设备和物品。这些术语是这一解释中的方便标记，并且要被宽泛地解释。设备涵盖在与交互式表面104进行交互时担当功能角色的任何机制。例如，一种类型的设备对应于传统上被用来通过手动地按下各键来输入文本的键盘类设备。另一类型的设备对应于传统上被用来在图形用户界面(GUI)设置中控制光标的移动并执行其他导航功能的鼠标类设备。这些仅是两个示例。可以使用其他输入设备来与交互式表面104进行交互，如游戏控制台类设备、操纵杆类设备等。术语物理物品涵盖可由输入功能108出于任何目的来成像的任何物理对象。在本文最经常描绘的情况下，术语物理物品对应于在视觉上将信息呈现在它的表面上的有形介质。例如，在一种具体情况下，物理物品可对应于其表面上具有文本和/或图形和/或任何其他信息的文档。例如，物理物品可对应于纸质文档等。在另一情况下，物理物品可对应于将信息投影在其上的屏幕等。在其他情况下，物品可对应于任何其他物理对象，如三维模型 (例如，房屋模型、汽车模型、玩偶等)、人体解剖的一部分(例如，手)，等等。对什么可构成物品不加以限制。当然，物品可对应于上述设备。术语“物品”将替换“物理物品”来使用， 除非在以下情况下强调物理物品与该物理物品的数字副本之间的区别是适当的。图2示出可在图1的交互式表面环境中100使用的内容投影功能106和输入功能108的一个代表性和非限制性实现。在这一说明性示例中，交互式表面104对应于平坦的水平表面(例如，桌面所提供的)。其表面上的物理对象110可对应于一个或多个设备 202(例如，一个或多个键盘类设备、一个或多个鼠标类设备等)和/或要成像的一个或多个物品204(例如，一个或多个文档等)。图1的内容投影功能106可对应于一个或多个内容投影模块206(为简明起见，在下文用复数来引用)。例如，诸内容投影模块206中的每一个可以将图像内容的Uxv面板投影到交互式表面104上。总之，诸内容投影模块206可提供这些UXV面板的跨交互式表面104的整个表面的平铺马赛克。在一个实现中，诸内容投影模块206可以部署在交互式表面104上方，从而将它们的内容向下投影到交互式表面104上。图1的输入功能108可对应于用于接收与用户对交互式表面104的参与有关的信息的一套不同的机制。一种这样的机制是一个或多个高分辨率成像模块208(为简明起见， 在下文用复数引用)。诸高分辨率成像模块208可对应于用于形成交互式表面104的表面的高分辨率图像的一个或多个高分辨率摄像机。章节B将提供其中IMM 112可以使用诸高分辨率成像模块208来生成交互式表面104的图像的情形的示例。在一个实现中，诸高分辨率成像模块208可以部署在交互式表面104上方。输入功能108还可包括一个或多个位置检测模块210 (为简明起见，在下文用复数引用)。在一个说明性示例中，诸位置检测模块210可对应于一个或多个红外(IR)发射器模块212以及一个或多个顶检测器模块214。诸顶发射器模块212将红外频谱中的电磁信号投影到交互式表面104上。诸顶检测器模块214接收交互式表面104和放置于其表面上(或其附近)的物理对象所反射的这些IR信号。通过顶信号的反射率的变化，诸位置检测模块210可以检测新物理对象何时被放置于交互式表面104上或交互式表面104上的已有物理对象何时被移动(或移除)。在一个实现中，诸位置检测模块210可以部署在交互式表面104上方。在该示例中，交互式表面104被构造成具有足够的不透明度以“接收”诸内容投影模块206所投影的图像。另外， 交互式表面104具有足够的透明度使得从交互式表面104下方投影的顶信号可由诸位置检测模块210结合IMM112用来检测放置于交互式表面104上的对象的存在。可被用来实现诸位置检测模块210的一种红外检测系统在美国专利第7，204，428号中公开，发明人是 Andrew D. Wilson。设备202也是输入功能108套件的组件。在一种情况下，设备202可以提供对应于键按下数据、鼠标点击数据、鼠标定位数据等的输入信息。设备202可以用任何方式将这些输入信息传递给IMM 112，如通过使用无线通信。尽管未在图2中示出，输入功能108套件还可包括由诸内容投影模块206投影在交互式表面104上的软键输入机制。软键输入机制提供指示用户何时触摸或以其他方式参与软键输入机制的触摸选择数据。此外，IMM 112可选地使用边缘检测功能和/或形状检测功能。这一功能分析交互式表面104的图像来标识与各对象相关联的外形(轮廓)。IMM 112可以应用这一分析来形成对放置于交互式表面104上的对象的位置和对象的更准确估计。IMM 112还可使用这一分析来帮助标识对象(例如，将键盘类设备与鼠标类设备进行区分，将物理对象与手指接触点进行区分，等等)。图3示出供在图1的说明性交互式表面环境100中使用的交互式表面104的说明性自顶向下视图。在该示例中，交互式表面104对应于尺寸为MxN的矩形桌面。但是，如上所述，交互式表面104可以具有任何形状、表面轮廓、方向、以及大小。在图3的具体情况下，交互式表面104足够大以主存协作式环境，其中多个用户 (302、304、306、308、310)可同时参与交互式表面104。如上所述，诸用户可以操作单个应用程序模块所提供的同一应用程序，或诸用户可以操作不同的相应应用程序模块114提供的单独的应用程序。注意，诸用户使用多个物理对象来参与交互式表面104。第一类物理对象对应于输入设备。这样的设备包括键盘类设备和鼠标类设备(但，如上所述，诸用户可以使用任何种类的输入设备)。例如，用户302正在使用两个鼠标类输入设备(312、314)。用户304正在使用键盘类设备316与鼠标类设备318。类似地，用户306正在使用键盘类设备320与鼠标类设备322。用户308不操作任何物理输入设备，但他或她仍然可以使用手指接触(以下文描述的方式)来操纵数字对象。用户310使用物理加标记工具324(例如，笔，等等)来创建标记。第二类物理对象包括物品。例如，用户310正在与物理文档3 进行交互。交互式表面104还提供被诸内容投影模块206投影到交互式表面104的表面上的
10数字对象的集合。例如，用户302正在与物理物品326的数字副本3 进行交互。用户还可与由相应鼠标类设备(312、314)控制的光标(330、33幻进行交互。数字副本3 和光标 (330,332)是数字对象，因为它们不是物理对象，而是由内容投影模块206投影到交互式表面104上的图像。用户304正在与显示界面334进行交互，显示界面334用于显示由用户304使用键盘类设备316输入的信息。用户304还与可由用户304通过用手指或指示笔或者使用光标模拟的手指接触等按下其(一个或多个)键来激活的可选“软键”输入机制336进行交互。用户还可以与由鼠标类设备318控制的光标338进行交互。同样，所有这些对象构成被投影到交互式表面104上的数字对象。以类似方式，用户306正在与接收由用户使用键盘类设备320输入的信息的显示界面340进行交互。用户306还与由鼠标类设备322控制的光标342进行交互。此外，用户306可以与同用户304共享的联合显示界面344进行交互。即，联合显示界面344可以显示用户304和用户306两者所输入的内容的联合。像用户302 —样，用户308正在与物理物品3 的数字副本346进行交互。用户310当前不与任何数字对象进行交互。图4示出用户304可以与交互式表面104进行交互的方式的更详细的描绘。重申，用户304正在使用键盘类设备316和鼠标类设备318来参与交互式表面104。键盘类设备316是用于提供字母数字文本输入的一种类型的设备的示例。交互式表面104提供用户 304所使用的三个数字对象，即显示界面334、辅助软键输入机制336、以及光标338。在所示场景中，用户304正在使用键盘类设备316与文字处理程序进行交互。用户 304正在使用键盘类设备316键入的消息被显示在界面显示334中。用户304可选地使用软键输入机制336来提供与手头的任务有关系的补充指令。例如，文字处理程序(结合IMM 112)可以提供允许用户304对他或她正在键入的消息执行各动作的软键输入机制336。例如，用户304可以使用软键机制336来打印该消息、将该消息发送给另一用户，等等。在另一场景(未示出)中，IMM 112可以使用软键输入机制336来建立用于解释用户通过键盘类设备316(或某一其他输入设备)输入的信息的上下文。例如，如果用户304 正在执行搜索，则可使用软键输入机制336来标识用户304的搜索选择要被应用到的那个数据存储。例如，软键输入机制336可被用来指定该搜索选择是否要被指向本地数据库、组织数据库、或远程公共数据库等。如从图3中示出的说明性场景可理解，在多用户设置中，界面表面104可以容易地因各物理对象和各数字对象而变得相对混乱。哪一用户控制哪一(些)对象因而可变得混淆。为了解决这一潜在挑战，IMM 122提供了用于帮助消除对象的“所有权”歧义的一套机制。根据一种技术，IMM 112在与数字对象相关联的设备附近显示这些数字对象。例如，如图4所示，IMM 112可以将显示界面334呈现在键盘类设备316正上方(但在其他实现中，IMM 112可以在相对于键盘类设备316的其他位置处呈现显示界面334)。此外，IMM 112可以呈现数字对象，使这些数字对象具有一般与同这些数字对象相关联的设备的方向相匹配的方向。例如，显示界面334的方向与键盘类设备316的方向相匹配。如果用户改变键盘类设备316的位置和/或方向，则显示界面334的位置和/或方向将以对应的方式来改变。还应注意，光标338的方向与鼠标类设备318的方向相匹配。图4还示出可以用视觉属性对数字对象加上标签，这帮助用户304跟踪他或她“拥有”或控制的数字对象。例如，I匪112可以显示显示界面334周围的边界402以及光标 338周围的边界。IMM 112还可选地显示键盘类设备316周围的边界406和鼠标类设备318 周围的边界408。边界(402、404、406、408)可以用与分配给各用户的相应颜色不同的单种颜色来显示，从而帮助用户304跟踪属于他或她的一组数字对象和设备。使用光标边界是为了说明一个实现。作为替换或补充，对象的整个表面可被染成指示性颜色。作为替换或补充，可以用区别信息等(如区别文本信息、区别符号信息，等)来给对象加标签。作为替换或补充，可在物理设备和它们相关联的数字对象之间绘出连接线。例如，如图4所示，IMM 112可以对连接鼠标类设备318与相关联的光标338的线410进行投影。IMM 112可以用不同的方式在设备与数字对象之间建立关联。根据一种代表性机制，每一物理输入设备在其下侧(例如，接触交互式表面104的一侧)可以包括标识标签。 例如，该标签可对应于条形码或其他种类的机器可读信息。诸位置检测模块210可以读取这一标签以确定物理设备的身份。这一信息进而允许IMM 112将物理设备与同该设备相关联的数字对象相关联。关于用于从放置于交互式表面104上的设备读取标识信息的技术的附加信息可以在美国专利第7，204，428号中找到，发明人是Andrew D. Wi 1 son。返回图3，这一附图涵盖在以下章节B中详细描述的许多不同的使用场景。在深入研究这些场景之前，这一章节的剩余部分提供关于可允许IMM 112执行将在章节B中描述的功能的基本工具和机制的附加信息。A. 2.说明性光标定位机制(图5-7)图5是示出用于确定光标在交互式表面104上的位置的说明性过程500的流程图。在框502，MM 112确定鼠标类设备(或可被用来控制光标的其他类型的输入设备)的方向和绝对位置。这一信息可以从上述输入机制中的任一种获得，如诸位置检测模块 210。在框504，MM 112确定用于定位光标的参照系。更具体地，典型的鼠标类设备提供将光标相对于参照系进行定位的位置偏移信息。框504确定这一参照系。图6和7将提供用于确定该参照系的两种说明性技术。在框508，IMM 112将光标放置于基于在框506确定的参照系的位置处。光标的放置因而反映了(例如，由诸位置检测模块210提供的)全局(绝对)测量和(例如，由鼠标类设备自己提供的)相对偏移测量两者的贡献。相对偏移测量一般比全局测量更精确和敏感。光标的放置还可基于用户可定义的控制显示(⑶)比率。⑶比率是定义光标将响应于对应鼠标类设备的移动而在交互式表面104上前进多远的比例因子。在一种说明性技术中，IMM 112可以将辅助软键类输入机制显示在接近鼠标类输入设备(未示出)处，允许用户调整CD比率。例如，辅助输入机制可包括允许用户调整CD比率的滑动条机制或其他可调节控制机制。图6示出用于确定在图5的过程中用来定位光标的参照系的第一技术。在该技术中，IMM 112确定鼠标类设备602的绝对位置并随后确定交互式表面104最靠近鼠标类设
12备602的位置的边缘604。IMM 112随后定义基于与最接近边缘606相关联的轴的参照系 606。作为替换或补充，交互式表面104的任何其他固定特征可被用作一个或多个参照对象，如交互式表面104上的一个或多个参照线(未示出)图7示出用于确定在图5的过程中用来定位光标的参照系的第二技术。在该技术中，IMM 112确定鼠标类设备602的绝对位置和方向。IMM 112随后定义对应于所确定的鼠标类设备自身的方向的参照系702。在这种情况下，随着用户在交互式表面104上移动鼠标类设备602，参照系动态地改变。在图6和7中描述的两种技术是代表性的，IMM 112可以应用又一些附加技术或不同技术的组合来定位光标。在以上示例中，过程500的目标是确定参照系，其中相对于该参照系可以定义光标的相对放置。IMM 112还可以应用在过程500中收集的信息来提供的鼠标类设备本身的绝对位置的测量。例如，IMM 112可以使用诸位置检测模块210或其他全局(S卩，表面范围) 位置感测机制来确定鼠标类设备602的绝对位置。在鼠标类设备602移动时，IMM 112随后可以使用鼠标类设备602提供的相对位置测量来调整以上所确定的绝对位置。只使用位置检测模块210来确定鼠标类设备602的绝对位置是可能的，但以上述方式使用测量的组合来确定绝对位置是有益的；这是因为，例如，鼠标类设备所提供的相对位置测量可能比诸位置检测模块210所做出的全局测量更敏感(并且可能具有更高分辨率)。类似好处也适用于图5中示出的场景，其中目标是确定鼠标类设备602相对于参照系的相对偏移。只使用全局测量来确定鼠标类设备602的移动是可能的，但使用全局测量和局部测量的组合是合乎需要的；这是因为鼠标类设备602所提供的局部测量可能比全局测量更敏感并且具有更高分辨率。A. 3.说明性图像获取机制(图8)图8是示出用于形成放置于交互式表面104上的物品或其他种类的对象的数字副本的说明性过程的流程图(以及随附示例)。图8将在具体场景(在流程图操作的右侧示出)的上下文中解释，但可以明白，这一过程800通用于任何图像获取场景。在框802，MM 112检测用于生成物品的数字副本的指令。章节B将描述可以执行框802的代表性场合。例如，在用户激活与该物品相关联的界面对象时(例如，通过对界面对象执行拖曳运动)，IMM 112可以执行框802。在框804，IMM 112接收整个交互式表面104的图像。图8将这一图像描绘成说明性“整个表面图像”806。整个表面图像806包括作为其一个组成部分的目标图像808。目标图像808对应于放置于交互式表面104上的物品。在框810，MM 112裁剪整个表面图像806，以使得除目标图像808之外的所有图像内容都被有效地丢弃。目标图像808提供随后可被以将在章节B中描述的方式投影回交互式表面104的物品的数字副本。IMM 112可以使用不同的技术来裁剪整个表面图像806。 在一种技术中，IMM 112可以使用边缘检测来确定目标图像808的边界IMM 112随后可以使用裁剪来移除这些边界之外的所有图像内容。A. 4.说明性数字对象放置机制(图9)图9是示出用于以数字对象不与交互式表面上的已有对象相冲突的方式来将数字对象放置于交互式表面104上的说明性过程900的流程图(以及随附示例)。在图9的仅是代表性的示例中，IMM 112可以寻求将LxM数字对象902放置于交互式表面104上，使得数字对象902不干扰已有对象集合904。例如，假定用户刚将新键盘设备906放置于交互式表面104上。IMM 112通过将数字对象902放置于交互式表面104上来进行响应。(在图9的具体场景中，显示对象902担当键盘类设备906的显示界面。)图9将在上述场景 (涉及数字对象90 的具体上下文中解释，但将明白的是，这一过程900通用于任何对象放置场景。在框908，IMM 112确定它希望放置在交互式表面104上的数字对象902的特性。 数字对象902的特性可对应于数字对象902的尺寸，或更具体而言，对应于数字对象902的周界的形状。在图9的代表性示例中，IMM 112确定对象902具有LxM的尺寸。在框910，IMM 112标识至少一个放置约束。每一放置约束与作为在放置数字对象902时要满足的约束的规则相对应。例如，可应用于上述场景的一个规则是数字对象 902要放置于键盘设备906上方(相对于用户的位置)，并且优选地尽可能靠近键盘类设备 906 (或在键盘类设备906上方几英寸，等等，这取决于环境专用的放置因子)。在一个实现中，这些约束中的一个或多个被定义为数字对象902的放置需要满足的强制约束。作为替换或补充，这些约束中的一个或多个可被定义为数字对象902的放置在尽可能的程度上满足的偏好类约束。在又一实现中，IMM 112可以准许用户将每一约束附属上权重，权重确定数字对象902的放置的约束的相对重要性。IMM 112可以使用这些权重来确定放置数字对象902时的各考虑因素的优先次序，尤其是在所有约束不能被完全满足的情况下。在框912，MM 112生成交互式表面104的整个表面的掩膜(mask)(例如，掩膜 914)。IMM 112可以用任何方式或各方式的组合来形成掩膜914，例如通过诸使用位置检测模块210来确定物理对象在界面表面104上的放置。如图9所示，掩膜914揭示预先存在的对象904在交互式表面104上的存在。这些对象904可对应于预先存在的物理对象和/或数字对象(注意，IMM 112具有关于数字对象的放置的先验知识，因为IMM 112是放置这些对象的代理)。作为替换或补充，框912可以使用高分辨率成像模块208来形成掩膜914。在框916，MM 112基于上述所有信息来确定数字对象902的放置，S卩a)(在框 908确定的)要放置的数字对象902的特性；b)(在框910确定的)(诸)放置约束；以及 c)(在框912确定的)已有对象904在交互式表面104上的位置。IMM 112可以使用任何算法来确定对象902的放置。在一个代表性情况下，IMM 112使用积分图像技术来确定数字对象902在交互式表面104上的适当放置。IMM 112通过首先用已知方式形成积分图像表来应用积分图像技术。积分图像表可被用来以高效的方式调查多个放置可能性。图9示出LxM显示对象902放置于交互式表面104上，使得它不与已有对象904 中的任一个相重叠。此外，这一放置至少部分地满足以上标识的(诸)放置约束，例如因为显示对象902被放置得相对靠近用户的键盘类设备906。然而，(从诸放置约束的观点看) 对象902的放置可能因邻近对象918的约束性存在而不是最优的。A. 5.用于使用光标作为接触点的说明性机制(图10)接触点对应于用户可以参与交互式表面104以操纵呈现在交互式表面104上的数字对象或执行某一其他动作的点。在一种情况下，用户可以通过将手指(或其他身体部分， 如整个手掌，等等)或物理定点工具(如指示笔等)放置于交互式表面104上或其附近来参与交互式表面104。这一类型的接触点被广泛地称为手指接触点。在另一情况下，用户可以使用由鼠标类输入设备控制的光标来作为模拟的手指接触点。即，光标可为将手指放在光标所定义的位置处的用户作为代理。与光标相关联的这一类型的接触点被称为光标接触点。在此，术语光标涵盖可由用户操纵的任何数字对象；在一种非限制性情况下，光标对应于箭头形状的数字对象。图10是示出用于以触摸模式来操作鼠标类设备的说明性过程1000的流程图。在触摸模式中，由鼠标类设备控制的光标以上述方式模拟放置于交互式表面上的手指接触。 当不以触摸模式运作时，鼠标类设备通过移动光标的位置而不执行任何补充的图像操纵功能来以传统方式运作。在框1002，IMM 112确定用户是否激活了鼠标类设备的触摸模式。在一种仅是说明的情况下，用户可以通过点击具体分配的鼠标按钮或其他控件来激活这一模式。只要用户保持按下这一按钮，设备就以触摸模式操作。在用户释放该按钮时，触摸模式被解除激活。考虑以下示例用户按下鼠标类设备的按钮，并随后在该按钮保持按下的情况下将光标从第一位置移动到第二位置。在第二位置，用户释放该按钮。这一操作在功能上等效于用户在交互式表面104上按下他或她的手指并将其从第一位置拖到第二位置。在框1004，如果触摸模式被激活，则I匪112以这一模式来操作鼠标类设备。在框1006，用户可以在鼠标类设备的触摸模式内执行任何类型的图像操纵操作。 例如，用户可以移动数字对象、旋转数字对象、改变数字对象的大小，等等。章节B提供在鼠标类设备以触摸模式操作时可以采取的各类动作的示例。在框1008，IMM 112检测用户已经解除触摸模式激活。在框1010，鼠标类设备转换成传统模式，其中它被用来以传统操作方式控制光标的移动。B.系统和工具的说明性应用图11-22提供描述用户如何使用在章节A中描述的系统和工具来参与交互式表面 104的若干场景。这些场景是说明性的，上述系统和工具可被用来执行在该章节中未具体枚举的许多其他操作。B. 1.用于将数字对象与物理对象进行联系的机制(图11-14)图11-14示出指示MM 112可如何管理物理设备与数字对象之间的联系的各场景。在这一小节中阐述的各场景中，数字对象对应于显示界面。这些显示界面被用来呈现用户使用诸如键盘类设备等物理设备输入的信息。然而，在此描述的原理适用于任何类型的数字对象和任何类型的物理设备。从图11开始，这一附图是示出用于在一设备放置于交互式表面104上时生成新数字对象的说明性过程1100的流程图(以及随附示例)。即，在这种情况下，用户将设备102 放置于交互式表面104上；过程1100的目标是将数字对象1104显示在交互式表面104上。 在这一说明性场景中，数字对象1104提供与设备1102相关联地使用的显示界面(如上所述)O在框1106，MM 112检测用户已将设备1102放置于交互式表面104上。I匪112 可以基于诸位置检测模块210和/或上述任何其他输入机制所提供的输入信息来作出这一判定。IMM 112可以通过注意到设备1102在其下侧包括指示性代码来区分设备102与物理物品(如物理文档)。作为补充或替换，IMM112可以基于轮廓分析来区分1102与物理物品
15(或手指接触点等)。在框1108，IMM 112将数字对象1104显示在表面上设备1102的正上方。更具体地，以上(结合图9)描述的放置过程900可被用来确定放置数字对象1104的位置(以及方向)。在一种情况下，IMM 112可以在它检测到用户将设备1102放置到交互式表面104 上之后立即显示数字对象1104。在另一情况下，IMM 112可以响应于检测到用户开始与设备1102进行交互来显示数字对象1104 ；例如，IMM 112可以在用户使用设备1102输入第一击键时显示数字对象1104。在确定呈现数字对象1104的定时的时候，还有其他因素能起作用。在一种情况下，IMM 112能在它检测到在指定的一段时间期间相对于设备1102不活动时移除(例如，关闭)数字对象1104。在框1110，MM 112检测用户已将设备1102从交互式表面104移除。在框1112，响应于移除了设备1102，MM 112将数字对象1104从交互式表面104移除。图12是示出用于在一设备放置于交互式表面104上接近已有数字对象时使得该已有数字对象与该设备相联系的说明性过程1200的流程图(以及随附示例)。例如，假定交互式表面104已经包括数字对象1202。在一个特定说明性场景中，这一数字对象1202由一个或多个用户使用来与应用程序模块进行交互。新用户可能希望加入其他人并且也经由数字对象1202与应用程序模块进行交互。在框1204，IMM 112检测新用户将设备1206 (或其他类型的输入设备)放置在交互式表面104上接近已有数字对象1202。在框1208，MM 112检测是否满足一个或多个设备一对象联系考虑因素。这些条件确定新设备1206是否被准许形成与数字对象1202的关联。例如，一个考虑因素指示新用户是否将设备1206放置得距数字对象1202足够近以便保证设备1206与数字对象1202的自动关联。另一考虑因素指示用户是否被准许加入该任务并为该任务做贡献。这一考虑因素进而可取决于任何数量的环境专用因素，如所执行的任务的性质、用户的身份，等等。不对什么可构成设备一对象联系考虑因素加以限制。在框1210，如果满足在框1208标识的(诸)考虑因素，则IMM 112形成设备1206 与数字对象1202之间的关联。图12示出显示界面1202可以在带有视觉属性1212(如有色边界)的情况下呈现，以指示数字对象1202现在与设备1206相关联。I匪112可以使用其他技术来表示设备一对象联系，即作为视觉属性1212的替换或补充。例如，IMM 112可以对把设备1206连接到数字对象1202的线(未示出)进行投影。(同一类型的设备一到一对象视觉相关机制可被应用于图11中示出的场景，但未示出。)图13是示出用于在已有数字对象被移动到接近一设备时使得该已有数字对象与该设备相联系的说明性过程1300的流程图(以及随附示例)。S卩，图13示出作为图12中描述的场景的补充的场景。在图13，用户将已有数字对象1302移动到设备1304，而在图12 中，用户将已有设备1206移动到数字对象1202。在框1306，MM 112检测用户(或某一其他代理)将已有数字对象1302放置于接近设备1304。在框1308，IMM 112确定是否满足(诸)设备一对象联系考虑因素。这些考虑因素定义了将数字对象1302与设备1304相关联是否适当。示例性的这样的考虑事项在图12的框1208的讨论的上下文中描述。在框1310，如果满足在框1308中定义的考虑因素，则IMM 112将数字对象1302与设备1304相关联。在一种情况下，IMM 112可以显示视觉属性1312(如有色边界)，以指示数字对象1302现在与设备1304相关联。图14是示出用于将单个数字对象与两个设备相联系的说明性过程1400的流程图 (以及随附示例)；这一过程还描绘了可如何通过将这两个设备拿到彼此附近来归并使用 (由这两个相应设备控制的)两个相应数字对象而执行的操作。例如，在一个场景中，假定第一用户正在使用第一设备1402和相关联的显示对象 1404来与搜索应用程序模块进行交互。第二用户正在使用第二设备1406和相关联的数字对象1408来与同一搜索应用程序模块进行交互。在初始时间点，这些用户在相对远离彼此的位置处与交互式表面104进行交互；此外，这两个用户正在执行独立的搜索操作。接着假定用户移动它们的设备(1402,1406)相对靠近彼此，使得他们可以一起从事共同的搜索任务。例如，这两个用户可以对应于图3中示出的用户304和306。在这一场景中，I匪112 可被用来以下述方式将这些用户所执行的操作进行组合。在框1410，IMM 112检测在交互式表面104上彼此邻近的两个设备(1402，1406)
的放置。在框1412，IMM 112确定是否满足一个或多个设备-设备联系考虑因素。这些考虑因素定义一个或多个规则，这些规则管控是否要将一个用户执行的操作与由另一用户执行的操作进行归并。示例性的这样的考虑因素在图12和13的讨论的上下文中描述。在框1414，如果满足在框1412阐述的考虑因素，则IMM 112将由这两个用户执行的功能进行归并。取决于各环境专用因素和其他考虑因素，这一归并操作可以采取不同的形式。在图14中示出的仅是说明性的示例中，IMM 112将由设备(1402，1406)分开使用的数字对象(1404，1408)组合成单个数字对象1416。这两个用户被准许使用他们各自的设备 (1402,1406)来参与联合显示对象1416。此外，IMM 112可选地将由这两个用户独立地作出的搜索选择组合成联合搜索选择。例如，假定在这些用户将他们的设备(1402,1406)移动到靠近在一起之前，第一用户输入了搜索选择“西雅图(Seattle)”且第二用户输入了搜索选择“分套出售公寓(Condo) ”。 在移动靠近在一起时，IMM 112可以形成组合搜索选择，表示各独立的搜索选择的逻辑联合 (如通过形成组合搜索选择“西雅图和分套出售公寓(Seattle AND Condo) ”)。(在其他场景中，其他规则可以确定各单独的选择在逻辑上组合在一起的方式。)IMM 112可以将这一组合的搜索选择转发给适当的应用程序模块并随后在统一的显示界面1416上显示该应用程序模块所提供的结果，如图14中由指向附图标记“(联合搜索的输出)”的箭头用图形示出的。重申，图14中开发的具体示例代表其中可以基于各种触发事件来归并数字对象和对应的操作的许多可能的场景。在另一示例中，两个用户可能在会议中记录了独立的笔记，使用独立的数字对象来显示他们的笔记。在移动靠近在一起时，IMM 112可以将这些用户记录的笔记归并成由共同的数字对象显示的共同文档。在这一场景中，IMM 112可选地向用户提供任何类型的标签，以指示各用户对该共同文档所作出的贡献。一般而言，所执行的归并操作的性质将部分地取决于用户所执行的功能的性质，并与一个或多个环境专用因素相结合。在一种情况下，IMM 112可以维护特权信息，该特权信息在逐用户的基础上管控 IMM 112的对象组合和操作组合行为。例如，会议管理员可能希望禁止某些用户对联合任务做贡献，从而向封锁这些用户在过程1400中阐述的行为。图14是在两个用户的说明性上下文中描述的。但上述原理可被应用于希望与共享数字对象进行交互的任何数量的用户。B. 2.用于操纵数字对象的机制(图15和16)下一系列附图示出用于操纵数字对象的说明性技术。从图15开始，这一附图是示出用于使用不同的接触点场景来操纵数字对象的说明性过程1500的流程图(以及随附示例)。如上所述，接触点对应于用户参与(例如，进行接触)交互式表面104的表面的点。 这一功能可以用不同的方式来执行。首先，用户可以通过对着交互式表面104按下他或她的手指(或其他身体部分)或物理工具来创建接触点；这一动作定义手指接触点。或者用户可以通过激活鼠标类设备的触摸模式来创建接触点，如图10的过程1000中描述的；这一动作定义光标接触点。在框1502，IMM 112检测用户使用多个接触点参与了数字对象。在框1504，MM 112以用户所指示的方式来操纵数字对象(如通过移动数字对象、 改变数字对象的方向、改变数字对象的大小，等等)。图15呈现了解释可如何执行过程1500的三个(非穷尽性)代表性场景。在场景 A中，用户使用两个手指接触点(1508,1500)参与数字对象1506。在这一仅是说明性的示例中，用户可以使用手指接触点来触摸数字对象1506的两个相对的角。用户随后可以通过在顺时针或逆时针方向上移动手指接触点(1508,1510)来旋转数字对象1506(可选地固定一个接触点作为枢轴)或通过彼此靠近或远离来移动手指接触点(1508,1510)以改变数字对象1506的大小等来操纵数字对象1506。在场景B中，用户使用手指接触点1512和光标接触点1514来参与数字对象1506。 用户可以使用这些接触点执行在场景A的上下文中描述的任何操纵。在场景C中，用户使用两个光标接触点(1516,1518)参与数字对象1506。用户可以使用这些接触点执行在场景A的上下文中描述的任何操纵。场景C中示出的操纵的类型尤其适用于其中用户寻求操纵他或她用手不可及的对象的场景。例如，图3的用户302可以使用两个鼠标类设备(312，314)来控制两个相关联的光标(330，332)。通过以触摸模式来操作鼠标类设备(312，314)，即使数字副本3 在物理上处于用户302可及的范围之外， 用户也可以用上述方式来操纵数字副本328。尽管并未示出，但用户还可以使用单个接触点来操纵数字对象。例如，用户可以使用单个手指接触点或单个光标接触点来将任何数字对象从交互式表面104上的第一位置移动到第二位置。图16是示出用于通过将设备放置于数字对象的顶部，并象征性地使用该设备作为移动该数字对象或对该数字对象执行某一其他动作的手柄，来操纵该数字对象的说明性过程1600的流程图(以及随附示例)。在框1602，IMM 112检测设备移动到数字对象上方。在框1604，IMM 112使用该设备作为手柄来以用户所指示的方式操纵数字对象。例如，考虑在过程1600的流程图框的右侧描绘的场景。在此，用户将鼠标类设备
181606放置于显示在交互式表面104上的任何类型的数字对象1608的顶部。用户随后可以使用该鼠标类设备1606来以任何方式操纵数字对象1608，例如通过旋转数字对象1608、将数字对象1608滑动到另一位置，等等。在用户抬起鼠标类设备1606离开交互式表面104 时，可以断开鼠标类设备1606与数字对象1608之间的关联。作为替换或补充，鼠标类设备 1606的手柄类能力可通过按下和释放被分配给该功能的鼠标按钮来激活和解除激活。B. 3.用于创建并操纵数字对象副本的机制(图17-21)下一系列流程图示出用于生成任何类型的物理物品的副本的各种技术，物理物品诸如但不限于有形(例如，“硬副本”)文档。这些流程图还示出用于与所生成的数字副本进行交互的技术。数字副本的生成和操纵在协作式环境中尤其有用。例如，如图3所示，用户310正在与物理物品3 进行交互。用户310可以生成这一物理物品326的数字副本 (例如，数字副本3 和346)以分发给其他用户(例如，用户302、308)。这使得其他用户 (302,308)容易地检查物理物品3 所传达的信息，而例如无需各用户(302、308)挤在用户 310周围检查原始物理物品326，并且无需各用户(302、308)在他们之间以传统的在时间上连续的方式传阅物理物品326。此外，任何用户对数字副本所采取的动作可以自动地使得对应动作在物理物品上执行，并且反之亦然。这还便于该环境的协作性质，例如通过提供任何用户可以向位于围绕交互式表面104的周界的不同位置处的一个或多个其他用户指出感兴趣的特征的方便机制。从图17开始，这一附图是示出用于基于放置于交互式表面104上的物理物品1704 来场景数字副本1702的说明性过程1700的流程图(以及随附示例)。在框1706，IMM 112检测用户已将物理物品1704放置于交互式表面104上。这一检测操作可以基于诸位置检测模块210的输出或通过使用某一其他输入机制或诸输入机制的组合来执行。IMM 112可以使用轮廓分析来区分物理物品1704和手指接触点(以及其他对象)。IMM 112可以通过注意到物理物品1704上缺少将对象标识成输入设备的指示性标记来区分物理物品1704和输入设备。在框1708，IMM 112将界面对象1710与物理物品1704相关联地呈现。界面对象 1710是允许用户与物理物品1704进行交互的数字对象，这些交互例如制作物理物品1704 的数字副本以及执行其他操作。在图17的仅是代表性的示例中，界面对象1710对应于在物理对象1704周围形成的光环或边界。可以使用任何其他类型的界面对象来实现过程1700 的功能。例如，另一界面对象(未示出)可对应于从物理物品1704的一个或多个角伸出的一个或多个数字拉环。在框1712，IMM 112检测用户以指示创建物理物品1704的数字副本的意图的方式来参与界面对象1710。在一种情况下，假定用户用手指触摸界面对象1710，并随后在维持手指按住交互式表面104的同时将手指拖离物理物品1704。IMM 112可以将这一运动解释成创建物理物品1704的数字副本的指令。这一运动类似于滑动一副纸牌的最顶部的牌的动作。同一移动可以使用光标接触点而非手指接触点来执行。此外，再次重申，其他界面对象和相关联的指示性移动可被用来指令IMM 112创建数字副本。I匪112可以使用上述检测机制中的任何一个或多个(例如，使用诸位置检测模块210和/或诸高分辨率成像模块 208等)来检测指示性移动。在框1714，在检测到上述类型的指示性移动之后，IMM 112创建物理物品1704的数字副本1702。在一种情况下，IMM 112可以将数字副本1702存放在用户终止他或她的手指拖曳运动并从交互式表面104抬起他或她的手指的位置处。尽管并未示出，但IMM 112 还可以允许用户指定管控复制操作的各种属性，例如，通过指定要产生的副本的数量、要使用的大小缩放比率、要使用的复制密度，等等。不同的环境专用考虑因素可被用来确定I匪112捕捉物理物品1704的图像的确切定时。在一种非限制性情况下，在用户将他或她的手指从交互式表面104移除时，例如在拖曳操作结束时，IMM 112捕捉物理物品1704的图像。这一定时可以降低IMM 112在拍摄物理物品1702的照片时捕捉用户身体的一部分的概率。图18是示出用于呈现与放置于交互式表面104上的物理物品(例如，物理物品 1804)相关联的菜单对象1802的说明性过程1800的流程图(以及随附示例)。更具体地， 除了用作用于执行复制操作(在图17中描述)的工具之外，界面对象1710可被激活以执行其他操作，如呈现菜单对象1802。在框1804，IMM 112标识指示用户希望参与界面对象1710以执行与创建物理物品 1704的数字副本不同的用户动作。例如，在一种仅是说明性的情况下，用户可以用手指或用模拟手指接触点(由鼠标类设备控制)快速连续轻击界面对象1710两次。在图18的示例中，IMM 112将这一动作解释成激活菜单对象1802的请求。在框1806，MM 112将菜单对象1802呈现给用户。I匪112可以在任何位置显示这一菜单对象1802，如在界面对象1710的外围。菜单对象1802可以提供用于对物理物品 1704执行任何数量的操作的任何数量的选项，如打印物理物品1704的数字副本、保存物理物品1704的数字副本，等等。作为替换或补充，菜单对象1802可以用作允许用户调整管控复制操作(图17)的设置的工具。图19是示出用于基于对数字副本1904的一部分的选择来突出显示物理物品1902 的对应部分(或反之亦然)的说明性过程1900的流程图(以及随附示例)。在框1906，MM 112检测用户选择了数字副本1904的一部分1908。例如，用户可以使用手指、指示笔、光标或其他接触点来指向数字副本1904的特定部分1908。在框1910，IMM 112可以向物理物品1902的一部分1914提供突出显示1912。部分1914对应于数字副本1904的所选部分1908。IMM 112可以通过将数字副本1904中的位置映射到物理物品1902中的对应位置来执行这一功能。IMM 112可以用任何方式来突出显示物理副本1902的部分1914，如通过投影部分1914周围的边界的图像、投影指出部分 1914的箭头(诸如此类)、投影使部分1914变亮的光束，等等。在框1916，MM 112检测用户解除了对数字副本1904的部分1908的选择，例如通过将他或她的手指从部分1908移开。在框1918，IMM 112可以从物理物品1902的对应部分1914移除突出显示1912。尽管并未示出，但用户可以用上述方式选择物理物品1902的一部分，这提示MM 112将突出显示添加到数字副本1904的对应部分。如以前一样，在用户解除了对物理物品 1902的先前所选部分的选择时，I匪112可以移除该突出显示。在这一场景中，输入功能 108可包括具有检测用户在物理物品1902正上方采取的动作的能力的另一位置检测系统 (未示出)。例如，输入功能108可包括位于交互式表面104上方的任何类型的远程传感机制。作为替换或补充，输入功能108可包括集成到交互式表面104自身(例如，在其内部)
20的触敏输入机制。在其他情况下，IMM 112可以向用户给出在用户解除了对先前所选部分的选择之后保留应用于物理物品1902或数字副本1904的突出显示的选项。例如，并非以上述方式向数字副本1904添加暂时突出显示，用户可以向数字副本1904添加数字标记。这使得IMM 112向物理物品1902添加对应的数字标记。在用户完成了对数字副本1904的参与之后，应用于物理物品1902的数字标记可以保留(但向用户给出“擦除”应用于物理物品1904的数字标记的选项也是可能的)。图20在以上标识的概念上展开；即，图20是示出用于基于对数字副本2008所做的数字标记2006来在物理物品2004上创建对应的数字标记2002的说明性过程2000的流程图(以及随附示例)。在框2010，IMM 112检测用户已将数字标记2006放置于数字副本2008上。用户可以使用诸如手指、指示笔、光标等任何机制2012来创建这一数字标记2006。在图20的仅是说明性的场景中，用户使用手指圈出数字副本2008的特定部分1214。IMM 112可以使用上述检测机制中的任何一个或多个(例如，使用诸位置检测模块210和/或诸高分辨率成像模块208等)来检测数字标记2006的创建。在框2016，IMM 112将对应的数字标记2002应用于物理物品2004的对应部分 2018。与图9的情况不同，数字标记2002保留在物理物品2004上，但提供允许用户“擦除” 这样的数字标记2002的机制也是可能的。在图20中示出的过程2000可以逆向执行，例如通过检测用户对物理物品2004作出物理标记(或数字标记)，并随后作为响应，向数字副本2008添加对应的数字标记。在这一场景中，IMM 112可以通过形成反映物理物品在时刻、(在添加物理标记之前)和时刻 t2(在添加物理标记之后)之间的差异的差分图像来确定已经添加了物理标记。物理标记的数字对应物可以基于这一差分图像来获得。图21是示出用于将标记2102应用于物理物品(未示出)的数字副本2104，然后生成包括作为物理标记2102的数字表示的数字标记2108的新数字副本的说明性过程2100 的流程图(以及随附示例)。在框2110，IMM 112检测用户已经将物理物品的数字副本2104移动到编辑区域 2112上。在一个说明性情况下，编辑区域2112可以对应于交互式表面104的白板部分。或者，编辑区域2112可以对应于放置于交互式表面104的表面上的一张纸(诸如此类)。用户可以在这一编辑区域2112上绘制，例如使用笔、铅笔、记号笔等。编辑区域2112具有已定义的大小。在一种情况下，在数字副本2104被移动到编辑区域2112上时，IMM 112可以将数字副本2104“截齐”成编辑区域2112的大小，即通过修改数字副本2104的大小以使得它符合编辑区域2112的大小。一旦数字副本2104变得与编辑区域2112相关联，则数字副本2104可以保持“附连”到编辑区域2112。因此，当(并且如果当)编辑区域212在交互式表面104上移动时(例如通过移动与编辑区域2112相关联的白板或纸)，数字副本2104 与它一起移动。这一机制提供在交互式表面104上移动数字副本的另一方式，例如通过象征性地使用编辑区域2112作为在其上移动数字副本2104的盘子。在框2114, IMM 112检测用户在数字副本2104 “上”创建了物理标记2102(例如， 使用以上参考图20描述的检测技术)。物理标记2102在物理上被形成在编辑区域2112提供的底层基座上。在这一仅是说明性的情况下，用户使用工具2116圈出数字副本2014的部分2118。在框2120，MM 112生成寻求数字副本2104的新数字副本2106。新数字副本 2106包括作为在数字副本2104的先前版本“上”绘制的物理标记2102的对应物的数字标记2108。在图21的示例中，用户已经将新数字副本2106移出编辑区域2112，这揭示了放置于编辑区域2112上的“裸”原始物理标记2102。MM 112可以用各种方式执行框2118的操作。根据一种技术，MM 112可以拍摄数字副本2104(其上添加了标记210 的另一照片，可能使用不同的曝光度来解决以下事实IMM 112现在根本上正在拍摄图像(除物理标记2102之外)的照片而非原始物理文档的照片。在另一种技术中，IMM 112可以暂时关闭数字副本2104的投影，这将揭示裸物理标记2102。IMM 112可以捕捉物理标记2102的图像并随后将物理标记2102的图像与原始数字副本2104数字地合成以生成新数字副本2106。又一些技术可被用来生成新数字副本 2106。上述过程2100可以重复一次或多次。对于每一次迭代，用户可以用上述方式向数字对象提供附加注释。更一般地，在B. 3小节中描述的技术中的任何技术可以用任何方式组合在一起。此外，在以上示例中，物理物品对应于物理文档，如纸质文档。但上述过程可应用于任何物理对象。例如，在另一情况下，物理对象对应于三维对象。在又一情况下，物理对象包括其上显示信息的屏幕。在又一情况下，物理对象包括(或包含)用户的人体解剖的一部分。例如，在图17的过程1700中，用户可能希望创建文档的数字副本，其中用户用身体指向文档中的特定段落。还有其他应用也是可能的。B. 4.用于捕捉动作的历史并执行其他表面管理功能的机制图22是示出用于生成交互式表面104在不同的相应时刻的一系列表示并向用户显示关于这一系列的任何信息的说明性过程2200的流程图。在框2202，MM 112可以拍摄整个交互式表面104在时刻tn的照片。IMMl 12可以用不同的方式来形成这一照片，如通过在其上放置了物理对象和数字对象两者的情况下拍摄交互式表面104的单张照片。或者，IMM 112可以用在图21的解释的上下文中描述的方式来形成合成图像，例如通过关闭投影、拍摄物理物品在交互式表面104上的照片、并随后将照片与被投影到交互式表面104上的数字对象进行组合。不同的事件可以触发该图像捕捉操作。在一种情况下，IMM 112周期性地捕捉交互式表面104的图像(例如，每η秒或每η分钟，等等)作为替换或补充，用户可以明确地指令IMM 112在各感兴趣的时刻捕捉图像。作为替换或补充，在IMM 112独立地检测到一些值得注意的事物正在交互式表面104上发生时，它可以自动捕捉图像，如在用户向交互式表面104添加新设备时、或当用户在交互式表面104上移动已有设备或数字对象时，等等。 在重复时，框2202建立在不同的相应时刻拍摄的交互式表面的多个图像。IMM 112可以将这些图像存档在一个或多个合适的数据存储(未示出)中。在框2204，用户可以指令IMM 112示出先前在框2202中记录的图像中的任一个。 在一种情况下，用户可以请求IMM 112示出一个或多个所选图像。在另一情况下，用户可以请求IMM 112按照在所标识的时间跨度上捕捉所记录的图像系列的次序来显示这些图像。在后一场景中，IMM 112可以按照动画方式或伪(粗略)动画方式来呈现图像。如上所述，过程2200可被用来形成整个交互式表面104的一系列表示。作为替换或补充，即使用户没有明确地请求形成交互式表面104的各部分，诸如放置于交互式表面 104上的各单独对象(包括物理对象和/或数字对象)的一系列表示，过程2200也可被用来形成这些表示。例如，过程2200可被用来示出对物理文档等的单独副本作出的改变的发展。IMM 112可以使用例如图8的标记过程等来获得物理对象的表示。IMM 112具有对被投影到交互式表面104上的数字对象的立即访问。MM 112可以提供结合图22的过程2200使用的各种界面机制。例如，IMM122可以在交互式表面104上显示容器类数字对象(未示出)。该容器类数字对象作为到数字对象集合(与出现在交互式表面104上的各单独项相关联和/或整个交互式表面104的表示) 的接口。用户可以使用一个或多个视图来将各数字对象组织到该容器类数字对象中。第一视图允许用户以网格格式或其他空间组织格式来安排数字对象。第二视图允许用户以翻书格式来安排数字对象，例如，作为对象的时间序列。在一种情况下，用户还可以经由容器类数字对象来操纵任何数字对象，如通过缩放该数字对象、旋转该数字对象等等。MM 112还可以包括允许用户“清理”交互式表面104的机制，例如通过从该交互式表面移除数字对象。在一种情况下，IMM 112可以提供允许用户从交互式表面104删除 (例如，移除)所有数字对象的命令。作为补充或替换，IMM 112可以提供允许用户删除所标识的数字对象的命令。C.代表性处理功能图23阐明可被用于实现上述功能的任何方面的说明性电子数据处理功能 2300(以下简称“处理功能”)。参考图1，例如，图23中示出的处理功能2300的类型可被用来实现交互式表面环境100的任何方面。在一种情况下，处理功能2300可对应于任何类型的计算设备。处理功能2300可以包括诸如RAM 2302和ROM 2304等易失性和非易失性存储器以及一个或多个处理设备2306。处理功能2300还可选地包括各种媒体设备2308，诸如硬盘模块、光盘模块等。处理功能2300可在处理设备2306执行由存储器(例如RAM 2302,ROM 2304或其他)维护的指令时执行以上所标识的各种操作。更一般地，指令和其他信息可以存储在任何计算机可读介质2310上，计算机可读介质包括但不限于静态存储器存储设备、 磁存储设备、光存储设备等。术语“计算机可读介质”还涵盖多个存储设备。术语“计算机可读介质”还涵盖例如经由电线、电缆、无线通信等从第一位置发送到第二位置的信号。处理功能2300还包括用于(经由输入模块2314)从用户接收各种输入和用于(经由输出模块2316)向用户提供各种输出的输入/输出模块2312。图1和2描述各种类型的这样的输入模块2312和输出模块2314 (例如，分别对应于输入功能108和内容投影功能 106)。处理功能2300还可包括用于经由一个或多个通信管道2320与其他设备交换数据的一个或多个网络接口 2318。一条或多条通信总线2322将上述组件通信地耦合在一起。总而言之，本说明书已经在说明性挑战或问题的上下文中描述了各种概念。该说明方式不构成对其他人以此处所指定的方式理解和/或清楚表达这些挑战或问题的承认。更一般地，尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。
权利要求
1.一种用于参与交互式表面的方法(1100)，包括检测(1106)输入设备在所选位置处的放置以及在所述交互式表面上的方向，所述输入设备被配置成提供字母数字文本输入；以及在所述交互式表面上显示(1108)数字对象，所述数字对象在位置上与所述输入设备相关联，所述数字对象提供呈现用户使用所述输入设备输入的信息的视觉表示的显示界面。
2.如权利要求1所述的方法，其特征在于，还包括显示将所述输入设备与所述数字对象相关联的视觉属性。
3.如权利要求1所述的方法，其特征在于，所述数字对象包括第一数字对象，并且其中所述交互式表面还显示第二数字对象，所述方法还包括检测接近所述第二数字对象的任何输入设备的放置，或接近所述任何输入设备的所述第二数字对象的放置；以及将所述任何输入设备与所述第二数字对象自动关联。
4.如权利要求1所述的方法，其特征在于，所述输入设备包括第一输入设备，所述方法还包括检测接近所述交互式表面上所述第一输入设备的第二输入设备的放置；以及响应于所述检测，将所述第二输入设备与所述数字对象自动关联，使得所述第一输入设备与所述第二输入设备两者都与所述数字对象相关联。
5.如权利要求1所述的方法，其特征在于，所述输入设备包括第一输入设备并且所述数字对象包括第一数字对象，所述方法还包括检测在所述交互式表面上第二输入设备的放置，所述交互式表面显示第二数字对象， 所述第二数字对象与所述第二输入设备在位置上相关联；检测接近所述第一输入设备的所述第二输入设备的移动或接近所述第二输入设备的第一输入设备的移动；以及响应于检测到所述移动，将所述第一数字对象提供的内容与所述第二数字对象提供的内容进行归并。
6.如权利要求1所述的方法，其特征在于，显示所述数字对象包括将所述数字对象放置于所述交互式表面上的这样一处位置a)在被认为适当的程度上满足至少一个放置约束；以及b)减少所述数字对象与所述交互式表面上的其他已有对象之间的冲突。
7.一种用于存储计算机可读指令的计算机可读介质(2310)，所述计算机可读指令在由一个或多个处理设备执行时提供一种交互管理模块，所述计算机可读指令包括逻辑(502)，被配置成检测鼠标类设备在交互式表面上的用户放置； 逻辑(502)，被配置成确定所述鼠标类设备的绝对位置以及所述鼠标类设备的方向； 逻辑(504)，被配置成基于所述鼠标类设备的绝对位置和方向来定义参照系；以及逻辑(506)，被配置成相对于所定义的参照系来将光标显示在所述交互式表面上。
8.如权利要求7所述的计算机可读介质，其特征在于，被配置成定义所述参照系的逻辑能够用于相对于以下各项来定义所述参照系所述交互式表面上的参照对象；或所述鼠标类设备的方向。
9.如权利要求7所述的计算机可读介质，其特征在于，还包括被配置成显示将所述鼠标类设备与所述光标相关联的视觉属性的逻辑。
10.如权利要求7所述的计算机可读介质，其特征在于，还包括被配置成检测所述用户已经激活由所述鼠标类设备所提供的控件的逻辑；以及被配置成以触摸模式来操作所述鼠标类设备的逻辑，其中在所述触摸模式中，所述光标担当参与所述交互式表面的模拟接触点。
11.一种用于管理交互式表面(104)的交互式管理模块(112)，包括逻辑(1706)，被配置成检测在所述交互式表面(104)上的物品(1704)的放置；逻辑(1708)，被配置成在所述交互式表面(104)上显示界面对象(1710)以与所述物品 (1704)相关联地使用；逻辑(1712)，被配置成检测用户对所述界面对象(1710)的副本相关激活；以及逻辑(1714)，被配置成响应于所述激活，来生成所述物品(1704)的数字副本(1702)并在所述交互式表面(104)上在由所述用户标识的位置处显示所述物品(1704)的所述数字副本(1702)。
12.如权利要求11所述的交互式管理模块，其特征在于，所述用户的副本相关激活对应于所述用户通过拉所述界面对象来执行的拖曳运动。
13.如权利要求11所述的交互式管理模块，其特征在于，还包括被配置成检测所述用户对所述数字副本的特定数字部分的选择的逻辑；以及被配置成突出显示或标记所述物品的作为所述数字副本的所述特定数字部分的对应物的物理部分的逻辑。
14.如权利要求11所述的交互式管理模块，其特征在于，还包括被配置成检测所述用户将所述数字副本移动到所述交互式表面的编辑区域的逻辑；被配置成检测由所述用户应用于所述编辑区域内的数字副本的物理标记的逻辑；以及被配置成生成所述物品的另一数字副本的逻辑，所述另一数字副本包括所述物理标记的数字表示。
15.如权利要求11所述的交互式管理模块，其特征在于，还包括被配置成记录所述交互式表面的至少一部分在不同的相应时间点的多个表示的逻辑，以及被配置成呈现关于所述多个表示的信息的逻辑。
全文摘要
描述了用于允许用户使用诸如键盘类设备和鼠标类设备等各种输入设备来参与协作式环境中的交互式表面的交互式管理模块(IMM)。IMM在交互式表面上显示以各种方式与各设备相关联的数字对象。数字对象可包括显示界面、光标、软键输入机制，等等。此外，IMM提供用于建立参照系的机制，该参照系用于管控每一光标在交互式表面上的放置。此外，IMM提供用于允许用户制作放置于交互式表面上的物理物品的数字副本的机制。IMM还提供相对于物理物品的数字副本所采取的复制动作，反之亦然。
文档编号G06F3/02GK102165394SQ200980139375
公开日2011年8月24日 申请日期2009年8月21日 优先权日2008年9月30日
发明者A·D·威尔森, B·U·哈特曼, H·本克, M·J·莫里斯 申请人:微软公司