处理多用户交互式输入系统中的交互的制作方法

专利名称：处理多用户交互式输入系统中的交互的制作方法
技术领域：
本发明通常涉及交互式输入系统，并且更具体地说，涉及一种用于处理与交互式输入系统的多个用户的交互的方法，以及执行该方法的交互式输入系统。
背景技术：
已知允许用户使用主动指示器(例如发出光、声音或其他信号的指示器)、被动指示器(例如手指、圆柱或其他适当的物体)或诸如鼠标或跟踪球的其他适当的输入设备将输入(即，数字墨水，鼠标事件等等)注入应用程序中。这些交互式输入系统包括但不限于 包括采用模拟电阻或机器视觉技术来注册指示器输入的触摸板的触摸系统，诸如在转让给本主题申请的受让人,Canada，Alberta，Calgary 的 SMART Technologies ULC 的 U. S.专利 Nos. 5，448，263 ；6. 141. 000 ；6，337，681 ；6，747，636 ；6，803，906 ；7，232，986 ；7，236，162 和 7，274，356中所公开的，它们的内容在此通过引用的方式合并；包括采用电磁、电容、声学或其他技术来注册指示器输入的触摸板的触摸系统；平板个人计算机(PC)；膝上型PC;个人数字助理(PDA)和其他类似的设备。
使用机器视觉，接收和处理来自多个指示器的输入的多点触摸交互式输入系统也是已知的。一种这样类型的多点触摸交互式输入系统利用公知的光现象-受抑全内反射 (FTIR)。根据FIlR的一般原理，当诸如指示器的物体触摸波导表面时，由于波导的折射率变化，通过光波导传播的光的全内反射(ΤΙ 有所衰减，使得一些光从触摸点逸出。在多点触摸交互式输入系统中，机器视觉系统捕获包括逸出光的点的图像，并且处理图像以便基于逸出光的点来识别波导表面上的指示器的位置，用于用作应用程序的输入。在Han的美国专利申请公开No. 2008/0029691中公开了一种FIlR多点触摸交互式输入系统的一个例子。
在多个用户同时与交互式输入系统交互的环境中，诸如在教室或头脑风暴会话期间，要求为用户提供访问命令工具集的方法和界面。Sien等等的美国专利No. 7，327，376中公开了一种用户界面，为多个用户中的每一个显示一个控制面板，其全部内容通过引用的方式合并于此。然而，显示多个控制面板会占用大量的显示屏空间，并且限制能显示的其他图形对象的数目。
同时，在多用户环境中，一个用户的动作可能导致全局效应，通称为全局动作。用户合作的主要问题在于用户的全局动作会与其他用户的动作冲突。例如，一个用户可能关闭其他用户还在交互或查看的窗口，或一个用户可能放大图形对象，导致遮蔽其他用户的图形对象。
Ringel等人的美国专利申请公开No. 2005/0183035公开了管理用户合作和解决全局动作冲突的一般规则集，包括例如，通过对用户和全局动作设置权限层次，使得用户必须具有足够的权限来执行特定全局动作，仅当没有一个用户具有“有效”项目时，才允许待执行的全局动作同时触摸表面的任何地方，或触摸有效项目；以及选出全局动作，其全部内容通过引用的方式合并于此。然而，该文献未解决如何实现这些规则。
6 已经在机器设备(例如乘客窗口控制)和计算机(例如，锁定活动直到付费为止的上网亭)中使用锁定机制相当长时间。在这样的情况下，控制是给单一个人(超级用户)。 然而，如果在共享显示器上合作的目的是对参与者主张相等的权限，则这样的方法无效。
人机交互(HCI)社区的研究人员已经着眼于支持合作锁定机制。例如，Streitz等 Ai CHI ‘ 99 论文集，120-127 的"i-Land :an interactive landscape for creativity and innovation”中提出了参与者能通过向另一用户的个人空间移动和旋转项目来在不同个人设备间传送项目，其全部内容通过引用的方式合并于此。
Morris ^t 2006 ip 4 ^ , Ph. D. Dissertation, Stanford University W H ^ ^ “Supporting Effective Interaction with Tabletop Groupware，，的出版物中使用通过使用能识别哪一用户是哪个的触摸技术来鼓励讨论全局动作的显式锁定机制，开发了用于台面设备的交互技术，其全部内容通过引用的方式合并于此。例如，所有参与者必须在显示中举手并且触摸以退出该应用。研究已显示这样的方法对减轻与自闭症合作的儿童的全局动作的破坏效果有效，见Piper等人在CSCW 2006，1-10的论文集中的“SIDES =A Cooperative Tabletop Computer Game for Social Skills Development”，其全部内容通过引用的方式合并于此。然而，因为大多数现有的触摸技术不支持用户识别，所以不能使用Morris的技术。
因此，本发明的目的是提供处理与交互式输入系统中的多个用户交互的新颖方法，以及执行该方法的新颖交互式输入系统。

发明内容
根据一个方面，提供一种用于处理多用户交互式输入系统中的用户请求的方法， 包括步骤 响应于从交互式输入系统的显示表面上定义的一个用户区域接收执行动作的用户请求，经由显示表面上的至少一个其他用户区域来提示输入；以及 在经由所述至少一个其他用户区域接收到同意该请求的输入的情况下，执行该动作。
根据另一方面，提供一种用于处理多用户交互式输入系统中的用户输入的方法， 包括步骤 在交互式输入系统的显示表面上，显示表示具有单一正确答案的问题的图形对象； 在显示表面上定义的至少两个用户区域上，显示该问题的多个答案选项； 经由所述至少两个用户区域中的一个来接收对选项的至少一个选择； 确定所述至少一个选择的选项是单一正确答案；以及 根据该确定，提供用户反馈。
根据另一方面，提供一种用于处理多用户交互式输入系统中的用户输入的方法， 包括步骤 在交互式输入系统的显示表面上显示多个图形对象，每个图像对象与在显示表面上定义的至少一个相应区域具有预定关系；以及 一旦将一个或多个图形对象移动到至少一个相应区域，则提供用户反馈。
根据另一方面，提供一种处理多用户交互式输入系统中的用户输入的方法，包括步骤 在交互式输入系统的显示表面上显示多个图形对象，每个图形对象与至少一个其他图形对象具有预定关系；以及 一旦由一个以上用户将图形对象放在至少一个其他图形对象的附近，则提供用户反馈。
根据又一方面，提供一种处理多用户交互式输入系统中的用户输入的方法，包括步骤 在交互式输入系统的显示表面上显示第一图形对象； 显示具有在第一图形对象内的预定目标位置的至少一个图形对象；以及 一旦至少一个用户将至少一个图形对象放在第一图形对象内的相应预定目标位置，则提供用户反馈。
根据又一方面，提供一种管理多触摸交互式输入系统中的用户输入的方法，包括步骤 在交互式输入系统的显示表面上定义的多个用户区域的至少一个中，显示至少一个图形对象；以及 将与所述至少一个图形对象的用户交互限制到一个用户区域。
根据又一方面，提供一种管理多触摸交互式输入系统中的用户输入的方法，包括步骤 在交互式输入系统的触摸台上显示至少一个图形对象；以及 在由一个用户选择至少一个图形对象的情况下，在预定时间段内防止至少一个其他用户选择该至少一个图形对象。
根据又一方面，提供一种计算机可读介质，包含用于处理多用户交互式输入系统中的用户请求的计算机程序，计算机程序代码包括 用于从交互式输入系统的显示表面上定义的一个用户区域接收执行动作的用户请求的程序代码； 用于响应于接收用户请求，经由显示表面上的至少一个其他用户区域来提示输入的程序代码；以及 用于在接收到同意输入的情况下，执行动作的程序代码。
根据又一方面，提供一种计算机可读介质，包含用于处理多用户交互式输入系统中的用户输入的计算机程序，计算机程序代码包括 用于在交互式输入系统的显示表面上显示表示具有单一正确答案的问题的图形对象的程序代码； 用于在显示表面上定义的至少两个用户区域上显示对该问题的多个可能答案的程序代码； 用于从至少两个用户区域中的一个接收可能答案的至少一个选择的程序代码； 用于确定所述至少一个选择是否是单一正确答案的程序代码；以及 用于根据该确定，提供用户反馈的程序代码。
根据另一方面，提供一种计算机可读介质，包含用于处理多用户交互式输入系统中的用户输入的计算机程序，计算机程序代码包括 用于在交互式输入系统的显示表面上，显示多个图形对象的程序代码，每个图像对象与在显示表面上定义的至少一个相应区域具有预定关系；以及 用于一旦一个以上用户在至少一个相应区域内移动一个或多个用户对象，则提供用户反馈的程序代码。
根据另一方面，提供一种计算机可读介质，包含用于处理多用户交互式输入系统中的用户输入的计算机程序，计算机程序代码包括 用于在交互式输入系统的显示表面上，显示多个图形对象的程序代码，每个图像对象与至少一个其他图形对象具有预定关系；以及 用于一旦一个以上用户将图形对象放在至少一个其他图形对象的附近，则提供用户反馈的程序代码。
根据又一方面，提供一种计算机可读介质，包含用于处理多用户交互式输入系统中的用户输入的计算机程序，计算机程序代码包括 用于在交互式输入系统的显示表面上显示第一图形对象的程序代码； 用于显示在第一图形对象内具有预定位置的多个图形对象的程序代码；以及 用于一旦至少一个用户将多个图形对象放在第一图形对象内的预定位置，则提供用户反馈的程序代码。
根据又一方面，提供一种计算机可读介质，包含用于管理多用户交互式输入系统中的用户交互的计算机程序，计算机程序代码包括 用于在交互式输入系统的显示表面上定义的至少一个用户区域中，显示至少一个图形对象的程序代码；以及 用于响应于与至少一个图形对象的用户交互，将与至少一个图形对象的用户交互限制到一个用户区域的程序代码。
根据又一方面，提供一种计算机可读介质，包含用于管理多用户交互式输入系统中的用户输入的计算机程序，计算机程序代码包括 用于在交互式输入系统的触摸台上显示至少一个图形对象的程序代码；以及 用于在一个用户选择了至少一个图形对象的情况下，在预定时间段内防止至少一个其他用户选择该至少一个图形对象的程序代码。
根据另一方面，提供一种多用户交互式输入系统，包括 显示表面；以及 处理结构，该处理结构与显示表面通信，该处理结构响应于从在显示表面上定义的一个用户区域接收执行动作的用户请求，经由显示表面上的至少一个其他用户区域来提示输入；以及在从至少一个其他用户区域接收到同意用户请求的输入的情况下，执行动作。
根据另一方面，提供一种多用户交互式输入系统，包括 显示表面；以及 处理结构，该处理结构与显示表面通信，该处理结构在显示表面上显示表示具有单一正确答案的问题的图形对象；在显示表面上定义的至少两个用户区域上，显示对该问题的多个可能答案；从至少两个用户区域中的一个接收可能答案的至少一个选择；确定所述至少一个选择是否是单一正确答案；以及根据所述确定，提供用户反馈。
根据又一方面，提供一种多用户交互式输入系统，包括 显示表面；以及 处理结构，该处理结构与显示表面通信，该处理结构在显示表面上显示多个图形对象，每个图形对象与在显示表面上定义的至少一个相应区域具有预定关系；以及一旦将一个或多个图形对象移动到至少一个相应区域，则提供用户反馈。
根据另一方面，提供一种多用户交互式输入系统，包括 显示表面；以及 处理结构，该处理结构与显示表面通信，该处理结构在显示表面上显示多个图形对象，每个图形对象与至少一个其他图形对象具有预定关系；以及一旦一个以上用户将图形对象放在至少一个其他图形对象的附近，则提供用户反馈。
根据又一方面，提供一种多用户交互式输入系统，包括 显示表面；以及 处理结构，该处理结构与显示表面通信，该处理结构响应于与在显示表面上定义的至少一个用户区域中显示的至少一个图形对象的用户交互，将与至少一个图形对象的用户交互限制到至少一个用户区域。
根据另一方面，提供一种多用户交互式输入系统，包括 显示表面；以及 处理结构，该处理结构与显示表面通信，该处理结构响应于用户选择在显示表面上定义的至少一个用户区域中显示的至少一个图形对象，在预定周期时间段内防止至少一个其他用户选择该至少一个图形对象。


现在，将参考附图，更全面地描述实施例，在附图中 图Ia是交互式输入系统的立体图； 图Ib是图Ia的交互式输入系统的剖视图； 图Ic是图Ia的交互式输入系统的台面和触摸板形成部的剖视图； 图Id是由指示器接触的图Ic的触摸板的剖视图； 图加图示了在触摸板上显示的示例性屏幕图像； 图2b是图示交互式输入系统的软件结构的框图； 图3是两个用户正工作的触摸板的示例性视图； 图4是四个用户正工作的触摸板的示例性视图； 图5是图示由交互式输入系统执行的用于使用共享对象的合作判定的步骤的流程图； 图6a至6d是四个用户使用控制面板合作的触摸板的示例性视图； 图7示出了在触摸板上的合作活动期间，防干扰的示例性视图； 图8示出了在触摸板上的合作活动期间，防干扰的另一实施例的示例性视图； 图9a是图示用于触摸台板上的合作交互活动的模板的流程图； 图9b是图示用于触摸台板上的合作交互活动的另一实施例的模板的流程图； 图IOa和IOb图示了使用合作匹配模板的示例性场景； 图Ila和lib图示了使用合作匹配模板的另一示例性场景； 图12图示了使用合作匹配模板的又一示例性场景； 图13图示了使用合作匹配模板的又一示例性场景； 图14图示了使用合作分类/排列模板的示例性场景； 图15图示了使用合作分类/排列模板的另一示例性场景； 图16a和16b图示了使用合作分类/排列模板的又一示例性场景； 图17图示了使用合作映射模板的示例性场景； 图18a图示了使用合作映射模板的另一示例性场景； 图18b图示了使用合作映射模板的另一示例性场景； 图19图示了示例性控制面板； 图20图示了当管理用户点击七巧板应用设置图标时，设置七巧板应用的示例性视图； 图21a图示了设置用于交互式输入系统的合作活动的示例性视图；以及 图21b图示了图21a中的合作活动的用户。
具体实施例方式现在转到图la，示出了以触摸台形式的交互式输入系统的立体图，并且其通常用附图标记10来标识。触摸台10包括安装在柜16上的台面12。在本实施例中，柜16位于轮、回旋脚轮等等18上，使得触摸台10能够根据请求易于从一个地方移动到另一个地方。 台面12中集成了以基于触摸板14的受抑全内反射(FTIR)形式的坐标输入设备，使能能够检测和跟踪施加到其上的一个或多个指示器11，诸如手指、笔、手、圆柱或其他对象。
柜16支撑台面12和触摸板14，并且容纳执行主机应用和一个或多个应用程序的处理结构20 (见图lb)。由处理结构20生成的图像数据显示在触摸板14上，允许用户经由触摸板14的显示表面15上的指示器接触而与显示图像交互。处理结构20将指示器接触解释为正运行的应用程序的输入，并且相应地更新图像数据，使得在显示表面15上显示的图像反映指示器活动。用这种方式，触摸板14和处理结构20允许与触摸板14的指示器交互被记录为手写或绘置，或用来控制应用程序的执行。
本实施例中的处理结构20是以计算机形式的通用计算设备。计算机包括例如处理单元、系统存储器(易失和/或非易失存储器)、其他不可拆卸或可拆卸存储器(硬盘驱动器、RAM、ROM、EEPROM、CD-ROM、DVD、闪速存储器等等)，以及将各种计算机部件耦合到处理单元的系统总线。
在由处理结构20运行的主机软件应用/操作系统的执行期间，在触摸板14的显示表面上显示包括画布或画板(即背景)的图形用户界面，在其上显示图形构件。在本实施例中，图形用户界面使得能够经由与触摸板14的显示表面15的指示器交互而输入和操作任意形式或手写的墨水对象和其他对象。
柜16还容纳水平定向的投影仪22、红外(IR)滤波器M和镜子沈，观和30。以红外检测照相机形式的成像设备32安装在与镜子观相邻的支架33上。镜子沈，28和30 的系统用来沿光路“折叠”由柜16内的投影仪22投影的图像，而不过度地牺牲图像大小。 由此能使整个触摸台10尺寸紧凑。
成像设备32对准镜子20，并且因此看到显示表面15的反射，以便减轻捕获图像中的热点噪声的出现，这是通常在具有指向显示表面本身的成像设备的系统中必须处理的。 成像设备32通过支架33位于柜16内，使得不干扰投影图像的光路。
在操作触摸台10期间，处理结构20将视频数据输出到投影仪22，投影仪22进而通过顶滤波器M将图像投影到第一镜子沈上。由第一镜子沈将现在已经基本上过滤出顶光的投影图像反射到第二镜子观上。第二镜子观进而将图像反射到第三镜子30上。第二镜子30将所投影的视频图像反射到触摸板14的显示(底面)表面上。通过触摸板14， 可从上观看在触摸板14的底面上投影的视频图像。如图所示配置的三个镜子沈，28，30的系统提供紧凑路径，沿该路径，能将投影图像送到显示表面。水平定向投影仪22，以便保持投影仪灯管寿命，因为常见可用的投影仪通常被设计成水平放置。
外部数据端口 /开关，在本实施例中是通用串行总线(USB)端口 /开关34，通过柜壁从柜16的内部延伸到触摸台10的外部，从而提供用于插入和去除USB钥匙36的接入， 以及功能的切换。
USB端口 /开关34、投影仪22和成像设备32分别连接到处理结构20并且受处理结构20管理。电源(未示出)将电力提供给触摸台10的电子组件。电源可以是外部单元， 或例如柜16内的通用电源，用于提高触摸台10的便携性。柜16完全封闭其内容以便限制进入柜16的周围可见光和红外光的级别，由此促进令人满意的信噪性能。这样做能与用于管理柜16内的热的各种技术竞争。触摸板14、投影仪22和处理结构均是热源，并且这样的热如果长时间包含在柜16内会降低组件的寿命，影响组件的性能，以及产生可能使触摸台 10的光组件失真的热波。同样地，柜16容纳热管理装置(未示出)，以便将更冷的周围空气引入到柜中，同时从柜排出的热气。例如，热管理装置可以是Sirotich等在2008年9月四日提交的，名为“TOUCH PANEL FOR INTERACTIVE INPUT SYSTEM AND INTERACTIVE INPUT SYSTEM EMPLOYING THE TOUCH PANEL”并转让给本主题申请的受让人，Alberta，Calgary 的 SMART Technologies ULC的美国专利申请No. 12Λ40，953中公开的类型，其全部内容通过引用的方式合并于此。
如上所述，触摸台10的触摸板14基于受抑全内反射(FTIR)的原理操作，如在上文引用的Sirotich等人的美国专利申请No. 12/240，953中更详细描述的。图Ic是台面12 和触摸板14的剖视图。台面12包括由支撑触摸板14的塑料形成的框架120。
触摸板14包括光波导14，根据本实施例，其是压克力片。弹性漫射层146，在本实 MMΦ, Candan, Ontario, Mount Forest ^ Vintex ^[JitW V-CARE V-LITE
物层或其他适合的材料，与光波导144相对设置。
漫射层146当被按压与光波导144接触时，基本上反射从光波导144逸出的顶光， 使得所逸出的顶光向下传播到柜16中。漫射层146还漫射投影到其上的可见光，以便显示投影图像。
覆盖在光波导144的相对面上的弹性漫射层146上的是透明保护层148，具有平滑触摸表面。在本实施例中，保护层148是聚碳酸脂材料的薄片，在其上施加由U.S. A， Wisconsin, New Berlin 白勺 Tekra Corporation 白勺 Marnot白勺 @M。 gf"角虫板14可以在没有保护层148的情况下起作用，但保护层148允许在没有过度变色、划破或弄皱底层漫射层146，以及在没有过度磨损用户手指的情况下，使用触摸板14。此外，保护层148向整个触摸板14提供耐磨、耐刮擦和耐化学性，因为对面板长寿命有用。
保护层148、漫射层146和光波导144在它们的边缘夹在一起作为一个单元，并安装在台面12内。随时间推移，长时期使用会磨损一层或多层。当需要时，可以松开层边缘， 以便廉价地提供替换磨损层。将理解到，可以以其他方式将层保持在一起，诸如通过使用粘合剂、摩擦配件、螺钉、钉子或其他紧固方法中的一种或多种。
沿光波导144的至少一个侧面放置包括一组红外发光二极管(LED)的顶光源。每一 LED 142将红外光发射到光波导144中。在本实施例中，沿其放置顶LED 142的侧面被火焰抛光，以促进从顶LED 142接收光。在IR LED 142和光波导144的侧面间维持1_2 毫米(mm)的空气间隙，以便减小从顶LED 142向光波导144传热，并且由此减轻压克力光波导144中的热失真。结合到光波导144的另一侧面的是将光反射回光波导144的反射带 143，由此使得光波导144充满红外照明。
在操作中，通常与其大的上下表面平行的方向上，经由光波导144的火焰抛光侧面引入顶光。由于全内反射(TIR)，顶光没有通过光波导144的上下表面逸出，因为在上下表面处的入射角不足以容许其逸出。到达另一侧面的顶光通常由另一侧面的反射带143 完全反射回光波导144中。
如图Id所示，当用户利用指示器11接触触摸板14的显示表面时，指示器11相对于保护层148的压力使弹性漫射层146压向光波导144，造成指示器11的接触点，或“触摸点”处的光波导144上的折射率改变。该改变“抑制”触摸点的TIR，造成顶光在触摸点以通常垂直于光波导144的平面的方向在允许它从光波导144逸出的角度反射。逸出的顶光从点11反射出来并且通过光波导144局部向下散射并且从其底面离开光波导144。这当每一指示器11在相应触摸点接触触摸板114的显示表面时发生。
当沿触摸板114的显示表面15移动每一触摸点时，弹性漫射层146相对于光波导 144压缩发生，并且因此顶光的逸出跟踪触摸点移动。在触摸点移动期间或一旦去除触摸点，则触摸点先前由于漫射层146的弹性而导致的漫射层146的减压造成顶光从光波导 144的逸出再次停止。同样地JR光仅在触摸点位置从光波导144逸出，允许在由成像设备捕获的图像帧中捕获顶光。
成像设备32捕获第三镜子30的二维JR视频图像。结合基本上阻止周围光入内的柜16，已经从由投影仪22投影的图像过滤的顶光确保由成像设备32捕获的图像的背景基本上是黑的。当如上所述一个或多个指示器接触触摸板14的显示表面15时，由顶照相机32捕获的图像包括与相应触摸点相对应的一个或多个亮点。处理结构20接收所捕获的图像并且执行图像处理以基于所捕获的图像中的一个或多个亮点来检测一个或多个触摸点的坐标和特性。然后，将所检测到的坐标映射到显示坐标并且由处理结构20解释为墨水或鼠标事件，用于操纵所显示的图像。
主机应用基于所接收到的触摸点数据来跟踪每一触摸点，并且在图像帧间进行连续性处理。更具体地说，主机应用从帧接收触摸点数据，并且基于触摸点数据来确定是否注册新触摸点、修改现有的触摸点、或取消/删除现有的触摸点。因此，当主机应用接收与现有的触摸点无关的触摸点数据时，主机应用注册表示新触摸点的接触向下事件，并且给予新触摸点唯一标识符。触摸点数据如果表征与现有的触摸点远离的阈值距离的触摸点，则可以将其视为与现有的触摸点无关。主机应用当其接收与现有的指示器有关的触摸点数据时，例如通过在现有触摸点的阈值距离内或覆盖现有触摸点但具有不同的焦点，注册表示触摸点的移动的接触移动事件。当停止从后续图像接收能与现有的触摸点相关联的触摸点数据时，主机应用注册接触向上事件，该接触向上事件表示从触摸板14的显示表面15去除触摸点。基于触摸点当前关联的要素，和/或触摸点的当前位置，将接触向下、接触移动和接触向上事件传递到诸如图形构件，或背景/画布的用户界面的各个要素。
如图2所示，在显示表面15上呈现的图像包括含有画布或背景108(台面)和多个图形构件106的图形对象，诸如窗口、按钮、图片、文本、线、曲线和形状。图形构件106可以呈现在显示表面15的不同位置，并且可以沿与显示表面15垂直的方向的Z轴堆叠，其中， 画布108总在所有其他图形对象106的下层。所有图形构件106根据它们在Z轴上的位置来组织成图形对象层次。图形构件106可以由用户创建或绘制或从图形库中选择并添加到画布108上。
可以通过使用输入装置来操纵画布108和图形构件106，诸如键盘、鼠标，或诸如笔或手指的一个或多个指示器。在图2所示的示例性情形中，四个用户P” P2、P3和P4(分别画出)正同时在触摸台10上工作。用户Pi、P2、P3正分别使用一只手110，112，118或指示器来操作显示表面15上示出的图形构件106。用户P4正使用多个指示器114，116来操纵单一图形构件106。
触摸台10的用户可以包括诸如教师的内容开发者和学习者。内容开发者与在触摸台10上运行的应用程序进行通信以设置规则和场景。可以由内容开发者使用USB钥匙 36(见图lb)来存储和上传到触摸台10，将开发内容更新到应用程序中。也可以使用USB 钥匙36来识别内容开发者。学习者通过如上所述触摸显示表面15与应用程序通信。应用程序根据接收到的触摸输入和由内容开发者设置的规则来响应学习者。
图2b是图示触摸台10的软件结构的框图。基元操纵引擎210作为主机应用的一部分监视触摸板14以捕获触摸点数据212和生成接触事件。基元操纵引擎210还分析触摸点数据212以及识别由触摸点实现的已知手势。然后，主机应用将所生成的接触事件和所识别的手势提供给合作学习基元208，包括图形对象106，诸如画布、按钮、图像、形状、视频片断、任意形式和墨水对象。应用程序206组织和操纵合作学习基元208以响应用户输入。在应用程序206的指令下，合作学习基元208修改在显示表面15上显示的图像以响应用户的交互。
基元操纵引擎210基于触摸点数据212来跟踪每一触摸点，并且在图像帧间进行连续性处理。更具体地说，基元操纵引擎210从帧接收触摸点数据212并且基于触摸点数据212来确定是否注册新触摸点、修改现有的触摸点、或取消/删除现有的触摸点。因此， 基元操纵引擎210当其接收与现有的触摸点无关的触摸点数据212时，注册表示新触摸点的接触向下事件，并且给予该新触摸点唯一标识符。如果触摸点数据212表征例如与现有触摸点远离的阈值距离的触摸点，则将其视为与现有触摸点无关。基元操纵引擎210当其接收与现有指示器有关的触摸点数据212时，例如通过在现有触摸点的阈值距离内，或覆盖现有触摸点但具有不同的焦点，则基元操纵引擎210注册表示触摸点移动的接触移动事件。当停止从后续图像接收能与现有的触摸点相关联的触摸点数据212时，基元操纵引擎 210注册表示从触摸板104的表面去除触摸点的接触向上事件。基于触摸点当前与这些中的哪个相关联，和/或触摸点当前位置，将接触向下、移动和向上事件传递到用户界面的相应合作学习基元208，诸如图形对象106，构件，或背景或画布108。
根据用户输入，应用程序206组织和操纵合作学习基元208来实现不同的行为，诸如缩放、旋转和移动。应用程序206可以检测在第二对象上释放第一对象，以及调用利用对象的相对位置信息的函数。这些函数可以包括处理对象匹配、映射和/或分类的那些函数。 内容开发者可以采用这样的基本函数来开发和实现合作场景和规则。此外，这些应用程序 206可以由触摸台10的供应商或由基于用于触摸台10的软件开发工具(SDK)的开发应用程序的第三方程序员提供。
提供了用于在通常不将键盘或鼠标用作用户输入装置的触摸台10上合作交互和判定的方法。下文包括用于处理对在共享触摸台系统上同时工作的多个用户优化的唯一合作交互和判定的方法。这些合作交互和判定方法扩展了在上文引用的Morris中公开的成果，提供在由 Lagos 等人在 IEEE Software, 6 月 _8 月，80-89 中的 “ Interaction-based design for mobile collaborative-learning software",以及由 Valdivia, R 以及 Nussbaum， M 在 International Journal of Engineering Education,23,3,434-440 白勺 "Face to Face collaborative learning in computer science classes，，中提出的 Nussbaum的一些教育见识，其全部内容通过引用的方式合并于此，并且基于通过可用性研究学到的一些教训，实地考察小学和可用性调查反馈。
在本实施例中，能由内容开发者定义工作空间和它们的伴随功能，以适应特定应用。内容开发者能定制在给定应用中将使用的的用户的数目及因此的工作空间。内容开发者还能根据给定应用来定义特定合作将出现在给定工作空间内的位置。
表决广泛用在用于合作判定的多用户环境中，其中，所有用户响应请求，并且根据表决规则来做出群体判定。例如，仅当所有用户同意时，群体判定才最终定下来。替代地， “少数服从多数原则”系统可以应用。在本实施例中，触摸台10为两种类型的表决提供了高度可定制支持。第一类型包含用户发起表决请求，并且其他用户通过指示他们同意还是不同意该请求来对该请求做出响应。例如，可以由第一用户发起关闭窗口的请求，需要一个或多个其他用户同意。
第二种类型包含领导用户，诸如会议主持人或老师，通过提供一个或多个问题以及可能答案集来发起表决请求，并且其他用户通过选择相应的答案来响应该请求。然后，发起表决请求的用户确定答案是否正确或哪个答案或哪些答案与问题最匹配。问题的正确答案可以预先存储在触摸台10中并用来配置由应用程序206提供的合作交互模板。
要求每一用户操作它们自己的各个控制面板、分别执行相同或类似的功能的交互式输入系统易于经受有价显示屏不动产的浪费。然而，当例如一个用户在其他用户不同意的情况下执行动作时，提供对多个用户的单一控制易于导致破坏。在本实施例中，在所有触摸台用户当中共享公用图形对象，例如按钮，并且促进进行合作判定。这具有显著地降低进行判定所需要的显示屏空间量，同时降低不期望的破坏的优点。为了进行群体判定，提示每一用户逐个操纵公用图形对象以进行个人判定输入。当用户在公用图形对象上完成操纵时，或一段时间T，例如两( 秒后，图形对象移动到或出现在与下一用户最近的显示表面上的区域中。当图形对象轮转遍所有用户，并且所有用户已经做出他们个人的判定输入后， 触摸台10通过将表决规则应用于个人判定输入来响应。可选地，触摸台10能轮转回没有做出个人判定的所有用户以允许他们提供他们的输入的多次机会。轮转应当是无限的，或具有轮转终止的特定的时间周期，并且使用基于少数服从多数输入的判定。
替代地，如果图形对象的位置远离用户，则用户可以在与用户最近的、图形对象正常出现的区域中执行特殊手势(诸如双击)。然后，图形对象将移动到或出现在与用户最近的位置。
图3是两个用户正在工作的触摸板104的示例性视图。如该图所示，第一用户302 按压在显示表面15上定义的、与用户区域最近的关闭应用按钮306，以做出关闭与关闭应用按钮306相关联的图形对象(未示出)的显示的个人请求，并由此发起对合作判定(A) 的请求。然后，当关闭应用按钮306出现在最接近第二用户304(B)的另一用户区域中时， 提示第二用户304关闭该应用。在C，如果第二用户304在T秒内按压关闭应用按钮304， 则做出关闭与关闭应用按钮306相关联的图形对象的群体判定。否则，在T秒后取消该请求。
图4是四个用户正在工作的触摸板104的示例性视图。如该图所示，第一用户402 按压关闭应用按钮410来做出关闭与关闭应用按钮410相关联的图形对象(未示出)的显示的个人判定，并由此发起进行合作判定的请求(A)。然后，关闭应用按钮410按顺序移动到其他用户404，406和408，并且在这些用户中的每一个停留T秒(B、C和D)。替代地，一旦从第一用户接收到输入，则关闭应用可以出现在最接近下一用户的位置。如果其他用户 404,406和408中的任何一个想要同意用户402，则当按钮处于他们的拐角处时，其他用户必须在T秒内按压关闭应用。根据大多数用户的判定来进行群体判定。
图5是图示在用于共享图形对象的合作判定期间，由触摸台10执行的步骤的流程图。在步骤502，第一用户按压共享图形对象。在步骤504，已经表决的用户数目(即，表决的数目)和同意请求的用户数目(即点击的数目)分别被设置成一(1)。执行测试以检查表决的数目是否大于或等于用户的数目(步骤506)。如果表决的数目小于用户的数目， 则将共享用户对象移动到下一位置(步骤508)，并且执行测试以检查验是否点击了图形对象(步骤510)。如果点击了图形对象，则使点击的数目增加1(步骤512)，并且也使表决的数目增加1(步骤514)。然后，该过程回到步骤506，以测试是否所有用户已表决。在步骤 510，如果没有点击图形对象，则执行测试以检查T秒是否已过(步骤516)。如果没有，则该过程回到步骤510以等待用户点击共享图形对象；否则，使表决的数目增加1(步骤514)， 并且该过程回到步骤506以测试是否所有用户已表决。如果所有用户已表决，则执行测试以检查验是否满足判定准则(步骤518)。判定准则可以是大多数用户必须同意的准则，或所有用户必须同意的准则。如果满足判定准则，则进行群体判定(步骤520)；否则，取消群体判定(步骤522)。
在另一实施例中，控制面板与每一用户相关联。可以使用不同的视觉技术来减少控制面板占用的显示屏空间。如图6a所示，在优选实施例中，当没有请求群体判定时，控制面板602处于空闲状态，并且以半透明式样显示在触摸板上，使得用户能看到控制面板602 下的内容和图形对象604或背景。
当用户触摸控制面板602中的工具时，激活一个或所有控制面板，并且可以改变它们的式样和/或大小以提示用户做出他们的个人判定。如图6b所示，当用户触摸他的控制面板622时，所有控制面板622均变成不透明。在图6c中，当第一用户触摸第一控制面板642中的“新文件”工具640时，所有控制面板642变成不透明，并且高亮每一控制面板中的“新文件”工具640，例如发光效果644围绕该工具。在另一例子中，该工具可以变大。 在图6d中，当用户A触摸第一用户的控制面板662中的“新文件”工具660时，所有控制面板662和668变成不透明，并且放大其他用户的控制面板668中的“新文件”工具664以提示其他用户做出他们的个人判定。当每一用户点击他们各自的控制面板662，668中的“新文件”工具以同意该请求时，将“新文件”工具重置成其原始大小。
本领域技术人员将理解，其他可视效果以及音频效果也可以应用于激活的控制面板以及用于进行群体判定的工具。本领域技术人员还将理解，可以将不同的视觉/音频效果应用于激活的控制面板以及用于进行群体判定的工具，以区分发起请求的用户、已经做出他们的个人判定的用户以及还未做出他们的判定的用户。
在本实施例中，应用于激活的控制面板以及用于进行群体判定的工具的视觉/音频效果持续S秒。所有用户必须在S秒内做出他们的个人判定。如果用户在该时段内未做出任何判定，则意味着该用户不同意该请求。在S秒时段过去后，做出群体判定。
在如图4和6所述的触摸台应用中，在群体活动期间，受一个用户干扰或一个用户干扰另一用户的空间是所关心的。连续操纵图形对象会干扰群体活动。合作学习基元208 采用规则集来防止全局动作干扰群体合作。例如，如果按钮与反馈声音相关联，则连续地按压该按钮会干扰群体活动并在台上生成相当大的声量。图7示出了防止这样的干扰的超时机制的例子。在(A)中，用户按压按钮702并且做出反馈声音704。然后，对该按钮设置超时时段，并且在该超时时段内禁用按钮702。如图(B)中所示，在按钮702上还设置了几个视觉提示来指示不能点击按钮702。这些视觉提示可以包括但不限于修改按钮的背景色 706以指示按钮702无效，在按钮周围添加晕圈708并改变光标710以指示不能点击按钮。 替代地，按钮702可以具有十字的覆盖的视觉指示符。在超时时段期间，点击按钮702不会触发任何动作。视觉提示可以随时间消退。例如，在(C)中，按钮702周围的晕圈708变得越来越小并且逐渐消失，指示按钮702几乎准备好再次被点击。如(D)中所示，在超时时段过去后，用户再次点击按钮702，并且播放反馈声音。在利用连续点击按钮将干扰群体活动的共享按钮的任何应用中，可以应用所述的干扰防止。
将图形对象缩放到非常大的尺寸可能干扰群体活动，因为大的图形对象会覆盖其他用户正交互的其他图形对象。另一方面，将图形对象缩放到非常小的尺寸也可能干扰群体活动，因为图形对象可能对一些用户来说变得难以查找或触及。此外，因为在触摸板系统中，广泛使用了使用两个手指来缩放图形对象，所以如果对象缩放到非常小的尺寸，则可能非常难以再次放大，因为由于其小尺寸，而不能将两个手指放在它上面。
可以应用最小和最大的大小限度来防止这样的干扰。图8示出了在最大大小限度和最小大小限度之间缩放的图形对象的示例性视图。在(A)中，用户通过使图形对象802 上的两个手指或触摸点移近来收缩图形对象。在(B)中，一旦图形对象802已经收缩到其最小大小，使得用户仍然能选择和操纵图形对象802，则用手势使两个触摸点804移得更近以缩小图形对象不会使图形对象更小。在图8c中，用户使两个触摸点804移开以放大图形对象802。如(C)所示，已经将图形对象802放大到其最大大小，使得图形对象802最大化触摸板806上的用户的预定空间但不干扰触摸板806上的其他用户的空间。使两个触摸点 804移得更远不会进一步放大图形对象802。可选地，可以允许将图形对象缩放到特定最大限度(例如4x光学变焦)，其中，用户能够将图形对象802放大到最大变焦以允许更好地查看图形对象802的细节。
应用程序206将多个合作交互模板用于程序员和内容开发者以易于构建利用合作交互和判定进行规则的应用程序和用于第二类型的表决的场景。如果给予他们适当的权利，则用户或学习者也可以使用合作交互模板来构建合作交互和判定进行规则以及场景。
合作匹配模板为用户提供问题和多个可能答案。当所有用户选择并在问题上移动他们的答案时，做出判定。程序员和内容开发者可以定制问题、答案和模板的外观，以便构建交互场景。
图9a示出了描述合作交互模板的流程图。在步骤902中，显示由内容开发者设置的问题。在步骤904中，显示阐述回答该问题的规则、由内容开发者设置的答案选项。问题和答案选项及规则被存储在处理结构20可存取的计算机可读介质上的数据结构中并彼此关联。在步骤906中，然后，应用经由在步骤904中设置的规则来获得回答该问题的学习者的输入，用于回答该问题。在步骤908中，如果不是所有学习者已经输入了他们的输入，则程序应用返回到步骤906以从所有用户获得输入。一旦所有学习者已经做出他们的输入， 则在步骤910中，应用程序分析该输入以确定输入是正确还是不正确。通过将学习者的输入与预先存储在数据结构中的、在步骤904中设置的答案选项进行匹配来完成该分析。如果根据所存储的规则，该输入是正确的，则在步骤912中，向学习者提供肯定反馈。如果输入不正确，则在步骤914中，向学习者提供否定反馈。对学习者的肯定和否定反馈可以采用视觉、音频或触觉指示符的形式或那三种指示符中的任何的组合。对学习者的肯定反馈可以采用视觉、音频或触觉指示符的形式或那三种指示符中的任何的组合。
图9b示出了描述合作交互模板的另一实施例的流程图。在步骤920中，显示由内容开发者设置的问题选项。在步骤922中，显示阐述回答该问题的规则、由内容开发者设置的问题选项。在步骤拟4中，然后，应用经由在步骤922中设置的规则来获得回答该问题的学习者的输入，用于回答该问题。然后，在步骤926中，应用确定学习者或用户的输入中的任何一个是否正确地回答该问题。可以通过将学习者的输入与步骤922中设置的答案选项进行匹配来完成该分析。如果学习者的输入中的任何一个均未正确地回答该问题，则程序应用返回到步骤924，并且再次获得学习者的输入。如果输入中的任何一个是正确的，则在步骤930中，向学习者提供肯定反馈。
图IOa和IOb图示了使用图9a图示的合作匹配模板的示例性场景。在该例子中， 提问问题，其中，用户必须选择图形对象以回答该问题。如图IOa所示，其中，第一用户P1* 第二用户P2正在触摸台上工作，在显示表面1000的中心示出了询问正方形的问题1002，并且在问题1002周围分布了具有不同形状的多个可能答案1004，1006和1008。多个答案选项与问题关联地存储在处理结构可以存取的计算机可读介质上的数据结构中。第一用户P1 和第二用户P2分别选择第一答案形状1006和第二答案形状1008，并且在问题1002上移动答案1006和1008。因为答案1006和1008与问题1002匹配，在图IOb中，触摸台系统给出该答案是正确的感官指示。该感官指示的一些例子可以包括播放音频反馈(未示出)， 诸如鼓掌或音乐声，或显示视觉反馈，诸如放大的问题图像1022、表示用户选择的答案的图像1010、文字“正方形是正确的” 1012和背景图像1014。在给出感官指示后，在图IOb中， 在图IOa中第一用户P1和第二用户P2分别移动的问题1002的第一答案1006和第二答案 1008被移回到它们原始位置。
图Ila和lib图示了使用图9a中所示的合作匹配模块的另一示例性场景。在该例子中，用户答案不与问题匹配。如图Ila所示，其中，第一用户P1和第二用户P2正在触摸台上工作，在触摸板的中心，示出了询问三个字母的问题1102，并且在问题1102四周分布了具有不同数目的字母的多个可能答案1104、1106和1108。第一用户P1选择第一答案 1106，其包含三个字母，并且将其移到答案1102上，由此正确地回答该问题1102。然而，用户P2选择第二答案1108，其包含两个字母，并且将其移到问题1102上，由此未正确地回答该问题1102。因为第一答案1106和第二答案1108不同，并且来自第二用户I32的第二答案 1108未回答问题1102或与第一答案1106不匹配，所以在图lib中，触摸台10通过将第一答案1106和第二答案1108分别放在它们的原始位置和问题1102之间来拒绝这些答案。
图12图示了将图9b图示的模板用于图形对象的合作匹配的又一示例性场景。在该图中，第一用户P1和第二用户P2正在操作触摸台10。在该例子中，多个问题同时存在于触摸板上。在该图中，第一问题1202和第二问题1204出现在触摸板上并且分别朝向第一用户和第二用户。与图IOa至图lib中所述的模板不同，其中，问题不响应用户动作直到所有用户已经选择了他们的图形对象答案1206为止，该模板采用“第一答案赢”策略，由此一给出正确答案，则应用就接受该正确答案。
图13图示了将该模板用于图形对象的合作匹配的又一示例性场景。在该图中，第一用户P1、第二用户P2、第三用户P3和第四用户P4正在触摸台系统上操作。在该例子中， 实施少数服从多数规则策略，其中，选择最多公用的答案。如该图所示，第一用PP1、第二用户P2和第三用户P3选择相同的图形对象答案1302，而第四用户P4选择另一图形对象答案 1304。因此，用于问题1306的群体答案是答案1302。
图14图示了使用图形对象模板的合作分类和排列的示例性场景。在该图中，在触摸板上提供了多个字母1402，并且要求用户按字母顺序放置这些字母。如图14所示，可以将排序的字母放在多个水平行中。替代地，可以将它们彼此重叠地或按其他形式放在多个垂直行中。
图15图示了使用合作分类/排列模板的另一示例性场景。在该图中，在触摸板上提供了多个字母1502和1504。由内容开发者或老师翻转字母1504，使得隐藏这些字母并且仅能看到每一字母1504的背景。要求用户或学习者按顺序放置字母1502以形成单词。
图16a和16b图示了将模板用于图形对象的合作分类和排列的又一示例性场景。 在触摸板上提供了多个图片1602。要求用户根据程序员或内容开发者或设计该场景的人的要求，在触摸板上将图片1602布置成不同组。在图16b中，将屏幕分成多个区域1604，分别具有为布置任务而提供的类别名称1606。要求用户将每一图片1602放入描述图片的内容的特性之一的适当的区域中。在该例子中，应当将鸟的图片放在“天空”的区域中，并且应当将大象的图片放在“陆地”的区域中，等等。在该实例中，区域是在计算机可读介质上的数据结构中，与图片相关联的图形构件。当确定图片对应于陆地的区域的位置时，在数据结构中验证该关联，以便确定用户已经做出正确的匹配。
图17图示了将模板用于图形对象的合作映射的示例性场景。触摸台10注册多个图形项目，诸如包含不同数目的块的形状1702和1706。最初，将形状1702和1706放在触摸板的角上，并且在触摸板上显示算术等式1704。要求用户将适当的形状1702从角拖动到触摸板的中心以形成算术等式1704。触摸台10识别出位于触摸板的中心中的形状，以及在触摸板上动态地示出计算结果。替代地，用户简单地点击适当的图形对象以便产生正确的输出。与上述模板不同，当从存储所有形状的角拖出一形状时，在角中剩下该形状的副本。 用这种方式，学习者可以使用多个相同的形状来回答问题。在这种情况下，处理结构使用构件χ和/或y位置数据来协助建立运算的顺序。
图18a图示了将模板用于图形对象的合作映射的另一示例性场景。在触摸板上提供了多个形状1802和1804，并且要求用户将形状1802和1804放在图形构件上的适当位置中。当将形状1804放在通过其与先前在数据结构中与之关联的图形构件相对应的位置确定的正确位置中时，触摸系统通过感官指示来指示正确答案，包括但不限于通过改变形状颜色来高亮形状1804、将不同颜色的晕圈或轮廓添加到形状上、简略地放大形状，和/或提供音频效果。这些指示中的任何一个可以单独地、同时或并行地发生。
图18b图示了将模板用于图形对象的合作映射的又一示例性场景。在触摸板的中心显示了人体1822的图像。在人体的图像上示出了多个点1824，指示学习者必须将他们的答案放在其上的目标位置。示出器官名称的多个文本对象1拟6被放置在人体1822的图像周围。与上述的类似，已经将与目标位置相对应的图形构件，或单个图形构件上的目标位置与数据结构中的答案构件相关联，其由处理结构引用以验证答案。替代地，对象1822和 1拟6也可以是其他类型，诸如形状、图片、电影等等。在这种场景中，自动地定向对象1拟6 以面对触摸台的外边。
在这种场景中，要求学习者将每一对象1拟6放在适当的位置18M上。当对象1拟6 放在适当的位置1拟4上时，触摸台系统提供肯定反馈。因此，在判定答案是否正确时，对象 1826的方位不相关。如果对象1拟6放在错误的位置1拟4上，则触摸台系统提供否定反馈。
上述合作模板仅是示例性的。本领域技术人员将理解，通过将触摸台系统的能力用于识别图形对象的特性，诸如形状、颜色、式样、大小、方位、位置，以及多个图形对象的覆盖和ζ轴顺序，可以将更多合作模板合并到触摸台系统中。
合作模板是高度可定制的。由程序员或内容开发者在个人计算机或任何其他适当的计算设备上创建和编辑这些模板，并且然后由具有适当访问权限的用户加载到触摸台系统中。替代地，可以由具有适当访问权限的用户在台面上直接修改合作模板。
触摸台10向控制面板提供管理用户，诸如内容开发者。替代地，安装在触摸台中的每一应用也可以向管理用户提供控制面板。仅当管理USB钥匙插入触摸台中时，才可以访问所有控制面板。在该例子中，如图Ib所示，具有正确用户身份的SMART USB钥匙插入触摸台以访问控制面板。图19图示了包括设置按钮1902和多个应用设置图标1904至 1914的示例性控制面板。设置按钮1902用于调整一般触摸台设置，诸如用户的数目、图形设置、视频和音频设置等等。应用设置图标1904至1914用于调整应用配置和用于设计交互模板。
图20图示了设置图18中所示的七巧板应用的示例性视图。当管理用户点击七巧板应用设置图标1914时(见图19)，在屏幕上显示矩形形状2002并由线段分成多个部分。 在触摸板的底部，显示多个按钮2004。管理用户能操纵矩形形状2002和/或使用按钮2004 来定制七巧板游戏。这样的配置可以包括设置图形对象的起始位置，或改变背景图像或颜色等等。
图21a和21b图示了采用在图如和恥中所述的交叉方法来创建组合上述模板和规则的复杂场景的另一示例性沙盒应用。通过使用该应用，内容开发者可以创建他们自己的规则，或创建无规则的自由形式场景。
图21a示出了使用“沙盒”应用来设置场景的屏幕快照。在屏幕的一侧，为内容开发者提供了多个配置按钮2101至2104。内容开发者可以使用按钮2104来选择他们的场景的屏幕背景，或将标签/图片/手写板对象添加到场景。在图21a所示的例子中，内容开发者已经将手写板2106、足球运动员图片2108和具有文本“足球”的标签2110添加到她的场景中。内容开发者可以使用按钮2103来在她的场景中设置对象的起始位置，并且然后设置对象的目标位置，并应用上述映射规则。如果没有定义起始位置或目标位置，则不应用合作规则，并且场景是自由形式的场景。内容开发者也可以通过按压加载按钮2101来从USB钥匙加载场景，或通过点击按钮2102来保存当前场景，其中，弹出对话框，并将配置文件名称写在所弹出的对话框中。
图21b是活动中的图21a中创建的场景的屏幕快照。在内容开发者指定的起始位置处分布了对象2122和2124，以及将目标位置21 标记为点。当学习者利用该场景时，可以自动地播放由内容开发者记录的语音指令以告诉学习者如何玩该场景以及他们必须执行什么任务。
上述实施例仅是示例性的。本领域技术人员将理解，能将相同的技术应用于其他合作交互应用和系统，诸如将图形操纵用于多个人的直接触摸系统，诸如触摸台面、触摸壁、信息亭、图形输入板等等；以及采用远程指示技术的系统，诸如激光指示器、顶遥控器寸寸。
而且，尽管上述实施例基于多触摸板系统，但是本领域技术人员将理解，相同的技术也能用于单触摸系统中，并且允许用户通过以逐个的方式使用单个手指或笔来顺利地选择和操纵图形对象。
尽管上述实施例基于操纵图形对象，但是本领域技术人员将理解，能将相同的技术应用于操纵音频/视频片断和其他数字媒体。
本领域技术人员还将理解，在此所述的操纵图形对象的相同方法还可以应用于不同类型的触摸技术，诸如表面声波(SAW)、模拟式电阻、电磁、电容、顶幕帘、声飞行时间或基于眼睛地扫过显示表面。
多触摸交互式输入系统可以包括程序模块，包括但不限于例程、程序、对象组件、 数据结构等等，并且可以体现为存储在计算机可读介质上的计算机可读程序代码。计算机可读介质是能存储此后由计算机系统读取的数据的任何数据存储设备。计算机可读介质的例子包括例如只读存储器、随机存取存储器、闪速存储器、CD-ROM、磁带、光数据存储设备和其他存储介质。计算机可读程序代码还能分布在包括耦合的计算机系统的网络上，使得计算机可读程序代码以分布式方式存储和执行，或复制到网络上用于本地执行。
本领域技术人员将理解，进行合作判定不仅仅限于显示表面，以及可以延伸到在线会议系统，其中，不同地点的用户能合作地判定例如何时结束该会话。如在此所述的，用于激活合作动作的图标将以类似定时方式显示在每一远程位置。类似地，能采用使用LCD 或类似显示器以及光数字化触摸系统的显示表面。
尽管上述的实施例使用了三个镜子，但是本领域技术人员将理解，取决于柜16的配置，使用更多或更少镜子的不同镜子配置是可能的。此外，可以使用不止单个成像设备32以便观察更大的显示表面。成像设备32可以观察镜子中的任何一个或观察显示表面15。 在多个成像设备32的情况下，成像设备32均可以观察不同的镜子或相同的镜子。
尽管已经描述了本领域的优选实施例，但是本领域技术人员将理解，在不背离由由所附权利要求限定的精神和范围的情况下，可以做出变化和修改。
权利要求
1.一种用于处理在多用户交互式输入系统中的用户请求的方法，包括响应于从在所述交互式输入系统的显示表面上定义的一个用户区域接收执行动作的用户请求，经由所述显示表面上的至少一个其他用户区域来提示输入；以及在经所述至少一个其他用户区域接收到同意所述用户请求的输入的情况下，执行所述动作。
2.如权利要求1所述的方法，进一步包括在接收到不同意输入的情况下，拒绝所述用户请求。
3.如权利要求1或2所述的方法，其中，所述提示包括在所述至少一个其他用户区域中显示图形对象。
4.如权利要求3所述的方法，其中，所述显示进一步包括将所述图形对象从所述用户区域中的一个转移到至少一个其他用户区域。
5.如权利要求3所述的方法，其中，所述显示进一步包括向所述其他用户区域中的每一个同时显示图形对象。
6.如权利要求3至5中的一个所述的方法，其中，所述图形对象是按钮。
7.如权利要求3至5中的一个所述的方法，其中，所述图形对象是具有关联文本的文本框。
8.如权利要求1至7中的一个所述的方法，其中，所述显示表面嵌入在触摸台中。
9.一种用于处理多用户交互式输入系统中的用户输入的方法，包括在所述交互式输入系统的显示表面上，显示表示具有单一正确答案的问题的图形对象；在所述显示表面上定义的至少两个用户区域上，显示多个答案选项； 经由所述至少两个用户区域中的一个，接收对选项的至少一个选择； 确定所述至少一个选择的选项是否是单一正确答案；以及根据所述确定来提供用户反馈。
10.如权利要求9所述的方法，其中，所述接收包括通过与所述至少两个用户区域中的一个相关联的至少一个用户，在所述图形对象附近显示至少一个选择。
11.一种处理多用户交互式输入系统中的用户输入的方法，包括在所述交互式输入系统的显示表面上，显示多个图形对象，每个图形对象与在所述显示表面上定义的至少一个相应区域具有预定关系；以及一旦将一个或多个图形对象移动到至少一个相应区域，则提供用户反馈。
12.如权利要求11所述的方法，进一步包括计算所述显示表面上的随机位置以及在相应位置或所述随机位置处显示图形对象。
13.如权利要求11至13中的一个所述的方法，其中，在预定位置处显示所述图形对象。
14.如权利要求11所述的方法，其中，所述多个图形对象是照片，并且所述预定关系与所述照片的内容有关。
15.一种处理多用户交互式输入系统中的用户输入的方法，包括在所述交互式输入系统的显示表面上，显示多个图形对象，每个图形对象与至少一个其他图形对象具有预定关系；以及一旦所述一个以上用户将所述图形对象放在所述至少一个其他图形对象的附近，则提供用户反馈。
16.如权利要求15所述的方法，其中，所述预定关系是字母顺序。
17.如权利要求15所述的方法，其中，所述预定关系是数字顺序。
18.如权利要求15至16中的一个所述的方法，其中，所述图形对象是字母。
19.如权利要求18所述的方法，其中，所述预定关系是正确拼写的单词。
20.如权利要求15所述的方法，其中，所述图形对象是具有关联值的块。
21.如权利要求20所述的方法，其中，所述预定关系与算术等式中的相对位置有关。
22.一种处理多用户交互式输入系统中的用户输入的方法，包括在显示表面上显示第一图形对象；显示至少一个图形对象，每个图形对象具有在所述第一图形对象内的预定目标位置；以及一旦至少一个用户将所述至少一个多个图形对象放在所述第一图形对象内的相应预定目标位置，则提供用户反馈。
23.如权利要求22所述的方法，其中，所述第一图像对象被划分成对应于所述多个图形对象中的每一个。
24.一种管理多用户交互式输入系统中的用户交互的方法，包括在所述交互式输入系统的显示表面上定义的多个用户区域中的至少一个中，显示至少一个图形对象；以及将与所述至少一个图形对象的用户交互限制到一个用户区域。
25.如权利要求M所述的方法，其中，所述限制包括防止所述至少一个图形对象移动到至少一个其他用户区域。
26.如权利要求M所述的方法，其中，限制包括防止所述至少一个图形对象缩放到大于最大缩放值。
27.—种管理多用户交互式输入系统中的用户交互的方法，包括在所述交互式输入系统的显示表面上，显示至少一个图形对象；以及在一个用户选择了至少一个图形对象的情况下，在预定时间段内，防止至少一个其他用户选择所述至少一个图形对象。
28.如权利要求27所述的方法，其中，防止包括一旦所述一个用户做出了选择，则在所述预定时间段内使所述至少一个图形对象失活。
29.一种计算机可读介质，包含用于处理多用户交互式输入系统中的用户请求的计算机程序，所述计算机程序代码包括用于经由交互式输入系统的显示表面上定义的一个用户区域来接收执行动作的用户请求的程序代码；用于响应于接收所述用户请求，经由所述显示表面上的至少一个其他用户区域来提示输入的程序代码；以及用于在从所述至少一个其他用户区域接收到同意所述用户请求的输入的情况下，执行所述动作的程序代码。
30.一种计算机可读介质，包含用于处理多用户交互式输入系统中的用户输入的计算机程序，所述计算机程序代码包括用于在所述交互式输入系统的显示表面上，显示表示具有单一正确答案的问题的图形对象的程序代码；用于在所述显示表面上定义的至少两个用户区域上，显示所述问题的多个答案选项的程序代码；用于经由所述至少两个用户区域中的一个来接收对选项的至少一个选择的程序代码；用于确定所述至少一个选择的选项是否是单一正确答案的程序代码；以及用于根据所述确定来提供用户反馈的程序代码。
31.一种计算机可读介质，包含用于处理多用户交互式输入系统中的用户输入的计算机程序，所述计算机程序代码包括用于在所述交互式输入系统的显示表面上，显示多个图形对象的程序代码，每个图形对象与在所述显示表面上定义的至少一个相应区域具有预定关系；以及用于一旦将一个或多个图形对象移动到至少一个相应区域，则提供用户反馈的程序代码。
32.—种计算机可读介质，包含用于处理多用户交互式输入系统中的用户输入的计算机程序，所述计算机程序代码包括用于在所述交互式输入系统的显示表面上，显示多个图形对象的程序代码，每个图形对象与至少一个其他图形对象具有预定关系；以及用于一旦所述一个以上用户将所述图形对象放在所述至少一个其他图形对象的附近时，则提供用户反馈的程序代码。
33.一种计算机可读介质，包含用于处理多用户交互式输入系统中的用户输入的计算机程序，所述计算机程序代码包括用于在所述交互式输入系统的显示表面上显示第一图形对象的程序代码； 用于显示至少一个图形对象的程序代码，每个图形对象具有在所述第一图形对象内的预定目标位置；以及用于一旦至少一个用户将所述至少一个图形对象放在所述第一图形对象内的相应预定目标位置，则提供用户反馈的程序代码。
34.一种计算机可读介质，包含用于管理多用户交互式输入系统中的用户输入的计算机程序，计算机程序代码包括用于在所述交互式输入系统的显示表面上定义的多个用户区域的至少一个中，显示至少一个图形对象的程序代码；以及用于将与所述至少一个图形对象的用户交互限制到一个用户区域的程序代码。
35.一种计算机可读介质，包含用于管理多用户交互式输入系统中的用户输入的计算机程序，所述计算机程序代码包括用于在所述交互式输入系统的显示表面上，显示至少一个图形对象的程序代码；以及用于在一个用户选择了所述至少一个图形对象的情况下，在预定时间段内，防止至少一个其他用户选择所述至少一个图形对象的程序代码。
36.一种多触摸交互式输入系统，包括 显示表面；以及处理结构，所述处理结构与所述显示表面进行通信，所述处理结构响应于经由在所述显示表面上定义的一个用户区域接收执行动作的用户请求，经由所述显示表面上的至少一个其他用户区域来提示输入；以及在从所述至少一个其他用户区域接收到同意所述用户请求的输入的情况下，执行所述动作。
37.一种多触摸交互式输入系统，包括显示表面；以及处理结构，所述处理结构与所述显示表面进行通信，所述处理结构在所述显示表面上，显示表示具有单一正确答案的问题的图形对象；在所述显示表面上定义的至少两个用户区域上，显示对所述问题的多个答案选项；从所述至少两个用户区域中的一个接收对选项的至少一个选择；确定所述至少一个选择的选项是否与所述单一正确答案相匹配；以及根据所述至少一个选择来提供用户反馈。
38.一种多触摸交互式输入系统，包括显示表面；以及处理结构，所述处理结构与所述显示表面进行通信，所述处理结构在所述显示表面上，显示至少一个图形对象，每个图形对象与在所述显示表面上定义的至少一个相应区域具有预定关系；以及一旦将一个或多个图形对象移动到至少一个相应区域，则提供用户反馈。
39.一种多触摸交互式输入系统，包括显示表面；以及处理结构，所述处理结构与所述显示表面进行通信，所述处理结构在所述显示表面上，显示至少一个图形对象，每个图形对象与至少一个其他图形对象具有预定关系；以及一旦所述一个以上用户将所述图形对象放在所述至少一个其他图形对象的附近，则提供用户反馈。
40.一种多触摸交互式输入系统，包括显示表面；以及处理结构，所述处理结构与所述显示表面进行通信，所述处理结构将与所述至少一个图形对象的用户交互限制到所述至少一个用户区域。
41.一种多触摸交互式输入系统，包括显示表面；以及处理结构，所述处理结构与所述显示表面进行通信，所述处理结构响应于一个用户选择在显示表面上定义的至少一个用户区域中显示的至少一个图形对象，在预定时间段内， 防止至少一个其他用户选择所述至少一个图形对象。
全文摘要
一种用于处理多用户交互式输入系统中的用户请求的方法，包括从在交互式输入系统的显示表面上定义的一个用户区域接收执行动作的用户请求；以及经由至少一个其他用户区域来提示来自至少一个其他用户区域的输入。在从另一用户区域接收到同意该用户请求的输入的情况下，执行所述动作。
文档编号G06F3/042GK102187302SQ200980138576
公开日2011年9月14日 申请日期2009年9月28日 优先权日2008年9月29日
发明者彼得·克里斯蒂安·洛茨, 维克托·安东纽克, 爱德华·策, 埃里克·本纳, 帕特里克·魏因迈尔, 詹纳·皮普楚克, 塔科·万·艾依皮润, 凯瑟琳·朗丁 申请人:智能技术无限责任公司, 彼得·克里斯蒂安·洛茨, 维克托·安东纽克