专利名称：交互式大规模触摸面系统的制作方法
技术领域：
本发明一般涉及交互式输入系统，特别涉及大规模触摸系统以及 与其交互的方法。
背景技术：
在本领域中已知多种触摸系统，它们一般包括具有触摸面的触摸 屏，在触摸面上形成有触点，利用指针来产生用户输入。检测关于触 摸面的指针接触，并且基于形成这些触点的触摸面区域，将其用于产 生相应的输出。通常的触摸系统利用模拟电阻的、电磁的、电容的、 声学的或机器视觉来识别与触摸面的指针交互。例如，转让给本发明的受让人SMART Technologies有限公司、于 2001年7月5日提交并且于2002年1月10日以No.W002/03316公布 的国际PCT申请No.PCT/CA01/00980，其披露了一种基于摄像机的触 摸系统，具有包括无源触摸面的触摸屏，在无源触摸面上呈现计算机 产生的图像。矩形窗口或框架围绕该触摸面，并且在其角落上支撑多 个数字摄像机。数字摄像机具有重叠的包围和扫视触摸面的视图区域。 数字摄像机从不同的位置获取图像并且产生图像数据。由数字信号处 理器处理数字摄像机获取的图像数据，从而确定在所捕获的图像数据 中是否存在指针。当确定在所捕获的图像数据中存在指针时，数字信 号处理器将指针特征数据传送到主控制器，其依次处理指针特征数据， 从而利用三角测量在关于触摸面的(x， y)坐标系中确定指针的位置。 将指针坐标数据传送到运行一个或多个应用程序的计算机。该计算机 使用指针坐标数据来更新在触摸面上显示的计算机产生的图像。因此， 能够将触摸面上的指针触点记录为写或画，或者将其用于控制由计算 机执行的应用程序的运行。虽然上述触摸系统工作得非常好，但是因为每个摄像机的视图区 域设置为包括整个触摸面，所以摄像机分辨率对于所能形成的触摸系 统的尺寸具有极限。在多种环境下，例如在教学设施中，期望大规模教学系统，从而 能够为大群体进行可视显示。已经考虑由一系列并排安装的触摸面板 制造大规模触摸系统。虽然这种触摸系统提供了较大的触摸面，但是 由于包围触摸面的多个单独框架，所以这种触摸面不是连续的。同样， 从一个触摸面到另一触摸面跟踪指针运动是难以处理的和用户不友好 的。在Hill等的并被转让给本发明的受让人SMART Technologies有限 公司的序列号为No.10/750，219的美国专利申请中，披露了一种大规模 触摸系统，克服了上述提到的问题。这种大规模触摸系统包括分成多 个坐标输入子区域的触摸面。这些输入子区域交错来限定一个通常的 连续输入面。每个坐标输入子区域响应于其上的指针接触产生指针坐 标数据。处理指针坐标数据以更新再输入面上呈现的图像数据。当在 不与相邻坐标输入子区域重叠的坐标输入子区域上进行指针接触时，该坐标输入子区域处理所获取的图像以获得指针数据并且利用所获得 的指针数据来三角测量指针的位置，因而相对于触摸面确定指针接触 的位置。当在与相邻坐标输入子区域重叠的坐标输入子区域上进行指 针接触时，每个重叠的坐标输入子区域处理所获取的图像以获得指针 数据并且利用所获得的指针数据来三角测量指针的位置。此后，根据 定义的逻辑，处理由重叠的坐标输入子区域产生的三角测量位置，从 而相对于触摸面确定指针接触的位置。上述Hill等的大规模触摸系统提供了连续的触摸面，使其在由较 大的群体观看触摸面的情况中非常有效。然而增大触摸面的尺寸出现 了问题。可能出现用户不能容易的与触摸面物理交互的多种情况。例如，根据触摸面的尺寸和用户的实际尺寸和/或条件，用户可能不能达 到触摸面的上部区域。同样，可能出现多种情况，其中用户站到触摸 面的一侧，但需要与临近于触摸面的相对侧显示的图像内容交互。不 得不走到触摸面的相对侧而与触摸面交互是不方便的，并且可以导致 显示在触摸面上的图像中断或遮盖。此外，触摸面的尺寸可能使用户难于识别可视显示的对象，例如模型框(modal boxes)。如将理解地， 期望与这种大规模触摸系统交互的方法，使用户容易交互。因此，本方面的目的是提供一种新的大规模触摸系统以及与其交 互的方法。发明内容因此，在一个方面中，提供了一种在具有触摸面的大规模触摸系 统中便于用户与显示图像进行交互的方法，其中在所述触摸面上呈现所述显示图像，所述方法包括在用户可达到的位置处，在所述触摸面上显示至少部分所述显示图像的按比例縮放型式；和将按比例縮放型式映射到所述显示图像的相应部分，使得与按比 例縮放型式的用户交互转变为与所述显示图像的交互。在一个实施例中，在显示期间，在窗口内呈现整个显示图像的按 比例縮放型式。邻近于所述触摸面的下部放置所述窗口。窗口的位置 是用户可调整的。根据另一个方面，提供了一种在具有触摸面的大规模触摸系统中 便于用户与显示图像进行交互的方法，其中在所述触摸面上呈现所述 显示图像，所述方法包括在邻近用户可达到位置处，在所述触摸面上限定文本输入区域；检测被输入到所述文本输入区域中的文本；和在与所述文本输入区域间隔开的文本显示区域内，显示所检测的输入文本。在一个实施例中，邻近于所述触摸面的上部放置所述文本显示区 域，并且邻近于所述触摸面的下部放置所述文本输入区域。文本输入 区域和文本显示区域的位置是用户可调整的。根据又一个方面，在具有触摸面的大规模触摸系统中，提供了一 种对出现在所述触摸面上的显示对象进行定位的方法，包括 追踪相对于所述触摸面的用户的移动；和 紧邻所述用户来放置一个或多个显示对象。在一个实施例中，通过监控最后的触摸输入位置来追踪用户的位 置。紧邻于该最后触摸输入位置呈现显示对象。在可替换的实施例中，追踪包括捕获围绕触摸面的区域的图像， 并且处理所捕获的图像，从而确定相对于所述触摸面的所述用户的位 置。还可以检测投射到触摸面上的阴影，使得显示对象呈现在邻近所 述用户以及在所检测阴影外部的所述触摸面上。根据再一个方面，提供了一种在具有触摸面的大规模触摸系统中 便于用户与显示图像进行交互的方法，其中在所述触摸面上呈现所述 显示图像，所述方法包括高亮显示至少一个需要用户交互的显示对象，以提供关于所述至 少一个显示对象的存在的强烈视觉反馈。在一个实施例中，至少一个显示对象是模型框，并且高亮显示包 括应用覆盖层到显示图像。覆盖层在其中具有一般对应于模型框尺寸 的开口，并且覆盖层被着色以与模型框对比清晰，从而高亮显示模型 框。在一个可选择的实施例中，高亮显示包括显示围绕模型框的多个 同心环。根据再一个方面，提供了一种在具有触摸面的大规模触摸系统中 便于用户与显示图像进行交互的方法，其中在所述触摸面上呈现所述 显示图像，所述方法包括在用户可达到的位置处，在所述触摸面上再现至少一个所述显示 图像区域；和将再现区域映射到所述显示图像的相应部分，使得与再现区域的 用户交互转变为与所述显示图像的相应部分的交互。在一个实施例中，至少一个区域是显示图像的上部区域。邻近显 示图像的底部，再现显示图像的所述上部区域。邻近触摸面的每侧， 还再现显示图像的相对侧部分。根据再一个方面，提供了一种在具有触摸面的大规模触摸系统中 便于用户与显示图像进行交互的方法，其中在所述触摸面上呈现所述 显示图像，所述方法包括在所述触摸面上显示鼠标对象；检测在所述鼠标对象内的所述触摸面上的指针交互；和 以避免输入焦点被移动到所述鼠标对象的方式，来处理对应于所 述指针交互的鼠标事件。在处理期间，将鼠标事件注入到触摸系统操作系统的鼠标事件队 列。鼠标对象可以包括一个或多个按钮。在一个实施例中，鼠标对象 是固定的并且与鼠标垫类似。在另一个实施例中，响应于与触摸面的 指针交互，鼠标对象在触摸面上是可移动的。根据再一个方面，提供一种触摸系统，包括-其上呈现图像的大规模触摸面；至少两个成像设备，扫视所述触摸面并具有重叠的视图区域；和 处理结构，与所述成像设备通讯并处理由所述成像设备获取的图像数据，以使用三角测量确定在所述触摸面上的指针接触，所述处理 结构进一步执行至少一个应用程序以使用户易于与所述触摸面进行用 户交互。这些交互方法提供的优点在于，虽然大部分触摸面可能在用户物 理达到的范围之外，但是用户也能够与触摸面的整个显示区域进行交 互。通过不用使用户移动到不方便的位置与触摸面进行交互，这些方 法还便于进行用户交互，并且确保需要用户立即注意的显示对象被清 楚可视的显示在触摸面上。
现在将参照附图更全面的描述实施例，其中图1是大规模触摸系统的前平面图，该大规模触摸系统包括伸长矩形的、 一般连续的触摸面，该触摸面分为一系列坐标输入子区域； 图2是图1的触摸系统的示意框图； 图3是图1的大规模触摸系统的另一个前平面视图； 图4是图1的大规模触摸系统的前平面图，示出了在按比例縮放桌面应用程序的执行期间显示的按比例縮放的桌面窗口；图5a到5e是部分触摸面的前平面视图，示出了在文本输入应用程序执行期间显示的文本输入窗口和上部文本显示区域；图6是触摸面的前平面视图，示出了一个高亮显示的模型框； 图7是触摸面的前平面视图，示出了屏上鼠标应用程序执行期间显示的鼠标对象；图8a到8c是触摸面的附加前平面视图，示出了鼠标对象；图9a和9b是流程图，示出了屏上鼠标应用程序执行期间处理鼠标事件时的步骤；图IO是触摸面的前平面视图，示出了在相关鼠标垫应用程序执行期间显示的相关鼠标垫；图lla和llb是该相关鼠标垫的附加前平面视图。
具体实施方式
现在转向图1和2，示出了并一般由附图标记100标识了在Hill 等2004年1月2日提交的、被转让给本发明的受让人SMART Technologies有限公司的美国专利申请No.10/750,219中所述的大规模 触摸系统，该美国专利申请No.10/750,219的内容通过引入被并入于此。 触摸系统IOO包括由照明窗口 (bezel) 104围绕的、伸长的并且通常为 矩形的和连续的触摸面102。照明窗口 104提供红外背光穿过触摸面 102。多个摄像机组106与触摸面102相关联，在这个实施例中是三个 摄像机组106。这些摄像机组沿着触摸面102的长度放置。每个摄像机 组106包括布置成限定矩形的角的四个摄像机。每组106的摄像机具 有被定位为扫视部分触摸面102的重叠的视图区域，从而限定触摸或 坐标输入子区域。因此，在本实施例中，摄像机组106分别限定了一 系列的三个并排的坐标输入子区域CIR!、 CIR2和CIR3。还定位这些摄 像机的视图区域，使得由相邻摄像机组限定的坐标输入子区域重叠， 来分别限定两个过渡带TZ^和TZ2/3。每个摄像机组106与主控制器108通信。每个主控制器108处理 从其相关的摄像机组106中接收的指针特征数据，从而利用三角测量 在(x， y)坐标系中来确定出现在由摄像机捕获的图像上的指针位置。 主控制器108将指针坐标数据传送到计算机110，允许计算机110将指 针坐标数据记录为写或画，或者将指针坐标数据用作鼠标事件，以控 制由计算机110执行的应用程序的运行。计算机110提供图像数据给 一系列投影仪P,到P3，投影仪到P3依次将图像投射到触摸面102。 计算机110响应于接收到的指针坐标数据，更新图像数据，使得投射 到触摸面102上的图像反映了指针的活动。每个投影仪与不同的坐标输入子区域相关联，并且在其上投射图 像。如可看到的，投影仪P,投射图像^到坐标输入子区域CIRi上，投影仪P2投射图像12到坐标输入子区域CIR2上，以及投影仪P3投射图 像13到坐标输入子区域CIR3上。对齐投影图像Ip 12和13，并且将它们沿着一般在过渡带TZ^和TZ2/3的中点处的垂直线无缝连接，从而 提供平滑且连续的图像横跨触摸面102。在本实施例中，计算机110执 行桌面应用程序。每个坐标输入子区域相关于且绑定到特定的桌面部 分。因此，计算机110将图像数据提供到投影仪Pi到P3，从而在这些 坐标输入子区域上显示适当的桌面部分。工具盘112还与每个坐标输入子区域相关联。每个工具盘112保 持多个具有不同指定属性的指针或工具(未示出)。在这个例子中， 每个工具盘保持多个着色笔或一个橡皮擦。当从工具盘中提取工具时， 工具盘112提供信号给相关的主控制器108，主控制器108又将该信号 传送到计算机110以识别所选工具。这样，当使用着色笔与触摸面102 接触时，将追踪笔运动的以适当颜色的笔迹投射到触摸面。当使用橡 皮擦与触摸面102接触时，擦除投射到在其上移动橡皮擦的触摸面上 的笔迹。如己知地，可以调节桌面应用程序来为用于接触每个坐标输 入子区域的指针指定特性。使用在坐标输入子区域的对角处的摄像机之间延伸的对角线，将 每个坐标输入子区域分为四个象限。在每个象限内允许指针追踪的图像捕获是响应于在组中的不同摄像机对。顶部象限QT是组中的底部左 侧和底部右侧摄像机的响应，底部象限QB是组中的顶部左侧和顶部右侧摄像机的响应，左侧象限Q"是组中的顶部左侧和底部左侧摄像机的 响应，以及右侧象限(^是组中的顶部右侧和底部右侧摄像机的响应。当指针接触于在过度带外的一个坐标输入子区域内的象限时，在 Morrison等的、被转让给本发明的受让人SMART Technologies有限公 司的美国专利No.US6,954,197所述的方法中，通过摄像机和相关的主 控制器108来处理由指定给那个象限的摄像机对所捕获的图像，美国 专利No.US6，954,197的内容通过引入并入于此。这样，确定围绕指针触点的边界框，允许计算关于坐标输入子区域在(X， y)坐标系中的 指针的位置。因此，在这种情况下，仅有一个主控制器108将指针坐 标数据报告给计算机110。如果指针接触是一个写事件，那么计算机iio依次将指针坐标数据记录为写或画，或者如果指针接触是一个鼠标事件，那么计算机110把指针坐标数据注入到正在由计算机110运行的有效应用程序。通常为确定指针接触是写入还是鼠标事件，检查工具类型和第一 接触点。如果使用画工具进行接触并且该接触在投射的桌面部分内的指定写区域中，那么将该指针接触视为写事件；否则将该指针接触视 为鼠标事件。当指针在过渡带内接触触摸面102时，与观察该过渡带的两个摄 像机组相关的主控制器108以上面涉及的相同方式产生指针坐标，并 且将所产生的指针坐标传送到计算机110。 一旦接收到两个报告的指针 坐标，计算机110就使用定义的逻辑，在这种情况下是加权平均技术， 来产生表示指针接触位置的单独的(x， y)坐标对。如果指针接触是 一个写事件，计算机110依次将指针坐标数据记录为写或画，或者如 果指针接触是一个鼠标事件，那么计算机110把指针坐标数据注入到 正在由计算机110运行的有效应用程序。当用户与触摸面交互时，由于触摸面的尺寸，所以用户需要与其 交互的显示对象可能在用户达到的范围之外，要求用户移动通过触摸 面的前方，到达接近于显示对象的位置。由于可能中断所投射的图像 或者遮盖触摸面的视图，所以这必然是有问题的。由于触摸面102的 尺寸，所以也可能难于看到显示对象。为了克服这个问题，可以借助多种不同的交互方法来使用户容易 的与大规模触摸面102交互。现在将说明由大规模触摸系统102支持 的交互方法。按比例縮放的桌面如上所述，在很多情况下，用户必须与其交互的显示图像部分在 用户达到的范围之外。为了解决这个问题，可以响应于相关的输入动 作(gesture)，调用存储在计算机110中的按比例縮放桌面应用程序。 例如，输入动作可以要求用户使用两根并在一起的手指接触触摸面102 并且随后通常在相反方向上水平的移动分开手指。可选择地，输入动 作可以要求用户使用一根手指接触触摸面102并且随后通常在短时限 内水平的前后移动手指。当调用按比例缩放桌面应用程序时，在临近于输入动作的位置处 或者如图4所示的触摸面的适当的下部处的小窗口 200内，显示被投 射到触摸面102上的整个图像的按比例縮放型式。在这个例子中，窗 口 200大约是一平方英尺，并且临近于用户容易接近的位置处的触摸 面102的底部边缘进行显示。当用户希望与呈现在触摸面102上的显 示图像交互时，用户仅需要与在窗口 200中的显示图像的按比例縮放 型式进行交互。将与窗口 200中的縮小图像的接触和交互映射到被投 射于触摸面102上的较大图像中。这样，为了与触摸面的整个区域交 互，仅要求用户与窗口 200内的小区域进行交互。通过直角坐标变换， 获得从窗口 200到触摸面的映射。假定触摸面102具有尺寸SW和SH， 而在TX和TY处的窗口 200具有尺寸TW和TH，能够将窗口 200中 的坐标X、 Y如下映射到触摸面坐标SX=(TX-X)/TWxSWSY=(TY-Y)/THxSH如将理解地，按比例縮放桌面应用程序使用户容易与整个触摸面 102交互，所述整个触摸面102包括一般在用户所达到范围之外的多个 触摸面102的区域。文本输入当用户在投射图像内与指定写区域进行交互时，用户可以调用存储在计算机110中的文本输入应用程序，从而使得用户将文本放入在 难于达到的位置处的指定写区域内。响应于用户输入命令来调用文本输入应用程序，文本框窗口 250打开并出现在触摸面102的下部底角 附近。文本框250链接到触摸面102上边缘附近的上部文本显示区域 252。当将字符写入到文本框窗口 250中并通过鼠标命令键入时，计算 机110识别写入的字符，将其注入到文本显示区域252并且呈现在显 示在触摸面102上的图像内。图5a到5e利用注入到上部文本显示区域 250的字符"h" 、 "e" 、 "1" 、 "1"和"o"示出了文本框窗口 250。 用户能够操纵文本框窗口 250的位置，允许将文本框窗口 250放置在 触摸面102上的基本任何期望的位置处。同样的，用户能够操纵被链 接到文本框窗口 250的文本显示区域252，从而允许将其放置在触摸面 102上的基本任何期望的位置处。智能显示对象的确定由于不是所有的触摸面区域对用户来说是立即可达到的，所以例 如工具栏、弹出窗口等在触摸面102上的显示对象的位置是重要的。 为了有助于确保显示对象显示在方便的位置处，触摸系统100可以使 用多种用于智能显示对象的方法。用于智能显示对象的多种方法是基于相对于触摸面102的用户位 置的。这样，随着用户相对于触摸面102移动，那么显示对象的位置 也移动，有助于确保显示对象仍在触摸面102上的便于达到的位置处。在一个实施例中，当一个显示对象呈现在触摸面102上时，考虑 到触摸面边缘的位置和例如窗口和工具栏的其它显示对象，该显示对 象出现在接近于通过触摸面102输入的最后鼠标事件的位置处。在这 种情况下，假定用户一般在与触摸面102的鼠标交互之间不移动很大 的距离。在另一个实施例中，利用摄像机C的扩展视图区域。对于被处理以检测与触摸面102的指针交互的、由摄像机捕获的图像还被处理， 从而定位相对于触摸面102的用户位置。由摄像机査看的用户位置随 后用于确定显示对象的位置，使得显示对象出现在接近用户的位置处。 然而，由于要求用户停留在摄像机的视图区域内，所以使用摄像机的 扩展视图区域是受限制的。在又一个实施例中，使用辅助独立摄像机(未示出)或位于触摸 面102的前面或后面的具有内置辅助摄像机的投影仪，来捕获图像， 计算机110处理该图像以检测相对于触摸面102的用户位置。辅助摄 像机可以是一个用于视频会议或安全目的的摄像机。由辅助摄像机查 看的用户位置用于确定显示对象的位置，使得显示对象出现在接近于 用户的位置处。这允许显示对象追踪用户的移动。如果期望，可以进 一步处理由辅助摄像机捕获的图像，以检测投射在触摸面102上的阴 影，以及在接近于用户且在投射阴影外侧的位置处，在触摸面102上 呈现显示图像。模型框显示由于触摸面102是大的，所以可能难于视觉检测在触摸面102上 呈现的一些显示对象。根据显示对象的种类，不能看到这些显示对象 可能造成用户失败感(frustration)。例如，当显示一个模型框时，禁 止用户与在计算机110上运行的应用程序进行交互，直到答复了该模 型框。如果用户没有意识到该模型框的存在，随着用户与已不期望的 变为失效的应用程序进行交涉，可能导致失败感。为了帮助用户视觉 识别模型框等，当在触摸面102上出现模型框300时，触摸面102上 还出现暗部覆盖层(dark overlay) 302，触摸面102具有在其上剪切的 在尺寸和形状上对应于模型框的孔，如图6所示。覆盖层302还可以 包括多个孔，用于子对话框、工具提示和其它图形信息，这些孔可能 需要对用户来说是看见的，使用户能够答复模型框300。覆盖层302提 供强烈的视觉反馈给用户，从而确保在触摸面102上容易识别模型框 300。由在计算机110上运行的监听应用程序来检测在触摸面102上的模型框300的出现。当用户利用模型框答复时，立刻消除覆盖层302。 如果期望，当一个模型框出现在触摸面102上时，使用上述一个智能 显示对象的方法，可以在触摸面上邻近用户位置的区域处显示该模型框。可选择的，可以使用不同的视觉反馈来高亮显示模型框。例如， 可以通过出现类似于雷达"脉冲信号(ping)"的围绕模型框的收縮直 径的同心圆，来高亮显示所显示的模型框的出现。语音识别如果期望，触摸系统100可以使用语音识别来允许用户使用语音 命令与触摸面102进行交互。在此，计算机110执行XP语音识别软件。 还提供连接到计算机110的扩音器(未示出)来拾取用户输入语音命 令。为了简化菜单选择，提供能够下拉的语音命令菜单，允许用户读 出要输入的适当的语音命令。这样，通过语音输入，可以打开、关闭 和操作文件，避免了对用户与整个触摸面102进行物理交互的需要。 还能够输入语音命令以控制投影仪P,到P3或改变用于输入触摸指令的 工具种类(即，笔或橡皮擦)。在这个实施例中，通过特定的触摸指令，动态地使得语音识别有 效和失效，从而允许运行在触摸系统100附件的讨论，而不会因疏忽 而启动语音命令。智能鼠标当在个人计算机等上使用鼠标时，鼠标具有悬浮模式，其允许用 户确定何时在目标显示对象上放置鼠标。这使用户易于与显示对象交 互。通常在触摸系统中并且特别是在大规模触摸系统100中不幸的是， 丢失了鼠标的位置反馈，使用户难于确定何时在目标显示对象上放置鼠标。为了应对这种反馈的丢失，可以为支配计算机iio执行智能鼠标应用程序。当接收到鼠标向下事件时，检查鼠标向下事件的位置以确 定鼠标向下事件是否最接近于可行目标显示对象。在这个例子中，最 接近的可行目标显示对象是被定位在鼠标向下事件的5个像素内的对 象。如果鼠标向下事件接近一个可行目标显示对象，那么鼠标向下事 件自动移动到该可行目标显示对象的位置，并且显示光标移动到该目 标显示对象的位置。根据显示对象的种类，能够或不能将光标锁定到 显示对象。例如，如果鼠标事件邻接于窗口边界，那么由于假定鼠标 向下事件将调整窗口大小，所以不将光标锁定到窗口边界。当鼠标的 位置从目标显示对象移动到超出阈值距离时，解除鼠标向下事件和光 标。屏上(onscreen)控制也能够调整大规模触摸系统100来调用大量屏上控制应用程序中 的一个或多个，以使用户易于与难于达到的触摸面102的区域进行交 互。这些屏上控制应用程序包括绝对镜像模式应用程序、相关鼠标垫 应用程序、屏上鼠标应用程序和相关鼠标应用程序。当调用屏上鼠标应用程序时，鼠标对象350出现在接近于触摸面 102的底部，如图7所示。鼠标对象350类似于标准鼠标，并且分别具 有右、左和中间按钮352到356。当指针在鼠标对象350的主体358上 接触时，通过在触摸面102上拖拽指针能够移动鼠标对象，导致在触 摸面上光标的相应移动。这允许用户在触摸面102上的任何期望位置 处放置光标。当在右、左或中间按钮上进行指针接触时，产生基于与 触摸面102相关的光标位置的右击、左击和中击鼠标事件。如果用户将鼠标对象350拖拽到显示图像的边界并且丢失指针与 鼠标对象间的接触，那么鼠标对象350模仿常规鼠标垫的重回中心的行为，自动回到中心位置。如果作为左击操作的结果执行拖拽操作并 发生自动重回中心，那么当鼠标对象350重回中心时左击操作保持锁 定，以允许拖拽操作继续。如果用户使用指针执行点击操作并拖拽鼠标对象，那么鼠标对象350保持固定，并且光标在追踪指针的移动的鼠标对象的边界内移动。为了避免与显示的鼠标对象350接触而影响计算机操作系统的鼠 标和妨碍操作系统窗口输入焦点，将由与鼠标对象的指针交互导致的 鼠标事件注入到操作系统鼠标队列，从而禁止输入焦点移动到鼠标对 象。这通过与在美国专利No.6，741，267中所述的类似方式来完成，van leperen的、转让给本发明的受让人SMART Technologies有限公司的美 国专利No.6，741，267的内容通过引用被并入于此。例如，图8a示出了鼠标对象350，其中在鼠标对象的主体358上 进行指针接触并且将指针拖拽到左侧，导致鼠标对象350在触摸面102 上移动到左侧。图8b示出了鼠标对象350，其中在鼠标对象的主体358 上进行指针接触并且将指针拖拽到右上侧，导致鼠标对象350在触摸 面102上移动到右上侧。图8c示出了鼠标对象350，其中在左按钮352 上进行指针接触并且向上拖拽指针到左侧，导致到左上侧的拖拽操作。图9a和9b是示出了处理鼠标对象事件的方法的流程图。当在触 摸面102上进行指针接触时，检査确定在鼠标对象内是否发生指针接 触(步骤500)。如果是，就检查鼠标对象以确定其是否在鼠标下降条 件中(步骤502)。如果是，就设定鼠标标记(步骤504)并且将该接 触事件发送到屏上鼠标应用程序，使得能够如将说明的那样处理鼠标 接触(步骤506)。如果鼠标对象不在鼠标下降条件中，那么清除鼠标 标记(步骤508)并且将该鼠标事件发送到操作系统鼠标队列(步骤 510)。在步骤500，如果接触事件发生在鼠标对象的外部，进行检查确定是否设定了鼠标标记(步骤512)。如果不是，就将该鼠标事件发送到 操作系统鼠标阵列(步骤510)。如果设定了鼠标标记，就将该鼠标事件发送到用于处理的屏上鼠标应用程序(步骤514)。当将鼠标事件发送到屏上鼠标应用程序时，检査该接触事件以确定其类型(步骤520)。如果接触事件是向上接触(contactup)事件， 那么测量向上接触事件的x、 y坐标(步骤522)，并且将该向上接触 事件发送到操作系统鼠标队列(步骤528)。如果接触事件是鼠标移动事件，那么测量鼠标移动的x、y坐标(步 骤526)，并且将该鼠标移动事件发送到操作系统鼠标阵列(步骤528)。如果接触事件是鼠标向下事件，那么保存指针接触的位置(步骤 530)，并且检查在其上进行鼠标接触的鼠标对象的区域(步骤532)。 如果接触左按钮，那么产生左按钮向下和左按钮向上事件(步骤534 和536)。随后测量指针接触的x、 y坐标(步骤538)，并且将该左 击鼠标事件发送到操作系统鼠标阵列(步骤540)。如果接触右按钮， 那么产生右按钮向下和右按钮向上事件(步骤542和544)。随后测量 指针接触的x、 y坐标(步骤538)，并且将该右击鼠标事件发送到操 作系统鼠标阵列(步骤540)。如果接触中间按钮，那么产生中间按钮 向下和中间按钮向上事件(步骤550和552)。随后测量指针接触的x、 y坐标(步骤538)，并且将该中击鼠标事件发送到操作系统鼠标阵列 (步骤540)。如果接触鼠标主体，那么产生鼠标移动事件(步骤560 和562)。随后测量指针接触的x、 y坐标(步骤538)，并且将该鼠 标移动事件发送到操作系统鼠标阵列(步骤540)。当调用相关鼠标垫应用程序时，鼠标垫对象600出现在邻近于触 摸面102的底部，如图10中所示。鼠标垫对象600与膝上型计算机上 的鼠标垫相似，并且包括左按钮602、右按钮604和中间按钮606以及 敲击输入区域608。当用户利用指针来敲击输入区域608时，利用指针移动来在触摸面102上移动光标。当在左、右或中间按钮上进行指针 接触时，产生基于与触摸面相关的光标位置的右击、左击和中击鼠标 事件。以与上述参照屏上鼠标应用程序类似的方式处理鼠标事件。例如，图11a示出了鼠标垫对象600，其中在输入区域608上进行指针接 触，并且在输入区域上拖拽指针。这导致光标在触摸面102上的指针 运动方向上移动。指针拖拽越远，光标移动越快。图llb示出了鼠标 垫对象600，其中在右按钮604上进行指针接触。响应于显示在触摸面102底角处的触发按钮的启动，调用绝对镜 像模式应用程序。当启动触发按钮并调用绝对镜像模式时，邻近于触 摸面102顶部边缘的显示图像部分被再现和镜像到邻近于触摸面102 的底部边缘。使用三角坐标变换，将再现显示图像部分映射到其相应 的显示图形部分。当用户在再现显示图像部分内接触触摸面时，将该 接触映射到其相应的触摸面102部分，允许用户容易的与触摸面顶部 进行交互。如果响应于用户接触而更新显示图像，那么在邻近于触摸 面底部出现的再现显示图像部分中，重新刷新发生在显示图像顶部的 更新。如果触摸面102的相对侧显示不同的用户可交互对象，那么可 以镜像触摸面的这些侧。当调用相关鼠标应用程序时，当在触摸面上进行接触时，将初始 接触视为光标的参考点。每个与触摸面的后续接触导致光标在接触方 向上从先前的光标位置移动设定的距离。通过进行连续稳定的接触产 生鼠标点击。以上说明了多种工具使用户易于与大规模触摸系统进行交互。本 领域技术人员将理解，大规模交互触摸系统可以包括上述交互工具的 任一种或不同的组合。虽然已经参照
了实施例，但是本领域技术人员也将理解， 可以进行变化和修改，而不脱离如所附权利要求书所限定的精神和范围。
权利要求
1.一种在具有触摸面的大规模触摸系统中便于用户与显示图像进行交互的方法，其中在所述触摸面上呈现所述显示图像，所述方法包括在用户可达到的位置处，在所述触摸面上显示至少部分所述显示图像的按比例缩放型式；以及将该按比例缩放型式映射到所述显示图像的相应部分，使得与该按比例缩放型式的用户交互转变为与所述显示图像的交互。
2. 根据权利要求l的方法，其中在显示期间，在窗口内呈现整个显示图像的按比例縮放型式。
3. 根据权利要求2的方法，其中邻近于所述触摸面的下部放置所 述窗口 。
4. 根据权利要求3的方法，其中所述窗口的位置是用户可调整的。
5. —种在具有触摸面的大规模触摸系统中便于用户与显示图像进 行交互的方法，其中在所述触摸面上呈现所述显示图像，所述方法包 括在邻近用户可达到位置处，在所述触摸面上限定文本输入区域； 检测被输入到所述文本输入区域中的文本；以及 在与所述文本输入区域间隔的文本显示区域内，显示所检测的输 入文本。
6. 根据权利要求5的方法，其中邻近于所述触摸面的上部放置所 述文本显示区域。
7. 根据权利要求6的方法，其中邻近于所述触摸面的下部放置所述文本输入区域。
8. 根据权利要求7的方法，其中所述文本输入区域和文本显示区 域中的至少一个的位置是用户可调整的。
9. 根据权利要求8的方法，其中所述文本输入区域和文本显示区域中的每个的位置是用户可调整的。
10. —种在具有触摸面的大规模触摸系统中对呈现在所述触摸面 上的显示对象进行定位的方法，该方法包括追踪用户相对于所述触摸面的移动；以及 紧邻所述用户放置一个或多个显示对象。
11. 根据权利要求10的方法，其中通过监控最后的触摸输入位置 来追踪用户的位置，紧邻该最后触摸输入位置来呈现显示对象。
12. 根据权利要求10的方法，其中所述追踪包括捕获围绕所述 触摸面的区域的图像，并且处理所捕获的图像，从而相对于所述触摸 面来确定所述用户的位置。
13. 根据权利要求12的方法，其中所述处理进一步包括检测投 射到所述触摸面上的阴影，邻近所述用户且在所检测的阴影外部，显 示对象呈现在所述触摸面上。
14. 一种在具有触摸面的大规模触摸系统中便于用户与显示图像 进行交互的方法，其中在所述触摸面上呈现所述显示图像，所述方法 包括高亮显示需要用户交互的至少一个显示对象，以提供关于所述至 少一个显示对象的存在的强烈视觉反馈。
15. 根据权利要求14的方法，其中所述至少一个显示对象是模型框。
16. 根据权利要求15的方法，其中所述高亮显示包括应用覆盖 层到所述显示图像，所述覆盖层在其中具有通常对应于所述模型框尺 寸的开口，并且所述覆盖层被着色以与所述模型框对比清晰，从而高 亮显示所述模型框。
17. 根据权利要求15的方法，其中所述高亮显示包括显示围绕 所述模型框的多个同心环。
18. —种在具有触摸面的大规模触摸系统中便于用户与显示图像进行交互的方法，其中在所述触摸面上呈现所述显示图像，所述方法包括在用户可达到的位置处，在所述触摸面上再现所述显示图像的至 少一个区域；以及将该再现区域映射到所述显示图像的相应部分，使得与该再现区 域的用户交互转变为与所述显示图像的相应部分的交互。
19. 根据权利要求18的方法， 图像的上部区域。
20. 根据权利要求19的方法，现所述显示图像的所述上部区域。
21. 根据权利要求20的方法， 所述显示图像的相对侦U部分。其中所述至少一个区域是所述显示其中邻近所述显示图像的底部，再其中邻近所述触摸面的每侧，再现
22. —种在具有触摸面的大规模触摸系统中便于用户与显示图像 进行交互的方法，其中在所述触摸面上呈现所述显示图像，所述方法包括在所述触摸面上显示鼠标对象；检测在所述鼠标对象内的所述触摸面上的指针交互；以及 以避免输入焦点被移动到所述鼠标对象的方式，来处理对应于所 述指针交互的鼠标事件。
23. 根据权利要求22的方法，其中所述处理包括将鼠标事件注入 到触摸系统操作系统的鼠标事件队列。
24. 根据权利要求23的方法，其中所述鼠标对象包括至少一个按钮。
25. 根据权利要求24的方法，其中所述鼠标对象是固定的并且与 鼠标垫类似。
26. 根据权利要求24的方法，其中响应于与所述触摸面的指针交 互，所述鼠标对象在所述触摸面上是可移动的。
27. —种触摸系统，包括 其上呈现图像的大规模触摸面；至少两个成像设备，扫视所述触摸面并具有重叠的视图区域；以及处理结构，与所述成像设备进行通讯并处理由所述成像设备获取 的图像数据，以利用三角测量来确定在所述触摸面上的指针接触，所 述处理结构进一步执行至少一个应用程序以便于用户与所述触摸面进 行用户交互。
28. 根据权利要求27的触摸系统，其中所述至少一个应用程序是 按比例縮放桌面应用程序，在所述桌面应用程序运行期间，所述处理 结构使所述图像的按比例縮放型式呈现在较小窗口中，将所述较小窗口映射到所述触摸面，以使用户能够通过所述较小窗口内的指针接触 来与所述触摸面进行交互。
29. 根据权利要求27的触摸系统，其中所述至少一个应用程序是文本输入应用程序，在所述文本输入应用程序运行期间，所述处理结 构使文本输入区域呈现在所述触摸面上，所述文本输入区域链接到与 所述文本输入区域间隔开的、所述触摸面的文本显示区域，在其中通 过指针接触而被输入到所述文本输入区域的文本被注入并显示在所述文本显示区域内。
30. 根据权利要求27的触摸系统，其中所述至少一个应用程序是 用户追踪应用程序，在所述用户追踪应用程序运行期间，所述处理结 构追踪所述用户的移动，并且使所述图像内的对象在紧邻所述用户的 位置处显示。
31. 根据权利要求27的触摸系统，其中所述至少一个应用程序是 对象高亮显示应用程序，在所述高亮显示应用程序运行期间，所述处 理结构以可视的方式来高亮显示所选择的显示对象，使得所述被选择 的显示对象是视觉上明晰的。
32. 根据权利要求27的触摸系统，其中所述至少一个应用程序是 显示图像镜像应用程序，在所述显示图像镜像应用程序运行期间，在 用户可达到的位置处，所述处理结构再现所述显示图像的至少一部分， 所述再现部分被映射到所述显示图像的相应部分。
33. 根据权利要求27的触摸系统，其中所述至少一个应用程序是 鼠标对象应用程序，在所述鼠标对象应用程序运行期间，所述处理结 构在所述触摸面上显示鼠标对象以及检测在所述鼠标对象上的指针交 互，并且在避免输入焦点移动到所述鼠标对象的同时处理所产生的鼠 标事件。
全文摘要
一种触摸系统(100)，包括其上呈现图像的大规模触摸面(102)和至少两个成像装置(C<sub>0</sub>到C″<sub>3</sub>)，所述成像装置(C<sub>0</sub>到C″<sub>3</sub>)扫视触摸面并具有重叠的视图区域。处理结构(108、110)与成像装置进行通讯并处理由成像装置获得的图像数据，从而利用三角测量法来确定在触摸面上的指针接触。处理结构进一步执行至少一个应用程序，以便于用户与触摸面进行交互。还披露了与触摸面进行交互的方法。
文档编号G06F3/01GK101278251SQ200680023417
公开日2008年10月1日 申请日期2006年5月2日 优先权日2005年5月2日
发明者塔科·万艾依皮润, 塞尔格维·维都文, 尼尔·柏克凯, 斯格特·塔尔曼, 罗伯托·西罗蒂克, 谢恩·爱德华·比尔, 道格拉斯·希尔, 香农·帕特里夏·古德曼, 马克·弗莱彻, 马里林·威廉 申请人:智能技术无限责任公司