专利名称：交互式输入系统和方法
技术领域：
本发明涉及一种交互式输入或触摸系统和方法。
背景技术：
触摸系统在本领域中众所周知，并且大体地包括触摸屏或具有触 摸表面的面板，在触摸表面上使用指示器进行接触使得生成用户输入。 与触摸表面的指示器接触被检测并且用于根据进行接触的触摸表面的 区域生成相应的输出。通用触摸系统利用模拟电阻、电磁、电容性、 声学或者机器视觉来识别与触摸表面的指示器交互。
例如，转让给本申请的受让人SMART技术公司的于2001年7月5日
提交并且以No.WO 02/03316在2002年1月10日公布的国际PCT申请
No.PCT/CA01/00980公开了一种基于摄像机的触摸系统，包括限定了触
摸表面的触摸屏，在该触摸表面上呈现计算机生成的图像。根据本申
请，正面或者背面投影设备可以用于投射在触摸表面上可见的图像。
矩形边框或框环绕触摸表面并且在其拐角支撑广角数字摄像机。数字 摄像机具有包围并且大体地从不同视点扫视整个触摸表面的重叠视
场。数字摄像机获得扫视触摸表面的图像并生成图像数据。通过数字 摄像机获得的图像数据由数字信号处理器处理以确定指示器是否存在 于所捕获的图像数据中。当确定指示器存在于捕获的图像数据中时， 数字信号处理器向主控制器传送指示器特性数据，主控制器进而处理 指示器特性数据以使用三角测量确定指示器在(x， y)坐标系中相对 于触摸表面的位置。指示器坐标数据被传送到执行一个或多个应用程 序的计算机。计算机使用指示器坐标数据以更新呈现在触摸表面上的 计算机生成的图像。因此，在触摸表面上的指示器接触可以被记录为 写或画，或者用于控制由计算机执行的应用程序的执行。在许多环境中，诸如在教学机构中，需要大规模触摸系统，使得 可以对大群体进行可见演示。为了满足这种需要，已经开发了如在Hill
等人的序列号为No.lO/750，219并且转让给本主题申请的受让人SMART
技术公司的美国专利申请中所公开的一种大规模触摸系统。该大规模 触摸系统包括具有多个输入子区域的触摸面板。输入子区域重叠以限 定大体不间断的输入表面。每个坐标输入子区域包括一组广角数字摄 像机，所述广角数字摄像机具有扫视输入表面的相关联部分的不同视 点。每个输入子区域处理由数字摄像机捕获的图像数据，并且响应于 在输入表面的相关联部分上的指示器接触而生成指示器坐标数据。指 示器坐标数据被处理以更新呈现在输入表面上的图像数据。当在与邻 近的坐标输入子区域不重叠的坐标输入子区域上进行指示器接触时， 坐标输入子区域处理获得的图像以导出指示器数据，并且使用所导出 的指示器数据对指示器的位置进行三角测量，从而相对于输入表面确 定指示器接触的位置。当在与邻近的坐标输入子区域重叠的坐标输入 子区域上进行指示器接触时，每个重叠的坐标输入子区域处理获得的 图像以导出指示器数据，并且使用所导出的指示器数据对指示器的位 置进行三角测量。此后，由重叠的坐标输入子区域生成的经三角测量 的位置根据定义的逻辑来处理，由此相对于输入表面确定指示器接触 的位置。
虽然以上触摸系统运行极其好，但是随着触摸表面的尺寸增加而 产生了分辨率问题。通常采用具有非常宽的视场的摄像机使得每个摄 像机看得见整个触摸表面。然而，当使指示器在远离一个或多个摄像 机的位置处与触摸表面相接触时，对于那些摄像机指示器可能看上去 非常小。事实上，对于摄像机，指示器可能看上去仅仅是一个U)或 两个(2)像素宽，从而使得指示器检测困难并且不可靠。应当理解， 需要改进指示器检测，尤其是在具有非常大触摸表面的触摸系统中的 指示器检测。因此，本发明的目的是提供新颖的交互式输入系统和方法。
发明内容
因此，在一个方面中提供了一种交互式输入系统，包括 成像设备，所述成像设备具有不同的视点并且具有至少部分地重
叠的包围感兴趣区域的视场，所述成像设备中的至少两个具有不同的
焦距；以及
处理结构，所述处理结构处理由成像设备获得的图像数据以检测 指示器的存在并且在感兴趣区域内确定指示器的位置。
在一个实施例中，至少一些成像设备被成对地布置。每对成像设 备中的一个具有宽视场并且每对成像设备中的另一个具有窄视场。宽 视场完全地包围窄视场。每对成像设备可以垂直地堆叠或者并排布置。
在一个实施例中，触摸表面与感兴趣区域相关联。各对成像设备 被安置在邻近触摸表面的拐角处。每对成像设备中的成像设备大体地 扫视触摸表面。对于每个成像设备对，处理结构处理由该对成像设备 中的每个成像设备获得的图像数据以凭期望的置信度确定指示器是否 被认为存在于图像数据中，并且进一步处理该图像数据以确定指示器 的位置。期望的置信度是超过阈值大小的指示器的存在。处理结构处 理由每对成像设备获得的图像数据以验证指示器存在和指示器位置中 的至少一个。
根据另一个方面，提供了一种触摸系统，包括-触摸表面，在该触摸表面上图像可见；
成像组件，所述成像组件围绕所述触摸表面的外围，所述成像组 件具有至少部分地重叠的包围所述触摸表面的视场，每个成像组件包 括至少两个成像设备，每个成像设备具有不同的焦距；以及
处理结构，所述处理结构处理由所述成像组件生成的数据以确定 至少一个指示器相对于所述触摸表面的位置。根据另一个方面，提供了一种交互式输入系统，包括 摄像机组件，所述摄像机组件具有不同的视点并且具有包围感兴
趣区域的视场，每个摄像机组件包括至少两个图像传感器，所述图像
传感器具有不同的焦距；以及
处理结构，所述处理结构处理由所述摄像机组件获得的图像数据
以在所述感兴趣区域中检测一个或多个指示器。
所述交互式输入系统和方法提供的优点在于即使在指示器远离 一个或多个成像设备的情况下，也可以实现可靠的指示器检测。另外， 当在一些情况下不同焦距的成像设备看见相同物体时，从成像设备获 得的图像中提取的数据可以用于校正成像设备并且验证指示器位置。
现在，将参考附图更充分地描述实施例，在附图中
图1是基于摄像机的交互式输入系统的正面图2是图1的交互式输入系统的示意图3是图2的触摸面板的拐角的放大的正面图4是图2的触摸面板的摄像机组件形成部分的正面图；以及
图5是示出摄像机组件的视场的图2的触摸面板的正面图。
具体实施例方式
现在参考图1和2，基于摄像机的触摸系统被示出并且由附图标记 50来大体标识。基于摄像机的触摸系统50与在先前参考的转让给本主 题申请的受让人SMART技术公司的序列号为No.WO 02/03316的国际 PCT申请中公开的类似，通过引用的方式将其内容合并在此。
如可以看出的，触摸系统50包括触摸面板52，触摸面板52耦合到 基于数字信号处理器(DSP)的主控制器54。主控制器54还耦合到计算 机56。计算机56执行一个或多个应用程序，并且向投影设备58提供计算机生成的图像输出。投影设备58进而呈现在触摸屏52的表面60上可 见的计算机生成的图像。触摸面板52，主控制器54，计算机56和投影 设备58形成闭环，使得在触摸表面60上的指示器接触可以被记录为写 或画或用于控制由计算机56执行的应用程序的执行。
触摸表面60由边框或框62镶边，类似于在2005年12月5日授权给 Akitt等人的，并转让给本主题申请的受让人SMART技术公司的美国专 利No.6,972,401中所公开的，通过引用的方式将其内容合并在此。在图 3和4中可以最佳地看出，具有机载(on-board)处理能力的基于DSP的 数字摄像机组件70被安置在临近触摸表面60的每个顶角的位置处，并 且由边框62容纳。在该实施例中，每个数字摄像机组件70包括扫视触 摸表面60的一对摄像机传感器72和74以及与摄像机传感器通信的处理 单元(未示出)。如将要描述的，摄像机传感器72和74的焦距不同。 每个数字摄像机组件70的摄像机传感器72和74被垂直地彼此堆叠。摄 像机传感器72和74的光轴与触摸表面60的对角线成一直线，并且因此 光轴对角地平分触摸表面60的对角。
每个数字摄像机组件70的较低摄像机传感器72具有给予摄像机传 感器72宽视场的广角镜头，使得较低摄像机传感器72看见整个触摸表 面60。每个数字摄像机组件70的较高摄像机传感器74具有给予摄像机 传感器74狭长视场的狭角镜头，使得较高摄像机传感器74仅看见触摸 表面60的一部分。在该实施例中，较低摄像机传感器72具有约等于95 °的视场。较高摄像机传感器74具有从约30。至1」60°的范围内的视场。 然而，本领域技术人员将理解，对于较低和较高摄像机传感器72和74 可以选择其它视场的组合。如图5所示，因为摄像机传感器72和74彼此 堆叠，所以较低摄像机传感器72的视场(F0V1)完全包围较高摄像机传 感器74的视场(FOV2)。如此，较高摄像机传感器74最适合精确地检测 远离数字摄像机组件70的指示器，而较低摄像机传感器72最适合精确 地检测接近数字摄像机组件70的指示器。在触摸系统50的操作期间，每个数字摄像机组件的摄像机传感器
72和74扫视触摸表面60并获得图像。对于每个数字摄像机组件70，由 其每个摄像机传感器72和74获得的图像数据被处理单元处理，以凭期 望的置信度确定指示器是否被认为存在于每个被捕获的图像中(即， 指示器在捕获的图像中超出阈值大小)。如将被理解的，当指示器远 离数字摄像机组件70时，仅它的较高摄像机传感器74将以期望的精确 度检测出指示器的存在，并且当指示器靠近数字摄像机组件70时，仅 它的较低摄像机传感器72将以期望的精确度检测出指示器的存在。当 凭期望的置信度确定指示器存在于所捕获图像中的一个中时，从所捕 获的图像导出指示器特性数据，以在所捕获的图像中识别指示器位置。 如果凭期望的置信度确定指示器存在于两个被捕获的图像中时，从其 中指示器看上去最大的被捕获图像中导出指示器特性数据。
然后，由每个数字摄像机组件70导出的指示器特性数据被传送到 主控制器54，主控制器54进而以类似于在转让给本主题申请的受让人 SMART技术公司的在2005年10月4日授权给Morrison等人的美国专利 No.6,954,197中描述的方式处理指示器特性数据，通过引用的方式将该 专利的内容合并在此，使得确定围绕在触摸表面60上的指示器接触的 边界框，以允许计算在(x， y)坐标系中光标的位置。
然后，指示器坐标数据被报告给计算机56，如果指示器接触是写 事件，则计算机56进而将指示器坐标数据记录为写或画，或者如果指 示器接触是鼠标事件，则计算机56将指示器坐标数据注入到正在由计 算机56运行的活动应用程序中。如上所述，计算机56还更新传送到投 影设备58的图像数据，使得呈现在触摸表面60上的图像反映指示器的 活动。
如果需要，可以将在针对每个数字摄像机组件70的较高和较低摄 像机传感器72和74两者的指示器存在确定期间的图像处理结果进行比 较，以验证指示器的存在。还可以生成和比较用于每个被捕获图像的指示器特性数据，以验证在所捕获图像内指示器的位置。而且，因为 当使指示器朝向触摸表面60时每个数字摄像机组件70的摄像机传感器
72和74都看见相同的指示器，所以从所获得图像导出的指示器数据可 以用于校正(calibrate)数字摄像机组件70的摄像机传感器72和74。
虽然数字摄像机组件70被描述为具有垂直堆叠的摄像机传感器72 和74，并且广角摄像机传感器72的视场完全包围窄角摄像机传感器74
的视场，但是本领域技术人员将理解其它摄像机组件布置也是可以的。 例如，数字摄像机组件70的摄像机传感器72和74可以并排布置，并且 广角摄像机传感器72的视场仍然完全包围窄角摄像机传感器74的视 场。当然，其它摄像机传感器定向是可以的。广角摄像机传感器72的 视场不必完全包围窄角摄像机传感器74的视场。广角和窄角摄像机传 感器的视场当然可以仅仅部分地重叠。如将被理解的，在该布置中存 在较少的冗余。
在上述实施例中，虽然每个摄像机组件70被描述为包括与单个处 理单元通信的两个摄像机传感器72和74，但是每个摄像机传感器可以 与相关联的处理单元通信。在这种情况下，各个摄像机组件70的处理 单元相互通信以确定哪一个处理单元向主控制器54提供指示器数据。
在一个摄像机传感器最佳地看见指示器但是该指示器正在向由另一个 摄像机传感器更好地观看的方向移动的情况下，处理单元可以在彼此 间传送指示器数据，以因将跟踪指示器的责任从一个处理单元交给另 一个处理单元而确保精确的指示器跟踪。
如上所述的触摸系统50包括邻近触摸表面60的顶角安置的一对数 字摄像机组件70。本领域技术人员将理解，另外的摄像机组件70可以 围绕触摸表面60的外围来布置，尤其是当如在上述Hill等人的美国专利 No.l0/750,219中描述的触摸表面非常大的情况下。
如本领域技术人员将理解的，指示器可以是手指、无源或有源触笔或其它物体、可以被摄像机看到的亮点或其它辐射或其它指示物。 虽然触摸系统被描述为包括数字摄像机，但是可以采用其它成像设备， 例如能够生成图像的线性光传感器。
在上述实施例中，在触摸表面上进行的指示器接触被检测并跟踪。 本领域技术人员将理解，不需要触摸表面并且可以检测和跟踪由成像 设备观看的横贯二维平面或在三维空间体内的指示器。
虽然以上已经描述了实施例，但是本领域技术人员还将理解，在 不背离如权利要求所限定的本发明的精神和范围的情况下，可以进行 变化和修改。
权利要求
1.一种交互式输入系统，包括成像设备，所述成像设备具有不同的视点并且具有至少部分地重叠的包围感兴趣区域的视场，所述成像设备中的至少两个具有不同的焦距；以及处理结构，所述处理结构处理由所述成像设备获得的图像数据，以检测指示器的存在并且在所述感兴趣区域内确定所述指示器的位置。
2. 根据权利要求l所述的交互式输入系统，其中，所述成像设备 中的至少一些被成对地布置，每对成像设备中的一个成像设备具有宽 视场并且每对成像设备中的另一个成像设备具有窄视场。
3. 根据权利要求2所述的交互式输入系统，其中，所述宽视场完 全包围所述窄视场。
4. 根据权利要求2所述的交互式输入系统，其中，所有成像设备 被成对布置。
5. 根据权利要求4所述的交互式输入系统，其中，每对成像设备 中的各个成像设备被垂直地堆叠。
6. 根据权利要求4所述的交互式输入系统，其中，每对成像设备 中的各个成像设备是并排的。
7. 根据权利要求4所述的交互式输入系统，进一步包括与所述感 兴趣区域相关联的触摸表面。
8. 根据权利要求7所述的交互式输入系统，其中，所述各对成像设备被安置在邻近所述触摸表面的拐角处，每对成像设备中的各个成 像设备大体地扫视所述触摸表面。
9. 根据权利要求8所述的交互式输入系统，其中，对于每个成像 设备对，所述处理结构处理由所述成像设备对中的每个成像设备获得 的图像数据以凭期望的置信度确定指示器是否被认为存在于所述图像 数据中，并且进一步处理所述图像数据以确定所述指示器的位置。
10. 根据权利要求9所述的交互式输入系统，其中，所述期望的置 信度是超过阈值大小的指示器的存在。
11. 根据权利要求9所述的交互式输入系统，其中，所述处理结构处理由每对成像设备中的各个成像设备获得的图像数据以验证指示器 存在和指示器位置中的至少一个。
12. —种触摸系统，包括 触摸表面，在所述触摸表面上图像可见；成像组件，所述成像组件围绕所述触摸表面的外围，所述成像组 件具有至少部分地重叠的包围所述触摸表面的视场，每个成像组件包 括至少两个成像设备，每个成像设备具有不同的焦距；以及处理结构，所述处理结构处理由所述成像组件生成的数据以确定 至少一个指示器相对于所述触摸表面的位置。
13. 根据权利要求12所述的触摸系统，其中，每个成像组件的一 个成像设备具有大体地包围整个触摸表面的宽视场，并且每个成像组 件的另一个成像设备具有窄视场。
14. 根据权利要求13所述的触摸系统，其中，每个成像组件的各 个成像设备被垂直地堆叠。
15. 根据权利要求14所述的触摸系统，其中，所述每个对的各个 成像设备是并排的。
16. 根据权利要求12所述的触摸系统，其中，每个成像组件处理 获得的图像数据以检测指示器的存在，所述处理结构处理由最佳地看 到所述指示器的每个成像组件的所述成像设备获得的图像数据。
17. 根据权利要求16所述的触摸系统，其中，每个成像组件的各个成像设备使用通过上述方式获得的图像数据来验证指示器存在。
18. 根据权利要求16所述的触摸系统，其中，所述触摸表面是矩 形的，并且其中成像设备组件被安置在至少邻近其两个对角处。
19. 一种交互式输入系统，包括摄像机组件，所述摄像机组件具有不同的视点并且具有包围感兴 趣区域的视场，每个摄像机组件包括至少两个图像传感器，所述图像传感器具有不同的焦距；以及处理结构，所述处理结构处理由所述摄像机组件获得的图像数据 以在所述感兴趣区域中检测一个或多个指示器。
20. 根据权利要求19所述的交互式输入系统，其中，对于每个摄 像机组件，所述处理结构处理由其每个图像传感器获得的图像数据以 凭期望的置信度确定指示器是否被认为存在于所述图像数据中，并且 进一步处理所述图像数据以确定所述指示器的位置。
21. 根据权利要求20所述的交互式输入系统，其中，所述期望的 置信度是超过阈值大小的指示器的存在。
22. 根据权利要求20所述的交互式输入系统，其中，所述处理结 构处理由所述图像传感器获得的所述图像数据以验证指示器存在和指示器位置中的至少一个。
23. 根据权利要求19所述的交互式输入系统，其中，每个摄像机组件的各个图像传感器被垂直地堆叠。
24. 根据权利要求19所述的交互式输入系统，其中，每个摄像机 组件的各个图像传感器是并排的。
25. 根据权利要求19所述的交互式输入系统，其中，每个摄像机 组件包括一对图像传感器，每对图像传感器中的一个图像传感器具有 宽视场并且每对图像传感器中的另一个图像传感器具有窄视场。
26. 根据权利要求25所述的交互式输入系统，其中，对于每个摄 像机组件，所述处理结构处理由其每个图像传感器获得的图像数据以 凭期望的置信度确定指示器是否被认为存在于所述图像数据中，并且 进一步处理所述图像数据以确定所述指示器的位置。
27. 根据权利要求26所述的交互式输入系统，其中，所述期望的 置信度是超过阈值大小的指示器的存在。
28. 根据权利要求26所述的交互式输入系统，其中，所述处理结 构处理由所述图像传感器获得的所述图像数据以验证指示器存在和指 示器位置中的至少一个。
29. 根据权利要求25所述的交互式输入系统，进一步包括与所述 感兴趣区域相关联的触摸表面。
30. 根据权利要求29所述的交互式输入系统，其中，所述摄像机 组件被安置在邻近所述触摸表面的拐角处，每个摄像机组件的各个成 像设备大体地扫视所述触摸表面。
全文摘要
一种交互式输入系统(50)包括具有不同的视点并且具有至少部分地重叠的包围感兴趣区域的视场的成像设备(70)。成像设备中的至少两个具有不同的焦距。处理结构(70，54，56)处理由成像设备获得的图像数据，以检测指示器的存在并且在感兴趣区域内确定指示器的位置。
文档编号G06F3/042GK101627356SQ200780044948
公开日2010年1月13日 申请日期2007年12月4日 优先权日2006年12月4日
发明者杰拉尔德·莫里森 申请人:智能技术Ulc公司