专利名称：交互式输入系统的制作方法
技术领域：
本发明总体上涉及输入系统，更具体地涉及交互式输入系统。
背景技术：
交互式输入系统在本领域是众所周知的，并且典型地包括具有触 摸表面的触摸屏，在所述触摸表面上使用指示器进行接触以生成用户 输入。指示器与触摸表面的接触被检测并且被用来根据进行接触的触 摸表面的区域而生成相应的输出。通常的触摸系统利用模拟电阻、电 磁、电容、声学或机器视觉来识别与触摸表面的指示器指令。
例如，Morrison等人的美国专利申请No. 10/312,983公开了包括触
摸屏的基于摄像机的触摸系统，所述触摸屏包括在其上展示计算机生 成的图像的无源触摸表面。矩形的玻璃框或框架围绕触摸表面并且在 其角落支撑数字摄像机。数字摄像机具有涵盖并且扫视触摸表面的重 叠视场。数字摄像机从不同的位置获取图像并且生成图像数据。数字 信号处理器对数字摄像机获取的图像数据进行处理，以确定在所捕捉 的图像数据中是否存在指示器。当确定在所捕捉的图像数据中存在指 示器时，数字信号处理器将指示器特征数据传送到主控制器，所述主 控制器进而处理指示器特征数据来使用三角测量法确定指示器在(x，
y)坐标中相对于触摸表面的位置。将指示器坐标数据传送到执行一个
或多个应用程序的计算机。计算机使用指示器坐标数据来更新在触摸 表面上展示的计算机生成的图像。指示器在触摸表面的接触因此可以 被记录为书写或绘画或被用来控制由计算机执行的应用程序的执行。
Morrison等人的美国专利申请No.l0/838,536公开了另一种基于摄 像机的触摸系统。该触摸系统包括通常为矩形的触摸表面，其包括具 有涵盖触摸表面的重叠视场的至少两个间隔开的成像装置。成像装置 以三维将触摸表面观看为立体图，该立体图最少包括触摸表面的四个 角。成像装置从不同的位置获取重叠的图像。处理器接收并且处理由 成像装置中的至少一个所生成的图像数据，以使用三角测量法来确定 指示器相对于触摸表面的位置。
上述的基于摄像机的触摸系统特别适合于与诸如手指或柱体材料 的无源指示器一起使用，尽管也可以使用有源指示器。在光线暗的环 境中，使用无源指示器时，可以使用诸如在Akitt等人的现为美国专利 No.6,972,401的美国专利申请No.10/354，168中所述的照明玻璃框来围 绕触摸表面并且提供适当的背光，以增强无源指示器的检测。
被设计为与有源指示器一起使用的触摸系统也是众所周知的。例 如，Colgan等人的美国专利No.6,529，189公开了具有连接红外(IR) 的选择按钮的触摸屏指示笔。该指示笔是无线的并且包括用于和与计 算机相关联的接收器通信的红外发射器。该指示笔在靠近其尖端处设 有按钮，所述按钮可以在将指示笔指向触摸屏位置的期间由用户启动。 触摸屏的组合启动和按钮中的一个或多个的同时启动允许实现到计算 机的鼠标输入。
虽然上述触摸系统是令人满意的，但是希望对交互式输入系统进 行改进。因此，本发明的目的是提供一种新颖的交互式输入系统。
发明内容
根据一个方面，提供了一种交互式输入系统，包括 与感兴趣区域相关联的至少两个成像装置，所述至少两个成像装
置从不同的位置获取所述的感兴趣区域的图像并且具有重叠的视场；
至少一个接收器，当有源指示器在所述成像装置的视场之内和之
外时，该至少一个接收器可操作地接收所述有源指示器输出的数据；
以及
处理器结构，用于处理由所述至少两个成像装置和所述至少一个 接收器获取的数据，以检测有源指示器的存在并且确定所述指示器在 所述感兴趣区域内的位置。
根据另一个方面，提供了一种基于摄像机的交互式显示系统，包
括
显示器；
在所述显示器前面的感兴趣区域；
至少两个光记录装置，用于从不同的位置获取所述感兴趣区域的 图像并且具有重叠的视场；
至少一个接收器，当有源指示器在所述光记录装置的视场之内和 之外时，该至少一个接收器可操作地接收所述有源指示器输出的数据； 以及
处理结构，用于接收并处理由所述至少两个光记录装置和所述至 少一个接收器获取的数据，以检测指示器的存在并且确定所述指示器 在所述感兴趣区域内的位置。
现将参考附图更充分地描述实施例，其中
图1是基于摄像机的交互式输入系统的示意图2是有源指示器的示意性框图3是由图2的有源指示器输出的调制IR载波信号；
图4是图1的交互式输入系统部分的示意图，示出了 IR接收器到
邻近触摸表面的有源指示器的视线；以及
图5是图1的交互式输入系统部分的另一示意图，示出了每个IR 接收器到位于远离触摸表面的有源指示器的视线。
具体实施例
现转到图1，示出了基于摄像机的交互式输入系统，并且总体用标 记50来识别。如可以看出的，触摸系统50包括具有触摸表面54的触 摸屏52，所述触摸表面54限定了在其上进行指示器接触的感兴趣区域。 在该实施例中，触摸屏52是诸如LCD、等离子、HDTV或其它电视显 示装置的平板显示装置的基本上平坦的表面。传感器组件56沿着触摸 屏52的一个侧面延展。传感器组件56包括固定在触摸屏52的一个侧 边上的结合体(valence) 58。数字摄像机60位于邻近结合体58的相 对末端。数字摄像机60的视场在触摸表面54的整个有源区域上重叠， 以使得在触摸表面上进行的指示器接触可以被可视地检测。
红外线(IR)接收器62位于邻近相关联的数字摄像机60处并且 与其通信。每个IR接收器62类似于在消费电子设备上发现的IR接收 器，并且包括与增益控制放大器连接的透镜IR检测器。数字摄像机60 经由诸如USB-2的高速数据总线66连接到计算机或其它适当的处理装 置64。计算机64执行一个或多个应用程序并且提供在触摸屏52上可 视的显示输出。触摸屏52、计算机64和显示装置形成闭环，以使得指 示器与触摸屏52的接触可以被记录为书写或绘画或被用来控制由计算 机64执行的应用程序的执行。
每个数字摄像机60包括二维的CMOS图像传感器以及相关联的 透镜组件以及诸如数字信号处理器(DSP)的板上处理装置或其它处理 装置。应理解，数字摄像机类似于在美国专利申请No.10/312,983中所 述的数字摄像机。图像传感器被配置以捕捉在高达200帧每秒的宽泛 帧速率上的图像。
在该实施例中，有源指示器70用来与触摸表面54交互。如图2 中所示，有源指示器70包括指示器主体72，该指示器主体72在一端 具有被设计来与触摸表面相接触的尖端74。在指示器主体72上设有滚 轮80、色彩选择开关82以及一个或多个其它指示器控制84 (诸如右 鼠标点击按钮、帮助按钮、墨风格选择按钮以及多项选择答案或投票 按钮(对教室/教学环境有用))。微控制器90被设置在指示器主体 72内并且与滚轮80、色彩选择开关82以及其它指示器控制84通信。 微控制器90从也容纳在指示器主体72内的可充电电池92接收电能。 当指示器与触摸表面相接触时，在指示器主体72中的力换能器94将 输入提供给微控制器90。在指示器主体72的尖端还设置有以被扩散器 98围绕的红外(IR)发光二极管(LED)的形式的红外线(IR)发射 器96。
现将描述触摸系统50的一般操作。每个数字摄像机60以所希望 的帧速率获取其视场内扫视触摸表面54的图像。当指示器70与触摸 表面54相接触并且具有足够的力来启动力换能器94时，微控制器90 给予尖端74中的IR发射器96能量，从而使指示器70发光。具体地， 当IR发射器96被给予能量时，IR发射器输出IR载波信号。因而，随 着数字摄像机60捕捉扫视整个触摸表面54的图像，已发光的指示器 尖端7 4作为与黑暗背景形成对照的照明亮点出现。
另外， 一旦力换能器94由于指示器在触摸表面54上接触而被启 动，微控制器90调制由IR发射器92输出的IR载波信号，以使得所 调制的IR载波信号载送表示指示器向下状态的数据。IR载波信号足够 强以允许其被IR接收器62获取。IR载波信号的DC偏移水平也足以 确保在指示器与触摸表面相接触期间数字摄像机60接收到足够的光 能，以以所选择的摄像机帧速率以及在如图3中所示的到数字摄像机 60的最大指示器距离来可靠地检测发光的指示器。使用该方案，当指 示器70与触摸表面54相接触时，数字摄像机60将看到指示器70的 持续发光。
当IR接收器62接收到由指示器70输出的已调制的IR载波信号 时，被调谐到IR载波信号的频率的IR接收器62的放大器，将已调制 的IR载波信号解码。以这种方式，提取包含在IR载波信号中的数据 并且将其作为数据流输出到每个数字摄像机60的DSP。
每个数字摄像机60的DSP将从IR接收器62接收的数据与所获 取的图像数据同步、压縮该数据并且经由高速链路66将该数据传输到 计算机64。在接收到该数据后，计算机64处理由IR接收器62输出的 数据来验证指示器向下事件已经发生。 一旦指示器向下事件被验证， 计算机64处理所捕捉的图像来确定指示器70的位置。
在处理所捕捉的图像期间，如果指示器在所获取的图像中并且指 示器向下状态已被验证，则计算机64处理该图像，以生成用于识别在 所获取的图像中的指示器位置的特征数据。然后计算机64使用该指示 器特征数据来使用三角测量法确定指示器在(x, y)坐标中的位置。 具体地，计算机64以类似于Morrison等人的美国专利申请 No.10/294，917 (其被转让给该申请的受让人SMART科技公司)中所述 的方式处理图像，该申请的内容通过引用而被并入本文。以此方式， 确定围绕在触摸表面54上的指示器接触的边界框以允许计算指示器在
(x， y)坐标中的位置。如果指示器接触是书写事件则将指示器位置 数据记录为书写或绘画，或者如果指示器接触是鼠标事件则将指示器 位置数据注入运行于计算机64上的活动应用程序中。计算机64还更 新传送到显示装置的输入，以使得在触摸表面54上可视的图像反映指 示器的活动。应理解，为了处理图像，必须接收指示器向下数据。以 此方式，可以分辨并且忽略出现在所获取的图像中的指示器假目标
(decoy)。
当指示器向上事件发生时，微控制器90调制IR载波信号，以使 得其载送表示指示器向上状态的数据。响应于对表示指示器向上状态
的数据的接收，计算机64清除指示器向下状态，阻止图像被处理，直
到下一个指示器向下事件发生并且被验证。应理解，这进一步增强了
系统50分辨并且忽略在所获取的图像中出现的指示器假目标的能力。
当计算机64从数字摄像机60接收数据并且尚未验证指示器向下 状态时，不会处理图像来检测指示器的存在和位置，除非已经压下指 示器70上的悬停按钮。在该情况下，悬停按钮的启动导致使用悬停数 据来调制IR载波信号。结果，计算机64与图像数据一起接收悬停数 据。响应于该悬停数据，计算机64处理该图像来确定指示器位置。
在其它的实例中，计算机64仅处理由IR接收器62生成的数据， 以使得调用诸如滚动、墨风格调整等的适当的功能。具体地，当通过 滚轮80、色彩选择开关82或其它指示器控制84生成用户输入时，微 控制器90调制IR载波信号，以使得其包括表示用户输入的数据。除 了表示用户输入的数据外，微控制器90还调制IR载波信号，以包括 表示使用指示器70施加于触摸表面54上的力的数据以及表示电池92 的状态的数据。这允许基于在书写事件期间所施加的力来改变线条的 粗细并且允许提供指示器电池寿命的可视的屏上显示。
尽管可以在任何时间选择色彩选择开关82，但是仅当指示器70 与触摸表面54相接触时才由指示器输出表示所选择的色彩的数据。因 而，色彩改变仅在书写事件期间发生。另一方面，由于无论指示器70 是否与触摸表面54相接触，滚轮80都是有效的，所以即使在指示器 70远离触摸表面并在数字摄像机60的视场外时，指示器70也可以输 出滚动命令。为了允许这样的操作，IR接收器62的视场足够宽，以当 如图4中所示指示器最接近触摸表面54时以及当如图5中所示指示器 70远离触摸表面54时能检测指示器70的IR载波信号输出。在图5所 示的情形中，在指示器位置A和B，只有IR接收器62中的一个接收 指示器70的IR载波信号输出。
尽管将触摸系统50描述为包括显示装置来提供在触摸屏54上可
视的图像，但是本领域技术人员应理解，显示装置不是必需的。而且， 显示装置可以是在触摸表面上投影图像的前投影仪或后投影仪、在其
上放置触摸屏52的视频监视器、或展示在査看触摸表面54时是可视 的图像的其它装置，而不是平板显示装置。而且，触摸屏54不必是矩 形的。事实上，触摸屏可以是基本上任何形状的任何表面，诸如桌面、 墙表面等等。
尽管描述了类似于美国专利申请No.10/312，983的数字摄像机，但 是应理解，可以使用其它成像或光记录装置来获取感兴趣区域的重叠 图像。例如，摄像机可以是独立的成像装置，诸如在Morrison等人的 美国专利申请No.l0/838,536中公开的成像装置。在该情况下，摄像机 具有涵盖感兴趣体积的重叠视场。由于摄像机是独立的，对结合体的 需求是不必要的。也应理解，IR接收器可以被集成在摄像机装置中。
尽管将计算机64描述为对图像数据进行处理，但是本领域技术人 员应理解，可以使用数字摄像机的板上处理能力来处理一些或所有的 图像处理。
在上述的实施例中，将数字摄像机描述为经由有线高速数据链路 与个人计算机64通信。本领域技术人员应理解，可以做出变化并且可 以使用其它有线连接来将数据传送到计算机。例如，可以经由UART、 USB或其它适当的连接将IR接收器62的输出直接传送到计算机64。 可选地，可以通过无线通信链路将来自IR接收器和数字摄像机的数据 传送到计算机。
指示器70的配置是示范性的，当然可以变化。例如，可以用具有 重叠视场的安装在尖端附近的多个IR LED来替代IR LED发射器和扩 散器布置。当然，指示器可以使用传输数据的不同方式。例如，可以 使用射频(RF)通信。而且，可以使用尖端开关来替代力换能器，以
允许微控制器检测何时发生了指示器向下事件。指示器也可以使用非 可充电的电源。如果想要的话，指示器可以包括扩音器并且微控制器 90可以执行语音识别软件，以允许用户经由语音命令而不是启动指示 器上的按钮或除启动指示器上的按钮以外来输入用户输入。
另外，指示器可以包括无线通信接收器，以允许指示器从计算机
64接收命令。以这种方式，可以启用或禁止指示器的功能或重新分配
或改变属于指示器上的按钮的功能来向指示器提供对环境敏感的软按 钮的能力。
尽管已描述了本发明的优选实施例，但是本领域技术人员应理解， 在不背离权利要求所定义的精神和范围的情况下，可以进行变化和修改。
权利要求
1.一种交互式输入系统，包括与感兴趣区域相关联的至少两个成像装置，所述至少两个成像装置从不同的位置获取所述的感兴趣区域的图像并且具有重叠的视场；至少一个接收器，当所述指示器在所述成像装置的所述视场之内和之外时，该至少一个接收器可操作地接收有源指示器输出的数据；以及处理器结构，用于处理由所述至少两个成像装置和所述至少一个接收器获取的数据，以检测有源指示器的存在并且确定所述指示器在所述感兴趣区域内的位置。
2. 根据权利要求1所述的交互式输入系统，包括至少两个接收器， 每个接收器位于邻近所述成像装置的不同的一个处。
3. 根据权利要求l所述的交互式输入系统，进一步包括位于所述 感兴趣区域中的触摸表面。
4. 根据权利要求3所述的交互式输入系统，其中每个成像装置位于邻近所述触摸表面的不同角落处。
5. 根据权利要求2所述的交互式输入系统，其中将由所述接收器 接收的数据与由所述成像装置获取的图像数据同步。
6. 根据权利要求5所述的交互式输入系统，其中每个接收器接收 的数据在被所述成像装置向所述处理结构传输之前被传送到所述相关 联的成像装置。
7. 根据权利要求6所述的交互式输入系统，其中所述成像装置通 过有线通信链路将数据传输到所述处理结构。
8. 根据权利要求6所述的交互式输入系统，其中所述成像装置通 过无线通信链路将数据传输到所述处理结构。
9. 根据权利要求5所述的交互式输入系统，其中所述接收器和成 像装置独立地将数据传输到所述处理结构。
10. 根据权利要求9所述的交互式输入系统，其中所述成像装置 和接收器通过有线通信链路将数据传输到所述处理结构。
11. 根据权利要求9所述的交互式输入系统，其中所述成像装置 和接收器通过无线通信链路将数据传输到所述处理结构。
12. 根据权利要求3所述的交互式输入系统，进一步包括有源指 示器，所述指示器响应于与所述触摸表面的接触而输出数据。
13. 根据权利要求12所述的交互式输入系统，其中所述指示器响 应于以阈值力进行的与所述触摸表面的接触而输出数据。
14. 根据权利要求13所述的交互式输入系统，其中所述指示器包 括至少一个手工可启动的控制，所述指示器响应于控制的启动而输出 数据。
15. 根据权利要求14所述的交互式输入系统，其中仅当指示器接 触状态存在时所述指示器才响应于控制的启动而输出数据。
16. 根据权利要求3所述的交互式输入系统，其中所述指示器响 应于与所述触摸表面的接触而发光。
17. 根据权利要求16所述的交互式输入系统，其中所述指示器响 应于以阈值力进行的与所述触摸表面的接触而发光。
18. 根据权利要求17所述的交互式输入系统，其中所述指示器包括至少一个手工可启动的控制，所述指示器响应于控制的启动而输出数据。
19. 根据权利要求18所述的交互式输入系统，其中仅当指示器接 触状态存在时所述指示器才响应于控制的启动而输出数据。
20. 根据权利要求19所述的交互式输入系统，其中所述数据被用 来调制由所述指示器输出的光。
21. —种基于摄像机的交互式显示系统，包括 显不器；在所述显示器前面的感兴趣区域；至少两个光记录装置，用于从不同的位置获取所述感兴趣区域的 图像并且具有重叠的视场；至少一个接收器，当所述指示器在所述光记录装置的视场之内和 之外时，该至少一个接收器可操作地接收有源指示器输出的数据；以 及处理结构，用于接收并处理由所述至少两个光记录装置和所述至 少一个接收器获取的数据，以检测指示器的存在并且确定所述指示器 在所述感兴趣区域内的位置。
22. 根据权利要求21所述的基于摄像机的交互式显示系统，进一 步包括有源指示器。
全文摘要
一种交互式输入系统，包括与感兴趣区域相关联的至少两个成像装置。所述至少两个成像装置从不同的位置获取感兴趣区域的图像并且具有重叠的视场。当指示器在成像装置的视场之内和之外时，至少一个接收器可操作地接收有源指示器输出的数据。处理器结构处理由至少两个成像装置和至少一个接收器获取的数据，以检测有源指示器的存在并且确定指示器在感兴趣区域内的位置。
文档编号G06F3/042GK101375297SQ200780003114
公开日2009年2月25日 申请日期2007年1月12日 优先权日2006年1月13日
发明者杰拉尔德·莫里森, 沃恩·爱德华·基南, 特雷弗·阿科特 申请人:智能技术Ulc公司