通过有源显示反馈进行触摸指示器消岐的制作方法

专利名称：通过有源显示反馈进行触摸指示器消岐的制作方法
技术领域：
本发明总体上涉及一种交互式输入系统，并且特别涉及一种用于消除交互式输入系统中的指示器歧义的方法以及一种采用所述方法的交互式输入系统。
背景技术：
允许用户使用有源指示器(例如，发出光线、声音或其它信号的指示器)、无源指示器(例如，手指、圆柱体或其它对象)或者例如鼠标或轨迹球之类的其它适当输入设备向应用程序中注入输入的交互式输入系统是公知的。这些交互式输入系统包括但不限于包括触摸板的触摸系统，所述触摸板采用诸如转让给本申请的受让人加拿大Calgary， Alberta 的 SMART Technologies ULC 的美国专利申请公开 No. 5，448，263,6, 141，000、 6，337，681,6, 747，636,6, 803，906,7, 232，986,7, 236，162 和 7，274，356 以及美国专利申请公开No. 2004/0179001中所公开的模拟电阻或机器视觉技术来登记指示器输入，以上专利文献的内容通过引用的方式并入；包括采用电磁、电容、原声或其它技术来登记指示器输入的触摸板的触摸系统；平板个人计算机(PC)、支持触摸的膝上型PC;个人数字助理(PDA)； 以及其它类似设备。为了促进与交互式输入表面相关的指示器检测，已经采用了各种技术。例如，Toh 的美国专利No. 6，346，966描述了一种图像获取系统，其将不同的照明技术同时应用于包含感兴趣对象的画面。在单个对象位置内，可以通过选择用于获取每幅图像的特定波长频带来获取通过不同照明技术所照亮的多幅图像。在典型的应用中，可以同时使用背部照明和前部照明来照亮对象，并且可以将不同的图像分析技术应用于图像。Guskin的美国专利No. 4，787，012描述了一种用于使用红外光源照亮相机所拍摄的物体的方法和装置。所述红外光源优选地安装在相机之中或之上以照向被拍摄物体面。Nakamura等人的美国专利申请公开No. 2006/0170658描述了一种用以增强确定对象是否与屏幕相接触的精确度以及计算所述对象的坐标位置的精确度的装置。所述装置包括边缘检测电路以检测图像的边缘。使用所述边缘，接触确定电路确定所述对象是否已经与屏幕相接触。校准电路响应于外部光线来控制光学传感器的灵敏度，由此所述光学传感器的驱动条件基于光学传感器的输出值而改变。Newton的美国专利申请公开No. 2005/0248540描述了一种具有前表面、后表面、 多个边缘和内部体积的触摸板。能量源位于所述触摸板的第一边缘附近并且被配置成发射能量，所述能量在所述触摸板的内部体积内传播。扩散反射器位于所述触摸板的前表面附近用于对从内部体积逸出的至少一部分能量进行扩散反射。至少一个检测器位于所述触摸板的第一边缘附近并且被配置成检测跨所述触摸板的前表面扩散反射的能量的强度等级。 优选地，两个检测器在所述触摸板的第一边缘附近彼此间隔开以允许使用简单的三角测量技术来计算触摸位置。King的美国专利申请公开No. 2003/0161524描述了一种用来通过使用相机拍摄处于一种或多种不同光照条件下的目标的图像并且采用图像分析来提取与所述目标相关的感兴趣信息来改进机器视觉系统区分目标的期望特征的能力的方法和系统。紫外光被单独使用或者与直接的轴上(on-axis)和/或低角度照明结合使用以突出显示所述目标的不同特征。在目标和相机之间部署的一个或多个滤波器有助于将不想要的光从相机所拍摄的一幅或多幅图像中过滤出去。所述图像可以通过常规的图像分析技术进行分析，并且结果被记录或显示在计算机显示设备上。在采用背投设备以在交互式输入系统的输入表面上呈现图像的交互式输入系统 (诸如，背投显示器、液晶显示器(LCD)设备、等离子电视等)中，难以定位并跟踪要与输入表面相接触的多个指示器，特别是在采用两个成像设备的交互式输入系统中更是如此。在由每个成像设备捕捉的图像中出现的指示器可以使用诸如指示器大小或者由指示器反射的光的强度等之类的方法进行区分。虽然这些指示器区分技术在受控环境中工作良好，但是当在非受控环境中使用时，这些指示器区分技术受到例如由于诸如反射光的周围光照效果的影响所导致的缺陷的影响。这样的光照效果可能导致背景中的指示器比前景中的显示器针对成像设备而言显得更加明亮，导致不正确的指示器被标识为更加接近于成像设备。 而且，在采用两个成像设备的交互式输入系统中，当多个指示器与输入表面相接触时，存在一个指示器将遮住来自一个成像设备的另一个指示器的一些位置，导致与被遮蔽指示器的确切位置相关的歧义。随着更多指示器进入成像设备的视场，这种歧义的可能性增加。因此，本发明的目的是至少提供一种用于消除交互式输入系统中的指示器歧义的新颖的方法，以及一种采用所述方法的交互式输入系统。

发明内容
因此，在一个方面中，提供了一种用于消除交互式输入系统中的指示器歧义的方法，包括计算多个指示器在所述交互式输入系统的输入表面附近的多个潜在指示器位置； 在所述输入表面上显示与每个潜在指示器位置相关联的视觉指示符；以及基于从所述视觉指示符的显示导出的反馈来确定实际的指示器位置。根据另一个方面，提供了一种用于消除交互式输入系统中的指示器歧义的方法， 包括计算与至少两个指示器中的每一个相关联的可能触摸点坐标，所述至少两个指示器与所述交互式输入系统的输入表面相接触；在输入表面上与第一对可能触摸点坐标相关联的区域处显示第一视觉指示符并且在所述输入表面上与第二对可能触摸点坐标相关联的区域处显示第二视觉指示符；在显示所述第一视觉指示符和显示所述第二视觉指示符期间利用成像系统捕捉第一图像；在所述输入表面上与第一对可能触摸点坐标相关联的区域处显示第二视觉指示符并且在所述输入表面上与第二对可能触摸点坐标相关联的区域处显示第一视觉指示符；在显示所述第二视觉指示符和显示所述第一视觉指示符期间利用成像设备系统捕捉第二图像；以及将所述第一图像与所述第二图像进行比较以验证实际的触摸点坐标。根据又一个方面，提供了一种交互式输入系统，包括输入表面；成像设备系统， 其可操作用于捕捉所述输入表面的输入区的图像并且检测至少一个指示器何时与所述输入表面相接触；以及视频控制设备，其响应于所述成像设备系统并且在所述输入表面上与至少一个指示器相关联的区域处显示图像图案，其中所述图像图案促进对至少一个指示器的位置的验证。
根据又一个方面，提供了一种用于确定交互式输入系统中至少一个指示器的位置的方法，包括计算在输入表面上至少一个指示器的至少一个触摸点坐标；在所述输入表面上与至少一个触摸点坐标相关联的区域处显示第一视觉指示符；在显示所述第一视觉指示符的同时，使用所述交互式输入系统的成像系统来捕捉所述输入表面的第一图像；在所述输入表面上与至少一个触摸点坐标相关联的区域处显示第二视觉指示符；在显示所述第二视觉指示符的同时，使用成像系统来捕捉所述输入表面的第二图像；以及将所述第一图像与所述第二图像进行比较以验证所述至少一个指示器在所述输入表面上的位置。根据又一个方面，提供了一种用于确定交互式输入系统中至少一个指示器位置的方法，包括在所述交互式输入系统的输入表面上与至少一个指示器相关联的区域处显示第一图案；在显示所述第一图案期间，利用成像设备系统来捕捉所述输入表面的第一图像； 在所述输入表面上与至少一个指示器相关联的区域处显示第二图案；在显示所述第二图案期间，利用成像设备系统来捕捉所述输入表面的第二图像；以及基于所述第二图像对所述第一图像进行处理以计算差异图像来分离周围光线的改变。根据又一个方面，提供了一种交互式输入系统，包括输入表面；成像设备系统， 其可操作用于捕捉所述输入表面的图像；与所述输入表面相接触的至少一个有源指示器， 所述至少一个有源指示器具有用于感测来自所述输入表面的光线改变的传感器；以及视频控制设备，其响应于所述成像设备系统并且与所述至少一个有源指示器进行通信，所述视频控制设备在所述输入表面上与所述至少一个指示器相关联的区域处显示图像图案，所述图像图案促进对所述至少一个指示器的位置的验证。根据又一个方面，提供了一种包含计算机程序的计算机可读介质，所述计算机程序可由计算设备执行以消除交互式输入系统中的指示器歧义，所述计算机程序包括用于计算多个指示器在所述交互式输入系统的输入表面附近的多个潜在指示器位置的程序代码；用于使得在所述输入表面上显示与每个潜在指示器位置相关联的视觉指示符的程序代码；以及用于基于从所述视觉指示符导出的反馈来确定实际的指示器位置的程序代码。根据又一个方面，提供了一种包含计算机程序的计算机可读介质，所述计算机程序可由计算设备执行以消除交互式输入系统中的指示器歧义，所述计算机程序包括用于计算与至少两个指示器中的每一个相关联的可能触摸点坐标的程序代码，所述至少两个指示器与所述交互式输入系统的输入表面相接触；用于使得在输入表面上与第一对可能触摸点坐标相关联的区域处显示第一视觉指示符并且用于使得在所述输入表面上与第二对可能触摸点坐标相关联的区域处显示第二视觉指示符的程序代码；用于在显示所述第一视觉指示符和显示所述第二视觉指示符的期间，使得成像系统捕捉第一图像的程序代码；用于使得在所述输入表面上与第一对可能触摸点坐标相关联的区域处显示第二视觉指示符并且用于使得在所述输入表面上与第二对可能触摸点坐标相关联的区域处显示第一视觉指示符的程序代码；用于在显示所述第二视觉指示符和显示所述第一视觉指示符的期间使得成像设备系统捕捉第二图像的程序代码；以及用于将所述第一图像与所述第二图像进行比较以验证实际的触摸点坐标的程序代码。根据再一个方面，提供了一种包含计算机程序的计算机可读介质，所述计算机程序可由计算设备执行以消除交互式输入系统中的指示器歧义，所述计算机程序包括用于计算在输入表面上至少一个指示器的至少一个触摸点坐标的程序代码；用于使得在所述输入表面上与至少一个触摸点坐标相关联的区域处显示第一视觉指示符的程序代码；用于使得在显示所述第一视觉指示符的同时，使用成像系统来捕捉所述输入表面的第一图像的程序代码；用于使得在所述输入表面上与至少一个触摸点坐标相关联的区域处显示第二视觉指示符的程序代码；用于在显示所述第二视觉指示符的同时，使用成像系统来捕捉所述输入表面的第二图像的程序代码；以及用于将所述第一图像与所述第二图像进行比较以验证所述至少一个指示器在所述输入表面上的位置的程序代码。根据再一个方面，提供了一种包括计算机程序的计算机可读介质，所述计算机程序可由计算设备执行以消除交互式输入系统中的指示器歧义，所述计算机程序包括用于使得在所述交互式输入系统的输入表面上与至少一个指示器相关联的区域处显示第一图案的程序代码；用于使得在显示所述第一图案期间，利用成像设备系统来捕捉所述输入表面的第一图像的程序代码；用于使得在所述输入表面上与至少一个指示器相关联的区域处显示第二图案的程序代码；用于使得在显示所述第二图案期间，利用成像设备系统来捕捉所述输入表面的第二图像的程序代码；以及用于基于所述第二图像对所述第一图像进行处理以计算差异图像来分离周围光线的改变的程序代码。


现在将参考附图更为全面地对实施例进行描述，在附图中图1是采用两个成像设备的交互式输入系统的框图；图2是形成图1的交互式输入系统的一部分的成像设备之一的框图；图3是形成图1的交互式输入系统的一部分的主控制器的框图；图4A是形成图1的交互式输入系统的一部分的视频控制器的框图；图4B是供图1的交互式输入系统使用的替代视频控制器的框图；图5是示出确定可能指示器位置的三角测量解和消除指示器歧义条件期间所执行的步骤的流程图；图6A至6C是突出显示诱饵歧义条件以及用来消除诱饵歧义条件的有源显示反馈的示例性视图；图7A至7D是突出显示多指示器接触歧义条件和用来消除多指示器接触歧义条件的有源显示反馈的示例性视图；图7E和7F是图7A至7D的有源显示反馈期间交互式输入系统的显示表面的一部分的侧面截面图；图8A是示出用于消除多个指示器接触歧义条件的多指示器接触歧义例程期间所执行的步骤的流程图；图8B是示出用于消除多个指示器接触歧义条件的替代多指示器接触歧义例程期间所执行的步骤的流程图；图9A是示出当指示器处于成像设备视场中难以进行三角测量的位置时成像设备的视线的示例性视图；图9B是突出显示被遮蔽指示器歧义条件的示例性视图；图9C和9D是示出显示表面上指示器位置三角测量解的梯度点闪烁的示例性视图9E和9F是示出显示表面上指示器位置三角测量解的梯度线闪烁的示例性视图；图9G和9H是示出显示表面上沿与指示器位置三角测量解相关联的极坐标的梯度点闪烁的示例性视图；图91和9J是示出显示表面上沿与指示器位置三角测量解相关联的极坐标的梯度线闪烁的示例性视图；图IOA是供与图1所示相类似的交互式输入系统一起使用的有源指示器的侧视图；图IOB是图示与图IOA的交互式输入系统一起使用的图IOA的有源指示器的框图；图IOC示出了图IOA的交互式输入系统和有源指示器之间的通信路径；图11是图示采用两个成像设备的替代交互式输入系统的框图；图12是采用正面投影机的又一种交互式输入系统的立视图。
具体实施例方式现在转向图1，示出了一种允许用户向应用程序中注入诸如数字墨水、鼠标事件之类的输入的交互式输入系统，并且其总体上由附图标记20所标识。在该实施例中，交互式输入系统10包括接合显示单元(未示出)并且围绕所述显示单元的显示表面M的组件22， 所述显示单元例如等离子电视、液晶显示器(LCD)设备、平板显示设备、阴极射线管(CRT) 监视器等。框架或挡板沈围绕显示表面24。挡板沈可以是于2005年12月6日授予并转让给SMART Technologies ULC的Akitt等人的美国专利No. 6，972，401中所描述的类型， 通过引用的方式将其内容并入。在这种情况下，挡板沈在显示表面M上提供红外(IR)背光。组件22采用机器视觉来检测进入显示表面M附近的感兴趣区域的指示器。替代地， 组件22可以采用电磁、电容、声音或其它技术来检测进入显示表面M附近的感兴趣区域的指不器。组件22耦合到主控制器30。主控制器30耦合到通用计算设备32和视频控制器 34。通用计算设备32执行一个或多个应用程序，并且使用从主控制器30传送的指示器位置信息生成和更新图像数据，所述图像数据被提供给视频控制器34以便输出到显示单元， 使得在显示表面M上呈现的图像反映指示器活动。以这种方式，接近显示表面M的指示器活动可以被记录为书写或绘画或者用来控制在通用计算设备32上运行的一个或多个应用程序的执行。视频控制器34在检测到指示器歧义条件时修改提供给显示单元的显示输出，以允许消除所述指示器歧义条件，从而改善指示器验证、定位和跟踪。成像设备40、42位于显示表面M相邻的两个角，并且总体上从不同有利位置 (vantage)扫视显示表面。参见图2，更好地图示了成像设备40和42中的一个。如所能够看到的，每个成像设备包括诸如由Idaho，Boise的Micron Technology公司根据模型 No. MT9V022制造的图像传感器80，其配备有Boowon Optical有限公司根据模型No. BW25B 制造的类型的880nm镜头82。镜头82为图像传感器80提供了足够宽广以至少包含显示表面对的视场。图像传感器80经由数据总线86与先入先出(FIFO)缓冲器84进行通信并向其输出图像帧数据。数字信号处理器(DSP)90经由第二数据总线82从FIFO缓冲器84接收所述图像帧数据并且当由图像传感器80捕捉到的图像帧中存在一个或多个指示器时经由串行输入/输出端口 94向主控制器30提供指示器数据。图像传感器80和DSP 90还通过双向控制总线96进行通信。存储图像传感器校准参数的电可编程只读存储器(EPR0M)98 连接到DSP 90。所述成像设备组件从电源100接收电力。图3更好地图示了主控制器30。主控制器30包括DSP 152，其具有第一串行输入 /输出端口巧4和第二串行输入/输出端口 156。主控制器30在通信线路158上经由第一串行输入/输出端口巧4与成像设备40和42进行通信。由DSP 152从成像设备40和42 接收到的指示器数据由DSP 152进行处理以生成指示器位置数据。DSP 152在通信线路164 上经由第二串行输入/输出端口 156和串行线路驱动器162与通用计算设备32进行通信。 主控制器30进一步包括EPROM 166，其存储由DSP 152访问的交互式输入系统参数。主控制器组件从电源168接收电力。该实施例中的通用计算设备32是计算机，其例如包括处理单元、系统存储器(易失性和/或非易失性存储器)、其它非易失性或可拆卸存储器(例如，硬盘驱动器、RAM、R0M、 EEPR0M、⑶-R0M、DVD、闪存等)，以及将各种通用计算设备组件耦合到处理单元的系统总线。 通用计算设备32还可以包括网络连接以访问共享或远程驱动器、一个或多个联网计算机或者其它联网设备。所述处理单元运行主机软件应用/操作系统，在执行期间，所述主机软件应用/操作系统提供图形用户界面，所述图形用户界面呈现在显示表面M上，使得能够经由与显示表面M的指示器交互来输入并操控自由形式或手写墨水对象或其它对象。现在参考图4A，更好地图示了视频控制器34。在该实施例中，通用计算设备32的显示输出是模拟的，并且依据视频图形阵列(VGA)模拟计算机显示标准。结果，视频控制器 34包括VGA输入端口 200，其从通用计算设备32接收显示输出并且将所述显示输出提供至红(R)、绿(G)、蓝⑶、水平(H)和垂直(V)信号线。R、G和B信号线经由开关单元204连接到VGA输出端口 202。H和V信号线直接连接到VGA输出端口 202。VGA输出端口 202将所述显示输出提供至显示单元。同步单元206与H和V信号线以及与图像选择器208进行通信。图像选择器208与主控制器30进行通信并且包括连接到开关单元204的反馈假象 (artifact)输出210和A/B位置输出212。响应于主控制器30，图像选择器208经由A/B 位置输出212将开关单元204调节到使得反馈假象输出210连接到通向VGA输出端口 202 的R、G和B信号线的位置A，或者使得R、G和B信号线从VGA输入端口 200直接连接到VGA 输出端口 202的位置B。因此，响应于主控制器30，视频控制器34能够动态操控传送至显示单元的显示数据，如将要进一步描述的，其结果改善了指示器的验证、定位和跟踪。具体地，开关单元204被调节至位置B以当不需要修改要由显示单元显示的视频帧时在VGA输入端口 200和VGA输出端口 202之间传递来自通用计算设备32的显示输出。 当需要修改来自通用计算设备32的显示输出的视频帧时，主控制器30向图像选择器208 发送包括假象数据和表示显示表面M上应当显示与所述假象数据相对应的图像假象的位置的位置数据的信号。图像选择器208通过经由同步单元206监视V信号线上的V信号来检测视频帧的开始。然后，图像选择器208通过经由同步单元206监视H信号线上的H信号来检测由通用计算设备32输出的视频帧的行。图像假象在图像选择器208内数字生成并且由数模转换器(未示出)转换为适当的模拟信号。当需要修改视频帧的行以显示所述图像假象时，图像选择器208计算要将所述图像假象插入由通用计算设备32输出的R/G/B信号中所需的定时(timing)，将开关单元204切换到位置A以在适当的定时将表示所述图像假象的R/G/B信号从反馈假象输出210发出到VGA输出端口 202，并且然后在输出了所述图像假象之后将开关单元204切换回位置B。在图4A所示的实施例中，通用计算设备的显示输出是模拟的，但是本领域技术人员将会理解，通用计算设备的显示输出可以是数字的。图4B示出了被配置成依据数字视频接口(DVI)计算机显示标准对由通用计算设备输出的数字信号进行处理的视频控制器34。 在该实施例中，视频控制器34包括DVI输入端口 220，其从通用计算设备32接收输出并且将输出提供至红/绿/蓝(R/G/B)和时钟信号线。R/G/B信号线经由复用器2M连接至DVI 输出端口 222。时钟信号线直接连接至DVI输出端口 222。DVI输出端口 222向显示单元提供显示输出。时钟/同步检测单元2 与R/G/B和时钟信号线以及与图像选择器2 进行通信。图像选择器2 与主控制器30进行通信并且包括连接到复用器224的反馈假象输出230和A/B位置输出232。响应于主控制器30，图像选择器2 经由A/B位置输出232 将复用器2M调节至使得R/G/B信号线从DVI输入端口 220直接连接到DVI输出端口 222 的位置A或者使得反馈假象输出230连接到通往DVI输出端口 222的R/G/B信号线的位置 B。因此，视频控制器34能够响应于主控制器30动态操控传送到显示单元的显示数据。具体地，当不需要修改要由显示单元显示的视频帧时，复用器2 被调节至位置A 以在DVI输入端口 220和DVI输出端口 222之间传递来自通用计算设备32的显示输出。当需要修改来自通用计算设备32的显示输出的视频帧时，主控制器30向图像选择器2 发送包括图像假象以及表示应当在显示表面M上显示所述图像假象的位置的位置数据。图像选择器2 通过经由时钟/同步检测单元2 监视R/G/B信号线上的同步信号来检测视频帧的开始。然后，图像选择器2 监视时钟信号线上的时钟信号，计算向R/G/B信号线上的R/G/B信号中插入图像假象所需的定时，将复用器调节至位置B以将反馈假象输出230 连接到DVI输出端口 222，将图像假象输出到通往DVI输出端口 222的R/G/B信号线并然后将复用器2 切换回位置A。本领域技术人员将理解，不需要由单独的视频控制器来执行显示输出修改。相反， 可以使用在通用计算设备上运行的显示数据修改应用来执行显示输出修改，通常这样其性能有所降低。以上所描述的视频控制器提供了非常快速的响应时间并且可以被调节为关于成像设备40和42同步操作(例如，图像传感器能够在显示输出被修改的同时捕捉图像帧)。该操作难以使用在通用计算设备32上运行的显示数据修改应用来复制。现在将对交互式输入系统20的一般操作进行描述。在操作期间，每个成像设备 40、42的DSP 90生成时钟信号，使得每个成像设备的图像传感器80以所期望的帧率来捕捉图像帧。提供至图像传感器的时钟信号是同步的，使得成像设备40和42的图像传感器实质上同步捕捉图像。当显示表面M附近没有指示器时，由图像传感器80捕捉的图像帧包括作为由挡板沈提供的红外背光的结果的实质上不间断的明亮带。然而，当一个或多个指示器来到显示表面M的附近时，每个指示器遮挡由挡板沈提供的顶背光并且在所捕捉的图像中表现为中断了白色带的暗区。由每个成像设备40、42的图像传感器80输出的每个图像帧被传送至其关联的DSP 90。当DSP 90接收到图像帧时，DSP 90对所述图像帧进行处理以检测一个或多个指示器的存在。如果在图像帧中存在一个或多个指示器，则DSP 90为图像帧中的每个指示器创建观察。每个观察由两条直线之间形成的区域来定义，其中一条线从成像设备的焦点延伸并且与指示器的右边缘相交，而另一条线从成像设备的焦点延伸并且与指示器的左边缘相交。然后，DSP 90将(多个)观察经由串行线路驱动器162传送到主控制器30。主控制器30响应于从成像设备40、42接收到的观察而对所述观察进行检查以确定来自每个成像设备的观察相重叠。当每个成像设备看到使得由成像设备40、42生成的观察相重叠的相同指示器时，使用如在Morrison等人的以上并入的美国专利No. 6，803，906 中描述的公知三角测量来计算由重叠观察的相交线所描绘的结果边界框的中心，以及因此相对于显示表面M的(X，y)坐标中的指示器的位置。然后，主控制器30检查三角测量结果以确定是否存在一个或多个歧义条件。如果没有，则主控制器30将每个计算的指示器位置输出到通用计算设备32。通用计算设备32 进而处理每个接收到的指示器位置，并且如果需要，则更新提供给视频控制器34的图像输出。显示输出未经修改地穿过视频控制器34，使得在显示单元上呈现的图像被更新以反映指示器活动。以这种方式，指示器与显示表面M的交互可以被记录为书写或绘画或者用来控制在通用计算设备32上运行的一个或多个应用程序的执行。如果一个或多个指示器歧义条件存在，则主控制器30将视频控制器34调节成以允许消除每个指示器歧义条件的方式动态地操控通用计算设备32的显示输出。一旦消除， 则主控制器30将每个计算的指示器位置输出到通用计算设备32。通用计算设备32进而处理每个接收到的指示器位置，并且如果需要，则更新提供给视频控制器；34的图像输出。显示输出未经修改地穿过视频控制器34，使得在显示单元上呈现的图像被更新以反映指示器活动。转向图5，示出了在指示器与显示表面M交互期间提供有源指示器反馈以消除歧义的过程。在步骤502中，发生了与显示表面M的一个或多个指示器接触，并且结果，成像设备40和42中的每个将对每个检测到的指示器的观察提供给主控制器30。在步骤504 中，主控制器30三角测量与和显示表面M接触的一个或多个指示器相关联的每个可能的指示器位置解。在步骤506中，主控制器30检查每个指示器位置三角测量解以确定是否存在指示器歧义条件。如果不存在指示器歧义条件，则在步骤514中，主控制器30将每个指示器位置三角测量解传送至通用计算设备32。作为响应，如果需要，则通用计算设备32更新传送至显示单元的显示输出以反映指示器活动。主控制器30还用信号通知视频控制器 34，使得通过视频控制器34的显示输出不被修改。在步骤506，如果存在指示器歧义条件，则主控制器30根据被确定存在的指示器歧义类型而执行多种指示器歧义例程之一以消除指示器歧义。在已经消除指示器歧义条件之后，过程返回至步骤506以确定是否存在任何其它的指示器歧义条件。一旦已经消除了所有的指示器歧义条件，则主控制器30就将每个指示器位置三角测量解传送至通用计算设备32。作为响应，如果需要，则通用计算设备32更新传送至显示单元的显示输出以反映指示器活动。在该示例中，在步骤506之后，首先在步骤507中进行检查以确定是否存在诱饵歧义条件。如果存在，则在返回步骤506之前在步骤508中执行诱饵歧义例程。如果不存在诱饵歧义条件或者在已经执行了诱饵歧义例程之后，在步骤509中进行检查以确定是否存在多指示器接触歧义条件。如果存在，则在返回步骤506之前在步骤510中执行多指示器接触歧义例程。如果不存在多指示器接触歧义条件或者在已经执行了多指示器接触歧义例程之后，在步骤511中进行检查以确定是否存在遮蔽指示器歧义条件。如果存在，则在返回步骤506之前在步骤512中执行遮蔽指示器歧义例程。如果不存在遮蔽指示器歧义条件， 则过程返回步骤506。执行指示器歧义例程的顺序被选择成使主控制器的计算负载最小化。 然而，本领域技术人员将理解，可以以任何期望的顺序来执行指示器歧义例程。本领域技术人员还将理解，可以存在其它类型的指示器歧义条件并且可以执行其它指示器歧义例程来消除这些指示器歧义条件。执行步骤508的诱饵歧义例程来消除诱饵歧义条件。当成像设备40或42中的至少一个由于例如周围光照条件、挡板26和/或成像设备的镜头82上被污垢或污点所造成的遮挡等而看到诱饵指示器时出现诱饵歧义条件。图6A是突出显示诱饵指示器条件的示例性视图。在该示例中，单个指示器602在位置A处与显示表面对相接触。如通过虚线所示出的，成像设备42仅正确看到指示器602。成像设备40看到如虚线所示的指示器602， 但是还看到如虚线604所示出的作为挡板沈遮蔽结果的在位置B处的诱饵指示器。在处理由成像设备40和42输出的观察期间，主控制器30对单个指示器602产生两个指示器位置三角测量解，一个指示器位置三角测量解对应于位置A而另一个指示器位置三角测量解对应于位置B。响应于这个诱饵歧义条件的检测，在执行诱饵歧义例程508期间，主控制器30将挡板沈调节成关闭状态，并且用信号通知视频控制器34以使得视频控制器34以允许主控制器30消除所述诱饵歧义条件的方式修改通用计算设备32的显示输出。特别如图6B所示，响应于主控制器30，视频控制器34修改包括由通用计算设备32输出的单个视频帧或少量视频帧(连续、非顺序或散布的)的第一视频帧集合，以在所述第一视频帧集合中的每个视频帧中插入指示符的第一集合-在该实施例中为斑点-在位置A和B处具有不同的强度。例如，插入在位置A处出现的每个视频帧中的斑点是暗的，而插入在位置B处出现的每个视频帧中的斑点是明亮的。如图6C所示，视频控制器34还修改包括由通用计算设备32输出的单个视频帧或少量视频帧(连续、非顺序或散布的)的第二视频帧集合，以在所述第二视频帧集合中的每个视频帧中插入在位置A和B处具有不同强度的斑点的第二集合。例如，插入在位置A处出现的每个视频帧中的斑点是明亮的，而插入在位置B处出现的每个视频帧中的斑点则是暗的。第一和第二视频帧集合可以是连续的或者被少量视频帧间隔开。在修改显示输出以插入斑点的同时对由成像设备40和42捕捉到的图像帧进行处理期间，检查图像帧以确定指示器位置三角测量解处的亮度变化。如果没有检测到沿与指示器位置三角测量解相交的视线的亮度改变，则确定该指示器位置三角测量解是诱饵。如果检测到沿与指示器位置三角测量解相交的视线的亮度改变，则确定该指示器位置三角测量解表示实际的指示器接触。如将理解到的，当指示器602在位置A处与显示表面M相接触并且在位置A处的显示输出被修改为闪烁的明暗斑点，则指示器602将被光斑点照亮并向成像设备40、42反射光线并且当出现暗斑点时将变暗，导致由成像设备捕捉到的图像帧中的亮度改变。对于与不存在指示器的指示器位置三角测量解相交的视线而言，在明暗斑点闪烁期间，由成像设备捕捉到的图像帧中实质上没有亮度改变。执行图5中步骤510的多指示器接触歧义例程以消除多指示器接触歧义条件，所述多指示器接触歧义条件可能在多个指示器要同时与显示表面M相接触并且主控制器30 不能确定并去除所有的虚构指示器位置三角测量解时出现。也就是说，所计算的指示器位置三角测量解数量超出了与显示表面M相接触的指示器的数量。步骤510的多指示器接触歧义例程使用闭环反馈序列来去除多指示器接触歧义。图7A是示出总体上同时与显示表面M相接触的两个指示器700和702的示例性视图。如图7B所示，在对由成像设备40 和42输出的观察进行处理期间，对于指示器700和702存在两对可能的指示器位置三角测量解。一对指示器位置三角测量解对应于位置A和B，并且表示实际的指示器位置三角测量解。而另一对指示器位置三角测量解对应于位置C和D，并且表示虚构的指示器位置三角测量解。然后，两对可能的指示器位置三角测量解被划分为两个组。响应于该多指示器接触歧义条件的检测，主控制器30将挡板沈调节为关闭状态并且用信号通知视频控制器34以使得视频控制器34以允许主控制器30消除所述多指示器接触歧义条件的方式来修改通用计算设备32的显示输出。特别如图7C所示，响应于主控制器30，视频控制器34修改包括由通用计算设备32输出的单个视频帧或少量视频帧(连续、非顺序或散布的)的第一视频帧集合，以在一些或所有可能的指示器位置三角测量解处向所述第一视频帧集合中的每个视频帧中插入诸如斑点、圆环、星号等的指示符的第一集合。每组指示器位置三角测量解的指示符不同，但是每组中每个指示器位置三角测量解的指示符则是相同的，也就是说，相同的大小、形状、颜色、强度、透明度等。例如图7C所示， 与位置A和B相对应的指示器位置三角测量解的指示符是暗斑点，而与位置C和D相对应的指示器位置三角测量解的指示符是明亮斑点。视频控制器34还修改包括由通用计算设备32输出的单个视频帧或少量视频帧 (连续、非顺序或散布的)的第二视频帧集合，以在一些或所有可能的指示器位置三角测量解处向所述第二视频帧集合中的每个视频帧中插入诸如斑点、圆环、星号等的指示符的第二集合。类似地，每组指示器位置三角测量解的指示符不同，但是每组中每个指示器位置三角测量解的指示符是相同的，也就是说，相同的大小、形状、颜色、强度、透明度等。例如如图 7D所示，与位置A和B相对应的指示器位置三角测量解的指示符是明亮斑点，而与位置C和 D相对应的指示器位置三角测量解的指示符则是暗斑点。第一和第二视频帧集合可以是连续的或者被少量视频帧间隔开。替代地，对于第一视频帧集合而言，可以在一个指示器位置三角测量解处显示明亮斑点，而在其余指示器位置三角测量解处显示暗斑点。例如，在与位置A相对应的指示器位置三角测量解处显示的指示符可以是明亮的，而在与位置B、C和D相对应的指示器位置三角测量解处显示的指示符可以是暗的。对于第二视频帧集合而言，可以在其它组的一个指示器位置三角测量解处显示明亮斑点，也就是说，在与位置C或D相对应的指示器位置三角测量解处显示明亮斑点，而在其余指示器位置三角测量解处显示的指示符可以是暗的。这允许通过观看亮度改变而识别出一个实际的指示器位置三角测量解。然后，还可以确定其它的实际指示器位置三角测量解，原因在于一旦一个实际的指示器位置三角测量解已知，则另一个也是已知的。替代地，可以使用一个暗斑点和三个明亮斑点。图7E示出了视频控制器34在与显示表面M相接触的指示器700下显示明亮斑点的同时显示表面M的部分截面图。如所能够看到的，指示器700被在该指示器之下显示的明亮斑点712照亮。结果，所述指示器向成像设备40和42反射来自图像帧中捕捉到的斑点712的明亮光线。如图7F所示，当视频控制器34在所述指示器下显示暗斑点714时， 在指示器700之下不存在照明并且指示器700不向成像设备40和42反射附加光线。由主控制器30检查由成像设备40和42在指示符闪烁期间捕捉到的图像帧内的亮度改变。如果所显示的暗斑点714的光强度比显示所述暗斑点之前在相同位置处捕捉到的图像帧的光强度更暗，则成像设备40和42将看到比显示所述暗斑点之前的图像帧中更暗的指示器图像。如果所显示的明亮斑点712的光强度比显示所述明亮斑点之前在相同位置处捕捉到的图像帧的光强度更加明亮，则成像设备40和42将看到比显示所述明亮斑点之前的图像帧中更加明亮的指示器图像。如果在显示明或暗斑点的位置处没有指示器，则由成像设备 40和42捕捉到的图像将几乎不改变。这允许实际的指示器位置三角测量解得以被确定。图8A示出了被执行以消除图7A至7D所示的多指示器接触歧义条件的过程。在步骤802中，主控制器30将视频控制器34调节成在位置A和B处显示暗斑点并且在位置C 和D处显示明亮斑点，如图7C所示。在步骤804中，主控制器30将视频控制器34调节成在位置A和B处显示明亮斑点并且在位置C和D处显示暗斑点，如图7D所示。在步骤806 中，主控制器30确定成像设备40和42是否已经捕捉到示出步骤802至804期间在A至D 的任何位置处存在亮度改变的视频帧。如果没有检测到亮度改变，则主控制器30在步骤 808中调整显示明暗斑点的位置的地点并且返回步骤802。如果检测到亮度改变，则在步骤 810，主控制器30确定从步骤802到804的亮度改变是否是从暗到明。如果所述亮度改变是从暗到明，则在步骤814中，主控制器30指定与位置A和B相对应的指示器位置三角测量解为实际的指示器位置三角测量解。如果亮度改变不是从暗到明，则在步骤812中，主控制器30确定亮度改变是否是从明到暗。如果所述亮度改变是从明到暗，则在步骤816中， 主控制器30指定与位置C和D相对应的指示器位置三角测量解为实际的指示器位置三角测量解。如果亮度改变不是从明到暗，则在步骤808，主控制器30调整显示明暗斑点的位置的地点并且返回步骤802。图8B示出了可以被执行以消除图7A至7D所示的多指示器接触歧义条件的替代过程。在步骤822中，视频控制器34被调节成在与位置A和B相对应的指示器位置三角测量解处显示暗斑点并且在与位置C和D相对应的指示器位置三角测量解处显示明亮斑点， 如图7C所示。在步骤824中，主控制器30在显示所述明暗斑点之后确定由成像设备40和 42捕捉到的图像帧是否示出了在位置A至D处存在亮度改变。如果确定了光强度更加明亮的改变，则在步骤826中，主控制器30指定与位置C和D相对应的指示器位置三角测量解为实际的指示器位置三角测量解。如果确定了光强度更暗的改变，则在步骤830中，主控制器30指定与位置A和B相对应的指示器位置三角测量解为实际的指示器位置三角测量解。 如果在A至D的任何位置处没有检测到光强度改变，则在步骤828中，视频控制器34被调节成在位置A和B处显示明亮斑点并且在位置C和D处显示暗斑点，如图7D所示。在步骤 832中，主控制器30在显示所述明暗斑点之后确定由成像设备40和42捕捉到的图像帧是否示出了在位置A至D处的光强度改变。如果确定了光强度更暗的改变，则在步骤826中， 主控制器30指定与位置C和D相对应的指示器位置三角测量解为实际的指示器位置三角测量解。如果确定了光强度更加明亮的改变，则在步骤830中，主控制器30指定与位置A 和B相对应的指示器位置三角测量解为实际的指示器位置三角测量解。如果在任何位置处没有检测到光强度改变，则在步骤834，主控制器30调整显示明暗斑点的位置的地点并且返回步骤822。以上实施例描述了在与指示器位置三角测量解相对应的所有位置处插入例如斑点的指示符并且同时测试所有目标位置。本领域技术人员将理解，可以采用其它指示符和测试顺序。例如，在步骤510的多指示器接触歧义例程期间，视频控制器34可以在仅一个组的指示器位置三角测量解处显示不同视频帧集合中不同强度的指示符，使得逐一测试每组指示器位置三角测量解。在这种情况下，指示器歧义例程在找到一组实际的指示器位置三角测量解时完成。替代地，视频控制器34可以一次一个地在每个指示器位置三角测量解处显示不同视频帧集合中不同强度的指示符，使得独立地测试每个指示器位置三角测量解。该替代实施例还可以被用来同时去除如步骤508的诱饵歧义例程中所讨论的诱饵指示器。在进一步的替代实施例中，指示符可以位于显示表面M上更适于由成像设备40和42 成像的位置处。例如，可以在通常与指示器位置三角测量解相对应的位置处显示明亮斑点， 但是可以稍微偏离中心以使得其沿从所述指示器位置三角测量解朝向成像设备40、42的矢量更加接近于成像设备40、42。这将导致成像设备在指示器处于该位置的情况下捕捉到更加明亮的指示器亮度。有利地，由于每个成像设备的图像帧捕捉速率被选择成足以超出显示单元的刷新速率，所以指示符可以被插入视频帧中并且几乎难以察觉地呈现给观看者。为了进一步减少由闪烁指示符导致的分神，可以采用诸如指示符下的水波效果之类的伪装技术或者用于肯定目标验证的更长闪烁序列。这些技术有助于掩饰由观看者感知到的图像假象并且提供确认已经正确登记了与显示表面M相接触的指示器的肯定反馈。替代地，成像设备40和 42可以具有较低的帧率，与视频控制器34向显示输出中插入指示符同步地捕捉图像帧。采用图5中步骤512的遮蔽指示器歧义例程来消除当交互式输入系统无法准确确定与显示表面M相接触的指示器的位置时出现的遮蔽指示器歧义条件。图9A示出了当从成像设备40和42到指示器902的视线904和906接近180°时出现的遮蔽指示器歧义条件。在这种情况下，由于来自每个成像设备40和42的视线几乎一致，所以难以沿χ轴确定指示器的位置。图9B示出了遮蔽指示器歧义条件的另一个示例。在这种情况下，两个指示器908和910与显示表面M相接触。指示器910挡住了指示器908使其无法被成像设备 42看到。三角测量仅能够确定指示器908沿成像设备40的视线处于位置A和B之间，并且因此无法确定指示器908的确切位置。响应于遮蔽指示器歧义条件的检测，主控制器30将挡板沈调节成关闭状态并且用信号通知视频控制器30以使得视频控制器30以允许主控制器消除遮蔽指示器歧义条件的方式对通用计算设备32的显示输出进行修改。特别如图9C所示，响应于主控制器30， 视频控制器34在包括单个视频帧或少量视频帧(连续、非顺序或散布的)的第一视频帧集合期间使得第一梯度图案922在指示器920的估计指示器位置三角测量解之下进行闪烁。 第一梯度图案922具有沿成像设备40的视线拟4的梯度强度，使得其强度随着靠近成像设备40而变暗。视频控制器34还在如图9D所示的第二视频帧集合中使得第二梯度图案拟6 在指示器920的估计指示器位置三角测量解之下进行闪烁。第二梯度图案拟6具有沿视线 924的相反梯度强度，使得其强度随着靠近成像设备40而更加明亮。梯度图案922和拟6 中心的强度相同。以这种方式，如果所述估计指示器位置三角测量解是精确的，则在对第一和第二视频帧集合的显示输出进行操控期间，指示器920将与由成像设备42捕捉到的图像帧中具有大致相同的强度。如果指示器920比估计指示器位置三角测量解更加远离成像设备40，则指示器920在图9D的第二视频帧集合的视频帧显示期间捕捉到的图像帧中将比在图9C的第一视频帧集合的视频帧显示期间捕捉到的图像帧中更暗。如果指示器920实际比估计指示器位置三角测量解更加接近于成像设备40，则指示器920在图9D的第二视频帧集合的视频帧显示期间捕捉到的图像帧中将比在图9C的第一视频帧集合的视频帧显示期间捕捉到的图像帧中更加明亮。在估计指示器位置三角测量解与实际指示器位置不相对应的情况下，主控制器30将估计指示器位置三角测量解移动到新的位置。通过在图9C的第一视频帧集合的显示和图9D的第二视频帧集合的显示期间捕捉到的图像帧之间看到的强度差来确定新的估计指示器位置三角测量解。替代地，可以通过梯度图案的中心和梯度图案的边缘之间的中点来确定新的估计指示器位置三角测量解。重复步骤512的遮蔽指示器歧义例程，直到找到精确的指示器位置三角测量解。本领域技术人员将理解，可以在遮蔽指示器歧义例程期间使用其它指示符图案。 例如，如图9E和9F所示，可以使用强度不连续的多个窄条带拟8和930，其中多个条带928 和930中心的强度是相同的。图9G和9H示出了使用由单个成像设备捕捉到的图像帧来定位指示器接触的替代实施例。在该实施例中，使用极坐标来确定指示器接触的位置。成像设备40首先检测沿极线942与显示表面M相接触的指示器940。为了确定与成像设备40的距离，视频控制器 34在沿极线942从一端向另一端移动的每个位置处闪烁从暗到明的斑点944并然后闪烁从明到暗的斑点946。如果由成像设备40捕捉到的图像帧没有在指示器图像中示出任何强度改变，则主控制器30用信号通知视频控制器34以移动到下一个位置。当由成像设备40捕捉到的图像帧示出了强度改变时，采用与参照图9C至9F描述的类似过程来确定确切的指示器位置三角测量解。图91和9J示出了使用由单个成像设备捕捉到的图像帧来定位指示器接触的又一个替代实施例。在该实施例中，使用极坐标来确定指示器接触的位置。成像设备40首先沿极线检测与显示表面M接触的指示器960。为了确定与成像设备40的距离，视频控制器 34闪烁具有覆盖极线962整个分段的梯度强度图案或非连续强度图案的从暗到明的条带 964。然后，视频控制器34以与图案964相反的图案闪烁从明到暗的条带966。所述条带的强度改变与到成像设备40的距离成比例。也可以使用用于改变条带强度的其它函数。主控制器30通过将图91和9J所示的条带显示期间捕捉到的图像帧中的指示器的强度差异进行比较来估计指示器接触位置。然后，主控制器30可以使用与参见图9C至9F所描述的类似过程来微调(refine)所估计的指示器接触位置。在图5所示的过程的替代中，当由成像设备40、42捕捉到的图像帧中出现任何新的未识别指示器时，还可以采用有源显示反馈。未识别指示器是无法与已经通过有源显示反馈验证的之前所见指示器相关联的任何所见对象。在该过程期间，当主控制器30对观察进行处理并确定存在未识别指示器接触时，进行检查以确定是否存在多于一个的未识别指示器接触。如果仅存在一个未识别指示器接触，则以参照步骤508所描述的方式将该未识别的指示器接触验证为真实的。如果存在多于一个的未识别指示器接触，则以参照步骤510 所描述的方式将所述未识别指示器接触验证为真实和虚构的。如果没有找到未识别的指示器接触，则如参见步骤511所描述的，进行检查以确定是否有任何指示器接触被挡住而无法被成像设备40、42中的任一个看到，或者是否有任何指示器接触位于显示表面M上的不良三角测量区域。如果存在这些条件中的任一个，则以参照步骤512所描述的方式来确定这些指示器接触的位置。在以上实施例中，指示器是无源的，例如手指、圆柱体材料或者要与显示表面M 相接触的其它对象，并且通过处理图像帧来检测所述指示器以确定使得与由挡板26提供的背光相对应的明亮背景中断的暗区。如果需要，则不同于采用照明挡板，诸如顶发光二极管(LED)之类的红外光源可以与每个成像设备相关联并且可以采用反光挡板。在这种情况下，顶LED可以跨显示表面M传送光线。入射到反光挡板上的传送光线返回成像设备 40和42，并且为要与显示表面M相接触的无源指示器提供背光。当然，所述成像设备可以被操作成在周围光照条件下捕捉图像帧。在这种情况下，可以采用无源挡板。所述交互式输入系统还适合与随有源指示器一起使用。图IOA示出了用于结合交互式输入系统使用的示例性有源指示器。如所能够看到的，指示器1100包括以圆锥体尖端为端点的主体1102。尖端1104容纳有传感器1105(见图10C)，其集中于感测由显示单元发射的光。突出于尖端1104的是致动器1106。致动器 1106通过弹簧(未示出)而伸出尖端1104并且能够通过施加压力而被推入尖端1104。致动器1106连接到主体1102内的开关(未示出)，当致动器1106相对弹簧偏离而被推入尖端1104时，所述开关闭合电路以对传感器加电。随着传感器加电，指示器1100能够接收光。 当电路闭合时，主体1102内的射频传送器1112(见图10C)也被加电以使得传送器发射无线电信号。图IOB示出了交互式输入系统20以及与显示表面M相接触的有源指示器1100。 如之前的实施例，当有源指示器1100与显示表面M相接触时，主控制器30对所有可能的指示器位置三角测量解进行三角测量并且将该数据发送到一般处理计算设备32以便进一步处理。一般处理计算设备32还包含有射频接收器1118以用于传送系统状态信息并从尖端1104中的传感器接收信号信息。射频接收器1118经由通信信道1120接收由尖端1104 中的传感器1105捕捉到的光的特性(例如，照明强度)。当有源指示器1100的致动器1106 伸出尖端1104之外时，电路保持断开，使得所述指示器的射频传送器1112不发射无线电信号。因此，指示器1100以无源模式进行操作。在这种情况下，一般处理计算设备32的显示输出未经修改地穿过视频控制器34到达显示单元。图IOC示出了图示交互式输入系统20与有源笔1100的通信路径的框图。有源指示器1100的传送器1112到一般处理计算设备32的接收器1118之间的通信信道1120是单向的。通信信道1120可以被实现为高频无线顶信道或者诸如蓝牙的RF信道。在一般处理计算设备32无法确定确切的有源指示器位置的情况下，以足够的力使得有源指示器1100的尖端与显示表面M相接触以将致动器1106推入尖端1104。作为响应，尖端1104中的传感器1105被加电，且交互式输入系统20的射频接收器1118被通知指示器操作状态的改变。在这种模式中，有源指示器1100提供从显示表面M到一般处理计算设备32的安全、空间定位的通信信道。使用与以上所描述类似的过程，一般处理计算设备32用信号通知视频控制器34以在一些视频帧中显示指示符或假象。有源指示器1100 感测周围的亮度改变并且经由通信信道1120将该亮度改变信息传送至一般处理计算设备 32。一般处理计算设备32进而基于其所接收到的信息来消除指示器歧义。
图9C至9F所示的相同梯度图案也可以被用来缓解周围光线对交互式输入系统的信噪比的负面影响，所述负面印象因此会降低成像设备40和42辨别指示器目标的确定性。 周围光线根据时间或位置的改变导致在有源显示反馈期间由成像设备40和42捕捉到的图像帧中的预期照明强度有所变化偏移。通过减去由成像设备40和42捕捉到的连续图像来实现周围光线变化的分离。由于图像帧的亮度是周围光线和由指示器从显示单元上的闪烁所反射的光的总和，所以在相同位置闪烁相等但方向相反的一对梯度图案将提供用于比较的图像帧，其中受控显示的光在不同且单独的实例处是相同的。因此将该序列中的第一图像从其后续图像减去以计算不同的周围光线图像帧。这种方法与一般处理计算设备32相结合并且进行迭代以预测利用未来图像帧所捕捉的变化的周围偏移光线的贡献。替代地，还可以通过使用如转让给SMART Technologies ULC的题为“ Interactive Input System with Controlled Lighting” 的 PCT 申请 No. W02009/i;35313 中公开的受控照明的多种正交模式来减少周围光线的不利影响，以上文献的内容通过引用的方式并入。 由于所不期望的周围光线通常由稳定分量和若干定期性分量构成，所以专门选择由视频控制器34生成的闪烁的频率和顺序以避免与来自DC光源(例如，阳光)和AC光源(例如， 荧光灯)的最大谱成分相竞争。例如，选择八个Walsh码集合和具有8个子帧的120赫兹的固有帧率允许交互式输入系统将无法预料的外部光源过滤出去并且仅观察到受控光源。 在这种情况下，成像设备40和42以每秒钟960帧的子帧率进行操作，而DC和AC光源的特征主要在于分别在0赫兹和120赫兹处的频率成分。相反，八个Walsh码中的三个在0赫兹和120赫兹处具有谱空白(null)(以960fps的样本速率)，并且利用供指示器反射的光独立进行调制。Walsh码生成器与成像设备40和42的图像传感器快门同步，其中，所述图像传感器40和42所捕捉到的图像帧相关以排除从散射周围光线捕捉到的信号信息。有利的是，图像传感器在它们的快门以这么快的频率进行操作时也不太可能是饱和的。如果需要，则有源指示器110可以被提供以LED以替换尖端1104中的传感器(未示出)。在这种情况下，以类似于以上所描述的方式对由所述LED发射的光进行调制以避免来自散射光线的干扰并且提供交互式输入系统所添加的特征和灵活性。例如，这些特征中的一些是附加的使用模式，为多个笔分配颜色，以及多指示器环境和应用中指示器目标的改进的定位、关联和验证。替代地，可以使用这里所描述的技术来执行多用户的指示器识别。例如，如果用户 A和用户B分别利用指示器A和指示器B在显示表面M上进行书写，则通过在每个指示器位置下显示不同指示符，能够唯一识别每个指示器。每个指示器的每个视觉指示符在颜色或图案上可以不同。替代地，每个指示器下的明亮斑点可以进行唯一调制。例如，可以在指示器A之下显示明亮斑点而在指示器B之下显示暗斑点，或者指示器B保持无光。图11示出了交互式输入系统20的替代实施例。在该实施例中，主控制器30对来自由成像设备40和42捕捉到的图像帧的所有可能的指示器位置三角测量解进行三角测量。图像帧中指示器的三角测量结果和光线强度信息被发送到一般处理计算设备32。一般处理计算设备32采用在其存储器中存储的如以上所描述的歧义去除例程来修改一般处理计算设备32的视频输出缓冲器。在从一般处理计算设备32输出的一些视频帧中显示指示符。一般处理计算设备32使用从主控制器30获得的具有指示符的图像帧中的指示器的三角测量结果和光线强度信息来去除三角测量歧义。然后，跟踪实际的指示器位置三角测量
21解，直到出现另一个指示器歧义情形并且再次采用歧义去除例程。这里所描述的歧义去除例程应用于许多不同类型的具有有源和无源指示器的基于相机的交互式输入系统。不同于使用一对成像设备，也可以使用具有镜面配置的单个成像设备。在该实施例中，使用镜面来获得到指示器的第二矢量以便对指示器位置进行三角测量。这样的配置在之前所并入的Ung等人的美国专利No. 7，274，356中进行了描述，并且在转让给SMART Technologies ULC的Ung等人的美国专利申请公开No. 2007/0236454中进行了描述，其内容通过引用的方式并入。虽然交互式输入系统20的以上实施例参考例如IXD设备、CRT监视器或等离子设备的显示单元进行了描述，但是也可以使用一个或多个投影仪来给出用于在触摸表面上显示的图像以及在与指示器位置三角测量解相对应的位置处显示指示符。图12图示了使用投影仪1202的交互式触摸系统20。主控制器30对来自从不同有利位置看上去跨触摸面板 1204的触摸表面1208的成像设备40和42捕捉到的图像帧的所有可能的指示器位置三角测量解进行三角测量，并且将三角测量结果和指示器图像的光线强度信息发送给一般处理计算设备32以便进一步处理。一般处理计算设备32采用在其存储器中存储的如以上所描述的歧义去除例程来修改一般处理计算设备32的视频输出缓冲器。然后，向从如以上所描述的一般处理计算设备32输出的一些视频帧插入指示符。投影仪1202从一般处理计算设备32接收视频帧并且将它们显示在触摸面板1204上。当指示器1206与触摸面板1204的触摸表面1208相接触时，从投影仪1202发出的投射在触摸表面1208上的指示器1206附近的光线1210被反射到指示器1206并且进而被反射到成像设备40和42。通过如之前所描述的向一些视频帧中插入指示符，指示器1206周围的照明强度被改变并且被成像设备40和42感测到。这样的信息经由主控制器30被发送到一般处理计算设备32。一般处理计算设备32使用三角测量结果和指示器图像的光线强度信息来去除三角测量歧义。本领域技术人员将理解，指示符的确切形状、图案和频率可以不同以适应各种应用或环境。例如，指示符可以是方形、圆形、矩形、椭圆形、环形或线形。光线强度图案可以是线形、圆形或矩形。图案内强度改变的速率也可以为线性的、二态的、抛物线的或者随机的。通常，闪烁特性可以是固定的或可变的，并且取决于周围光线的强度、指示器尺寸、用户约束、时间、跟踪公差或者交互式输入系统20及其环境的其它参数。例如，在欧洲或其它地方，电子系统的频率是50赫兹，并且因此固有帧率和子帧率可以分别是100和800帧每秒。在替代实施例中，配件22包括在每个像素位置处发射顶光线的显示单元，并且成像设备40和42的图像传感器被提供有顶滤波器。在这种布置中，在防止来自可见光谱的杂散光以及由图像处理引擎从处理中将其去除的同时，所述滤波器允许源自显示单元并且被目标反射的光线通过。在另一个实施例中，成像设备40和42的图像传感器被单个光电二极管、光电寄存器或其它光能传感器替换。这些实施例中的反馈序列也可以被更改以适应替代传感器较差的分辨率。例如，整个显示表面M可以闪烁或光栅扫描以初始化有源反馈序列，或者在有源反馈序列期间的任何时间进行闪烁或光栅扫描。一旦定位了目标指示器，则可以通过对目标指示器之下的图像像素中被照亮的有源反馈序列进行编码或者以与之前所描述类似的方式来验证并关联其特性。
在又一个实施例中，交互式输入系统使用彩色成像设备，并且所显示的指示符是彩色的。在(如图9A至9J所示的)沿极线的歧义去除例程的进一步实施例中，利用已知的极坐标，三条线沿极线在指示器方向上进行闪烁。第一条线为暗的或黑色，第二条线为白色或明亮的，而第三条线是黑白或明暗线性梯度的。采用前两个闪烁来创建高和低的明亮强度基准。当被测量为梯度的指示器的光线强度闪烁时，将光线强度与所述明暗测量进行比较以估计指示器位置。在沿极线的歧义去除例程的又一个实施例中，白色或明亮的线条被显示在显示表面M上并且与成像设备40或42的视线垂直。这条白色或明亮的线条可以类似于雷达那样远离成像设备快速移动。当该线条达到指示器时，其将照亮所述指示器。基于白线与成像设备的距离，能够确定距离和角度。交互式输入系统的组件之间的信息交换可以经由其它工业标准接口来进行。这样的接口可以包括但不限于RS232、PCI、蓝牙、802. Il(Wi-Fi)或者任何它们各自后继形式。类似地，虽然在一个实施例中是模拟的，但是视频控制器34在另一实施例中可以是数字的。交互式输入系统20的组件的特定布置和配置也可以被更改。本领域技术人员还将理解，可以在不背离如所附权利要求定义的本发明的范围和精神的情况下对所描述的那些内容进行其它变化和修改。
权利要求
1.一种用于消除交互式输入系统中的指示器歧义的方法，包括计算多个指示器在所述交互式输入系统的输入表面附近的多个潜在指示器位置； 在所述输入表面上显示与每个潜在指示器位置相关联的视觉指示符；以及基于从所述视觉指示符的显示导出的反馈来确定实际的指示器位置。
2.如权利要求1所述的方法，其中，显示视觉指示符包括 至少在一些潜在的指示器位置处显示视觉指示符的第一集合；在显示所述视觉指示符的第一集合的同时，利用所述交互式输入系统的成像系统来捕捉第一图像集合；至少在一些潜在的指示器位置处显示视觉指示符的第二集合；以及在显示所述视觉指示符的第二集合的同时，利用所述成像系统来捕捉第二图像集合。
3.如权利要求2所述的方法，其中，确定实际的指示器位置包括对所述第一图像集合和第二图像集合进行处理，以从所述潜在的指示器位置中识别至少一个实际的指示器位置。
4.如权利要求3所述的方法，其中，所述处理进一步包括确定在所述第一图像集合和所述第二图像集合之间每个潜在指示器位置处的反射光强度的差异。
5.如权利要求2所述的方法，其中，所述视觉指示符的第一集合包括明斑点和暗斑点中的一个，并且其中所述视觉指示符的第二集合包括明斑点和暗斑点中的另一个。
6.如权利要求2所述的方法，其中，所述视觉指示符的第一集合包括从明到暗和从暗到明中的一个渐变的梯度，并且所述视觉指示符的第二集合包括从明到暗和从暗到明中的另一个渐变的梯度。
7.如权利要求1所述的方法，其中，所述成像系统包括至少两个成像设备，所述至少两个成像设备总体上从不同有利位置扫视所述输入表面并且具有重叠的视场。
8.一种用于消除交互式输入系统中的指示器歧义的方法，包括计算与至少两个指示器中的每一个相关联的可能触摸点坐标，所述至少两个指示器与所述交互式输入系统的输入表面相接触；在所述输入表面上与第一对可能触摸点坐标相关联的区域处显示第一视觉指示符，并且在所述输入表面上与第二对可能触摸点坐标相关联的区域处显示第二视觉指示符；在显示所述第一视觉指示符和显示所述第二视觉指示符期间，利用成像系统来捕捉第一图像；在所述输入表面上与所述第一对可能触摸点坐标相关联的区域处显示所述第二视觉指示符，并且在所述输入表面上与所述第二对可能触摸点坐标相关联的区域处显示所述第一视觉指示符；在显示所述第二视觉指示符和显示所述第一视觉指示符期间，利用所述成像设备系统来捕捉第二图像；以及将所述第一图像与所述第二图像进行比较以验证实际的触摸点坐标。
9.如权利要求8所述的方法，其中，所述比较进一步包括确定在所述第一图像和第二图像之间与所述实际触摸点坐标相关联的区域处的反射光差异。
10.如权利要求8所述的方法，其中，所述第一视觉指示符是暗斑点和明斑点中的一个，并且所述第二视觉指示符是暗斑点和明斑点中的另一个。
11.如权利要求8所述的方法，其中，所述成像系统包括至少两个成像设备，所述至少两个成像设备总体上从不同有利位置扫视所述输入表面并且具有重叠的视场。
12.—种交互式输入系统，包括触摸表面；成像设备系统，所述成像设备系统可操作用于捕捉所述输入表面的输入区的图像并且检测至少一个指示器何时与所述输入表面相接触；以及视频控制设备，所述视频控制设备响应于所述成像设备系统并且在所述输入表面上与所述至少一个指示器相关联的区域处显示图像图案，其中所述图像图案促进对所述至少一个指示器的位置的验证。
13.如权利要求12所述的交互式输入系统，其中，所述图像图案包括第一图像和用于生成对比的连续的第二图像，所述对比适于验证所述至少一个指示器的所述位置。
14.如权利要求13所述的交互式输入系统，其中，所述第一图像包括暗斑点和明斑点中的一个，并且所述第二图像包括暗斑点和明斑点中的另一个。
15.如权利要求12所述的交互式输入系统，进一步包括视频接口，所述视频接口可操作地耦合到所述视频控制设备，所述视频接口适于向所述视频控制设备提供视频同步信号以便进行处理，其中基于所述处理，所述视频控制设备中断在所述输入表面上显示的图像并且显示所述图像图案。
16.如权利要求12所述的交互式输入系统，其中，所述成像设备系统包括至少两个成像设备，所述成像设备总体上从不同有利位置扫视所述输入表面的所述输入区并且具有重叠的视场。
17.如权利要求16所述的交互式输入系统，其中，所述成像设备系统进一步包括至少一个第一处理器，所述至少一个第一处理器适于处理所捕捉的图像帧并且在其中检测指示器的存在。
18.如权利要求17所述的交互式输入系统，进一步包括第二处理器，所述第二处理可操作地耦合至所述至少一个第一处理器和所述视频控制设备，其中基于所述验证，所述第二处理器从所述至少一个第一处理器接收指示器数据并且生成与所验证的指示器位置相对应的指示器位置坐标数据。
19.如权利要求18所述的交互式输入系统，其中，所述第二处理器包括图像处理单元， 所述图像处理单元适于生成供所述视频控制设备显示的图像图案。
20.如权利要求19所述的交互式输入系统，其中，所述图像图案包括第一图像，所述第一图像包括在向所述至少一个成像设备系统移动的方向上从暗色到亮色改变的第一强度梯度；以及第二图像，所述第二图像包括在远离所述至少一个成像设备系统移动的方向上从亮色到暗色改变的第二强度梯度。
21.一种用于确定交互式输入系统中至少一个指示器的位置的方法，包括计算在输入表面上至少一个指示器的至少一个触摸点坐标；在所述输入表面上与所述至少一个触摸点坐标相关联的区域处显示第一视觉指示符；在显示所述第一视觉指示符的同时，使用所述交互式输入系统的成像系统来捕捉所述输入表面的第一图像；在所述输入表面上与所述至少一个触摸点坐标相关联的区域处显示第二视觉指示符；在显示所述第二视觉指示符的同时，使用所述成像系统来捕捉所述输入表面的第二图像；以及将所述第一图像与所述第二图像进行比较以验证所述至少一个指示器在所述输入表面上的位置。
22.如权利要求21所述的方法，其中，所述比较包括确定在所述第一图像和所述第二图像之间与所述至少一个触摸点坐标相关联的区域处的反射光差异。
23.如权利要求21所述的方法，其中，所述第一视觉指示符是暗斑点和明斑点中的一个，并且所述第二视觉指示符是暗斑点和明斑点中的另一个。
24.如权利要求21所述的方法，其中，所述第一视觉指示符是从明到暗和从暗到明中的一个渐变的梯度，并且所述第二视觉指示符是从明到暗和从暗到明中的另一个渐变的梯度。
25.如权利要求21所述的方法，其中，所述成像设备系统包括至少两个成像设备，所述至少两个成像设备总体上从不同有利位置扫视所述输入表面并且具有重叠的视场。
26.一种用于确定交互式输入系统中至少一个指示器位置的方法，包括在所述交互式输入系统的输入表面上与所述至少一个指示器相关联的区域处显示第一图案；在显示所述第一图案期间，利用成像设备系统来捕捉所述输入表面的第一图像；在所述输入表面上与所述至少一个指示器相关联的区域处显示第二图案；在显示所述第二图案期间，利用所述成像设备系统来捕捉所述输入表面的第二图像；以及基于所述第二图像对所述第一图像进行处理以计算差异图像来分离周围光线的改变。
27.如权利要求沈所述的方法，其中，所述第一图案包括从明到暗和从暗到明中的一个渐变的梯度，并且所述第二图案包括从明到暗和从暗到明中的另一个渐变的梯度。
28.如权利要求沈所述的方法，其中，所述第一图案和第二图案具有被选择用于将周围光源过滤出去的频率。
29.如权利要求观所述的方法，其中，所述频率是120赫兹。
30.一种交互式输入系统，包括 输入表面；成像设备系统，所述成像设备系统可操作用于捕捉所述输入表面的图像； 与所述输入表面相接触的至少一个有源指示器，所述至少一个有源指示器具有用于感测来自所述输入表面的光线改变的传感器；以及视频控制设备，所述视频控制设备响应于所述成像设备系统并且与所述至少一个有源指示器进行通信，所述视频控制设备在所述输入表面上与所述至少一个指示器相关联的区域处显示图像图案，所述图像图案促进对所述至少一个指示器的位置的验证。
31.如权利要求30所述的交互式输入系统，其中，所述图像图案包括第一图像和用于生成对比的连续的第二图像，所述对比适于验证所述至少一个指示器的所述位置。
32.如权利要求31所述的交互式输入系统，其中，所述第一图像包括暗斑点和明斑点中的一个，并且所述第二图像包括暗斑点和明斑点中的另一个。
33.如权利要求30所述的交互式输入系统，进一步包括视频接口，所述视频接口可操作地耦合到所述视频控制设备，所述视频接口适于向所述视频控制设备提供视频同步信号以便进行处理，其中基于所述处理，所述视频控制设备中断在所述输入表面上显示的图像并且显示所述图像图案。
34.如权利要求30所述的交互式输入系统，其中，所述成像设备系统包括至少两个成像设备，所述至少两个成像设备总体上从不同有利位置扫视所述输入表面并且具有重叠的视场。
35.如权利要求30所述的交互式输入系统，其中，所述视频控制器经由无线通信链路与所述有源指示器进行通信。
36.如权利要求30所述的交互式输入系统，其中，所述视频控制器经由高频顶信道和高频RF信道中的一个与所述有源指示器进行通信。
37.一种包含计算机程序的计算机可读介质，所述计算机程序可由计算设备执行以消除交互式输入系统中的指示器歧义，所述计算机程序包括用于计算多个指示器在交互式输入系统的输入表面附近的多个潜在指示器位置的程序代码；用于使得在所述输入表面上显示与每个潜在指示器位置相关联的视觉指示符的程序代码；以及用于基于从所述视觉指示符导出的反馈来确定实际的指示器位置的程序代码。
38.一种包含计算机程序的计算机可读介质，所述计算机程序可由计算设备执行以消除交互式输入系统中的指示器歧义，所述计算机程序包括用于计算与至少两个指示器中的每一个相关联的可能触摸点坐标的程序代码，所述至少两个指示器与所述交互式输入系统的输入表面相接触；用于使得在所述输入表面上与第一对可能触摸点坐标相关联的区域处显示第一视觉指示符并且用于使得在所述输入表面上与第二对可能触摸点坐标相关联的区域处显示第二视觉指示符的程序代码；用于在显示所述第一视觉指示符和显示所述第二视觉指示符期间，使得成像系统捕捉第一图像的程序代码；用于使得在所述输入表面上与所述第一对可能触摸点坐标相关联的区域处显示所述第二视觉指示符并且用于使得在所述输入表面上与所述第二对可能触摸点坐标相关联的区域处显示所述第一视觉指示符的程序代码；用于在显示所述第二视觉指示符和显示所述第一视觉指示符期间，使得所述成像设备系统捕捉第二图像的程序代码；以及用于将所述第一图像与所述第二图像进行比较以验证实际的触摸点坐标的程序代码。
39.一种包含计算机程序的计算机可读介质，所述计算机程序可由计算设备执行以消除交互式输入系统中的指示器歧义，所述计算机程序包括用于计算在输入表面上至少一个指示器的至少一个触摸点坐标的程序代码； 用于使得在所述输入表面上与所述至少一个触摸点坐标相关联的区域处显示第一视觉指示符的程序代码；用于使得在显示所述第一视觉指示符的同时，使用成像系统来捕捉所述输入表面的第一图像的程序代码；用于使得在所述输入表面上与所述至少一个触摸点坐标相关联的区域处显示第二视觉指示符的程序代码；用于在显示所述第二视觉指示符的同时，使用所述成像系统来捕捉所述输入表面的第二图像的程序代码；以及用于将所述第一图像与所述第二图像进行比较以验证所述至少一个指示器在所述输入表面上的位置的程序代码。
40. 一种包含计算机程序的计算机可读介质，所述计算机程序可由计算设备执行以消除交互式输入系统中的指示器歧义，所述计算机程序包括用于使得在所述交互式输入系统的输入表面上与至少一个指示器相关联的区域处显示第一图案的程序代码；用于使得在显示所述第一图案期间，利用成像设备系统来捕捉所述输入表面的第一图像的程序代码；用于使得在所述输入表面上与所述至少一个指示器相关联的区域处显示第二图案的程序代码；用于使得在显示所述第二图案期间，利用所述成像设备系统来捕捉所述输入表面的第二图像的程序代码；以及用于基于所述第二图像对所述第一图像进行处理以计算差异图像来分离周围光线的改变的程序代码。
全文摘要
一种用于消除交互式输入系统中的指示器歧义的方法，包括计算多个指示器在所述交互式输入系统的输入表面附近的多个潜在指示器位置；在所述输入表面上显示与每个潜在指示器位置相关联的视觉指示符；以及基于从所述视觉指示符的显示导出的反馈来确定实际的指示器位置。
文档编号G06F3/042GK102369498SQ201080014623
公开日2012年3月7日 申请日期2010年2月11日 优先权日2009年2月11日
发明者丹尼尔·麦克雷诺德斯, 帕特里克·居特勒, 格兰特·麦克吉布尼, 许奇志 申请人:智能技术无限责任公司