专利名称：用于相对于触摸面检测指示器的装置和方法
技术领域：
本发明总的来说涉及交互式输入系统，并且特别涉及一种用于相对于触摸面检测指示器的装置和方法。
背景技术：
触摸系统在本领域是公知的，并且其通常包括具有触摸面的触摸屏，使用指示器在触摸面上进行接触从而产生用户输入。检测与触摸面的指示器接触，并将其用于根据进行指示器接触的触摸面区域而产生相应的输出。通用的触摸系统利用模拟电阻、电磁、电容、声学或机器视觉技术，识别在触摸面上的指示器接触。
例如，转让给本发明的受让人SMART Technologies有限公司的、于2001年7月5日提交的国际PCT申请NO.PCT/CA01/00980并以NO.WO02/03316于2002年1月10日公布，其披露了一种基于摄像机的触摸系统，所述系统包括具有无源触摸面的触摸屏，计算机产生的图像呈现在所述无源触摸面上。矩形边框(bezel)或框架围绕触摸面，并且将多个数字摄像机保持在其转角上。这些数字摄像机具有多个重叠的视野区域，它们包围并且一般扫视触摸面平面。数字摄像机从不同的位置扫视触摸面获取图像，并且产生图像数据。多个数字信号处理器对由数字摄像机获取的数据进行处理，从而确定在所捕获的图像数据内是否存在指示器。当确定在所捕获的图像数据中存在指示器时，这些数据信号处理器将指示器特征数据传送给主控制器，该主控制器接下来处理指示器特征数据，从而使用三角测量相对于触摸面以(x，y)坐标确定该指示器的位置。将该指示器坐标数据传送到一台执行一个或多个应用程序的计算机。计算机使用指示器坐标数据更新在触摸面上呈现的计算机所产生的图像。因此，在触摸面上的指示器接触可以记录为写或画，或用于控制由计算机运行的应用程序的执行。
虽然上述触摸系统工作得非常出色，但是还不断的在基于视觉的触摸系统内寻求改进。
因此本发明的目的是提供一种新的装置和方法，用于相对于接触面检测指示器。
发明内容
根据本发明的一个方面，提供一种用于相对于接触面检测指示器的装置，包括至少两个间隔的成像设备，成像设备具有包围触摸面的重叠的视野区域。成像设备将触摸面在三维空间内看作透视图。成像设备从不同的位置获取图像。处理器接收和处理由成像设备中的至少一个产生的图像数据，从而相对于触摸面确定指示器的位置。
校准每个成像设备，以建立在其透视图内的点(X，Y，Z)与所获取图像内的点(x，y)之间的关系。当在获取图像内捕获指示器时，每个成像设备产生指示器坐标数据。处理器对指示器坐标数据进行三角测量，从而相对于触摸面确定指示器的位置。
在一个实施例中，该装置包括一对成像设备，邻近于触摸面的不同转角设置每个成像设备。每个成像设备与触摸面隔开并且隔开在触摸面的前面。每个成像设备相对于触摸面定位，使得至少触摸面的整个周边在其透视图内。
在一个实施例中，在校准期间，测量触摸面上的校准点(X，Y，Z)和对应于校准点的图像点(x，y)。使用所测量的校准和图像点求解共线性方程，从而确定成像设备的外部和内部方向参数。使用最小二乘法求解共线性方程。校准点位于沿触摸面周边的间隔位置处，例如位于触摸面的转角和边缘中点。在一个替换的实施例中，使用没影点(vanishing point)方法确定成像设备的外部方向参数。在又一个实施例中，使用平面单应(planar homography)确定成像设备的外部和内部方向参数。在再一个实施例中，使用三点法确定成像设备的外部方向参数。
在一个实施例中，每个成像设备产生表示成像设备确实识别到捕获图像的指示器的可信度的可信度值。处理器使用该可信度值，以确定用于相对于触摸面确定指示器位置的指示器坐标数据。当与其相关的可信度值低于阈值水平时，处理器忽略由该成像设备产生的指示器坐标数据。
根据本发明的另一个方面，提供一种基于摄像机的触摸系统，包括通常为矩形的无源触摸面，使用指示器在触摸面上进行接触。摄像装置可移动的安装在触摸面的至少两个转角附近。每个摄像装置具有扫视且向后看到触摸面的视野区域，并且设置在触摸面平面的前方。摄像装置的视野区域在触摸面上重叠。摄像装置获取触摸面的图像。处理器接收并处理图像数据，以通过三角测量相对于触摸面确定指示器的位置。
根据本发明的又一个方面，提供一种用于相对于通常为矩形的接触面检测指示器的装置，包括至少两个间隔的成像设备，成像设备具有包围触摸面的重叠的视野区域。成像设备将触摸面在三维空间内看作透视图，该透视图至少包括触摸面的四个转角。成像设备从不同的位置获取图像。处理器接收和处理由成像设备中的至少一个产生的图像数据，从而使用三角测量相对于触摸面确定指示器的位置。
本发明所提供的优点在于，由于成像设备将触摸面在三维空间内看作透视图，所以成像设备看到整个触摸面及其周边区域。因此，在图像处理过程中，不必处理由成像设备捕获的全部图像，而是仅处理对应于在触摸面的边界内的信息的像素。对发生在触摸面以外的区域内的噪声和像差，可以不予处理。另外，成像设备的三维透视允许自动且在连续的基础上校准所述装置，而不需要用户干预。此外，成像设备的三维透视允许将(x，y，z)坐标指定给出现在成像设备的视野区域内的每个指示器。因此，该装置能够在接触触摸面的多个指示器之间消除模棱两可的情况。
本发明所提供的优点还在于，由于成像设备是便携的，可以使用它们将任何表面基本的变为触摸面。成像设备需要简单的从此表面向前延伸足够的距离，使得它们向后看且扫视的视野区域看到此表面的转角，而不会由包围该表面的任何边框或框架所阻挡。使用将触摸面在三维空间内看作透视图的便携式成像设备，还支持了任意大的或弯曲的触摸面。
现在将参照附图详细描述本发明的实施例，其中图1是用于相对于触摸面检测指示器的装置的部分透视的示意图；图2是图1的装置的示意性前平面图；图3是图1的装置的示意性侧视图；图4是构成图1的装置的一部分的成像部件的透视图；图5是图4的成像部件的示意性框图；图6是流程图，示出了图1的装置在校准期间所执行的步骤；图7是流程图，示出了在从所获取图像中抽取的指示器数据的三角测量期间所执行的用以确定在触摸面上的指示器接触位置的步骤；图8a～8d示出了在必须以成像部件和接触面平面之间的不同间隔处理的捕获图像中的像素行的数量；图9是用于相对于触摸面检测指示器的装置的另一个实施例的透视图；图10是用于相对于触摸面检测指示器的装置的另一个实施例的正视图；
图11是用于相对于触摸面检测指示器的装置的又一个实施例；图12a～12c示出了在图11的装置的接触面上的不同的指示器接触。
具体实施例方式
现在转到图1～3，示出了用于相对于触摸面检测指示器的装置，并且一般用附图标记50标记。在这个实施例中，装置50是一种触摸系统的形式，并且包括触摸屏52，触摸屏52具有在其上进行指示器接触的触摸面54。触摸屏52是在触摸面54上呈现图像的平板显示器，例如等离子显示器、高清晰度电视(HDTV)、液晶显示器(LCD)等等。边框56围绕触摸面54。邻近于触摸屏52的顶部转角放置一对成像部件58。成像部件58相互通信，还与执行一个或多个应用程序的计算机60通信。计算机60处理由成像部件58产生的指示器坐标数据，从而确定在触摸面54上进行的指示器接触的位置，并且响应于指示器接触而更新在触摸面54上呈现的图像。因此，在触摸面54上的指示器接触可以记录为写或画，或用于控制由计算机60运行的应用程序的执行。
现在转到图4，较好的描述了成像部件58中的一个。如可以看到的，成像部件58包括与触摸屏52的转角互补(complimentary)成形的外壳72。在外壳72上的结构(未示出)允许将成像部件58相对于触摸屏的转角固定在适当的位置。然而成像部件58可以从触摸面52上移除，使成像部件58是便携式的。数字摄像机74由外壳72容纳，并以大约等于2.5cm的距离定位在触摸面54的平面的前方。选择在数字摄像机74与触摸面54的平面之间的距离，使得边框56不阻碍数字摄像机74的视野区域，允许数字摄像机看到整个触摸面54，同时还许可对图像数据进行有效的三维处理。数字摄像机74还以大约等于10cm的距离定位在触摸面54上方。对准数字摄像机74，使得其视野区域(FOV)向后看并扫视在整个触摸面54。从而，数字摄像机74在三维空间内将包括其四个转角的触摸面54看作一个透视图。数字摄像机74的光轴与触摸屏52的顶部转角成一直线，并且相对于触摸屏52的顶部边缘成大约等于45度的角。
外壳72还容纳电路板，其上安装有如图5所示的数字摄像机74和图像处理电路80。如可以看到的，图像处理电路80包括数字信号处理器(DSP)82，DSP 82连接到数字摄像机74和静态随机存储器(SRAM)84。DSP 82还通过数据总线86与计算机60通信。数字摄像机74是高分辨率CMOS数字摄像机，具有640×480的像素阵列，例如由National Semiconductor制造的No.LM9618型，以及相关透镜88。DSP 82是由Analog Devices有限公司制造的No.Blackfin BF 533型号的类型，并且DSP 82具有以下特征，即允许将图像数据从数字摄像机74中迅速的移到SRAM 84，而不中断DSP处理。
将首先说明触摸系统50的常规操作。当指示器进入到数字摄像机74的视野区域并接触触摸面54时，数字摄像机74中的每一个获取包括该指示器的图像。每个成像部件58的DSP 82将图像数据从数字摄像机74传送到SRAM 84，并且随后将该图像数据与数学模型比较，所述数学模型描述如数字摄像机74所看到的触摸面54的边界。这使得能够处理仅包括相关像素的捕获图像的像素子集。每个成像部件58的DSP 82接下来处理该像素子集，从而在捕获图像中确定指示器的(x，y)位置。成像部件58接下来将这个指示器坐标数据传送到计算机60，计算机60利用三角测量使用该指示器坐标数据计算在接触面54上的指示器接触的(X，Y，Z)位置。计算机60随后还将指示器位置数据记录为写或画或解释为鼠标或其它事件。
为了使用三角测量能够精确的计算相对于触摸面54的指示器接触，需要校准触摸系统50，使得任一或两个成像部件58知道捕获图像内的特定点是如何与触摸面54上的物理三维位置(“场景”)对应。在校准过程中，建立变换，该变换确定了在每个成像部件58观察的三维场景内的任一点与所捕获的二维图像内的任一点之间的关系。这个步骤是必须的，因为当建立触摸系统50时，不知道关于数字摄像机74相对于触摸面54的位置和方向的先验信息。
三维场景内的点与捕获图像内的其二维位置之间的关系，根据共线性方程概括如下x=x0-Δx-fR1R3]]>y=y0-Δy-fR2R3]]>其中(x，y)是对应于三维场景内的点(X，Y，Z)在捕获图像内的点坐标；(x0，y0)是数字摄像机74的主点(principal point)坐标，在此位置数字摄像机的光轴与数字摄像机的焦平面相交，光轴大致垂直于焦平面；(Δx，Δy)代表由于透镜88的不良特性而引入的失真项；f是数字摄像机的焦距；以及(R1，R2，R3)项取决于点(X，Y，Z)、数字摄像机的光心位置的空间位置(x0，Y0，Z0)以及关于触摸面54的三维坐标系的数字摄像机光轴的方向角(ω，φ，κ)。
上述共线性方程代表一种针孔模式。从而，每个数字摄像机74理想化为在数字摄像机的光心(焦点)位置处的非常小的孔径，将其带入到三维空间内的数字摄像机的位置。数字摄像机视野的三维特性的重要性在于，其允许这些数字摄像机查看边框56，如果假定触摸面54是平面的则允许确定触摸面平面，允许在任一点处确定指示器是与触摸面54接触还是悬于触摸面54之上，以及允许相对于触摸面54确定指示器位置。
上述共线性方程表示，三位场景内具有坐标(X，Y，Z)的点投影到二维图像的点(x，y)处。为了使用该共线性方程建立该变换，需要确定数字摄像机74的外部方向参数(X0，Y0，Z0)和ω、φ、κ以及内部方向参数f、x0、y0和Δx、Δy。
由特别关联于径向失真和偏心失真的项可以表示每个透镜88的失真。在本实施例中，由于每个透镜88和捕获图像数据相对性低的质量，仅记录一阶径向失真。因此透镜失真项可以表示为Δx＝(x-x0)K1((x-x0)2+(y-y0)2)Δy＝(y-y0)K1(x-x0)2+(y-y0)2)从而，通过参数K1可以概括透镜失真。
如将理解的，对于每个数字摄像机74需要从所述共线性方程确定十(10)个参数，以校准每个数字摄像机，即X0、Y0、Z0、ω、φ、κ、f、x0、y0、K1在当前的实施例中，使用自校准技术校准触摸系统50。自校准基于以下事实，即如果已知在物体上的参考点的三维位置并且可以在一个或多个该物体的图像内测量相同点的二维位置，那么这些数据就完全确定了捕获图像的成像部件的位置、成像部件的角方向以及关于成像部件的透镜的参数。
可以以绝对单位(例如，厘米)或以相对项在三维空间内测量数字摄像机74的位置(X0，Y0，Z0)，相对项是假定的相应于参考长度的长度单位，例如触摸面54的较短尺寸。每个数字摄像机的角方向用三个角ω、φ、κ表示，允许对于每个数字摄像机74限定旋转矩阵R。旋转矩阵R说明在三维场景坐标系与数字摄像机的坐标系之间的变换。如果已知这些数字摄像机参数的准确值，不必计算焦距f、主点(x0，y0)以及透镜失真系数。
在自校准期间，假定触摸面54对应于X-Y平面，并且Z轴以通常垂直于触摸面平面的角度从触摸面54向外指出。如果对应于多个场景点(X，Y，Z)从图像中测量多个图像位置(x，y)，并且已知场景点位置(X，Y，Z)(例如，厘米)，那么可以为每个点设定共线性方程并且使用最小二乘法技术求解，从而能够确定外部和内部方向参数。由于共线性方程模型的非线性特性，所以使用最小二乘法。
在当前实施例中，选择围绕触摸面54周边的八(8)个校准点，由于通过这样选择产生了十六(16)个方程和十(10)个未知数，这对于好的最小二乘法解决方案是足够的。特别是，将触摸面54的四个转角和沿着每个侧边的中点选择为校准点，是由于在这些校准点处的(X，Y)位置容易测量、容易提供可重现的校准点，用户容易设置并且在这些(X，Y)位置的每一处Z＝0cm。通过测量在图像中捕获的、在校准点处的指示器位置，或通过测量在捕获图像中的校准点处的标志物的位置，限定这些相应的图像点。
现在转到图6，示出了流程图，说明了在自校准期间所执行的一般步骤。开始确定在接触面54上的多个校准点的(X，Y，Z)位置(步骤100)。具体的，通过测量触摸面转角和相对于其中一个接触面转角的其侧边中点的位置，来确定在接触面54上的多个校准点的位置，将所述其中一个接触面转角指定位于坐标系原点处。替代的，如果已知触摸面54的长宽比，那么就可以将触摸面的短尺寸作为长度单位，允许确定转角和侧边中点的相对位置。随后通过图像处理确定在图像内的校准点的(x，y)位置(步骤102)，以及自外部图像处理的可能的初始估计输入，如将描述的(步骤104)。随后计算校准方案，如果期望，包括内部方向参数(步骤106)。如果所计算的方案是基于初始估计输入的，那么计算最小二乘法的改进(步骤108)。
通过校准的触摸系统50，使用三角测量可以计算与触摸面54接触或在其上的指示器的三维位置。在三角测量期间，假定已知所有摄像机方向参数，并且要确定指示器位置(X，Y，Z)，从由一个或两个数字摄像机74捕获的图像中给出了相应的(x，y)测量。图7是流程图，示出了在指示器坐标数据的三角测量期间所执行的相对于触摸面确定指示器接触位置的一般步骤。当由包括指示器的成像部件58捕获图像时，DSP 82处理图像数据，从而确定在(x，y)坐标系内每个捕获图像中的指示器位置。DSP 82接下来将这个指示器的坐标数据输出到计算机60(步骤120)。每个DSP 82还输出指示器位置可信度估计，其代表DSP 82在捕获图像内确实识别到有效指示器的可信度等级。计算机60从两个成像部件58的DSP 82中接收指示器坐标和可信度估计数据(步骤122和124)，计算机60基于可信度估计确定是否使用由一个或两个成像部件返回的指示器坐标数据(步骤126)。通常，计算机60使用由两个DSP 82产生的指示器坐标数据。然而如果与由DSP82中的一个产生的指示器坐标数据相关的可信度估计低于阈值水平，假如50％的情况，表示指示器坐标数据准确性的低可信度等级，那么忽略或不使用该指示器坐标数据。
随后使用来自两个成像部件58的指示器坐标数据(步骤128)或使用来自一个成像部件58的指示器坐标数据(步骤130)，利用早先提到的共线性方程执行三角测量。由于该共线性方程将图像位置(x，y)与空间位置(X，Y，Z)相关联，所以对于为指示器计算唯一的(X，Y，Z)空间位置来说，分别来自每个数字摄像机74的两个(x，y)位置是必不可少的。这样产生了四个方程和三个未知数。重新设置该共线性方程，从而产生线性最小二乘法的情况，使三角测量成为有效的步骤。在这种情况下由于三角测量的结果为指示器产生了(X，Y，Z)空间位置，所以可以分别追踪出现在成像部件58的视野区域内的多个指示器，从而为指示器消除了模棱两可的情况。
当使用来自单一成像部件58的指示器坐标数据执行三角测量时，假定Z＝0(cm)。此时，删去了共线性方程内的一个未知数。换句话说，由图像位置(x，y)确定空间位置(X，Y)。使用来自单一成像部件58的图像具有如下优点，即使在其中一个成像部件58不能看到指示器的情况下，触摸系统50依然可以确定与触摸面54的指示器接触。
一旦三角测量的结果是有效的，如果期望，就能够使用非线性最小二乘技术改进三角测量的结果。
成像部件58将整个触摸面54在三位区域内看作透视图，成像部件58还看到了其周围区域，成像部件58的使用是有益的。例如，在图像处理过程中，能够先于在触摸面上的指示器接触而识别指示器越过触摸面54的边界。DSP 82可以使用这些信息来将图像处理限制到邻近于跨跃点的边界的相关像素子集内的像素。触摸系统50还提供阴影/物体判别。一般，当指示器进入到触摸面54，成像部件58中的一个将先于另一个看到该指示器。首先看到该指示器的成像部件可以给另一个成像部件提供指示器信息，识别要检查以定位指示器的其相关像素子集区域。这有助于增加准确和迅速的定位指示器的可能性。使用平面单应将两个数字摄像机的焦平面相互关联，允许指示器信息在成像部件58之间有效的交换。
另一种方法是使用成像部件的视野间的不同关系，虽然已知一种实体作为基础矩阵、或紧密相关的基本矩阵。这里，如果已知在一个数字摄像机视野内的点的位置，那么基础矩阵将这个点转换为另一个数字摄像机视野内的一条线。从而，仅需要沿着这条线(称为核线(epipolar line))搜索图像以定位相应的点。这种方法具有以下优点，即在第二个数字摄像机视野内严格的限定搜索区域，并且有助于消除错误肯定(false positive)。
在上述实施例中，将成像部件58表示为以大约等于2.5cm的距离设置在触摸面54的平面的前面。如所提到的，这个距离确保了边框56不阻挡整个触摸面54的成像部件的视野。虽然成像部件58设置在触摸面54的平面的前面的距离影响对应于必须处理的触摸面边界的相关像素子集的大小，但是该距离当然可以根据环境条件而改变。成像部件58这样定位，至少触摸面54的四个转角位于它们的视野区域内。图8a～8d示出在必须以不同距离处理的一张捕获图像中的像素行的数量，假定触摸面54具有84″对角线尺寸和4∶3的长宽比。如将理解的，如果距离增加，那么在捕获图像中要求处理的像素行数量也增加。
虽然描述了自校准技术，但是可以使用其他的技术来校准触摸系统50。例如，如在Kanatani所著的标题为“机器视觉的几何计算(Geometric Computation for Machine Vison)”(牛津大学出版社，牛津1993)的出版物中描述的，可以为触摸面54确定没影点(vanishingpoint)。替代的，可以使用如在Hartley等所著的标题为“计算机视觉中的多视野几何学(Multiple View Geometry in Computer Vison)”(剑桥大学出版社，剑桥2001)的出版物中所述的平面单应，或使用如在Wrobel所著的标题为“计算机视野中关于摄像机方向和校准方向的最小解(Minimum Solutions for Orientations in Calibration and Orientationsof Cameras in Computer Vision)”(Springer-Verlag，纽约2001)的出版物中所述的三点法，对触摸系统进行校准。
在没影点方法中，在计算外部方向参数的过程中，利用了常规矩形形状的触摸面54。在这种情况下，通过在数字摄像机图像中寻找触摸面54的外围边缘，可以使用对应于触摸面的两组平行外围侧边的没影点来完全限定外部方向参数。在触摸系统中，没影点是有限的，即它们位于数字摄像机视野的界限内并且用于限定旋转矩阵R。如果假定一个长度单元，随后可以确定数字摄像机的位置，完成外部方向参数确定。还能够使用没影点来限定数字摄像机的焦距和主点，如在Foerstner所著的标题为“估测旋转(On Estimating Rotations)”(T.U.Munchen，1999)的出版物中所述。如将理解的，两个没影点为触摸系统限定三维坐标系，所有一切从中得出。当使用这种方法时，优选的使用最小二乘法改进所确定的外部方向参数。
平面单应校准方法将触摸面54的平面上的点与数字摄像机的像平面上的点相关联。通过测量对应于某些场景点的多个图像点的位置，能够限定单应矩阵的9个分量。一旦完成这些，单应矩阵能够分解为旋转矩阵R和表示三维空间中数字摄像机位置的向量。使用这种校准方法要求关于数字摄像机的固有方向的一些假设。然而通过将单应矩阵改写为另一个矩阵实体，能够避免进行这些假设的需要，已知所述另一个矩阵实体为如前述Hartley等的出版物中所述的绝对二次曲线的图像。通过其奇异值分解，这个矩阵实体提供了数字摄像机的焦距和主点的直接估计。
三点测量方法利用基本的三角学和三点确定一个平面的事实。如果在三维空间中已知三个点之间的方向和距离，并且形成一个三角形，随后可以使用这些点的图像位置来限定点之间的角。这些信息足以求解所述三个点离数字摄像机的光学的距离，从而给出了空间中数字摄像机的位置。随后接着处理图像点，提供旋转矩阵R的估计。由于这种方法从最小数据组中给出了方向，所以可以使用这种方法来初始化最小二乘法，用于改进方向，并且因此在校准过程中在步骤104提供初始估计输入。
虽然上述校准技术使用三个角通过旋转矩阵R在空间中来限定每个数字摄像机74的方向，但是替代的方法也是可用的。例如，不是限定旋转矩阵R，基于称为“四元数”的实体，可以确定空间内的每个数字摄像机的方向。四元数是四元素向量，具有在前述Foerstner的出版物内所述的某些特性。四元数元素仅具有在-1和1之间的值，将其中一个元素限制到1。这避免了与数值急剧变化相关的问题，并且极大的帮助了在收敛中使用最小二乘法。如应当理解的，当测量角度时，一些角度变化带来了困难，例如当从359度到360度进行角度变化时，其与到0度的角度变化相同。
图9示出了用于相对于触摸面54检测指示器的装置的另一个实施例。在这个实施例中，两个数字摄像机174容纳在单独的外壳72内，邻近于外壳172的相对端。外壳172放在边框56的顶部边缘上并且横跨触摸屏52，使得数字摄像机174邻近于触摸屏的顶部转角而定位。
在三维空间内将触摸面看作透视图的成像部件也能够与大规模触摸系统结合使用，大规模触摸系统例如是Hill等于2004年1月2日提交的、转让给本发明的受让人SMART Technologies有限公司的美国专利申请No.(未知)中所述的触摸系统，该美国专利申请的内容在此引入作为参考。例如，图10示出了对于大规模触摸系统的一种数字摄像机的设置。在这个实施例中，数字摄像机C1到C8沿着触摸面254的顶部设置，并且向后看并扫视触摸面。具体的，数字摄像机C1和C8设置在触摸面254的顶部左侧转角和顶部右侧转角。中间的多对数字摄像机C2和C3、C4和C5以及C6和C7沿着触摸面254的顶部间隔位置设置。由虚线示出了这些数字摄像机的视野区域。如可以看到的，这些摄像机的视野区域重叠，使得触摸面254上的每个位置落入到至少两个数字摄像机的视野区域内。这当然允许如上所述以相同的方式使用三角测量横跨整个触摸面254追踪指示器。
图11示出了对于大规模触摸系统的再一种数字摄像机的设置。在这个实施例中，均匀间隔的数字摄像机C1到C7设置在触摸面354的顶部边缘上方，并且向后看并扫视触摸面。由虚线示出了这些数字摄像机的视野区域，并且如可以看到的，这些摄像机的视野区域重叠，使得触摸面上的每个位置落入到至少两个数字摄像机的视野区域内。再有，这允许如上所述以相同的方式使用三角测量横跨整个触摸面354追踪指示器。在这个实施例中，触摸面354上的大多数位置落入在超过两个数字摄像机的视野区域内，对于每个指示器接触允许产生多个三角测量结果。根据指示器接触位置，可以使用不同的逻辑来选择用于确定指示器接触位置的三角测量结果。
例如，如图12a所示，通过对从数字摄像机C1和C2所捕获的图像中得到的指示器信息进行三角测量，并且可能通过对从数字摄像机C3所捕获的图像中得到的指示器信息进行三角测量，可以计算触摸面354上的指示器P的位置。在后一种情况中，可以对从数字摄像机C1和C3以及数字摄像机C2和C3所捕获的图像中得到的指示器信息进行三角测量，得出多个三角测量结果。可以计算这多个三角测量结果的平均值，或根据其他逻辑对这多个三角测量结果进行处理从而产生单独的指示器位置。如果认为数字摄像机C3离指示器P太远，那么可以忽略数字摄像机C3的结果。替代的，当指示器对数字摄像机C3达到一定的接近程度时，可以将从数字摄像机C3所捕获的图像中得到的指示器信息用于追踪该指示器。当指示器对数字摄像机C3达到一定的接近程度时，可以对从数字摄像机C3所捕获的图像中得到的指示器信息进行三角测量，从而确定在触摸面354上的指示器位置。
图12b和图12c示出了在触摸面354上的指示器的其它位置以及能够从数字摄像机所捕获的图像中得到的多个的三角测量结果。
通过对数字摄像机进行组对，由于多对数字摄像机仅需要为观察一部分触摸面负责，所以可以支持弯曲的或非平面触摸面。
如将理解的，由于成像部件能够自校准，所以成像部件可以基本固定到任何表面，从而将那个表面转变为触摸面。
虽然将触摸系统50描述为包括一台计算机，计算机与成像部件的DSP通信，并且使用三角测量处理指示器坐标数据，从而相对于触摸面确定指示器的位置，但当然可以使用其它的处理结构。例如，成像部件的DSP可以作为对三角测量指示器坐标数据负责的处理器。
虽然已经描述了本发明的优选实施例，但是本领域技术人员应当理解，在不脱离所附权利要求所限定的精神和范围的情况下可以进行多种变化和修改。
权利要求
1.一种用于相对于触摸面检测指示器的装置，包括至少两个间隔的成像设备，具有包围所述触摸面的重叠的视野区域，所述成像设备将所述触摸面在三维空间内看作透视图，所述成像设备从不同位置获取重叠图像；以及处理器，接收和处理由所述成像设备中的至少一个产生的图像数据，从而相对于所述触摸面确定指示器的位置。
2.如权利要求1所述的装置，其中校准每个成像设备，以建立在其透视图内的点(X，Y，Z)与所获取的图像内的点(x，y)之间的关系，当在获取图像内捕获指示器时，每个成像设备产生指示器坐标数据。
3.如权利要求2所述的装置，其中所述处理器对指示器坐标数据进行三角测量，从而相对于所述触摸面确定指示器的位置。
4.如权利要求3所述的装置，包括一对成像设备。
5.如权利要求4所述的装置，其中每个成像设备邻近于所述触摸面的不同转角而设置。
6.如权利要求5所述的装置，其中每个成像设备与所述触摸面隔开并且隔开在所述触摸面的前面。
7.如权利要求6所述的装置，其中每个成像设备相对于所述触摸面定位，使得至少触摸面的整个周边在其视野区域内。
8.如权利要求7所述的装置，其中每个成像设备在所述触摸面的前方以至少等于2.5cm的距离间隔开。
9.如权利要求8所述的装置，其中所述触摸面由边框作边界。
10.如权利要求7所述的装置，其中对准每个成像设备，使得其光轴与所述触摸面的转角成一直线，并且与所述触摸面的顶部边缘成大约等于45度的角。
11.如权利要求3所述的装置，其中在校准期间确定每个成像设备的外部方向参数(X0，Y0，Z0)和(ω、φ、κ)，其中(X0，Y0，Z0)是成像设备的光心的空间位置；和(ω，φ，κ)是关于所述触摸面的三维坐标系的成像设备的光轴的方向角。
12.如权利要求11所述的装置，其中在校准期间还确定每个成像设备的内部方向参数f、x0、y0和Δx、Δy，其中(Δx，Δy)代表由于成像设备的透镜的不良特性而引入的失真项；f是成像设备的焦距；以及(x0，y0)是成像设备的主点坐标。
13.如权利要求12所述的装置，其中使用以下共线性方程表示所述关系x=x0-Δx-fR1R3]]>y=y0-Δy-fR2R3]]>其中(x，y)是对应于三维透视图内的点(X，Y，Z)的在捕获图像内的点坐标；和(R1，R2，R3)项取决于点(X，Y，Z)、空间位置(X0，Y0，Z0)以及方向角(ω，φ，κ)。
14.如权利要求13所述的装置，其中在校准期间，测量所述触摸面上的校准点(X，Y，Z)和对应于所述校准点的图像点(x，y)，使用所述测量的校准和图像点求解所述共线性方程，从而确定所述外部和内部方向参数。
15.如权利要求14所述的装置，其中使用最小二乘法求解所述共线性方程。
16.如权利要求14所述的装置，其中所述校准点位于沿所述触摸面周边的间隔位置处。
17.如权利要求16所述的装置，其中所述校准点位于所述触摸面的转角和边缘中点。
18.如权利要求11所述的装置，其中使用没影点方法确定所述外部方向参数。
19.如权利要求18所述的装置，其中使用最小二乘法改进所确定的外部方向参数。
20.如权利要求18所述的装置，其中使用平面单应确定所述外部和内部方向参数。
21.如权利要求18所述的装置，其中使用三点法确定所述外部方向参数。
22.如权利要求3所述的装置，其中每个成像设备还产生可信度值，该可信度值表示成像设备确实已经识别到捕获图像中的指示器的可信度。
23.如权利要求22所述的装置，其中所述处理器使用所述可信度值，以确定用于相对于所述触摸面确定所述指示器位置的指示器坐标数据。
24.如权利要求23所述的装置，其中当与其相关的可信度值低于阈值水平时，所述处理器忽略由所述成像设备产生的指示器坐标数据。
25.如权利要求24所述的装置，包括一对成像设备。
26.如权利要求25所述的装置，其中每个成像设备邻近于所述触摸面的不同转角而设置。
27.如权利要求26所述的装置，其中每个成像设备与所述触摸面隔开并且隔开在所述触摸面的前面。
28.如权利要求27所述的装置，其中每个成像设备相对于所述触摸面定位，使得至少触摸面的整个周边在其视野区域内。
29.如权利要求28所述的装置，其中对准每个成像设备，使得其光轴与所述触摸面的转角成一直线，并且与所述触摸面的顶部边缘成大约等于45度的角。
30.如权利要求3所述的装置，其中所述成像设备通信，从而帮助在获取图像中确定指示器。
31.如权利要求30所述的装置，其中在获取的图像中检测指示器的成像设备首先将数据传递到其它的成像设备，以帮助那个成像设备在其获取的图像内检测该指示器。
32.如权利要求31所述的装置，其中每个成像设备还产生可信度值，该可信度值表示成像设备确实已经识别到捕获图像中的指示器的可信度。
33.如权利要求32所述的装置，其中所述处理器使用所述可信度值，以确定用于相对于所述触摸面确定所述指示器位置的指示器坐标数据。
34.如权利要求33所述的装置，其中当与其相关的可信度值低于阈值水平时，所述处理器忽略由所述成像设备产生的指示器坐标数据。
35.如权利要求34所述的装置，包括一对成像设备。
36.如权利要求35所述的装置，其中每个成像设备邻近于所述触摸面的不同转角而设置。
37.如权利要求36所述的装置，其中每个成像设备与所述触摸面隔开并且隔开在所述触摸面的前面。
38.如权利要求37所述的装置，其中每个成像设备相对于所述触摸面定位，使得至少触摸面的整个周边在其视野区域内。
39.如权利要求38所述的装置，其中对准每个成像设备，使得其光轴与所述触摸面的转角成一直线，并且与所述触摸面的顶部边缘成大约等于45度的角。
40.如权利要求3所述的装置，其中每个成像设备处理在每个获取图像中的像素子集。
41.如权利要求40所述的装置，其中所述像素子集对应于在所述成像设备的透视图内的所述触摸面的边界。
42.如权利要求41所述的装置，其中每个成像设备还产生可信度值，该可信度值表示成像设备确实已经识别到捕获图像中的指示器的可信度。
43.如权利要求42所述的装置，其中所述处理器使用所述可信度值，以确定用于相对于所述触摸面确定所述指示器位置的指示器坐标数据。
44.如权利要求43所述的装置，其中当与其相关的可信度值低于阈值水平时，所述处理器忽略由所述成像设备产生的指示器坐标数据。
45.如权利要求44所述的装置，包括一对成像设备。
46.如权利要求45所述的装置，其中每个成像设备邻近于所述触摸面的不同转角而设置。
47.如权利要求46所述的装置，其中每个成像设备与所述触摸面隔开并且隔开在所述触摸面的前面。
48.如权利要求47所述的装置，其中每个成像设备相对于所述触摸面定位，使得至少触摸面的整个周边在其视野区域内。
49.如权利要求48所述的装置，其中对准每个成像设备，使得其光轴与所述触摸面的转角成一直线，并且与所述触摸面的顶部边缘成大约等于45度的角。
50.如权利要求4所述的装置，其中所述成像设备是便携的。
51.如权利要求50所述的装置，其中每个成像设备包括数字摄像机和数字信号处理器，其安装在外壳内，所述数字信号处理器处理由所述数字摄像机获取的图像帧，从而产生所述指示器坐标数据。
52.如权利要求50所述的装置，其中每个成像设备包括数字摄像机和数字信号处理器，两个成像设备安装在单独的外壳内，所述数字信号处理器处理由所述数字摄像机获取的图像数据，从而产生所述指示器坐标数据。
53.如权利要求3所述的装置，包括三个或更多的成像设备，其位于沿着所述触摸面的间隔位置处，每个成像设备具有包围所述触摸面的不同部分的视野区域。
54.如权利要求53所述的装置，其中成对设置所述成像设备，每对成像设备查看所述触摸面的不同部分。
55.一种基于摄像机的触摸系统，包括通常为矩形的无源触摸面，使用指示器在所述触摸面上进行接触；摄像装置，可移动的安装在所述触摸面的至少两个转角附近，所述摄像装置中的每个具有扫视且向后看到所述触摸面的视野区域，并且设置在触摸面平面的前方，所述摄像装置的视野区域在所述触摸面上重叠，所述摄像装置获取所述触摸面的图像；和处理器，接收并处理所述图像数据，以通过三角测量相对于所述触摸面确定所述指示器的位置。
56.如权利要求55所述的触摸系统，其中校准每个摄像装置，以建立在其透视图内的点(X，Y，Z)与所获取图像内的点(x，y)之间的关系，当在获取图像内捕获指示器时，每个摄像装置产生指示器坐标数据。
57.如权利要求56所述的触摸系统，其中每个摄像装置处理在每个获取图像中的像素子集。
58.如权利要求57所述的触摸系统，其中所述像素子集对应于在所述摄像装置的透视图内的所述触摸面的边界。
59.如权利要求58所述的触摸系统，其中每个摄像装置在所述触摸面的前方间隔足够的距离，使得至少每个摄像装置看到所述触摸面的四个转角在其视野区域内。
60.如权利要求59所述的触摸系统，其中每个摄像装置还产生可信度值，该可信度值表示摄像装置确实已经识别到捕获图像中的指示器的可信度。
61.如权利要求60所述的触摸系统，其中所述处理器使用所述可信度值，以确定用于相对于所述触摸面确定所述指示器位置的指示器坐标数据。
62.如权利要求61所述的触摸系统，其中当与其相关的可信度值低于阈值水平时，所述处理器忽略由所述摄像装置产生的指示器坐标数据。
63.一种用于相对于通常为矩形的触摸面检测指示器的装置，包括至少两个间隔的成像设备，具有包围所述触摸面的重叠的视野区域，所述成像设备将所述触摸面在三维空间内看作透视图，该透视图至少包括所述触摸面的四个转角，所述成像设备从不同的位置获取重叠图像；和处理器，接收和处理由所述成像设备中的至少一个产生的图像数据，从而使用三角测量相对于所述触摸面确定指示器的位置。
64.如权利要求63所述的装置，其中校准每个成像设备，以建立在其透视图内的点(X，Y，Z)与所获取图像内的点(x，y)之间的关系，当在获取图像内捕获指示器时，每个成像设备输出指示器坐标数据。
65.如权利要求64所述的装置，其中每个成像设备在所述触摸面的前方间隔足够的距离，以防止遮挡其整个触摸面的视野。
66.如权利要求65所述的装置，其中每个成像设备还产生可信度值，该可信度值表示成像设备确实已经识别到捕获图像中的指示器的可信度。
67.如权利要求66所述的装置，其中所述处理器使用所述可信度值，以确定用于相对于所述触摸面确定所述指示器位置的指示器坐标数据。
68.如权利要求67所述的装置，其中当与其相关的可信度值低于阈值水平时，所述处理器忽略由所述成像设备产生的指示器坐标数据。
全文摘要
一种用于相对于触摸面(54、254、354)检测指示器的装置(50)，包括至少两个间隔的成像部件(58)，成像部件(58)具有包围触摸面的重叠的视野区域。成像部件将触摸面在三维空间内看作透视图。成像部件从不同的位置获取重叠图像。处理器(60)接收和处理由至少一个成像部件产生的图像数据，从而相对于触摸面确定指示器的位置。
文档编号G06F3/042GK101019096SQ200580014441
公开日2007年8月15日 申请日期2005年4月28日 优先权日2004年5月5日
发明者杰拉尔德·D·莫里森, 大卫·E·霍姆格伦 申请人:智能技术公司