专利名称：确定显示面上的位置的方法和交互式显示系统的制作方法
技术领域：
本发明涉及与显示系统交互作用的输入装置，更具体地说，涉及和这样的显示系统一起使用的光笔。
背景技术：
光笔通常作为输入装置与图形用户界面一起使用，其简要历史参见Myers的“A Brief History of Human Computer InteractionTechnology”，ACM Interactions，Vol.5，no.2，pp.44-54，March 1998。虽然光笔自1954年就已被使用，不过正是Ivan Sutherland在LincolnLaboratories的工作普及了光笔与计算机的一同应用，Sutherland，“SketchpadThe First Interactive Computer Graphics”，Ph.D.Thesis，MIT，1963。
作为一种输入装置，光笔具有优于鼠标的一些优点。鼠标是一种间接输入装置。鼠标在水平面上的移动导致光标在垂直显示画面上的移动。鼠标和光标的移动量，以及移动速度可能不同。相反，光笔的指示是直接的，从而更直观。
现有技术中，典型的光笔如下所述与显示系统一起使用。多数CRT显示器是光栅扫描显示器。显示器上的各个像素在预定时间被照亮，取决于扫描顺序中该像素的位置。通过检测像素何时被照亮，能够确定显示面上该像素的位置。于是，典型的光笔包括与计时电路连接的光传感器。与光栅扫描同步的被感测像素的计时揭示其位置。一般来说，如果不与屏幕接触，光笔也非常接近于屏幕。
不幸的是，传统的扫描CRT显示器正被面向像素的显示器，比如LCD屏幕，数字镜阵列和有机LED技术代替。这些基于像素的显示器不被扫描，从而基于光栅扫描的计时的传统光笔技术不适用于这些较新的显示模态。
于是，需要一种使光笔与基于像素的显示器面接(interface)的系统。
发明内容
本发明把结构光(structured light)的不可察觉的图案(pattern)投射到基于像素的显示设备上。所述图案可以是黑白的，灰度，或者全红、绿、蓝(RGB)颜色。有色图案能够传递比二值黑白图案更多的信息。所述图案与可察觉的内容交织。
图案被排列，以便对位置信息编码。虽然人类视觉系统不能察觉这些图案，不过所述图案可由光传感器探测。由于对于所有像素位置，编码是唯一的，因此能够对图案解码，以确定位置信息。在每个位置，结构光的图案可以是空间、时间或者时空上唯一的。
在时间实施例中，编码完全在时域中。随着时间的过去，在每个像素的光强度的图案对位置信息编码。从而，随着时间的过去，对在单个像素的光强度采样就足以确定该像素的位置。
在空间实施例中，位置由相邻区域的像素上的独特强度变化编码。于是，对相邻的像素采样，以便确定像素位置。该实施例使用多个光传感器。作为优于时间实施例的一个优点，空间实现能够根据单个图案确定位置。
在时空实施例中，图案在空间和时间上变化。这种技术可使用与空间实施例相比更小的邻域，以及与时间实施例相比更少的图案。从而，成本和速度可被折衷，以便对于特定应用使系统最优化。
可以使用许多不同的技术来使人类视觉系统不能察觉所述图案。首先，光可以是红外光(IR)或者在人类视觉范围之外的其它频率的光。在基于数字镜的投影仪中，可向这样的设备使用的色轮中增加红外滤光片。
第二种技术使用均衡掩蔽。在这种实现中，光在可见光范围中。但是，随着时间的过去，到所有像素的光的总和是相等的。例如，每个图案后面紧接其负像(reverse)。当快速连续显示时，这两个图案形成连续的灰色调。如果图案被显示相当短的时间，那么唯一可察觉的后果是对比度的轻微降低。
结构光图案可由光传感器探测。探测的图案被解码，以确定位置信息。
对于红外光的时间图案，具有单个光传感器的光笔产生足以进行位置估计的信息。对于空间图案，使用光传感器阵列，例如照相机来探测相邻像素的光强度变化。
图1是根据本发明的显示器和光笔系统的方框图；图2是产生根据本发明的觉察不到的图案的过程的流程图；图3是对根据本发明的图案解码，以获得位置信息的过程的流程图；图4是根据本发明的图案；图5是显示相拼图案的方框图；图6是具有弯曲面的显示系统的图。
具体实施例方式
图1表示用于基于像素的显示器的光笔系统100。该系统包括与图像发生器120，例如投影仪耦接的图案和内容发生器110。图像发生器在显示面130上呈现一系列的图案111。在优选实施例中，显示面是基于像素的显示面，而不是光栅扫描显示面，不过该系统也可与光栅扫描显示器一起工作。该系统还包括与位置解码器150耦接的光笔140。其任务是确定显示面130上的任意位置101的2D坐标。
图像发生器120能够使用正投或背投模式的LCD屏幕，数字镜阵列，硅基液晶(LCOS)和有机LED技术。应注意本发明还可和常规的CRT显示器一起使用。光笔可使用单个光传感器141或者如同照相机中那样的传感器的阵列，例如CCD。光笔可包括压敏开关，当传感器被压在显示面上时，压敏开关被激活。这可避免假读取。
在一个实施例中，利用红外(IR)光投射图案111。这可通过使光通过聚光镜(condensing lens)、安装在色轮上的红外颜色过滤器、修整透镜到达数字镜器件(DMD)，随后通过投影仪透镜到达显示面130来实现。这些技术众所周知。
通过顺序改变镜的状态，产生所述一系列的图案111。由于图案由光传感器141探测，而不是由人类视觉系统探测，因此能够以极高的速率，例如大于1 KHz产生图案。已知人类视觉系统只对一定时间窗(称为可视性窗口)中的刺激敏感，参见Watson等的“Window ofVisibilitya psychophysical theory of fidelity in time-sampled visualmotion displays”，J.Opt.Soc.Am.A，Vol.3，No.3，pp.300-307，March1986。人类视觉系统不能理解超过一定时间频率极限的图像。本发明在1毫秒内产生约100种独特的图案，这完全在可视性的时间窗口之外。
如图2中所示，所述一系列的图案被反复240产生200，并具有下述截然不同的部分。首先，产生210头部(header)图案。在头部图案中，如下所述一致地接通和断开所有像素。头部图案被用于指示序列的开始，产生图案的速率。头部还可被用于相对于图案的相对明暗强度，校准光笔。就多投影仪系统来说，如下所述，头部还可识别投影仪。
随后，产生水平格雷(Gray)码220和垂直格雷码230图案，参见Gray的“Pulse Code Communication”，美国专利2632058，March17，1953。对于显示器130的每个单独的像素，这些图案具有唯一的时间序列的光强度。如果感测多组像素，那么每组具有唯一的图案。这样，随着时间的过去感测在特定像素的光强度，并对图案解码能够确定该像素的位置101的2D坐标。
虽然格雷码不是获得该性质的唯一途径，不过格雷码具有其它益处。最重要的是，格雷码图案确保后续图案中的边缘不会对直(lineup)。在光笔140还感测相邻像素的多个部分的情况下，这使模糊度降至最小。
图4表示4×4像素阵列的一系列图案400。第一个图案401全部明亮，第二个图案402与第一图案相反，即，全黑。该对图案是所述头部，使光笔能够与所述序列的起点同步。通过求图案的平均值，头部的该对图案还能够给出用于校准的光强度的参考水平。另外，显示头部图案的时间长度指示图案的计时。从而，图案发生器110和解码器150不必相互同步。可按照任意顺序重复头部图案，以根据全亮和全黑图案产生二进制信号，例如01011101，其中前四“位”是序列指示符的起点，接下来的n是其它信息。
后续的每对403-404、405-406、407-408把显示器分成两半，一直到像素级别(pixel level)，第一个图案用于水平形式(version)，第二个图案被用于垂直形式，以致格雷码的邻接性质被满足。在显示底层的可察觉内容的时候，多数时间光笔是不活动的。
图3表示位置解码方法300。首先，探测310头部。随后，测量320水平强度值，之后测量330垂直强度值。根据这些测量值，确定340位置101的坐标。
应注意每个图案图像的持续时间可以极短，约为10微秒级。对于常规的XGA分辨率投影仪来说，对于所述头部和所有位置信息来说，只需要22种图案。从而，图案序列可以很短，例如小于1毫秒。从而，增加序列111对投影显示的整体亮度影响极小。事实上，影响如此之小，以致可以更高的速率显示所述序列，以便增大位置信息的更新速率。
其它实施例是可能的。对于有机LED显示器，增加IR发射器可能不切实际。这种情况下，用红、绿或蓝(RGB)图案对位置信息编码。这是按照图案保持不可察觉的方式来实现的。一种方式显示每个图案很短的时间，如上所述。
当显示较大的‘黑色’区域时，可能察觉一些变化的光强度。这可由均衡掩蔽技术来补救。在这种技术中，每个图像后面紧接其负像(negative)。在显示图案序列的时候，这给予每个像素平均50％的占空度。察觉的净效果是几乎不可察觉的平滑灰度图像，它是序列中所有图像的平均值，这只导致对比度的轻微降低。
对于LCD显示器，可能难以获得严格时间解决方案所需的速度。降低序列中的图案的数目的一种方式是通过在光笔140中使用多个传感器来扩大感测面积。
在一种极端情况下，序列111具有单个图案。在该系统中，光笔至少具有和时间序列中的图案的数目一样多的传感器，即22个传感器。
在备选实施例中，使用两个投影仪，第一个投影仪显示不可察觉的图案111，而第二个投影仪121显示底层的可察觉内容122。第三个投影仪(未示出)能够交织第二序列的图案，以致在显示面610如图6所示弯曲的情况下能够获得位置信息的3D坐标，如Raskar等在2003年3月21日提交的美国专利申请Sn.10/394315，“Method and Systemfor Displaying Images on Curved Surface”中所述，该专利申请在此引为参考。
在图5中所示的另一备选实施例中，显示是多个重叠图像501的相拼图案(mosaic)，从而产生更大的全景图像510，如Raskar等在2003年3月21日提交的美国专利申请10/394688，“Self-ConfigurableAd-Hoc Projector Cluster”中所述，该专利申请在此引为参考。这种情况下，每个头部序列210可包括一个标识，以致解码器能够区分由多个投影仪投射的不同图案序列。
另外应注意，在多用户界面可同时使用多个光笔。从而，本发明具有优于电阻式触摸屏的优点，电阻式触摸屏相当昂贵，并且在任意时刻只能区分单个触摸位置。常规的基于视觉的系统实现起来同样更复杂，并且这些类型的系统具有阴影和精度的问题。
虽然通过优先实施例的例子，说明了本发明，不过在本发明的精神和范围内，显然可做出各种其它适应和修改。于是，附加权利要求的目的是覆盖在本发明的精神和范围内的所有这种变化和修改。
权利要求
1.一种确定显示面上的位置的方法，包括把一系列的图案投射到显示面上，对于显示面的每个位置，所述一系列的图案具有唯一的一系列光强度；在投射所述一系列的图案的同时，感测任意位置的光的强度；和对光的强度解码，以确定所述任意位置的坐标。
2.按照权利要求1所述的方法，其中校准图案采取格雷码的形式。
3.按照权利要求1所述的方法，其中显示面是平面，坐标是二维坐标。
4.按照权利要求1所述的方法，其中显示面是二次曲面，坐标是三维坐标。
5.按照权利要求1所述的方法，其中光笔和投影仪位于显示面的相对两侧。
6.按照权利要求1所述的方法，其中光笔和投影仪位于显示面的同侧。
7.按照权利要求1所述的方法，其中光传感器是单个光二极管。
8.按照权利要求1所述的方法，其中光传感器是具有多个光敏元件的照相机。
9.按照权利要求1所述的方法，其中光是红外光。
10.按照权利要求1所述的方法，其中成对产生所述一系列图案，每对图案中的第二个图案是该对图案中的第一个图案的负像。
11.按照权利要求1所述的方法，其中显示面是基于像素的显示面。
12.按照权利要求1所述的方法，其中所述一系列的图案包括图案的头部序列。
13.按照权利要求12所述的方法，还包括检测图案的头部序列，以确定所述一系列图案的起点。
14.按照权利要求12所述的方法，还包括从图案的头部序列确定图案的速率。
15.按照权利要求12所述的方法，还包括从图案的头部序列，依相对光强度校准光笔。
16.按照权利要求1所述的方法，其中对于人类视觉系统来说，所述一系列图案是不可察觉的。
17.按照权利要求16所述的方法，还包括在显示所述一系列图案的同时，显示可察觉的内容。
18.按照权利要求12所述的方法，其中头部序列包括所述一系列图案的标识。
19.一种交互式显示系统，包括显示面；投影仪，所述投影仪被配置成把一系列的图案显示到显示面上，对于显示面的每个位置，所述一系列的图案具有唯一的一系列光强度；光传感器，所述光传感器被配置成在投影仪显示所述一系列图案的同时，感测显示面上的任意位置的光的强度；和对光的强度解码，以确定所述任意位置的坐标的装置。
20.按照权利要求19所述的系统，其中显示面是基于像素的显示面，所述图案是格雷码。
全文摘要
交互式显示系统包括基于像素的显示面和光笔。一系列图案被投射到显示面上。对于显示面的每个位置，所述一系列的图案具有唯一的一系列光强度。在投射所述一系列图案的同时，光笔感测任意位置的光的强度。对光的强度解码，以确定所述任意位置的坐标。
文档编号G06F3/033GK1875337SQ20048003238
公开日2006年12月6日 申请日期2004年11月2日 优先权日2003年11月7日
发明者保罗·H.·戴尔兹, 达林·L.·利, 莱弥施·拉斯卡, 约翰尼·C.·李 申请人:三菱电机株式会社