专利名称：用于确定具有任意形状的显示面上的各位置与投影仪的输出图像中的各像素之间的对应 ...的制作方法
技术领域：
本发明一般地涉及校准投影仪，更具体地说，本发明涉及对于具有任意形状的显示面校准投影仪。
背景技术：
便携式数字投影仪现在已经常见了。这些投影仪可以显示大格式的图像和影像。通常，投影仪被放置在位于投影室内的桌子上，或者安装在天花板上。
在现有技术中，投影仪的光轴必须与平面显示面垂直，以产生无畸变图像。此外，为了获得水平图像，投影仪的横轴必须水平。即使满足上面的限制，如果存在投影环境的实际制约，则仍难以甚或不可能使投影图像与投影面上的预定目标图像区域精确对准。如果随便放置投影仪，则需要进行图像校正。
对平面显示面进行完全校正需要考虑三个位置自由度、两个标量自由度以及三个旋转自由度，以将畸变降低到最小。如果显示面是任意拓扑面，则这些校正可能不充分。下面，术语拓扑面具体指在三维空间内具有任意形状和姿态的拓扑连接面。姿态指取向和位置。
可以使要投影的图像畸变，以使投影图像表现正确对准而且无畸变。然而，这要求对显示面仔细校准投影仪。当手动进行校准时，这种校准过程耗时，而且令人厌倦，而且必须频繁进行校准以保持图像质量。对于在投影时投影仪或者显示面或者它们二者均发生运动的动态显示环境，这极其困难。
最接近的现有自动校准技术受到可以校正的自由度数量的严重制约，通常只有一个或者两个梯形校正度。它们还局限于平面显示面。能够自动校正位置、大小、旋转、梯形畸变以及不规则表面的现有技术取决于投影室、显示面以及校准摄像机的绝对或者相对几何数据。当利用摄像机进行校准时，显示面必须是反射式的，以使校准图形反射到该摄像机。许多技术要求对投影仪进行修改，以安装倾斜传感器。
这些技术的缺陷包括，当几何校准数据不可用时，或者当发生与投影仪无关的变化，例如，改变该显示面的位置或者整形该显示面或者改变校准摄像机时，不能使用投影仪。当显示面不是反射式的，或者当显示面是导致混淆镜面高亮的强反射式的时，基于摄像机的校准系统失效。此外，利用基于摄像机的系统，难以使摄像机图像上的像素与投影图像上的相应像素相关。
因此，需要一种用于对任意成形面校准投影仪的全自动方法。
发明内容
本发明提供了一种对任意形状的显示面校准投影仪的方法和系统。该校准过程校正投影仪的位置和旋转、图像大小以及梯形畸变和非平面几何结构。
本发明提供了一种用于求得或许是任意形状的显示面上的各位置与投影仪图像像素之间的对应关系的方法和系统。例如，该系统可以用于将对象的各部分划分为被投影仪的左侧部分照射的部分和被投影仪的右侧部分照射的部分。
根据本发明的系统使用安装在显示面上或者显示面附近的离散光传感器。该方法测量直接投射到该面上的光。这与基于摄像机的系统不同，基于摄像机的系统间接测量该面反射的光，这样产生附加复杂性。此外，每个传感器分别对应于投影图像上的一个像素。在基于摄像机的系统中，因为许多原因，至少包括不同的光学特性、不同的几何结构、不同的分辨率以及不同的内在参数和外在参数，所以难以确定摄像机像素与投影仪像素之间的对应关系。
各离散传感器分别直接测量位于每个位置的投影图像的光强。利用一个或者多个投影图形，该系统估计投影仪的图像上的哪个像素照射哪个检测位置。
当显示面的2D或者3D形状和几何结构已知，而且该几何结构内的光传感器的位置已知时，可以利用关于哪个投影仪像素照射哪个传感器的信息对于显示面校准投影仪。
所获得的校准参数用于使要投影的输入图像畸变，以使投影的输出图像在该显示面上显示无畸变。校准参数还可以用于其它目的，例如发现投影仪对于该显示面的姿态；确定内部和外部几何参数；求得投影仪与显示面之间的距离；求得投影仪的射线照射到具有已知几何结构的该显示面上的入射角；将表面区域划分为被投影仪照射的和不被投影仪照射的；计算投影仪的径向畸变；确定多个投影仪投影到该显示面上的各重叠图像之间的关系；以及求得显示面的变形。
图1是根据本发明对于含有光传感器的平面显示面校准投影仪的系统的示意图；图2是对于非平面显示面校准投影仪的系统的示意图；图3是对于含有光传感器的显示面校准投影仪的方法的流程图；图4示出本发明使用的格雷码校准图形；以及图5是具有离散光传感器的显示面的侧视图。
具体实施例方式
如图1所示，投影仪100随意对准平面显示面101。在此，观众10和投影仪100位于显示面101的同一侧。因此，显示面将投影图像反射到观众。因为这种随意对准，所以投影仪的输出图像或者影像102不能与显示面上要求的图像区103精确一致。因此，必需使输入图像畸变，以使它在作为输出图像投影时，符合图像区103。
因此，显示面101包括4个在二维或者三维空间内已知其坐标的位置104。应该注意，根据显示面101的大小和拓扑，还可以使用附加位置。4个是对于任意投影角和平面显示面，使输出图像适合矩形图像区103所需的最少位置。
光传感器直接测量位于已知位置104的光能量。这与基于摄像机的系统不同，基于摄像机的系统是在图像被显示面反射之后，间接测量投影图像。直接测量具有许多优点。即，与基于摄像机的投影仪校准不同，本系统不必根据反射光处理光强测量，反射光具有更复杂的几何结构。
在一个实施例中，传感器是安装在表面位置104或者其附近的光电二极管或者光电晶体管。作为一种选择，如图5所示，利用光纤502，将光传感器501连接到表面位置104。为了对光纤502提供光路或者路由，该表面具有通孔503。该通孔的直径可以是1毫米或者更小。如何制造非常细的光纤是公知的。这样容易将检测位置的尺寸缩小到投影仪像素的尺寸，或者更小。为了实现本发明的目的，每个检测位置分别与输出图像上的投影像素基本对应。该实施例还对装备要被投影仪100放大的小尺寸3D模型有用。
只要知道图像区103与各位置104之间的几何关系，位置104就可以与图像区103无关。当该表面是平面，或者是利用参数确定的表面，例如，该表面是二次曲面或者其它更高次曲面，包括不能利用参数描述的曲面时，这是直接的。
校准模块(处理器)105从每个传感器501分别获取传感器数据。在优选实施例中，经过A/D变换后，传感器数据被量化为二进制的0和1。0表示没有检测到光，而1表示检测到光。为了使这成为可能，对光强设置阈值。有利的是，二进制光强读数对周围背景照明不敏感。但是，应该明白，可以根据灰度级测量光强。在此描述的各种部件之间的链路可以是有线的，或者是无线的。校准模块可以是PC形式的，或者是膝上型计算机形式的。
如图4所示，校准模块105还可以产生一组校准图形401-402，并将它们发送到投影仪100。下面将更详细说明该图形。使校准图形投影到显示面101和位置104上。根据在每个位置对每个图形分别测量的光强，校准模块105确定变形函数(W)111的校准参数，变形函数(W)111被转发到影像处理模块106。校准参数反映投影仪的内部和外部参数以及非线性畸变，内部参数和外部参数有时还被称为内在参数和外在参数。
影像处理模块106使影像源107产生的输入图像110畸变，以致在使输出图像投影到显示面101上时，输出图像不畸变，而且与图像区103对准。对于某些应用，将校准参数和变形函数直接传送到影像源107是有益的。
校准模块105、影像处理模块106以及影像源107和投影仪100可以组合为更少数量的离散部件，例如，具有投影仪子组件的一个投影仪模块。除了光传感器和图像生成硬件，利用软件可以实现该系统的大多数功能。然而，利用硬件电路也可以实现所有软件。
图2示出复杂、非平面图像区103，例如，汽车模型的外表面。该模型可以是全尺寸的，或者是缩放的。在优选实施例中，该模型是由塑料或者纸构成而且为了着色大量颜色被喷涂为白色的模型轿车。可以将该模型放置在背景幕的前面，该背景幕形成“路面”和“景色”。也可以对背景幕装备传感器。目的是使该模型外表具有各种配色，而无需实际喷涂外表面。可以对背景幕进行照明，使得轿车似乎在沿公路通过景物行驶。因此，在作出购买决定之前，可能的客户可以看到模拟环境下的模型。在这种情况下，可以使用4个以上的检测位置。对于任意投影角度和非平面显示面，要使输出图像适合显示区，最少需要6个检测位置。
本发明可以对含有光检测位置104的平面和非平面显示面101校准投影仪。该校准系统能够对图像对准和畸变进行补偿，以使投影输出图像102适合该显示面上的图像区103。
校准方法图3示出根据本发明的校准方法。顺序投影300一组校准图形401-402。这些图形将唯一序列光能量310传送到检测位置104。传感器获取301传感器数据311。对该传感器数据进行解码302，以确定位置104的坐标数据312。该坐标数据用于计算303变形函数313。该变形函数用于使输入图像变形304，以产生畸变输出图像314，然后，将该畸变输出图像投影305到显示面101上，并使它与显示面101上的图像区103对准。应该注意，可以根据位置坐标直接产生畸变图像。
校准图形如图4所示，优选校准图形401-402基于1953年3月授予Gray的第2,632,058号美国专利描述的一系列二进制掩码。现在，将它们称为格雷码。格雷码通常用于机械位置编码器。有利的是，格雷码可以检测位置的稍许变化，这种稍许变化可能仅影响1位。使用传统的二进制编码，至多有n位可以改变，而传感器元件之间的稍许不对准可能产生非常错误的读数。格雷码没有这种问题。由于垂直空间被分割得更精细，被标记为A、B、C、D、E的头5个级400示出每个后续图形与先前图形之间的关系。400中的5个灰度级分别与右侧上的5对图像(被标记为A、B、C、D、E)有关。每对图像分别示出如何利用编码方法分割图像平面的水平轴401和垂直轴402。可以继续该细分过程，直到每二进制位(bin)的尺寸小于投影仪像素的分辨率。应该注意，还可以使用其它图形，例如，该图形可以是格雷正弦形式的。
当以预定顺序投影时，校准图形将唯一光能量图形分别传送到每个位置104。该图形将位置104的像素间定位区别开，而仅要求log2(n)个图形，其中n是投影图像上的像素数。
将原始光强值变换为一系列二进制数字311，该一系列二进制数字311与对于一组图形是否在每个位置存在光
对应。然后，将该位序列适当解码为对应于每个位置的坐标的、输出图像中的各像素的水平坐标和垂直坐标。
校准图形的数量与位置的数量及其坐标无关。显示面可以包括任意数量的检测位置，特别是，如果该显示面是任意复杂拓扑面。因为检测位置对于该显示面是固定的，所以显著简化了计算过程。实际上，可以在几分之一秒内执行整个校准过程。
简化和加速校准过程使得可以进行动态校准。换句话说，在显示面改变形状或者位置时，可以在图像或者影像被投影到显示面上的同时，动态进行校准。实际上，对于检测数据311，可以动态适配该面的形状。还应该注意，利用红外传感器或者高速、瞬间潜像可以使校准图形不可见。因此，校准图形不干扰下层显示节目的显示。
作为一种选择，象在密码学中一样，校准图形可以是成对图像，一个后面紧跟着其相补的负或者反图像，使该图形实际不可见。这样做还有一个优点，即，光强测量可以是差分的，从而减小对周围背景光的作用。
变形函数对于4个共面位置，校准模块105确定变形函数ps＝w*po其中w是变形矩阵，ps是检测位置的坐标，po是要分别与每个显示面位置对准的输出图像上的相应像素的坐标。
利用ps的检测值和po的已知值，可以求得变形矩阵w的各相应值(correspondence)。这被称为单应性传统技术，它用于使一个任意四边形变形为另一个任意四边形。从形式上说，单应性是3×3的8自由度投影变换H，它将一个坐标系内的3D平面的图像映像到其在另一个坐标系内的图像。如何计算单应性是公知的，请参考Sukthankar等人的“Scalable Alignment of Large-FormatMulti-Projector Displays Using Camera Homography Trees”，Proceedings of Visualization，2002。
通常，像素po位于输出图像的各角上。如果使用4个以上的位置，则可以采用平面最佳拟合方法。使用4个以上的位置可以改善校准质量。从本质上说，本发明利用光强测量使各位置与输出图像上的相应像素相关。
将变形矩阵w送到视频处理模块106。变形函数使输入图像畸变，这样校正位置、比例、旋转以及梯形畸变，以使所获得的输出图像呈现无畸变，而且与图像区对准。
非平坦表面任意拓扑面可能含有其面法线与投影仪的光轴成钝角的位置。对应于这些位置的传感器可能未受到投影仪的直接照明，使得在校准过程中，它们不可见。因此，应该选择检测位置，以利用投影仪直接照射它们。
Raskar等人于2001年8月15目提交的标题为“System andMethod for Animating Real Objects with Projected Images”的第09/930,322号美国专利申请描述了一种用于将图像投影到任意拓扑面上的通过技术，如图3所示，在此引用该专利中请供参考。该技术要求知道显示面的几何结构，而且要求最少使用6个校准点。根据应用，可以利用投影图像增强、放大或者伪装显示面特征。代替使输出图像畸变，校准数据还可以用于利用机械方法使投影仪移动到新位置，以校正该畸变。此外，还可以移动或者使显示面本身变形，以校正任何畸变。还可以对上述方法进行各种组合，例如，变形输出并移动投影仪，或者变形输出并移动显示面。所有这些均可以在使系统保持校准的同时动态进行。
尽管本发明的主要目的是确定可以使输入图像畸变或者变形从而使变形的输出图像在显示面上不表现畸变的投影仪参数，然而，该校准参数还可以用于其它用途，例如，求得投影仪相对于显示面的姿态，这包括内部和外部几何参数。该姿态可以用于其它应用中，例如，图像增强环境下的照明计算，或者用于将合成对象插入景物中。
该参数还可以用于求得投影仪与显示面之间的距离；求得投影射线在具有已知几何结构的面上的入射角，例如，在3D呈现程序中进行照明计算，或者改变输入光强，以使显示面上的图像亮度均匀；将表面区域划分为被投影仪照射的和不被投影仪照射的分段；确定投影仪的径向畸变；以及求得显示面的变形。
本发明还可以用于同时校准多个投影仪。在此，多个投影仪在显示面上投影重叠图像。当显示面非常大，例如，在天文馆中，或者从许多侧面观看显示面时，这是有用的。
尽管以优选实施例为例对本发明进行了说明，但是，显然，在不脱离本发明实质范围的情况下，可以进行各种修改和变更。因此，所附权利要求的目的是涵盖落入本发明的确切实质范围内的所有这些变型和变更。
权利要求
1.一种用于确定具有任意形状的显示面上的各位置与投影仪的输出图像中的各像素之间的对应关系的方法，包括在显示面上投影一组已知校准图形；对于每个校准图形，直接检测在显示面上多个位置中每个位置的光强，有各个离散光传感器分别与各个位置关联；以及使各位置的光强相关，以确定所述多个位置与投影仪的输出图像中的各像素之间的对应关系。
2.根据权利要求1所述的方法，其中每个位置具有已知坐标。
3.根据权利要求1所述的方法，其中校准图形是格雷码形式的。
4.根据权利要求1所述的方法，其中所述对应关系用于确定投影仪的参数。
5.根据权利要求4所述的方法，其中所述参数包括投影仪的内部参数和外部参数以及非线性畸变。
6.根据权利要求1所述的方法，进一步包括根据该对应关系，变形投影仪的输入图像；以及将变形的输入图像投影到显示面上，以显现无畸变。
7.根据权利要求1所述的方法，其中投影仪随意对准平面显示面。
8.根据权利要求1所述的方法，其中显示面是平面。
9.根据权利要求1所述的方法，其中显示面是二次曲面。
10.根据权利要求1所述的方法，其中观众和投影仪在显示面的同一侧。
11.根据权利要求8所述的方法，其中显示面是平面而且位置的数量是4。
12.根据权利要求1所述的方法，其中光传感器是光电晶体管。
13.根据权利要求12所述的方法，其中光传感器通过光纤连接到相应位置。
14.根据权利要求1所述的方法，其中光强被量化为0或者1。
15.根据权利要求1所述的方法，进一步包括根据该对应关系，变形投影仪的一序列输入图像；以及将变形的序列输入图像投影到显示面上，以作为影像显现无畸变。
16.根据权利要求15所述的方法，其中在确定该对应关系、变形该系列图像以及投影变形的序列输入图像时，显示面和投影仪互相相对移动。
17.根据权利要求1所述的方法，其中显示面是真实物体的3D模型的外表面。
18.根据权利要求1所述的方法，其中显示面包括3D模型放置在其上的背景幕。
19.根据权利要求1所述的方法，其中光是红外光。
20.根据权利要求1所述的方法，其中投影每个校准图形作为一对图像，该对图像中的第二图像是该校准图像的反图像。
21.根据权利要求1所述的方法，其中该对应关系用于重新配置投影仪。
22.根据权利要求1所述的方法，其中该对应关系用于使显示面变形。
23.一种用于确定具有任意形状的显示面上的各位置与投影仪的输出图像中的各像素之间的对应关系的系统，包括显示面，具有已知坐标的多个位置；多个已知校准图形；用于对每个校准图形，直接检测在显示面上的多个位置中每个位置的光强的装置；以及用于使各位置的光强相关，以确定所述多个位置与投影仪的输出图像中的各像素之间的对应关系的装置。
24.根据权利要求23所述的系统，其中通过光纤使每个位置光连接到一个离散光传感器。
25.根据权利要求24所述的系统，其中光纤位于显示面中的通孔内。
26.一种用于确定具有任意形状的显示面上的各位置与投影仪的输出图像中的各像素之间的对应关系的方法，包括对于投影到显示面上的多个校准图形中每一个，直接检测在显示面上的多个位置中每个位置的光强，有各个离散光传感器分别与各个位置关联；以及使各位置的光强相关，以确定所述多个位置与投影仪的输出图像中的各像素之间的对应关系。
全文摘要
一种系统确定显示面上的各位置与投影仪的输出图像上的各像素之间的对应关系。显示面可以具有任意形状和姿态。在显示面上识别具有已知坐标的位置。通过安装在该面中的通孔内的光纤，使每个位置光连接到光传感器。投影已知校准图形，同时对每个校准图形，分别直接检测位于每个位置的光强。该光强用于确定各位置与投影仪的输出图像上的各像素之间的对应关系，以变形投影图像，从而适合该显示面。
文档编号H04N5/74GK1701603SQ20048000099
公开日2005年11月23日 申请日期2004年8月3日 优先权日2003年8月6日
发明者约翰尼·常·李, 丹尼尔·梅尼斯-阿米恩扎德, 保罗·H·迪茨, 雷米什·拉斯卡尔 申请人:三菱电机株式会社