由一组投影仪形成一个集群的方法

专利名称：由一组投影仪形成一个集群的方法
技术领域：
一般地说，本发明涉及投影仪，更具体地说，涉及对准多个投影仪。
背景技术：
投影仪的最可利用的特性是它能显示尺寸大于其对应物CRT和LCD所产生图像的图像，而且能把图像放在与投影仪有一距离的任意表面上。与基于CRT和LCD的设备类似，投影仪通常显示平的矩形图像。可惜的是，基于投影仪的设备所独有的许多特性大大地没有被利用。
因为投影仪不与显示表面耦合，而在CRT或LCD设备中则不是这样，所以投影仪的尺寸能比它产生的图像的尺寸小得多。来自多个投影仪的重叠图像能被有效地叠加在显示表面上，而且来自具有很不同的技术指标和构形(form)因子的投影仪的一些图像能被混合在一起。再有，显示表面不需要是平面或刚性的，这样，许多类型的表面和混合的投影仪图像能用于一个物理环境。
投影仪发展趋势投影仪正在变得更小、更轻、更亮和更便宜。当设备变得更小时，构形因子的灵活性扩展新的使用方式和新的应用。例如，未来的投影仪能用于在固定的位置或者是在一个移动的装置中。
分布式、物品化的计算趋势计算越来越是分布于异构的、独立型的计算单元的多个集群上而不是在一组组织得很好的主机上。更便宜、更强有力的计算机的发展加速了这一趋势。
类似地，在投影仪系统中，人们希望从大的、整体的、同一的系统转移到由异构的、独立型的投影仪构成的网络。这类投影仪能用于独立工作方式，类似于PC或PDA，或者集群式合作操作，类似于计算网格。
在过去的几年里，投影仪已突破了它们在娱乐、飞行模拟器以及展示应用中的传统作用。结果，基于投影仪的系统的进步受到更大的关注，而且投影仪已开始应用于非传统的目的。
基于投影仪的环境近来，用于扩大物理环境的显示设备已变得更加普及，例如大监视器、投影屏幕、固定安装的LCD或等离子体屏幕、以及移动应用的手持PDA。没入(immersion)不是大多数这类显示的必定目标。
由于投影仪的尺寸和价格降低，投影仪越来越多地取代传统的显示设备和媒体，见Rasker等的“使用基于照相机配准的多投影显示”，IEEE可视化，1999，Underkoffler等的“被解放的像素在光亮房间中的真实世界图形”，SIGGRAPH 99会议文集，第385-392页，1999，Pinhanez的“到处显示的投影仪创建随遇图形接口的设备”，随遇计算(Ubiquitous Computing)，Ubicomp’01，2001，Sukthanker等的“使用照相机单对应性树的大格式多投影仪显示的对准”，可视化文集，2002，以及Stork的“在工程应用中的基于投影的被放大的现实”，2002。
从几何学观点看，现有技术的这些投影仪系统使用一个或多个环境传感器协助中央处理单元。该处理单元计算投影仪和显示表面之间的欧几里德关系或仿射关系。
与此相反，人们希望提供一个基于单个内藏型(self-contained)投影仪的非集中化投影仪系统。
某些现有技术的投影仪系统为使用投影仪集群的无缝显示提供自动配准，见Yang的“PixelFlex一种可重配置的多投影仪显示系统”，IEEE可视化01，2001，和Brown等的“一种实用的和灵活的大格式显示系统”，第十届太平洋计算机图形和应用大会，第178-183页，2002。然而，那些系统需要环境传感器，不允许投影仪超出任何一个传感器的范围，并只能工作于一阶平面表面。
人们希望提供一种投影仪，它能在高阶表面，如圆柱体和圆丘上显示图像而无需使用环境传感器。
增强型投影仪一些现有技术的显示系统使用增强型传感器和额外的计算，见Underkoffler等在上文中描述的“I/O bulb”，它使用共位置的投影仪和照相机。一个倾斜传感器能用于自动梯形校正，见Raskar的“一种自校正投影仪”，IEEE计算机视图和模式识别，2001。
人们还希望提供具有网络能力的投影仪并使投影仪具有几何感知能力且可自配置，从而使多个投影仪能彼此通信并对显示表面及在环境中存在的物体的物理形状敏感。

发明内容
本发明提供新技术以支持有几何感知能力的投影仪以及由一个或多个这些有几何感知能力的投影仪构成的可自配置的显示系统。
本发明还提供校准和再现技术，用于在存在其他投影仪的情况下在不同类型的表面和物体上显示图像。
这些技术能应用于传统的基于投影仪的环境并允许新型应用和接口。
所以，本发明的一个目的是提供一种自适应于形状的投影仪系统。这种自适应于形状的或具有几何感知能力的投影仪在平面或非平面上显示图像而其局部畸变达到最小。该系统处置相应的等角(conformal)投影问题及水平和垂直约束的改变。
本发明的又一目的是提供一个自配置的特用投影仪系统，它能从多个内藏型投影仪投影的图像产生看来是单个无缝图像的图像，而无需使用任何环境传感器。
本发明的一个目的是提供一种方法，以使用一个场景的主控和欧几里德信息全局对准多个图像。这包括在多个被投影的四边形图像的组合中确定最大内接(inscribed)矩形图像的方法，而该组合是一个任意形状的多边形。
本发明的一个目的是提供一种投影仪系统，用于在弯曲显示表面上，特别是在二次曲面上显示图像。所以，提供了一种简化的参数化的转换方法。为处理弯曲表面，本发明还提供一种方法，用于当由于曲面上的投影图像畸变而造成成对关系中存在小误差时全局地对准和配准图像。


图1是根据本发明的对几何形状有感知能力的投影仪的方块图；图2A是根据本发明的一个可自配置的特制投影仪集群的方块图；图2B是由图2A的集群显示的一个组合图像的方块图；图3是以图1的投影仪自适应生成图像的方法的流程图；图4是确定要被投影的输出图像的取向的方法流程图；图5是被投影仪集群放大的圆柱体对象的方块图；图6是形成图2A和图2B的集群的方法流程图；图7是全局性对准由图2A和图2B的集群投影的图像的方法流程图；图8是确定图1的投影仪中欧几里德再现的方法流程图；图9是以图1的投影仪生成图像的方法流程图；图10是在被照亮的任意形状多边形中找出最大内接矩形图像的方块图；图11是为图1的投影仪确定一个二次变换的方法流程图；以及图12是为图1的投影仪确定一个刚性变换的方法流程图。
具体实施例方式
对几何形状有感知(aware)能力的投影仪图1显示根据本发明的对几何形状有感知能力的投影仪100。应该指出，投影仪100能用于前投和背投两种方式，并且能单独使用或与其他类似投影仪组合使用。
我们的投影仪100包括微处理器110、存储器120以及由总线140连接的I/O接口130，总体上是一个处理单元。该处理单元在其电子结构上是传统的，但在进行这里描述的步骤时的操作是非传统的。
该投影仪还包括投影仪子系统150用于显示输出图像以及照相机子系统160用于获取输入图像。
网络子系统170允许投影仪与其他类似的投影设备或其他本地或远程的计算设备通信。所以，网络系统能被连接到天线或红外线收发信机180，这取决于通信媒体。
用户接口190能提供输入和输出数据以便于投影仪的操作。内部传感器195(例如倾斜传感器或加速度计)能确定投影仪的取向。应该指出，传感器只是内部的，不是感知传感器外部的环境。
投影仪操作投影仪100能实现若干功能，如智能梯形(keystone)校正、取向补偿图像强度、自动亮度、变焦和聚焦，用于获取几何形状和织构(texture)的3D扫描、以及用于照相机子系统160的智能闪光。对于这最后一个功能，投影仪功能对于照相机功能而言是辅助的。这里，投影仪只是照亮被照相机观察的场景中的特定区域。
下面将更详细地描述若干附加的自适应功能因为我们不希望依靠投影仪外部的任何欧氏几何信息，例如室内的工作着的标志灯、显示屏上的边界或人的协助，所以我们使用一个完全自校准的投影仪-照相机立体对来支持“即插即显示”能力。
投影仪100能与场景中的其他设备和对象进行通信以“学习”所需要的几何关系。在投影仪操作时动态地学习这些关系的能力是与现有技术的投影仪的主要区别，现有技术的投影仪需要预先配置的几何构成、复杂的校准、通信以及使用者的协助。
现有技术的那些使用简单的平面单对应性(homography)和避免完全校准的投影系统需要显示关于平面的某些欧氏几何(Euclidean)信息，例如屏幕边缘或标记的信息，或者假定投影仪处在一个“理想”位置，即其投影中心(CoP)基本上与平面显示表面正交。
可自配置的特制投影仪集群如图2A和2B中所示，投影仪100能单独使用，或在经由网络210(如无线以太网、RF或红外)彼此通信的多个投影仪的可自配置特制联网集群中使用。当作为集群(cluster)200来配置时，多个投影仪100显示认为是单个无缝组合图像的图像201，如图2B中的点画所示。组合图像201事实上是由显示表面230或其他物理对象上的多个投影图像220组合而成。请注意，表面230能是一个二次曲面。在这一举例中，两个投影仪从下方投影，一个从上方投影，如从它的倒梯形可以看出。
如下文中描述的那样，投影仪的放置可以是随意的，就是说那些图像的边界不一定要对准。全部需要的就是在形成所看到的单一组合输出图像的显示表面上由一组投影图像形成一个n边多边形。
形状自适应投影仪当随意地使用投影仪100时，可能是在一个移动装置中，并不总是能得到平面显示表面。事实上，可能希望把图像显示在室内的角落上，柱子上或圆丘形天花板上。所以，必须校正输出图像以使畸变最小。如果使用多个投影仪，进一步的问题是无缝合并多个输出图像，它们可能是由具有不兼容的发光强度的投影仪产生的。请注意，这与现有技术的问题不同，在那种情况中对于放在“理想”位置的单个投影仪，即其投影中心(CoP)基本上与平面显示表面正交的投影仪，其输出图像被预先卷曲了。
我们想要产生看来是单个的输出图像，它与表面的形状相一致。三维矫正(cue)是人类视觉的一个组成部分，例如，当从一侧观看弯曲墙上的一个大字报时，或说一个柱状物体的标签时，或观看弯曲建筑物上的壁饰时，都会有这种情况。所以，我们投影的输出图像与正常的视觉经验一致。
等角投影我们的方法所显示的图像在显示表面上被照亮的区域上有最小畸变。例如，在类似于电影屏幕的平面表面上，其结果是投影图像犹如观众在以“前面-平行(front-to-parallel)”方式观看电影。如果投影仪被偏斜，则应用梯形校正。
对于一个弯曲表面，或者表面总体上非平面的，我们希望使这个或这些图像成为显示表面上的“壁纸”，从而当沿着表面法线观看时在显示表面上的局部每点是未受畸变的。
因业表面法线能改变，我们确定一个等角图像，其中输出图像的各个区域与显示表面上相应区域的比值是固定的。
只有当表面是可展开的时候，零拉伸(stretch)解决方案才是可能的。可展开(developable)表面的实例是两个平面墙壁在墙角相遇，或一段直角柱，即垂直于平面突出的平面弯曲。在其他情况中，例如两个平面墙壁和一个天花板在角处相遇，或一部分球面，我们是在最小二乘意义上解决最小拉伸问题。
利用我们的方法，在输入图像中织构(texture)的卷曲(scroll)在被照亮的表面上看起来是平滑的卷曲，各图像区域的大小和形状没有改变。我们通过配上由Levy等描述的最小二乘等角映射(LSCM)来确定显示表面3D形状的映射(Levy等，“用于自动产生织构映射集的最小二乘等角映射”，SIGGRAPH 2002论文集，2002)。Levy关心的是当产生平面图像时的织构映射三角形，然而，我们需要将图像投影在可展开的表面上。
LSCM使3D表面上及其2D参数化空间上相应区域之间的角畸变和非均一标度(scaling)达到最小。对于一个可展开的表面，这一解决方案是充分等角的。对于3D网格上的给定点X，如果2D织构坐标(u，v)由一个复数(u+iv)代表，而显示表面使用局部正交基(basis)中的坐标(x+iy)，则等角映射的目标是保证穿过X的等u和等v曲线的正切矢量是正交的，即∂u∂x=∂v∂y]]>和∂u∂y=-∂v∂x]]>Levy等基于每个三角形求解该问题，并通过把任何异物同形(homeomorphic)表面映射到具有(u，v)参数化的盘上来使畸变最小。
平面变换方法图3显示我们的等角投影方法300的步骤。
我们首先以投影仪子系统150将一个结构化图案(structuredpattern)，例如一个均一的格盘(checkerboard)或正方形网格投影(310)到显示表面。该结构化图案的输入图像被照相机子系统160获取(315)。
由该图案在输入图像中的形状，我们产生(320)一个3D多边形网格DP，例如由多个三角形构成的网格。该网格是在投影仪的坐标框架(frame)内产生的。对于可展开的或弯曲的表面，该网格是被畸变的，因为它反映显示表面的形状。
在显示表面的坐标框架D中投影仪的取向被内部传感器195感测(330)，我们转动(335)网格DP使其轴线与显示表面的坐标框架D对准。
然后，使用LSCM确定(340)织构坐标U，从而找出坐标框架D在欧氏几何平面中的二维嵌入区(embedding)D∏。
我们在嵌入区D∏中定位(345)一个可显示区域，如一个矩形，该区域尽可能大，而且当最大区域被投影到显示表面上时该区域在显示表面的坐标框架D中尽可能地“向上取向”，并相应地更新(350)该织构坐标以适于该显示区域。
然后，使用织构坐标U使一个输出图像织构映射(355)到网格DP上，并从投影仪的观点使该网格再现(render)(360)于显示表面上。传统的基于硬件或软件的技术能用于产生这些织构的三角形。
在步骤345，我们试图找出输出图像在(u，v)平面中的取向Rtex。如果我们假定显示表面是垂直直角柱的一部分，即一个曲线在水平平面中的垂直突出，如两垂直墙壁相遇或支柱，则我们的目标是当输出图像投影到该显示表面上时输出图像的垂直轴线与显示表面的垂直轴线对准。
再有，我们使用投影仪在显示表面的坐标框架中的取向，这是使用内部传感器195的理由。如果该表面不是一个垂直直角柱，例如圆丘，则我们的解决方案是在最小二乘意义上对准输出图像。
取向方法如图4中所示，确定2D取向Rtex的步骤如下。
在3D中的网格中每个顶点为p1、p2、p3的三角形tj上，我们首先确定(410)一个局部仿射(affine)(2D)x-y坐标系X＝P1+x(p2-P1)+y(p3-p1)我们通过在最小二乘意义上求解
T＝xj(p2-P1)+yj(p3-P1)在三角形tj上找出对应于显示表面垂直轴线投影的矢量。
我们想要在织构空间中使全部[xj，yj]与
对准，这涉及2D旋转和变换。所以，在规一化矢量[xj，yj]之后，我们确定(420)协方差矩阵M=ΣjxjyjT01.]]>我们对矩阵M＝USVT进行奇异值分解，以得到所希望的2D旋转Rt＝UVT。
最后，我们使用Uvertical＝RtexUT旋转(440)所有织构坐标。
照亮垂直表面有时，希望保持沿一个方向图像特征的形状，但以其他方向的畸变为代价。例如，例如投影在近垂直但非可展开表面(如球形段)上的标识文字应以所有文本字符看起来具有相同高度，即使这些字符在水平方向被畸变。
所以，我们修改LSCM技术以考虑这一新的限制。因为垂线的符号已被编码到由于传感器195的读数造成的旋转中，我们能改变最小二乘等角映射的成本函数(cost function)。我们以如下形式表示对四个偏导数的附加约束weight·∂v∂y-const.]]>通常，只使用一个这样的约束。例如，上述约束保持沿垂直方向延伸至一个最小值，即该方程式便在所有三角形上 的方差变小(penalize)直至最小化。请注意，在这一情况中，在各三角形上的局部正交x，y基的选择使得x轴线在显示表面上任何地方都指向水平方向。
上述等角投影方法能用于多种显示表面，包括两个或三个平面部分在一角相遇、“W”型表面以及不可展开表面，如凹型圆丘(dome)。
投影仪集群如图5中所示，我们的具有几何感知能力的投影仪100的集群200能用于在平面和弯曲显示表面501上再现图像。
特制投影仪集群200有若干优点。该集群的操作无需集中管理，从而单个投影仪能动态地加入或退出该集群。该集群不需要外部的环境传感器，并且显示的图像超出任何一个内部传感器的范围。
我们在平面显示表面的范围内描述集群200的基本操作。对于高阶显示表面，如二次曲面，我们提供一种新的二次转换方法。
使用特制集群的平面显示使用特殊集群200进行无缝多投影仪重叠显示提供许多好处。集群允许很宽的纵横比，见图2A和2B，并允许投影仪和显示表面之间有短的距离。我们还能使用异构(heterogeneous)投影仪和高阶表面。异构投影仪是指有不同显示特性的投影仪，如不同的光强度、纵横比和像素分辨力。集群允许更高的像素分辨力和更亮的显示。此外，还能使用多个集群。
一些现有技术的系统利用具有基于照相机的配准的随意对准的投影仪，这些系统使用由显示平面引起的在不同投影仪视图中的单对应性。这些单对应性关系与某种欧氏几何参考框架一起用于预卷曲图像，从而使显示的图像看起来在显示表面上是几何配准的(registered)和无畸变的。
然而，以宽的纵横比显示图像一直是一个问题。我们通过使用一种新的全局对准方法克服这一问题，该方法依靠一个投影仪的投影仪子系统和相邻投影仪的照相机子系统之间的成对的(pair-wise)单对应性。
多个分布式照相机在靠近的位置观看被投影的有相似像素分辨力比值的图像，这允许我们计算成对的单对应性。通过求解一个线性方程组，成对的单对应性被用于计算该集群的全局一致性的单对应性集合。这导致改善的像素配准。
全局对准操作的进行无需重大的预先计划或编程。这所以成为可能是因为每个投影仪以对称方式独立地工作和以进行它自己的观测和计算。屏幕角或主照相机的对准等欧氏几何信息是不需要的。内部传感器和照相机允许每个投影仪具有几何感知能力，而且投影仪能动态地加入或退出集群。而现有技术的多投影仪显示系统则难于建立和管理。
构成一个集群图6显示构成投影仪100的集群200的方法。该方法响应接收(610)一个“校准”消息。该校准消息能由想加入集群200的投影仪Uk广播出来。另一种作法是，该校准消息能由已在该集群中的任何投影仪在其取向根据传感器195被改变时广播出来。此外，该消息能由环境中的某些其他源广播，以指出例如显示表面已改变了形状或取向。当然，也能在使用者已随意放置投影仪之后和集群需要在其第一次例化(instantiation)中被形成时广播该消息。该消息经由附近的网络210，如无线以太网、RF或红外，在附近的所有m个投影仪中被接收。
这使全部m个投影仪Ui，i＝1，…，m，的照相机处于“注意”方式，所有接收投影仪以广播“准备好”消息作出响应(620)。
在这一点，各投影仪顺序投影(630)一个结构化图案，它能被嵌入该集群200各投影仪中的m个照相机Ci，i＝1，…，m，中的一个或多个观看到。任何数量的通信协议技术能用于同步该结构化图案的顺序投影。
如果存在的集群中任何一个照相机获取(640)所投影的图案，则整个集群进行(650)全局校准以包括投影仪Uk或任何其他投影仪。对准包括确定集群中投影仪之间的成对几何关系，如下文所述。
如果一个特定照相机不能获取一个图案，则认为一个投影仪在附近但它所投影的图案没有与该集群显示的图像的范围重叠。然而，该方法不需要所有投影仪看到全部图案。不失一般性，假定该集群现在包括n个投影仪。
成对的几何仿射关系。
如图7中所示，我们进行重叠图像的图像配准。各图像之间的关系被表示为单对应性(homography)。在3D中一个不透明平表面的两个任意透视图之间的映射能用平面投影变换表示，表示为达到一个标度定义的3×3矩阵。
由两个视图中四个或更多个对应关系能计算出八个自由度。此外，由于线性关系，单对应性矩阵能被级联以传播该图像变换。
使用网络210，投影仪Pk指示集群中的每个投影仪Pi逐一投影一个结构化图案，如均一的格盘。
所投影的图像被集群中每个投影仪的照相机160同时获取。这允许各投影仪确定成对的单对应性Hpicj，用于将来自投影仪Pi的结构化图案变换为照相机Cj中的输入图像。还确定(740)一个置信值V。
每个投影仪的成对的单对应性Hpi，pj与置信值一起被间接计算为HpiciH-1pjci。为了简单，我们把它写作Hij。置信值V与结构化图案在显示表面上重叠的百分数有关。在全局对准过程中使用该置信值。
因为我们使用均一的检验板图案，置信值的一个好的近似是(由照相机Ci获取的投影仪Pj的结构化图案特征个数)与(投影仪Pj的图案中特征总数)之比rij。我们发现置信度hij＝rij4是一个好的评价尺度。如果照相机Ci看不见由投影仪Pj显示的图案，则该值自动为零。
全局对准在没有环境传感器的情况下，我们计算显示屏和所有投影仪之间的相对3D姿势(post)，以允许无缝的单一显示的图像。没有已知的姿势，所计算出的结果对于由单对应性进行的变换是正确的，而在显示表面上看起来是被畸变的。再有，如果表面是一些垂直平面，则我们的解决方法自动地使投影的图像与这些垂直平面的水平和垂直轴线对准。
然而，当计算(750)用于全局对准的3D姿势，我们避免低置信度信息，如投影仪的立体校准和倾斜传感器参数，而利用相对稳健的图像空间计算，如上文所确定的单对应性。
这样，我们首先计算全局一致的单对应性。沿一个循环级联的一组单对应性变换 应同一(equal identity)。这里，“％”符号代表求模算子。由于特征位置的不确定性，这种情况是少见的。这样，目标是在存在小误差的情况下产生有意义的马赛克。
一个简单的解决方案将是使用单个照相机观看显示区域并在那个空间进行计算。当单个照相机不能看到整个显示时，能使用基于最小扫描树的解决方法。那里，投影仪是连接到图形边缘重叠的投影仪的节点，只保持单对应性的最小集合。通过使用靠近显示中央的投影仪作为树的根节点，该方法可用于减小级联单对应性的个数，从而减小累积误差。
而我们的方法700通过使用来自所有可得到的单对应性的信息，寻找一个全局一致的配准。通过求解由独立计算的成对单对应性矩阵导出的一个线性方程组，由于单对应性级联造成的累积误差能相对于选定的参考框架或平面被同时减小。我们的方法是从Davis描述的方法(“镶嵌带有移动对象的场景”，IEEE计算机视觉和模式识别(CVPR)，第354-360页，1998)修改而成的。
我们修改那种方法以考虑被测量的成对投影仪单对应性Hij中的置信度hij。全局单对应性Gi将来自投影仪Pi的输出图像Ii变换(transfer)到全局参考框架。这还能表示为图像Ii到图像Ij的变换，以其单对应性Hij被变换为具有全局单对应性Gj的全局框架GjHij≌Gi。
这样，当每个单对应性Hij已知时，我们建立一个稀疏线性方程组以计算未来的全局(global)变换。
因为每个单对应性的定义达到一个标度因子，所以重要的是我们要进行规一化，从而能直接使|GjHij-Gi|达到最小。规一化单对应性的行列式是1，即H^=H/(det|H|)1/3.]]>为了简单，我们略去符号上的“尖角”。我们进一步用上述计算为hij的单对应性Hij的置信度标度单个线性方程。这样，该方程组对每个i，j是Hij(GjHij-Gi)＝0。
如果独立的成对单对应性的个数大于投影仪的个数，则该线程方程组的系统是过约束，并在最小二乘意义上对它求解。这产生一组全局配准矩阵，它最小偏离计算出的一组成对投影。
在交换成对单对应性之后，每个投影仪分别平行地进行全局对准(750)，把它自己的图像作为参考平面对待。在这一阶段，全局图像变换和屏幕对准投影的结果的已知程度达到只有每个投影仪Pi和显示表面之间有一个未知单对应性Hi0。
欧氏几何重建在没有来自环境的欧氏几何信息的情况下，我们相对于屏幕计算投影仪Pj的3D姿势，由此找出Hi0。尽管在3D中确定姿势存在很大噪声，但我们在各投影仪当中的图像变换仍保持与以前相同，即基于全局变换保证无缝的单一输出图像。我们确定单对应性Hi0的方法是基于Raskar等描述的方法(“一种自校正投影仪”，IEEE计算机视觉和模式识别(CVPR)，2001)。
如图8中所示，我们的进行重建的方法800是由每个投影仪Pi并行的。
其步骤如下。使投影仪Pi和照相机Ci图像空间中的对应点构成三角形(810)以产生3D点X＝{x1，x2，…}。
定位(820)一个最佳拟合平面，并在局部坐标之间以旋转R∏变换X，这里显示平面是z＝0。
应用(830)由于倾斜造成的旋转X0＝RtiltRπX，从而使X0现在被对准，即z坐标为0。在显示表面的垂直平面中的点有相同的x坐标，而在水平平面中的点有相同的y坐标。
确定(840)单对应性Hi0，它把投影仪Pi中点X的图像映射到X0中的对应点，忽略z值。
最后，对所有其他投影仪，确定(850)单对应性Hj0＝Hi0Hji，这里Hji是由投影仪Pi计算出的全局单对应性Gj。
再现由图9中所示，为一个投影仪找到适当的投影矩阵以进行再现涉及首先计算该投影仪在屏幕上的贡献区域，然后重新投影延伸到该投影仪图像中的那个完整的显示。在这第一步中，我们确定(910)由该集群中的一个投影仪照亮的四边形的延伸范围。这一范围以屏幕对准(X0)的坐标表示。所以，使用Hj0[±1±1 1]T变换规一化投影仪图像平面的四角[±1 ±1]。
在屏幕X0空间中全部投影四边形的组合可能是一个凹形平面多边形L。
接下来，我们将定位(920)一个将拟合到多边形L内部的最大矩形图像S，如下文所述。
n个投影仪每个计算一个稍有不同的Si，这取决于X0的欧氏几何重建中的误差。为了S的全局一致性，我们对Si四顶点每个取加权平均。该权重是投影仪距那个顶点的距离Pi。
在第二步，我们使用Hj0-1定位投影仪图像空间中的矩形S各角点的投影。请注意，矩形S的重新投影的角点将最可能延伸到投影仪物理图像尺寸之外。因为矩形S代表可显示区域，它指出要显示的输入图像T的范围。所以，在输出图像中超出这一范围的像素不被照亮。
这样，我们能定位(940)输出图像与其投影之间的单对应性HTj。
最后，我们织构映射(texture map)(950)输出图像到正确纵横比的单位矩形上，并以从HTj导出的投影矩阵再现图像。
当图像重叠时，使用图形硬件中的α通道实现强度混合。所赋予的混合权重与到图像边界的距离成正比。所有步骤在全部投影仪中对称地进行。
在多边形中的最大内接矩形图像图10显示如何在一个可能是凹形的多边形L1001中定位一个具有预定纵横比a的最大的轴线对准的矩形S。多边形L是由一组投影四边形构成的。能通过表述不等式得到三个未知数的解，其中两个用于表示矩形S的位置，一个用于标度。对于凹形多边形，方程式稍有不同。
我们提供对该问题的一个简单的重新参数化。
多边形L1001，图中显示出边状态(edge on)，是在深度值z＝1的第一深度平面1002中画出的，纵横比为α的矩形R1006是在z＝0的第二深度平面1003中画出的。将矩形R投影到z＝1平面中的矩形S的投影1004的中心W＝(x，y，z)，其中z在范围内
中，如果矩形S保持完全在多边形L之内的话，则该中心被认为是有效的。这些深度平面能被存储在深度缓存区中。
我们定位一个具有最小深度z的投影中心(CoP)，因为它定义最大的内接矩形S。
考虑对W的禁止区1005，图中以阴影表示。在以矩形R作为基线由多边形L上的点造成的一组四面体内部的任何CoP都是无效的。
我们构造将多边形L的边缘与矩形R的边缘连接起来的四边体。因为连接平面z＝0和z＝1的四面体的面都是三角形，我们的方法计算每个三角形三元组(each triangle triple)的交点，并得到有最小z值的三角形。
我们只需考虑两类三角形，即把多边形L的一个顶点与矩形R的一个边缘连接起来的那些三角形和把多边形L的一个边缘与矩形R的一个顶点连接起来的那些三角形，如图10中所示。
对于有n边的多面形L1001，如图2B中n＝14，我们有8n个三角形，其复杂性为O(n4)。这与O(n2)方法相比显示是次优的(见P.K.等，P.K.，“凸形多边形的最大布局和运动规划”，关于机器人学算法基础的第二届国际专门研讨会，1996)。然而，我们的方法比较容易地以少数几行代码实现。因为n是O(投影仪个数)，所以我们的方法的运行时间仍可忽略。
例如，当投影仪被随意放置并指向应发生投影图像的一个总区域时，每个投影仪需要大约5秒钟去发现成对的单对应性。全局对准、内接矩形和混合加权的计算需要再加上3秒钟。对于由6个随意安装的投影仪构成的集群，需要用大约30秒钟形成一个操作集群。
使用特制集群的弯曲显示在这一部分，我们描述在诸如圆丘、柱状屏幕、椭球面或抛物面等二次曲面上自动配准的方法。在计算机视觉方面已知一些现有技术方法使用二次曲面进行图像变换，见Shashua等的“二次参考面理论和应用”，国际计算机视觉杂志(IJCV)，23(2)，185-198，1997。
在多投影仪系统中，已描述了根据平面变换(即平面单对应性)关系(见Chen等的“使用未校准照相机自动对准高分辨力多投影仪显示”，IEEE可视化，2000)以及PixelFlex系统(见Yang等，上文)实现无缝多投影仪平面显示的若干方法。
然而，我们尚不知用于参数化卷曲和自动配准更高阶表面的任何技术。这看来是一个疏忽，因为二次曲面的确出现在基于投影仪的显示中的许多形状和构造中。大格式飞行模拟器传统上是圆柱形或圆丘形的，天文馆和OmniMax剧场使用半球形屏幕，而许多虚拟现实系统使用圆柱形屏幕。
在现有技术中，对准通常是人工完成的。有时，人工过程辅之以投影一个“导航”图案，见Jarvis的“在Silicon Graphics IG上的实时60Hz畸变校正”，实时图形学5，7，第6-7页，1997年2月。一些使用弯曲显视屏幕的多投影仪系统把屏幕各块作为小块平面处理。
我们提供一个与上述平面方法类似的完全自动方法。我们的参数方法导致减小了对照相机分辨力的约束，对像素局部化误差有更好的容错能力，能更快地校准以及简单得多的参数化弯曲过程。
我们对二次变换问题重建方程并把解用于无缝显示应用中。
二次变换的简化在3D中一个不透明二次表面Q的两个任意透视图之间的映射能用一个二次变换表示。尽管平面变换能从4个或更多个像素对应关系计算出来，但二次变换T需要9个或更多个对应关系。
如果在3D中的一个单一点X被表示为4×1矢量，而点X位于二次表面Q上，该表面被表示为对称4×4矩阵，则XTQX＝0，在两个视图中的对应像素x和x′的单一坐标的关系是x′≅Bx-(qTx±(qTx)2-xTQ33x)e]]>如果给定像素对应关系(x，x′)，这一方程传统上用于计算下列未知量3D二次Q＝[Q33q∶qT1]，3×3单对应性矩阵B以及在单一坐标中的外极(epipole)e。由Shashua等使用的这一形式以及甚至近来的工作包含21个变量，见Wexler等的“Q-弯曲二次参考面的直接计算”，IEEE关于计算机视觉和模式识别(CVPR)会议，1999年6月。这比实际需要的变量数多4个。
我们的方法是基于一个简单的观察。我们能通过定义A＝B-eqT和E＝qqT-Q33来去掉部分不定性，并得到我们使用的形式x≅Ax±(xTEx)e]]>这里xTEx＝0定义上无撇(x)视图中的二次表面的轮廓圆锥，而A是加上撇(x′)视图和无上撇(x)视图之间通过极平面的单对应性。
除了总体标度外，我们的形式只包含一个不定性自由度，它来自E和e的相对标度。通过引入附加的规一化约束，如E(3，3)＝1，能去掉这一不定性(ambiguity)。再有，在图像中的轮廓圆锥内，平方根前面的符号是固定的。
对于照相机，由点对应关系直接计算二次变换(transfer)参数(即A、E和e)的现有技术方法涉及在3D中估计二次曲面Q，见Shashua等。用于照相机的另一种线性方法使用相应像素的三角形分割，见Cross等的“从双空间几何重建二次表面”，第六届国际计算机视觉大会文集，第25-31页，1998。如果两个视图的内部参数未知，则所有计算是在计算基本矩阵之后在投影空间中完成的。
然而，我们观察到，当涉及的是投影仪而不是照相机时，现有技术的线性方法产生很大的再投影误差，对于XGA投影仪，其误差在20或30个像素的量级。如果由单个投影仪照亮的二次表面上的点在大多数情况下没有显著的深度变化的话，基本矩阵的计算固有地是病态的。
所以，我们使用已知的内部参数和估计的欧氏几何刚性变换。因此，与平面的情况不同，在这种情况中准确图像变换的计算在计算的早期涉及三维量。
二次变换方法如图11中所示，我们的方法1100首先确定(111)照相机和投影仪之间的对应关系。接下来，我们分成三角形(triangulate)和产生(1120)3D中的二次变换方程。然后，我们确定二次变换参数并使用二次变换参数卷曲(1140)输入图像。
如在平面集群的情况中那样，每个投影仪Pk，k＝1，…，n，在二次表面上依次投影一个结构化图案。该图案由照相机Ci，i＝1，…，n，看到。然而，我们不能直接找到二次变换TPiCk，而是要首先找到投影仪Pi和照相机Ck之间的刚性变换 图12显示用于照相机Ck的步骤。因为 是已知的，我们对投影仪Pi和照相机Ci中的相应点分成三角形(1210)以得到显示表面上的3D点Di，并把这些点存储在照相机的Ci坐标系中。
给定由投影仪Pi投影的点Di以及由相邻投影仪的照相机Ck观察到的相应点，我们确定(1220)刚性变换ΓPiCk=ΓPiCkΓPiCi.]]>然后，我们用一个3D二次变换Qi拟合(fit)(1230)Ci坐标系中的点Di。
我们使用我们的简化二次变换公式，由Qi、投影矩阵Mck和Mpi、以及像素对应关系确定(1240)变换参数Ai、Ei和ei。
最后，我们进行(1250)变换参数Ai、Ei和ei的非线性精细化，以使像素再投影误差最小。
请注意，由二次表面上的已知3D点找出照相机的3D姿势是容易出错的，这是因为3D点通常相当靠近平面。因为我们知道照相机内部参数，我们首先根据单对应性对外部参数做初始猜想，然后使用迭代过程校正这一猜想，见Lu等的“由视频图像进行快速和全局收敛姿势估计”，IEEE模式分析和机器智能学报，22，6，第610-622页，2000。
图像再现为了图像再现，我们把二次变换作为经由极平面的单对应性对待，即A加上由E和e定义的每像素位移。与平面显示用的集群类似，不借助任何外部环境传感器或场景中的欧氏几何标记，我们利用这一单对应性和在投影仪Uk处的内部传感器读数，使输出图像与显示表面的水平和垂直轴线对准。
给定输出图像和由照相机Ck获取的输入图像之间的关系，以及照相机Ck和全部投影仪Pi，i＝1，…，n，之间的二次变换，每个投影仪使输出图像卷曲到它自己的照相空间中。请注意，使用二次变换卷曲一个图像不同于现有技术中已知的现有技术再现二次表面，见Watson等的“在光栅显示上再现二次曲线的快速算法”，第27届SEACM年度大会论文集，1989。
我们使用简单的顶点阴影器(Shader)或图形硬件进行图像再现。对于每个投影仪，我们将输出图像作为织构(texture)映射到矩形形状的、密集镶嵌的三角形网格上，并使用二次变换计算网格每个顶点的投影。
我们的系统和方法对于单个或多个投影仪的无缝显示是理想的，且无需昂贵的基础设施。由我们的发明能得到的新的应用包括低成本和灵活的圆丘显示、购物拱廊以及在圆柱上的显示。我们的方法还能作为平面和任意自由形状显示之间的中间步骤。
虽然已经以优选实施例的举例方式描述了本发明，但应该理解，能在本发明的精神和范围内做出各种其他适应和修改。所以，所附权利要求的目的是要覆盖所有这些变化和修改，作为进入本发明的真正精神和范围之中。
权利要求
1.一种由一组投影仪形成一个集群的方法，在该组中的每个投影仪包括一个与一个照相机子系统有固定的物理关系的投影仪子系统以及一个用于发送和接收消息的通信子系统，该方法包含在每个投影仪中使用通信子系统接收一个校准消息；响应该校准消息，使用通信子系统从每个投影仪广播一个准备好消息；在每个投影仪中使用投影仪子系统在显示表面上顺序投影一个结构化图案；在每个投影仪中使用照相机子系统顺序获取该结构化图案的输入图像；以及根据输入图像全局性对准各投影仪和显示表面。
2.权利要求1的方法，进一步包含放置投影仪，使一组结构性光图案和输入图像形成多边形。
3.权利要求1的方法，其中对于一个特定的结构化图案，投影仪的一个子组获取该图像。
4.权利要求1的方法，其中的对准是在该组投影仪中并行完成的。
5.权利要求1的方法，其中的结构化图案是一个格板图案。
6.权利要求1的方法，进一步包含定位多边形内部的一个最大矩形；以及根据全局对准在该最大矩形中多个输出图像组合成一个单一感觉的显示图像。
7.权利要求1的方法，其中该组投影仪是异构的。
8.权利要求7的方法，其中各投影仪有不同的显示特性。
9.权利要求8的方法，其中不同的显示特性包括强度、纵横比和像素分辩力。
10.权利要求1的方法，其中显示表面是二阶的。
11.权利要求1的方法，进一步包含确定多个单对应性，每个单对应性用于将一个投影仪的结构化图案变换成另一个投影仪的输入图像。
12.权利要求11的方法，进一步包含对每个单对应性赋予一个置信值。
13.权利要求12的方法，其中置信值与显示表面上一个投影仪的结构性图像和另一个投影仪的输入图像之间重叠的百分数有关。
14.权利要求13的方法，其中置信值是在另一个投影仪的输入图像中所获取的一个投影仪的结构化图案的特征个数与该投影仪的图案中的特征总数之比。
15.权利要求6的方法，进一步包含将单一感觉的显示图像与显示表面的水平轴线和垂直轴线对准。
16.权利要求12的方法，进一步包含确定一个全局单对应性，以将一个投影仪的输出图像变换到一个全局参考框架。
全文摘要
一种方法由一组投影仪形成一个集群。该组中的每个投影仪包括一个与一个照相机子系统有固定的物理关系的投影仪子系统，以及一个通信子系统，用于发送和接收消息。在各投影仪中经由通信子系统接收校准消息。各投影仪使用通信子系统广播一个准备好消息。每个投影仪使用投影仪子系统顺序地将一个结构化图案投影到显示表面上。每个投影仪使用照相机子系统顺序地获取结构化图案的输入图像。根据输入图像，各投影仪彼此并与显示表面全局性对准。
文档编号H04N5/74GK1698359SQ200480000310
公开日2005年11月16日 申请日期2004年3月18日 优先权日2003年3月21日
发明者拉梅施·拉斯克尔, 杰罗恩·范·巴尔, 保罗·A·比尔兹利 申请人:三菱电机株式会社