利用短程相机校准显示系统的系统和方法
【技术领域】
[0001]本发明涉及显示器，并且聚焦但不限于多投影显示系统，而且更特别地涉及用于利用不准确地知道或根本不知道其镜头属性的相机以及利用可能不能够对整个显示系统进行成像的相机来校准显示系统的系统和方法。
【背景技术】
[0002]利用相机和其它光学传感器对平铺(tiled)投影仪系统的校准已经变得越来越司空见惯。自动校准系统的主要目标之一是在没有专业技师使用的情况下随着该系统的老化而维持该系统的高品质(诸如线性几何形状、均匀的颜色和强度)。例如，期望的是没有经过训练的人可以按动图形用户界面(GUI)中的“校准”按钮，那么该系统就重新校准。不期望的是应当要求用户采取要求利用GUI的许多交互的精细调节过程，这是因为该过程可能费时且要求用户的关于这部分的训练。
[0003]特别感兴趣的一个平铺显示器被设计成用在会议室环境中。在会议室中，预期可以使用MxN短程投影仪来构建高分辨率的显示器。当用在前投影仪配置中时，短程投影仪是有用的，这是因为一个人可以径直走到屏幕而不在显示器上投上影子直到一个人非常靠近屏幕为止。再者，无论用在前投影仪或后投影仪装备中，投影仪占据小的深度，该小的深度在诸如会议室之类的存在有限空间的设施中是有用的。
[0004]为了校准这样的系统，常常期望将相机安装得非常靠近投影仪。期望该定位的一个原因是它允许自包含安装，这简化了安装者的任务，并且更为普遍地降低了安装费用。该定位还期望在于，它避免了这样的状况:横跨房间空间放置的相机与短程布置相比更加有可能被路过的人阻挡。横跨房间定位这样的相机还是不期望的，因为它一般要求从该系统到相机穿设缆线，并且一般需要把这样的缆线穿设到墙壁中以及围绕该房间。这会很显眼并且在公共空间中造成不美外观。可替代地，能够证明在墙壁和/或顶棚中安装不可见的线缆费时且成本高。
[0005]因此，在这样的设施中短程相机是期望的，这是因为它允许自包含安装并且避免了不期望的连线布置和视野(the filed of view)的妨碍。然而，当这样的相机紧挨着显示器时，出现至少两个挑战性效果。第一，可能有必要采用具有鱼眼镜头或其它广角镜头的多个相机，这是因为相机离屏幕不远，并且可能难以对重要视野进行成像。鱼眼镜头会是个问题，这是因为它可能难以准确地测量镜头的失真。此外，相机图像中的场景的失真不仅对镜头的属性敏感，而且它对镜头在相机成像器顶部上的定位，以及对相机的位置和朝向非常敏感。该失真朝着镜头的外侧特别敏感。因而，如果一个人在投影显示器校准期间依靠鱼眼镜头的镜头模型的准确性，则在屏幕上的所得到的显示图像常常出现失真。
[0006]再者挑战是这样的事实:可以证明对于利用可能仅几英寸的短程距离对整个屏幕进行成像是有挑战性的。
[0007]因而，期望的是创建一种自动校准系统，其操作简单，不依靠场景的相机失真的准确模型，并且可以处理相机不能够对整个屏幕进行成像的情形。
【发明内容】
[0008]本发明通过提供下面系统和方法克服了现有技术的缺点:其允许使用其镜头未被建模或在有限的准确度的情况下建模、以及可能不能够对整个投影仪系统进行成像的一个或多个相机对显示系统的校准。说明性系统和方法通常依靠投影仪的良好建立的模型，而不是相机的良好建立的模型。说明性地，相机主要用来将投影仪映射到一个坐标系上，其中可以使用相机非常精确地建立投影仪之间的重叠，即使相机镜头属性的模型未知或者只知道很少的情况下也是如此。
[0009]本公开的一个或多个方面提供了一种校正投影仪系统的方法，所述投影仪系统具有两个或更多个投影仪，所述方法利用到一个或多个相机，不要求所述一个或多个相机对整个屏幕进行成像，包括步骤:(a)利用所述一个或多个相机捕获来自所述投影仪的一个或多个投射图案；以及将所投射的像素从每个投影仪映射到公共坐标系中，所述映射的步骤不依赖于所述相机的透镜属性的模型；以及(b)将所述公共坐标系映射到所述屏幕，而不依赖于所述一个或多个相机的镜头属性的模型。
[0010]在一个示例中，所述投影仪被预校准。
[0011]在一个示例中，所述映射步骤(a)或步骤(b)中的任一个使用所述投影仪的模型来形成。
[0012]在一个示例中，所述投影仪的模型包括来自投影仪映射的理想化模型的失真模型。
[0013]在一个示例中，所建模的投影仪至表面的映射通过测量进行预校准。
[0014]在一个示例中，所预校准的测量在投影仪是所校准的系统的一部分时推断出。
[0015]在一个示例中，投影仪至所述公共坐标系的映射包括使用所述一个或多个相机测量所述投影机的重叠与所述投影机的重叠的建模之间的差异的步骤。
[0016]在一个示例中，所述投影仪的模型包括来自投影仪映射的理想化模型的失真模型。
[0017]在一个示例中，使用边缘混合技术将由所述一个或多个相机测量的差异应用在所述两个或更多个投影仪与所述公共坐标系之间。
[0018]在一个示例中，所述投影仪投射到平坦屏幕上，并且映射到所述公共坐标系的步骤包括使用所述一个或多个相机来找出可选的预校准的投影仪之间的单应矩阵(homographies)。
[0019]在一个示例中，所述投影仪投射到具有已知或参数化的几何形状的弯曲屏幕上，所述投影仪可选地被预校准，以及映射到所述公共坐标系的步骤包括使用所述可选预校准投影仪的投影仪至表面的映射的模型。
[0020]在一个示例中，将所述公共坐标系映射到所述屏幕还包括使用所述一个或多个相机定位所述屏幕上的基准点。
[0021 ] 在一个示例中，所述方法还包括存储强度和颜色信息以及使用所述投影仪的被所述一个或多个相机成像的区域来平衡强度和颜色。
[0022]在一个示例中，所述投影仪被预校准，并且映射到所述公共坐标系的步骤包括使用所述一个或多个相机来找出所述预校准的投影仪之间的单应矩阵。
[0023]在一个示例中，所述投影仪被预校准，并且映射到所述公共坐标系的步骤包括使用所述预校准投影仪的投影仪至表面的映射的模型。
[0024]在一个示例中，所述测量包括在受控环境中测量来自所述投影仪的数据。
[0025]在一个示例中，所述一个或多个相机对所述整个屏幕的第一部分进行成像，从而限定了所述整个屏幕的未被所述一个或多个相机成像的第二部分。
[0026]本公开的另一方面提供了一种用于校准投影仪系统的系统，所述投影仪系统具有两个或更多个投影仪，所述系统利用到一个或多个相机，不要求所述相机对整个屏幕进行成像，包括:(a) —个或多个相机，其捕获来自所述投影仪的一个或多个投射图案的图像；映射过程，其将所投射的像素从每个投影仪映射到公共坐标系上，所述映射过程不依赖于所述相机的镜头属性的模型；以及(a)所述公共坐标系被映射到所述屏幕，而不依赖于所述一个或多个相机的镜头属性的模型。
[0027]在说明性实施例中，使用短程相机来校准投射在平坦墙壁上的、在水平方向上平铺的、具有小的重叠的两投影仪显示。相机获取来自每个投影仪的图案的图片并且找出投影仪之间在重叠区中的对应关系。例如使用从每个投影仪至公共坐标的单应矩阵可以将投影仪映射到公共坐标系，并且然后将所述公共坐标系映射到所述屏幕。
[0028]所述投影仪的模型可选地可以通过测量投影仪本征参数和来自理想投影仪的失真进行预校准。在不损失普遍性的情况下，用于对投影仪的模型进行预校准的一种方法包括在受控环境下测量来自投影仪的数据。在不损失普遍性的情况下，第二种方法进行对投影仪原位全部校准(例如，使用良好校准的相机对屏幕校准)以及使用该结果反算失真图案。如果投影仪被预校准，并且希望单应矩阵将投影仪映射到公共坐标系，至公共坐标系的映射变为两个步骤:去除预校准的失真图案，然后应用单应矩阵。
[0029]投影仪在公共坐标系中的对应关系和所述重叠的模型以及由相机收集的数据一般将不同。也就是说，模型与数据并未完美拟合。由相机收集的数据被用来找出所述模型与投影仪的实际对应关系之间的差异。所述差异例如由位移场表示，将所述差异部分地应用于每个投影仪，使得两个应用的组合补偿了相机所见到的差异。在具有四个边缘的边界区的简单情况中:在覆盖区的左边缘，针对左投影仪的所应用的位移场设定为0，以及针对右投影仪为完全量(full amount)。在重叠区的右边缘上，针对右投影仪，所应用的位移场设定位零(0)，以及针对左投影仪为完全量。使用边缘混合类型算法找出对于每个投影仪要应用的位移场，使得总体弥补了由相机看到的差异。这些相同的边缘混合类型算法可以用于其形状更复杂的重叠区域。
[0030]一旦针对从投影仪至公共坐标系的映射作出了所有的校正，就将公共坐标系映射到了屏幕，形成了可以使用标准机制和过程来无缝示出横跨这两个投影仪的视频和影像的整体映射。
[0031]在说明性实施例中，提供了一种用于校正投影仪系统的系统和方法，所述投影仪系统具有两个或更多个投影仪，所述用于校正投影仪系统的系统和方法利用到一个或多个相机，不要求所述相机对整个屏幕进行成像。该系统和方法利用所述一个或多个相机捕获来自所述投影仪的一个或多个投射图案。将所投射的像素从