专利名称：基于光传感器的投影自动几何校正方法
技术领域：
本发明涉及的是一种无缝投影中的自动几何校正方法，特别涉及一种基于光传 感器的自动几何校正方法。
背景技术：
数字投影设备的逐渐普及使得多通道的超高分辨率的数据可视化和视频娱乐 成为了可能。这类投影需要多台投影设备共同合作，它们通常情况下被安放在桌面 上，或者固定在支架上，同时将原始图像投射到同一目标投影幕的不同部分，最终 通过技术手段将投影图像无缝的拼接在一起，并且观察者看到的图像(下文中简称 为观察者图像)是完整的超大型高分辨率的图像。图像拼接的一个技术难点就是经 过投影幕的反射后，原本正常的图像的投影会发生几何畸变。解决这个问题的办法 是通过一定的方法确定从原始图像到观察者图像的像素点的对应关系，并据此对原 始图像在投射之前进行几何预变换。这样，经过预变换的图像经过投影设备的投射 后再经过投影幕的反射，就可以使观众看到的图像和原始图像保持一致，从而达到 几何校正的目的。
要达到这样的效果，可以由控制计算机生成一个与原始图像等大的矩形网格， 然后投影设备将它投射到投影幕上就得到一个有几何畸变的网格。接下来通过一定 的方式，把这个网格的控制点分别移动至预期的位置，使观众看到的网格和原始网 格保持一致。此时，网格在投影幕上已经覆盖了一定的区域。之后，控制计算机由 校正模式切换至显示模式。这时，投影设备投射原始图像并在投影幕上形成了一个 投影图像，它恰好完全与网格所确定的区域相重叠。这样，观众看到的观察者图像 就和预期的图像是一致的了，也就消除了几何畸变。以往常见的移动网格控制点的 方案有两种人工校正和基于计算机视觉的自动校正。在人工校正的方案中，经过 训练的专家级人员通过手动的方式来移动网格的控制点。这个方案成本低廉且施工 简易，但是整个过程会消耗大量的人力和时间，后期维护的成本很高。特别在投影 设备或者投影幕经常发生相对移动的情况下，比如办公会议环境，频繁的费时的人 工几何校正大大限制了多通道投影系统的应用。在基于计算机视觉的自动校正方案
6中， 一台或多台数码摄像设备会代替观众观察投影幕上的网格的控制点，通过它们 确定从原始图像到观察者图像的像素点的映射关系，从而达到摄像机标定的目的。 再以控制点在投影坐标系中的坐标为样本，根据回归计算得到从观察者图像到原始 图像的单应性矩阵。这样，将投影图像的像素点坐标乘以单应性矩阵即可知道它在 原始图像中的对应像素点的坐标，并据此控制计算机对原始图像进行几何预变换。 虽然这样的自动校正理论上可以达到亚像素级的精度，但是因为各种客观原因，如 光源的移动、光强的变化、投影幕反光能力的强弱和摄像镜头的光学畸变等，最终 得到的网格控制点的实际位置和理想位置会有或大或小的出入，致使实际几何校正 结果达不到理论上的精确度。 .
还有一种技术方案是基于光传感器的自动几何校正(例如，参见文献h美国 专利号7001023)，它首先在投影幕上的预定位置安装一系列的光传感器，用他们来 标定网格控制点的投影在投影幕上预期的位置。然后，投影设备向投影幕投射一个 二进制式的光模式序列，光传感器将其对序列中每个光模式的反馈信号传输至控制 计算机，由控制计算机基于这些信号的历史记录计算出光传感器在投影坐标系中的 平面坐标，进而构造参数矩阵。在对这个参数矩阵的奇异值分解过程中得到从投影 图像到原始图像的单应性矩阵，再根据它对原始图像进行几何预变换。接下来的几 何校IH歩骤就与前述的人工和基于计算机视觉的两种方案相同了。因为这种方案中 投射的光模式是二进制式的光模式，因此控制计算机需要将光传感器反馈的模拟信 号转换为0和1的数字信号。这个过程中是通过预设阈值常数的方法来对原始光照 信号进行处理的。然而，光传感器对光照的电气响应强弱很容易受到环境光照的影 响，如自然光和室内照明等。预先设定的阈值常数量往往会导致光传感器的坐标解 码失败，进而导致几何校正的失败。其次，单应性矩阵的计算依赖于对参数矩阵的 奇异值分解。然而，单应性矩阵仅适用于纯平面的投影幕，如办公室的垂直墙面等。 当投影幕为非平面时，例如大型的柱面、球面和椭球面等，由于基于单应性矩阵的 映射计算过程属于非线性运算，它会导致投影图像在由多个相邻的由光传感器所确 定的网格的边缘处发生错位现象，即投影图像并非在每个方向上处处都是连续的， 观众看到的观察者图像也是错位的。解决这个问题的办法就是在投影幕上安装大量 的密集的光传感器，使错位的程度尽可能的降低。这样投影设备的生产成本和现场 施工的难度都会大大提升，特别是从光传感器到控制计算机的电线的布线将变得异 常复杂。
因此， 一种适用于任意曲面的完全自动的自适应环境的几何校正技术需要被开 发出来。
发明内容
本发明的目的是提供一种成本低廉，可使用各种光传感器，适应性能好，校正 精度高的基于光传感器的投影自动几何校正方法。 本发明是这样实现的
本发明基于光传感器的投影自动几何校正方法，控制计算机101生成一个与原 始图像等大并且网格线交叉点在垂直和水平方向上均等间距的矩形网格，该矩形网 格以左上角为原点，水平向右为横轴正向，垂直向下为纵轴正向，建立投影设备102
的投影坐标系，矩形网格宽度为^，高为/f,，投影设备102与控制计算机101相 连接，
在投影幕106上安装iV个光传感器构成阵列，阵列的宽度为『,，高度为//,， 其中W = x ，光传感器位于投影幕106表面上的每个单元平面的顶点和单元平 面内曲度发生突变的位置，如单元曲面的波峰，波谷或者独立尖角处，每个光传感 器的输出端由导线连接至数据采集设备107的输入端，数据采集设备向控制计算机 '101输出光传感器的信号，具体几何校正方法如下
(1) 控制计算机101切换进入几何校正模式，生成光模式序列100，投影设备 将光模式序列中的每一个光模式依次投射到投影幕106，
(2) 数据采集设备107收集每个光传感器对每个光模式的响应信号数值 S,，(f = 1,2,...,#)并反馈到控制计算机101，控制计算机101将响应信号数值S,映射为 二进制数字《e {0,1},(/ = 1,2，…,iV),
(3) 控制计算机101根据每个光传感器对应的二进制数值i ,的历史记录，计 算出每个光传感器在投影设备的投影坐标系中的平面坐标(1,，10,(/ = 1,2，...,7\0,
(4) 控制计算机101切换入投影模式，对需要投影的原始图像112进行几何预
变换，
(5) 投影设备102将进行了几何预变换所得图像投射到投影幕106上就得到了 正确的观察者图像。
歩骤(1)中所述的光模式序列100包括第一光模式序列500、第二光模式序列 501和第三光模式序列502，第一光模式序列500由满光照的光模式503和无光照 的光模式504各一个组成，第二光模式序列501由黑白相间的竖条组成的光模式构 成，第三光模式序列502由黑白相间的模条组成的光模式构成，第二光模式序列501 由vV,个光模式组成，AV=「log2W],第三光模式序列502由A^个光模式组成， /^-「log2//,〕，第二光模式序列501的第7'个光模式的黑白垂直竖条的宽度均为
8，0 = l,2，...,iVF)，第三光模式序列502的第A个光模式的水平横条的高度
步骤(2)中，光传感器对第一光模式序列500的满光照光模式503的信号数值 为^，(/ = 1,2,...,)，无光照光模式S04的信号数值为￡>,，(/ = 1,2,...,^)，控制计算机 (101)将从数据采集设备(107)得到的光传感器的信号数值S, e[A，￡,]^' = l,2,...,A0
映射为二进制数字《e{0,l},(/ = l,2，...,AO，映射计算公式如下-
尺=
i,当s, >7;
其中，光照阈值r, =(1 —C/)xB, +[/><￡>,，中间值"=力-户2，(0.5<尸<1,/ = 1，2,...,^)°
第/个光传感器的平面坐标(义,,"),(/ = 1,2,...,^;)的确定方法如下 U)区间绑定投影设备在开始投射第二、三光模式序列前，将第/个光传感
器的模坐标x,和纵坐标k分别绑定上 一 个闭区间，它们分别为 l丑,o = O,Z", o = 2~ j禾Q & o = O,RZ, o = 2~丄(/ = 1,2,.,., JV)，
(2)迭代解码在投射第二光模式序列(501)的过程中，每投射一个光模式， 控制计算机(101)按照如下的规则，分别更新第/个光传感器的横坐标绑定的区间
1
其中临时变量a = '一 1 + Z",，H W = 1，2,.." W J = 1,2,.
在投射第三光模序列(502)的过程中，每投射一个光模式，
按照如下规则，分别更新第/个光传感器的纵坐标绑定的区间
其中临时变量込—l + ^/,,H)l("l,2,…,A^/ = l，2,.,
"^v)，
控制计算机(101)
a)，
(3)坐标赋值在所有光模式都投射完毕后，第Z个光传感器的横坐标X,和纵
坐标"如下:
9- 力-1,2，…,a0。
进行几何预变换之前，控制计算机101在光投影设备的投影坐标系中，按照插 值算法添加了多个虚拟光传感器，与原矩形网格线交叉点匹配成对。增加虚拟光传
感器的方法如下
尺寸为H,x『,的二维矩阵M,，组成二维矩阵的元素为从上到下，从左到右的 第/个元素为一个向量(Z,A),G、1，2,...,^)，虚拟光传感器的添加是基于二维矩阵 M,，沿投影设备(102)的投影坐标系的横轴和纵轴两个方向先后进行，首先沿二 维矩阵i^的行方向，从上到下依次选取第= 1，2,...,//J行的所有元素得行向量 ^，以该行向量^的元素为曲线拟合样本，按照插值算法添加若干个插值点，并与 行向量F,.的所有元素进行合并形成新的行向量7V^.，把得到的/^个新的行向量按照 先后顺序在垂直方向上进行叠加，得尺寸为//2><^2的二维矩阵〃2，其中7^2=/^， ^为在水平方向上插值点的个数，^的数值由人为设定且大于^;，沿二维矩阵^2 的列方向，从左到右依次选取第^(/ = 1，2,...,『2)列的所有元素，得一个由二维点坐
标构成的列向量K，以p;的元素为曲线拟合样本，按照插值算法添加若干个插值点，
并且和原列向量^的所有元素进行合并形成新的列向量a^^，把得到的^,个新的列 向量按照先后顺序在水平方向上进行叠加，得到尺寸为//3><^3的二维矩阵^3，其 中『3=^2， //3为在垂直方向上插值点的个数，//3的数值由人为设定且大于/^， 二维矩阵似3即为添加虚拟光传感器以后的光传感器坐标矩阵。 几何预变换的方法如下
(1) 控制计算机初始化经二维矩阵7/3映射所得的图像的所有像素点均为暗黑
色，
(2) 取矩阵A^中每个构成矩阵的顺时针方向的四个元素^、 _S、 C和D在原 矩形网格线交叉点的颜色数值为C,、 C2、 q和C4，.
(3) 几何预变换后的结果图像中的J、 3、 C和"四个矩阵元素以及通过它们
的四条插值曲线确定了一个封闭的小网格，
(4) 过封闭小网格中任意一点Z的水平直线交JZ)边界于/Z,交SC边界于F， 过Z的垂直直线交^B边界于E,交DC边界于G，
(5) 封闭小网格的面积为&,小网格被过Z点的水平和垂直直线划成的四个顺 时针方向的封闭区域，他们的面积分别为S, ， &， &和&，
(6) 根据以下公式，得到几何预变换的结果图像上Z点的颜色数值Cz
10(7)循环式地按照2-6步骤计算矩阵^3的另外四个元素确定的封闭小网格中 的所有点的颜色值。
当所有封闭小网格的任意点的颜色值都计算出来，几何预变换后的图像也就生 成完毕。 .
首先，控制计算机生成一个光模式序列，并通过投影设备向投影幕依次投射该 序列中的每个光模式。在投射每个光模式的过程中，安装在投影幕中的光传感器分 别采集其受光照强度，并传输此模拟信号至数据采集设备。同时，控制计算机通过 数据采集设备的硬件驱动接口，读取每个光传感器在每个光模式下受光照强度的数 字信号。然后，在整个光模式序列都投射完毕以后，控制计算机根据采集到的光传 感器的信号历史，计算出它们在投影坐标系中的平面坐标，并将其作为几何校正网 格在投影幕上的控制点的预期坐标。据此将投影幕划分成若干个彼此相互邻接的网 格，再根据插值算法增加虚拟的光传感器，得到进一步细化的小网格。最后，根据 从原始图像到投影图像的网格控制点的对应关系，控制计算机对原始图像进行几何 预变换，并将结果图像的对应部分分别投射到目标投影幕上每个小网格所覆盖的区 域，以此达到几何校正的目的。整个过程完全由计算机控制自动完成，速度快，安 装和维护成本低，可以在任意曲面和姿态的投影幕上达到亚像素级的校[H精度。
本发明有如下优点
1. 向投影幕依次投射一个全光照的亮白色和一个无光照的暗黑色的光模式，通 过光传感器对这两个光模式的电气响应，投影系统自动为每个光传感器单独自动设 定光照阈值。这样，不同厂商的光传感器也可以混用在同一个投影幕上，仅要求每 个光传感器的输出信号都有固定的量程。
2. —次几何校lH需要的时间很短，通常情况下仅为数秒。由于光传感器对光照 的响应时间很短为毫秒级，几乎可以忽略，所以几何校正的时间复杂度与光传感器
的安装数量无关，仅为原始图像尺寸的O(A0级。
3. 在确定了光传感器在投影坐标系中的坐标以后，按照插值算法添加多个虚拟 的光传感器。这样，即使投影幕上仅安装相对少量的光传感器，投影系统也可以自 适应复杂的曲面，同时也可以避免了在投影网格间出现的图像错位的现象。
图1为本发明的硬件结构图。 图2为光传感器结构图。图3为投影幕与传感器的安装结构图。 图4为本发明的流程图。 图5为光模式序列示意图。 图6几何预变换后的封闭小网格示意图。
具体实施例方式
硬件部分 ' 如图l所示，整套投影系统的硬件部分由六大元素组成控制计算机101、投
影设备102、目标投影幕}06、光扩散薄膜108、光传感器如103、 104和105等、 以及信号采集盒107。在几何校正过程中，他们按照顺时针方向依次发挥作用，组 成了一个完整的闭环控制系统。此时控制计算机101处于几何校正模式，它向投影 设备102输出的是光模式序列100。'在几何校正结束以后，控制计算机切换至投影 模式，此时它对输入的原始图像112进行几何预变换，并将结果图像输出至投影设 备102。
投影设备102和投影幕106均处于任意姿态，且投影设备102在投影幕106上 的投影图像的一部分109完全覆盖了四个相邻的光传感器，意即在以它们为顶点的 多边形IIO范围内不再有其他的光传感器。这里，术语姿态包括了位置和立体方向 两方面的含义。同样的道理，其他每四个相邻的光传感器也被投影图像的其他部分 完全覆盖，所以投影幕106上所有的传感器都被投影图像所覆盖。注意，投影设备 102可以代表一个或者多个投影源，但是每四个相邻的光传感器仅对应一个投影源 的投影图像的一部分。
观众111和投影设备102在相对于投影幕106的同一边(下文中简称为正面)。 这样，图像经过投影幕106的反射后就可以被观众111观看到。由于投影设备102 和投影幕106的姿态可以是任意的，因此投影图像109就不会恰好覆盖期望的投影 区域110。所以，就需要由控制计算机101对输入的原始图像IOO进行几何预变换。 经过了几何预变换的图像再经过投影设备106的投影后，就能恰好的覆盖住期望的 投影区域IIO。
如果期望的投影区域是整个投影幕106的话，就需要在投影幕106上安装更多 的光传感器，例如103、 104和105。所有光传感器在投影幕106上的安装位置都是 已知的且不依赖于原始图像100，它们的具体位置根据投影幕106的实际情况而定 如果投影幕106是一个纯平面，光传感器可以安装在该平面的每个顶点处。如果投 影幕106可以通过二次、三次和更高次的数学公式来描述，甚至不能用简单的数学 公式来描述的时候，光传感器可以安装在投影幕106曲度发生突变等有代表性的位
12置，如曲面的波峰、波谷或者尖角等处。
如图2所示，光传感器由两部分组成光导纤维203和感光器件204。 一根光 导纤维203恰好完全被放置于穿孔202中，且占满其内部所有的空间，将光线从穿 孔202的正面(图示的左方)传导至背面。感光器件204紧贴在穿孔202背面的出 口处，受光面受到光导纤维传导来的光线的正投照射，并以所受电压的模拟信号的 形式，通过其正负极引脚200和201对外输出穿孔202正面所受的光照强度。
如图3所示，光传感器，例如104，安装在投影幕106上的穿孔202中。 一个 光传感器对应一个穿孔。这里需要注意的是，穿孔202呈圆柱形，且圆口直径应当 尽可能小，通常在l毫米以下。这样，穿孔一方面在投影幕106的正面上很难被远 处的观众111发现，另一方面它在投影设备102的投影坐标系中可以被看作是一个 亚像素点，也就可以使光传感器的坐标数值达到亚像素级的精度。
在图1和图2中，覆盖在投影幕106的正表面的一层透光薄膜108起到了光扩 散的作用，它将投影幕106正面接受到的光线折射入藏于穿孔中的光导纤维之中。 这样做有两个方面的好处第一，它可以隐藏投影幕106上用于安装光传感器的穿 孔，使观众看到的投影幕是一整块平滑的曲面。第二，它还可以将小角度(小于1 度)入射的光线也反射入穿孔中，这样即使在投影设备102与投影幕106正面的所 成角度很小的极端情况下，光传感器也能正常的工作。
如图1所示，每个感光器件的引脚200和201由导线304连接至数据采集设备 107的输入端305，每一个输入端对应一个光传感器。数据采集设备107不断刷新 每个光传感器当前输出的模拟信号。当控制计算机101需要从数据采集设备107读 取某个光传感器的光照信号时，数据采集设备107会将该光传感器的模拟信号输出 给控制计算机101。这样，控制计算机101就可以读取任意光传感器在任意时刻的 受光状态。在这里，数据采集设备107可以是一个或多个各自独立的设备，如插在 控制计算机101扩展槽中的PCI卡；也可以由多个设备通过某种方式组合而成的设 备，如级联的外置式的数据采集盒。
软件部分
如图4所示，几何校正需要知道光传感器在投影设备102的投影坐标系中的平 面坐标，整个过程可以分解为六个大的步骤。首先，控制计算机101进入几何校正 模式，并生成一个光模式序列100。然后，投影设备102将该序列中的每一个光模 式依次投射到投影幕106。其次，数据采集设备107收集每个光传感器对每个光模 式的响应信号，并反馈至控制计算机101。在整个光模式序列都投射完毕以后，控 制计算机101根据数据采集设备107反馈的信号历史，计算出每个光传感器在投影设备102的投影坐标系中的平面坐标，并将它作为网格控制点的预期坐标。以这些 坐标作为数据样本，控制计算机101按照三次样条插值算法添加多个虚拟的光传感
器，从而进一步细化网格，并将细化后的小网格的控制点与原始图像ioo中对应的
网格控制点进行匹配成对，完成从原始图像到投影图像的映射。最后，控制计算机 101进入投影模式，对每一个需要投影的原始图像112，按照二次线性插值算法进 行处理，之后就得到经过了预变换的图像。此时，投影设备102再把这个图像投射 到投影幕106上就得到了预期正确的投影图像。下文将对每个步骤分别进行叙述。 为了方便叙述，令光传感器的数量为iV，每个光传感器的信号数值在当前光模式下 为5,,(/ = 1，2，...，^)，每个光传感器对应的光照阈值为7;,(/ = 1，2,...，^)，原始图像112 的像素宽度均为K ，像素高度均为//,，投影幕上安装的光传感器的点数宽度为『s ， 点数高度为/^。
光模式的投射400
如图5所示，每一个光模式实际上是一张由控制计算机生成的二进制式的平面 图像，其中像素点的颜色要么是满光照的亮白色，要么是无光照的暗黑色。所有的 光模式按照从左至右、从上到下的顺序依次投射。每个光模式在被投射时，都需要 计算机101控制投影设备102维持当前的投影不变且达到足够的时长。这样可以保 证投影幕106表面上的任意一点都受到足够时长的光照，光传感器的光强信号采样 区间也不处于感光器件204的输出信号的上升沿和下降沿。因此，这个时长是一个 人工设定的常数，并且其数值至少要大于感光器件204的电气响应时延的2倍。整 个光模式序列分为三个子序列500、 501和502。
子序列500由两种光模式组成，即满光照的光模式503和无光照的光模式504 各一个。控制计算机101首先生成一个所有的像素点均为亮白色的光模式504，然 后通过投影设备102以满功率的灯光将整个投影区域全部照亮。这个过程中，控制 计算机101通过数据采集设备107读取每个光传感器的信号数值A力、1,2,...，^)。
在此之后，类似的原理，控制计算机再生成一个所有像素点均为暗黑色的光模式 503，然后通过投影设备102以接近于零功率的灯光照射整个投影区域。这个过程 中，控制计算机101再次通过数据采集设备107读取每个光传感器的信号数值 D,，(/ = 1,2，...，A0。这两个光模式投射完毕以后，就可以得到每一个光传感器输出信 号的数值区间[马，5,1(/ = ],2,...,^;)。从本质上讲，光模式504和503被用于测定每 个感光器件204对光照的电气响应特性。因为每一个感光器件即使是同一厂家同一 批次生产的，它在受光照时输出信号的数值范围也可能是不同的，所以必须要分别 进行测定。这样，出自不同厂商的不同类别的不同型号的感光器件可以混用在同一个投影幕上，比如光敏电阻和光敏二极管就可以混用在一起。 一方面光传感器的生 产成本可以降低，另一方面感光器件一旦出现了损坏，就可以灵活的使用现有器件 来进行更换。同时，环境光照和投影光线相对于每个光传感器的入射角度也被隐式 地编码到了这个输出信号的数值区间之中。与无环境光照影响的情况相比，当环境 关照的强度较大或者投影光线入射角度较小时，A和A会同步增加同样的数量，反 之亦然。然而，D,和A的差值仅与该感光器件的量程有关，与环境光照和投影光线 的入射角度无关。因此，几何校正的计算仅使用了这个差值作为参数，这样就可以 使投影系统自适应环境关照和投影光线的入射角度。
子序列501和502被用于确定每个光传感器在投影设备102的投影坐标系中的 平面坐标(义,,〗;)^ = 1,2,...,7^。两个子序列相同之处在于它们均由黑白相间的长条 组成的光模式构成，不同之处在于子序列501仅包含垂直竖条，而子序列502仅包 含水平横条，他们按照图5所示的从左至右、从上到下的顺序依次被投影设备102 进行投射。子序列501由7^=「10&(^)1个仅包含垂直竖条的光模式组成，其中第
2/
而较
力(l^j^AV)个光模式中较窄的垂直竖条的宽度匕的计算公式为^ =
宽的垂直竖条的宽度为两倍的^。同样的道理，子序列502由& =「1叩2(//,)"|个仅 包含水平横条的光模式组成，其中第^ A ^ A^)个光模式中较窄的垂直竖条的高
度/^的计算公式为i^
2fc
而较高的水平横条的宽度为两倍的/^。
光强读取401
控制计算机101从数据采集设备107得到的光传感器的信号数值 & 6[^^^/ = 1,2,...,7\0。为了使控制计算机101读取的数字信号与感光器件的类别 和型号无关，光传感器的输出信号数值需要被映射为二进制的数字 e{0,l}，(l^、AO。数字O代表光传感器在当前光模式下未受到光线的照射。相应
的，数字1代表光传感器在当前光模式下受到了光线的照射。映射的计算公式如下
o,当s,
尺
其中7;为光照阈值，"为一个中间变
-,
P为一个人为预设的常量，("1,2,.， 根据现有经验它的数值通常定为0.7可以达到比较好的投影效果。在这里，这个映 A式有一个前提条件，它假设在整个光模式的投射过程中，除投影设备102以外的光源的位置和发光强度都是稳定不变的，例如自然光和室内照明等。这个假设是 合理且有意义的，因为在通常情况下，整个光模式序列的投射过程仅需要不足5秒 的时间，所以除投射设备102以外的光源的位置和发光强度是不会发生明显变化的， 并且不足以对光传感器的正常受光产生影响。 光传感器的坐标解码402
光传感器的坐标解码分为三步来完成二元数组绑定、迭代解码和坐标赋值。
1. 二元数组绑定在开始投射子序列501和502之前，为第/个光传感器的横
坐标和纵坐标分别绑定上一个二元数组，它们被表示为(xz,，。,^/,。)和(r丄,。，rt/,.,。)，
其中丑,o = IT, 0 = 0 ， X", o = 2W'. ， o = 2W" = 1，2，…，iV)。
2. 迭代解码在投射子序列501的过程中，每投射一个光模式时，控制计算 机101按照如下的规则，分别更新第/个光传感器的横坐标对应的二元数组
同样的道理，在投射子序列502的过程中，每投射一个光模式，控制计算机101 按照如下的规则，分别更新每个光传感器的纵坐标对应的二元数组
3. 坐标赋值在所有的光模式都投射完毕以后，令第/个光传感器的平面坐标 分别为(U)，则他们的具体数值就可以按照以下的规则得到-
义,4(Z",.
因此，解码完毕以后，第/个光传感器都对应一个平面坐标(1,，>0力=1,2,,.,^)。 这样，就可以建立一个/^xf^的二维矩阵M,，它的从上到下从左到右数的第〖个
元素为一个向量(I,A)。 增加虚拟光传感器403
在上一歩的操作402中，所有光传感器在投影坐标系中的平面坐标已经解码， 并且得到了对应的二维矩阵M,，这似乎已经足够建立从原始图像到投影图像的像素 点的映射。然而在实践中，光传感器的安装数量往往是有限的，即安装在投影幕上 的少量的光传感器所定义的网格不足以描述复杂的曲面投影幕。在这种情况下，通 过在投影幕上增加一定量的虚拟的光传感器，从而达到细化现有网格的目的，这是 一种非常有效和廉价的解决方案。
16虚拟光传感器的添加是基于二维矩阵M,沿投影坐标系的横轴和纵轴两个方向 先后进行的。首先，沿二维矩阵M,的行方向，从上到下依次选取第,(1^7^/^)整 行的所有元素，即可得到一个由二维点坐标构成的行向量^。以该行向量的元素为
曲线拟合样本，按照样条插值算法添加若干个插值点，并且将得到的插值点和原行 向量F,的所有元素进行合并形成新的行向量iV^。然后，把得到的这/^个新的行
向量按照先后顺序在垂直方向上进行叠加，就可以得到一个尺寸为//2><『2二维矩 阵，其中7/2=//5， ^为在水平方向上插值点的个数，『2的数值由人为设定且大于K。
之后，再沿二维矩阵M2的列方向，从左到右依次选取第^(1^7、『2)整列的所 有元素，即可得到一个由二维点坐标构成的列向量^。同样，以列向量^的元素为 曲线拟合样本，按照样条插值算法添加若干个插值点，并且和原列向量^的所有元 素进行合并形成新的列向量AV,。然后，把得到的这^的列向量按照先后顺序在水 平方向上进行叠加，就可以得到一个尺寸为/^x^二维矩阵Mr其中『3=『2， //3 为在垂直方向上插值点的个数，//3的数值由人为设定且大于/^.。
二维矩阵^3即为添加虚拟光传感器以后的光传感器坐标阵。换句话说，由这 些真实和虚拟的光传感器所确定的网格比仅由真实的光传感器所确定的网格更加 细化，同时也并未丧失原网格应有的精度。在这个插值的过程中，插值点的数量越 多，光传感器的分布就越密集，因而由光传感器定义的网格就能更好的描述复杂的 投影幕曲面。不过这样做的代价是样条插值的时耗会增长，而且控制计算机在切换 到投影模式后，每一张原始图像的几何预变换的时耗也会相应增长，这样就可能影 响到投影显示系统的实时性，特别是当投影图像是超高分辨率的视频的时候。因此， 插值点的数量不宜太多。另一方面，虽然样条插值属于非线性插值，但是由于他的 曲线样本点是分布在整个投影幕表面上的，因此他不会在小网格边缘出现图像错位 的现象。
预变换原始图像404
在得到了精细化后的光传感器坐标阵后，几何校正的大部分工作就已经完成 了，因为已经确定了从原始图像到投影图像的像素点的对应关系。接下来，控制计 算机101就由几何校正模式切换至显示模式。这时，控制计算机101根据像素点的 对应关系，对每个输入的原始图像112进行几何预变换，同时将结果图像输出至投 影设备102。
首先，控制计算机初始化预变换后的图像(下文简称为变换后图像)的所有像
素点均为暗黑色。然后，针对矩阵7\^中每四个在水平和垂直方向上相邻的元素进行运算。为了叙述方便，令当前正在处理的四个矩阵元素按照矩阵平面的顺时针方 向分别为j、 S、 C和D。他们在原始图像100中对应的网格控制点处的色彩分别 为C,、 C2、 C〖和C;。从原始图像112到变换后图像的像素点映射关系，按照如下
所述的双线性插值算法来确定，如图6所示
1. 变换后图像上的^、万、C和D四点以及通过他们的四条样条插值曲线确定
了一个封闭的小网格，这里的插值曲线可能是直线也可以是高次曲线。
2. 扫描这个网格内的所有像素点，令Z点为这个小网格内的任意一点。 一条过 Z的水平直线交^D边界于/f，同时交SC边界于F。一条过Z点的垂直直线交^S边 界于f，同时交Z)C边界于G。
3. 令由爿、S、 C和Z)四点确定的小网格的面积为S。，由^、 A、 Z和Z/四 点确定的封闭区域的面积为S,，由￡、万、F和Z四点确定的封闭区域的面积为&， 由Z、尸、C和G四点确定的封闭区域的面积为&，由//、 Z、 G和Z)四点确定的 封闭区域的面积为&，其中51。
4. 根据以下公式，可以得到变换后图像上点Z的色彩值C^
控制计算机在处理完一个小网格后，则循环式地按照上述算法处理由另外四个 由光传感器点，以及经过他们的样条插值曲线，共同决定的小网格。当所有的小网 格都处理完毕以后，变换后图像也就生成完毕了。
投射经过几何预变换后的图像405
在这一歩中，投影设备102将预变换后的图像直接投射到投影幕106上即可。 不过，这种方法仅适用于静态的图像，如办公会议的幻灯片和外景相片的演示等等， 并不适用于高质量视频的播放。为了满足视频播放的即时性，可以将部分数值计算 (如双线性插值)转移到控制计算机IOI的显示卡中进行，由其内部的硬件单元直 接来完成计算。最终，变换后的图像经过投影幕106的反射以后，观众lll观看到 的图像就与原始图像100完全一致。
权利要求
1、基于光传感器的投影自动几何校正方法，控制计算机(101)生成一个与原始图像等大并且网格线交叉点在垂直和水平方向上均等间距的矩形网格，该矩形网格以左上角为原点，水平向右为横轴正向，垂直向下为纵轴正向，建立投影设备(102)的投影坐标系，矩形网格宽度为WI，高为HI，投影设备(102)与控制计算机(101)相连接，在投影幕(106)上安装N个光传感器构成阵列，阵列的宽度为WS，高度为HS，其中N＝WS×HS，光传感器位于投影幕(106)表面上的每个单元平面的顶点和单元平面内曲度发生突变的位置，如单元曲面的波峰，波谷或者独立尖角处，每个光传感器的输出端由导线连接至数据采集设备(107)的输入端，数据采集设备向控制计算机(101)输出光传感器的信号，具体几何校正方法如下(1)控制计算机(101)切换进入几何校正模式，生成光模式序列(100)，投影设备将光模式序列中的每一个光模式依次投射到投影幕(106)，(2)数据采集设备(107)收集每个光传感器对每个光模式的响应信号数值Si，(i＝1，2，...，N)并反馈到控制计算机(101)，控制计算机(101)将响应信号数值Si映射为二进制数字Ri∈{0，1}，(i＝1，2，...，N)，(3)控制计算机(101)根据每个光传感器对应的二进制数值Ri的历史记录，计算出每个光传感器在投影设备的投影坐标系中的平面坐标(Xi，Yi)，(i＝1，2，...，N)，(4)控制计算机(101)切换入投影模式，对需要投影的原始图像(112)进行几何预变换，(5)投影设备(102)将进行了几何预变换所得图像投射到投影幕(106)上就得到了正确的观察者图像。
2、 根据权利要求l所述的方法，其特征在于在歩骤(1)中所述的光模式序列 (100)包括第一光模式序列(500)、第二光模式序列(501)和第三光模式序列(502)，第一光模式序列(500)由满光照的光模式(503)和无光照的光模式(504)各一 个组成，第二光模式序列(501)由黑白相间的竖条组成的光模式构成，第三光模 式序列(502)由黑白相间的模条组成的光模式构成，第二光模式序列(501)由A^ 个光模式组成，& =「1(^2^1，第三光模式序列(502)由A^个光模式组成， A^=「log2//」，第二光模式序列(501)的第y个光模式的黑白垂直竖条的宽度均为F,2/G' = 1，2,...,A^)，第三光模式序列(502)的第A个光模式的水平横条的2A;麵l，2,…,7Vw)。
3、根据权利要求l所述的方法，其特征在于步骤(2)中，光传感器对第一光模式序列(500)的满光照光模式(503)的信号数值为^,(/ = 1,2，...，^)，无光照光模式(504)的信号数值为Z),力-1,2,…,W)，控制计算机(101)将从数据采集设备(107)得到的光传感器的信号数值^^[￡),，5,1(/ = 1,2,...,]\0映射为二进制数字i , e{0,l}，G = l，2,...，AO，映射计算公式如下[1,当《> 7;尺其中，光照阈值z; =(i—")xs, +t/xz),，中间值"=71^71，(0.5<尸<1,/ = 1,2,...，^)。
4、根据权利要求1所述的方法，其特征在于第z'个光传感器的平面坐标(Z,,y)，G = 1,2,...,A0的确定方法如下(1) 区间绑定投影设备在开始投射第二、三光模式序列前，将第/个光传感器的模坐标z,和纵坐标i;分别绑定上 一 个闭区间，它们分别为1丑,0 = 0,Zf/, o = 2W' j和[ra,0 = O,m, o = 2W"丄(/ = ID)，(2) 迭代解码在投射第二光模式序列(501)的过程中，每投射一个光模式，控制计算机(101)按照如下的规则，分别更新第/个光传感器的横坐标绑定的区间prf/,,《当R,, =1其中临时变量込='-"^,—= = 1,2"在投射第三光模序列(502)的过程中，每投射一个光模式，按照如下规则，分别更新第/个光传感器的纵坐标绑定的区间其中临时变量込=》,,H —l + ^,一U"1,2,…^、1,2，...控制计算机(101),从(3)坐标赋值在所有光模式都投射完毕后，第Z'个光传感器的横坐标I,和纵坐标i:如下
5、 根据权利要求1所述的方法，其特征在于进行几何预变换之前，控制计算机(101)在光投影设备的投影坐标系中，按照插值算法添加了多个虚拟光传感器，与原矩形网格线交叉点匹配成对。增加虚拟光传感器的方法如下尺寸为/Z,x『,的二维矩阵M,，组成二维矩阵的元素为从上到下，从左到右的第/个元素为一个向量(x,，;^,G、i，2，…，A0，虚拟光传感器的添加是基于二维矩阵M,，沿投影设备(102)的投影坐标系的横轴和纵轴两个方向先后进行，首先沿二维矩阵M,的行方向，从上到下依次选取第,(/ = 1,2,...，//。行的所有元素得行向量^，以该行向量^的元素为曲线拟合样本，按照插值算法添加若干个插值点，并与行向量^的所有元素进行合并形成新的行向量A^,，把得到的/^个新的行向量按照先后顺序在垂直方向上进行叠加，得尺寸为//2><『2的二维矩阵^2，其中//2=//5,『2为在水平方向上插值点的个数，^的数值由人为设定且大于W,，沿二维矩阵肘2的列方向，从左到右依次选取第^(/ = 1,2,...,『2)列的所有元素，得一个由二维点坐标构成的列向量^，以R的元素为曲线拟合样本，按照插值算法添加若干个插值点，并且和原列向量^的所有元素进行合并形成新的列向量ATr把得到的f^个新的列向量按照先后顺序在水平方向上进行叠加，得到尺寸为//3><%的二维矩阵似3，其中『3=『2， //3为在垂直方向上插值点的个数，//3的数值由人为设定且大于//,,，二维矩阵7^3即为添加虚拟光传感器以后的光传感器坐标矩阵。
6、 根据权利要求5所述的方法，其特征在于几何预变换的方法如下(1) 控制计算机初始化经二维矩阵M:、映射所得的图像的所有像素点均为暗黑色，(2) 取矩阵A^中每个构成矩阵的顺时针方向的四个元素^、 S、 C和Z)在原矩形网格线交叉点的颜色数值为C,、 C2、 C,和C,,(3) 几何预变换后的结果图像中的J、 S、 C和D四个矩阵元素以及通过它们的四条插值曲线确定了一个封闭的小网格，(4) 过封闭小网格中任意一点Z的水平直线交JD边界于//,交SC边界于F，过Z的垂直直线交A5边界于五，交Z C边界于G，(5) 封闭小网格的面积为S。，小网格被过Z点的水平和垂直直线划成的四个顺时针方向的封闭区域，他们的面积分别为S， &， &和&，(6) 根据以下公式，得到几何预变换的结果图像上Z点的颜色数值Cz<formula>formula see original document page 5</formula>(7)循环式地按照(2) - (6)步骤计算矩阵肘3的另外四个元素确定的封闭小网格中的所有点的颜色值，当所有封闭小网格的任意点的颜色值都计算出来，几何预变换后的图像也就生成完毕。
全文摘要
本发明为基于光传感器的投影自动几何校正方法，解决已有的校正方法成本高，精度低的问题。控制计算机生成一个光模式序列，并通过投影设备向投影幕依次投射该序列中的每个光模式。安装在投影幕中的光传感器分别采集其受光照强度，并传输此模拟信号至数据采集设备。同时，控制计算机读取每个光传感器在每个光模式下受光照强度的数字信号。控制计算机根据采集到的光传感器的信号历史，计算出它们在投影坐标系中的平面坐标，并将其作为几何校正网格在投影幕上的控制点的预期坐标。据此将投影幕划分成若干个彼此相互邻接的网格，根据从原始图像到投影图像的网格控制点的对应关系，控制计算机对原始图像进行几何预变换，并将结果图像的对应部分分别投射到目标投影幕上每个小网格所覆盖的区域，以此达到几何校正的目的。
文档编号H04N17/04GK101500172SQ20091005838
公开日2009年8月5日 申请日期2009年2月20日 优先权日2009年2月20日
发明者茂 叶, 飏 苏, 平 赵 申请人:四川华控图形科技有限公司