一种投影仪阵列拼接显示方法
【专利摘要】本发明公开了一种投影仪阵列拼接显示方法，包括了以下步骤：1）计算变换矩阵，通过摄像头采集标准黑白棋盘特征点坐标，计算投影图像坐标系到屏幕图像坐标系的变换矩阵，并计算出预校正矩阵。2）投影图像边缘融合，对相邻投影图像重合区域按照余弦函数进行采样，得到重合区域图像的融合系数，再将重合区域的像素RGB值乘以对应的融合系数得到相邻投影图像无缝拼接的效果。3）几何校正，使用预校正矩阵对边缘融合处理后的图像进行透视变换，最终的投影图像就是几何校正后的图像。4）多个投影图像拼接，按照1～3的方法，对投影仪阵列按照从上到下、从左到右的顺序分别拼接相邻的投影图像，最后得到整个投影仪阵列的拼接图像显示。
【专利说明】一种投影仪阵列拼接显示方法
【技术领域】
[0001]本发明涉及一种基于摄像头定标的投影仪阵列拼接显示方法，属于计算机图像、多媒体信息技术等领域。
【背景技术】
[0002]随着科学技术的高速发展以及信息量的急速膨胀，在影视动漫产业、数字与虚拟城市及社区、建筑设计和规划、汽车设计与制造、遥感和指挥以及大规模科学计算可视化等诸多领域，人们对显示技术的要求也越来越高。由于受到目前显示设备分辨率的限制，无法对超大尺寸、高分辨率的数据进行有效显示。其中主要的需求反映在:高分辨率、超大物理尺寸、沉浸感。投影仪阵列拼接显示系统是由多台投影仪和软件或者硬件图像控制单元构成的大屏幕显示系统。通过多台投影仪的拼接，可以提供高分辨率、高物理尺寸、高亮度的画面输出。考虑到成本和可行性等多方面因素，投影仪阵列拼接显示技术成为一个备受关注的研究热点。
[0003]传统的单台显示设备在分辨率和亮度上的有局限性，一个比较常用的解决方案是利用多台显示设备阵列进行大屏显示，提供高分辨率，但是该项技术具有明显的拼接缝隙，而且价格十分昂贵。另一个解决方案是采用投影仪阵列的拼接显示，由于投影仪可以随意排列，所以投影仪阵列拼接首先要对多台投影仪进行几何校正，而传统的方法是通过直接调整投影仪的位置来调整输出图像，这样既费时又费力，并且不能难解决拼接缝隙的缺陷。而使用软件自动调节的方法可以对投影仪阵列进行灵活的、无拼接缝隙的拼接显示。
【发明内容】
[0004]发明目的:本发明所要解决的技术问题是针对现有技术的不足，提供一种投影仪阵列拼接显示方法，从而实现投影仪阵列的无缝拼接显示。
[0005]技术方案:本发明公开了一种投影仪阵列拼接显示方法，其核心在于计算进行几何校正的预校正矩阵和边缘融合系数，包括以下步骤:
[0006]步骤1，计算变换矩阵:首先每个投影仪投影出标准黑白棋盘图像，使用摄像头采集屏幕图像，然后计算出屏幕坐标系到摄像头坐标系之间的变换矩阵T，然后计算出投影坐标系到摄像头坐标系之间的变换矩阵C，最后计算出投影坐标系到屏幕坐标系之间的变换矩阵P ；
[0007]步骤2，计算预变换矩阵:根据投影坐标系到屏幕坐标系之间的变换矩阵P，计算出逆矩阵P—1，然后根据设定的最终显示区域，计算出平移变换矩阵S，最后计算出进行几何校正的预变换矩阵W ；
[0008]步骤3，计算边缘融合系数:对相邻的投影图像的重合区域像素计算边缘融合系数，以余弦函数作为衰减函数，以像素到重合区域边缘的垂直距离为自变量，得到余弦函数因变量，然后进行Ga_a校正得到重合区域像素分别对应的边缘融合系数；
[0009]步骤4，图像分割与边缘融合:把将要显示的整幅图像根据每个投影仪的位置分割需要显示的投影图像，对相邻的投影图像的重合区域的像素RGB值乘以对应的边缘融合系数来调整亮度值；
[0010]步骤5，几何校正:对于要输出的投影图像，使用预变换矩阵W进行透视变换将投影图像调整到最终显示区域；
[0011]步骤6，多个投影图像拼接:按照步骤I~5，以从上到下、从左到右的顺序分别拼接相邻的投影图像，对相邻投影图像的重合区域进行边缘融合，最后得到整个投影仪阵列的拼接图像显示；
[0012]本发明中，步骤I包括以下步骤:
[0013]步骤1-1，使用投影仪投影出8X8的标准黑白棋盘，特征点为黑色方格和白色方格的相交处；
[0014]步骤1-2，使用步骤1-1中的标准黑白棋盘特征点坐标初始化屏幕坐标系下的49个特征点坐标，记为特征点集合? == 1,2,…,49}:
[0015]步骤1-3，使用 摄像头采集投影出的黑白棋盘图像，然后将图像进行反色操作，计算公式为:
[0016]Rdst=255-Rsrc
[0017]Gdst=255-Gsrc
[0018]Bdst=255-Bsrc
[0019]其中Rsrc，Gsrc, Bsrc为原始像素RGB值，
^dstj GdstJ Bdst 为反色后像素RGB值
[0020]步骤1-4，使用黑白棋盘特征点检测算法检测出摄像头采集的黑白棋盘图像的49
个特征点，记为特征点集合外=((Wi)U = 1,2,…,49};
[0021]步骤1-5，按照行优先，自左向右调整特征点集合兮I和特征点集合A的排列顺序；
[0022]步骤1-6，使用最小二乘法来计算屏幕坐标系特征点集合Φι到摄像头坐标系特征点集合沪2之间的变换矩阵T= [an, a12, a13，a21, a22, a23，a31，a32，I]线性方程组为:
【权利要求】
1.一种投影仪阵列拼接显示方法，其特征在于，包括以下步骤: 步骤1，计算变换矩阵:首先每个投影仪投影出标准黑白棋盘图像，使用摄像头采集屏幕图像，然后计算出屏幕坐标系到摄像头坐标系之间的变换矩阵T，然后计算出投影坐标系到摄像头坐标系之间的变换矩阵C，最后计算出投影坐标系到屏幕坐标系之间的变换矩阵P ； 步骤2，计算预变换矩阵:根据投影坐标系到屏幕坐标系之间的变换矩阵P，计算出逆矩阵P—1，然后根据设定的最终显示区域，计算出平移变换矩阵S，最后计算出进行几何校正的预变换矩阵W ； 步骤3，计算边缘融合系数:对相邻的投影图像的重合区域像素计算边缘融合系数，以余弦函数作为衰减函数，以像素到重合区域边缘的垂直距离为自变量，得到余弦函数因变量，然后进行Ga_a校正得到重合区域像素分别对应的边缘融合系数； 步骤4，图像分割与 边缘融合:把将要显示的整幅图像根据每个投影仪的位置分割需要显示的投影图像，对相邻的投影图像的重合区域的像素RGB值乘以对应的边缘融合系数来调整亮度值； 步骤5，几何校正:对于要输出的投影图像，使用预变换矩阵W进行透视变换将投影图像调整到最终显示区域； 步骤6，多个投影图像拼接:对于整个投影仪阵列，按照步骤I~5，以从上到下、从左到右的顺序分别拼接相邻的投影图像，对相邻投影图像的重合区域进行边缘融合，最后得到整个投影仪阵列的拼接图像显示。
2.如权利要求1所述的一种投影仪阵列拼接显示方法，其特征在于，步骤I包括以下步骤: 步骤1-1，使用投影仪投影出8X8的标准黑白棋盘，特征点为黑色方格和白色方格的相交处； 步骤1-2，使用步骤1-1中的标准黑白棋盘特征点坐标初始化屏幕坐标系下的49个特征点坐标，记为特征点集合叭== 1,249}; 步骤1-3，使用摄像头采集投影出的黑白棋盘图像，然后将图像进行反色操作，计算公式为:
RdSt=255-Rsrc,
Gdst_255-Gsrc,
Bdst=255-Bsrc, 其中RSM，Gsrc, Bsrc为原始像素RGB值，Rdst，Gdst，Bdst为反色后像素RGB值； 步骤1-4，使用黑白棋盘特征点检测算法检测出摄像头采集的黑白棋盘图像的49个特征点，记为特征点集合Φ2 = {(Λ?)|? = 1,2,...,49)； 步骤1-5，按照行优先，自左向右调整特征点集合外和特征点集合A的排列顺序； 步骤1-6，使用最小二乘法计算屏幕坐标系特征点集合A到摄像头坐标系特征点集合免2之间的变换矩阵T = [an, a12, a13, a21, a22, a23, a31, a32,1]线性方程组为:
3.如权利要求2所述的一种投影仪阵列拼接显示方法，其特征在于，步骤2包括以下步骤: 步骤2-1，根据第k个投影仪对应的投影坐标系到屏幕坐标系之间的变换矩阵Pk，计算出逆矩阵PiT1; 步骤2-2，为每个投影仪设定最终投影图像区域，以49个黑白棋盘特征点的形式设定，记为点集合Ψ4 = (Cu)U = 1,2,…,49}; 步骤2-3，使用最小二乘法计算第k个投影仪的屏幕坐标系特征点集合中I到屏幕坐标系下最终投影图像位置特征点料之间的变换矩阵Sk = [S11, S12, S13, S21, S22, S23, S31, S32,1]线性方程组为:
4.如权利要求3所述的一种投影仪阵列拼接显示方法，其特征在于，步骤3包括以下步骤: 步骤3-1，根据步骤2中设定的最终投影图像区域，计算相邻投影仪最终投影图像区域相重合的像素宽度，若为水平重合，记重合区域水平宽度为H，若为垂直重合，记重合区域垂直宽度为V; 步骤3-2，若为水平重合，计算重合区域每个像素X轴坐标到重合区域左垂直边界X轴坐标的距离Λ x,若为垂直重合，计算重合区域每个像素坐标I轴到重合区域上水平边界I轴坐标的距离Ay: 步骤3-3，归一化Λ X和Λ y,公式为:
Λ X' = Δ χ/Η, Ay' = Δ y/V, 步骤3-4，若为水平重合，左边投影仪的边缘融合系数记为Iu右边投影仪的边缘融合系数记为Ικ，若为垂直重合，上边投影仪的边缘融合系数记为Ιτ，下边投影仪的边缘融合系数记为ΙΒ，计算公式如下:
5.如权利要求4所述的一种投影仪阵列拼接显示方法，其特征在于，步骤4包括如下步骤: 步骤4-1，为每一个投影仪从整幅图像中分割出需要显示的图像，设此投影仪在投影仪阵列中为第η行、第m列，每一个投影仪的分辨率为w*h像素，相邻投影图像水平重合区域大小为Λ w个像素，垂直重合区域大小为Λ h个像素，计算得到该投影仪需要显示的图像在整幅图像中的矩形区域四个角的坐标如下:
pLeft-Top (X，y) = ((m-1).(w- Δ w), (η-1).(h- Λ h)),
PLeft-B<rtt?(x，y) = ((m_l).(w- Δ w), (n-1).(h- Δ h) +h),
PEight-Top (x，y) = ( (m-1).(w- Δ w)+w, (n-1).(h- Ah)),
PRight-Bottom (x.y) = ( (m-1).(w- Δ w) +w, (n-1).(h- Δ h) +h); 步骤4-2，使用每个投影仪计算得到的上下左右对应的边缘融合系数IT、IB、IL, Ie对需要显示的图像进行边缘融合，在重合区域的每个像素都要对应的边缘融合系数I，按照以下公式分别对像素的RGB值进行衰减:
Rdst=Int (Rsrc.I)，
Gdst=Int (Gsrc.I)，
Bdst=Int (Bsrc.I)， 其中RSM，Gsrc, Bsrc为原始像素RGB值，
^dstj Gdst ? Bdst 为边缘融合后像素RGB值,边缘融合后的图像将作为下一步几何校正的输入图像。
6.如权利要求5所述的一种投影仪阵列拼接显示方法，其特征在于，步骤5包括以下步骤: 步骤5-1，对于第k个投影仪将要输出的图像Gk，使用步骤2计算得到的预校正矩阵Wk进行透视变换，计算Wk的逆矩阵为Wk-\设在图像Gk中的一点在透视变换之后的坐标为(U，V),反推在图像Gk中的坐标(x，y),计算公式如下:
7.如权利要求6所述的一种投影仪阵列拼接显示方法，其特征在于，步骤6包括以下步骤: 步骤7-1，对于整个投影仪阵列，按照从上到下、从左到右的顺序分别进行步骤I至步骤5完成每一个投影仪的预校正矩阵计算、边缘融合系数计算、边缘融合、几何校正的操作，最终将所得到的图像通过投影仪输出，得到整个投影仪阵列的拼接图像显示。
【文档编号】H04N5/74GK103929604SQ201410085674
【公开日】2014年7月16日 申请日期:2014年3月10日 优先权日:2014年3月10日
【发明者】郭延文, 杨阳, 罗伟涛 申请人:南京大学