大屏幕融合投影方法
【专利摘要】本发明公开了一种大屏幕融合投影方法，其技术方案要点是采用三维建模方法构建展示厅缩小相应比例的三维模型并建立展示厅局部三维坐标系统，同时采用图像拼接方法将多台投影机的投影图像拼接为整体投影图像，并存储整体投影图像缩小相应比例的整体投影图像效果图，然后利用平行投影方法模拟得到整体投影图像效果图投影在平行屏幕上的效果模型，采集环形屏幕上的控制点以及控制点对应在效果模型上的同名点以及整体投影图像结果图上的像素点，基于控制点坐标值、同名点坐标值和像素坐标计算得到第三变换方程，最后对真实投影图像进行第三变换方程计算，使投影图像的每个像素投射在环形屏幕上的正确位置；这样即完成大屏幕投影图像的几何校正过程。
【专利说明】
大屏幕融合投影方法
技术领域
[0001]本发明涉及图像处理领域，特别涉及一种大屏幕融合投影方法。
【背景技术】
[0002]大屏幕融合投影方法是采用多台投影机无缝地在大尺寸环形屏幕上实时投射三维场景的显示系统，它比普通的标准投影系统具备更大的显示尺寸、更宽的视野、更多的显示内容、更高的显示分辨率，以及更具冲击力和沉浸感的视觉效果，被广泛应用在了科学、教育、国防、娱乐、能源、制造业及政府等领域。大屏幕融合投影方法中有3项关键技术，即几何校正、边缘融合技术和色彩一致性匹配技术。
[0003]几何校正所解决的是把投影机投射的呈矩形状的显示内容通过映射方程投影到环形屏幕的正确位置;边缘融合技术所解决的是多台投影机重叠投影区域的亮度突出问题;色彩一致性匹配所解决的是多台投影机色域不一致的问题。
[0004]大屏幕融合投影方法主要由屏幕、投影机、设计眼点和视锥组成，其中，设计眼点是大屏幕融合投影方法非常重要的组成部分，理论上讲现场只有从该点观察到的图像才是几何正确的，而视锥指的是一台投影机所对应的、自设计眼点出发的观察虚拟场景所使用的视见椎体，理论上讲，投影机的光心位于设计眼点，投影机光锥与视锥完全相同，则该单台投影机的投影图像不必进行几何校正，但是这在实际工程应用中是不可能实现的。
[0005]针对上述问题，计算机辅助设计与图形学学报的2013年09期公开发表的论文:一种实用的多通道视景仿真投影系统交互式几何校正技术，提出了一种现场交互式几何校正方法，即利用屏幕自身的深度信息对投影机进行定标，利用位于屏幕中心的激光经玮仪在单台投影机的投影图像覆盖的屏幕区域上标注控制点，利用其水平、方位角读数及屏幕几何半径等信息得出这些控制点在世界坐标系下的坐标，然后在单台投影机的投影图像上找到控制点所对应的位置并记录像素坐标，然后利用控制点的世界坐标系统和像素坐标系统精确计算出投影机的内、外参数，通过计算得到的内参数确定投影机的光锥，通过外参数确定投影机的位置及姿态，利用前述结果在虚拟场景中以投影机“观察“屏幕，得到目标图像，根据测试目标及目标图像，完成几何校正。
[0006]—种实用的多通道视景仿真投影系统交互式几何校正技术的所提出的方法本质上是建立控制点在世界坐标系统和像素坐标系统之间的映射关系，从而实现几何校正;该方法利用屏幕本身作为定标参照物以及采用密集控制点，使得几何校正的精度有了较大的提高，但是该方法构建的是世界坐标系统和单台投影机的投影
图像坐标系统之间的映射关系，要想获取较高的校正精度，控制点的世界坐标值需要保留较长的小数点位数，计算量较大，并且小数点位数的一位之差都会引起较大的计算误差，因此，还存在待改进之处。
【发明内容】
[0007]本发明的目的是提供一种大屏幕融合投影方法，采用软件完成投影图像的几何校正过程。
[0008]本发明的上述技术目的是通过以下技术方案得以实现的:
一种大屏幕融合投影方法，包括环形屏幕以及安装有环形屏幕的展示厅，
首先，采用三维建模方法构建所述展示厅缩小相应比例的三维模型；
第二，采用图像拼接方法把多台投影机的投影图像拼接为整体投影图像，并存储缩小相应比例后的整体投影图像结果图；
第三，基于所述展示厅的三维模型构建展示厅局部三维坐标系统；
第四，模拟整体投影图像结果图直接投射在平行屏幕上的效果模型；
第五，以展示厅局部三维模型的原点为观察点，在环形屏幕上提取出若干控制点以及若干所述控制点对应在效果模型上的同名点；
第六，借助软件测量工具分别获取控制点和同名点相对展示厅局部三维坐标系统的原点的距离，并进行存储；
第七，基于多组控制点和同名点组采用最小二乘法拟合得到效果模型与环形屏幕之间的第一变换方程；
第八，基于整体投影图像结果图构建出图像坐标系统，并存储同名点在图像坐标系统中的像素坐标值；
第九，基于同名点坐标值与像素坐标值建立第二变换方程；
第十，基于第一变换方程和第二变换方程获取像素坐标值与控制点坐标值之间的第三变换方程；
第十一，基于第十步建立的第三变换方程，对真实的整体投影图像按照第三变换方程进行逐像素的变换计算，使得投影图像完全投影在环形屏幕上;这样即完成了投影图像的几何校正过程。
[0009]作为优选，所述展示厅局部三维坐标系统以展示厅的中心位置为坐标原点，展示厅的宽度方向为横轴，展示厅的长度方向为竖轴，展示厅的高度方向为纵轴，并以实际一米的距离缩小相应比例后的长度为单位长度构建。
[0010]作为优选，所述图像坐标系统以图像左下角为原点，图像宽度为横轴，图像长度为纵轴，单个像素为单位构建。
[0011]作为优选，沿着环形屏幕的横向中轴线和纵向中轴线将环形屏幕平均分成四个小屏幕，并以四个小屏幕的四角点和中心点为控制点，记录下控制点在展示厅局部三维坐标系统的坐标值。
[0012]作为优选，以展示厅局部三维坐标系统的原点为观察点，连接观察点和环形屏幕上的控制点与投影图像直接投影效果模型相交于一点，该点即为环形屏幕上控制点的同名点，采用上述方法依次找出控制点的同名点，并分别记录控制点和同名点在展示厅局部三维坐标系统中的坐标值。
[0013]作为优选，基于控制点和同名点的坐标值，采用最小二乘法拟合得到环形屏幕与投影图像直接投影之间的第一变换方程。
[0014]作为优选，基于效果模型提取图像坐标系统中同名点对应的像素及像素坐标，基于像素坐标和同名点坐标建立图像坐标系统和展示厅局部三维坐标系统之间的第二变换方程。
[0015]采用上述方案，通过以缩小相应比例准确构建展示厅的三维模型来建立出展示厅局部坐标系统，同时通过图像拼接方法将多台投影机的投影图像拼接为整体投影图像，然后存储整体投影图像缩小相应比例后的整体投影图像效果图；并模拟出投影图像直接投影的效果模型;然后在环形屏幕上采集若干控制点，数量越多越佳，同时找出控制点在投影图像直接投影的效果模型上的同名点，并分别记录下控制点和同名点在展示厅局部三维坐标系统内的坐标值以及提取并记录控制点在投影图像上的像素坐标值，基于控制点和同名点的坐标值，建立环形屏幕与投影图像直接投影之间的第一变换方程;基于同名点的坐标值和像素坐标值，建立展示厅局部三维坐标系统和图像坐标系统之间的第二变换方程;然后基于第一变换方程和第二变换方程，建立展示厅局部三维系统与图像坐标系统之间的第三变换方程，最后对整体投影图像按照第三变换方程进行逐像素的变换计算，使得投影图像完全投影在环形屏幕上。因展示厅局部三维坐标系统以展示厅为参照物建立，环形屏幕相对展示厅的位置较易测量，且数值较准确。
[0016]综上所述，本发明具有以下有益效果:
通过建立展示厅局部坐标系统，使得环形屏幕相对于展示厅局部三维系统的相对位置更容易测量得到且测量精度更高。
【附图说明】
[0017]图1为本实施例的流程框图。
【具体实施方式】
[0018]以下结合附图对本发明作进一步详细说明。
[0019]本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。
[0020]本实施例公开的一种大屏幕融合投影方法，环形屏幕安装在展示厅内，
首先，采用基本体、扩展体、布尔运算、旋转、拉伸和放样等三维建模方法建立展示厅缩小如0.001倍的展示厅三维模型，要求构建的展示厅三维模型真实反映展示厅与环形屏幕之间的相对位置关系，特别是环形屏幕的尺寸、展示厅的尺寸以及环形屏幕与展示厅之间的距离关系都要准确反映；
第二，基于轮廓特征的图像拼接方法将多台投影机的投影图像拼接为整体投影图像，并将整体投影图像缩小0.001倍后的整体投影图像结果图进行存储；
第三，基于展示厅的三维模型，以展示厅的中心位置为坐标系统原点，展示厅的宽度为坐标系统的横轴，以展示厅的长度为坐标系统的竖轴，以展示厅的高度为坐标系统的纵轴，同时将实际一米距离缩小0.001倍即0.001米为单位长度构建展示厅局部三维坐标系统；第四，采用平行投影方法模拟出整体投影图像结果图直接投射在平行屏幕上的效果模型；
第五，以环形屏幕的横向中轴线和纵向中轴线为分界线将环形屏幕平均分成四个小屏幕，并提取四个小屏幕的四角点和中心点为控制点；以展示厅局部三维模型的原点为观察点并连接观察点与控制点，观察点与控制点之间的连线与效果模型相交于一点，该点即为控制点的同名点；
第六，借助软件测量工具如测量尺测量出控制点和同名点分别相对展示厅局部三维坐标系统的原点的距离，包括横向距离、竖向距离和纵向记录，并存储相应数值；
第七，基于在环形屏幕上提取的多个控制点以及在效果模型上对应提取出的同名点，建立多组同名点组，并采用最小二乘法拟合效果模型与环形屏幕之间的多项式第一变换方程；
第八，以整体投影图像结果图的左下角为原点，图像宽度为横轴，图像长度为纵轴，单个像素为单位构建图像坐标系统，同时在图像坐标系统中依次找出同名点所对应的像素点并记录像素点的像素坐标值；
第九，基于多组同名点坐标值和像素坐标值的相关关系拟合出第二变换方程；
第十，通过对第一变换方程和第二变换方程的变换计算得到像素点与控制点之间的第三变换方程；
第十一，基于第十步建立的第三变换方程，对真实的整体投影图像按照第三变换方程进行逐像素的变换计算，使得投影图像完全投影在环形屏幕上;这样即完成了投影图像的几何校正过程；
后续则基于投影图像的几何校正结果对投影图像进行边缘融合和色彩一致性匹配处理。
【主权项】
1.一种大屏幕融合投影方法，包括环形屏幕以及安装有环形屏幕的展示厅，其特征是: 首先，采用三维建模方法构建所述展示厅缩小相应比例的三维模型； 第二，采用图像拼接方法把多台投影机的投影图像拼接为整体投影图像，并存储缩小相应比例后的整体投影图像结果图； 第三，基于所述展示厅的三维模型构建展示厅局部三维坐标系统； 第四，模拟整体投影图像结果图直接投射在平行屏幕上的效果模型； 第五，以展示厅局部三维模型的原点为观察点，在环形屏幕上提取出若干控制点以及若干所述控制点对应在效果模型上的同名点； 第六，借助软件测量工具分别获取控制点和同名点相对展示厅局部三维坐标系统的原点的距离，并进行存储； 第七，基于多组控制点和同名点组采用最小二乘法拟合得到效果模型与环形屏幕之间的第一变换方程； 第八，基于整体投影图像结果图构建出图像坐标系统，并存储同名点在图像坐标系统中的像素坐标值； 第九，基于同名点坐标值与像素坐标值建立第二变换方程； 第十，基于第一变换方程和第二变换方程获取像素坐标值与控制点坐标值之间的第三变换方程； 第十一，基于第十步建立的第三变换方程，对真实的整体投影图像按照第三变换方程进行逐像素的变换计算，使得投影图像完全投影在环形屏幕上;这样即完成了投影图像的几何校正过程。2.根据权利要求1所述的大屏幕融合投影方法，其特征是:所述展示厅局部三维坐标系统以展示厅的中心位置为坐标原点，展示厅的宽度方向为横轴，展示厅的长度方向为竖轴，展示厅的高度方向为纵轴，并以实际一米的距离缩小相应比例后的长度为单位长度构建。3.根据权利要求2所述的大屏幕融合投影方法，其特征是:所述图像坐标系统以图像左下角为原点，图像宽度为横轴，图像长度为纵轴，单个像素为单位构建。4.根据权利要求3所述的大屏幕融合投影方法，其特征是:沿着环形屏幕的横向中轴线和纵向中轴线将环形屏幕平均分成四个小屏幕，并以四个小屏幕的四角点和中心点为控制点，记录下控制点在展示厅局部三维坐标系统的坐标值。5.根据权利要求4所述的大屏幕融合投影方法，其特征是:以展示厅局部三维坐标系统的原点为观察点，连接观察点和环形屏幕上的控制点与投影图像直接投影效果模型相交于一点，该点即为环形屏幕上控制点的同名点，采用上述方法依次找出控制点的同名点，并分别记录控制点和同名点在展示厅局部三维坐标系统中的坐标值。6.根据权利要求5所述的大屏幕融合投影方法，其特征是:基于控制点和同名点的坐标值，采用最小二乘法拟合得到环形屏幕与投影图像直接投影之间的第一变换方程。7.根据权利要求6所述的大屏幕融合投影方法，其特征是:基于效果模型提取图像坐标系统中同名点对应的像素及像素坐标，基于像素坐标和同名点坐标建立图像坐标系统和展示厅局部三维坐标系统之间的第二变换方程。
【文档编号】G06T3/00GK106067160SQ201610451615
【公开日】2016年11月2日
【申请日】2016年6月21日 公开号201610451615.5, CN 106067160 A, CN 106067160A, CN 201610451615, CN-A-106067160, CN106067160 A, CN106067160A, CN201610451615, CN201610451615.5
【发明人】管智华, 潘月英
【申请人】江苏亿莱顿智能科技有限公司