大尺寸球幕超清影片播放及互动应用拼接融合方法
【技术领域】
[0001] 本发明属于计算机视觉、图像处理、投影拼接领域，具体涉及一种基于激光点阵和 迭代反馈的大尺寸球幕超清影片播放及互动应用拼接融合方法。
【背景技术】
[0002] 球幕电影是20世纪70年代出现的一种大张角曲面屏幕电影。球幕电影影片的拍 摄和动画场景的制作，使用超广角的鱼眼镜头或虚拟多摄像机的组合镜头。观影厅为圆顶 式结构，幕布呈半球形，观众被包围置身其中。由于影像对观众视张角大，并伴有环绕立体 声，使得观众有身临其境之感。而影片和实时互动项目交替运行输出的新型艺术展现方式， 则更进一步的将观众带入到故事情节当中，观众的沉浸感体验十分强烈。而这种新型的艺 术展现形式也为拼接融合的排程切换技术提出了新的要求。
[0003] 由于球幕电影幕布巨大、投影仪摆放空间受限，单台投影仪无法打满整个屏幕。并 且由于单台投影仪显示分辨率有限，因此采用多台投影仪拼接融合的方式显示输出。另外 由于单台计算机显示分辨率有限、球幕形状与投影平面吻合度较低等因素，本发明在单台 计算机多投影拼接融合输出的基础上，进一步采用基于多台计算机分布式多投影仪拼接融 合技术显示输出的方法。
[0004] 每台投影仪最大输出分辨率大小为2K的图像。本发明介绍的多计算机分布式输 出系统由1台服务器和2台客户机、1台交换机构成局域网络。每台客户机外接3台投影 仪，以保证输出超高分辨率的影像画面。服务器通过中控程序协调控制影片播放和互动程 序的运行展示输出顺序，并且通过局域网传输握手信号控制客户机协同播放，以实现创造 影片和互动交替进行的艺术构想，带给观众强沉浸感的视觉感受。
[0005] 多计算机分布式多投影仪拼接融合技术主要由三部分具体的技术构成：即几何拼 接、色彩融合和分布式协同输出。几何拼接是指将每个投影仪的图像进行几何变换，使得变 换之后的图像可以完好的布满曲面幕布的预设部分区域，并且预设的相互重叠的部分完好 的重叠在一起。色彩融合是指对于幕布多台投影仪的重叠区域涉及的每台投影仪的投影亮 度乘以一个衰减系数，使得在多台投影仪的投影图像在叠加之后和单台无叠加的投影仪的 色彩亮度投射效果相同，给观众形成一种浑然一体的视觉效果，具体的显示融合方式采用 Alpha融合与Gamma校正和Gamma校正的算法完成衰减权值的计算。分布式协同输出是指 为了突破单台计算机可解码播放视频分辨率、运行互动软件运算能力有限的局限性，而采 用的一种多台计算机协同输出，从而达到扩展播放影片分辨率的技术。分布式显示输出系 统硬件上由多台计算机，每台计算机外接多台投影仪构成；通过中控排程系统协调控制影 片播放和互动程序的顺序和切换；多台计算机协同同步播放影片，显示互动程序运算生成 的每一帧图像。
【发明内容】
[0006] (一）要解决的技术问题
[0007] 本发明主要解决了半自动的大尺寸球幕影片和互动切换展示拼接融合问题。基 于激光经炜仪测算标定并使用牛顿迭代优化算法对几何信息逐步求精，完成几何拼接；采 用Alpha融合与Ga_a校正的方法完成色彩融合；采用多机分布式协同输出的拼接融合方 式，使用多台计算机同步分别输出最终展示影像的部分内容，实现超清分辨率影片或互动 输出；开发排程系统无缝切换影片播放与互动应用，实现新型电影艺术展现方式。
[0008] (二）技术方案
[0009] 为完成以上目标，本发明提出了基于激光点阵和迭代反馈的大尺寸球幕超清影片 播放及互动应用拼接融合技术，包括以下步骤：主要步骤为：（1)使用激光测距仪对目标异 形幕布进行特征点测定，并用激光点阵标记特征点，在投影图像平面上标记特征点；（2)利 用透视投影的针孔模型计算投影仪投影矩阵；（3)使用Newton-Raphson迭代算法对投影矩 阵迭代求精；(4)按照迭代求精的结果进行几何校正实现几何拼接；（5)使用Alpha融合与 Gamma校正算法进行色彩校正；（6)分布式拼接融合；（7)互动应用和影片播放排程运行切 换。
[0010] 进一步的，所述步骤（1)中，使用激光测距仪对目标异形幕布进行特征点测定的 步骤包括：
[0011] (21)对整个异形幕布进行参数化划分；
[0012] (22)按照投影机设定分布状况选择各个投影机特征点位置；
[0013] (23)通过激光经炜仪测定特征点实际位置；
[0014] (24)通过激光阵列标注特征点；
[0015] (25)通过鼠标在投影平面点击标注特征点。
[0016] 进一步的，所述步骤（2)中，利用透视投影的针孔模型计算投影仪投影矩阵的方 法，在获得特征点的投影图像位置后，将投影机的成像过程以透视投影的针孔模型建模： [0017] 幕布中物体上点的三维空间坐标为成，（i= 1，2, 3……），空间中点在摄像机像 平面上的点坐标为^(i= 1，2, 3……）；
模型下，〇1与qi构成的约束方程为：
[0019]I^qi=PQi
[0020] 其中，P为摄像机的投影矩阵，是本步骤需要求解的目标，是一个3行4列的矩阵；
[0021] QJPqi是齐次坐标，因此，对于P的求解只求得P中各个元素之间的比值；所以， 可令P的最后一个元素为1，使用线性求解的方法求出P中其他各个元素的数值，约束方程 转化为：
[0023] 进一步的，所述步骤（3)中，使用Newton-Raphson迭代算法对投影矩阵迭代求精 的步骤如下：
[0024] 在获得投影矩阵的初值后，使用摄像机按照初值投影虚拟特征点，以不同投影机 投射的对应统一空间特征点的虚拟特征点的误差作为目标函数函数，以各个投影仪的投影 矩阵的元素为变元，构建投影矩阵元素与摄像机图片上特征点的映射关系函数；
[0025] 使用牛顿迭代优化算法，通过最小化特征点误差，提高各个投影仪投影矩阵的求 解精度，求解方法如下式：
[0027] X为各个投影机的投影矩阵的元素构成的未知的投影向量，F⑴为多变元多值函 数，表示相同的空间特征点通过不同投影机形成的投影点的距离；
[0028] 初值近似解为X。，计算在X。附近的雅克比矩阵：
[0030] 本发明中，雅克比矩阵无法解析的求得，通过数值近似的方式求得雅克比矩阵；
[0031] 利用在X。处的雅克比矩阵，解新的近似解为：
[0032] X1 =X〇- (JT (X0)J(X0)) 1Jt (X0)F(X0)
[0033] 重复以上过程进行迭代计算J(X1)和X1+1(i= 1，2...)，直到第n步，使得：F(Xn) 的误差：IIF(Xn)II<e，e为满足投影需求的精度。
[0034] 进一步的，所述步骤（5)中，使用Alpha融合与Gamma校正算法进行色彩校正的方 法如下：
[0035] 在融合带内部，幕布上同样的一个点对应于不同投影仪成像平面上的点的亮度分 别乘以一个〇到1之间的系数：Alpha衰减系数，使得最终在幕布上融合带内部的投影点在 多个投影机投影叠加后的亮度、颜色与非融合带内单台投影机投射的具有相同颜色分量值 的点亮度、颜色相同；
[0036] Alpha融合系数的计算过程中，需要进一步进行Gamma校正；
[0037] 设融合带的宽度为D，计算融合带上的各个点（记做：0点）到融合边缘的距离 dp，再通过下式计算P点的Gamma校正底数sPii:
[0039] 其中，i= 1，2表示两个相互有图像重叠的投影仪的序号；
[0040] 按照下式进行Gamma校正，计算得到不同投影通道对于P点的Alpha权值：
[0041] =Sfj3i
[0042] 其中，Y的经验值选取在0.45到0.55之间，由于对于不同材料的幕布最佳的Y 值有所不同，因此本系统中设置这个值可以根据实际应用情况动态调整；
[0043] 最后，再通过Gamma校正，计算得到Alpha权值之后，对P点对应各个通道的相平 面点的亮度值，按