专利名称：一种实现大屏幕多投影无缝拼接的方法及其拼接融合器的制作方法
技术领域：
本发明涉及大屏幕投影显示领域，尤其涉及一种实现大屏幕多投影无缝拼接的方法及其拼接融合器。
背景技术：
大屏幕显示系统广泛的应用在交通运输调度指挥、大型会议实施、飞行模拟训练、作战指挥等领域中。为了达到更好的视觉沉浸感，显示屏幕不仅仅在面积上变得越来越大，而且还产生了弧幕、球幕等非平面屏幕。在这种情况下，多投影无缝拼接的方法得到了越来越广泛的应用，它将高分辨率·的视频信号分割为多个子图像，并利用多台投影仪联合投影在任意形状的大屏幕上，通过几何校正和颜色校正实现无缝拼接，保证屏幕上整幅画面内容的连续性及视觉的一致性。·大屏幕多投影无缝拼接显示系统主要由三部分组成投影仪阵列、拼接系统、大屏幕。其中拼接系统是核心，主要分为三种类型软件拼接系统、硬件拼接系统、软硬件结合的拼接系统。目前基于软件或者软硬件结合的拼接系统应用得比较广泛，具有功能丰富、操作灵活的优点，但是在实时拼接显示中均无法摆脱对计算机的严重依赖，不仅容易发生系统崩溃，而且往往需要多台计算机同时工作，设备体积和功耗都非常大，同时由于系统复杂，其成本也很高昂。现有技术中，基于硬件的拼接系统种类也比较多，摆脱了对计算机的依赖，但是也存在诸多不足I、因为单个硬件功能单一而需要多个硬件联合使用才能达到联合投影的目的，如多屏分割器与多个融合器联合使用等；2、因采用FPGA阵列实现而导致硬件结构复杂。上述不足都导致了过高的功耗和成本。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种结构简单、功能丰富、低成本、低功耗的大屏幕多投影无缝拼接方法以及拼接融合器。一种实现大屏幕多投影无缝拼接的方法，包括如下步骤I)将测量图像通过多台投影仪在大屏幕上投影，收集大屏幕上的投影图像信息，并分析得到各像素点的几何校正参数和颜色校正参数；2)将几何校正参数和颜色校正参数生成参数文件并储存在移动存储器中；3)读取所述移动存储器中的参数文件得到参数数据，并输入至参数存储器进行存储；4)将源视频数据采用乒乓存储方法按帧缓存，通过所述参数存储器中的参数数据对按帧缓存得到的帧图像进行逐像素处理，得到多路子视频像素数据；
5)对所述多路子视频像素数据进行处理得到多路子视频信号，输出至多台投影仪并在大屏幕上联合投影。利用多台投影仪将特殊标定画面在大屏幕上投影，并通过摄像头对投影区域进行摄像并实时传输至计算机，分析几个特定的考查点在投影仪输入的视频画面和投影在屏幕上的画面经捕获后的图像中的坐标，用Bezier曲面函数来表示投影仪输入的视频画面和投影在屏幕上的画面经捕获后的图像之间的对应关系，并确定整个系统要投影的源视频画面和摄像机捕获的屏幕目标投影区域的对应关系，即可确定各像素点的几何校正参数。通过摄像头来分别捕获每台投影仪在不同单色视频信号输入时的投影变化，得到每台投影仪投影亮度与所接收视频信号RGB颜色数据的关系，处理得到每台投影仪的颜色曲线，并赋予投影区域内各像素点相应的亮度权值，根据颜色曲线和亮度权值可计算得到颜色校正参数。将几何校正参数和颜色校正参数生成参数文件并储存。将几何校正参数和颜色校 正参数处理生成一个参数查找表，写入一个文本文件中，即参数文件。在投影仪和屏幕的几何、颜色数据不发生变化时，可直接提取上述参数文件中的几何校正参数和颜色校正参数。本发明还提供了一种实现大屏幕多投影无缝拼接的拼接融合器，包括视频信号接收模块，用于接收外部输入的源视频信号并将其转换为RGB视频数据；数字视频处理模块，用于将RGB视频数据进行处理，并得到多路经过几何校正和颜色校正的子视频信号；视频信号输出模块，用于对所述的子视频信号分别进行编码或数模转换，并通过相应的视频接口输出。本发明的拼接融合器的视频接口均采用HDMI (High DefinitionMultimediaInterface高清晰度多媒体接口)，包括一个HDMI输入接口和多个HDMI输出接口。所述视频信号接收模块由HDMI输入接口以及与其相连的HDMI接收芯片ADV7611组成。所述视频信号输出模块由多个HDMI输出接口以及与其相连的多个HDMI发送芯片AD9889B组成，每个HDMI发送芯片分别与一个HDMI输出接口相连接。所述拼接融合器还设有与所述视频处理模块连接的SD卡模块，用于存储几何校正参数和颜色校正参数；视频存储模块，用于存储RGB视频数据；参数存储模块，用于几何校正参数和颜色校正参数的高速缓存。本发明的移动存储器采用的是SD卡，SD卡模块由一个SD卡及其插槽组成，SD卡用于存储由几何校正参数和颜色校正参数生成的参数文件。视频存储模块由两个相同型号的SRAM芯片组成，其SRAM称为SRAM视频帧存储器。参数存储模块，采用一个SRAM芯片实现，即SRAM参数存储器，用于存储从SD卡中读取的参数文件，以满足本发明高速读取参数的需求。所述数字视频处理模块包括SD卡控制模块，用于读取SD卡中存储的参数文件，得到所存储的参数数据；
参数存储器控制模块，用于将SD卡控制模块读取的参数数据写入所述参数存储模块或者从所述参数存储模块中读出；视频数据缓存模块，用于将所述视频信号接收模块输出的RGB视频数据通过FIFO缓存并输出；视频帧存储器控制模块，用于采用乒乓存储方法对所述视频数据缓存模块输出的RGB视频数据按帧缓存并读出；新像素计算模块，用于根据所述参数存储器控制模块读出的参数数据对由所述视频帧存储器控制模块输出的RGB视频数据进行逐像素处理，并生成校正后的多路子视频数据；子视频生成模块，用于将所述新像素计算模块输出的多路子视频数据进行处理得到多路子视频信号。 所述数字视频处理模块采用FPGA或ASIC实现。本发明对大屏幕投影显示系统首先进行预处理，即对系统进行测试标定并生成相关矫正参数文件存储在拼接融合器的SD卡中，此预处理过程需要利用计算机软件进行。接通电源后，投影显示系统即可正确工作，拼接融合器可以接收来自任意视频源输出的高清源视频信号并处理，多台投影仪接收拼接融合器输出的多路子视频信号在大屏幕上联合投影形成无缝拼接的画面，不再依赖于计算机。此后只要投影显示系统的几何和颜色数据不发生变化，本系统就不需要再次进行预处理，因而不再依赖于计算机；当系统中投影仪和屏幕的几何、颜色数据发生变化时，只需对系统再次进行预处理，更换拼接融合器SD卡中的参数文件即可。本发明的优点是(I)经过预处理后，本发明在日常投影工作时不需要依赖于计算机软件，避免了软件系统可能发生崩溃的情况；(2)本发明硬件结构简单，成本与功耗都大大降低；(3)本发明利用一个相对简单的拼接融合器即可以很好地实现对高清视频实现几何校正、颜色校正、多路子画面生成的丰富功能，通过多台投影仪投影，即可实现在大屏幕上联合投影无缝拼接显示，具有很强的实用性。
图I是本发明拼接融合器的模块划分示意图；图2是本发明实施例投影显示系统设备布局示意图；图3是本发明实施例屏幕上未经过校正的投影区域示意图；图4是本发明实施例拼接融合器的结构示意图；图5是本发明实施例数字视频处理模块结构示意图；图6是本发明实施例测量标定示意图；图7是本发明实施例颜色校正示意图；图8是本发明实施例拼接融合器输出的两路子视频示意图。
具体实施方式
下面结合附图，对本发明做进一步的详细说明，但本发明的实施方式不仅限于此。如图I所示，本发明提供的实现大屏幕多投影无缝拼接的拼接融合器，包括视频信号接收模块、视频存储模块、数字视频处理模块、视频信号输出模块、SD卡模块、参数存储模块，其中视频信号接收模块、视频存储模块、视频信号输出模块、SD卡模块、参数存储模块均与数字视频处理模块连接。下面给出一个大屏幕多投影无缝拼接显示系统(简称投影显示系统)的实例，通过拼接融合器将一路高清源视频信号分为两路经过几何校正和颜色校正的子视频，分别通过一个投影仪投影在弧面大屏幕上，实现高清视频的大屏幕无缝拼接投影。如图2所示，本发明采用的投影显示系统由视频源、拼接融合器(一路源视频输入，两路子视频输出)、两台投影仪以及一个弧面大屏幕组成。视频源为可以输出前述高清源视频信号的任何设备(不仅限于计算机)。由视频源输入至拼接融合器的源视频信号分辨率为1920X768，拼接融合器输出至两台投影仪投影的子视频信号分辨率均为1024X768，上述的源视频和子视频信号均为24位真彩色，刷新频率均为60Hz。 如图2和图3所示，投影显示系统的两台投影仪分别命名为投影仪A和投影仪B，它们在大屏幕上的投影区域分别命名为投影区域A和投影区域B，在图3中，左边的为投影区域A，右边的为投影区域B。系统搭建时，需要适当调整两台投影仪的位置及投影方向，使得投影区域A和投影区域B有一定的重合区，且这两个区域拼在一起后可以完全覆盖大屏幕上的投影显示区。投影区域A和投影区域B的重合部分称为融合区。拼接融合器可接收一路高清视频信号，并输出两路子视频信号，其结构如图4所示。拼接融合器的视频接口均采用HDMI (High DefinitionMultimedia Interface高清晰度多媒体接口)，共有一个HDMI输入接口和两个HDMI输出接口。在本发明的拼接融合器中，视频信号接收模块由一个HDMI输入接口以及与其相连的HDMI接收芯片ADV7611组成；视频信号输出模块由两个HDMI输出接口以及两个HDMI发送芯片AD9889B组成，每个HDMI发送芯片分别与一个HDMI输出接口相连接；视频存储模块由两个相同型号的SRAM芯片组成，其SRAM称为SRAM视频帧存储器；数字视频处理模块采用一个FPGA芯片实现；SD卡模块由一个SD卡及其插槽组成；参数存储模块采用一个SRAM芯片实现，称为SRAM参数存储器。如图5所示，数字视频处理模块包括SD卡控制模块、参数存储器控制模块、视频数据缓存模块、视频帧存储器控制模块、新像素计算模块、子视频生成模块，子视频生成模块包括子视频I生成模块和子视频2生成模块。本发明的实现大屏幕多投影无缝拼接的方法利用上述投影显示系统通过下述7个步骤实现。(I)对所述投影显示系统中的大屏幕和多台投影仪进行几何和颜色的测量标定。当系统搭建好后，首先需要对整个系统进行预处理。通过一系列的测量标定，得到由投影屏幕的形状和位置、各投影仪的颜色曲线及各投影仪投影面与投影屏幕的相对位置决定的几何校正参数a和颜色校正参数b。如图6所示，采用单摄像头对多投影系统进行几何标定并得到几何校正参数a。首先利用投影仪A和投影仪B将计算机发送的特殊标定画面在大屏幕上投影。由于屏幕形状非平面，人眼观察到大屏幕投影区域上的显示画面与计算机输出给两台投影仪的标定画面相比存在明显的几何畸变。利用一个普通的摄像头对投影区域进行摄像并实时传输至计算机，利用计算机软件分析几个特定的考查点在投影仪输入的视频画面和投影在屏幕上的画面经捕获后的图像中的坐标，用Bezier曲面函数来表示投影仪输入的视频画面和投影在屏幕上的画面经捕获后的图像之间的对应关系。另外还需要确定整个系统要投影的高分辨率源视频画面和摄像机捕获的屏幕目标投影区域的对应关系。图中弧型大屏幕即为目标投影区域。当需要使得摄像机捕获的目标投影区域图像与源视频画面一致时(即人眼观察到的大屏幕显示图像上的几何畸变消除时)，我们就可以通过标定前述的两种对应关系确定每台投影仪输入视频画面像素点和实际要投影的源视频画面像素点的对应关系。然后利用软件计算为了消除几何畸变而应输送至各投影仪的视频画面中的各像素点所对应的源视频画面像素点坐标，即每个像素点的几何校正参数a。同样，采用单摄像头对多投影系统进行颜色标定并得到颜色校正参数b。由于融合区因两台投影仪共同投影而导致亮度过高，因此我们需要对源视频画面中的像素进行颜色校正。首先通过摄像头来分别捕获每台投影仪在不同单色视频信号输入时的投影变化，得到每台投影仪投影亮度与所接收视频信号RGB颜色数据的关系，通过计算机软件处理得到 每台投影仪的颜色曲线。如图7所示，横坐标为大屏幕上的水平位置，左侧为投影仪A所投射的子画面A，右侧为投影仪B所投射的子画面B，中间部分为融合区；纵坐标为在不同水平位置像素的亮度权值m(0I)，表示该点亮度衰减程度(I表示不衰减，O表示衰减至纯黑)，权值m与原亮度相乘即可得到调整后的亮度。非融合区的各个像素点亮度权值为1，表示该像素点无需调整。对于融合区，将其中的每点赋予一个从O到I线性渐变的亮度权值m，表示进行相应的衰减。同时确保屏幕上重叠区域的每个点所对应的两台投影仪输出的两个点的亮度权值和为I。这样两台投影仪在融合区的图像均进行渐变的亮度衰减，同时叠加后的亮度仍然与非融合区一致，消除过亮的融合带。定义颜色校正参数b为像素点颜色校正系数，通过参数b与经过几何校正的子画面各像素的8位R、G、B颜色分量数据分别相乘，即可得到经过校正的新像素数据。根据上面所述颜色曲线以及亮度权值，通过软件可以算得当融合区各个像素点实现相应亮度衰减所需的颜色校正参数b。(2)根据步骤⑴中测量标定的结果进行计算，得到几何校正参数和颜色校正参数，生成参数文件并存储于SD卡中。通过计算机软件依次计算两台投影仪所投影画面中各个像素点对应的几何校正参数a和颜色校正参数b并生成一个参数查找表，写入一个文本文件中，称为参数文件。将参数文件存入SD卡，并将此SD卡放回拼接融合器的SD卡插槽中。(3)读取前述SD卡中存储的参数文件，得到其中的参数数据。如图2所示，用HDMI数据线将视频源、拼接融合器和两台投影仪的相应接口相连，并接通电源给系统整体供电，各功能模块开始工作。在本步骤中，拼接融合器通过其FPGA芯片的SD卡控制模块连续读取SD卡中所存储的参数文件内容，并将读到的数据从ANSI编码格式转换为对应的二进制参数，存储在参数FIFO中。同时用高速时钟信号读取参数FIFO中的数据并输出至参数存储器控制模块，直到所有参数数据读取结束。(4)将步骤(3)中得到的参数数据输入至参数存储器进行存储。在本步骤中，拼接融合器通过其FPGA芯片(作为数字视频处理模块)的参数存储器控制模块来控制SRAM的读写操作。由于SD卡数据读取速度相对较慢，无法满足本设计的实时高速读取要求，因此采用一个高速的SRAM作为参数存储器来缓存参数文件。在SD卡控制模块读取并输出参数数据时，参数存储器控制模块将接收到的参数数据依次存储在外置的SRAM参数存储器中。(5)采用乒乓存储方法对输入所述投影显示系统的源视频数据按帧缓存，即两组存储器交替地写入、读出视频帧。拼接融合器通过视频信号接收模块将其HDMI输入接口接收到的视频数据解码为24位RGB像素数据、像素时钟信号DCLK、行同步信号HS、场同步信号VS及有效显示数据选通信号DE等，并发送至作为数字视频处理模块的FPGA进行处理。在接收到上述解码后的视频数据后，FPGA利用视频数据缓存模块将有效的RGB视频数据实时采样并存储在异步FIFO中，同时利用FPGA内部的高速时钟信号将其读出并输出至视频帧存储器控制模块，实现像素数据时钟域的转换。
同时，FPGA通过视频帧存储器控制模块控制外置的两个SRAM视频帧存储器对前述解码得到的源视频RGB像素数据进行缓存。视频帧存储器控制模块通过对两个SRAM视频帧存储器的乒乓读写控制，实现视频数据按帧的交替读写。视频帧存储器控制模块监测输入视频场同步信号VS的电平状态，判断视频信号每帧画面的起始时刻。当一帧画面开始时，将所接收到的视频像素数据依次存储在一块视频帧存储器中，同时根据新像素计算模块发送的信号对另一块视频帧存储器进行读操作；当下一帧画面开始时，切换对两块存储器的读写操作，即将视频像素数据依次存储在原来用于读数据的视频帧存储器中，同时从原来用于读数据的视频帧存储器读出数据；当再次检测到新的一帧画面开始时，再次切换对两块视频帧存储器的读写操作，如此反复，实现对两块视频帧存储器的乒乓读写控制，保证输入的源视频数据能连续写入存储器进行按帧存储，同时能连续读出所存储的视频数据。(6)读取前述参数存储器中的参数数据，根据所述参数对前述缓存的源视频进行逐像素处理，同时生成经过几何校正和颜色校正的多路子视频像素数据。在本步骤中，子视频I生成模块按照一定的时序规则向新像素计算模块发送读数据命令信号。当接收到前述读数据命令信号时，新像素计算模块首先向参数存储器控制模块发送参数读取命令信号。参数存储器控制模块根据接收到的命令信号依次从外置SRAM参数存储器中读取所要生成的每个新像素所对应的几何校正参数和颜色校正参数，并将读出的几何校正参数与相关控制信号一起发送至视频帧存储器控制模块，使其从两片外置SRAM视频帧存储器中读取计算新像素数据所需要源视频画面中的像素数据。当收到视频帧存储器控制模块读取的像素数据后，新像素计算模块根据前述几何校正参数对其进行计算得到经过几何校正的新像素数据。接下来将经过几何校正的新像素数据的R(红)、G(绿)、B (蓝)分量分别与相应的颜色校正参数相乘并对结果取整，得到新的R、G、B分量并组合成为24位数据，便得到经过几何校正和颜色校正的新像素数据，与相关控制信号一起输出至子视频I生成模块和视频2生成模块。(7)将步骤￠)中生成的多路子视频像素数据处理得到多路子视频信号，输出至多台投影仪并在大屏幕上联合投影。在本步骤中，子视频I生成模块和视频2生成模块分别用于生成子视频I和子视频2。当全部参数数据都已存储在参数存储器中后，子视频I生成模块和视频2生成模块根据所要生成的视频时序规则分别产生两组完全同步的视频控制信号，包括场同步信号、行同步信号、有效显示数据选通信号。子视频I生成模块和视频2生成模块接收到新像素计算模块发送的新像素数据及控制信号后，根据相应控制信号分别读取两路子视频所需的新像素数据并存储在各自的新视频像素FIFO中，同时分别按照所要生成视频的时序规则读取FIFO中的新像素数据并同场同步信号、行同步信号、有效显示数据选通信号一起输出，形成两路经过几何校正和颜色校正的子视频信号。如图8所示，所述两路经过校正的子视频信号的画面分别为画面A与画面B，左侧为子画面A，右侧为子画面B，其融合区分别为融合区A与融合区B。拼接融合器的视频信号输出模块分别将前述的两路子视频信号进行编码，得到两路HDMI信号并通过两个HDMI接口分别传输至两台投影仪。经过两台投影仪的联合投影，两个子视频画面可以在大屏幕上实现无缝拼接，便可显示出画质均匀且无几何畸变的高清画面。
上述步骤(I)与步骤(2)为本投影显示系统的预处理过程。当这两个步骤完成后，所述投影显示系统即可按照步骤(3)至步骤(7)正常工作。此后在日常使用中，只要所述投影显示系统中投影仪和屏幕的几何、颜色数据不发生变化，步骤(I)与步骤(2)就可以省去，不需要再次进行，因而不再依赖于计算机。当所述系统的几何、颜色数据发生变化时，只需再次进行骤(I)与步骤(2)的预处理，更换拼接融合器SD卡中的参数文件即可。上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
权利要求
1.一种实现大屏幕多投影无缝拼接的方法，其特征在于，包括如下步骤 1)将测量图像通过多台投影仪在大屏幕上投影，收集大屏幕上的投影图像信息，并分析得到各像素点的几何校正参数和颜色校正参数； 2)将几何校正参数和颜色校正参数生成参数文件并储存在移动存储器中； 3)读取所述移动存储器中的参数文件得到参数数据，并输入至参数存储器进行存储； 4)将源视频数据采用乒乓存储方法按帧缓存，通过所述参数存储器中的参数数据对按帧缓存得到的帧图像进行逐像素处理，得到多路子视频像素数据； 5)对所述多路子视频像素数据进行处理得到多路子视频信号，输出至多台投影仪并在大屏幕上联合投影。
2.一种实现大屏幕多投影无缝拼接的拼接融合器，其特征在于，包括 视频信号接收模块，用于接收外部输入的源视频信号并将其转换为RGB视频数据；数字视频处理模块，用于将RGB视频数据进行处理，并得到多路经过几何校正和颜色校正的子视频信号； 视频信号输出模块，用于对所述的子视频信号分别进行编码或数模转换，并通过相应的视频接口输出。
3.如权利要求2所述的实现大屏幕多投影无缝拼接的拼接融合器，其特征在于，所述视频信号接收模块由HDMI输入接口以及与其相连的HDMI接收芯片ADV7611组成。
4.如权利要求3所述的实现大屏幕多投影无缝拼接的拼接融合器，其特征在于，所述视频信号输出模块由HDMI输出接口以及与其相连的HDMI发送芯片AD9889B组成。
5.如权利要求4所述的实现大屏幕多投影无缝拼接的拼接融合器，其特征在于，还设有与所述视频处理模块连接的 SD卡模块，用于存储几何校正参数和颜色校正参数； 视频存储模块，用于存储RGB视频数据； 参数存储模块，用于几何校正参数和颜色校正参数的高速缓存。
6.如权利要求5所述的实现大屏幕多投影无缝拼接的拼接融合器，其特征在于，所述数字视频处理模块包括 SD卡控制模块，用于读取SD卡中存储的参数文件，得到所存储的参数数据； 参数存储器控制模块，用于将SD卡控制模块读取的参数数据写入所述参数存储模块或者从所述参数存储模块中读出； 视频数据缓存模块，用于将所述视频信号接收模块输出的RGB视频数据通过FIFO缓存并输出； 视频帧存储器控制模块，用于采用乒乓存储方法对所述视频数据缓存模块输出的RGB视频数据按帧缓存并读出； 新像素计算模块，用于根据所述参数存储器控制模块读出的参数数据对由所述视频帧存储器控制模块输出的RGB视频数据进行逐像素处理，并生成校正后的多路子视频数据；子视频生成模块，用于将所述新像素计算模块输出的多路子视频数据进行处理得到多路子视频信号。
7.如权利要求6所述的实现大屏幕多投影无缝拼接的拼接融合器，其特征在于，所述数字视频处理模块采用FPGA实现。
8.如权利要求6所述的实现大屏幕多投影无缝拼接的拼接融合器，其特征在于，所述数字视频处理模块采用ASIC实现。
全文摘要
本发明公开了一种实现大屏幕多投影无缝拼接的方法，包括如下步骤1)将测量图像通过多台投影仪在大屏幕上投影，收集大屏幕上的投影图像信息，并分析得到几何校正参数和颜色校正参数；2)将上述参数生成参数文件并储存在移动存储器中；3)读取移动存储器中的参数文件得到参数数据，并输入至参数存储器进行存储；4)将源视频数据采用乒乓存储方法按帧缓存，通过参数存储器中的参数数据对按帧缓存得到的帧图像进行逐像素处理，得到多路子视频像素数据；5)对多路子视频像素数据进行处理得到多路子视频信号，输出至多台投影仪并在大屏幕上联合投影。本发明还公开了一种实现大屏幕多投影无缝拼接的拼接融合器。本发明硬件结构简单，实用性强。
文档编号G06F3/14GK102929572SQ20121041900
公开日2013年2月13日 申请日期2012年10月29日 优先权日2012年10月29日
发明者王明宇, 韩雁, 王锐, 刘晓鹏 申请人:浙江大学