专利名称：多投影显示系统中的图像拼接与融合方法
技术领域：
本发明涉及一种图像的处理方法。
背景技术：
近年来快速发展的虚拟现实技术，将投影拼接与融合技术推到了科技的前沿，但是传统的单台普通投影仪虽然价格便宜，但是分辨率较低，不能满足人们的需要，而高端的光学投影仪价格昂贵，不能得到普通的应用，所以基于多台投影仪的拼接与融合技术应运而生，既解决了价格问题，也提高了分辨率。目前大屏幕投影普遍存在投影仪投影区域间的几何边缘不匹配不一致问题。这是因为大屏幕通常均是由多台投影机投射的投影画面拼接而成，由于在多通道投影显示系统中，每台投影机都是相互独立的，两个投影机所投出的画面之间会有缝隙。虽然经过调整这个缝隙会变得很小，但对专业用户来说，这样的缝隙也是不能接受的。而且很多通道大屏幕并不是平面的，而是柱状环幕或者是球幕，这样就会在曲
面上产生投影变形。所以对于这些大屏幕，不但需要经过专业边缘融合处理，而且还要经过特殊的曲面几何纠正处理。
发明内容
本发明要解决的技术问题是提供一种多投影显示系统中的图像拼接与融合方法。本发明解决技术问题的方案是通过摄像机采集数据，求得要投影图像和屏幕上被摄像机拍摄的图像的对应关系，预处理标定这些几何关系，进行几何校正，获得重叠区域。基于小波变化的BPCA的几何标定方法，包括以下几步
(1)采用直方图均衡化对图像序列进行预处理；
(2)几何标定，通过摄像头采集数据，运用计算机视觉的方法，标定相关的几何对应关系；通过纯软件的方法，获取到多投影的重叠区域缝拼接；
(3)基于图像空间拼接的标定技术，通过将多个摄像机的图像空间映射到同一个图像空间；
(4)利用小波变换进行预处理；
(5)用矩形分割图像进行特征提取；
(6)利用步骤(5)的方法提取相邻图像的特征；
(7)图像融合。本发明能够获取到投影仪投影的重叠部分，通过软硬件的结合处理，消除重叠部分，增加图像的尺寸，在很大程度上保证了画面的完整性，每台投影仪投射整幅图像的一部分，这样展现的图像分辨率被提高了 ；缩短了投影距离，增加画面的层次感。本发明提供一种能够快速、稳健的基于特征点匹配的配准算法进行投影的拼接与融合，适应各种屏幕类型，可以是很粗糙的墙面，也可以是特制的金属屏幕，不但适用于大平面的屏幕，也适用于环幕，甚至也适用于一些稍微不规则的曲幕。
图I为基于小波变化的BPCA多投影的拼接与融合硬件平台示意 图2为基于小波变化的BPCA多投影拼接与融合技术的功能模块示意 图3为获取投影的重叠区域示意 图4为小波分解示意 图5为重叠区域图像融合示意图。
具体实施例方式下面结合附图对本发明作进一步说明。图I :基于小波变化的BPCA多投影的拼接与融合的硬件平台，一台PC机对应一台摄像机，同时对应一台投影仪，以及一投影屏幕。图2 :通过摄像机获取到图像序列，对获取到的图像序列进行预处理，本发明对原图像序列进行直方图均衡化如图3所示，会发现图像的灰度范围扩大了或者灰度分布均匀了，从而增大了反差，使图像细节清楚，达到增强的目的。步骤100对图像进行小波变换，随着小波分解级数的增加，图像向量的维数大大的降低了。提取小波分解后的低频子带进行分块主元分析提取特征值和获取特征向量，最后利用最近邻分类器进行分类获得相邻图像的重合区域。基于小波变化的BPCA的几何标定算法，具体步骤如下
(I)对图像序列进行预处理，预处理一般会考虑光照，尺度，位置变化等因素的干扰。常用的预处理方法有非线性平滑滤波，使像素的灰度值接近，从而消除孤立的噪声点；图像的归一化分为几何归一化和灰度归一化，本发明采用了直方图均衡化，会发现图像的灰度范围扩大了或者灰度分布均匀了，从而增大了反差，使图像细节清楚，达到增强的目的。(2)几何标定。主要是通过摄像头采集数据，运用计算机视觉的方法，标定相关的几何对应关系；通过纯软件的方法，获取到多投影的重叠区域缝拼接。包括得到标定图像空间和投影空间将PC机与投影仪相连，PC机绘制的内容和投到屏幕上的内容是一致的，PC机绘制的内容保存在缓存区，将这个区域成为投影空间。用摄像头来捕捉投影仪投到屏幕上的内容，投影的内容在拍摄的图片上有一个2D坐标，定义这个2D空间为图像空间。图像空间的2D坐标表示的是该点在摄像头拍摄的图片上的坐标。很明显在不同位置捕捉得到的图像空间是不同的。有时候在一个位置无法将整个系统拍全，因此需要从不同位置捕捉画面进行校正，这种情况我们需要将几个不同位置的图像空间校正到一个统一的图像空间，我们用虚拟图像空间来表示。PC机屏幕上的点和投影屏幕上的点是对应的，摄像机拍摄屏幕上的图像得到的图像空间上的点和PC机屏幕上的点也是一一对应的。令叫为投影空间中的点Z的坐标，IB2为点I被投到.上被摄像头拍摄后，
在图像空间的坐标，A和 2间的关系可以用函数4表示为
2 =
由可逆变化得Bh = Bl^m2
(3)基于图像空间拼接的标定技术通过将多个摄像机的图像空间映射到同一个图像空间。根据视点的成像模型得到Z=//y',其中表示摄像头在两个位置的图像空间的映射关系，是一个透视矩阵。通过特征点提取算法求解上式中的^和^。(4)利用小波变换进行预处理小波分解算法降低了图像的维数使后续算法的复杂度降低，同时能够提取信息。可以把图像看成是二元函数/(x，y)，其二维小波变换定义为
权利要求
1.一种多投影显示系统中的图像拼接与融合方法，其特征包括以下几步完成 (1)采用直方图均衡化对图像序列进行预处理； (2)几何标定，通过摄像头采集数据，运用计算机视觉的方法，标定相关的几何对应关系；通过纯软件的方法，获取到多投影的重叠区域缝拼接； (3)基于图像空间拼接的标定技术，通过将多个摄像机的图像空间映射到同一个图像空间； (4)利用小波变换进行预处理； (5)用矩形分割图像进行特征提取； (6)利用步骤(5)的方法提取相邻图像的特征； (7)图像融合。
2.根据权利要求I所述的多投影显示系统中的图像拼接与融合方法，其特征在于具体步骤为 (1)采用直方图均衡化对图像序列进行预处理； (2)几何标定，通过摄像头采集数据，标定相关的几何对应关系，获取到多投影的重叠区域缝拼接，包括得到标定图像空间和投影空间将PC机与投影仪相连，PC机绘制的内容和投到屏幕上的内容是一致的，PC机绘制的内容保存在缓存区，将这个区域成为投影空间，用摄像头来捕捉投影仪投到屏幕上的内容，投影的内容在拍摄的图片上有一个2D坐标，定义这个2D空间为图像空间，图像空间的2D坐标表示的是该点在摄像头拍摄的图片上的坐标，将几个不同位置的图像空间校正到一个统一的图像空间，用虚拟图像空间来表示； PC机屏幕上的点和投影屏幕上的点是对应的，摄像机拍摄屏幕上的图像得到的图像空间上的点和PC机屏幕上的点也是一一对应的，令A为投影空间中的点Z的坐标，巧为点Z被投到.上被摄像头拍摄后， 在图像空间的坐标，A和 2间的关系可以用函数4表示为 2 = 由可逆变化得Bh = Bl^m2 ； (3)基于图像空间拼接的标定技术通过将多个摄像机的图像空间映射到同一个图像空间，根据视点的成像模型得到X-ZfiX,,其中Zf 表示摄像头在两个位置的图像空间的映射关系，是一个透视矩阵，通过特征点提取算法求解上式中的&和‘; (4)利用小波变换进行预处理小波分解算法降低了图像的维数使后续算法的复杂度降低，同时能够提取信息， 可以把图像看成是二元函数/(X，y)，其二维小波变换定义为
3.根据权利要求2所述的多投影显示系统中的图像拼接与融合方法，其特征在于图像融合的具体实现过程如是 (1)对A和B分别构建高斯金字塔，即依次进行2倍降采样和高斯滤波， 金字塔第一层GA0、GB0为A、B本身，对第一层2倍降采样、高斯滤波后得到第二层队、GB1 ； (2)构建Iaplacian金字塔，LA1UB1^GA1'叫，对叫、叫2倍升采样后，在进行高斯滤波，得到Mo、Mq ； (3)利用金字塔LA和LB构造金字塔LS,LS每一层的大小与LA和LB的对应相等；(4) 利用ZS重构重叠区域图像，将Z&2倍升采样后，进行高斯滤波，然后将ZS和Z5·。叠力口，得到最终结果。
全文摘要
一种多投影显示系统中的图像拼接与融合方法，涉及一种图像的处理方法，包括图像序列预处理；几何标定；图像空间拼接；利用小波变换进行预处理；特征提取；提取相邻图像的特征及图像融合。本发明能够消除图像重叠部分，增加图像的尺寸，在很大程度上保证了画面的完整性，展现的图像分辨率被提高了；缩短了投影距离，增加画面的层次感。本发明提供一种能够快速、稳健的基于特征点匹配的配准算法进行投影的拼接与融合，适应各种屏幕类型。
文档编号G06T5/40GK102881006SQ201210274700
公开日2013年1月16日 申请日期2012年8月3日 优先权日2012年8月3日
发明者郑立国, 朱妹丽, 王青青 申请人:吉林禹硕动漫游戏科技股份有限公司