专利名称：一种基于小波变换的彩色序列图像融合方法
技术领域：
本发明涉及一种基于小波变换的彩色序列图像融合方法。
技术背景目前在图像融合的各种算法中，小波分解是一种常用的技术手段。目前各种 小波变换技术被广泛应用于各类型的图像融合场景中。该类算法鲁棒性较强，性 能稳定，融合图像清晰度高，符合大部分的应用需求。在彩色图像的融合中，分别对每个RGB分量进行融合，不仅效率低，而且 融合效果差。 一般的做法是做色彩空间变换，对其中的强度或亮度分量做融合。 而对于彩色序列图像的融合问题，目前的研究应用还很少。但是，作为进一步增 强融合效果的手段，序列图像融合技术是尤为重要的。如果简单的对序列图像作 两两融合，将花费大量时间并且效果不理想。 发明内容发明目的本发明的目的是针对现有技术的不足，提供一种基于小波变换的 彩色序列图像融合方法。技术方案本发明设定序列图像中的一副图像作为参考图像R，首先基于 SIFT特征描述子将其他图像进行空间变换，完成与参考图像的配准。然后对每 副图像进行YIQ的色彩空间变换，并对Y色彩分量进行N级小波分解。根据图像 小波变换域的高低频系数所包含的信息的特征，以及变换后色彩空间中不同色彩 分量的重要性，对不同的频率域和不同的色彩分量采取不同的融合策略。对于图 像Y色彩分量的小波低频分量，采用阀值控制下的加权平均法，舍弃异常的低频 系数；在其小波高频分量上，依次将其他图像融合至参考图像中，采取选取高系 数的策略，同时进行一致性检测；I和Q分量依据Y分量的低频系数选取结果， 进行加权平均。有益效果本发明能快速有效的对彩色序列图像进行融合，充分结合每副图
像的有效信息。融合速度较快。鲁棒性高，在有像素级配准误差，有部分遮挡，有大块模糊的情况下仍能保持融合图像的效果。效果如图1所示。
图I是本发明的一个具体实施例，图(a)、 (b)、 (c)为序列彩色图像，其中图 (a)设为参考图像，图(b)、 (c)与参考图像配准后的结果如图(d)、 (e)，最终融合得 到的图像如图(f)所示。图2是本发明方法的组成结构图。图3是本发明方法的流程图。
具体实施例方式
如图2所示，本发明方法包含图像配准模块、色彩空间变换模块、小波分解 模块、融合模块、小波重构模块和色彩空间反变换模块。结合方法流程图3所示，本发明所述的一种基于小波变换的彩色序列图像融 合方法包括以下步骤1、 从输入的序列图像PI, P2,... Pn中选取一副图像为参考图像，以该参考 图像为基准，其他图像融合至参考图像中。2、 计算所有图像的128维SIFT特征描述子。为了提高在高维空间进行特征 描述子匹配的效率，建立Kd搜索树，并采用BBF(Best Bin First)的搜索策略。 在得到的N对匹配点对上，采用随机抽样一致性算法RANSAC(Random Sample Consensus),求取八参数的投影变换矩阵，再根据变换矩阵对待匹配图像进行空 间变换，^成与其他图像与参考图像的配准。3、 对非参考图像作预处理操作，待配准图像空间变换后留下来的黑块用参 考图像来填补。4、 对步骤1融合后的图像和选择的基准图像进行YIQ色彩空间变换，得到 色彩分量Yl，Y2，…Yn;Il,I2，…In:Ql，Q2，…Qn。其中Y分量代表亮度信息，I 和Q为色彩信息。将彩色图像从RGB转换到YIQ色彩空间，可以把彩色图像中的 亮度信息与色度信息分开，分别独立进行处理。5、将步骤4所得图像的Y色彩分量进行N级小波分解，其中N设为2或者 3，小波类型为DB4。步骤6，对步骤5小波分解所得小波低频图像，高频图像和色彩分量分别采 取三种不同的融合策略。这三种融合策略分别是(1) 低频融合策略。首先对序列图像的每个低频图像建立一个跟其大小一 样的布尔矩阵Ml, M2,... Mn。 M纪录对应低频图像的低频系数是否属于例外系数。 如果某个低频系数与该位置所有低频系数的中值相差超过给定的阈值，被认为是 例外系数。然后根据例外矩阵，对非例外的低频系数进行加权平均。采用例外系 数判断的方法，可以增强对配准阶段的误差和错误的鲁棒性，能消除大块模糊区 域，减少遮掩等情况对最后融合效果的负面影响。(2) 高频融合策略。以参考图像为基础，其他图像依次两两融合至参考图 像中。小波分解域的每一层有三副高频图像HH、 HL、 LH，两幅图像的对应高频 子图像分别进行融合。采取CM (Choose Max)融合策略，即选取拥有最大激活度 量的高频系数。这里釆用窗口方差作为激活度量，窗口大小为3*3。对不同的分 解层，不同的高频图像分别进行一致性检测。某个点的3*3的邻域中，如果超过 半数的点的高频系数都选自同一副图像，则该点的高频系数也选自此图像对应点 的高频系数。(3) 色彩分量融合策略。色彩分量II， 12,... In以及Ql， Q2，... Qn依据在 低频融合策略中生成的对应的布尔矩阵Ml, M2,... Mn进行加权平均。如果矩阵 Mi纪录像素点Pm(&，凡)的低频系数是例外系数，则彩色分量Ii和Qi的对应像 素点Pn(&,A)的值不纳入加权平均计算中。这里Pm和Pn的对应关系根据小波 分解层次而定。比如三级小波分解，低频图像大小是原图像大小的八分之一，则& =/8」和X = /8」。最终得到融合后的I和Q色彩分量图像10和Q0。7、 对融合后的小波域图像进行小波反变换，得到融合后彩色图像的Y0分量。8、 将步骤7所得的Y0分量和步骤6所得的10和Q0分量作色彩空间的反变 换，得到最终融合的RGB图像PO。
权利要求
1、一种基于小波变换的彩色序列图像的融合方法，其特征在于该方法包括以下步骤(1)在输入的序列图像中，设定参考图像，并将其他图像与其配准；(2)对步骤(1)配准所得图像做YIQ色彩空间变换；(3)对步骤(2)YIQ色彩空间变换所得图像Y分量进行小波分解；(4)对步骤(3)小波分解所得低频图像、高频图像以及其他未分解的I和Q分量图像分别按不同的策略进行图像融合；(5)对步骤(4)融合得到的小波域的Y分量进行小波反变换得到融合图像的Y分量；(6)对步骤(4)和(5)融合得到的Y、I和Q分量进行色彩空间反变换，得到最终的融合图像。
2、 根据权利要求1所述的一种基于小波变换的彩色序列图像的融合方法， 其特征在于步骤(1)所述的设定参考图像，并将其他图像与其配准的步骤是(2.1) 从输入的序列图像？1^2，...？:1中选取一副为参考图像，以参考图 像为基准，其他图像融合至参考图像中；(2.2) 计算步骤(2.1)得到的所有图像和参考图像的128维SIFT特征描述子；(2.3) 对非参考图像作预处理操作，待配准图像空间变换后留下来的黑块 用参考图像来填补。
3、 根据权利要求1所述一种基于小波变换的彩色序列图像的融合方法，其 特征在于步骤(2)所述的对所有图像做YIQ色彩空间变换的步骤是对步骤(1) 所得图像进行YIQ色彩空间变换，得到色彩分量Yl,Y2，…Yn; II， 12，…In; Ql, Q2，…Qn，其中Y分量代表亮度信息，I和Q为色彩信息,将彩色图像从RGB转 换到YIQ色彩空间，把彩色图像中的亮度信息与色度信息分开，分别独立进行处 理。
4、 根据权利要求1所述一种基于小波变换的彩色序列图像的融合方法，其特征在于步骤(3)所述的对步骤(2)所得图像Y分量进行小波分解的步骤是 将每副图像的Y色彩分量进行N级小波分解，其中N设为2或者3，小波类型为 DB4。
5、根据权利要求1所述一种基于小波变换的彩色序列图像的融合方法，其 特征在于步骤(4)所述的对步骤(3)小波分解所得低频图像、高频图像以及其 他未分解的I和Q分量图像分别按不同的策略进行图像融合的具体方法是:对小 波低频图像、高频图像和色彩分量分别采取低频融合、高频融合、色彩分量融合 三种不同的融合策略。
全文摘要
本发明公开了一种基于小波变换的彩色序列图像的融合方法，包括如下步骤(1)在输入的序列图像中，设定参考图像，并将其他图像与其配准；(2)对所得图像做YIQ色彩空间变换；(3)对所得图像的Y分量进行小波分解；(4)对分解得到的低频图像、高频图像以及其他未分解的I和Q分量图像分别按不同的策略进行图像融合；(5)对步骤(4)融合得到的小波域的Y分量进行小波反变换得到融合图像的Y分量；(6)对步骤(4)和(5)融合得到的Y、I和Q分量进行色彩空间反变换，得到最终的融合图像。其显著优点是将一般的两幅图像融合问题扩展到彩色序列图像的融合应用中，并且能够快速有效的完成图像融合，鲁棒性高，稳定性好。
文档编号H04N1/56GK101399900SQ200810234949
公开日2009年4月1日 申请日期2008年11月11日 优先权日2008年11月11日
发明者侍良栋, 阳 高 申请人:南京大学