一种基于离散正交多项式变换的多聚焦图像融合方法
【专利摘要】本发明请求保护一种基于离散正交多项式变换的多聚焦图像融合方法，本发明首先对需要融合的多幅图像进行分块处理，得到m个n×n的块。其次，分别对每一个块进行离散正交多项式变换，得到对应的变换系数，利用空间频率SF与离散正交多项式变换系数之间的关系得到每一个块的空间频率大小。然后，比较多幅图像对应的每一块的空间频率大小，根据空间频率最大的融合规则融合多幅图像。最后，将融合后的图像进行一致性验证，得到融合后的图像。相较于传统的多聚焦图像融合方法，该方法首创性的用到了离散多项式变换域，并将图像的空间频率与离散多项式变换系数建立了联系，节省了融合的时间，并有效的提高了图像的融合效果。
【专利说明】
一种基于离散正交多项式变换的多聚焦图像融合方法
技术领域
[0001] 本发明属于基于离散正交多项式变换的多聚焦图像融合方法，属于数字图像处 理、机器视觉的技术领域。
【背景技术】
[0002] 视觉是人类从大自然中获取信息的最主要的手段。据统计，在人类获取的信息中， 视觉信息约占60%。由此可见，视觉信息对于人类的重要性，而图像正是人类获取视觉信息 的主要途径。从20世纪60年代起，随着计算机技术的不断提高和普及，图像在人类生活中开 始发挥着越来越重要的作用，随之，数字图像处理进入高速发展时期。
[0003] 所谓数字图像处理就是利用数字计算机或者其他数字硬件，对从图像信息转换而 得的电信号进行某些数学运算，以提高图像的实用性，满足人的视觉心里和应用需求。总的 来说，数字图像处理主要包括：（1)图像变换；（2)图像编码压缩：（3)图像增强和复原；（4)图 像分割；（5)图像融合。在实际应用中，根据不同的情况采取相应的措施以满足人类的视觉 需求。
[0004] 多聚焦图像融合是多元图像融合领域的一个重要分支，主要用于同一光学传感器 在相同成像条件下获取的聚焦目标不同的多幅图像的融合处理。由于光学镜头的聚焦范围 有限，光学成像系统不能将焦点内外的所有目标同时清晰成像，导致图像分析时需要耗费 大量时间和精力。多聚焦图像融合是一种解决光学成像系统聚焦范围局限性问题的有效方 法，可以有效提高图像信息的利用率，扩大系统工作范围，增强系统可靠性，更加准确的描 述场景中的目标信息。
[0005] 本文所提出的基于离散正交多项式变换的多聚焦图像融合方法，首次将离散正交 多项式变换应用到多聚焦图像融合领域，并巧妙的利用了空间频率与离散正交多项式变换 系数之间的关系，直接通过离散正交多项式变换系数得到空间频率的大小。避免了将离散 正交多项变换系数逆变换到空域再计算空间频率的过程，为多聚焦图像融合的过程节省了 时间，提高了融合效果。
【发明内容】
[0006] 针对以上技术的不足，提出了一种方法。本发明的技术方案如下:一种基于离散正 交多项式变换的多聚焦图像融合方法，其包括以下步骤：
[0007] 步骤一:首先对待融合的多幅图像进行分块处理，得到m个nXn的图像块，n表示图 像块矩阵的维数；
[0008] 步骤二:分别对步骤一的每一个图像块的矩阵进行离散正交多项式变换，得到每 一个图像块对应的离散正交多项式变换矩阵F;
[0009] 步骤三：利用空间频率SF与离散正交多项式变换系数之间的推导关系公式
E(u，v)为对应的加权系数，得到每一个图像块的空间 频率SF大小，然后比较多幅待融合图像对应的每个图像块的空间频率SF大小，根据空间频 率SF最大的融合规则融合多幅图像；
[0010]步骤四：将融合后的图像进行一致性验证，消除块效应，最后得到融合后的图像。
[0011] 进一步的，步骤二中根据正交多项式变换方法，得到图像中每个块对应的正交多 项式变换系数的离散正交多项式变换公式如下：
[0012] F = C*f*Ct (1)
[0013] 其中，f为nXn待融合的图像块矩阵，C为离散正交多项式变换矩阵，满足实数矩 阵、正交矩阵和酉矩阵三个特性，C矩阵大小为nXn，（和待融合图像块的n维数一样)每行代 表不同阶数的离散正交多项式，C为C的转置矩阵，
[0014]当n = 8时，典型的8X8离散切比雪夫正交多项式变换矩阵系数如下： _ 0.3536 0.3536 0,3536 0.3536 0.3536 0.3536 0.3536 0.3536' -0.5401 -0.3H58 -0.2315 -0.0772 0 0772 0.2315 0.3858 0.5401 0.5401 0.0772 -0.2315 -0.3858 -0.3858 -0.2315 0.0772 0.5401 , -0.4308 0.3077 0.430S 0.1846 -0.1846 -0,4308 -0.3077 0.4308 L0015」 -〇2s2〇 -0.5238 -0.1209 0.3626 0.3626 -0.1109 -0.5538 0.2820 -0.1-198 0.4922 -0,3638 -0.3210 0.3210 0.3638 -0.4922 0.1498 0.0615 -0.3077 0.5539 -0.3077 -0.3077 0.5539 -0.3077 0.0615 -0.017J 0.1J95 -0.3585 0.5974 -0.5974 0.3585 -0.1J95 0.0171
[0016] 离散正交多项式变换的逆变换公式如下：
[0017] f = Ct*F*C (2)。
[0018]进一步的，所述步骤三中，n=8时对应的加权系数
[0019] 8X8的E(u，v)矩阵系数如下： "0 0,1667 0.6667 1,3788 2.0909 2.7051 3.2424 3.7497" 0.1667 0.3333 0.8333 1.5455 2,2576 2.8718 3.4091 3.9161 0.6667 0.8333 1.3333 2.0455 2.7576 3.3718 3.9091 4.4161 1.3788 1.5455 2.0455 2.7576 3.4697 4.0839 4.6212 5.1282
[0020] E. = . . . 〇 2.0909 2.2576 2.7576 3.4697 4.1818 4.7%〇 5.3333 5.8403 2.7051 2.87)8 3.37)8 4.0839 4.7960 5.4103 5.9476 6.4545 3.2424 3.4091 3.9091 4.6212 5.3333 5.9476 6.4848 6.9918 3.7497 3.9161 4,4161 5.1282 5.8403 6.4545 6.9918 7.4988
[0021] 进一步的，所述步骤四的一致性验证应用多数筛选法，即如果合成图像中的某个 系数来自于图像X，而这个系数邻域内的其他系数以来自于图像Y的居多，则将其修正为来 自图像Y，邻域选用3x3或5x5的模板；
[0022] 进一步的，所述多数筛选法具体包括步骤：
[0023] 将计算后的对应图像块的空间频率值进行比较，创建一个决策图w记录特征比较 结果，规则如下： 1 SFA.^SFB^.
[0024] wi4 = | -1 SFA^. < SFB, , (3) 0 otherwise
[0025]其中A、B表示待融合的两幅输入图像，SFAi, j、SFBi,」分别表示A、B图像通过公式(3) 计算得到的空间频率。
[0026] 采用一个nxn的滤波器获得最终的决策图R:
[0027] Ritj - ￡ ￡ H，v,r ⑷ 1 v=v-l
[0028] 最后，根据决策图R进行融合： 'A,, /?,',>〇
[0029] 巧,广< B,, /?,,<0 (5) JA,.+B,.)/2 <,=0
[0030] 本发明的优点及有益效果如下：
[0031] 本发明相较于传统的多聚焦图像融合方法，本方法首创性的提出基于离散正交多 项式变换域的图像融合，并将图像块的空间频率(SF)与离散正交多项式变换系数建立了联 系，节省了融合的时间，并有效的提高了图像的融合效果。
[0032]基于离散正交多项式变换的多聚焦图像融合方法，目标是利用离散正交多项式变 换系数与空间频率之间的关系，直接通过离散正交多项式变换系数计算每一个对应图像块 的空间频率大小。然后通过比较对应图像块，按照空间频率最大的原则进行多聚焦图像融 合。这一方法首创性的将正交多项式变换应用到多聚焦图像融合中，并巧妙的利用了正交 多项式变换系数与空间频率之间的关系快速的得到对应图像块的空间频率大小，节省了融 合时间并且提高了融合效果，满足了图像在多聚焦图像融合方面的需求。
【附图说明】
[0033] 图1是本发明提供优选实施例基于离散正交多项式变换的多聚焦图像融合的流程 图；
[0034] 图2是本发明一个实施例待融合的图像A和B:
[0035] 图3是采用本发明方法融合后的图像。
【具体实施方式】
[0036] 以下结合附图，对本发明作进一步说明：
[0037]如图1所示，一种基于离散正交多项式变换的多聚焦图像融合方法，包括如下步 骤：
[0038]第一步:首先对待融合的多幅图像进行分块处理，得到m个nXn的图像块；
[0039]第二步:分别对每一个图像块进行离散正交多项式变换，得到对应的离散正交多 项式变换系数；
[0040] 第三步：利用空间频率（SF)与离散正交多项式变换系数之间的推导关系公式
得到每一个块的空间频率大小，然后比较多幅待融合图 像对应的每一块的空间频率大小，根据空间频率最大的融合规则融合多幅图像；
[0041] 第四步:将融合后的图像进行一致性验证，最后得到融合后的图像。
[0042]为了验证本发明的效果，进行了如下实验：
[0043] 在一台计算机上进行验证实验，该计算机的配置为i5处理器(3GHz)和8G内存，编 程语言为MATLAB 2012b。
[0044] 实验方法：
[0045] 如图2所示为在本实验过程中，所选用的图像是柯达图像数据库中的图像，待融合 的2幅图像分别为同一场景下不同部位聚焦的图像。通过本发明提出的基于离散正交多项 式变换的图像融合方法，对多聚焦图像的清晰部位进行融合，得到最后的融合图像见图3;
[0046] 以下为图像块的空间频率(SF)与离散正交多项式变换系数之间关系推导过程，空 间频率（SF)的定义为行频率(Row Frequency，RF)与列频率(Co lumn Frequency，CF)的平方 和：
[0047] SF2 = RF2+CF2 (6)
[0048]其中行频率(RF)定义如下：
(7)
[0050] 同理，列频率(RF)定义如下：
(8)
[0052]为得到空间频率与离散正交多项式变换系数之间的关系，设如下3个nXn矩阵：
[0056] 可以得到如下关系： Av - fh - CFCCBC = CFBC ,、
[0057] A 1 A；,- - b' f = (CBCy CFC - CB'FC
[0058] 其中C为nXn离散多项式变换矩阵，f为待融合的nXn图像块，F，B分别为f，b离散 正交多项式变换后的系数。由于：
[0059] trace (f f *) = trace (FF*) ； trace (AB ) = trace (BA) (A_2)
[0060] 其中trace( ?)为矩阵的迹。所以，
[0064] 其中：
[0065] D = B*Bt (A-6)
[0066] E(u,v) = (D(u,u)+D(v,v)) (A_7)
[0067] 8\8的￡(11^)矩阵系数如下： _ 0 0.1667 0.6667 1.3788 2.0909 2.7051 3.2424 3.7497' 0.1667 0.3333 0.8333 1.5455 2.2576 2.8718 3.4091 3.9161 0.6667 0.8333 1.3333 2.0455 2,7576 3,3718 3.9091 4.4161 1.3788 1.5455 2.0455 2.7576 3.4697 4.0839 4.6212 5.1282
[0068] E=.. ....... 2.0909 2.2576 2.7576 3.4697 4.1818 4.7960 5.3333 5.8403 2.7051 2.8718 3.3718 4.0839 4.7960 5.4103 5.9476 6.4545 3.2424 3.4091 3.9091 4.6212 5.3333 5.9476 6.4848 6.9918 3.7497 3.916! 4.4161 5.1282 5.8403 6.4545 6.9918 7.4988
[0069] 以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在 阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变 化和修饰同样落入本发明权利要求所限定的范围。
【主权项】
1. 一种基于离散正交多项式变换的多聚焦图像融合方法，其特征在于，包括以下步骤： 步骤一:首先对待融合的多幅图像进行分块处理，得到m个nXn的图像块，η表示图像块 矩阵的维数； 步骤二:分别对步骤一的每一个图像块的矩阵进行离散正交多项式变换，得到每一个 图像块对应的离散正交多项式变换矩阵F; 步骤三：利用空间频率SF与离散正交多项式变换系数之间的推导关系公式E(u，v)为对应的加权系数，得到每一个图像块的空间 频率SF大小，然后比较多幅待融合图像对应的每个图像块的空间频率SF大小，根据空间频 率SF最大的融合规则融合多幅图像； 步骤四：将融合后的图像进行一致性验证，消除块效应，最后得到融合后的图像。2. 根据权利要求1所述的基于离散正交多项式变换的多聚焦图像融合方法，其特征在 于，步骤二中根据正交多项式变换方法，得到图像中每个块对应的正交多项式变换系数的 离散正交多项式变换公式如下： F = Of^Ct (1) 其中，f为nXn待融合的图像块矩阵，C为离散正交多项式变换矩阵，满足实数矩阵、正 交矩阵和酉矩阵三个特性，C矩阵大小为ηΧη，每行代表不同阶数的离散正交多项式，CtSC 的转置矩阵， 当η = 8时，典型的8X8离散切比雪夫正交多项式变换矩阵系数如下：离散正交多项式变换的逆变换公式如下： f = Ct*F*C (2)。3. 根据权利要求2所述的基于离散正交多项式变换的多聚焦图像融合方法，其特征在 于，所述步骤三中，n = 8时对应的加权系数 8X8的E(u，V)矩阵系数如下：4. 根据权利要求3所述的基于离散正交多项式变换的多聚焦图像融合方法，其特征在 于，所述步骤四的一致性验证应用多数筛选法，即如果合成图像中的某个系数来自于图像 X，而这个系数邻域内的其他系数以来自于图像Y的居多，则将其修正为来自图像Y，邻域选 用3x3或5x5的模板。5.根据权利要求4所述的基于离散正交多项式变换的多聚焦图像融合方法，其特征在 于，所述多数筛选法具体包括步骤： 将计算后的对应图像块的空间频率值进行比较，创建一个决策图w记录特征比较结果， 规则如下：其中A、B表示待融合的两幅输入图像，SFA1^SFBu分别表示A、B图像通过公式⑶计算 得到的空间频率。 采用一个ηχη的滤波器获得最终的决策图R:最后，根据决策图R进行融合：
【文档编号】G06T5/50GK105931209SQ201610213236
【公开日】2016年9月7日
【申请日】2016年4月7日
【发明人】肖斌, 姜彦君, 李伟生, 王国胤
【申请人】重庆邮电大学