一种基于高阶奇异值分解的多曝光图像融合方法与流程

本发明涉及一种图像融合技术，尤其是涉及一种基于高阶奇异值分解的多曝光图像融合方法。
背景技术：
：将来自相同场景的两幅或多幅图像的信息组合成一幅更具信息性的图像的过程称为图像融合。多曝光图像融合(multi-exposureimagefusion，mef)是图像融合的经典应用之一。由于数码相机的动态范围限制，因此自然场景的图像通常比数码相机拍摄的图像具有更大的动态范围。高动态范围(highdynamicrange，hdr)成像技术根据多幅低动态范围(lowdynamicrange，ldr)图像估计出相机响应函数(cameraresponsefunction，crf)，然后使用相机响应函数的逆操作来重建高动态范围图像。由于当前使用的大多数标准显示器是低动态范围，因此在获取高动态范围图像之后，需要色调映射过程来压缩高动态范围图像的动态范围以用于显示，然而，该过程的计算复杂度很高，并且高动态范围图像的质量取决于相机响应函数的计算精度。因此，多曝光图像融合是复杂的高动态范围成像技术有效且方便的替代方案。多曝光图像融合将一系列不同曝光的图像相融合，以获得高质量的低动态范围图像，并且不需相机响应函数恢复和色调映射。在a.goshtasby,“fusionofmulti-exposureimages,”imageandvisioncomputing,vol.23,pp.611–618,2005.(多曝光图像融合)一文中使用了块级融合方法，图像被分成统一的块并使用最小平均法以融合出最佳图像块，然而这种方法融合后的图像对比度和饱和度较差。在b.gu,w.li,j.wong,m.zhu,andm.wang,“gradientfieldmulti-exposureimagesfusionforhighdynamicrangeimagevisualization,”j.vis.commun.imag.represent.,vol.23,no.4,pp.604–610,may2012.(用于高动态范围图像可视化的梯度场多曝光图像融合)一文中提出了用迭代方法修改梯度场，采用两次平均滤波和多尺度非线性压缩的方法，通过求解泊松方程然后线性拉伸到公共范围来获得结果，但是该方法容易出现伪影。在s.ramanands.chaudhuri,“bilateralfilterbasedcompositingforvariableexposurephotography,”inproc.eurographics,2009,pp.1–4.(基于双边滤波器的可变曝光摄影合成)一文中提出了一种有效的使用边缘保留滤波器的场景合成方法，如双边滤波器，由于没有对全局亮度一致性做出限制，使用该方法融合出的图像颜色容易出现失真，图像色调整体偏暗。在k.ma,h.li,z.wangandd.meng,“robustmulti-exposureimagefusion:astructuralpatchdecompositionapproach,”ieeetrans.imageprocess.,vol.26,no.5,pp.2519-2532,may2017.(多曝光图像融合：一种结构块分解方法)一文中提出了使用结构块分解的方法融合多曝光图像，但是该方法不容易获得纹理信息，并且去除伪影的效果也不能令人满意。技术实现要素：本发明所要解决的技术问题是提供一种基于高阶奇异值分解的多曝光图像融合方法，其在多曝光图像融合过程中将亮度和色度分别处理，能够获得较好的细节纹理和丰富的颜色信息。本发明解决上述技术问题所采用的技术方案为：一种基于高阶奇异值分解的多曝光图像融合方法，其特征在于包括以下步骤：步骤1：选取d幅宽度为m且高度为n的不同的曝光图像；然后将每幅曝光图像从rgb颜色空间转换到ycbcr颜色空间，得到每幅曝光图像的亮度通道图像、第一色度通道图像、第二色度通道图像，将第d幅曝光图像的亮度通道图像、第一色度通道图像、第二色度通道图像对应记为yd、cbd、crd；其中，d为正整数，d＞1，d为正整数，d的初始值为1，1≤d≤d；步骤2：获取所有曝光图像的亮度通道图像融合后的亮度通道图像，具体过程为：步骤2_1：使用宽度为且高度为的滑动窗口，以步长为r个像素点，在每幅曝光图像的亮度通道图像中进行滑动，将每幅曝光图像的亮度通道图像划分为l个亮度块，将yd中的第i个亮度块记为bd,i；并记录在亮度块划分过程中每幅曝光图像的亮度通道图像中的每个像素点的重叠次数；然后将所有曝光图像的亮度通道图像中相同位置的亮度块构成一个大小为的张量，共得到l个张量，每个张量对应有d个亮度块，将所有曝光图像的亮度通道图像中的第i个亮度块构成的张量记为ai；其中，r为正整数，min()为取最小值函数，i为正整数，i的初始值为1，1≤i≤l；步骤2_2：对每个张量进行高阶奇异值分解，对于ai，对ai进行高阶奇异值分解后得到ai＝si×1ui×2vi×3wi；其中，si表示ai的核张量，ui表示ai的第一模式因子矩阵，vi表示ai的第二模式因子矩阵，wi表示ai的第三模式因子矩阵，符号“×1”为张量的第一模式乘积符号，符号“×2”为张量的第二模式乘积符号，符号“×3”为张量的第三模式乘积符号；步骤2_3：获取每个张量对应的每个亮度块的特征系数，将ai对应的第d个亮度块的特征系数记为其中，ai对应的第d个亮度块即为bd,i，表示ai对应的第d个亮度块即bd,i的核张量；步骤2_4：计算每个张量对应的每个亮度块的活动等级测度，将ai对应的第d个亮度块的活动等级测度记为其中，m为正整数，m的初始值为1，n为正整数，n的初始值为1，符号“||”为取绝对值符号，表示中下标为(m,n)处的值；步骤2_5：获取每个张量的融合系数矩阵，将ai的融合系数矩阵记为ei，其中，k为权重指数，k∈(0,1]；步骤2_6：计算每个张量对应的融合后的亮度块，将ai对应的融合后的亮度块记为fi，fi＝ui×ei×(vi)t；其中，(vi)t为vi的转置；步骤2_7：根据得到的l个融合后的亮度块，获取由l个融合后的亮度块构成的重叠的亮度通道图像，记为yout，将yout中坐标位置为(x,y)的像素点的像素值记为yout(x,y)；然后将yout中的每个像素点叠加后的像素值除以该像素点的重叠次数得到亮度通道图像，记为将中坐标位置为(x,y)的像素点的像素值记为其中，yout、的宽度均为m且高度均为n，1≤x≤m，1≤y≤n；步骤2_8：对进行线性变换优化，得到所有曝光图像的亮度通道图像融合后的亮度通道图像，记为将中坐标位置为(x,y)的像素点的像素值记为其中，ymin表示中的最小像素值，ymax表示中的最大像素值；步骤3：获取所有曝光图像的第一色度通道图像融合后的第一色度通道图像，具体过程为：步骤3_1：计算每幅曝光图像的第一色度通道图像中的每个像素点的融合系数，将cbd中坐标位置为(x,y)的像素点的融合系数记为其中，1≤x≤m，1≤y≤n，符号“||”为取绝对值符号，cbd(x,y)表示cbd中坐标位置为(x,y)的像素点的像素值；步骤3_2：计算所有曝光图像的第一色度通道图像融合后的第一色度通道图像，记为步骤4：获取所有曝光图像的第二色度通道图像融合后的第二色度通道图像，具体过程为：步骤4_1：计算每幅曝光图像的第二色度通道图像中的每个像素点的融合系数，将crd中坐标位置为(x,y)的像素点的融合系数记为其中，crd(x,y)表示crd中坐标位置为(x,y)的像素点的像素值；步骤4_2：计算所有曝光图像的第二色度通道图像融合后的第二色度通道图像，记为步骤5：将组成的ycbcr颜色空间的图像从ycbcr颜色空间转换到rgb颜色空间，得到多曝光图像的融合图像。所述的步骤2_1中取r＝2。所述的步骤2_5中取k＝0.5。与现有技术相比，本发明的优点在于：1)本发明方法将rgb图像转换成ycbcr图像，分别对亮度通道和色度通道进行融合处理，避免了亮度信息的改变而影响色度信息，因此融合后的彩色图像保留了较好的纹理细节和颜色信息。2)本发明方法在亮度通道的融合中使用了高阶奇异值分解(hosvd，higherordersingularvaluedecomposition)技术，其是一种高效的数据分解技术，能够良好地保留数据的结构信息，因此本发明方法将该技术应用到细节变化明显的亮度通道中，用于表示亮度信息，有效地防止了在融合过程中出现伪影，并保留了较好的纹理细节。附图说明图1为本发明方法的总体实现框图；图2a为利用本发明方法对多曝光图像序列“lighthouse”进行融合得到的融合图像；图2b为利用gsaverage方法对多曝光图像序列“lighthouse”进行融合得到的融合图像；图2c为利用gu12方法对多曝光图像序列“lighthouse”进行融合得到的融合图像；图2d为利用li12方法对多曝光图像序列“lighthouse”进行融合得到的融合图像；图2e为利用li13方法对多曝光图像序列“lighthouse”进行融合得到的融合图像；图2f为利用lsaverage方法对多曝光图像序列“lighthouse”进行融合得到的融合图像；图2g为利用raman09方法对多曝光图像序列“lighthouse”进行融合得到的融合图像；图2h为利用vonikakis11对多曝光图像序列“lighthouse”进行融合得到的融合图像；图3a为利用本发明方法对多曝光图像序列“madison”进行融合得到的融合图像；图3b为利用gsaverage方法对多曝光图像序列“madison”进行融合得到的融合图像；图3c为利用gu12方法对多曝光图像序列“madison”进行融合得到的融合图像；图3d为利用li12方法对多曝光图像序列“madison”进行融合得到的融合图像；图3e为利用li13方法对多曝光图像序列“madison”进行融合得到的融合图像；图3f为利用lsaverage方法对多曝光图像序列“madison”进行融合得到的融合图像；图3g为利用raman09方法对多曝光图像序列“madison”进行融合得到的融合图像；图3h为利用vonikakis11对多曝光图像序列“madison”进行融合得到的融合图像；图4为滑动窗口的大小即亮度块的大小设置为11×11、滑动窗口的步长设置为2时不同取值k对qab/f的影响；图5为权重指数取值为0.5、滑动窗口的步长设置为2时不同亮度块的大小对qab/f的影响；图6为权重指数取值为0.5、亮度块的大小设置为11×11时滑动窗口的步长大小对qab/f的影响。具体实施方式以下结合附图实施例对本发明作进一步详细描述。本发明提出的一种基于高阶奇异值分解的多曝光图像融合方法，其总体实现框图如图1所示，其包括以下步骤：步骤1：选取d幅宽度为m且高度为n的不同的曝光图像；然后将每幅曝光图像从rgb颜色空间转换到ycbcr颜色空间，得到每幅曝光图像的亮度通道(y)图像、第一色度通道(cb)图像、第二色度通道(cr)图像，将第d幅曝光图像的亮度通道图像、第一色度通道图像、第二色度通道图像对应记为yd、cbd、crd；其中，d为正整数，d＞1，如取d＝100，d为正整数，d的初始值为1，1≤d≤d。步骤2：获取所有曝光图像的亮度通道图像融合后的亮度通道图像，具体过程为：步骤2_1：使用宽度为且高度为的滑动窗口，以步长为r个像素点，在每幅曝光图像的亮度通道图像中进行滑动，将每幅曝光图像的亮度通道图像划分为l个亮度块，将yd中的第i个亮度块记为bd,i；在亮度块划分过程中会出现重叠，不同的像素点会有不同次数的叠加，因此并记录在亮度块划分过程中每幅曝光图像的亮度通道图像中的每个像素点的重叠次数；然后将所有曝光图像的亮度通道图像中相同位置的亮度块构成一个大小为的张量，共得到l个张量，每个张量对应有d个亮度块，将所有曝光图像的亮度通道图像中的第i个亮度块构成的张量记为ai；其中，一般情况下取在本实施例中取r为正整数，min()为取最小值函数，在本实施例中取r＝2，i为正整数，i的初始值为1，1≤i≤l。步骤2_2：对每个张量进行高阶奇异值分解，对于ai，对ai进行高阶奇异值分解后得到ai＝si×1ui×2vi×3wi；其中，si表示ai的核张量，ui表示ai的第一模式因子矩阵，vi表示ai的第二模式因子矩阵，wi表示ai的第三模式因子矩阵，符号“×1”为张量的第一模式乘积符号，符号“×2”为张量的第二模式乘积符号，符号“×3”为张量的第三模式乘积符号。步骤2_3：获取每个张量对应的每个亮度块的特征系数，将ai对应的第d个亮度块的特征系数记为其中，ai对应的第d个亮度块即为bd,i，表示ai对应的第d个亮度块即bd,i的核张量，即bd,i可以表示为(vi)t为vi的转置。步骤2_4：计算每个张量对应的每个亮度块的活动等级测度，将ai对应的第d个亮度块的活动等级测度记为其中，m为正整数，m的初始值为1，n为正整数，n的初始值为1，符号“||”为取绝对值符号，表示中下标为(m,n)处的值。步骤2_5：获取每个张量的融合系数矩阵，将ai的融合系数矩阵记为ei，其中，k为权重指数，k∈(0,1]，在本实施例中取k＝0.5。步骤2_6：计算每个张量对应的融合后的亮度块，将ai对应的融合后的亮度块记为fi，fi＝ui×ei×(vi)t；其中，(vi)t为vi的转置。步骤2_7：根据得到的l个融合后的亮度块，获取由l个融合后的亮度块构成的重叠的亮度通道图像，记为yout，将yout中坐标位置为(x,y)的像素点的像素值记为yout(x,y)；然后将yout中的每个像素点叠加后的像素值除以该像素点的重叠次数得到亮度通道图像，记为将中坐标位置为(x,y)的像素点的像素值记为比如yout中坐标位置为(x,y)的像素点的重叠次数为3，即属于3个亮度块，像素值分别为50、40、80，那么的值为(50+40+80)除以3；其中，yout、的宽度均为m且高度均为n，1≤x≤m，1≤y≤n。步骤2_8：为了保证占据亮度通道的整个范围，以得到更高的对比度图像，对进行线性变换优化，得到所有曝光图像的亮度通道图像融合后的亮度通道图像，记为将中坐标位置为(x,y)的像素点的像素值记为其中，ymin表示中的最小像素值，ymax表示中的最大像素值。步骤3：获取所有曝光图像的第一色度通道图像融合后的第一色度通道图像，具体过程为：步骤3_1：计算每幅曝光图像的第一色度通道图像中的每个像素点的融合系数，将cbd中坐标位置为(x,y)的像素点的融合系数记为其中，1≤x≤m，1≤y≤n，符号“||”为取绝对值符号，cbd(x,y)表示cbd中坐标位置为(x,y)的像素点的像素值；cbd中的像素点的像素值越接近128，像素点携带的颜色信息越少，因此cbd中的每个像素点的融合系数由该像素点的像素值与128的差值的绝对值确定。步骤3_2：计算所有曝光图像的第一色度通道图像融合后的第一色度通道图像，记为步骤4：获取所有曝光图像的第二色度通道图像融合后的第二色度通道图像，具体过程为：步骤4_1：计算每幅曝光图像的第二色度通道图像中的每个像素点的融合系数，将crd中坐标位置为(x,y)的像素点的融合系数记为其中，crd(x,y)表示crd中坐标位置为(x,y)的像素点的像素值；crd中的像素点的像素值越接近128，像素点携带的颜色信息越少，因此crd中的每个像素点的融合系数由该像素点的像素值与128的差值的绝对值确定。步骤4_2：计算所有曝光图像的第二色度通道图像融合后的第二色度通道图像，记为步骤5：将组成的ycbcr颜色空间的图像从ycbcr颜色空间转换到rgb颜色空间，得到多曝光图像的融合图像。为了进一步说明本发明方法的可行性和有效性，进行如下实验。采用balloons、belgiumhouse、cadik、candle、cave、house、kluki、lamp、lighthouse、madison十个具有高对比度和细节的不同场景的多曝光图像序列。表1显示了每个多曝光图像序列的信息，包括名称、空间分辨率和曝光图像数量。表1多曝光图像序列多曝光图像序列曝光图像尺寸balloons512×339×9belgiumhouse512×384×9cadik512×384×15candle512×364×3cave512×384×3house512×340×4kluki512×341×3lamp512×342×6lighthouse512×340×3madison512×384×30在此选择七种经典的多曝光图像融合算法与本发明方法作对比，以验证本发明方法的可行性和有效性。七种经典的多曝光图像融合算法分别是全局平均法简称为gsaverage，在b.gu,w.li,j.wong,m.zhu,andm.wang,“gradientfieldmulti-exposureimagesfusionforhighdynamicrangeimagevisualization,”j.vis.commun.imag.represent.,vol.23,no.4,pp.604–610,may2012.(用于高动态范围图像可视化的梯度场多曝光图像融合)一文中提出的方法简称为gu12，在z.g.li,j.h.zheng,ands.rahardja,“detail-enhancedexposurefusion,”ieeetrans.imageprocess.,vol.21,no.11,pp.4672–4676,nov.2012.(细节增强的曝光融合)一文中提出的方法简称为li12，在s.li,x.kang,andj.hu,“imagefusionwithguidedfiltering,”ieeetrans.imageprocess.,vol.22,no.7,pp.2864–2875,jul.2013.(带引导滤波的图像融合)一文中提出的方法简称为li13，局部平均法简称为lsaverage，在s.ramanands.chaudhuri,“bilateralfilterbasedcompositingforvariableexposurephotography,”inproc.eurographics,2009,pp.1–4.(基于双边滤波器的可变曝光摄影合成)一文中提出的方法简称为raman09，在v.vonikakis,o.bouzos,i.andreadis,“multi-exposureimagefusionbasedonilluminationestimation,”specializedinformationpublishersassociation,pp.135–142,heraklion,crete,greece,2011.(基于光照估计的多曝光图像融合)一文中提出的方法简称为vonikakis11。1)主观评价利用本发明方法、gsaverage方法、gu12方法、li12方法、li13方法、lsaverage方法、raman09方法、vonikakis11方法分别对多曝光图像序列“lighthouse”进行融合，图2a至图2h对应给出了利用上述八种方法得到的融合图像。从图2a中可以看出利用本发明方法得到的融合图像具有良好的对比度和颜色信息；从图2b和图2g中可以看出gsaverage方法和raman09方法在天空部分对比度较低，并且石头区域更暗并且不能显示更多细节纹理；从图2c中可以看出gu12方法得到的整幅融合图像的颜色明显失真，融合图像的颜色偏灰，这与实际的颜色完全不同；从图2d中可以看出li12方法在天空部分显示出了良好的色彩和对比度，但是石头区域的颜色发生了失真；从图2e中可以看出li13方法可以获得更好的全局对比度，但是该方法在房屋周围出现了光晕伪影；从图2f中可以看出lsaverage方法得到的融合图像的效果最差，整幅融合图像在细节纹理上严重失真；从图2h中可以看出vonikakis11方法可以在较亮的区域保留不错的纹理细节，但是石头较暗区域的纹理细节会丢失。利用本发明方法、gsaverage方法、gu12方法、li12方法、li13方法、lsaverage方法、raman09方法、vonikakis11方法分别对多曝光图像序列“madison”进行融合，图3a至图3h对应给出了利用上述八种方法得到的融合图像。从图3a中可以看出利用本发明方法得到的融合图像具有良好的全局对比度，人像柱子保留了丰富的纹理细节；从图3g和图3h中可以看出raman09方法和vonikakis11方法得到的融合图像色调总体偏暗，不能有效地显示出灰暗区域的纹理；从图3b中可以看出gsaverage方法在人像上不能很清晰地显示，并且柱子和窗户色调偏暗；从图3c中可以看出gu12方法尽管可以较好地显示出轮廓纹理，但是颜色具有严重的失真，融合图像的颜色总体偏灰；从图3d中可以看出li12方法保留了良好的亮度信息，但有些区域太亮而无法显示细致的纹理；从图3f中可以看出lsaverage方法仍然具有严重的纹理失真；从图3e中可以看出li13方法可以保持良好的亮度，但全局对比度不够高。2)客观评价利用本发明方法、gsaverage方法、gu12方法、li12方法、li13方法、lsaverage方法、raman09方法、vonikakis11方法分别对多曝光图像序列“balloons”、“belgiumhouse”、“cadik”、“candle”、“cave”、“house”、“kluki”、“lamp”、“lighthouse”、“madison”进行融合。在此使用在c.s.xydeasandv.petrovic,“objectiveimagefusionperformancemeasure,”electron.lett.,vol.36,no.4,pp.308–309,feb.2000.(客观图像融合性能测度)一文中提出的qab/f作为客观质量评价指标。qab/f是一个被广泛用于评价融合图像质量的客观评价指标，主要用于分析融合图像的边缘信息，并且qab/f值越大代表融合图像的质量越好。表2列出了使用qab/f评价使用不同融合方法得到的融合图像的值，其中每组中最大的两个值以粗体显示。从表2可以看出，本发明方法和li13方法的性能相近，并明显优于其他方法。表2使用qab/f评价使用不同融合方法得到的融合图像的值对权重指数k、亮度块的大小即滑动窗口的大小、滑动窗口的步长的影响进行分析。1)权重指数k的影响在本发明方法中，在亮度通道融合图像的获取过程中将k设置为0.5。图4显示了亮度块的大小设置为11×11、滑动窗口的步长设置为2时不同取值k对qab/f的影响，图4中的横坐标表示k的取值，纵坐标表示十组融合图像的qab/f的平均值。从图4中可以看出，随着k的值不断变大，qab/f的值先变大后变小，当k取0.5时，qab/f的值最大。2)亮度块的大小即滑动窗口的大小的影响在本发明方法中，在亮度通道融合图像的获取过程中将滑动窗口的大小设置为11×11。图5显示了权重指数取值为0.5、滑动窗口的步长设置为2时不同亮度块的大小对qab/f的影响，图5中的横坐标表示亮度块的大小，纵坐标表示十组融合图像的qab/f的平均值。从图5中可以看出qab/f的值随着亮度块的大小增大而增大，亮度块的大小从3到8个像素点的范围内，qab/f的值变化趋势较大，变化曲线相对陡峭；亮度块的大小从8到12个像素点的范围内，qab/f的值变化趋势不是很大，变化曲线相对平坦。3)滑动窗口的步长的影响在本发明方法中，在亮度通道融合图像的获取过程中将滑动窗口的步长设置为2。图6显示了权重指数取值为0.5、亮度块的大小即滑动窗口的大小设置为11×11时滑动窗口的步长大小对qab/f的影响，图6的横坐标表示滑动窗口的步长的大小，纵坐标表示十组融合图像的qab/f的平均值。从图6中可以看出，在滑动窗口的步长为1和2时，qab/f的值大小基本相同，随着滑动窗口的步长的增大，qab/f的值总体呈不断减小的趋势。当前第1页12