本发明涉及一种图像处理技术,尤其是涉及一种光晕去除的多曝光图像融合方法。
背景技术
动态范围是可变化信号中的最大值和最小值的比值。对于一个实际场景,动态范围即指该实际场景中存在的最大亮度值与最小亮度值的比值。由于真实自然环境中存在着丰富的光影和颜色信息,其亮度动态范围一般都非常大,最大可以跨越1014数量级,远远超过了目前市场上通用的成像设备所能捕获的动态范围,因此,能够真实再现自然场景的高动态范围成像技术凭借其完美的纹理细节保留、逼真的视觉感知,已越来越广泛地应用在数字摄影、航天航空、卫星气象、医疗、军事等行业。
目前,高动态范围成像技术主要有两类,即基于硬件实现技术和基于软件合成技术。基于硬件实现的高动态范围成像技术需要特定的高动态范围成像设备拍摄,该类设备价格昂贵,因此未能在通用市场中流行。最初的基于软件合成的高动态范围成像技术,是通过改变曝光度来取舍亮度信息以获取场景的某一段动态范围,然后通过已获知的曝光时间来修复相机响应曲线并将图像映射至场景辐射度域,最后在场景辐射度域进行图像加权融合;该技术需获知精确的曝光时间,且所获的高动态范围图像需经过色调映射才能在普通显示设备上显示。当前基于多曝光图像融合的高动态范围合成技术已获得人们的广泛关注,该多曝光图像融合的高动态范围合成技术不需要获知精确的曝光时间来修复相机响应曲线及将图像映射到场景辐射度域,其合成图像能够提供比单幅图像更为丰富的细节信息、更接近人眼所观察到的真实景物,同时也可以直接在普通显示设备上显示,因此具有更高的计算效率。
目前,常用的多曝光图像融合方法主要有:直接融合方法、基于区域的融合方法、基于拉普拉斯、引导滤波等各类金字塔的分层融合方法。但是以上融合方法并没有充分考虑到高动态范围场景下,通过多曝光融合方式获取的高动态范围图像容易在局部亮度变化剧烈区域产生光晕现象,影响人眼视觉感知结果。多曝光图像融合过程中,在场景中亮度变化剧烈区域会产生光晕现象,其主要原因是在多曝光图像序列的获取过程中,通过改变曝光度取舍亮度信息可以获取场景的某一段动态范围,但场景局部亮度变化剧烈的程度可能远超过普通相机所能涵盖的动态范围,这在某一曝光条件下会在该亮度变化剧烈区域产生过曝光与欠曝光相邻的现象,且在该曝光条件下该相邻边界获得的梯度幅值远大于其他曝光条件下相同位置所获得的梯度幅值,将该大幅值的梯度应用于多曝光融合过程即会在融合图像中产生光晕现象。因此,研究一种新型的多曝光图像融合方法来获得既含有丰富纹理细节和高清晰度,又无光晕现象的高动态范围图像非常重要。
技术实现要素:
本发明所要解决的技术问题是提供一种光晕去除的多曝光图像融合方法,其融合得到的高动态范围图像不存在光晕现象,且含有丰富纹理细节和具有高清晰度。
本发明解决上述技术问题所采用的技术方案为:一种光晕去除的多曝光图像融合方法,其特征在于包括以下步骤:
步骤一:选取不同场景的清晰图像共nclear幅,选取的清晰图像包括室内场景的清晰图像和室外场景的清晰图像;然后获取每幅清晰图像的亮度图像;接着获取每幅清晰图像的亮度图像的梯度幅值图像;其中,清晰图像为rgb格式,nclear≥2,室内场景的清晰图像的幅数与室外场景的清晰图像的幅数相同;
步骤二:通过滑动窗口技术将每幅清晰图像的亮度图像的梯度幅值图像划分成nblock个部分重叠的尺寸大小为block×block的图像块;然后将每幅清晰图像的亮度图像的梯度幅值图像中的每个图像块中的所有像素点的像素值按序排列构成该图像块对应的幅值列向量;接着将每幅清晰图像的亮度图像的梯度幅值图像中的所有图像块对应的幅值列向量构成该幅清晰图像的亮度图像的梯度幅值图像对应的幅值矩阵;再将所有清晰图像的亮度图像的梯度幅值图像对应的幅值矩阵构成总幅值矩阵,记为sclear;其中,滑动窗口的窗口大小为block×block、滑动步长为1个像素点,nblock=(w-block+1)×(h-block+1),w表示清晰图像的宽度,h表示清晰图像的高度,block=2n+1,n为正整数,1≤n≤5,幅值列向量的维数为(block×block)×1,幅值矩阵的维数为(block×block)×nblock,sclear的维数为(block×block)×(nblock×nclear);
步骤三:采用k-svd算法对sclear进行处理,得到最优的过饱和字典,记为dbest;其中,dbest的维数为(block×block)×k,k表示dbest中的原子的总个数;
步骤四:选取待融合的同一场景而曝光程度不同的nex幅曝光图像,所有曝光图像中各自含有场景中的在不同曝光条件下所能呈现出来的纹理细节,将第nex幅曝光图像记为
步骤五:通过滑动窗口技术将每幅待处理图像的亮度图像的梯度幅值图像划分成n'block个部分重叠的尺寸大小为block×block的图像块;然后将每幅待处理图像的亮度图像的梯度幅值图像中的每个图像块中的所有像素点的像素值按序排列构成该图像块对应的幅值列向量;接着将每幅待处理图像的亮度图像的梯度幅值图像中的所有图像块对应的幅值列向量构成该幅待处理图像的亮度图像的梯度幅值图像对应的幅值矩阵,将第nex幅待处理图像的亮度图像的梯度幅值图像对应的幅值矩阵记为
步骤六:计算每幅待处理图像的亮度图像的梯度幅值图像对应的幅值矩阵的稀疏系数矩阵,将
步骤七:对每幅曝光图像的亮度图像进行归一化处理,得到每幅曝光图像的亮度图像的归一化图像,将
步骤八:计算每幅曝光图像的亮度图像的初步融合权值图像,将
步骤九:计算所有曝光图像的最终融合图像,记为if,将if的第m个通道中坐标位置为(xex,yex)的像素点的像素值记为if(xex,yex,m),
所述的步骤三中,dbest的获取过程为:令d表示过饱和字典;然后赋予d初始值;再计算公式
与现有技术相比,本发明的优点在于:
1)由于在高动态范围场景中存在剧烈的局部亮度变化,可能远超过普通相机所能涵盖的动态范围,因此在多曝光图像序列的某一曝光条件下产生相对图像融合而言为无效的大幅值梯度,本发明充分考虑到该现象,构建局部梯度稀疏复杂度映射图进行图像融合,有效抑制了大幅值的无效梯度在图像融合过程中产生的影响,消除了融合图像中的光晕现象,提高了人眼视觉感知效果。
2)本发明方法通过针对多曝光图像序列的亮度图像的梯度幅值图像的稀疏表示构建局部梯度稀疏复杂度映射图及曝光质量映射图进行图像融合,能更有效地提取多曝光图像序列中不同曝光条件下的图像纹理细节,因此融合图像中含有更丰富的纹理细节和具有更高的清晰度。
3)本发明方法通过针对多曝光图像序列的亮度图像的梯度幅值图像的稀疏表示构建局部梯度稀疏复杂度映射图及曝光质量映射图进行图像融合,并不需要从过饱和字典中恢复出融合图像,而是利用多曝光图像序列加权叠加的模式实现图像融合,因此在获得丰富纹理细节和较高清晰度的同时,具有更高的计算效率。
附图说明
图1为本发明方法的总体流程框图;
图2a为待融合的第1幅曝光图像;
图2b为待融合的第2幅曝光图像;
图2c为待融合的第3幅曝光图像;
图2d为待融合的第4幅曝光图像;
图2e为待融合的第5幅曝光图像;
图3a为图2a所示的曝光图像的亮度图像的局部梯度稀疏复杂度映射图;
图3b为图2b所示的曝光图像的亮度图像的局部梯度稀疏复杂度映射图;
图3c为图2c所示的曝光图像的亮度图像的局部梯度稀疏复杂度映射图;
图3d为图2d所示的曝光图像的亮度图像的局部梯度稀疏复杂度映射图;
图3e为图2e所示的曝光图像的亮度图像的局部梯度稀疏复杂度映射图;
图4a为图2a所示的曝光图像的亮度图像的曝光质量映射图;
图4b为图2b所示的曝光图像的亮度图像的曝光质量映射图;
图4c为图2c所示的曝光图像的亮度图像的曝光质量映射图;
图4d为图2d所示的曝光图像的亮度图像的曝光质量映射图;
图4e为图2e所示的曝光图像的亮度图像的曝光质量映射图;
图5a为图2a所示的曝光图像的亮度图像的初步融合权值图像;
图5b为图2b所示的曝光图像的亮度图像的初步融合权值图像;
图5c为图2c所示的曝光图像的亮度图像的初步融合权值图像;
图5d为图2d所示的曝光图像的亮度图像的初步融合权值图像;
图5e为图2e所示的曝光图像的亮度图像的初步融合权值图像;
图6a为图5a所示的初步融合权值图像的归一化图像的优化图像的归一化图像;
图6b为图5b所示的初步融合权值图像的归一化图像的优化图像的归一化图像;
图6c为图5c所示的初步融合权值图像的归一化图像的优化图像的归一化图像;
图6d为图5d所示的初步融合权值图像的归一化图像的优化图像的归一化图像;
图6e为图5e所示的初步融合权值图像的归一化图像的优化图像的归一化图像;
图7a为利用本发明方法融合图2a至图2e所示的曝光图像得到的融合图像;
图7b为利用现有方法融合图2a至图2e所示的曝光图像得到的融合图像。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
由于高动态范围场景中存在剧烈的局部亮度变化,可能远超过普通相机所能涵盖的动态范围,因此由曝光参数渐变而获得的多曝光图像序列会在某一曝光条件下在局部亮度变化剧烈区域产生过曝光与欠曝光相邻的现象,且在该曝光条件下该相邻边界获得的梯度幅值远大于其他曝光条件下相同位置所获得的梯度幅值。如果以梯度幅值的强弱作为图像融合依据,那么会在该幅值较大的无效梯度邻域产生光晕现象。因此,可以认为该大幅值梯度为多曝光图像融合过程中的无效梯度。本发明通过详细分析多曝光图像融合过程中出现的光晕现象是由于场景中存在局部亮度变化剧烈区域,从而在多曝光图像序列中产生了非自然场景真实存在的过曝光与欠曝光相邻现象导致存在大幅值的无效梯度。同时也正是由于该大幅值无效梯度是由于过曝光和欠曝光相邻边界产生,其邻域的其他梯度变化值几乎为0,因此可以利用稀疏表示算法强有力的细节提取能力,有效获取其他曝光条件下曝光图像在该区域的纹理细节信息,来抑制大幅值无效梯度在图像融合过程中产生影响,从而消除光晕的存在。
本发明提出的一种光晕去除的多曝光图像融合方法,其总体流程框图如图1所示,其包括以下步骤:
步骤一:选取不同场景的清晰图像共nclear幅,选取的清晰图像包括室内场景的清晰图像和室外场景的清晰图像;然后获取每幅清晰图像的亮度图像;接着获取每幅清晰图像的亮度图像的梯度幅值图像;其中,清晰图像为rgb格式,nclear≥2,在本实施例中取nclear=4,室内场景的清晰图像的幅数与室外场景的清晰图像的幅数相同,如选取2幅室内场景的清晰图像和2幅室外场景的清晰图像。
步骤二:通过滑动窗口技术将每幅清晰图像的亮度图像的梯度幅值图像划分成nblock个部分重叠的尺寸大小为block×block的图像块;然后将每幅清晰图像的亮度图像的梯度幅值图像中的每个图像块中的所有像素点的像素值按序排列构成该图像块对应的幅值列向量;接着将每幅清晰图像的亮度图像的梯度幅值图像中的所有图像块对应的幅值列向量构成该幅清晰图像的亮度图像的梯度幅值图像对应的幅值矩阵;再将所有清晰图像的亮度图像的梯度幅值图像对应的幅值矩阵构成总幅值矩阵,记为sclear;其中,滑动窗口的窗口大小为block×block、滑动步长为1个像素点,nblock=(w-block+1)×(h-block+1),w表示清晰图像的宽度,h表示清晰图像的高度,block=2n+1,n为正整数,1≤n≤5,在本实施例中取n=2,即block=5,也即图像块的尺寸大小为5×5,幅值列向量的维数为(block×block)×1,幅值矩阵的维数为(block×block)×nblock,sclear的维数为(block×block)×(nblock×nclear)。
步骤三:采用现有的k-svd算法对sclear进行处理,得到最优的过饱和字典,记为dbest;其中,dbest的维数为(block×block)×k,k表示dbest中的原子的总个数,在本实施例中取k=256。
在本实施例中,步骤三中,dbest的获取过程为:令d表示过饱和字典;然后赋予d初始值;再计算公式
步骤四:选取待融合的同一场景而曝光程度不同的nex幅曝光图像,所有曝光图像中各自含有场景中的在不同曝光条件下所能呈现出来的纹理细节,将第nex幅曝光图像记为
图2a至图2e给出了同一场景而曝光程度不同的5幅曝光图像。
步骤五:通过滑动窗口技术将每幅待处理图像的亮度图像的梯度幅值图像划分成n'block个部分重叠的尺寸大小为block×block的图像块;然后将每幅待处理图像的亮度图像的梯度幅值图像中的每个图像块中的所有像素点的像素值按序排列构成该图像块对应的幅值列向量;接着将每幅待处理图像的亮度图像的梯度幅值图像中的所有图像块对应的幅值列向量构成该幅待处理图像的亮度图像的梯度幅值图像对应的幅值矩阵,将第nex幅待处理图像的亮度图像的梯度幅值图像对应的幅值矩阵记为
步骤六:计算每幅待处理图像的亮度图像的梯度幅值图像对应的幅值矩阵的稀疏系数矩阵,将
图3a至图3e对应给出了图2a至图2e所示的曝光图像的亮度图像的局部梯度稀疏复杂度映射图。
步骤七:对每幅曝光图像的亮度图像进行归一化处理,得到每幅曝光图像的亮度图像的归一化图像,将
图4a至图4e对应给出了图2a至图2e所示的曝光图像的亮度图像的曝光质量映射图。
步骤八:计算每幅曝光图像的亮度图像的初步融合权值图像,将
图5a至图5e对应给出了图2a至图2e所示的曝光图像的亮度图像的初步融合权值图像;图6a至图6e对应给出了图5a至图5e所示的初步融合权值图像的归一化图像的优化图像的归一化图像。
步骤九:计算所有曝光图像的最终融合图像,记为if,将if的第m个通道中坐标位置为(xex,yex)的像素点的像素值记为if(xex,yex,m),
图7a给出了利用本发明方法融合图2a至图2e所示的曝光图像得到的融合图像;图7b给出了利用现有方法(s.li,x.kang,j.hu,“imagefusionwithguidedfiltering,”ieeetransactionsonimageprocessing,22(7),28-64(2013).(基于引导滤波的图像融合))融合图2a至图2e所示的曝光图像得到的融合图像。比较图7a和图7b可以看出,利用本发明方法获得的融合图像明显地消除了光晕现象。
为进一步试验本发明方法的可行性和有效性,对本发明方法进行实验。
在此利用传统的图像质量评价方法来评价本发明方法及现有的5种融合方法的实验结果,传统的图像质量评价方法为图像梯度信息评价方法和无参考图像质量评价diivine方法,图像梯度信息评价方法主要用于分析曝光图像中的边缘信息在融合图像中的保留情况,保留越多,其值越大;无参考图像质量评价diivine方法主要用于评价融合图像对人眼的感知情况,所获得值越大,则表明融合图像越符合人眼感知需求。
现有的5种融合方法分别为:t.mertens,j.kautz,f.vanreeth,“exposurefusion:asimpleandpracticalalternativetohighdynamicrangephotography,”computergraphicsforum,28(1),161–171(2010).(一种简单实用的高动态范围摄影方法(在此简称为mertens10))、v.vonikakis,o.bouzos,i.andreadis,“multi-exposureimagefusionbasedonilluminationestimation,”specializedinformationpublishersassociation,pp.135–142,heraklion,crete,greece(2011).(基于光照估计的多曝光图像融合(在此简称为vonikakis11))、s.li,x.kang,j.hu,“imagefusionwithguidedfiltering,”ieeetransactionsonimageprocessing,22(7),28-64(2013).(基于引导滤波的图像融合(在此简称为li13))、y.liu,z.wang,“densesiftforghost-freemulti-exposurefusion,”journalofvisualcommunication&imagerepresentation,31(c),208–224(2105).(基于稠密sift特征的鬼影去除多曝光图像融合(在此简称为liu15))、k.ma,h.li,h.yong,etal.,“robustmulti-exposureimagefusion:astructuralpatchdecompositionapproach,”ieeetransactionsonimageprocessing,26(5),2519–2532(2017).(高鲁棒的多曝光图像融合:一种基于结构块分解的方法(在此简称为ma17))。
表1给出了分别利用本发明方法及现有的5种融合方法得到的融合图像的图像梯度信息评价的评价值,表2给出了分别利用本发明方法及现有的5种融合方法得到的融合图像的无参考图像质量评价的评价值。
表1分别利用本发明方法及现有的5种融合方法得到的融合图像的图像梯度信息评价的评价值
表2分别利用本发明方法及现有的5种融合方法得到的融合图像的无参考图像质量评价的评价值
从表1所列的数据中可以看出,利用本发明方法得到的融合图像的图像梯度信息的评价值最高,表明曝光图像中的边缘信息在利用本发明方法得到的融合图像中保留的最多。从表2所列的数据中可以看出,本发明方法得到的融合图像最符合人眼感知。实验结果以及数据分析充分表明了本发明的优点,实验结果也契合了本发明提出的理念:通过抑制高幅值无效梯度,有效地提高了图像融合质量,消除了光晕现象。