一种基于色觉感知及全局质量因子的多曝光度图像融合方法
【专利摘要】本发明属于图像、视频处理【技术领域】，具体涉及一种基于色觉感知及全局质量因子的多曝光度图像融合方法，主要解决多曝光度图像融合处理中由于融合评价标准选取不当产生的图像色彩失真问题，可用于在不改变图像动态范围的前提下改善最终图像质量，把图像在不同曝光度下的显著细节融合在同一张低动态范围的图像之中，并利用全局质量因子选择合适的参照图进行色彩校正，在不改变图像动态范围的前提下得到可以和高动态范围图像结果相媲美的低动态范围图像，本发明能够方便的获得自然、清晰的多曝光度图像融合结果，可广泛应用于图像、视频处理的相关领域中。
【专利说明】一种基于色觉感知及全局质量因子的多曝光度图像融合方法
【技术领域】
[0001]本发明属于图像、视频处理【技术领域】，具体涉及一种基于色觉感知及全局质量因子的多曝光度图像融合方法。
【背景技术】
[0002]高动态范围HDR图像是计算机视觉与数字图像处理中的问题之一，也是当今图像领域的热点问题之一。图像的动态范围指的是一幅图像中最亮的像素点的亮度值和最暗的像素点的亮度值之间的比率。由于动态范围的局限，成像设备往往不能重构出真实自然的场景。最初，这类图像都是用光学仿真完成的。如今，高动态范围图像很容易生成，即只需要一系列曝光程度不同的照片，就可以制作高动态范围的图像。实践表明，利用不同的曝光时间拍摄相同的场景，由于曝光度的差别每幅图像都会展现出了其他图像展现不出来的细节。举例来说，直接由阳光照射的部分的真实颜色只能在曝光度最低的图像中显示出来，而在这一系列不同曝光的其他照片中这部分的色彩都过度曝光了。图像中阴影处的细节在曝光度高的图像中才能完整呈现，而在曝光度较低的图像中却是模糊一片。由于以上问题，普通照相机无法在一幅图像中同时捕捉并展现所有细节；而对于人类来说，由于人的眼睛会根据物体的亮度不同进行自动调节，同时感知这些不同曝光度下的细节，因此照片在视觉体验方面总不能完全展现真实且自然的场景。
[0003]高动态范围图像处理的目的在于:利用现有的成像技术把所观测的场景尽可能真实的展现出来，使人通过普通照相机就可重构出可以与现实场景真实度相媲美的图像，这个处理过程就是高动态范围图像的合成与重构。在合成方面，利用现有技术将曝光度不同的图片合成一幅高动态范围图像，该图像的动态范围可以高达25，000:1 ;然而，一般的显示设备的动态范围通常低于100:1，因此，与低动态范围图像相比较，高动态范围图像显然能够更加敏锐的捕捉图像中的细节。
[0004]与低动态范围图像相比，闻动态范围图像拥有很多优点，在医学图像，视频监视等一些应用中高动态范围图像尤为重要。然而，高动态范围图像也为显像技术带来了挑战:如今的显像设备，如显示器，打印机等的动态范围都远远小于真实场景中的动态范围，急需解决的问题就是如何能在尽量保留图像细节和视觉内容的前提下利用低动态范围的显像设备来显示高动态范围的图像。
[0005]多曝光度图像的融合技术可以把图像在不同曝光度下的显著细节融合在同一张低动态范围的图像之中，在不改变图像动态范围的前提下得到可以和高动态范围图像结果相媲美的低动态范围图像。因此可以广泛应用到如数码相机，智能手机等需要快速得到高动态范围图像效果的电子产品中。
[0006]近十几年来，出现了许多种不同的图像的融合方法，总体来讲这些融合方法可以分为两类，即:针对运动目标的图像融合和针对静止目标的图像融合方法。
[0007]针对运动目标的图像融合方法，由于在不同的曝光度下场景中的物体进行了移动，简单的融合图像会造成“鬼影”效果。所以针对运动目标的图像融合方法根据去“鬼影”的方法不同，又细分为两类:即融合多幅曝光度不同的图像后直接去掉“鬼影”;或者利用一幅正常曝光度的图像经过局部直方图拉伸得到同一位置的欠曝光和过曝光图像再融合生成结果图两种方法。
[0008]针对静止目标的图像融合方法，由于在不同曝光度下场景中的物体没有移动，所以融合相对简单。针对融合技术不同可以细分为三类，即:多传感器图像融合，即融合多个不同传感器拍摄的同一图像的细节信息；多焦距图像融合，即融合多个焦距拍摄下同一图像的细节信息；多曝光度图像融合，即融合多个曝光度下拍摄的同一图像的细节信息。
[0009]现有的多曝光度图像融合技术，仍然存在很多问题，像高动态范围图像合成容易产生色觉失真，融合图像的色彩难以矫正，融合图像中特征值选取不当容易带来失真。
【发明内容】
[0010]本发明的目的是提供一种基于色觉感知及全局质量因子的多曝光度图像融合方法，克服现有多曝光度图像融合技术在高动态范围图像合成中容易产生色觉失真的问题。
[0011]为此，本发明的技术方案是:提供了一种基于色觉感知及全局质量因子的多曝光度图像融合方法，其特征在于:包括如下步骤:
[0012]步骤一:输入η幅曝光度不同的图像In，利用质量评价标准，即对比度Cn，饱和度Sn和亮度Bn分别计算出不同曝光度图像的权重；
[0013]其中:n是图像的数量，Cn是指对比度，Sn是指饱和度，Bn是指的亮度，In是指η幅图像；
[0014]步骤二:根据步骤一中计算出的权重值，对于不同曝光度的图像Ik，分别用线性方法得到标量权重图Wuk ；
[0015]其中:Wuk是对应的标量权重，下标i，j, k分别指的是像素点(i，j)在第k幅图像中；
[0016]步骤三:根据原始的输入图像及标量权重图融合得到原始的多曝光度融合图像:
[0017]第一步，利用拉普拉斯金字塔分解输入的图像Ik，得到每层对应的L{I}|j)k，利用高斯金字塔分解输入的权重图像Wuk,得到每层对应的
[0018]第二步，在每层图像上进行图像融合，分别利用η幅图像和其对应的η幅标准化的权重图作为阿尔法掩码；
[0019]第三步，分层融合每层对应的系数；
[0020]第四步，分解得到的结果图UR}1得到最终融合图像R ；
[0021]其中:1是指图像的拉普拉斯金字塔或高斯金字塔上的图层的层数；
[0022]步骤四:利用全局质量评价因子在输入的η幅不同曝光度的图像中选出最符合色觉感知的一幅作为参照图像Iin;
[0023]步骤五:利用参照图像Iin的亮度值Lin和色度值Cin对初始融合图像R进行色彩校正得到最终的矫正过的多曝光度图像(；ut。
[0024]在步骤一中所述的利用质量评价标准，即对比度Cn，饱和度Sn和亮度Bn分别计算出不同曝光度图像的权重，按如下公式计算:
[0025]Cn(i，j)=Yn(i，j)*h(i，j)
[0026]其中:*是卷积符号，￥?是输入的n幅曝光度不同的图像In的灰度图像，Yn = 0.299 X G + 0.587 X I言 + 0.114 x η 是输入图像的数量，if, ^分别代表在对应图层上的R，G，B值，高通滤波器h定义如下:
【权利要求】
1.一种基于色觉感知及全局质量因子的多曝光度图像融合方法，其特征在于:包括如下步骤: 步骤一:输入η幅曝光度不同的图像In，利用质量评价标准，即对比度Cn，饱和度Sn和亮度Bn分别计算出不同曝光度图像的权重； 其中:n是图像的数量，Cn是指对比度，Sn是指饱和度，Bn是指的亮度，In是指η幅图像； 步骤二:根据步骤一中计算出的权重值，对于不同曝光度的图像Ik，分别用线性方法得到标量权重图Wuk ； 其中=Wuk是对应的标量权重，下标i，j, k分别指的是像素点(i，j)在第k幅图像中； 步骤三:根据原始的输入图像及标量权重图融合得到原始的多曝光度融合图像: 第一步，利用拉普拉斯金字塔分解输入的图像Ik，得到每层对应 的L{I}lij,k，利用高斯金字塔分解输入的权重图像Wuk，得到每层对应的G{W}lij,k; 第二步，在每层图像上进行图像融合，分别利用η幅图像和其对应的η幅标准化的权重图作为阿尔法掩码； 第三步，分层融合每层对应的系数； 第四步，分解得到的结果图UR}1得到最终融合图像R ； 其中:1是指图像的拉普拉斯金字塔上或高斯金字塔上的图层的层数； 步骤四:利用全局质量评价因子在输入的η幅不同曝光度的图像中选出最符合色觉感知的一幅作为参照图像Iin; 步骤五:利用参照图像Iin的亮度值Lin和色度值Cin对初始融合图像R进行色彩校正得到最终的矫正过的多曝光度图像(；ut。
2.如权利要求1所述的一种基于色觉感知及全局质量因子的多曝光度图像融合方法，其特征在于:步骤一所述的利用质量评价标准，即对比度Cn，饱和度Sn和亮度Bn分别计算出不同曝光度图像的权重，按如下公式计算:
Cn(i, j)=Yn(i, j)*h(i, j) 其中:*是卷积符号，Yn是输入的η幅曝光度不同的图像In的灰度图像，
,η是输入图像的数量，Irn,Ign,Ibn分别代表在对应图层上的R，G，B值，高通滤波器h定义如下:
针对图像中每个像素(i，j)的局部对比度计算完成后，采用一个“赢者全得”的方法得出整幅图的对比度Cn(i,j)，如下: (
饱和度Sn是通过分别计算每个像素点(i，j)的R，G，B的标准差得出的；亮度Bn是以0.5为标准来判断没幅图像中亮度差距，求得的高斯曲率来计算的，如下:
其中:σ =0.2，b是指像素点(i，j)的亮度值。
3.如权利要求1所述的一种基于色觉感知及全局质量因子的多曝光度图像融合方法，其特征在于:步骤二中所述的标量权重图Wu，k，通过如下公式进行:
其中:C，S，B分别指代的是对比度，饱和度和亮度，其对应的权重分别为Wb ;如果ω=0，其对应的测量指标不计入最终权重图的计算。
4.如权利要求1所述的一种基于色觉感知及全局质量因子的多曝光度图像融合方法，其特征在于:步骤三中所述的分层融合每层对应的系数方法如下:
其中:拉普拉斯金字塔分解输入的图像ik，得到每层对应的L{I}ljJc，利用高斯金字塔分解输入的权重图像Wuk，得到每层对应的G{\V}|j)k，η是输入图像的数量，I代表拉普拉斯金字塔或高斯金字塔上的对应图层数。
5.如权利要求1所述的一种基于色觉感知及全局质量因子的多曝光度图像融合方法，其特征在于:步骤四所述的利用全局质量评价因子在输入的η幅不同曝光度的图像中选出最符合色觉感知的一幅作为参照图像Iin的方法如下:
Col=0.10XBri+0.50XCon+0.23XDet+0.12 XArt 其中:Bri是图像的亮度，Con是图像的对比度，Det是图像的细节，Art是图像的失真部分，Col最大的图像即为最终选择的参考图像。
6.如权利要求1所述的一种基于色觉感知及全局质量因子的多曝光度图像融合方法，其特征在于:步骤五所述的利用参照图像亮度值Lin和色度值Cin对初始融合图像R进行色彩校正得到最终的矫正过的多曝光度图像Cwt的方法如下:
其中=Ctjut是输出的经过色彩校正的多曝光度融合图像C=R，G，B1山_是原始多曝光度融合图像的亮度；Cin是根据全局质量因子选择出的参照图像的色度；Lin是根据全局质量因子选择出的参照图像的亮度，r是系数其取值范围是0.4~0.6之间(包含0.4和0.6)。
【文档编号】G06T5/50GK104077759SQ201410069705
【公开日】2014年10月1日 申请日期:2014年2月28日 优先权日:2014年2月28日
【发明者】郑喆坤, 焦李成, 房莹, 简萌, 乔伊果, 孙天 申请人:西安电子科技大学