多曝光图像融合方法与流程

本发明涉及显示技术领域，尤其涉及一种多曝光图像融合方法。

背景技术：

薄膜晶体管(thinfilmtransistor，tft)是目前液晶显示装置(liquidcrystaldisplay，lcd)和有源矩阵驱动式有机电致发光显示装置(activematrixorganiclight-emittingdiode，amoled)中的主要驱动元件，直接关系平板显示装置的显示性能。

现有市场上的液晶显示器大部分为背光型液晶显示器，其包括液晶显示面板及背光模组(backlightmodule)。液晶显示面板的工作原理是在薄膜晶体管阵列基板(thinfilmtransistorarraysubstrate，tftarraysubstrate)与彩色滤光片(colorfilter，cf)基板之间灌入液晶分子，并在两片基板上分别施加像素电压和公共电压，通过像素电压和公共电压之间形成的电场控制液晶分子的旋转方向，以将背光模组的光线透射出来产生画面。

由于在同一场景不同光线下得到的图像，无论它的曝光时间长短，都会出现曝光过度(过曝)或曝光不足(欠曝)的现象，很容易在图像中产生阴影及光照不均等现象，这样造成图像信息含量低，重要信息丢失等问题。因此，现有技术中通过一种多曝光图像融合方法来输出信息含量较高的图像，现有技术的多曝光图像融合方法包括如下步骤：步骤1、输入多张不同曝光度的图像；步骤2、计算多张不同曝光度的图像各自的权重；步骤3、根据每张图像各自的权重将多张不同曝光度的图像融合，输出融合后的图像。然而很多情况下不会得到多张不同曝光度的图像，需要人为模拟相机曲线来生产多张不同曝光度的图像，因此现有技术的另一种多曝光图像融合方法包括如下步骤：步骤1’、输入原始图像；步骤2’、输入相机模拟曲线；步骤3’、根据相机模拟曲线计算得到多张不同曝光度的图像各自的权重；步骤4’、根据每张图像各自的权重将多张不同曝光度的图像融合，输出融合后的图像。如果输入的原始图像本身存在曝光过度或曝光不足，后续根据相机模拟曲线计算得到多张不同曝光度的图像会更加曝光过度或曝光不足，影响最终融合后的图像生成质量。

技术实现要素：

本发明的目的在于提供一种多曝光图像融合方法，可以提高目标图像的局部对比度，增强目标图像的色彩，使目标图像呈现出更多的细节。

为实现上述目的，本发明提供了一种多曝光图像融合方法，包括如下步骤：

步骤s1、输入原始图像，对原始图像进行特征分析，得到原始图像的曝光类型；

步骤s2、根据原始图像的曝光类型调整相机模拟曲线函数的曝光值，生成k张不同曝光度的曝光图像，设k为正整数；

步骤s3、分别计算每张曝光图像的亮度均值权重、饱和度权重和对比度权重；

步骤s4、根据每张曝光图像的亮度均值权重、饱和度权重和对比度权重计算得到每张曝光图像的融合权重，根据每张曝光图像的融合权重对应将k张不同曝光度的曝光图像加权融合，得到融合图像；

步骤s5、对融合图像进行色调映射，得到目标图像。

所述步骤s1中，通过原始图像的亮度均值来判断原始图像的曝光类型；设原始图像的亮度均值的范围为0到1，当0<ld<0.2时，则判断原始图像的曝光类型为欠曝；当0.2<＝ld<＝0.5时，则判断原始图像的曝光类型为第一适曝；当0.5<ld<＝0.75时，则判断原始图像的曝光类型为第二适曝；当0.75<ld<＝1时，则判断原始图像的曝光类型为过曝；其中，ld为原始图像的亮度均值。

所述步骤s2中，相机模拟曲线函数为：lad,k＝1+exp(μ*evk)，其中，lad,k为第k张曝光图像的平均亮度值，μ为固定系数，evk为第k张曝光图像的曝光值。

当原始图像的曝光类型为欠曝时，evk为0以及大于0的k-1个依次增大的值；

当原始图像的曝光类型为第一适曝时，evk为0、小于0的1个值以及大于0的k-2个依次增大的值；

当原始图像的曝光类型为第二适曝时，evk为0、小于0的k-2个依次减小的值以及大于0的1个值；

当原始图像的曝光类型为过曝时，evk为0以及小于0的k-1个依次减小的值；

其中，evk等于0时为原始图像。

所述步骤s3中，亮度均值权重计算公式为：其中，w1,k(i，j)为第k张曝光图像的第i行第j列像素的亮度均值权重，mk为第k张曝光图像需增强区域亮度均值，σ为调节系数，lwk(i，j)为第k张曝光图像的第i行第j列像素的亮度值。

其中，c为常数，lad,k为第k张曝光图像的平均亮度值，lmax,k为第k张曝光图像的最大亮度，l(i,j)为原始图像的第i行第j列像素的亮度值。

所述步骤s3中，饱和度权重计算公式为：

其中，w2,k(i，j)为第k张曝光图像的第i行第j列像素的饱和度权重，r(i.j)为原始图像的第i行第j列像素中的红色子像素的亮度值，g(i.j)为原始图像的第i行第j列像素中的绿色子像素的亮度值，b(i.j)为原始图像的第i行第j列像素中的蓝色子像素的亮度值，mu为原始图像的平均亮度值。

所述步骤s4中，融合权重计算公式为：wk(i,j)＝w1，k(i,j)*w2，k(i,j)*w3，k(i,j)，其中，w1,k(i，j)为第k张曝光图像的第i行第j列像素的亮度均值权重，w2,k(i，j)为第k张曝光图像的第i行第j列像素的饱和度权重，w3,k(i，j)为第k张曝光图像的第i行第j列像素的对比度权重，wk(i，j)为第k张曝光图像的第i行第j列像素的融合权重。

所述步骤s4中，加权融合计算公式为：其中，lwcomb(i，j)为融合图像的第i行第j列像素的亮度值，为第1张曝光图像的第i行第j列像素的融合权重至第k张曝光图像的第i行第j列像素的融合权重分别与第1张曝光图像的第i行第j列像素的亮度值至第k张曝光图像的第i行第j列像素的亮度值的乘积之和；为第1张曝光图像的第i行第j列像素的融合权重至第k张曝光图像的第i行第j列像素的融合权重之和。

所述步骤s5中，色调映射计算公式为：其中，lout(i，j，x)为目标图像的第i行第j列像素中的红色、绿色和蓝色子像素中的一个子像素的亮度值，γ为饱和度系数，i(i，j，x)为原始图像的第i行第j列像素中的红色、绿色和蓝色子像素中的一个子像素的亮度值。

本发明的有益效果：本发明的多曝光图像融合方法通过输入原始图像，对原始图像进行特征分析，得到原始图像的曝光类型，根据原始图像的曝光类型调整相机模拟曲线函数的曝光值，生成k张不同曝光度的曝光图像，分别计算每张曝光图像的亮度均值权重、饱和度权重和对比度权重，根据每张曝光图像的亮度均值权重、饱和度权重和对比度权重计算得到每张曝光图像的融合权重，根据每张曝光图像的融合权重将k张不同曝光度的曝光图像加权融合，得到融合图像，对融合图像进行色调映射，得到目标图像，改善传统多曝光图像融合方法使目标图像整体发灰且对比度低的问题，提高目标图像的局部对比度，增强目标图像的色彩，使目标图像呈现出更多的细节。

附图说明

为了能更进一步了解本发明的特征以及技术内容，请参阅以下有关本发明的详细说明与附图，然而附图仅提供参考与说明用，并非用来对本发明加以限制。

附图中，

图1为本发明的多曝光图像融合方法的流程图。

具体实施方式

为更进一步阐述本发明所采取的技术手段及其效果，以下结合本发明的优选实施例及其附图进行详细描述。

请参阅图1，本发明提供一种多曝光图像融合方法，包括如下步骤：

步骤s1、输入原始图像，对原始图像进行特征分析，得到原始图像的曝光类型；

步骤s2、根据原始图像的曝光类型调整相机模拟曲线函数的曝光值，生成k张不同曝光度的曝光图像，设k为正整数；

步骤s3、分别计算每张曝光图像的亮度均值权重、饱和度权重和对比度权重；

步骤s4、根据每张曝光图像的亮度均值权重、饱和度权重和对比度权重计算得到每张曝光图像的融合权重，根据每张曝光图像的融合权重对应将k张不同曝光度的曝光图像加权融合，得到融合图像；

步骤s5、对融合图像进行色调映射，得到目标图像。

具体的，所述步骤s1中，通过原始图像的亮度均值来判断原始图像的曝光类型。

进一步的，设原始图像的亮度均值的范围为0到1，当0<ld<0.2时，则判断原始图像的曝光类型为欠曝；当0.2<＝ld<＝0.5时，则判断原始图像的曝光类型为第一适曝；当0.5<ld<＝0.75时，则判断原始图像的曝光类型为第二适曝；当0.75<ld<＝1时，则判断原始图像的曝光类型为过曝；其中，ld为原始图像的亮度均值。

具体的，所述步骤s2中，相机模拟曲线函数为：lad,k＝1+exp(μ*evk)，其中，lad,k为第k张曝光图像的平均亮度值，μ为固定系数，evk为第k张曝光图像的曝光值。

进一步的，当原始图像的曝光类型为欠曝时，evk为0以及大于0的k-1个依次增大的值；

当原始图像的曝光类型为第一适曝时，evk为0、小于0的1个值以及大于0的k-2个依次增大的值；

当原始图像的曝光类型为第二适曝时，evk为0、小于0的k-2个依次减小的值以及大于0的1个值；

当原始图像的曝光类型为过曝时，evk为0以及小于0的k-1个依次减小的值；

其中，evk等于0时为原始图像。

例如，假设需要生成5张不同曝光度的曝光图像，当原始图像的曝光类型为欠曝时，evk取值为0、1、2、3和4，即5张不同曝光度的曝光图像为1张原始图像和曝光度大于原始图像且依次增加的4张曝光图像；

当原始图像的曝光类型为第一适曝时，evk取值为-1、0、0.5、1和1.5，即5张不同曝光度的曝光图像为1张原始图像、曝光度小于原始图像的1张曝光图像和曝光度大于原始图像且依次增加的3张曝光图像；

当原始图像的曝光类型为第二适曝时，evk取值为-1.5、-1、-0.5、0和1，即5张不同曝光度的曝光图像为1张原始图像、曝光度小于原始图像且依次减小的3张曝光图像和曝光度大于原始图像的1张曝光图像；

当原始图像的曝光类型为过曝时，evk取值为-3、-2、-1、-0.5和0，即5张不同曝光度的曝光图像为1张原始图像和曝光度小于原始图像且依次减小的4张曝光图像；即本发明通过判断原始图像的曝光类型，根据曝光类型自动调节生成多张曝光图像，避免生成的多张曝光图像更加欠曝或过曝，使后续得到目标图像细节生成更多。

进一步的，μ(固定系数)为0.85。

具体的，所述步骤s3中，亮度均值权重计算公式为：其中，w1,k(i，j)为第k张曝光图像的第i行第j列像素的亮度均值权重，mk为第k张曝光图像需增强区域亮度均值，σ为调节系数，lwk(i，j)为第k张曝光图像的第i行第j列像素的亮度值。该亮度均值权重目的是为了在原始图案整体是亮的情况下，给暗区域较大的权重，在原始图案整体是暗的情况下，给亮区域较大的权重。

进一步的，σ(调节系数)为0.2-0.5。

进一步的，其中，c为常数，lad,k为第k张曝光图像的平均亮度值，lmax,k为第k张曝光图像的最大亮度，l(i,j)为原始图像的第i行第j列像素的亮度值。

具体的，所述步骤s3中，饱和度权重计算公式为：其中，w2,k(i，j)为第k张曝光图像的第i行第j列像素的饱和度权重，r(i.j)为原始图像的第i行第j列像素中的红色子像素的亮度值，g(i.j)为原始图像的第i行第j列像素中的绿色子像素的亮度值，b(i.j)为原始图像的第i行第j列像素中的蓝色子像素的亮度值，mu为原始图像的平均亮度值。

进一步的，

具体的，所述步骤s3中，通过拉普拉斯滤波获取每张曝光图像的对比度权重。

具体的，所述步骤s4中，融合权重计算公式为：wk(i,j)＝w1，k(i,j)*w2，k(i,j)*w3，k(i,j)，其中，w1,k(i，j)为第k张曝光图像的第i行第j列像素的亮度均值权重，w2,k(i，j)为第k张曝光图像的第i行第j列像素的饱和度权重，w3,k(i，j)为第k张曝光图像的第i行第j列像素的对比度权重，wk(i，j)为第k张曝光图像的第i行第j列像素的融合权重。

具体的，所述步骤s4中，加权融合计算公式为：其中，lwcomb(i，j)为融合图像的第i行第j列像素的亮度值，为第1张曝光图像的第i行第j列像素的融合权重至第k张曝光图像的第i行第j列像素的融合权重分别与第1张曝光图像的第i行第j列像素的亮度值至第k张曝光图像的第i行第j列像素的亮度值的乘积之和；为第1张曝光图像的第i行第j列像素的融合权重至第k张曝光图像的第i行第j列像素的融合权重之和。

具体的，所述步骤s5中，色调映射计算公式为：其中，lout(i，j，x)为目标图像的第i行第j列像素中的红色、绿色和蓝色子像素中的一个子像素的亮度值，γ为饱和度系数，i(i，j，x)为原始图像的第i行第j列像素中的红色、绿色和蓝色子像素中的一个子像素的亮度值，可以通过该色调映射计算公式计算三次，分别计算出目标图像的第i行第j列像素中的红色、绿色和蓝色子像素的亮度值，从而得到目标图像的第i行第j列像素的亮度值。

进一步的，γ可调，用于控制目标图像的饱和度，γ(饱和度系数)优选为1。

需要说明的是，本发明通过判断原始图像的曝光类型，根据曝光类型自动调节生成多张曝光图像，避免生成的多张曝光图像更加欠曝或过曝，使后续得到目标图像细节生成更多，且本发明基于多张曝光图像的亮度均值求权重能自适应增强每张曝光图像的暗区及亮区细节，从而改善传统多曝光图像融合方法使目标图像整体发灰且对比度低的问题，提高目标图像的局部对比度，增强目标图像的色彩，使目标图像呈现出更多的细节。

综上所述，本发明的多曝光图像融合方法通过输入原始图像，对原始图像进行特征分析，得到原始图像的曝光类型，根据原始图像的曝光类型调整相机模拟曲线函数的曝光值，生成k张不同曝光度的曝光图像，分别计算每张曝光图像的亮度均值权重、饱和度权重和对比度权重，根据每张曝光图像的亮度均值权重、饱和度权重和对比度权重计算得到每张曝光图像的融合权重，根据每张曝光图像的融合权重将k张不同曝光度的曝光图像加权融合，得到融合图像，对融合图像进行色调映射，得到目标图像，改善传统多曝光图像融合方法使目标图像整体发灰且对比度低的问题，提高目标图像的局部对比度，增强目标图像的色彩，使目标图像呈现出更多的细节。

以上所述，对于本领域的普通技术人员来说，可以根据本发明的技术方案和技术构思作出其他各种相应的改变和变形，而所有这些改变和变形都应属于本发明权利要求的保护范围。