基于多曝光图像特征分布权重的多曝光融合方法

1.本发明属于图像处理技术领域，具体涉及到高动态范围图像重建。


背景技术：

2.自然界的动态范围非常宽广，夜晚可到10
‑3cd/m2，白天达到的106cd/m2。人眼具有自适应光照的能力，能够感受到1：104动态范围的自然场景，一般的数码相机能够捕获的动态范围只有0
‑
255。普通的低动态范围图像所包含的信息不能完全表现高动态范围的场景。为了解决这个问题，研究人员已近提出了很多方法。传统的方法是应用展开算子扩展低动态范围图像的动态范围及内容，根据相机响应函数重构得到高动态范围图像。传统方法中相机响应函数的计算复杂且不容易获得，比较流行的方法是输入具有不同曝光程度的多幅低动态范围图像，确定它们各自的权重图，通过加权融合技术得到更高质量的低动态范围图像。因为高动态范围图像不能直接在普通的显示设备上进行显示，需要进行色调映射成低动态范围图像才能显示，所以通过多曝光图像融合后得到的低动态范围图像可以看作色调映射后的高动态范围图像，这种算法被称作多曝光融合方法。
3.多曝光融合方法有逐块方法和逐像素方法，逐块方法将输入图像分为不同的块，根据每个块的特征确定图像的权重图，但逐块多曝光融合方法得到的融合图像需要消除块与块之间的空间伪影，需要预处理或后处理步骤。逐像素方法通过计算输入图像每个像素点的权重值得到权重图，其中如何确定计算权重图的权重函数是关键步骤，目前的逐像素多曝光融合方法一般只根据输入图像自身的特征分布设计其权重函数，而且大部分方法都需要设置参数，不能完全自适应地确定权重。


技术实现要素：

4.本发明所要解决的技术问题在于克服上述现有技术的缺点，提供一种融合质量高、计算简单、融合图像信息量丰富、细节清晰的基于多曝光图像特征分布权重的多曝光融合方法。
5.解决上述技术问题所采用的技术方案是由下述步骤组成：
6.(1)图像颜色空间转换
7.将输入多曝光图像的红、绿、蓝颜色分量转换成亮度分量y
n
(x,y)、蓝色色度分量cb
n
(x,y)、红色色度分量cr
n
(x,y)如下：
8.y
n
(x,y)＝0.257r
n
(x,y)+0.564g
n
(x,y)+0.098b
n
(x,y)+16
ꢀꢀ
(1)
9.cb
n
(x,y)＝
‑
0.148r
n
(x,y)
‑
0.291g
n
(x,y)+0.439b
n
(x,y)+128
10.cr
n
(x,y)＝0.439r
n
(x,y)
‑
0.368g
n
(x,y)
‑
0.071b
n
(x,y)+128
11.其中r
n
(x,y)为第n幅图像(x,y)点的红色分量，g
n
(x,y)为第n幅图像(x,y)点的绿色分量，b
n
(x,y)为第n幅图像(x,y)点的蓝色分量，n为有限的正整数，n∈[1,n]，(x,y)是像素点的位置坐标，n是曝光图像的数量、为有限的正整数。
[0012]
(2)确定图像亮度分布权重
[0013]
按式(2)确定图像亮度分布权重w
1,n
(x,y)：
[0014][0015][0016]
其中m
n
是第n幅图像的均值。
[0017]
(3)确定图像曝光分布权重
[0018]
按式(3)确定图像曝光分布权重w
2,n
(x,y)：
[0019]
w
2,n
(x,y)＝1
‑
d
n
(x,y)
ꢀꢀ
(3)
[0020]
d
n
(x,y)＝|y
n
(x,y)
‑
m(x,y)|
[0021][0022]
(4)确定图像局部梯度权重
[0023]
按式(4)确定图像局部梯度权重w
3,n
(x,y)：
[0024][0025][0026][0027][0028][0029]
其中ε取值为[10
‑
14
,10
‑
10
]，为滤波操作，g1(x,y)为二维高斯核函数，k1为滤波器窗口大小的参数，k1∈[2,16]，σ1是滤波器的标准差，σ1∈(0,5]。
[0030]
(5)确定最终权重
[0031]
按式(5)确定最终权重w
n
(x,y)：
[0032][0033][0034][0035]
w
n
(x,y)＝w
1,n
(x,y)
×
w
2,n
(x,y)
×
w
3,n
(x,y)
[0036]
其中g2(x,y)为二维高斯核函数，k2是滤波器窗口大小的参数，k2∈[2,20]，σ2是滤波器的标准差，σ2∈(0,10]。
[0037]
(6)确定融合图像
[0038]
采用现有的金字塔分解的多分辨率融合方法对输入图像与权重进行融合确定融合图像；
[0039]
完成基于多曝光图像特征分布权重的多曝光融合方法。
[0040]
在本发明的(4)步骤中，所述的k1的取值为8，σ1的取值为2。
[0041]
在本发明的(5)步骤中，所述的k2的取值为10，σ2的取值为5。
[0042]
由于本发明采用了确定图像亮度分布权重、确定图像曝光分布权重、确定图像局部梯度权重步骤，将图像亮度分布权重、图像曝光分布权重、图像局部梯度权重组合，得到最终权重，应用现有的金字塔分解的多分辨率融合方法对输入图像与权重进行融合，得到融合图像。在确定输入图像的权重时，考虑到多曝光图像的特征分布，所提出的权重函数对每幅图像的每个像素都能够自适应的计算权重，可以简单快速地获得图像的权重，解决了现有多曝光融合方法没有考虑多曝光图像整体特征分布的技术问题。本发明具有融合质量高、计算简单、融合图像信息量丰富、细节清晰等优点，可用于多曝光融合的高动态范围图像重建。
附图说明
[0043]
图1是本发明实施例1的流程图。
[0044]
图2是实施例1洞穴多曝光图像的输入4幅图。
[0045]
图3是实施例1的融合结果图。
具体实施方式
[0046]
下面结合附图和实施例对本发明进一步详细说明，但本发明不限于下面的实施例。
[0047]
实施例1
[0048]
以输入洞穴多曝光图像4幅为例，本实施例的基于多曝光图像特征分布权重的多曝光融合方法由下述步骤组成(参见图1)：
[0049]
(1)图像颜色空间转换
[0050]
将输入多曝光图像的红、绿、蓝颜色分量转换成亮度分量y
n
(x,y)、蓝色色度分量cb
n
(x,y)、红色色度分量cr
n
(x,y)如下：
[0051]
y
n
(x,y)＝0.257r
n
(x,y)+0.564g
n
(x,y)+0.098b
n
(x,y)+16
ꢀꢀ
(6)
[0052]
cb
n
(x,y)＝
‑
0.148r
n
(x,y)
‑
0.291g
n
(x,y)+0.439b
n
(x,y)+128
[0053]
cr
n
(x,y)＝0.439r
n
(x,y)
‑
0.368g
n
(x,y)
‑
0.071b
n
(x,y)+128
[0054]
其中r
n
(x,y)为第n幅图像(x,y)点的红色分量，g
n
(x,y)为第n幅图像(x,y)点的绿色分量，b
n
(x,y)为第n幅图像(x,y)点的蓝色分量，n为有限的正整数，n∈[1,n]，(x,y)是像素点的位置坐标，n是曝光图像的数量，本实施例的输入图像见图2，n取值为4。对输入的图像不同，n取值与输入图像的数量相同。
[0055]
(2)确定图像亮度分布权重
[0056]
按式(2)确定图像亮度分布权重w
1,n
(x,y)：
[0057]
[0058][0059]
其中m
n
是第n幅图像的均值。
[0060]
(3)确定图像曝光分布权重
[0061]
按式(3)确定图像曝光分布权重w
2,n
(x,y)：
[0062]
w
2,n
(x,y)＝1
‑
d
n
(x,y)
ꢀꢀ
(8)
[0063]
d
n
(x,y)＝|y
n
(x,y)
‑
m(x,y)|
[0064][0065]
(4)确定图像局部梯度权重
[0066]
按式(4)确定图像局部梯度权重w
3,n
(x,y)：
[0067][0068][0069][0070][0071][0072]
其中ε取值为[10
‑
14
,10
‑
10
]，本实施例的ε取值为10
‑
12
，为滤波操作，g1(x,y)为二维高斯核函数，k1为滤波器窗口大小的参数，k1∈[2,16]，本实施例的k1取值为8，σ1是滤波器的标准差，σ1∈(0,5]，本实施例的σ1取值为2。
[0073]
(5)确定最终权重
[0074]
按式(5)确定最终权重w
n
(x,y)：
[0075][0076][0077][0078]
w
n
(x,y)＝w
1,n
(x,y)
×
w
2,n
(x,y)
×
w
3,n
(x,y)
[0079]
其中g2(x,y)为二维高斯核函数，k2是滤波器窗口大小的参数，k2∈[2,20]，本实施例的k2取值为10，σ2是滤波器的标准差，σ2∈(0,10]，本实施例的σ2取值为5。
[0080]
该步骤采用了确定图像亮度分布权重、确定图像曝光分布权重、确定图像局部梯度权重步骤，将图像亮度分布权重、图像曝光分布权重、图像局部梯度权重组合，得到最终权重，在确定输入图像的权重时，考虑到多曝光图像的特征分布，所提出的权重函数对每幅
图像的每个像素都能够自适应的计算权重，可以简单快速地获得图像的权重，解决了现有多曝光融合方法没有考虑多曝光图像整体特征分布的技术问题。融合后的图像具有融合质量高、计算简单、信息量丰富、细节清晰等优点。
[0081]
(6)确定融合图像
[0082]
采用现有的金字塔分解的多分辨率融合方法对输入图像与权重进行融合确定融合图像。金字塔分解的多分辨率融合方法已在下面的网址公开：
[0083]
https://github.com/tkd1088/multi
‑
exposure
‑
image
‑
fusion/blob/master/code/functions/fusion_pyramid.m.
[0084]
完成基于多曝光图像特征分布权重的多曝光融合方法，融合后的图像结果见图3，由图3可见，采用本实施例方法处理后的图像信息量丰富，细节更清晰。
[0085]
实施例2
[0086]
以输入洞穴多曝光图像4幅为例，本实施例的基于多曝光图像特征分布权重的多曝光融合方法由下述步骤组成：
[0087]
(1)图像颜色空间转换
[0088]
该步骤与实施例1相同。
[0089]
(2)确定图像亮度分布权重
[0090]
该步骤与实施例1相同。
[0091]
(3)确定图像曝光分布权重
[0092]
该步骤与实施例1相同。
[0093]
(4)确定图像局部梯度权重
[0094]
按式(4)确定图像局部梯度权重w
3,n
(x,y)：
[0095][0096][0097][0098][0099][0100]
其中ε取值为[10
‑
14
,10
‑
10
]，本实施例的ε取值为10
‑
14
，为滤波操作，g1(x,y)为二维高斯核函数，k1为滤波器窗口大小的参数，k1∈[2,16]，本实施例的k1取值为2，σ1是滤波器的标准差，σ1∈(0,5]，本实施例的σ1取值为0.5。
[0101]
(5)确定最终权重
[0102]
按式(5)确定最终权重w
n
(x,y)：
[0103]
[0104][0105][0106]
w
n
(x,y)＝w
1,n
(x,y)
×
w
2,n
(x,y)
×
w
3,n
(x,y)
[0107]
其中g2(x,y)为二维高斯核函数，k2是滤波器窗口大小的参数，k2∈[2,20]，本实施例的k2取值为2，σ2是滤波器的标准差，σ2∈(0,10]，本实施例的σ2取值为0.5。
[0108]
其它步骤与实施例1相同。
[0109]
完成基于多曝光图像特征分布权重的多曝光融合方法。
[0110]
实施例3
[0111]
以输入洞穴多曝光图像4幅为例，本实施例的基于多曝光图像特征分布权重的多曝光融合方法由下述步骤组成：
[0112]
(1)图像颜色空间转换
[0113]
该步骤与实施例1相同。
[0114]
(2)确定图像亮度分布权重
[0115]
该步骤与实施例1相同。
[0116]
(3)确定图像曝光分布权重
[0117]
该步骤与实施例1相同。
[0118]
(4)确定图像局部梯度权重
[0119]
按式(4)确定图像局部梯度权重w
3,n
(x,y)：
[0120][0121][0122][0123][0124][0125]
其中ε取值为[10
‑
14
,10
‑
10
]，本实施例的ε取值为10
‑
10
，为滤波操作，g1(x,y)为二维高斯核函数，k1为滤波器窗口大小的参数，k1∈[2,16]，本实施例的k1取值为16，σ1是滤波器的标准差，σ1∈(0,5]，本实施例的σ1取值为5。
[0126]
(5)确定最终权重
[0127]
按式(5)确定最终权重w
n
(x,y)：
[0128][0129]
[0130][0131]
w
n
(x,y)＝w
1,n
(x,y)
×
w
2,n
(x,y)
×
w
3,n
(x,y)
[0132]
其中g2(x,y)为二维高斯核函数，k2是滤波器窗口大小的参数，k2∈[2,20]，本实施例的k2取值为20，σ2是滤波器的标准差，σ2∈(0,10]，本实施例的σ2取值为10。
[0133]
其它步骤与实施例1相同。
[0134]
完成基于多曝光图像特征分布权重的多曝光融合方法。
[0135]
为了验证本发明的效果，发明人采用输入洞穴多曝光图像4幅为例，采用实施例1的基于多曝光图像特征分布权重的多曝光融合方法(以下简称本发明)与exposure fusion方法(以下简称为序号1)、multi
‑
exposure image fusion:a patch
‑
wise approach方法(以下简称为序号2)、amulti
‑
exposure image fusion based on the adaptive weights reflecting the relative pixel intensity and global gradient方法(以下简称为序号3)、multi
‑
exposure image fusion via a pyramidal integration of the phase congruency of input images with the intensity
‑
based maps方法(以下简称为序号4)进行了对比仿真实验，使用现有的多曝光融合客观质量评价指标mef
‑
ssim、平均信息熵、平均颜色饱和度进行评价。mef
‑
ssim得分越高融合图像的质量越好；平均信息熵值越高图像包含的信息越丰富；平均颜色饱和度值越大说明图像的颜色越鲜艳。比较本发明与序号1、序号2、序号3、序号4的mef
‑
ssim得分。
[0136]
实验结果见表1。
[0137]
表1本发明与其他方法的mef
‑
ssim得分结果
[0138]
多曝光融合方法序号1序号2序号3序号4本发明mef
‑
ssim得分0.9800.9750.9770.9810.982
[0139]
由表1可见，本发明与序号1、序号2、序号3、序号4的mef
‑
ssim得分相比，本发明的mef
‑
ssim得分最高，为0.982，融合图像质量优于其他方法。
[0140]
比较本发明与序号3、序号4的平均信息熵，结果见表2。
[0141]
表2本发明与其他方法的平均信息熵
[0142]
多曝光融合方法序号3序号4本发明平均信息熵值3.2313.2203.238
[0143]
由表2可见，本发明与序号3、序号4的平均信息熵值相比，本发明的平均信息熵值最大，为3.238，融合图像包含的信息更丰富。
[0144]
比较本发明与序号3、序号4的平均颜色饱和度，结果见表3。
[0145]
表3本发明与其他方法的平均颜色饱和度
[0146]
多曝光融合方法序号3序号4本发明平均颜色饱和度值0.2800.2890.290
[0147]
由表3可见，本发明与序号3、序号4的平均颜色饱和度相比，本发明获得的平均颜色饱和度值最高，为0.290，融合图像的颜色更鲜艳。