图像融合方法及其装置、设备和存储介质与流程

1.本发明涉及图像处理领域，尤其涉及图像融合方法及其装置、设备和存储介质。


背景技术：

2.hdr图像是指高动态范围(high-dynamic range)图像。目前，hdr图像的融合通常会设计一个固定的融合融合权重计算公式，将图像信息逐点带入融合融合权重计算公式计算算得到融合权重。由于图像中同样的信息如亮度信息在不同场景的表现差异及噪声影响，计算的融合权重与理想值或有一定偏差；逐点所求权重的变化趋势较大，过度区间的亮度梯度可能偏大，具有过渡不自然的现象。在实际应用中，在hdr图像融合过程中引入计算可能导致高光或暗处细节丢失和过渡不自然的问题，极大的影响图像的质量。
3.公开号为cn111462031 a的中国专利公开了多帧hdr图像处理方法、装置、存储介质及电子设备，通过获取至少两张曝光程度不同的原始图像，对获取的原始图像分别进行预处理，得到权重融合图像，再将权重融合图像进行融合得到最终融合图像。通过分析多帧图像的细节度得出融合权重，从而将多帧图像进行融合。但是该发明并未解决在hdr图像融合过程中引入计算可能导致高光或暗处细节丢失、过渡不自然的问题。
4.因此，有必要提供一种图像融合方法及其装置、设备和存储介质以解决上述的现有技术中存在的问题。


技术实现要素：

5.本发明的目的在于提供一种图像融合方法及其装置、设备和存储介质，以解决在hdr图像融合过程中引入计算可能导致高光或暗处细节丢失和过渡不自然的问题。
6.为实现上述目的，本发明的所述图像融合方法，包括步骤：
7.提供原始图像，获取所述原始图像的直方图；
8.提取所述直方图的特征以获取直方图计算参数，依据所述直方图计算参数调整并确定融合权重计算公式；
9.获取所述原始图像中的亮度信息，依据所述亮度信息和所述原始图像获取下采样图像，依据所述下采样图像的像素亮度和所述融合权重计算公式获取下采样融合权重；
10.依据所述下采样融合权重获取上采样融合权重，使得所述上采样融合权重对应的图像的分辨率与所述原始图像的分辨率一致；
11.依据所述上采样融合权重和所述原始图像获得融合图像。
12.本发明所述图像融合方法的有益效果在于：
13.通过获取原始图像的直方图和所述直方图计算参数，在不同场景下进行图像融合时，通过所述直方图计算参数调整并确定融合权重计算公式，充分利用了直方图的统计信息，使得所述融合权重计算公式具有更高的自适应性，从而提高了本发明的所述图像融合方法的适用性，有效防止了在不同场景或相同亮度值的相对表现不同导致的融合权重计算不理想的问题，从而改善了由之引发的高光过曝、暗处信息丢失、噪声异常的问题；依据所
述下采样图像计算的下采样权重上采样回原分辨率的上采样融合权重，体现了图像的整体信息，并通过上采样融合权重和原始图像获取融合图像，从而获取了图像的局部和整体信息，将图像的局部信息和整体信息结合，达到了保持图像高光及暗处细节、减小噪音、图像过渡自然的效果，提升了融合图像的质量；解决了在hdr图像融合过程中引入计算可能导致高光或暗处细节丢失和过渡不自然的问题。
14.可选地，获取所述原始图像的直方图的步骤包括：
15.在若干不同的场景中，分别获取每一个所述场景中在不同的曝光时间内的原始图像，并获取所述原始图像的直方图。其有益效果在于，获取不同场景下不同曝光时间内的原始图像的直方图，从而使得图像融合方法适用于多种不同的场景，提高了本发明的图像融合方法的适用性。
16.可选地，所述直方图计算参数包括所述直方图的中值、积分和均值。
17.可选地，所述融合权重计算公式包括权重计算曲线，依据所述直方图计算参数调整并确定融合权重计算公式的步骤包括：
18.预设权重曲线，所述权重曲线在第一定义区间上的第一斜率小于等于0且单调递减，所述权重曲线在第二定义区间上的第二斜率小于等于0且单调递增，所述第一定义区间的右端点与所述第二定义区间的左端点连接；
19.记录所述第一斜率从0转变为非0的点为第一拐点，记录所述第二斜率从非0转变为0的点为第二拐点；
20.依据所述直方图计算参数调整所述权重曲线的形状、所述第一斜率、所述第二斜率、所述第一拐点的坐标和所述第二拐点的坐标中的至少一个，以获取所述权重计算曲线。其有益效果在于，通过所述直方图计算参数调整所述权重曲线的形状、所述第一斜率、所述第二斜率、所述第一拐点的坐标和所述第二拐点的坐标中的至少一个，以获取所述权重计算曲线，从而使得所述权重计算曲线适用于所述直方图对应的原始图像的权重计算。
21.可选地，所述下采样融合权重包括第一曝光图像权重和第二曝光图像权重，依据所述下采样图像的像素亮度和所述融合权重计算公式获取下采样融合权重的步骤包括：
22.遍历下采样图像的所有像素点以获取像素点的亮度，并将所述像素点的亮度输入所述权重计算曲线以得到第一权重结果，对所述第一权重结果进行归一化处理得到所述第一曝光图像权重和所述第二曝光图像权重，所述第一曝光图像权重与所述第二曝光图像权重的和为1；
23.所述第一曝光图像权重对应第一曝光图像，所述第二曝光图像权重对应第二曝光图像，所述第一曝光图像的曝光时间大于所述第二曝光图像的曝光时间。
24.可选地，所述融合权重计算公式包括一维权重计算高斯函数，依据所述直方图计算参数调整并确定融合权重的计算公式的步骤包括：
25.预设一维高斯函数，依据所述直方图计算参数调整所述一维高斯函数，以获取所述一维权重计算高斯函数。其有益效果在于，通过预设一维高斯函数，并通过所述直方图计算参数调整所述一维高斯函数，获得的所述一维权重计算高斯函数能更好地适用于所述直方图对应的原始图像的权重计算。
26.可选地，依据所述下采样图像的像素亮度和所述融合权重计算公式获取下采样融合权重的步骤包括：
27.将所述下采样图像中的每个像素的亮度输入所述一维权重计算高斯函数以得到第二权重结果，对所述第二权重结果进行归一化处理以获取所述下采样融合权重，所述下采样融合权重包括n个权重，所述n为正整数。
28.可选地，依据所述亮度信息和所述原始图像获取下采样图像的步骤包括：
29.将所述原始图像分割为m
×
n个块，所述m和所述n均为正整数，计算每个块中所有像素点的亮度平均值，将每个块中所有像素点的亮度替换为所述块对应的所述亮度平均值，得到分辨率为m
×
n的所述下采样图像。
30.可选地，依据所述下采样融合权重获取上采样融合权重包括步骤：
31.通过双线性插值法对所述下采样融合权重进行上采样处理以获取所述上采样融合权重。
32.可选地，依据所述下采样融合权重获取上采样融合权重包括步骤：
33.通过二维高斯函数对所述下采样融合权重进行上采样处理以获取所述上采样融合权重。
34.本发明还提供一种图像融合装置，包括：
35.图像处理模块，用于提供原始图像，并获取所述原始图像的直方图和亮度信息，依据所述亮度信息和所述原始图像获取下采样图像；
36.调整模块，用于提取所述直方图的特征以获取直方图计算参数，并依据所述直方图计算参数调整并确定融合权重计算公式；
37.权重计算模块，用于依据所述下采样图像的像素亮度和所述融合权重计算公式获取下采样融合权重，并依据所述下采样融合权重获取上采样融合权重，使得所述上采样融合权重对应的图像的分辨率与所述原始图像的分辨率一致；
38.图像融合计算模块，用于依据所述上采样融合权重和所述原始图像获得融合图像。
39.本发明的所述图像融合装置的有益效果在于：
40.通过所述图像处理模块获取所述原始图像的直方图和亮度信息，并依据所述亮度信息和所述原始图像获取下采样图像，通过所述调整模块获取直方图计算参数并依据所述直方图计算参数调整并确定融合权重计算公式，通过权重计算模块获取下采样融合权重和上采样融合权重，所述图像融合计算模块依据所述上采样融合权重和所述原始图像获得融合图像；充分利用了直方图的统计信息，提高了融合权重计算公式的适用性，扩大了本发明的所图像融合方法的适用场景；通过计算下采样图像、下采样融合权重和上采样融合权重，从而将图像整体与局部相结合，达到了保持图像高光及暗处细节、减小噪音、图像过渡自然的效果，提升了融合图像的质量；解决了在hdr图像融合过程中引入计算可能导致高光或暗处细节丢失和过渡不自然的问题。
41.本发明还提供一种设备，包括存储器、处理器和存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现所述图像融合方法。
42.本发明还提供一种存储介质，其上存储有程序，所述程序被处理器执行时实现所述图像融合方法。
43.本发明的所述设备和存储介质的有益效果均在于：
44.通过直方图调整并确定融合权重计算公式，充分利用了直方图的统计信息，提高
了融合权重计算公式的适用性，扩大了本发明的所图像融合方法的适用场景，通过计算下采样图像、下采样融合权重和上采样融合权重，从而将图像整体与局部相结合，达到了保持图像高光及暗处细节、减小噪音、图像过渡自然的效果，提升了融合图像的质量，解决了在hdr图像融合过程中引入计算可能导致高光或暗处细节丢失和过渡不自然的问题。
附图说明
45.图1为本发明实施例的图像融合方法的流程图；
46.图2为本发明实施例的权重曲线示意图；
47.图3为本发明实施例的双线性插值法的示意图；
48.图4为本发明实施例的双线性插值法的网格示意图；
49.图5为本发明实施例的二维高斯函数形成的权重曲面渐变图；
50.图6为本发明实施例的图像融合装置的结构框图。
具体实施方式
51.为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
52.针对现有技术存在的问题，本发明实施例提供了一种所述图像融合方法及其装置、设备和存储介质，以解决在hdr图像融合过程中引入计算可能导致高光或暗处细节丢失和过渡不自然的问题。
53.图1为本发明实施例的图像融合方法的流程图。
54.本发明一些实施例中，参照图1，所述图像融合方法包括步骤：
55.s0：提供原始图像，获取所述原始图像的直方图；
56.s1：提取所述直方图的特征以获取直方图计算参数，依据所述直方图计算参数调整并确定融合权重计算公式；
57.s2：获取所述原始图像中的亮度信息，依据所述亮度信息和所述原始图像获取下采样图像，依据所述下采样图像的像素亮度和所述融合权重计算公式获取下采样融合权重；
58.s3：依据所述下采样融合权重获取上采样融合权重，使得所述上采样融合权重对应的图像的分辨率与所述原始图像的分辨率一致；
59.s4：依据所述上采样融合权重和所述原始图像获得融合图像。
60.本发明所述图像融合方法的优点为：通过获取原始图像的直方图和所述直方图计算参数，在不同场景下进行图像融合时，通过所述直方图计算参数调整并确定融合权重计算公式，充分利用了直方图的统计信息，使得所述融合权重计算公式具有更高的自适应性，从而提高了本发明的所述图像融合方法的适用性，有效防止了在不同场景或相同亮度值的
相对表现不同导致的融合权重计算不理想的问题，从而改善了由之引发的高光过曝、暗处信息丢失、噪声异常的问题；依据所述下采样图像计算的下采样权重上采样回原分辨率的上采样融合权重，体现了图像的整体信息，并通过上采样融合权重和原始图像获取融合图像，从而获取了图像的局部和整体信息，将图像的局部信息和整体信息结合，达到了保持图像高光及暗处细节、减小噪音、图像过渡自然的效果，提升了融合图像的质量；解决了在hdr图像融合过程中引入计算可能导致高光或暗处细节丢失和过渡不自然的问题。
61.在一些实施例中，本发明最终获取的所述融合图像为高动态范围图像。
62.作为本发明一种可选的实施方式，所述步骤s0中，获取所述原始图像的直方图的步骤包括：
63.在若干不同的场景中，分别获取每一个所述场景中在不同的曝光时间内的原始图像，并获取所述原始图像的直方图。其有益效果在于，获取不同场景下不同曝光时间内的原始图像的直方图，从而使得图像融合方法适用于多种不同的场景，提高了本发明的图像融合方法的适用性。
64.作为本发明一种可选的实施方式，所述步骤s1中，所述直方图计算参数包括所述直方图的中值、积分和均值。
65.在一些实施例中，所述直方图为灰度直方图。
66.作为本发明一种可选的实施方式，所述步骤s1中，所述融合权重计算公式包括权重计算曲线，依据所述直方图计算参数调整并确定融合权重计算公式的步骤包括：
67.预设权重曲线，所述权重曲线在第一定义区间上的第一斜率小于等于0且单调递减，所述权重曲线在第二定义区间上的第二斜率小于等于0且单调递增，所述第一定义区间的右端点与所述第二定义区间的左端点连接；
68.记录所述第一斜率从0转变为非0的点为第一拐点，记录所述第二斜率从非0转变为0的点为第二拐点；
69.依据所述直方图计算参数调整所述权重曲线的形状、所述第一斜率、所述第二斜率、所述第一拐点的坐标和所述第二拐点的坐标中的至少一个，以获取所述权重计算曲线。其优点在于，通过所述直方图计算参数调整所述权重曲线的形状、所述第一斜率、所述第二斜率、所述第一拐点的坐标和所述第二拐点的坐标中的至少一个，以获取所述权重计算曲线，从而使得所述权重计算曲线适用于所述直方图对应的原始图像的权重计算。
70.作为本发明一种可选的实施方式，所述步骤s2中，依据所述亮度信息和所述原始图像获取下采样图像的步骤包括：
71.将所述原始图像分割为m
×
n个块，所述m和所述n均为正整数，计算每个块中所有像素点的亮度平均值，将每个块中所有像素点的亮度替换为所述块对应的所述亮度平均值，得到分辨率为m
×
n的所述下采样图像；每个所述原始图像经过上述步骤得到一个对应的分辨率为m
×
n的下采样图像。
72.作为本发明一种可选的实施方式，步骤s3中，所述下采样融合权重包括第一曝光图像权重和第二曝光图像权重，依据所述下采样图像的像素亮度和所述融合权重计算公式获取下采样融合权重的步骤包括：
73.遍历下采样图像的所有像素点以获取像素点的亮度，并将所述像素点的亮度输入所述权重计算曲线以得到第一权重结果，对所述第一权重结果进行归一化处理得到所述第
一曝光图像权重和所述第二曝光图像权重，所述第一曝光图像权重与所述第二曝光图像权重的和为1；
74.所述第一曝光图像权重对应第一曝光图像，所述第二曝光图像权重对应第二曝光图像，所述第一曝光图像的曝光时间大于所述第二曝光图像的曝光时间。
75.图2为本发明实施例的权重曲线示意图，图2中的权重曲线的纵坐标为权重，横坐标为亮度。
76.在本发明的一些具体实施例中，依据所述下采样图像和所述下采样融合权重获取第一融合图像的步骤包括：
77.参照图2，预设权重曲线f(g)，所述权重曲线f(g)在第一定义区间[0，a]上的第一斜率小于等于0且单调递减，在第二定义区间[a，b]上的第二斜率小于等于0且单调递增；
[0078]
在一些实施例中，所述权重曲线的表达式为：
[0079][0080]
其中，g为曲线的横坐标，具体表示图像的亮度，f(g)为曲线的纵坐标。
[0081]
记录权重曲线f(g)在所述第一定义区间[0，a]上的所述第一斜率从0转变为非0的点为第一拐点a，记录权重曲线f(g)在所述第二定义区间[a，b]上的所述第二斜率从非0转变为0的点为第二拐点b，依据所述直方图计算参数调整所述权重曲线的形状、所述第一斜率、所述第二斜率、所述第一拐点a的坐标和所述第二拐点b的坐标中的至少一个，即通过所述直方图计算参数调整所述权重曲线的形状、所述第一斜率、所述第二斜率、所述第一拐点a的坐标和所述第二拐点b中的任意一个或多个，以获取所述权重计算曲线w＝f'(g)；
[0082]
具体的，将原始图像的信息转换为g通道亮度信息，并将图像分割为m
×
n个块，计算每个块中所有像素点亮度的平均值，以块中的所述像素点的亮度平均值作为该块的亮度，得到分辨率为m
×
n的下采样图像；
[0083]
将采样图像的亮度代入所述权重计算曲线w＝f'(g)，得到第一权重结果，对所述第一权重结果进行归一化处理得到所述第一曝光图像权重w和所述第二曝光图像权重(1-w)，所述第一曝光图像权重w与所述第二曝光图像权重(1-w)的和为1；
[0084]
所述第一曝光图像权重w对应第一曝光图像l1，所述第二曝光图像权重(1-w)对应第二曝光图像l2，所述第一曝光图像l1的曝光时间大于所述第二曝光图像l2的曝光时间。
[0085]
作为本发明一种可选的实施方式，步骤s1中，所述融合权重计算公式包括一维权重计算高斯函数，依据所述直方图计算参数调整并确定融合权重的计算公式的步骤包括：
[0086]
预设一维高斯函数，依据所述直方图计算参数调整所述一维高斯函数，以获取所述一维权重计算高斯函数。其优点在于，通过预设一维高斯函数，并通过所述直方图计算参数调整所述一维高斯函数，获得的所述一维权重计算高斯函数能更好地适用于所述直方图对应的原始图像的权重计算。
[0087]
作为本发明一种可选的实施方式，所述步骤s3中，依据所述下采样图像的像素亮度和所述融合权重计算公式获取下采样融合权重的步骤包括：
[0088]
将所述下采样图像中的每个像素的亮度输入所述一维权重计算高斯函数以得到第二权重结果，对所述第二权重结果进行归一化处理以获取所述下采样融合权重，所述下采样融合权重包括n个权重，所述n为正整数。
[0089]
在本发明的另一些具体实施例中，依据所述下采样图像和所述下采样融合权重获取第一融合图像的步骤包括：
[0090]
通过所述原始图像获取原始图像的直方图，提取所述直方图的特征以获取直方图计算参数；
[0091]
预设一维高斯函数，所述一维高斯函数的公式为：
[0092][0093]
其中，x表示输入的原始图像信息，在本发明实施例中x是指亮度，σ是高斯标准差，μ表示最佳像素值；
[0094]
依据所述直方图计算参数调整所述一维高斯函数，具体地，通过所述直方图计算参数调整高斯标准差σ和最佳像素值μ，以获取所述一维权重计算高斯函数w＝g'(x)；
[0095]
将所述下采样图像中的每个像素的亮度输入所述一维权重计算高斯函数w＝g'(x)以得到第二权重结果，对所述第二权重结果进行归一化处理以获取所述下采样融合权重，所述下采样融合权重包括n个权重，n为正整数，所述n个权重分别为第一权重、第二权重、...、第n权重，且n个权重的加权总和为1。
[0096]
在一些实施例中，如根据直方图大于某个值的点的数量来决定高斯标准差σ和最佳像素值μ的加权的权重，进而调整高斯标准差σ和最佳像素值μ的值，使得最终获取的所述一维权重计算高斯函数更适用于当前场景下图像的权重计算。
[0097]
在一些具体实施例中，所述高斯标准差σ为0.5，所述最佳像素值μ为不同帧图像的加权平均值。
[0098]
本发明通过调整曝光图像的权重曲线得到所述权重计算曲线，通过调整一维高斯函数得到所述一维权重计算高斯函数，可通过所述权重计算曲线和所述一维权重计算高斯函数中的任意一种来计算图像的权重，从而为融合权重的计算提供了多种方法和计算途径，从而提高了本发明的所述图像融合方法的适用性和实用性，可适用于多种场景。
[0099]
可说明的是，对同一组的原始图像的处理，同一组的原始图像只采用所述权重计算曲线和所述一维权重计算高斯函数中的一种来计算所述图像的权重，即在同一组的原始图像中不能同时采用所述权重计算曲线和所述一维权重计算高斯函数的两种方法来计算图像权重，以减小权重计算的误差，避免采用不同的权重计算方法导致图像融合不自然的问题。
[0100]
作为本发明一种可选的实施方式，依据所述下采样融合权重获取上采样融合权重包括步骤：
[0101]
通过双线性插值法对所述下采样融合权重进行上采样处理以获取所述上采样融合权重。
[0102]
在一些具体实施例中，通过双线性插值法对所述下采样融合权重进行上采样处理以获取所述上采样融合权重的步骤包括：
[0103]
图3为本发明实施例的双线性插值法的示意图。
[0104]
在一些具体实施例中，参照图3，利用待求像素的四个邻像素的下采样融合权重在两个方向上作线性内插，已知函数f的四个点q11、q12、q21、q22的坐标顺次分别为：q11(x1,y1)、q12(x1,y2)，q21(x2,y1)，q22(x2,y2)；
[0105]
首先在x方向进行线性插值，在q12和q22中插入r2，在q11和q21中插入点r1，得到r1和r2；
[0106]
然后在y方向进行线性插值，通过第一步计算出的r1与r2在y方向上插值计算出p点，得到p，得到f(x,y)，f(x,y)的计算公式如下：
[0107][0108]
通过上述公式得到最终的插值点p的坐标(x,y)，联立每个下采样图像中的四个点以得到每个下采样图的插值点。
[0109]
图4为本发明实施例的双线性插值法的网格示意图，图中z轴上的数字表示点的权重值，x轴和y轴上的数字分别表示点的横坐标和纵坐标。
[0110]
在一些具体实施例中，依据f(x,y)的计算公式得到如图4所示的双线性插值法的网格示意图。计算得到当前点在上采样图像中各个坐标处的点的相应插值权重，即将插值点p的坐标代入如图4所示的双线性插值法的网格示意图即可得到插值点p的权重，依据所述插值点p的权重计算得到上采样权重；对若干图像中同一位置的像素点的所述上采样权重进行归一化处理，以得到所述上采样融合权重；依据所述上采样融合权重得到第一权重渐变图，所述权重渐变图的分辨率与所述原始图像的分辨率一致。
[0111]
作为本发明一种可选的实施方式，依据所述下采样融合权重获取上采样融合权重包括步骤：
[0112]
通过二维高斯函数对所述下采样融合权重进行上采样处理以获取所述上采样融合权重。
[0113]
在一些具体实施例中，通过二维高斯函数对所述下采样融合权重进行上采样处理以获取所述上采样融合权重的步骤包括：
[0114]
预设二维高斯函数，二维高斯函数的公式为：
[0115][0116]
其中，σ0是高斯标准差。
[0117]
图5为本发明实施例的二维高斯函数形成的曲面图，图5中的z轴的数字表示权重值。
[0118]
在一些实施例中，参照图5，由上述的二维高斯函数可以得到以(x
center
,y
center
)为中心，为半径，从中心向四周逐渐减小的曲面。对所述下采样图像中每个点，结合当前下采样图像b(x,y)及周围块b(x-1,y-1),b(x,y-1)
……
b(x+1,y+1)的权重值及曲面对应坐标(x',y')的函数值f(x',y')，得到从中心向四周辐射的第二权重渐变图，所述第二权重渐变图的分辨率与所述原始图像的分辨率一致。
[0119]
参照图5，对所述下采样图像中每个点，结合当前下采样图像的当前点的左边b(x,y)及周围块b(x-1,y-1),b(x,y-1)
……
b(x+1,y+1)的坐标代入如图5所示的二维高斯函数
形成的曲面图，计算得到当前点在上采样图像中各个坐标处的点的相应插值权重，依据所述插值权重计算当前点的上采样权重；对若干图像中同一位置的像素点的所述上采样权重进行归一化处理，以得到所述上采样融合权重。
[0120]
在一些实施例中，所述步骤s4中，依据所述上采样融合权重和所述原始图像获得一维权重计算高斯函数图像的步骤包括：
[0121]
通过上述的双线性插值法或二维高斯函数对所述下采样融合权重进行上采样处理以获取所述上采样融合权重后，获取若干所述原始图像的上采样融合权重后，通过加权融合得到所述融合图像，具体公式如下：
[0122]
imghdr＝w1
×
img1+w2
×
img2+
…
+wn
×
imgn
[0123]
其中，imghdr为融合图像，img1是第一原始图像，img2是第二原始图像，
…
，imgn是第n原始图像，n是正整数；w1是所述第一原始图像img1对应的上采样融合权重，w2是所述第二原始图像img2对应的上采样融合权重，
…
，wn是所述第n原始图像imn对应的上采样融合权重，w1+w2+
…
+wn＝1。
[0124]
本发明实施例采用双线性插值法和二维高斯函数对下采样融合权重进行上采样从而获得上采样融合权重，为计算上采样融合权重提供了多种计算途径，从而提高了本发明所述图像融合方法的适用性，节约了算法步骤，提高了上采样效率。
[0125]
可说明的是，对同一组的原始图像的处理，同一组的原始图像只采用所述双线性插值法和二维高斯函数中的一种来计算所述上采样融合权重，即在同一组的原始图像中不能同时采用所述双线性插值法和所述二维高斯函数的两种方法来计算上采样融合权重，以减小权重计算的误差，避免采用不同的权重计算方法导致图像融合不自然的问题。
[0126]
本发明还提供一种图像融合装置，图6为本发明的图像融合装置的结构框图。
[0127]
在一些实施例中，参照图6，所述图像融合装置包括：
[0128]
图像处理模块1，用于提供原始图像，并获取所述原始图像的直方图和所述原始图像中的亮度信息，依据所述亮度信息和所述原始图像获取下采样图像；
[0129]
调整模块2，用于提取所述直方图的特征以获取直方图计算参数，并依据所述直方图计算参数调整并确定融合权重计算公式；
[0130]
权重计算模块3，用于依据所述下采样图像的像素亮度和所述融合权重计算公式获取下采样融合权重，并依据所述下采样融合权重获取上采样融合权重，使得所述上采样融合权重对应的图像的分辨率与所述原始图像的分辨率一致；
[0131]
图像融合计算模块4，用于依据所述上采样融合权重和所述原始图像获得融合图像。
[0132]
本发明的所述图像融合装置的优点在于：通过所述图像处理模块1获取所述原始图像的直方图和亮度信息，并依据所述亮度信息和所述原始图像获取下采样图像，通过所述调整模块2获取直方图计算参数并依据所述直方图计算参数调整并确定融合权重计算公式，通过权重计算模块3获取下采样融合权重和上采样融合权重，所述图像融合计算模块4依据所述上采样融合权重和所述原始图像获得融合图像；充分利用了直方图的统计信息，提高了融合权重计算公式的适用性，扩大了本发明的所图像融合方法的适用场景；通过计算下采样图像、下采样融合权重和上采样融合权重，从而将图像整体与局部相结合，达到了保持图像高光及暗处细节、减小噪音、图像过渡自然的效果，提升了融合图像的质量；解决
了在hdr图像融合过程中引入计算可能导致高光或暗处细节丢失和过渡不自然的问题。
[0133]
在一些实施例中，参照图6，依据所述下采样图像的像素亮度和所述融合权重计算公式获取下采样融合权重的步骤包括：
[0134]
通过图像处理模块1在若干不同的场景中分别获取每一个所述场景中所述原始图像在不同的曝光时间内的所述直方图；
[0135]
通过调整模块2预设权重曲线，所述权重曲线在第一定义区间上的第一斜率小于等于0且单调递减，所述权重曲线在第二定义区间上的第二斜率小于等于0且单调递增，所述第一定义区间的右端点与所述第二定义区间的左端点连接，记录所述第一斜率从0转变为非0的点为第一拐点，记录所述第二斜率从非0转变为0的点为第二拐点，依据所述直方图计算参数调整所述权重曲线的形状、所述第一斜率、所述第二斜率、所述第一拐点的坐标和所述第二拐点的坐标中的至少一个，以获取所述权重计算曲线；
[0136]
通过所述图像处理模块1将所述原始图像分割为m
×
n个块，m，n均为正整数，计算每个块中所有像素点的亮度平均值，将每个块中所有像素点的亮度替换为所述块对应的所述亮度平均值，得到分辨率为m
×
n的所述下采样图像；
[0137]
通过权重计算模块3遍历下采样图像的所有像素点以获取像素点的亮度，并将所述像素点的亮度输入所述权重计算曲线以得到第一权重结果，对所述第一权重结果进行归一化处理得到所述第一曝光图像权重和所述第二曝光图像权重，所述第一曝光图像权重与所述第二曝光图像权重的和为1。
[0138]
在本发明的另一些实施例中，参照图6，依据所述下采样图像的像素亮度和所述融合权重计算公式获取下采样融合权重的步骤包括：
[0139]
通过所述调整模块2预设一维高斯函数，依据所述直方图计算参数调整所述一维高斯函数，以获取所述一维权重计算高斯函数；
[0140]
通过所述图像处理模块1将所述原始图像分割为m
×
n个块，所述m和所述n均为正整数，每个所述原始图像得到一个对应的分辨率为m
×
n的下采样图像；
[0141]
通过所述权重计算模块3将所述下采样图像中的每个像素的亮度输入所述一维权重计算高斯函数以得到第二权重结果，对所述第二权重结果进行归一化处理以获取第一权重、第二权重、...、第n权重，n为正整数。
[0142]
在本发明的一些实施例中，参照图6，所述权重计算模块3通过双线性差值法对所述下采样融合权重进行上采样处理以获取所述上采样融合权重。
[0143]
在本发明的另一些实施例中，参照图6，所述权重计算模块3通过二维高斯函数对所述下采样融合权重进行上采样处理以获取所述上采样融合权重。
[0144]
本发明还提供一种设备，包括存储器、处理器和存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现所述图像融合方法。
[0145]
本发明还提供一种存储介质，其上存储有程序，所述程序被处理器执行时实现所述图像融合方法。
[0146]
本发明的所述设备和存储介质的优点为：通过直方图调整并确定融合权重计算公式，充分利用了直方图的统计信息，提高了融合权重计算公式的适用性，扩大了本发明的所图像融合方法的适用场景，通过计算下采样图像、下采样融合权重和上采样融合权重，从而将图像整体与局部相结合，达到了保持图像高光及暗处细节、减小噪音、图像过渡自然的效
果，提升了融合图像的质量，解决了在hdr图像融合过程中引入计算可能导致高光或暗处细节丢失和过渡不自然的问题。
[0147]
虽然在上文中详细说明了本发明的实施方式，但是对于本领域的技术人员来说显而易见的是，能够对这些实施方式进行各种修改和变化。但是，应理解，这种修改和变化都属于权利要求书中所述的本发明的范围和精神之内。而且，在此说明的本发明可有其它的实施方式，并且可通过多种方式实施或实现。