图像的多尺度配准融合方法、装置、终端设备及存储介质与流程

1.本发明属于图像处理技术领域，尤其涉及一种图像的多尺度配准融合方法、装置、终端设备以及计算机可读存储介质。


背景技术：

2.随着科技的快速发展，为了能够获得更丰富、更精确和更可靠的有用信息，往往需要对来自多个传感器的信息用多种数学统计等方法来进行多方面多层次的数据融合处理，其中，图像融合技术是一类可视的数据融合技术，综合了计算机技术、信号处理技术、图像处理技术和传感器技术等学科，图像融合的过程是针对同一目标的若干幅图像按照特定目的进行融合，从而得到有关这一目标信息描述更加准确和更加全面的一幅图像。
3.目前，在图像实际的成像过程中，由于聚焦点的不同，导致没有聚焦的目标与聚焦的目标不能同时清晰的成像，由于光源强度的不均匀，导致成像出现欠曝光和过曝光部分，这些情况都会使得在一幅图像中各景物不能够清晰的呈现出来。但在图像融合领域主流的算法中，通常实现多曝光或者多聚焦图像其中的某一种情况融合，未考虑两种情况同时存在时图像的融合方法，另外主流算法不能同时保证融合处理的高精度和高速度，不能满足实际智能设备的应用。
4.综上，如何在降低算法复杂度的同时提高算法精度，从而实现多聚焦和多曝光两种情况下的图像融合以得到高质量、高分辨力的实时融合图像俨然已经成为了图像处理技术领域亟待解决的技术问题。


技术实现要素：

5.本发明的主要目的在于提供一种图像的多尺度配准融合方法、装置、终端设备以及计算机可读存储介质。旨在在降低算法复杂度的同时提高算法精度，并实现多聚焦和多曝光两种情况下的图像融合以得到高质量、高分辨力的实时融合图像。
6.为了实现上述目的，本发明提供一种图像的多尺度配准融合方法，所述图像的多尺度配准融合方法包括：
7.对待融合的原始图像数据进行图像配准处理，并得到所述原始图像数据对应的灰度图像数据；
8.对所述灰度图像数据进行处理，得到所述灰度图像数据的多聚焦融合权值系数；
9.对所述灰度图像数据进行基于像素强度的权重计算和基于全局梯度的权重计算，得到所述灰度图像数据的多曝光融合权值系数；
10.根据所述多聚焦融合权值系数和所述多曝光融合权值系数对所述原始图像数据进行多聚焦多曝光图像融合处理，得到融合图像数据。
11.可选地，所述对所述灰度图像数据进行处理，得到所述灰度图像数据的多聚焦融合权值系数的步骤，包括：
12.确定所述灰度图像数据的初始决策图；
13.通过控制导向滤波器对所述初始决策图进行处理，得到所述灰度图像数据的多聚焦融合权值系数。
14.可选地，所述确定所述灰度图像数据的初始决策图的步骤，包括：
15.确定所述灰度图像数据的第一聚焦图；
16.根据逐像素最大值规则对所述第一聚焦图进行处理，得到所述灰度图像数据的初始决策图。
17.可选地，所述确定所述灰度图像数据的第一聚焦图的步骤，包括：
18.确定所述灰度图像数据的第二聚焦图；
19.通过控制导向滤波器对所述第二聚焦图进行细化处理，得到所述灰度图像数据的第一聚焦图。
20.可选地，所述确定所述灰度图像数据的第二聚焦图的步骤，包括：
21.对所述灰度图像数据进行均值滤波，得到均值滤波图像数据；
22.提取所述均值滤波图像数据中的高频信息，得到所述灰度图像数据的第二聚焦图。
23.可选地，所述对所述灰度图像数据进行基于像素强度的权重计算和基于全局梯度的权重计算，得到所述灰度图像数据的多曝光融合权值系数的步骤，包括：
24.对所述灰度图像数据进行基于像素强度的权重计算以确定第一权值系数；
25.对所述灰度图像数据进行基于全局梯度的权重计算以确定第二权值系数；
26.根据所述第一权值系数和所述第二权值系数确定所述灰度图像数据的多曝光融合权值系数。
27.可选地，所述根据所述多聚焦融合权值系数和所述多曝光融合权值系数对所述原始图像数据进行多聚焦多曝光图像融合处理的步骤，包括：
28.对所述原始图像数据进行高斯金字塔分解处理，得到多层金字塔图像；
29.根据所述多聚焦融合权值系数和所述多曝光融合权值系数，对多层所述金字塔图像进行多聚焦多曝光图像融合处理。
30.此外，为实现上述目的，本发明还提供一种图像的多尺度配准融合装置，所述图像的多尺度配准融合装置包括：
31.图像配准模块，对待融合的原始图像数据进行图像配准处理，并得到所述原始图像数据对应的灰度图像数据；
32.多聚焦权重模块，对所述灰度图像数据进行处理，得到所述灰度图像数据的多聚焦融合权值系数；
33.多曝光权重模块，对所述灰度图像数据进行基于像素强度的权重计算和基于全局梯度的权重计算，得到所述灰度图像数据的多曝光融合权值系数；
34.图像融合模块，根据所述多聚焦融合权值系数和所述多曝光融合权值系数对所述原始图像数据进行多聚焦多曝光图像融合处理，得到融合图像数据。
35.此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像的多尺度配准融合程序，所述终端设备的图像的多尺度配准融合程序被所述处理器执行时实现如上所述的图像的多尺度配准融合方法的步骤。
36.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有图像的多尺度配准融合程序，所述图像的多尺度配准融合程序被处理器执行时实现如上所述的图像的多尺度配准融合方法的步骤。
37.本发明实施例提出的一种图像的多尺度配准融合方法、装置、终端设备以及计算机可读存储介质，所述方法通过获取原始图像数据，对所述原始图像数据进行图像配准处理，并得到所述原始图像数据对应的灰度图像数据；对所述灰度图像数据进行处理，得到所述灰度图像数据的多聚焦融合权值系数；对所述灰度图像数据进行基于像素强度的权重计算和基于全局梯度的权重计算，得到所述灰度图像数据的多曝光融合权值系数；根据所述多聚焦融合权值系数和所述多曝光融合权值系数对所述原始图像数据进行多聚焦多曝光图像融合处理，得到融合图像数据。
38.本发明实施例通过对获取到的原始图像数据进行图像配准预处理，并得到与该原始图像数据对应的灰度图像数据，对该灰度图像数据进行一系列数据处理，从而确定该灰度图像数据的多聚焦融合权值系数，并对该灰度图像数据进行基于像素强度的权重计算和基于全局梯度的权重计算，从而确定该灰度图像数据的多曝光融合权值系数，最后，根据多聚焦融合权值系数和多曝光融合权值系数完成对原始图像数据的多聚焦多曝光图像融合处理，得到最终的融合图像数据。如此，本发明通过采用变换域的多尺度分解和空间域的像素加权相结合的方法，实现了在降低算法复杂度的同时提高算法精度，进而实现多聚焦和多曝光两种情况下的图像融合以得到高质量、高分辨力的实时融合图像。
附图说明
39.图1是本发明实施例方案涉及的终端设备硬件运行环境的设备结构示意图；
40.图2为本发明图像的多尺度配准融合方法第一实施例的步骤流程示意图；
41.图3为本发明图像的多尺度配准融合方法的一实施例所涉及的fef算法实现示意图；
42.图4为本发明图像的多尺度配准融合方法的一实施例所涉及的图像配准算法图解示意图；
43.图5为本发明图像的多尺度配准融合方法的一实施例所涉及的多聚焦融合整体过程图解示意图；
44.图6为本发明图像的多尺度配准融合方法的一实施例所涉及的多曝光融合整体过程图解示意图；
45.图7为本发明图像的多尺度配准融合方法的一实施例所涉及的fef算法仿真处理结果示意图。
46.图8为本发明图像的多尺度配准融合装置一实施例的功能模块示意图。
47.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
48.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
49.参照图1，图1为本发明实施例方案涉及终端设备的硬件运行环境的设备结构示意图。
50.本发明实施例终端设备可以是应用于图像融合处理技术领域，集成有fef(multi-focus and multi-exposure fusion，多聚焦多曝光融合)算法的终端设备，其中，fef算法是同时结合滤波分析、多聚焦多曝光融合、多尺度配准等算法思想所提出的一种算法。具体地，该终端设备可以是智能手机、pc(personal computer，个人计算机)、平板电脑、便携计算机等等。
51.如图1所示，该终端设备可以包括：处理器1001，例如cpu，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
52.本领域技术人员可以理解，图1中示出的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
53.如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像的多尺度配准融合程序。
54.在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的图像的多尺度配准融合程序，并执行如下操作：
55.对待融合的原始图像数据进行图像配准处理，并得到所述原始图像数据对应的灰度图像数据；
56.对所述灰度图像数据进行处理，得到所述灰度图像数据的多聚焦融合权值系数；
57.对所述灰度图像数据进行基于像素强度的权重计算和基于全局梯度的权重计算，以确定所述灰度图像数据的多曝光融合权值系数；
58.根据所述多聚焦融合权值系数和所述多曝光融合权值系数对所述原始图像数据进行多聚焦多曝光图像融合处理，得到融合图像数据。
59.可选地，处理器1001还可以用于调用存储器1005中存储的图像的多尺度配准融合程序，并执行如下操作：
60.确定所述灰度图像数据的初始决策图；
61.通过控制导向滤波器对所述初始决策图进行处理，得到所述灰度图像数据的多聚焦融合权值系数。
62.可选地，处理器1001还可以用于调用存储器1005中存储的图像的多尺度配准融合程序，并执行如下操作：
63.确定所述灰度图像数据的第一聚焦图；
64.根据逐像素最大值规则对所述第一聚焦图进行处理以确定所述灰度图像数据的初始决策图。
65.可选地，处理器1001还可以用于调用存储器1005中存储的图像的多尺度配准融合程序，并执行如下操作：
66.确定所述灰度图像数据的第二聚焦图；
67.通过控制导向滤波器对所述第二聚焦图进行细化处理以确定所述灰度图像数据的第一聚焦图。
68.可选地，处理器1001还可以用于调用存储器1005中存储的图像的多尺度配准融合程序，并执行如下操作：
69.对所述灰度图像数据进行均值滤波，得到均值滤波图像数据；
70.提取所述均值滤波图像数据中的高频信息，得到所述灰度图像数据的粗略聚焦图。
71.可选地，所述装船机的行走轮上设有绝对值编码器，处理器1001还可以用于调用存储器1005中存储的图像的多尺度配准融合程序，并执行如下操作：
72.对所述灰度图像数据进行基于像素强度的权重计算以确定第一权值系数；
73.对所述灰度图像数据进行基于全局梯度的权重计算以确定第二权值系数；
74.根据所述第一权值系数和所述第二权值系数确定所述灰度图像数据的多曝光融合权值系数。
75.可选地，处理器1001还可以用于调用存储器1005中存储的图像的多尺度配准融合程序，并执行如下操作：
76.对所述原始图像数据进行高斯金字塔分解处理，得到多层金字塔图像；
77.根据所述多聚焦融合权值系数和所述多曝光融合权值系数对多层所述金字塔图像进行多聚焦多曝光图像融合处理。
78.基于上述的终端设备，提出本发明图像的多尺度配准融合方法的各实施例。
79.目前，在图像实际的成像过程中，由于聚焦点的不同，导致没有聚焦的目标与聚焦的目标不能同时清晰的成像，由于光源强度的不均匀，导致成像出现欠曝光和过曝光部分，这些情况都会使得在一幅图像中各景物不能够清晰的呈现出来。但在图像融合领域主流的算法中，通常实现多曝光或者多聚焦图像其中的某一种情况融合，未考虑两种情况同时存在时图像的融合方法，另外主流算法不能同时保证融合处理的高精度和高速度，不能满足实际智能设备的应用。
80.针对上述现象，本发明提出一种图像的多尺度配准融合方法。本发明图像的多尺度配准融合方法通过对获取到的原始图像数据进行图像配准预处理，并得到与该原始图像数据对应的灰度图像数据，对该灰度图像数据进行一系列数据处理，从而确定该灰度图像数据的多聚焦融合权值系数，并对该灰度图像数据进行基于像素强度的权重计算和基于全局梯度的权重计算，从而确定该灰度图像数据的多曝光融合权值系数，最后，根据多聚焦融合权值系数和多曝光融合权值系数完成对原始图像数据的多聚焦多曝光图像融合处理，得到最终的融合图像数据。因此，本发明通过采用变换域的多尺度分解和空间域的像素加权相结合的方法，实现了在降低算法复杂度的同时提高算法精度，进而实现多聚焦和多曝光两种情况下的图像融合以得到高质量、高分辨力的实时融合图像。
81.请参照图2，图2为本发明图像的多尺度配准融合方法第一实施例的流程示意图。需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，本发明图像的多尺度配准融合方法当然也可以以不同于此处的顺序执行所示出或描述的步骤。
82.在本发明图像的多尺度配准融合方法的第一实施例中，本发明图像的多尺度配准融合方法包括：
83.步骤s10：对待融合的原始图像数据进行图像配准处理，并得到所述原始图像数据对应的灰度图像数据；
84.在本实施例中，由集成有fef算法的终端设备调用fef算法对待融合的原始图像数据进行图像配准预处理，并得到该原始图像数据对应的灰度图像数据。
85.需要说明的是，多聚焦多曝光融合算法fef由三大部分组成，分别是图像配准的预处理部分、多聚焦融合部分、多曝光融合部分：其中图像配准部分采用ssd(sum of squared difference，差方和)算法实现；多聚焦融合部分采用基于导向滤波器的多尺度高斯金字塔分层处理，其权重由一系列图像分解滤波处理得到的决策图决定；多曝光融合部分采用均值直方图归一化和高斯滤波等一系列处理后得到权重系数，再通过高斯金字塔分解分层处理。上述的两个融合过程都是在高斯金字塔里多尺度的处理，所以首先对原始图像执行高斯金字塔分解，在分解的每个层级上执行多聚焦多曝光融合处理，最后整体重构得到一幅融合后的图像。
86.示例性地，图像配准主要用于多帧图像融合过程的中间必要步骤，双镜头设备中，由于镜头存在物理间距，在成像过程中两个镜头对一个目标成像不能得到完全一致的图像，会存在像素的位移使得融合对不准，导致融合效果出现重影等不良现象，此时两帧图像融合的过程中进行像素的配准就非常必要。单镜头设备中，在实际情况下通常由于外界干扰拍摄的多帧图像的像素对准不佳会影响图像融合效果，如果采用三脚架或者快速摄影技术，使得连续多帧图像像素完美对齐，那么在融合的过程中就不需要进行配准操作，因此，图像匹配主要是完成输入图像之间的配准对齐工作，保证后续的图像融合能顺利进行。
87.示例性地，本实施例采用基于灰度信息的ssd算法，由集成有fef算法的终端设备调用fef算法获取两张原始图像数据rgb(red、green、blue,红色、绿色、蓝色)1、rgb2，并经过ycrcb颜色空间变换后提取两张原始图像数据的亮度信息，得到两张原始图像数据对应的灰度图像数据y1、y2，对两张灰度图像每个像素之差的平方求和，即计算子图与模板图的l2距离，公式如下：
[0088][0089]
其中，t(x’，y’)表示模板图像的像素点，为一个常数，i(x+x’,y+y’)表示原始图像数据的像素点，也可以近似一个常数，r(x,y)表示两个图像每个像素点之差的平方和。
[0090]
在寻找最优匹配块时，ssd函数通过图像块间像素点对应的r、g、b三元素对图像块之间的近似信息进行度量，是一种使用较多图像块近似度度量方法，可以引入ssd函数用以搜寻最优匹配块。如图4所示，以其中一个通道的图像作为说明，从待配准的两帧原始图图像中间位置开始，设定匹配块大小，这里选取151x151像素大小的匹配块croppeda和croppedb，对这两个匹配块进行ssd寻优，寻找出两个块之间最小的ssd值对应的横纵位移量。设置相应的位移范围，不断循环此步骤，此处位移范围设置为20x20像素，当两帧图像位移量超过此范围，算法将不再适用，将croppeda和croppedb同时循环移动。当寻找到最优横纵位移量后，对待匹配的一个图像整体移位此位移量值，即可成功的对两幅图像进行配准并实现简单的融合。
[0091]
需要说明的是，在本实施例中，集成有fef算法的终端设备调用fef算法可以获取两张或者两张以上数量的原始图像数据，并完成对两张或者两张以上数量的原始图像数据
的多聚焦多曝光融合处理。应当理解的是，基于实际应用的不同设计需要，在不同可行的实施方式当中，待处理的图像数据可以是任意张数，本发明图像的多尺度配准融合方法并不针对该待处理的图像数据的具体数量进行限定。
[0092]
步骤s20：对所述灰度图像数据进行处理，得到所述灰度图像数据的多聚焦融合权值系数；
[0093]
在本实施例中，由集成有fef算法的终端设备调用fef算法对原始图像数据对应的灰度图像数据进行数据处理，从而确定该灰度图像数据的多聚焦融合权值系数。
[0094]
需要说明的是，在一般的光学成像系统中，系统功能是低通滤波器。模糊区域即散焦区域的系统函数比清晰区域即聚焦区域的系统函数具有更窄的带宽。在理想情况下，聚焦区域比散焦区域具有更多的高频信息，因此，聚焦区域检测是多聚焦图像融合的重要步骤。
[0095]
示例性地，由集成有fef算法的终端设备调用fef算法对灰度图像数据y1、y2进行聚焦区域检测，从而确定灰度图像数据y1、y2的多聚焦融合权值系数wmap。
[0096]
步骤s30，对所述灰度图像数据进行基于像素强度的权重计算和基于全局梯度的权重计算，得到所述灰度图像数据的多曝光融合权值系数；
[0097]
在本实施例中，由集成有fef算法的终端设备调用fef算法对原始图像数据对应的灰度图像数据进行权重计算，其中，该权重计算包括基于像素强度的权重计算和基于全局梯度的权重计算，从而确定该灰度图像数据的多曝光融合权值系数。
[0098]
示例性地，如图6所示，由集成有fef算法的终端设备调用fef算法对灰度图像数据y1、y2进行两种权函数计算，第一个权函数基于像素强度，是测量像素值相对于整体亮度和相邻曝光图像的重要性。第二个权函数是基于全局梯度，反映一个像素值在全局梯度相对其他曝光较大的范围内的重要性，通过两种权函数对该灰度图像数据的权重计算，确定该灰度图像数据的多曝光融合权值系数wexp。
[0099]
步骤s40，根据所述多聚焦融合权值系数和所述多曝光融合权值系数对所述原始图像数据进行多聚焦多曝光图像融合处理，得到融合图像数据。
[0100]
在本实施例中，由集成有fef算法的终端设备调用fef算法根据上述多聚焦融合权值系数wmap和多曝光融合权值系数wexp，对原始图像数据进行多聚焦多曝光图像融合处理，并得到最终的融合图像数据。
[0101]
进一步地，在一种可行的实施例中，步骤s40中,“根据所述多聚焦融合权值系数和所述多曝光融合权值系数对所述原始图像数据进行多聚焦多曝光图像融合处理”的步骤包括：
[0102]
步骤a，对所述原始图像数据进行高斯金字塔分解处理，得到多层金字塔图像；
[0103]
步骤b，根据所述多聚焦融合权值系数和所述多曝光融合权值系数，对多层所述金字塔图像进行多聚焦多曝光图像融合处理。
[0104]
在本实施例中，由集成有fef算法的终端设备调用fef算法对原始图像数据进行高斯金字塔分解，得到多层金字塔图像，根据多聚焦融合权值系数和多曝光融合权值系数在分解的每层金字塔图像上执行多聚焦多曝光图像融合处理。
[0105]
示例性地，如图3所示，由集成有fef算法的终端设备调用fef算法对获取到的原始图像数据rgb1、rgb2进行高斯金字塔分解，得到高斯金字塔分解后的每层图像，即py1、
py2
……
pyn，然后，利用多聚焦融合权值系数wmap即如下公式中的最终决策图fdm，通过逐像素加权平均规则将原始图像数据rgb1、rgb2融合在一起，并且获得最终的融合图像if：
[0106]
if(x,y)＝fdm(x,y)i1(x,y)+(1-fdm(x,y))i2(x,y)
[0107]
其中，if(x,y)表示已融合图像中的像素点，fdm(x,y)表示最终决策图中的像素点，i1(x,y)表示原始图像数据中的像素点，i2(x,y)表示另一张原始图像数据中的像素点。
[0108]
多曝光融合权值系数wexp采用多尺度高斯金字塔分解，在每个金字塔中处理多曝光融合，并合成最终结果。
[0109]
在本实施例中，本发明图像的多尺度配准融合方法通过集成有fef算法的终端设备调用fef算法对待融合的原始图像数据进行图像配准预处理，并得到该原始图像数据对应的灰度图像数据；由集成有fef算法的终端设备调用fef算法对原始图像数据对应的灰度图像数据进行数据处理，从而确定该灰度图像数据的多聚焦融合权值系数；由集成有fef算法的终端设备调用fef算法对原始图像数据对应的灰度图像数据进行权重计算，其中，该权重计算包括基于像素强度的权重计算和基于全局梯度的权重计算，从而确定该灰度图像数据的多曝光融合权值系数；由集成有fef算法的终端设备调用fef算法根据上述多聚焦融合权值系数wmap和多曝光融合权值系数wexp，对原始图像数据进行多聚焦多曝光图像融合处理，并得到最终的融合图像数据；由集成有fef算法的终端设备调用fef算法对原始图像数据进行高斯金字塔分解，得到多层金字塔图像，根据多聚焦融合权值系数和多曝光融合权值系数在分解的每层金字塔图像上执行多聚焦多曝光图像融合处理。
[0110]
如此，本发明实施例通过对待融合的原始图像数据进行图像配准预处理，并得到与该原始图像数据对应的灰度图像数据，对该灰度图像数据进行数据处理，从而确定该灰度图像数据的多聚焦融合权值系数，并对该灰度图像数据进行基于像素强度的权重计算和基于全局梯度的权重计算，从而确定该灰度图像数据的多曝光融合权值系数，最后，根据多聚焦融合权值系数和多曝光融合权值系数完成对原始图像数据的多聚焦多曝光图像融合处理，得到最终的融合图像数据。进一步地，本发明通过采用变换域的多尺度分解和空间域的像素加权相结合的方法，实现了在降低算法复杂度的同时提高算法精度，进而实现多聚焦和多曝光两种情况下的图像融合以得到高质量、高分辨力的实时融合图像。
[0111]
进一步地，基于上述本发明图像的多尺度配准融合方法的第一实施例，提出本发明图像的多尺度配准融合方法的第二实施例。
[0112]
在本实施例中，本发明图像的多尺度配准融合方法，上述步骤s20，可以包括：
[0113]
步骤s201,确定所述灰度图像数据的初始决策图；
[0114]
步骤s202,通过控制导向滤波器对所述初始决策图进行处理，得到所述灰度图像数据的多聚焦融合权值系数。
[0115]
在本实施例中，由集成有fef算法的终端设备调用fef算法确定原始图像数据对应的灰度图像数据的初始决策图，并控制导向滤波器对该初始决策图进行滤波处理，从而确定该灰度图像数据的多聚焦融合权值系数。
[0116]
示例性地，由集成有fef算法的终端设备调用fef算法确定初始决策图dgym即如下公式中的idm，由于初始决策图增加了虚假和无关的信息，从而导致错误检测，为了获得理想的融合图像，使用导向滤波器来验证初始融合图像作为引导图像的空间一致性，并生成期望的多聚焦融合权值系数wmap即如下公式中的最终决策图fdm：
[0117]iif
(x,y)＝idm(x,y)i1(x,y)+(1-idm(x,y))i2(x,y)
[0118]
fdm＝gf2(i
if
(x,y),idm(x,y))
[0119]
其中，i
if
(x,y)表示由初始决策图作用于两张原始图像的中间变量，idm(x,y)初始决策图中的像素点。
[0120]
进一步地，在一种可行的实施例中，本发明图像的多尺度配准融合方法，上述步骤s201，可以包括：
[0121]
步骤c,确定所述灰度图像数据的第一聚焦图；
[0122]
步骤d,根据逐像素最大值规则对所述第一聚焦图进行处理，得到所述灰度图像数据的初始决策图。
[0123]
在本实施例中，由集成有fef算法的终端设备调用fef算法确定原始图像数据对应的灰度图像数据的精确聚焦图，即第一聚焦图，并根据逐像素最大值规则对该精确聚焦图进行处理，从而确定该灰度图像数据的初始决策图。
[0124]
示例性地，由集成有fef算法的终端设备调用fef算法确定原始图像数据rgb1、rgb2对应的精确聚焦图gym1、gym2，即如下公式中的afm1、afm2，通过采用相应的精确聚焦图afm1和afm2的逐像素最大值规则来获得初始决策图dgym即如下公式中的idm：
[0125][0126]
其中，afm1(x,y)表示原始图像数据的精确聚焦图，afm2(x,y)表示另一张原始图像数据的精确聚焦图。
[0127]
进一步地，在一种可行的实施例中，本发明图像的多尺度配准融合方法，上述步骤c，可以包括：
[0128]
步骤e，确定所述灰度图像数据的第二聚焦图；
[0129]
步骤f，通过控制导向滤波器对所述第二聚焦图进行细化处理，得到所述灰度图像数据的第一聚焦图。
[0130]
在本实施例中，由集成有fef算法的终端设备调用fef算法确定原始图像数据对应的灰度图像数据的粗略聚焦图，即第二聚焦图，并控制导向滤波器对该粗略聚焦图进行滤波细化处理，从而确定该灰度图像数据的精确聚焦图。
[0131]
示例性地，由集成有fef算法的终端设备调用fef算法确定原始图像数据rgb1、rgb2对应的粗略聚焦图ym1、ym2，即如下公式中的rfm1和rfm2，以灰度图像数据y1、y2即如下公式中的i1和i2作为引导图像，通过导向滤波器增强粗略聚焦图的高频信息，获得精确聚焦图afm1和afm2，其具有比粗略聚焦图更多的高频信息，如等式所示：
[0132]
afm1(x,y)＝gf1(i1(x,y),rfm1(x,y))
[0133]
afm2(x,y)＝gf1(i2(x,y),rfm2(x,y))
[0134]
进一步地，在一种可行的实施例中，本发明图像的多尺度配准融合方法，上述步骤e，可以包括：
[0135]
步骤g，对所述灰度图像数据进行均值滤波，得到均值滤波图像数据；
[0136]
在本实施例中，由集成有fef算法的终端设备调用fef算法对原始图像数据对应的灰度图像数据进行均值滤波，从而生成均值滤波图像数据。
[0137]
示例性地，使用简单的均值滤波来模糊灰度图像数据y1、y2即如下公式中的i1和i2，并且生成均值滤波的图像m1和m2，如下面公式所示：
[0138]
m1(x,y)＝i1(x,y)*fm[0139]
m2(x,y)＝i2(x,y)*fm[0140]
其中，m1(x,y)表示待融合的一张原始图像数据对应的均值滤波后的图像，m2(x,y)表示待融合的另一张原始图像数据对应的均值滤波后的图像,fm表示均值滤波核。
[0141]
步骤h，提取所述均值滤波图像数据中的高频信息，得到所述灰度图像数据的粗略聚焦图。
[0142]
在本实施例中，由集成有fef算法的终端设备调用fef算法提取均值滤波图像数据中的高频信息，从而得到灰度图像数据的粗略聚焦图。
[0143]
示例性地，与灰度图像数据y1、y2即如下公式中的i1、i2的聚焦区域相比，均值滤波图像m1、m2的相应区域被模糊。计算i1、i2和均值滤波图像m1、m2之间差异的绝对值，并且提取该部分高频信息以生成粗略聚焦图ym1、ym2即如下公式中的rfm1和rfm2，如下面公式所示：
[0144]
rfm1(x,y)＝|i1(x,y)-m1(x,y)|
[0145]
rfm2(x,y)＝|i2(x,y)-m2(x,y)|
[0146]
示例性地，如图5所示，由集成有fef算法的终端设备调用fef算法执行多聚焦融合的整体过程，首先，确定源rgb图像rgb1、rgb2，经过ycrcb颜色空间变换后提取的亮度图像y即对应的灰度图像y1、y2，对灰度图像y1、y2进行配准处理，然后对配准处理后的灰度图像y1、y2进行均值滤波处理得到均值滤波后的图像m1、m2，然后通过差分算子得到粗略细节图ym1、ym2，利用导向滤波器对粗略细节图ym1、ym2进行滤波细化得到精确细节图gym1、gym2，然后，通过像素最大化规则得到初始决策图dgym，并再次使用导向滤波器优化生成最终决策图wmap，最后，根据最终的决策图wmap，采用逐像素加权平均规则得到融合图像。
[0147]
在本实施例中，本发明图像的多尺度配准融合方法通过由集成有fef算法的终端设备调用fef算法对原始图像数据对应的灰度图像数据进行均值滤波，从而生成均值滤波图像数据；由集成有fef算法的终端设备调用fef算法提取均值滤波图像数据中的高频信息，从而确定灰度图像数据的粗略聚焦图；由集成有fef算法的终端设备调用fef算法确定原始图像数据对应的灰度图像数据的粗略聚焦图，并控制导向滤波器对该粗略聚焦图进行滤波细化处理，从而确定该灰度图像数据的精确聚焦图；由集成有fef算法的终端设备调用fef算法确定原始图像数据对应的灰度图像数据的精确聚焦图，并根据逐像素最大值规则对该精确聚焦图进行处理，从而确定该灰度图像数据的初始决策图；由集成有fef算法的终端设备调用fef算法确定原始图像数据对应的灰度图像数据的初始决策图，并控制导向滤波器对该初始决策图进行滤波处理，从而确定该灰度图像数据的多聚焦融合权值系数。
[0148]
如此，通过对原始图像数据进行的一系列算法处理得到多聚焦融合权值系数，根据该多聚焦融合权值系数实现将两帧聚焦不同的图像融合成一张各聚焦部位都清晰显示的图像，如图7所示，multi-focus image1和multi-focus image1聚焦的部位不同，fused image为multi-focus image1和multi-focus image1中聚焦的部位都清晰显示的图像。
[0149]
进一步地，基于上述本发明图像的多尺度配准融合方法的第一实施例和/或者第二实施例，提出本发明图像的多尺度配准融合方法的第三实施例。
[0150]
在本实施例中，本发明图像的多尺度配准融合方法，上述步骤s30，可以包括：
[0151]
步骤s301,对所述灰度图像数据进行基于像素强度的权重计算以确定第一权值系数；
[0152]
在本实施例中，由集成有fef算法的终端设备调用fef算法对原始图像数据对应的灰度图像数据进行基于像素强度的权重计算，从而确定该灰度图像数据基于像素强度的第一权值系数。
[0153]
示例性地，传统的逐像素多曝光融合算法生成融合图像i
fused
可以表示为：
[0154][0155]
其中n是一组多重曝光图像中的图像数量，in(x,y)是该组中第n个图像的像素强度，wn(x,y)表示表示像素在in(x,y)中的重要性权重。
[0156]
多曝光融合算法最重要的部分是如何设计wn(x,y)，对于曝光好的区域的像素需要大，反之亦然。作为最直观最简单的wn计算方法如下公式所示：
[0157][0158]
将第n个图像的像素强度均值表示为mn，需要说明的是，mn的取值范围是0至1，当in(x,y)接近1-mn时，权重应该较大，可以表示为：
[0159]
exp(-(in(x,y)-(1-mn))2)
[0160]
则编码相对亮度的基于像素强度的第一权值系数w1map即如下公式中的第一权重w
1,n
(x,y)被表示为：
[0161][0162]
其中σn根据mn的差值控制权重，如下公式所示：α＝0.75。从等式中我们可以看出，当mn接近1时(图像整体亮度较高时)，暗像素(in(x,y))中值较低的像素)将被赋予较大的权重，反之亦然。此外，当相邻曝光图像之间的平均亮度差异很大时，权重被赋予大的值。
[0163][0164]
步骤s302,对所述灰度图像数据进行基于全局梯度的权重计算以确定第二权值系数；
[0165]
在本实施例中，由集成有fef算法的终端设备调用fef算法对原始图像数据对应的灰度图像数据进行基于全局梯度的权重计算，从而确定该灰度图像数据基于全局梯度的第二权值系数。
[0166]
示例性地，在低曝光图像中，暗区域中的像素饱和到接近0的值，而亮区域中的像素值具有较大的变化，因此亮区域通常具有高对比度(像素值的大梯度)；在高曝光图像的情况下，相反的关系成立。低曝光图像有许多接近零的饱和像素，累积直方图在开始时急剧增加，因此当一个像素处于累积直方图缓慢变化的范围内时，我们可以说它处于曝光良好
的区域。在中曝光和高曝光图像的情况下，累积直方图在较低像素值处的梯度小于低曝光图像的情况。因此，当像素在具有较小梯度的累积直方图的范围内时，我们需要给予该像素较大的权重：
[0167][0168]
ε是非常小的正值，以防止分母为零，并且gradn(in(x,y))表示累积直方图在强度in(x,y)处的梯度。因为上面的梯度不是像素周围的局部梯度，而是相对于在相似范围内的其他远程像素的梯度，所以我们称之为全局梯度。
[0169]
步骤s303,根据所述第一权值系数和所述第二权值系数确定所述灰度图像数据的多曝光融合权值系数。
[0170]
在本实施例中，由集成有fef算法的终端设备调用fef算法根据基于像素强度的第一权值系数和基于全局梯度的第二权值系数，确定灰度图像数据的多曝光融合权值系数。
[0171]
示例性地，每幅图像的最终权重通过将两个权重结合归一化来计算，如下所示：
[0172][0173]
其中p1、p2》0是决定更强调哪一个的参数，但是，实际中将这些参数设置为相同的(p1＝p2＝1)。
[0174]
示例性地，如图6所示，由集成有fef算法的终端设备调用fef算法执行多曝光融合的整体过程，首先，确定源rgb图像rgb1、rgb2，经过ycrcb颜色空间变换后提取的亮度图像y即对应的灰度图像y1、y2，对灰度图像y1、y2进行配准处理，然后对配准处理后的灰度图像y1、y2进行均值滤波处理得到均值滤波后的图像m1、m2，然后对均值滤波后的图像m1、m2执行基于像素强度的权重计算和基于全局梯度的权重计算，得到基于像素强度的第一权值系数w1map和基于全局梯度的第二权值系数w2map，将w1map和w2map进行权重结合归一化计算，得到多曝光融合权值系数wexp。
[0175]
在本实施例中，本发明图像的多尺度配准融合方法通过由集成有fef算法的终端设备调用fef算法对原始图像数据对应的灰度图像数据进行基于像素强度的权重计算，从而确定该灰度图像数据基于像素强度的第一权值系数；由集成有fef算法的终端设备调用fef算法对原始图像数据对应的灰度图像数据进行基于全局梯度的权重计算，从而确定该灰度图像数据基于全局梯度的第二权值系数；由集成有fef算法的终端设备调用fef算法根据基于像素强度的第一权值系数和基于全局梯度的第二权值系数，确定灰度图像数据的多曝光融合权值系数。
[0176]
如此，通过对原始图像数据进行的一系列算法处理得到多曝光融合权值系数，根据该多曝光融合权值系数实现将两帧曝光量不同的图像融合成一张正常曝光的图像，如图7所示，multi-exposure image1为欠曝光的图像，multi-exposure image2为过曝光的图像，fused image为融合multi-exposure image1和multi-exposure image2得到的正常曝光的图像。
[0177]
此外，本发明实施例还提供一种图像的多尺度配准融合装置。
[0178]
请参照图8，图8为本发明图像的多尺度配准融合装置一实施例的功能模块示意图，如图8所示，本发明图像的多尺度配准融合装置包括：
[0179]
图像配准模块10，用于对待融合的原始图像数据进行图像配准处理，并得到所述原始图像数据对应的灰度图像数据；
[0180]
多聚焦权重模块20，用于对所述灰度图像数据进行处理，得到所述灰度图像数据的多聚焦融合权值系数；
[0181]
多曝光权重模块30，用于对所述灰度图像数据进行基于像素强度的权重计算和基于全局梯度的权重计算，得到所述灰度图像数据的多曝光融合权值系数；
[0182]
图像融合模块40，用于根据所述多聚焦融合权值系数和所述多曝光融合权值系数对所述原始图像数据进行多聚焦多曝光图像融合处理，得到融合图像数据。
[0183]
可选地，多聚焦权重模块20，还用于确定所述灰度图像数据的初始决策图；通过控制导向滤波器对所述初始决策图进行处理，得到所述灰度图像数据的多聚焦融合权值系数。
[0184]
可选地，多聚焦权重模块20，还用于确定所述灰度图像数据的第一聚焦图；根据逐像素最大值规则对所述第一聚焦图进行处理以确定所述灰度图像数据的初始决策图。
[0185]
可选地，多聚焦权重模块20，还用于确定所述灰度图像数据的第二聚焦图；通过控制导向滤波器对所述第二聚焦图进行细化处理以确定所述灰度图像数据的第一聚焦图。
[0186]
可选地，多聚焦权重模块20，还用于对所述灰度图像数据进行均值滤波，得到均值滤波图像数据；提取所述均值滤波图像数据中的高频信息，得到所述灰度图像数据的第二聚焦图。
[0187]
可选地，多曝光权重模块30，还用于对所述灰度图像数据进行基于像素强度的权重计算以确定第一权值系数；对所述灰度图像数据进行基于全局梯度的权重计算以确定第二权值系数；根据所述第一权值系数和所述第二权值系数确定所述灰度图像数据的多曝光融合权值系数。
[0188]
可选地，图像融合模块40，还用于对所述原始图像数据进行高斯金字塔分解处理，得到多层金字塔图像；根据所述多聚焦融合权值系数和所述多曝光融合权值系数，对多层所述金字塔图像进行多聚焦多曝光图像融合处理。
[0189]
本发明还提供一种计算机存储介质，该计算机存储介质上存储有图像的多尺度配准融合程序，上述图像的多尺度配准融合程序被处理器执行时实现如以上任一项实施例所述的图像的多尺度配准融合程序方法的步骤。
[0190]
本发明计算机存储介质的具体实施例与上述本发明图像的多尺度配准融合程序方法各实施例基本相同，在此不作赘述。
[0191]
本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如以上任一项实施例所述的本发明图像的多尺度配准融合方法的步骤，在此不作赘述。
[0192]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该
要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0193]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0194]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是tws耳机等)执行本发明各个实施例所述的方法。
[0195]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。