多聚焦图像融合方法及装置与流程

1.本发明涉及图像处理技术领域，特别是涉及一种多聚焦图像融合方法及装置。


背景技术：

2.图像融合技术是可视的信息融合技术，是信息融合的一个扩展分支。图像融合主要是同一场景下，将多源传感器分别获取多信道的内容信息进行各种方法处理，通过提取各自图像中的有用内容信息，最终融合成高质量、信息量丰富的单幅图像。多聚焦图像融合是图像融合的重要分支之一，它是使用单一传感器设备对某一场景下的多次聚焦获取图像内容信息进行融合。
3.现有技术的多聚焦图像融合方法是基于卷积神经网络进行的预测和处理，其中还需要对图像进行二值分割、除洞、分水岭等操作，而且部分相关数据都是需要人工去提取特征，这个过程相当繁琐。


技术实现要素：

4.有鉴于此，本发明提供一种多聚焦图像融合方法，通过该方法，可以简化多聚焦图像融合过程。
5.本发明还提供了一种多聚焦图像融合装置，用以保证上述方法在实际中的实现及应用。
6.一种多聚焦图像融合方法，包括：
7.获取目标图像，对所述目标图像进行高斯模糊处理和二值化处理，获得所述目标图像对应的高斯图和真值图；
8.生成所述真值图对应的反真值图，所述反真值图与所述真值图为互补关系；
9.基于所述目标图像、所述高斯图、所述真值图及所述反真值图，生成所述目标图像对应的第一聚焦图和第二聚焦图，所述第一聚焦图与所述第二聚焦图为互补关系；
10.将所述第一聚焦图及所述第二聚焦图输入预先训练完成的图像融合网络，获得所述图像融合网络输出的决策图，所述决策图为经所述图像融合网络进行预测的二值图；
11.将所述第一聚焦图像、第二聚焦图像及决策图进行融合，获得多聚焦融合图像。
12.上述的方法，可选的，所述基于所述目标图像、所述高斯图、所述真值图及所述反真值图，生成所述目标图像对应的第一聚焦图和第二聚焦图，包括：
13.应用预设的第一计算公式，对所述目标图像、所述高斯图、所述真值图及所述反真值图进行计算，生成所述目标图像对应的第一聚焦图；
14.应用预设的第二计算公式，对所述目标图像、所述高斯图、所述真值图及所述反真值图进行计算，生成所述目标图像对应的第二聚焦图；
15.所述第一计算公式为：
16.17.所述第二计算公式为：
[0018][0019]
其中，y1为第一聚焦图，y2为第二聚焦图，x为目标图像，为真值图，为反真值图，x
blur
为高斯图。
[0020]
上述的方法，可选的，训练所述图像融合网络的过程，包括：
[0021]
获取第一训练图像、第二训练图像及训练目标，所述第一训练图像和第二训练图像为互补关系的聚焦图，所述训练目标为所述第一训练图像和第二训练图像对应的二值图；
[0022]
基于所述第一训练图像、第二训练图像及训练目标，执行所述图像融合网络对应的训练过程；
[0023]
其中，所述训练过程包括：将所述第一训练图像及所述第二训练图像分别输入所述图像融合网络的第一编码网络和第二编码网络，获得所述第一编码网络输出的所述第一训练图像对应的第一上下文信息及所述第二编码网络输出的所述第二训练图像对应的第二上下文信息；将所述第一上下文信息与所述第二上下文信息进行融合后获得的融合信息，并将所述融合信息输入所述图像融合网络的解码器，获得所述解码器输出的目标二值图；
[0024]
将所述目标二值图与所述训练目标进行比对，获得比对结果；
[0025]
当所述比对结果不满足预设的训练条件时，应用预设的二值交叉熵函数调整所述图像融合网络，并重新执行所述训练过程；
[0026]
当所述比对结果满足所述训练条件时，结束对所述图像融合网络的训练。
[0027]
上述的方法，可选的，所述将所述第一聚焦图像、第二聚焦图像及决策图进行融合，获得多聚焦融合图像，包括：
[0028]
应用预先设置的条件随机场方法crf对所述决策图进行边界平滑处理，获得已处理的决策图；
[0029]
将所述第一聚焦图像、第二聚焦图像及已处理的决策图进行融合，获得多聚焦融合图像。
[0030]
上述的方法，可选的，所述将所述第一聚焦图像、第二聚焦图像及决策图进行融合，获得融合图像，包括：
[0031]
应用预先设置的第三计算公式对所述第一聚焦图像、第二聚焦图像及所述决策图进行计算，生成多聚焦融合图像；
[0032]
所述第三计算公式为：
[0033]ffused
＝fd(x,y)
×
fa(x,y)+(1-fd(x,y))
×
fb(x,y)
[0034]
其中，f
fused
为融合图像，fa为第一聚焦图像，fb为第二聚焦图像，fd为图决策图，(x,y)为图像中的像素点。
[0035]
一种多聚焦图像融合方法，包括：
[0036]
第一处理单元，用于获取目标图像，对所述目标图像进行高斯模糊处理和二值化处理，获得所述目标图像对应的高斯图和真值图；
[0037]
第一生成单元，用于生成所述真值图对应的反真值图，所述反真值图与所述真值图为互补关系；
[0038]
第二生成单元，用于基于所述目标图像、所述高斯图、所述真值图及所述反真值图，生成所述目标图像对应的第一聚焦图和第二聚焦图，所述第一聚焦图与所述第二聚焦图为互补关系；
[0039]
第二处理单元，用于将所述第一聚焦图及所述第二聚焦图输入预先训练完成的图像融合网络，获得所述图像融合网络输出的决策图，所述决策图为经所述图像融合网络进行预测的二值图；
[0040]
融合单元，用于将所述第一聚焦图像、第二聚焦图像及决策图进行融合，获得多聚焦融合图像。
[0041]
上述的装置，可选的，所述第二生成单元，包括：
[0042]
第一子计算单元，用于应用预设的第一计算公式，对所述目标图像、所述高斯图、所述真值图及所述反真值图进行计算，生成所述目标图像对应的第一聚焦图；
[0043]
第二计算子单元，用于应用预设的第二计算公式，对所述目标图像、所述高斯图、所述真值图及所述反真值图进行计算，生成所述目标图像对应的第二聚焦图；
[0044]
所述第一计算公式为：
[0045][0046]
所述第二计算公式为：
[0047][0048]
其中，y1为第一聚焦图，y2为第二聚焦图，x为目标图像，为真值图，为反真值图，x
blur
为高斯图。
[0049]
上述的装置，可选的，还包括：
[0050]
获取单元，用于获取第一训练图像、第二训练图像及训练目标，所述第一训练图像和第二训练图像为互补关系的聚焦图，所述训练目标为所述第一训练图像和第二训练图像对应的二值图；
[0051]
训练单元，用于基于所述第一训练图像、第二训练图像及训练目标，执行所述图像融合网络对应的训练过程；
[0052]
其中，所述训练过程包括：将所述第一训练图像及所述第二训练图像分别输入所述图像融合网络的第一编码网络和第二编码网络，获得所述第一编码网络输出的所述第一训练图像对应的第一上下文信息及所述第二编码网络输出的所述第二训练图像对应的第二上下文信息；将所述第一上下文信息与所述第二上下文信息进行融合后获得的融合信息，并将所述融合信息输入所述图像融合网络的解码器，获得所述解码器输出的目标二值图；
[0053]
比对单元，用于将所述目标二值图与所述训练目标进行比对，获得比对结果；当所述比对结果不满足预设的训练条件时，应用预设的二值交叉熵函数调整所述图像融合网
络，并重新执行所述训练过程；当所述比对结果满足所述训练条件时，结束对所述图像融合网络的训练。
[0054]
上述的装置，可选的，所述融合单元，包括：
[0055]
第一处理子单元，用于应用预先设置的条件随机场方法crf对所述决策图进行边界平滑处理，获得已处理的决策图；
[0056]
融合子单元，用于将所述第一聚焦图像、第二聚焦图像及已处理的决策图进行融合，获得多聚焦融合图像。
[0057]
上述的装置，可选的，所述融合单元，包括：
[0058]
生成子单元，用于应用预先设置的第三计算公式对所述第一聚焦图像、第二聚焦图像及所述决策图进行计算，生成多聚焦融合图像；
[0059]
所述第三计算公式为：
[0060]ffused
＝fd(x,y)
×
fa(x,y)+(1-fd(x,y))
×
fb(x,y)
[0061]
其中，f
fused
为融合图像，fa为第一聚焦图像，fb为第二聚焦图像，fd为图决策图，(x,y)为图像中的像素点。
[0062]
一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述的多聚焦图像融合方法。
[0063]
一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行上述的多聚焦图像融合方法。
[0064]
与现有技术相比，本发明包括以下优点：
[0065]
本发明提供一种多聚焦图像融合方法，包括：获取目标图像，对所述目标图像进行高斯模糊处理和二值化处理，获得所述目标图像对应的高斯图和真值图；生成所述真值图对应的反真值图，所述反真值图与所述真值图为互补关系；基于所述目标图像、所述高斯图、所述真值图及所述反真值图，生成所述目标图像对应的第一聚焦图和第二聚焦图，所述第一聚焦图与所述第二聚焦图为互补关系；将所述第一聚焦图及所述第二聚焦图输入预先训练完成的图像融合网络，获得所述图像融合网络输出的决策图，所述决策图为经所述图像融合网络进行预测的二值图；将所述第一聚焦图像、第二聚焦图像及决策图进行融合，获得多聚焦融合图像。应用本发明提供的方法，可以简化多聚焦图像融合过程。
附图说明
[0066]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0067]
图1为本发明实施例提供的一种多聚焦图像融合方法的方法流程图；
[0068]
图2为本发明实施例提供的一种多聚焦图像融合方法的又一方法流程图；
[0069]
图3为本发明实施例提供的一种图像融合网络的训练过程示意图；
[0070]
图4为本发明实施例提供的一种多聚焦图像融合装置的装置结构图；
[0071]
图5为本发明实施例提供的一种电子设备结构示意图。
具体实施方式
[0072]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0073]
在本技术中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0074]
本发明可用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
[0075]
本发明实施例提供了一种多聚焦图像融合方法，该方法可以应用在多种系统平台，其执行主体可以为计算机终端或各种移动设备的处理器，所述方法的方法流程图如图1所示，具体包括：
[0076]
s101：获取目标图像，对所述目标图像进行高斯模糊处理和二值化处理，获得所述目标图像对应的高斯图和真值图。
[0077]
需要说明的是，目标图像可以为显著性图像，显著性图像是显示每个像素独特性的图像。
[0078]
其中，对目标图像进行高斯模糊处理可以模拟相机的离焦属性，从而获得非聚焦的高斯图。对目标图像进行二值化处理是将图像中的像素点灰度值设置为0或255，得到一种只有黑和白的真值图。
[0079]
s102：生成所述真值图对应的反真值图。
[0080]
其中，所述反真值图与所述真值图为互补关系，即真值图中灰度值为0像素点在反真值图中的灰度值为255，真值图中灰度值为255像素点在反真值图中的灰度值为0。
[0081]
s103：基于所述目标图像、所述高斯图、所述真值图及所述反真值图，生成所述目标图像对应的第一聚焦图和第二聚焦图。
[0082]
其中，所述第一聚焦图与所述第二聚焦图为互补关系。
[0083]
具体的，获得第一聚焦图和第二聚焦图的过程为：
[0084]
应用预设的第一计算公式，对所述目标图像、所述高斯图、所述真值图及所述反真值图进行计算，生成所述目标图像对应的第一聚焦图；
[0085]
应用预设的第二计算公式，对所述目标图像、所述高斯图、所述真值图及所述反真值图进行计算，生成所述目标图像对应的第二聚焦图；
[0086]
所述第一计算公式为：
[0087]
[0088]
所述第二计算公式为：
[0089][0090]
其中，y1为第一聚焦图，y2为第二聚焦图，x为目标图像，为真值图，为反真值图，x
blur
为高斯图。
[0091]
需要说明的是，聚焦图中包含聚焦区域和非聚焦区域。聚焦区域指的是聚焦图中聚焦清晰的图像区域。非聚焦区域指的是聚焦图像中不清晰的图像区域。本发明实施例中，第一聚焦图和第二聚焦图为互补关系，因此，第一聚焦图中的聚焦区域在第二聚焦图中为非聚焦区域，第一聚焦图中的非聚焦区域在第二聚焦图中为聚焦区域。
[0092]
s104：将所述第一聚焦图及所述第二聚焦图输入预先训练完成的图像融合网络，获得所述图像融合网络输出的决策图。
[0093]
其中，所述决策图为经所述图像融合网络进行预测的二值图。
[0094]
需要说明的是，图像融合网络为双分支端到端的编码解码网络，将第一聚焦图及第二聚焦图作为网络的输入相关信息的提取，获得决策图。
[0095]
还需要说明的是，决策图为经过图像融合网络对第一聚焦图及第二聚焦图进行融合分析后得出的二值图，图像融合网络输出的决策图可以与真值图一致，也可以与真值图存在区别。
[0096]
s105：将所述第一聚焦图像、第二聚焦图像及决策图进行融合，获得多聚焦融合图像。
[0097]
具体的，对该个图像进行融合的过程为：
[0098]
应用预先设置的第三计算公式对所述第一聚焦图像、第二聚焦图像及所述决策图进行计算，生成多聚焦融合图像；
[0099]
所述第三计算公式为：
[0100]ffused
＝fd(x,y)
×
fa(x,y)+(1-fd(x,y))
×
fb(x,y)
[0101]
其中，f
fused
为融合图像，fa为第一聚焦图像，fb为第二聚焦图像，fd为图决策图，(x,y)为图像中的像素点。
[0102]
需要说明的是，应用第三计算公式对每个像素点进行计算，将第一聚焦图、第二聚焦图和决策图中各个像素点融合，生成多聚焦融合图像。
[0103]
本发明实施例提供的方法中，获取目标图像，对图像进行高斯模糊处理后获得高斯图，同时进行二值化处理获得真值图。将真值图中灰度值为0的像素点转换成灰度值为255的像素点，灰度值为255的像素点转换成灰度值为0的像素点，生成与该真值图成互补关系的反真值图。按照第一计算公式计算目标图像、高斯图、真值图和反真值图，获得第一聚焦图，即，将目标图像与真值图相乘再加上高斯图与反真值图相乘的结构获得第一聚焦图。按照第二计算公式计算目标图像、高斯图、真值图和反真值图，获得第二聚焦图，即，将目标图像与反真值图相乘再加上高斯图与真值图相乘的结构获得第一聚焦图。通过图像融合网络对第一聚焦图和第二聚焦图进行分析，输出决策图，该决策图也是二值图，决策图中的各个像素点的灰度值为0或255。将第一聚焦图、第二聚焦图和决策图进行融合，获得的多聚焦融合图像。在本发明实施例中，无需在图像融合过程中使用差值、而知分割以及除洞等大量
繁琐的处理操作，简化多聚焦图像融合过程。
[0104]
进一步地，在多聚焦图像融合过程中，可以对决策图进行进一步的平滑处理，以保证多聚焦图像的聚焦区域和非聚焦区域的平滑，因此，将所述第一聚焦图像、第二聚焦图像及决策图进行融合的过程，具体可以包括：
[0105]
应用预先设置的条件随机场方法crf对所述决策图进行边界平滑处理，获得已处理的决策图；
[0106]
将所述第一聚焦图像、第二聚焦图像及已处理的决策图进行融合，获得多聚焦融合图像。
[0107]
需要说明的是，条件随机场主要思想是利用像素之间的标签一致性等假设，将像素级的标签分类问题转换为概率求解问题。其能量函数如下：
[0108]
e(x)＝∑iψu(xi)+∑
i≠j
ψ
p
(xi,xj)
[0109]
ψu(xi)表示每个像素属于各个类别的概率，即每个像素属于聚焦区域或非聚焦区域的概率。ψ
p
(xi,xj)为成对势函数项，用于衡量两个像素同属于一个区域的概率，定义为高斯核函数的加权。ψ
p
(xi,xj)的计算公式为：
[0110][0111]
其中，ω1和ω2为高斯权重项，ii,ij,pi,pj分别代表像素点i和j的像素值和位置，μ(xi,xj)为两个标签之间的兼容性度量，θ
α
,θ
β
,θ
γ
为高斯核参数。
[0112]
还需要说明的是，在对决策图进行处理后，可以应用第三计算公式将第一聚焦图像、第二聚焦图像和已处理的决策图进行计算，生成多聚焦融合图像。
[0113]
应用本发明实施例提供的方法，将第一聚焦图、第二聚焦图和决策图进行融合的过程中，应用crf对各个图像进行处理和融合，从而保证聚焦区域与费聚焦区域的一致性及边界的平滑过渡性。
[0114]
在本发明中，为了简化图像融合的过程，应用图像融合网络对第一聚焦图和第二聚焦图进行处理后，获得决策图。参考图2，训练图像融合网络的过程，具体可以包括：
[0115]
s201：获取第一训练图像、第二训练图像及训练目标。
[0116]
其中，所述第一训练图像和第二训练图像为互补关系的聚焦图，所述训练目标为所述第一训练图像和第二训练图像对应的二值图。
[0117]
可选的，第一训练图和第二训练图可以是上述s103提及的第一聚集图和第二聚集图，训练目标可以是上述s101提及的真值图。
[0118]
s202：将所述第一训练图像及所述第二训练图像分别输入所述图像融合网络的第一编码网络和第二编码网络，获得所述第一编码网络输出的所述第一训练图像对应的第一上下文信息及所述第二编码网络输出的所述第二训练图像对应的第二上下文信息。
[0119]
需要说明的是，将第一训练图像输入第一编码网络，第一编码网络输出第一训练图像对应的第一上下文信息；将第二训练图像输入第二编码网络，第二编码网络输出第二训练图像对应的第二上下文信息。图像融合网络为双分支端到端的编码解码网络，该网络中的双分支则为第一编码器和第二编码器。
[0120]
s203：将所述第一上下文信息与所述第二上下文信息进行融合后获得的融合信
息，并将所述融合信息输入所述图像融合网络的解码器，获得所述解码器输出的目标二值图。
[0121]
需要说明的是，将第一上下文信息与第二上下文信息进行特征融合，在解码器中经过多级卷积模块的处理后输出灰度为黑白的目标二值图。
[0122]
s204：将所述目标二值图与所述训练目标进行比对，获得比对结果。
[0123]
需要说明的是，将目标二值图与训练目标进行比对，具体是计算目标二值图与训练目标的相似度，相似度大于预设的阈值则满足预设的训练条件，继续执行s205，相似度不大于预设的阈值则不满足预设的训练条件，则继续执行s206。
[0124]
s205：当所述比对结果不满足预设的训练条件时，应用预设的二值交叉熵函数调整所述图像融合网络，并重新返回执行s202。
[0125]
需要说明的是，二值交叉熵函数为：
[0126]
l＝-∑g(m,n)log(s(m,n))-∑(1-g(m,n))log(1-s(m,n))
[0127]
其中，g(m,n)∈(0,1)为真实标签(训练目标)g在位置(m,n)的值，s(m,n)∈(0,1)为目标二值图预测结果s在位置(m,n)的值。
[0128]
s206：当所述比对结果满足所述训练条件时，结束对所述图像融合网络的训练。
[0129]
可选的，本发明可以应用多个成对互补的聚焦图对图像融合网络进行训练，以通过多对图像的训练后提高图像融合网络的精度。
[0130]
本发明实施例提供的方法中，参考图3，图3为图像融合网络的训练过程示意图，其中包括两个编码器(encoder module)和一个解码器(decoder module)。在两个解码器分别输入成对互补的训练图后由解码器输出对应的二值图。编码器中包含残差密集卷积块(rda)进行特征提取，获得训练图的上下文信息。
[0131]
在本发明实施例提供的方法，计了双分支的端到端编码解码网络，实现了决策图的端到端的预测；避免了现有方法使用插值、二值分割、除洞等大量繁琐的后处理操作优化结果。
[0132]
上述各个实施例的具体实施过程及其衍生方式，均在本发明的保护范围之内。
[0133]
与图1所述的方法相对应，本发明实施例还提供了一种多聚焦图像融合装置，用于对图1中方法的具体实现，本发明实施例提供的多聚焦图像融合装置可以应用计算机终端或各种移动设备中，其结构示意图如图4所示，具体包括：
[0134]
第一处理单元401，用于获取目标图像，对所述目标图像进行高斯模糊处理和二值化处理，获得所述目标图像对应的高斯图和真值图；
[0135]
第一生成单元402，用于生成所述真值图对应的反真值图，所述反真值图与所述真值图为互补关系；
[0136]
第二生成单元403，用于基于所述目标图像、所述高斯图、所述真值图及所述反真值图，生成所述目标图像对应的第一聚焦图和第二聚焦图，所述第一聚焦图与所述第二聚焦图为互补关系；
[0137]
第二处理单元404，用于将所述第一聚焦图及所述第二聚焦图输入预先训练完成的图像融合网络，获得所述图像融合网络输出的决策图，所述决策图为经所述图像融合网络进行预测的二值图；
[0138]
融合单元405，用于将所述第一聚焦图像、第二聚焦图像及决策图进行融合，获得
多聚焦融合图像。
[0139]
本发明实施例提供的装置中，获取目标图像，对图像进行高斯模糊处理后获得高斯图，同时进行二值化处理获得真值图。将真值图中灰度值为0的像素点转换成灰度值为255的像素点，灰度值为255的像素点转换成灰度值为0的像素点，生成与该真值图成互补关系的反真值图。按照第一计算公式计算目标图像、高斯图、真值图和反真值图，获得第一聚焦图，即，将目标图像与真值图相乘再加上高斯图与反真值图相乘的结构获得第一聚焦图。按照第二计算公式计算目标图像、高斯图、真值图和反真值图，获得第二聚焦图，即，将目标图像与反真值图相乘再加上高斯图与真值图相乘的结构获得第一聚焦图。通过图像融合网络对第一聚焦图和第二聚焦图进行分析，输出决策图，该决策图也是二值图，决策图中的各个像素点的灰度值为0或255。将第一聚焦图、第二聚焦图和决策图进行融合，获得的多聚焦融合图像。在本发明实施例中，无需在图像融合过程中使用差值、而知分割以及除洞等大量繁琐的处理操作，简化多聚焦图像融合过程。
[0140]
本发明实施例提供的装置中，所述第二生成单元403，包括：
[0141]
第一子计算单元，用于应用预设的第一计算公式，对所述目标图像、所述高斯图、所述真值图及所述反真值图进行计算，生成所述目标图像对应的第一聚焦图；
[0142]
第二计算子单元，用于应用预设的第二计算公式，对所述目标图像、所述高斯图、所述真值图及所述反真值图进行计算，生成所述目标图像对应的第二聚焦图；
[0143]
所述第一计算公式为：
[0144][0145]
所述第二计算公式为：
[0146][0147]
其中，y1为第一聚焦图，y2为第二聚焦图，x为目标图像，为真值图，为反真值图，x
blur
为高斯图。
[0148]
本发明实施例提供的装置中，还包括：
[0149]
获取单元，用于获取第一训练图像、第二训练图像及训练目标，所述第一训练图像和第二训练图像为互补关系的聚焦图，所述训练目标为所述第一训练图像和第二训练图像对应的二值图；
[0150]
训练单元，用于基于所述第一训练图像、第二训练图像及训练目标，执行所述图像融合网络对应的训练过程；
[0151]
其中，所述训练过程包括：将所述第一训练图像及所述第二训练图像分别输入所述图像融合网络的第一编码网络和第二编码网络，获得所述第一编码网络输出的所述第一训练图像对应的第一上下文信息及所述第二编码网络输出的所述第二训练图像对应的第二上下文信息；将所述第一上下文信息与所述第二上下文信息进行融合后获得的融合信息，并将所述融合信息输入所述图像融合网络的解码器，获得所述解码器输出的目标二值图；
[0152]
比对单元，用于将所述目标二值图与所述训练目标进行比对，获得比对结果；当所述比对结果不满足预设的训练条件时，应用预设的二值交叉熵函数调整所述图像融合网络，并重新执行所述训练过程；当所述比对结果满足所述训练条件时，结束对所述图像融合网络的训练。
[0153]
本发明实施例提供的装置中，所述融合单元405，包括：
[0154]
第一处理子单元，用于应用预先设置的条件随机场方法crf对所述决策图进行边界平滑处理，获得已处理的决策图；
[0155]
融合子单元，用于将所述第一聚焦图像、第二聚焦图像及已处理的决策图进行融合，获得多聚焦融合图像。
[0156]
本发明实施例提供的装置中，所述融合单元405，包括：
[0157]
生成子单元，用于应用预先设置的第三计算公式对所述第一聚焦图像、第二聚焦图像及所述决策图进行计算，生成多聚焦融合图像；
[0158]
所述第三计算公式为：
[0159]ffused
＝fd(x,y)
×
fa(x,y)+(1-fd(x,y))
×
fb(x,y)
[0160]
其中，f
fused
为融合图像，fa为第一聚焦图像，fb为第二聚焦图像，fd为图决策图，(x,y)为图像中的像素点。
[0161]
以上本发明实施例公开的多聚焦图像融合装置中各个单元及子单元的具体工作过程，可参见本发明上述实施例公开的多聚焦图像融合方法中的对应内容，这里不再进行赘述。
[0162]
本发明实施例还提供了一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述多聚焦图像融合方法。
[0163]
本发明实施例还提供了一种电子设备，其结构示意图如图5所示，具体包括存储器501，以及一个或者一个以上的指令502，其中一个或者一个以上指令502存储于存储器501中，且经配置以由一个或者一个以上处理器503执行所述一个或者一个以上指令502进行以下操作：
[0164]
获取目标图像，对所述目标图像进行高斯模糊处理和二值化处理，获得所述目标图像对应的高斯图和真值图；
[0165]
生成所述真值图对应的反真值图，所述反真值图与所述真值图为互补关系；
[0166]
基于所述目标图像、所述高斯图、所述真值图及所述反真值图，生成所述目标图像对应的第一聚焦图和第二聚焦图，所述第一聚焦图与所述第二聚焦图为互补关系；
[0167]
将所述第一聚焦图及所述第二聚焦图输入预先训练完成的图像融合网络，获得所述图像融合网络输出的决策图，所述决策图为经所述图像融合网络进行预测的二值图；
[0168]
将所述第一聚焦图像、第二聚焦图像及决策图进行融合，获得多聚焦融合图像。
[0169]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根
据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0170]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现。
[0171]
为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0172]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。