图像融合方法及装置
本申请实施例涉及图像处理技术，尤其涉及一种图像融合方法及装置。
背景技术：
图像融合是指将多源信道所采集到的关于同一目标的图像数据，经过图像处理和计算机技术等，最大限度的提取各信道中的有用信息，最后融合成一副高质量的图像，以减少图像中场景描述的不确定性，图像融合可以有效提高原始图像信息的利用率。
为得到高质量的融合图像，选取合适的图像融合方法对图像融合效果影响很大。目前，在有关基于深度学习的图像融合的现有技术中，通常是采用基于卷积神经网络的图像融合方法进行图像融合处理。
然而，现有的基于深度学习的图像融合方法，仅能够针对特定场景或特定多光谱的情况进行图像融合，从而导致图像融合的应用范围有限。
技术实现要素：
本申请实施例提供一种图像融合方法及装置，以克服图像融合的应用范围有限的问题。
第一方面，本申请实施例提供一种图像融合方法，包括：
获取多张待融合图像，其中，所述多张待融合图像为针对同一场景的多个视角和/或多个光谱的图像；
对所述多张待融合图像进行粗配准处理，得到粗配准后的多张待融合图像；
将所述粗配准后的多张待融合图像输入至预设模型中，以使得所述预设模型输出融合后的目标图像；
其中，所述预设模型为用于对图像进行融合的模型，所述预设模型是根据多组样本进行学习得到的，每组样本中包括样本待融合图像和样本目标图像，其中，所述多组样本中的样本待融合图像为针对至少一个场景的多个视角和/或多个光谱的图像。
在一种可能的设计中，所述预设模型中包括特征提取单元，所述特征提取单元中包括n个特征提取层，其中，所述特征提取单元用于提取特征图像，以及所述预设模型中还包括n个门单元，1个融合单元，所述门单元用于对图像进行初步融合，所述融合单元用于对所述门单元的输出进行最终融合，所述n为大于或等于1的整数。
在一种可能的设计中，所述将所述粗配准后的多张待融合图像输入至预设模型中，以使得所述预设模型输出融合后的目标图像，包括：
将所述粗配准后的多张待融合图像输入至所述预设模型的特征提取单元中，通过所述特征提取单元中的n个特征提取层，输出各所述待融合图像各自对应的n种尺度的特征图像；
将各所述待融合图像各自对应的n种尺度的特征图像，分别对应输入至所述n个门单元中，以使得各所述门单元对各所述待融合图像各自对应的n种尺度的特征图像进行初步融合，得到n种尺度的融合结果；
将所述n种尺度的融合结果进行上采样处理，并将上采样处理后的n种尺度的融合结果输入至所述融合单元中，以使得所述融合单元输出融合后的目标图像。
在一种可能的设计中，所述上采样处理包括：
对所述n种尺度的融合结果进行图像插值处理，将所述n种尺度的融合结果的分辨率调整为目标分辨率。
在一种可能的设计中，所述对所述多张待融合图像进行粗配准处理，得到粗配准后的多张待融合图像，包括：
确定所述多张待融合图像对应的单应矩阵；
根据所述多张待融合图像对应的单应矩阵，对各所述待融合图像进行变换处理，得到粗配准后的多张待融合图像，其中，粗配准后的多张待融合图像的视角相同。
在一种可能的设计中，所述方法还包括：
根据所述多组样本进行学习，得到所述预设模型。
在一种可能的设计中，所述根据所述多组样本进行学习，得到所述预设模型，包括：
通过初始模型对所述多组样本中的样本待融合图像进行处理，得到所述样本待融合图像对应的融合图像；
根据损失函数对所述融合图像和样本目标图像进行处理，得到损失函数值；
根据所述损失函数值对所述初始模型进行反向传播，调整所述初始模型的模型参数；
重复执行上述两个步骤，直至所述初始模型满足收敛条件时，得到所述预设模型。
第二方面，本申请实施例提供一种图像融合装置，包括：
获取模块，用于获取多张待融合图像，其中，所述多张待融合图像为针对同一场景的多个视角和/或多个光谱的图像；
第一处理模块，用于对所述多张待融合图像进行粗配准处理，得到粗配准后的多张待融合图像；
第二处理模块，用于将所述粗配准后的多张待融合图像输入至预设模型中，以使得所述预设模型输出融合后的目标图像；
其中，所述预设模型为用于对图像进行融合的模型，所述预设模型是根据多组样本进行学习得到的，每组样本中包括样本待融合图像和样本目标图像，其中，所述多组样本中的样本待融合图像为针对至少一个场景的多个视角和/或多个光谱的图像。
在一种可能的设计中，所述预设模型中包括特征提取单元，所述特征提取单元中包括n个特征提取层，其中，所述特征提取单元用于提取特征图像，以及所述预设模型中还包括n个门单元，1个融合单元，所述门单元用于对图像进行初步融合，所述融合单元用于对所述门单元的输出进行最终融合，所述n为大于或等于1的整数。
在一种可能的设计中，所述第一处理模块具体用于：
将所述粗配准后的多张待融合图像输入至所述预设模型的特征提取单元中，通过所述特征提取单元中的n个特征提取层，输出各所述待融合图像各自对应的n种尺度的特征图像；
将各所述待融合图像各自对应的n种尺度的特征图像，分别对应输入至所述n个门单元中，以使得各所述门单元对各所述待融合图像各自对应的n种尺度的特征图像进行初步融合，得到n种尺度的融合结果；
将所述n种尺度的融合结果进行上采样处理，并将上采样处理后的n种尺度的融合结果输入至所述融合单元中，以使得所述融合单元输出融合后的目标图像。
在一种可能的设计中，所述第一处理模块具体用于：
对所述n种尺度的融合结果进行图像插值处理，将所述n种尺度的融合结果的分辨率调整为目标分辨率。
在一种可能的设计中，所述第一处理模块具体用于：
确定所述多张待融合图像对应的单应矩阵；
根据所述多张待融合图像对应的单应矩阵，对各所述待融合图像进行变换处理，得到粗配准后的多张待融合图像，其中，粗配准后的多张待融合图像的视角相同。
在一种可能的设计中，所述第二处理模块还用于：
根据所述多组样本进行学习，得到所述预设模型。
在一种可能的设计中，所述第二处理模块具体用于：：
通过初始模型对所述多组样本中的样本待融合图像进行处理，得到所述样本待融合图像对应的融合图像；
根据损失函数对所述融合图像和样本目标图像进行处理，得到损失函数值；
根据所述损失函数值对所述初始模型进行反向传播，调整所述初始模型的模型参数；
重复执行上述两个步骤，直至所述初始模型满足收敛条件时，得到所述预设模型。
第三方面，本申请实施例提供一种图像融合设备，包括：
存储器，用于存储程序；
处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如上第一方面以及第一方面各种可能的设计中任一所述的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如上第一方面以及第一方面各种可能的设计中任一所述的方法。
第五方面，本申请实施例提供一种计算机程序产品，所述程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行如上第一方面以及第一方面各种可能的设计中任一所述的方法。
本申请实施例提供的图像融合方法及装置，该方法包括：获取多张待融合图像，其中，多张待融合图像为针对同一场景的多个视角和/或多个光谱的图像。对多张待融合图像进行粗配准处理，得到粗配准后的多张待融合图像。将粗配准后的多张待融合图像输入至预设模型中，以使得预设模型输出融合后的目标图像。其中，预设模型为用于对图像进行融合的模型，预设模型是根据多组样本进行学习得到的，每组样本中包括样本待融合图像和样本目标图像，其中，多组样本中的样本待融合图像为针对至少一个场景的多个视角和/或多个光谱的图像。通过对多张待融合图像，先后进行粗配准、利用预设模型进行图像融合以完成精细配准，实现对任意场景下的多视角多光谱图像进行图像融合的技术效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像融合方法的流程图一；
图2为本申请实施例提供的图像融合方法的流程图二；
图3为本申请实施例提供的图像融合方法的结构示意图；
图4为本申请实施例提供的对预测模型进行模型训练的流程示意图；
图5为本申请实施例提供的对预测模型进行模型训练的结构示意图；
图6为本申请实施例提供的图像融合装置的结构示意图；
图7为本申请实施例提供的图像融合设备的硬件结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解本申请的技术方案，首先对本申请所涉及的相关概念进行解释：
图像融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。其中，对于统一观测目标的多源信道至少考虑以下因素：多角度观测及多光谱观测等。
图像融合方法可以在三个不同的层次上进行：特征级，决策级和像素级。特征级的融合方法一般采用视觉特征提取算子来获取显著特征，再为获取的特征分配不同的权重，最后融合源图像。决策级的融合是一种基于认知的方法，其主要过程是对提取的特征进行识别理解做出相应的决策。像素级的图像融合方法直接对原始像素信息进行结合，可以保留较多源图像的细节。
深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器人能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。
深度学习在搜索技术，数据挖掘，机器学习，自然语言处理，图像识别以及其他相关领域都取得了很多成果。深度学习使机器模仿试听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。
为得到高质量的融合图像，选取合适的图像融合方法对图像融合效果影响很大。近年来，研究学者开始尝试使用深度学习的方法，通过使用有关图像样本数据对卷积神经网络进行模型训练，得到一种用于图像处理的卷积神经网络模型。通常，基于神经网络的方法将源图像划分成图像块，并把它们送入到与训练好的卷积神经网络模型中。由于卷积神经网络是基于数据驱动的，这个方法相比于传统算法方法更加鲁棒，效果更好。
然而，现有的基于深度学习的图像融合方法，存在仅针对特定场景或特定多光谱的情况进行图像融合，应用范围有限的问题。其中，特定场景例如可以为医疗场景、办公室场景、室外场景、交通道路场景等。
基于以上所述存在的问题，本申请提出了以下技术构思：设计了一种新型图像融合神经网络，通过金字塔特征提取子结构提取图像的多尺度特征，利用所提出的新型图像融合神经网络中的图神经网络融合模块进行图像融合，并构建专门的损失函数用于神经网络反向传播。通过所设计的新型图像融合神经网络，可以实现对任意场景下的图像进行多光谱、多视角图像融合处理，克服了现有技术中仅针对特定场景或特定多光谱的情况进行图像融合，应用范围有限的问题。
在上述介绍的内容的基础上，下面结合图1对本申请所提供的图像融合方法进行详细介绍，图1为本申请实施例提供的图像融合方法的流程图一。
如图1所示，该方法包括：
s101、获取多张待融合图像，其中，多张待融合图像为针对同一场景的多个视角和/或多个光谱的图像。
为了实现对待多张图像进行图像融合处理，在处理前需要获取多张待融合图像。其中，该多张待融合图像为针对同一目标场景的多个视角或者多个光谱的图像，即多视角图像和/或多光谱图像。
多视角图像是指从多个角度拍摄的同一场景的图像信息。对应的，多视角图像融合是将从多个角度拍摄的同一场景的图像信息融合到一张图像上，使得融合的图像包含更多信息，减少场景描述的不确定性，方便人类观察或者计算机处理。
多光谱图像是指包含很多带的图像。其中，每个带是指一幅灰度图像，它表示根据用来该带的传感器的敏感度得到的场景亮度。在一幅多光谱图像中，每个像素都与一个由像素在不同带的数值串，即一个矢量相关。这个数值串就称为该像素的光谱标记。多光谱，例如可以为红外线、紫外线及可见光。对应的，多光谱图像融合需要按照某些准则对多光谱图像中不同光谱波段的互补信息进行科学的融合。
s102、对多张待融合图像进行粗配准处理，得到粗配准后的多张待融合图像。
基于步骤s101获取到多张待融合图像后，需要对该多张待融合图像进行粗配准处理。
本实施中以通过紫外线相机和可见光相机采集到某场景的双光谱图像，即紫外线图像及可见光图像为例，对粗配准处理中所涉及的流程进行介绍。
粗配准处理是指首先对该双光谱图像进行尺度不变特征变换(scale-invariantfeaturetransform,sifi)特征检测与提取，使用最近邻/次近邻方式和kd树(k-distancetree,kdtree)数据结构匹配特征点，使用随机抽样一致性(randomsampleconsensus,ransac)算法去除匹配外点，根据剩余的匹配点计算单应矩阵。其中，单应矩阵是平面单应性矩阵，其用于指示不同图像平面上点之间的映射关系。
该单应性矩阵主要用于解决以下两个问题：一、表述真实世界中一个平面与对应的它图像的透视变换；二、从通过透视变换实现图像从一种视角变换到另外一种视图。具体的，求解单应矩阵的实现方式，可以例如可以参照现有技术中的任意一种可能的实现方式，此处不再赘述。
根据单应矩阵对待融合图像进行变换处理，使得多张多视角多光谱图像实现在同一视角下，即完成对多张待融合图像的粗配准处理。
其中，粗配准处理中所涉及到的相关处理(例如，sifi特征检测及提取、使用最近邻/次近邻方式和kd树数据结构匹配特征点等)的实现方式，例如可以参照现有技术中的任意一种可能的实现方式，此处不再赘述。
在本实施例中，只是对粗配准处理进行示例性的介绍，并不是对于粗配准处理的具体过程做以限制，对于粗配准处理的具体处理设置可以根据实际需求进行选择。
s103、将粗配准后的多张待融合图像输入至预设模型中，以使得预设模型输出融合后的目标图像。
基于步骤s102得到粗配准处理后的多张待配准融合图像后，接下来将粗配准后的多张待融合图像输入至预设模型中，以使得预设模型输出融合后的目标图像。
其中，预设模型为用于对图像进行融合的模型，预设模型是根据多组样本进行学习得到的，每组样本中包括样本待融合图像和样本目标图像。多组样本中的样本待融合图像为针对至少一个场景的多个视角和/或多个光谱的图像。
在本实施中，因为预设模型是根据多组样本学习得到的，并且因为多组样本是针对至少一个场景的多个视角和/或多个光谱的图像，因此预设模型可以有效实现对各种场景下的多个视角和/或多个光谱的图像融合，以及在具体的实现场景中，多个样本中的具体场景可以根据实际需求进行选择和扩展，以保证训练得到的预设模型可以有效的适用于多个场景，以保证预设模型可以处理的待融合图像的多样性，从而有效扩展了图像融合的应用场景。
在一种可能的实现方式中，预设模型中包括特征提取单元，特征提取单元中包括n个特征提取层，其中，特征提取单元用于提取特征图像，以及预设模型中还包括n个门单元，1个融合单元，门单元用于对图像进行初步融合，融合单元用于对门单元的输出进行最终融合，n为大于或等于1的整数。
本申请实施例提供的图像融合方法，包括：获取多张待融合图像，其中，多张待融合图像为针对同一场景的多个视角和/或多个光谱的图像。对多张待融合图像进行粗配准处理，得到粗配准后的多张待融合图像。将粗配准后的多张待融合图像输入至预设模型中，以使得预设模型输出融合后的目标图像。其中，预设模型为用于对图像进行融合的模型，预设模型是根据多组样本进行学习得到的，每组样本中包括样本待融合图像和样本目标图像，其中，多组样本中的样本待融合图像为针对至少一个场景的多个视角和/或多个光谱的图像。通过对多张待融合多视角多光谱图像，先后进行粗配准、利用预设模型进行图像融合以完成图像融合的精细配准，并且本实施例中的预设模型是根据至少一个场景下的多个视角和/或多个光谱的样本图像训练得到的，因此可以有效实现对任意场景下的多视角多光谱图像的图像融合，以扩展图像融合的应用场景。
在上述实施例的基础上，下面结合一个具体的实施例和图2、图3对本申请提供的图像融合方法进行进一步的详细介绍，图2为本申请实施例提供的图像融合方法的流程图二，图3为本申请实施例提供的图像融合方法的结构示意图。
该方法，包括：
s201、获取多张待融合图像，其中，多张待融合图像为针对同一场景的多个视角和/或多个光谱的图像。
其中，步骤s201与s101的实现方式类似，此处不再赘述。
为了使得本申请实施例的图像融合方法介绍更加清楚、明晰，在介绍图像融合方法的同时，下面结合图3对本申请中的图像融合方法进行更进一步的介绍。接下来，首先介绍下本申请实施例提供的图像融合方法的结构组成。
如图3所示，本申请实施例提供的预设模型包括特征提取单元、初步图像融合处理模块、精细图像融合处理模块。其中，特征提取单元包括4个特征提取层。初步图像融合处理模块中包括4个门单元及对门单元输出的结果进行上采样处理。需要强调说明的是，特征提取单元中特征提取层的数量与门单元的数量一致。
对应于图3中，获取到的多张待融合图像作为输入图像输入到预设模型中的特征提取单元中。
在本申请实施例中，只是对预设模型的组成进行示例性的介绍，并不是对预设模型的组成做以限制，对预设模型的组成的具体设置可以根据实际需求进行选择。
s202、确定多张待融合图像对应的单应矩阵。
基于步骤s201获取到多张待融合图像，为了使得图像融合后的效果更好，需要在进行图像融合之前进行粗配准处理，使得该多张待融合图像位于同一视角下。
接下来，进一步对待融合图像进行粗配准处理的具体实现方式进行介绍。首先，对已获取到的多张待融合的多视角多光谱图像进行sifi特征检测与提取。接下来，使用最近邻/次近邻方式和kd树数据结构匹配特征点。匹配特征点处理完成后，再使用ransac算法去除匹配特征点中的匹配外点。最后，根据剩下的匹配特征点，确定多张待融合图像对应的单应矩阵。具体的，确定单应矩阵的实现方式，可以例如可以参照现有技术中的任意一种可能的实现方式，此处不再赘述。
对应于图3中，对输入图像进行粗配准处理，在处理的过程中会得到用于指示不同图像平面上点之间的映射关系的单应矩阵。
s203、根据多张待融合图像对应的单应矩阵，对各待融合图像进行变换处理，得到粗配准后的多张待融合图像，其中，粗配准后的多张待融合图像的视角相同。
基于步骤s202确定多张待融合图像对应的单应矩阵后，根据该单应矩阵对各待融合图像进行视角变换处理，得到粗配准后的多张待融合图像。其中，粗配准处理后得到的多张待融合图像处于同一视角。
s204、将粗配准后的多张待融合图像输入至预设模型的特征提取单元中，通过特征提取单元中的n个特征提取层，输出各待融合图像各自对应的n种尺度的特征图像。
基于步骤s203获得同一视角下的多张待融合图像后，接下来对该同一视角下的多张待融合图像使用预设模型进行图像融合处理的具体实现过程进行详细的介绍。
首先，将粗配准处理后同一视角下的多张待融合图像输入至预设模型的特征提取单元中，以实现从同一视角下的多张待融合图像中提取多种尺度特征图像。预设模型中的特征提取单元包括n个特征提取层，不同特征提取层输出不同尺度的特征图像。其中，图像尺度例如可以为图像分辨率。
将同一视角下的多张待融合图像作为特征提取单元的输入，具体的，多张待融合图像依次通过n个特征提取层。每经过一个特征提取层，输出的特征图像的尺度不断减小。从特征提取单元中的n个特征提取层中分别输出n种不同尺度的特征图像。
对应于图3中，将粗配准后的多张待融合图像输入至预设模型的特征提取单元中，通过特征提取单元中的4个特征提取层，输出各待融合图像各自对应的4种尺度的特征图像。
在本实施例中，特征提取层例如可以为金字塔提取子结构。4个特征提取层对应的为4个金字塔特征提取子结构，则通过该4个金字塔特征提取粗配准处理后多张待融合图像在4种不同尺度下的特征图像。在结构上，n个金字塔特征提取子结构形成了图像金字塔卷积编码网络。其中，每个金字塔特征提取子结构是由两个带prelu激活函数的3×3卷积层和一个最大池化层构成。卷积层的卷积核数量为64。最大池化层一般用在卷积层之后，通过池化来减低卷积层输出特征图的尺度，有效减少网络参数的同时还可以防止过拟合现象。
在本实施例中，只是对预设模型中特征提取单元及特征提取层进行示例性的介绍，并不是对特征提取单元及特征提取层的具体设置做以限制，对于特征提取单元及特征提取层的具体设置可以根据实际需求进行设置。
s205、将各待融合图像各自对应的n种尺度的特征图像，分别对应输入至n个门单元中，以使得各门单元对各待融合图像各自对应的n种尺度的特征图像进行初步融合，得到n种尺度的融合结果。
s206、将n种尺度的融合结果的进行上采样处理，并将上采样处理后的n种尺度的融合结果输入至融合单元中，以使得融合单元输出融合后的目标图像。
接下来，对步骤s205、s206一起进行详细的介绍。
基于上述步骤s204得到了各待融合图像对应的n种尺度的特征图像，接下来根据以上得到的各待融合图像对应的n种尺度的特征图像，对各待融合图像进行初步的图像融合处理。
在初步的图像融合处理中，结合门单元和上采用操作实现多张待融合图像进行初步融合的功能。其中，门单元由一个带激活函数的卷积层构成。上采样操作用于实现将图像的尺度进行放大。
在图像初步融合的处理中，通过各待融合图像各自对应的n种尺度的特征图像，分别对应输入至n个门单元中，以使得各门单元对各待融合图像各自对应的多种尺度的特征图像进行初步融合，得到n种尺度的图像融合结果。
在门单元输出n种尺度的图像融合结果后，为了在下一步精细配准处理前实现对待融合的图像的尺度进行统一化，需要对该n种尺度的图像融合结果分别进行上采样处理。具体的，对该n种尺度的图像融合结果分别进行上采样处理的实现方式，可以例如可以参照现有技术中的任意一种可能的实现方式，此处不再赘述。
在图像初步融合处理后得到n种尺度的融合结果，接下来对将上采样处理后的n种尺度融合结果进行精细粗配准处理。具体的，通过将上采样处理后的n种尺度融合结果输入至融合单元中，以使得融合单元输出融合后的目标图像。
对应于图3中，将各待融合图像各自对应的4种尺度的特征图像，分别对应输入至4个门单元中。其中，每个门单元由一个带prelu激活函数的1×1卷积层构成。各门单元对各待融合图像各自对应的4种尺度的特征图像进行初步融合，得到4种尺度的融合结果。将4种尺度融合结果的进行上采样处理。具体的，通过对4种尺度融合结果进行图像插值处理，将4种尺度融合结果的分辨率调整为目标分辨率，以完成上采样处理。
接下来，将上采样处理后的4种尺度融合结果输入至精细图像融合处理模块中，以使得精细图像融合处理模块输出融合后的目标图像。其中，精细图像融合处理模块对应于图像融合模块。
本申请实施例提供的图像融合方法，包括：获取多张待融合图像，其中，多张待融合图像为针对同一场景的多个视角和/或多个光谱的图像。确定多张待融合图像对应的单应矩阵。根据多张待融合图像对应的单应矩阵，对各待融合图像进行变换处理，得到粗配准后的多张待融合图像，其中，粗配准后的多张待融合图像的视角相同。将粗配准后的多张待融合图像输入至预设模型的特征提取单元中，通过特征提取单元中的n个特征提取层，输出各待融合图像各自对应的n种尺度的特征图像。将各待融合图像各自对应的n种尺度的特征图像，分别对应输入至n个门单元中，以使得各门单元对各待融合图像各自对应的n种尺度特征图像进行初步融合，得到n种尺度融合结果。将n种尺度融合结果的进行上采样处理，并将上采样处理后的n种的尺度融合结果输入至融合单元中，以使得融合单元输出融合后的目标图像。其中，通过将神经网络中的门单元提前，门单元结合上采样操作实现了对多视角多光谱图像初步的融合。
在上述实施例的基础上，预测模型在进行应用之前，需要首先对预测模型进行训练，下面结合图4和图5对本申请的模型训练的实现过程进行介绍，图4为本申请实施例提供的对预测模型进行模型训练的流程示意图，图5为本申请实施例提供的模型训练的结构示意图。
s401、通过初始模型对多组样本中的样本待融合图像进行处理，得到样本待融合图像对应的融合图像。
在本申请实施例中，多组样本中的样本待融合图像为针对至少一个场景的多个视角和/或多个光谱的图像。
通过初始模块对对多组样本中的样本待融合图像进行处理，得到样本待融合图像对应的融合图像。
如图5所示，初始模型包括特征提取单元、初步图像融合处理模块、精细图像融合处理模块、融合输出模块及损失函数。
在这里需要强调说明的是，在精细图像融合处理模块中，为了自适应地评估多视角图像先验的贡献，需要针对各个特征图像的像素相似构造图。例如，针对特征图像f的像素特征相似度构造了图gf＝{vf，ef}，其中，在图g内，特征图像f中每个像素为一个图节点，vf为特征图像f中所有像素构成的图节点集合。基于特征图像f中所有像素之间像素方向的相似性(即相关性)来建立每个节点之间的连接，其中，ef为特征图像gf中连接各像素的边的集合，其中，每两个像素点之间的边的长度大小由该两个像素方向之间的相似性大小决定。例如，像素p、像素q均为特征图像f中的两个图节点。确定两个像素方向之间的相似性，可以通过计算图节点p、图节点q之间的视觉特征差异来确定。具体的，图节点p、图节点q之间的相似性计算方式，可以参照公式一：
sp,q＝||fp-fq||2公式一
其中，sp,q为图节点p、图节点q之间的相似性大小，fp,fq分别为图节点p、图节点q的像素方向大小。对图节点p、图节点q的像素方向大小进行差值、取绝对值并对绝对值取平方得到图节点p、图节点q之间的相似性。
对于特征图像gf来说，特征图像gf中的每个节点仅连接到特征空间中距顶部k个最小距离的k个图节点，可以将其视为k近邻图。需要说明的一点是，该k近邻图是在不断动态调整的，每个节点可以从动态更新的相邻节点中自适应地选择更多有用的先验，同时脱离了光流策略带来的强度一致性限制。
将多组样本待融合图像依次输入到初始模型中的特征提取单元、初步图像融合处理模块及精细图像融合处理模块中进行处理，处理完成后经融合输出模块输出，得到样本待融合图像对应的图像融合结果。
s402、根据损失函数对融合图像和样本目标图像进行处理，得到损失函数值。
其中，损失函数将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。一般，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。例如，在统计学和机器学习中被用于模型的参数估计。
为了使初始模型在训练的过程中，通过训练模型的图像融合结果越来越理想，因此构建了损失函数来作为反馈，用于图神经网络的反向传播，从而不断训练该模型，直到训练模型收敛，即训练完成后得到的预设模型在进行图像融合时，能够达到理想的图像融合效果。
在本实施中，所构建的损失函数主要由两部分组成：1、结构级损失项lcons＝1-mssim；其中，
损失函数loss由结构级损失项lcons和像素级损失项加权叠加得到，可以参照公式二：
loss＝λ1lcons+λ2lmse公式二
其中，λ1,λ2均为损失权重，且满足λ1+λ2＝1。
在本实施例中，只是对损失函数进行示例性的介绍，并不是对损失函数做以限制，对于损失函数的具体实现方式可以根据实际需求进行设置。
s403、根据损失函数值对初始模型进行反向传播，调整初始模型的模型参数。
基于步骤s402得到损失函数，接下来在对初始模型的训练过程中使用损失函数，根据图像融合结果对图神经网络融合模块进行反向传播，以不断修正初始模型的模型参数。
s404、判断初始模型是否满足收敛条件。若是，则执行s405,若否，则执行s402。
其中，收敛条件用于指示经初始模型处理的图像融合结果已达到理想的图像融合结果。
在每轮模型训练的过程中，初始模型均进行收敛判断。
若判断初始模型不满足收敛条件，则重复执行步骤s402、s403。若判断初始模型满足收敛条件，则执行步骤s405。
s405、得到预设模型。
当判断初始模型满足收敛条件时，则表明初试模型训练完成，得到预设模型。
本申请实施例提供的图像融合方法，该方法包括：构建预设模型。通过初始模型对多组样本中的样本待融合图像进行处理，得到样本待融合图像对应的融合图像。根据损失函数对融合图像和样本目标图像进行处理，得到损失函数值。根据损失函数值对初始模型进行反向传播，调整初始模型的模型参数。重复执行上述两个步骤，直至初始模型满足收敛条件时，得到预设模型。
图6为本申请实施例提供的图像融合装置的结构示意图。如图6所示，该装置60包括：获取模块601、第一处理模块602以及第二处理模块603。
获取模块601，用于获取多张待融合图像，其中，所述多张待融合图像为针对同一场景的多个视角和/或多个光谱的图像；
第一处理模块602，用于对所述多张待融合图像进行粗配准处理，得到粗配准后的多张待融合图像；
第二处理模块603，用于将所述粗配准后的多张待融合图像输入至预设模型中，以使得所述预设模型输出融合后的目标图像；
其中，所述预设模型为用于对图像进行融合的模型，所述预设模型是根据多组样本进行学习得到的，每组样本中包括样本待融合图像和样本目标图像，其中，所述多组样本中的样本待融合图像为针对同一场景的多个视角和/或多个光谱的图像。
在一种可能的设计中，所述预设模型中包括特征提取单元，所述特征提取单元中包括n个特征提取层，其中，所述特征提取单元用于提取特征图像，以及所述预设模型中还包括n个门单元，1个融合单元，所述门单元用于对图像进行初步融合，所述融合单元用于对所述门单元的输出进行最终融合，所述n为大于或等于1的整数。
在一种可能的设计中，所述第一处理模块602具体用于：
将所述粗配准后的多张待融合图像输入至所述预设模型的特征提取单元中，通过所述特征提取单元中的n个特征提取层，输出各所述待融合图像各自对应的n种尺度特征图像；
将各所述待融合图像各自对应的n种尺度特征图像，分别对应输入至所述n个门单元中，以使得各所述门单元对各所述待融合图像各自对应的n种尺度的特征图像进行初步融合，得到n种尺度融合结果；
将所述n种尺度融合结果进行上采样处理，并将上采样处理后的n种尺度融合结果输入至所述融合单元中，以使得所述融合单元输出融合后的目标图像。
在一种可能的设计中，所述第一处理模块602具体用于：
对所述n种尺度融合结果进行图像插值处理，将所述n种尺度融合结果的分辨率调整为目标分辨率。
在一种可能的设计中，所述第一处理模块602具体用于：
确定所述多张待融合图像对应的单应矩阵；
根据所述多张待融合图像对应的单应矩阵，对各所述待融合图像进行变换处理，得到粗配准后的多张待融合图像，其中，粗配准后的多张待融合图像的视角相同。
在一种可能的设计中，所述第二处理模块603还用于：
根据所述多组样本进行学习，得到所述预设模型。
在一种可能的设计中，所述第二处理模块603具体用于：：
通过初始模型对所述多组样本中的样本待融合图像进行处理，得到所述样本待融合图像对应的融合图像；
根据损失函数对所述融合图像和样本目标图像进行处理，得到损失函数值；
根据所述损失函数值对所述初始模型进行反向传播，调整所述初始模型的模型参数；
重复执行上述两个步骤，直至所述初始模型满足收敛条件时，得到所述预设模型。
本实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
图7为本申请实施例提供的图像融合设备的硬件结构示意图，如图7所示，本实施例的图像融合设备70包括：处理器701以及存储器702；其中
存储器702，用于存储计算机执行指令；
处理器701，用于执行存储器存储的计算机执行指令，以实现上述实施例中图像融合方法所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。
可选地，存储器702既可以是独立的，也可以跟处理器701集成在一起。
当存储器702独立设置时，该图像融合设备还包括总线703，用于连接所述存储器702和处理器701。
本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上图像融合设备所执行的图像融合方法。
本申请实施例还提供一种计算机程序产品，程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。
应理解，上述处理器可以是中央处理单元(英文：centralprocessingunit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digitalsignalprocessor，简称：dsp)、专用集成电路(英文：applicationspecificintegratedcircuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器，还可以为u盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(industrystandardarchitecture，isa)总线、外部设备互连(peripheralcomponent，pci)总线或扩展工业标准体系结构(extendedindustrystandardarchitecture，eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
- 还没有人留言评论。精彩留言会获得点赞！