一种红外图像与可见光图像融合方法、装置及存储介质与流程

本发明主要涉及图像处理技术领域，具体涉及一种红外图像与可见光图像融合方法、装置及存储介质。

背景技术：

红外传感器对真实的场景反映存在一定缺陷，所成图像的分辨率低、信噪比低；可见光传感器在一定条件下能清晰反映场景的细节信息，成像容易受到照度、天气等自然条件的影响。根据它们的互补性，利用图像融合方法可以挖掘源图像各自的特征信息，进而突显热目标信息，提升视觉系统对场景信息的理解，从而达到识别伪装、夜视等目的。研究红外与可见光图像融合有助于推动图像融合理论的发展和完善，其研究成果不仅对其他领域的图像融合有一定的参考作用，还对我国的国防安全和国家建设有着重要的意义。在民用领域已经被成功应用于跟踪定位、火灾预警、包裹安全检查以及汽车夜行等系统中。而在军事领域，红外与可见光图像融合能够获取更加精确可靠的目标信息和全面的场景信息，在恶劣气象条件下仍然能够成功捕捉目标，例如红外可见光双波狙击瞄准镜能辅助实现各种恶劣环境下目标的精确打击，提升军队全天候作战能力。

目前，红外图像与可见光图像融合方法分为基于多尺度分析和稀疏表示方法两大类，这两种方法容易导致细节信息丢失，且多尺度方法由于具有重构步骤而结果易出现伪影，影响后期的识别。

技术实现要素：

本发明所要解决的技术问题是针对现有技术的不足，提供一种红外图像与可见光图像融合方法、装置及存储介质。

本发明解决上述技术问题的技术方案如下：一种红外图像与可见光图像融合方法，包括如下步骤：

对红外图像和可见光图像进行差分计算，得到红外与可见光差分图像；

根据全变分模型分别对所述红外图像、所述可见光图像及所述红外与可见光差分图像进行分解计算，分别得到红外图像卡通纹理分量成分、可见光图像卡通纹理分量成分以及差分图像卡通纹理分量成分。

构建狼群优化迭代算法的适应度函数。具体为，根据融合指标信息熵、标准差和边缘保持度来进行构建。

根据所述狼群优化迭代算法和构建的适应度函数在所述红外图像卡通纹理分量成分、所述可见光图像卡通纹理分量成分以及所述差分图像卡通纹理分量成分中确定权重项和对应的权重系数，作为融合图像分量成分的权重项和权重系数，所述融合图像为所述红外图像和所述可见光图像相结合得到的图像。

根据确定的权重项和权重系数直接进行加权计算，得到所述融合图像。

本发明解决上述技术问题的另一技术方案如下：一种红外图像与可见光图像融合装置，包括：

差分处理模块，用于对红外图像和可见光图像进行差分计算，得到红外与可见光差分图像。

分解模块，用于根据全变分模型分别对所述红外图像、所述可见光图像及所述红外与可见光差分图像进行分解计算，分别得到红外图像卡通纹理分量成分、可见光图像卡通纹理分量成分以及差分图像卡通纹理分量成分。

函数构建模块，用于构建狼群优化迭代算法的适应度函数。

权重确定模块，用于根据所述狼群优化迭代算法和构建的适应度函数在所述红外图像卡通纹理分量成分、所述可见光图像卡通纹理分量成分以及所述差分图像卡通纹理分量成分中确定权重项以及与所述权重项对应的权重系数，作为融合图像分量成分的权重项和权重系数，所述融合图像为所述红外图像和所述可见光图像相结合得到的图像。

融合模块，用于根据确定的权重项和权重系数进行加权计算，得到所述融合图像。

本发明解决上述技术问题的另一技术方案如下：一种红外图像与可见光图像融合装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的红外图像与可见光图像融合方法。

本发明解决上述技术问题的另一技术方案如下：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的红外图像与可见光图像融合方法。

本发明的有益效果是：通过全变分模型将红外源图像、可见光源图像和差分图像分解为卡通纹理分量成分，通过狼群优化迭代算法从源图像和分量成分中确定权重项和权重系数，将确定的权重项和权重系数进行加权组合，以获取最终的融合图像结果，融合结果在具有噪声鲁棒性的同时还能保持完整的轮廓信息和细节信息，清晰度和对比度也比较高。

附图说明

图1为本发明实施例提供的融合方法的流程示意图；

图2为本发明实施例提供的图像分解的流程示意图；

图3为本发明实施例提供的融合装置的模块框图；

图4为本发明实施例提供的各图像分量成分的效果图；

图5为本发明实施例提供的实验对比图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种红外图像与可见光图像融合方法，包括如下步骤：

对红外图像和可见光图像进行差分计算，得到红外与可见光差分图像。

根据全变分模型分别对所述红外图像、所述可见光图像及所述红外与可见光差分图像进行分解计算，分别得到红外图像卡通纹理分量成分、可见光图像卡通纹理分量成分以及差分图像卡通纹理分量成分。

构建狼群优化迭代算法的适应度函数。具体为，根据融合指标信息熵、标准差和边缘保持度来进行构建。

根据所述狼群优化迭代算法和构建的适应度函数在所述红外图像卡通纹理分量成分、所述可见光图像卡通纹理分量成分以及所述差分图像卡通纹理分量成分中确定权重项以及与所述权重项对应的权重系数，作为融合图像分量成分的权重项和权重系数，所述融合图像为所述红外图像和所述可见光图像相结合得到的图像。

根据确定的权重项和权重系数进行加权计算，得到所述融合图像。

上述实施例中，通过全变分模型将红外源图像、可见光源图像和差分图像分解为卡通纹理分量成分，通过狼群优化迭代算法从源图像和分量成分中确定权重项和权重系数，将确定的权重项和权重系数进行加权组合，以获取最终的融合图像结果，具有较强的噪声鲁棒性。

可选地，作为本发明的一个实施例，如图2所示，所述根据全变分模型分别对所述红外图像、所述可见光图像及所述红外与可见光差分图像进行分解计算的过程包括：

设所述红外图像、所述可见光图像及所述红外与可见光差分图像均为无噪声源图像，

在对所述红外图像进行分解计算时，根据全变分模型中的全变分问题将所述红外图像定义为：

iinf＝tinf+cinf，

其中，iinf表示红外图像，tinf表示红外光图像纹理分量成分，cinf表示红外光图像卡通分量成分，

在对所述可见光图像进行分解计算时，根据全变分模型中的全变分问题将所述可见光图像定义为：

ivis＝tvis+cvis，

其中，ivis表示可见光图像，tvis表示可见光差分图像纹理分量成分，cvis表示可见光差分图像卡通分量成分，

在对所述红外与可见光差分图像进行分解计算时，根据全变分模型中的全变分问题将所述红外与可见光差分图像定义为：

idif＝tdif+cdif，

其中，idif表示红外与可见光差分图像，tdif表示红外与可见光差分图像纹理分量成分，cdif表示红外与可见光差分图像卡通分量成分；

所述全变分模型为tv-l1模型，在对所述红外图像进行分解计算时,根据所述tv-l1模型计算所述红外图像对应的最小化函数，所述红外图像对应的最小化函数式表示为第一式，所述第一式为：

其中，第一式的解为红外光图像卡通分量成分，表示为红外光图像卡通分量成分的全变分正则化项，+λ||iinf-cinf||1dω表示为保真项，λ表示正则化参数，

在对所述可见光图像进行分解计算时,根据所述tv-l1模型计算所述红外图像对应的最小化函数，所述可见光图像对应的最小化函数式表示为第二式，所述第二式为：

其中，第二式的解为可见光图像卡通分量成分，表示为可见光图像卡通分量成分的全变分正则化项，λ||ivis-cvis||1dω表示为保真项，λ表示正则化参数，

在对所述红外与可见光差分图像进行分解计算时,根据所述tv-l1模型计算所述红外图像对应的最小化函数，所述红外与可见光差分图像最小化函数式表示为第三式，所述第三式为：

其中，第三式的解为红外与可见光图像卡通分量成分，表示为红外与可见光图像卡通分量成分的全变分正则化项，λ||idif-cdif||1dω表示为保真项，λ表示正则化参数；

在对所述红外图像进行分解计算时，根据第四公式对红外光图像纹理分量成分进行计算，所述第四公式为：

tinf＝iinf-cinf，

在对所述可见光图像进行分解计算时，根据第五公式对可见光图像纹理分量成分进行计算，所述第五公式为：

tvis＝ivis-cvis，

在对所述红外与可见光差分图像进行分解计算时，根据第六公式对红外与可见光差分图像纹理分量成分进行计算，所述第六公式为：

tdif＝idif-cdif，

根据梯度下降法分别对红外图像的最小化函数式、可见光图像的最小化函数式以及红外与可见光差分图像的最小化函数式的优化问题求解：

其中，(i,j)表示所述红外光图像或所述可见光图像或所述红外与可见光差分图像中像素点的位置，参数和分别表示向前与向后的差异，表示梯度大小，n为迭代次数，δm与δn为图像网格上的距离，δt表示时间变化量，ε设置为极小值。

上述实施例中，采用全变分模型进行分解，全变分模型本身具有一定的噪声鲁棒性，且保真项以强制卡通分量成分保持接近原始图像，正则化参数使全变分正则化项和保真项平衡,能够更好的提取纹理细节，而融合结果就是要在保持最好的细节信息同时具有较高的边缘保持度，提升了融合质量。

可选地，作为本发明的一个实施例，所述构建狼群优化迭代算法的适应度函数的步骤的过程包括：

假设融合图像为if，构建适应度函数，所述适应度函数为

s＝e(if)*std(if)*edge(if)，

其中，e(if)表示融合图像的熵，std(if)表示融合图像的标准差，edge(if)表示融合图像的边缘保持度。

计算所述熵的过程包括：

计算所述熵的公式为：

其中，pi表示图像像素的概率分布。

计算所述标准差的过程包括：

计算所述标准差的公式为：

其中，m、n表示图像尺寸；

计算所述边缘保持度的过程包括：

根据sobel边缘算子分别计算红外图像和可见光图像的边缘强度和方向，计算所述边缘强度的公式为：

计算所述方向的公式为：

其中，i和j表示方向，gi与gj分别表示沿i和j方向梯度。

计算所述假设的融合图像相对于所述红外图像及所述可见光图像的相对边缘强度和相对方向，计算所述相对边缘强度的公式为：

计算所述相对方向的公式为：

计算所述相对边缘强度的保持度和所述相对方向的保持度，计算所述相对边缘强度的保持度的公式为：

计算所述相对方向的保持度的公式：

定义总边缘保持度为：

计算总边缘信息为：

其中，гσ、гθ、kσ、kθ、δσ和δθ为常数，гσ＝0.994，гθ＝0.9879，kσ＝-15、kθ＝-22，δσ＝0.5、δθ＝0.8。

上述实施例中，信息熵和标准差主要用于图像信息量和对比度的度量，边缘相似度主要用于评价融合结果的边缘结构信息保持完整度。以这三个指标来定义适应度函数，提高了多源图像融合结果的细节信息量以及边缘轮廓的保持度，并且提升融合结果的清晰度和对比度。

可选地，作为本发明的一个实施例，如图2所示，所述将确定的权重项作为待融合图像分量成分的权重项，其过程包括：

s1：狼群初始化：设置狩猎区为n×d欧式空间，其中n为狼群数，d为变量维数，定义最大迭代次数kmax，最大探寻次数为tmax，变量维数包括w1、w2、w3、w4和w55个权重系数；具体地，d＝4；

s2：探寻：根据所述适应度函数计算每个所述狼的适应度函数值，将最大适应度函数值对应的狼为头狼，除所述头狼外，剩余适应度函数中，将最大适应度函数值对应的狼设置为探狼，且通过探寻公式进行迭代，所述探寻公式为：

直至所述探狼的适应度函数值大于头狼，停止迭代，或者满足探寻次数tmax，停止迭代，其中，xid表示探狼于d维空间位置，p为探狼移动方向，表示d维空间探寻步长；

s3：猎物进攻：随机选取除所述头狼外的狼为凶狼，根据猎物进攻公式进行计算：

其中，为进攻步长，表示k+1代首领位置，

设头狼的位置为xl，适应度函数值为yl，若凶狼yi大于头狼yl，令yi＝yl，进行号召行为；若凶狼yi小于头狼yl，继续进攻，直至dis≤dnear，输出各个狼的适应度函数值yl，在输出的各个适应度函数值中确定作为待融合图像分量成分的权重项和权重系数，所述权重项包括红外光图像卡通分量成分cinf、红外光图像纹理分量成分tinf、可见光图像卡通分量成分cvis、可见光图像纹理分量成分tvis和红外与可见光差分图像卡通分量成分cdif。

还输出前，包括更新的步骤：

根据“胜者为王”原则更新首领位置以及最优目标。所述“胜者为王”为，围捕狼在头领狼的指引下向头领狼位置奔走，若奔走后目标适应度大于当前，则替代当前位置，否则，不变。围攻狼在奔走过程中，若到某个位置的目标适应度大于头领狼的函数值，则围攻狼转变为头领狼，召唤其他狼向自己所在位置靠近。

接着，根据“优胜劣汰”原则对狼群进行更新。所述“优胜劣汰”为：在每次迭代后，选择目标函数值最差的m头狼淘汰掉，然后依据初始化狼群位置的公式随机生成m头狼上。

上述实施例中，通过狼群优化迭代算法找到关键的组合信息，即权重项对应的权重系数，提高融合精度，解决现有技术中进行红外与可见光图像融合时保持完整边缘轮廓与保留尽可能多的纹理细节信息之间矛盾的问题。

可选地，作为本发明的一个实施例，如图2所示，所述将确定的权重项和权重系数进行加权计算，其过程包括：

设融合图像e为if，根据下述加权组合公式进行计算：

if＝w1*cinf+w2*tinf+w3*cvis+w4*tvis+w5*cdif

其中，w1、w2、w3、w4和w5均表示为权重系数，所述权重系数取值范围为0至1。

上述实施例中，通过直接加权组合的方式，获得最终的融合结果，其有别于目前主流多尺度融合方法需要进行重构步骤，而重构步骤易产生伪影，不利于后期识别。

可选地，作为本发明的一个实施例，所述对红外图像和可见光图像进行差分计算，其过程包括：

根据差分公式对红外图像和可见光图像进行差分计算，所述差分公式为

idif＝iinf-ivis，

其中，idif表示为红外与可见光差分图像，iinf表示为红外图像，ivis表示为可见光图像。

上述实施例中，红外光图像由于红外传感器特性包含与可见光图像相对的额外边缘轮廓信息，因此在红外光图像中减去可见光图像以获取源可见光图像中不存在的额外特征或区域，并保留相同的成分以助于整体融合质量。

可选地，作为本发明的一个实施例，如图3所示，一种红外图像与可见光图像融合装置，包括：

差分处理模块，用于对红外图像和可见光图像进行差分计算，得到红外与可见光差分图像。

分解模块，用于根据全变分模型分别对所述红外图像、所述可见光图像及所述红外与可见光差分图像进行分解计算，分别得到红外图像卡通纹理分量成分、可见光图像卡通纹理分量成分以及差分图像卡通纹理分量成分。

函数构建模块，用于构建狼群优化迭代算法的适应度函数；

权重确定模块，用于根据所述狼群优化迭代算法和构建的适应度函数在所述红外图像卡通纹理分量成分、所述可见光图像卡通纹理分量成分以及所述差分图像卡通纹理分量成分中确定权重项以及与所述权重项对应的权重系数，将确定的权重项和权重系数作为融合图像分量成分的权重项和权重系数，所述融合图像为所述红外图像和所述可见光图像相结合得到的图像。

融合模块，用于将确定的权重项和权重系数进行加权计算，根据计算结果得到所述融合图像。

可选地，作为本发明的另一个实施例，一种红外图像与可见光图像融合装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的红外图像与可见光图像融合方法。

可选地，作为本发明的另一个实施例，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的红外图像与可见光图像融合方法。

如图4所示，图4中各标号表示为，(a)源红外卡通成分；(b)源红外纹理成分；(c)源可见光卡通成分；(d)源可见光纹理成分；(f)差分卡通成分；(e)差分纹理成分；

明显可以看出，全变分分解后的卡通成分具有大致的轮廓信息，而纹理成分细节信息非常鲜明。基于此，本文在最终的加权组合时选取了红外与可见光图像分解后的卡通与纹理成分。为了提取红外与可见光图像之间的差异特征信息，本文求取了它们的差分图像，由图(e)可以看出，差分图像的卡通成分主要反应了两源图像之间的差异轮廓边缘信息，而这些轮廓边缘是图像融合过程中非常重要的信息。所以，最终的加权成分主要包括：红外光图像卡通成分、红外光图像纹理成分、可见光图像卡通成分、可见光图像纹理成分以及差分图像卡通成分，分别对应于w1、w2、w3、w4和w55个权重系数。

如图5所示，图4中各标号表示为，(a)可见光图像；(b)红外光图像；(c)nsct方法；(d)shearlet方法；(e)sr方法；(f)tv变分多尺度分析方法；(g)本发明提出的融合方法。

从主观视觉上来看，nsct方法由于其平移不变性，在边缘保持上略好于shearlet方法；sr方法虽然能够提取源图像中的空间细节信息，但是场景中的人物区域边缘还是较为模糊，并且对比度较低；变分多尺度分析方法采用变分多尺度分解，并采用引导滤波进行纹理信息选择，获取的融合结果具有相对较高的边缘保持度和对比度，纹理信息也相对前面几种方法更清晰；本文方法采用狼群算法优化各纹理成分和卡通成分的组合权重获取具有高质量对比度和边缘细节，在对比度和边缘细节信息上略高于变分多尺度分析方法方法，主观视觉效果最好。

下表为评价指标数据表：

对各种融合算法结果引入客观性指标进行评价。选用四种常用的图像融合性能指标对几种融合方法结果进行客观质量的评价。融合指标分别为信息论评价指标qmi、人类视觉敏感度评价指标qcb、图像结构相似度评价指标qy、梯度特征评价指标qg。互信息评价指标qmi用于度量两幅图像之间相关程度，本发明用来度量最终融合结果中包含源图像信息量的大小；梯度指标qg用于度量源红外与可见光图像传递到最终融合结果的梯度信息；结构相似度评价指标qy用于度量融合结果在结构信息方面保持的程度；视觉敏感度指标qcb取全局质量图均值。

本发明通过全变分模型将红外源图像、可见光源图像和差分图像分解为卡通分量成分和纹理分量成分，通过狼群优化迭代算法从源图像和分量成分中确定权重项和权重系数，将确定的权重项和权重系数进行加权组合，以获取最终的融合图像结果，融合结果在具有噪声鲁棒性的同时还能保持完整的轮廓信息和细节信息，清晰度和对比度也比较高。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。