一种基于多传感器样态系数的红外图像融合方法和装置以及计算机可读存储介质与流程

本发明属于图像处理与分析技术领域，具体涉及一种基于样态系数的多传感器红外图像融合方法和装置以及计算机可读存储介质。

背景技术：

随着光电探测系统向着高精度、全天候、多功能等方向发展，红外成像技术日趋成熟，而单个图像传感器也逐渐显露出不能反映完整图像信息的局限性。图像融合，就是将多源信道所采集的关于同一目标的图像经过一定的处理，提取各自信道的信息，最后综合成高质量的融合图像。因此，融合图像对目标的表征更加准确，能够增强场景理解，有利于提高目标探测能力。

图像融合的关键技术是图像配准，是指将不同时间、不同传感器或不同条件下获取的多幅图像进行匹配、叠加。传统的图像配准算法主要是基于特征的匹配方法，首先是提取图像的特征，再生成特征描述子，最后根据描述子的相似程度对两幅图像之间的特征进行匹配。图像的特征主要可以分为点和边缘等特征，也可分为局部特征和全局特征，其本质是在包含多个像素点的区域中进行的统计计算。在不同波段的红外成像场景下，待配准图像之间的同一目标的灰度分布特性不同，尤其是热辐射图像的边缘特征差异更为明显，故采用特征点描述的方法会造成配准精度的降低，导致融合图像出现清晰度低、边缘模糊的结果。因此，针对不同红外图像传感器的成像场景，需要建立准确的图像间的映射模型，同时在配准的过程中采用图像样态系数来整体衡量图像的匹配程度。

技术实现要素：

传统的基于特征的图像配准融合方法采用特征点描述进行特征匹配，对不同波段的红外图像配准精度较差。针对这一问题，本发明提出了一种基于多传感器样态系数的红外图像融合方法和装置以及计算机可读存储介质，采用图像样态系数表征配准精度，消除了不同图像采集条件和不同波段的影响，提高了融合效果。

本发明采用的技术方案如下：

一种基于多传感器样态系数的红外图像融合方法，该方法使用投影矩阵模型进行图像的动态配准，并通过配准样态系数来比较配准的准确程度，从而通过遗传算法在坐标平面上搜索出最优配准位置，得到融合结果，具体步骤包括：

(一)数据归一化处理：对输入的多个传感器所拍摄的图像进行归一化处理，将不同位深的数据统一线性映射到计算机可显示的灰度范围内，再进行高通滤波，保留图像各自的边缘信息；

(二)数据投影处理：将保留图像各自的边缘信息的每一幅图像进行傅里叶投影,得到它们的傅里叶投影金字塔,然后用各投影层的傅里叶系数作为输入根据特定的融合规则构造成新的傅里叶投影金字塔；

(三)进行图像投影变换：标定两张图像所在的坐标系，在第一个坐标系中选取四个投影基准点，在第二个坐标系中任意选取四个对应的投影点，将第一张图像按照投影点的对应关系投影到第二个坐标系中，过程如下所示：

p′是投影点的三维坐标，其在第二个坐标系上的平面坐标可由和求得，h是投影变换矩阵，其中的参数可由四对相对应的基准点和投影点唯一确定，p是投影基准点在第一个坐标系上的平面坐标；

(四)使用变长遗传算法搜索最优的投影变换：固定第一个坐标系中的四个投影基准点，在第二个坐标系中选取若干组投影点并将其坐标编码为格雷码，计算每组坐标所确定的投影关系并将第一张图像分别投影到第二个坐标系中，此时计算每组投影后的图像与第二张图像的重叠部分的配准样态系数作为每组的适应度，不断地依据适应度的高低来有概率地筛选每组编码进行交叉和变异操作产生新的编码分组，并由各自的新的编码更新各自投影矩阵的参数，以计算新的图像投影变换后的适应度，直到大多数组的适应度收敛到一个最大值为止，过程如下所示：

a是第一张图像在第二个坐标系中的投影，b是第二张图像，r是a和b的重叠部分的配准样态系数，amn和bmn是其各自在(m，n)坐标处的像素的灰度值，和是其各自在重叠部分所有像素灰度值的平均值；

(五)使用遗传算法进行图像的交叉和变异运算：经过计算得到参考图像和待配准图像的变换参数，需要使后者与前者进行对齐，使得两幅图像处在相同的坐标系之下；

(六)进行图像配准的适应度测试：进行图像分组配准，通过衡量配准前后图像的相似性的程度来判定匹配算法的优异性，以样态系数的形式表现出来的，如果两幅图像相似程度特别的高或者接近一模一样，那么样态系数的数值就很小或者趋近于零，相应的，该组配准图像的适应度也就越大；

(七)进行图像融合：选出最大适应度所对应的分组，其投影点作为最优投影位置，将第一张图像以此投影到第二个坐标系中，并与第二张图像叠加，叠加的规则是各自不重叠的部分完全保留，相互重叠的部分各按0.5的权重进行灰度值相加，由此得到最终的融合结果。

在输入图像的数据预处理过程中，将两张输入图像先分别进行裁剪，裁剪的依据是裁剪部分分别对应的实际场景有所重叠，同时记录下裁剪部分在原图像中的位置坐标。在完成裁剪部分的配准后，依照记录的坐标得到最终两张原输入图像的融合结果。本发明与传统的特征匹配方法相对比，配准精度更高，具有更快的搜索能力，融合效果更好。

附图说明

图1是基于样态系数的多传感器红外图像融合方法示意框图。

图2是本发明使用的动态配准搜索结构示意框图。

具体实施方式

下面通过附图对本发明技术方案进行详细说明。

如图1所示，本发明基于多传感器样态系数的红外图像融合方法如下文所示：

步骤一：配准阶段：使用裁剪后的输入边缘图像进行配准。将图像送入遗传算法中进行搜索，将投影后的配准样态系数作为种群适应度，使用长度不同的编码进行交叉和变异产生下一代，迭代产生100代种群，每一代都保存适应度排序表，根据该表进行收敛情况的跟踪，收敛后提前终止迭代过程，保存最后一代适应度最大的坐标。

步骤二：融合阶段：将最后一代适应度最大的坐标作为裁剪图的最优投影坐标，并根据最初的裁剪情况还原为原图上的投影坐标，将两张原图投影到同一坐标系中，调节重叠区的权重，得到融合结果图并显示出来。

如图2所示，动态配准搜索结构与具体方法如下文所示：

(一)数据预处理：

对输入图像进行归一化处理，

i为输入图像，n为输入图像的位深，i′为归一化处理后的图像。将不同位深的数据统一线性映射到计算机可显示的8位灰度范围内，如有8位深的输入图像，则其已是归一化的图像，直接进行后续处理。然后进行高通滤波，使用canny边缘提取算子处理输入图像，保留图像各自的边缘信息，其中强边界阈值设置为0.7，弱边界阈值设置为0.28；

(二)数据投影处理：

将保留图像各自的边缘信息的每一幅图像进行傅里叶投影，得到它们的傅里叶投影金字塔，然后用各投影层的傅里叶系数作为输入根据特定的融合规则构造成新的傅里叶投影金字塔；

将保留图像各自的边缘信息的每一幅图像按j尺度逐级进行傅里叶投影，然后经线性腐蚀和采样将傅里叶系数矩阵裁减成原图像大小；

相同子带的j(2≤j≤j)尺度下的一个傅里叶系数，对应j-1尺度下的四个傅里叶系数，这样子带lh、hl、hh分别对应一个hmt，每一个hmt为四叉树结构，其中黑、白点分别代表傅里叶系数及隐状态；

隐状态指控制傅里叶系数大小且不可观测的状态变量，记为sk，i＝m，m＝s，l(k，i为傅里叶系数在各子带中的位置)分别对应傅里叶系数取小值或大值时的隐状态值，每个父节点有四个子节点，且每个子节点的分布都由其父节点的分布确定，而与其祖先节点之间彼此独立；

投影后可形成低通道投影、垂直方向高通道投影、水平方向高通道投影和对角方向高通道投影四部分，它们大小均为所述保留图像各自的边缘信息的每一幅图像大小的四分之一；

所述对应j-1尺度下的四个傅里叶系数进行马拉特投影：

相应的重构公式为

其中aj，hj，vj，dj分别对应于图像aj-1的低通道成分、水平方向上的高通道成分、垂直方向上的高通道成分、对角线方向上的高通道成分；h^*、g^*分别为h、g的共轭转置矩阵；

将图像做一次傅里叶投影，即将图像投影成低通道近似投影、水平高通道投影、垂直高通道投影和对角高通道投影；

(三)投影变换：

投影变换部分由投影矩阵完成，

p′是投影点的三维坐标，其在第二个坐标系上的平面坐标可由和求得，h是投影变换矩阵，其中的所有参数可由四对相对应的基准点和投影点唯一确定，p是投影基准点在第一个坐标系上的平面坐标。首先标定两张图像所在的坐标系，第一个坐标系的坐标为(u，v)，第二个坐标系的坐标为(x，y)。在第一个坐标系中选取四个投影基准点，共有8个基准坐标值，在同一次建立模型的过程中保持不变，在第二个坐标系中任意选取四个对应的投影点，共有8个对应坐标值，记为一组。一组8个对应坐标值可以确定一个关于投影变换矩阵所有参数的齐次方程组，对该方程组进行奇异值分解，将所得到的正交输出基向量的最后一列对最后一个元素归一化，即为投影变换矩阵的所有参数。由投影变换矩阵可以将第一张图像从第一个坐标系投影到第二个坐标系中；

(四)搜索最优解：

使用变长遗传算法搜索最优的投影变换。在固定第一个坐标系中的四个投影基准点后，在第二个坐标系中选取若干组投影点，每一组投影点的选择方法是任意选择第一个投影点，由基准投影点的相对距离确定其余三个投影点的位置，以保证图像的投影变换不影响图像中物体尺度的剧烈变化，同时给其余三个投影点的位置加上一定的变化范围，此时将第一个投影点的可选择范围和其余三个投影点的允许变化范围编码为格雷码，所有组的格雷码组成了当前代的种群。然后计算种群中每一组投影点坐标所确定的投影变换矩阵，将第一张图像依次从第一个坐标系投影到第二个坐标系中，此时计算每组投影后的图像与第二张图像的重叠部分的配准样态系数，同时将计算模板上两张图像非重叠部分的像素灰度值置0以保证系数计算在同一尺度的模板上进行。将计算出的每组样态系数作为每组的种群适应度，直接保留适应度最高的10％组作为下一代，同时所有组依照其适应度的高低作为选择参与交叉的概率，每次选择两组坐标编码交换其每条编码的随机一段，所有编码的每一位又以一定的概率变异为其反码，由此生成新的两组编码加入下一代的种群，直到下一代的种群补满为止，过程如下所示：

a是第一张图像在第二个坐标系中的投影，b是第二张图像，r是a和b的重叠部分的配准样态系数，amn和bmn是其各自在(m，n)坐标处的像素的灰度值，和是其各自在重叠部分所有像素灰度值的平均值。保留操作保证了遗传算法的收敛性，交叉操作完成了在解平面上搜索坐标点的工作，变异操作避免了局部收敛。在产生下一代后，更新各组新坐标所确定的投影变换矩阵，并由此不断进化。当一定比例组别的适应度在某一代收敛了一个极大值时，终止遗传算法的进化操作，保存该极大值所对应的一组坐标，作为最优投影变换；

(五)使用遗传算法进行图像的交叉和变异运算：

经过计算得到参考图像和待配准图像的变换参数，需要使后者与前者进行对齐，使得两幅图像处在相同的坐标系之下；

通过在非交叉点上进行腐蚀运算完成的，腐蚀运算中涉及到腐蚀核，腐蚀核中的数值代表了非交叉点周围的像素点对新像素点的贡献度即权值。这权值由选择的变异函数和像素点之间的距离决定。

采用如下公式进行计算：

式中f(ni)是点ni的灰度值，ωi是各邻近点的权值，与它们到变异点的距离成反比：

其中dx、dy分别是ta(s)与ni之间沿x轴、y轴的距离；

在对交叉点之间的空白区域进行变异的过程中，腐蚀模板可根据变异像素点和交叉点之间的相对位置被划分为h种。如果变异点和交叉点处于同一条圆弧上，那么相应的腐蚀模板的尺寸为1x6，通过对送六个相邻的交叉点的灰度值进行加权求和，就可得到变异点自身的灰度值；如果变异点和交叉点处于同一条半径上，那么相应的腐蚀模板的尺寸为6x1，通过对送六个相邻的交叉点的灰度值进行加权求和，就可得到了变异点自身的灰度值；变异点和交叉点既不在同一圆弧上也不在同一半径上，那么相应的腐蚀模板尺寸为6x6，通过对着36个交叉点的灰度值进行加权求和就得到了变异点自身的灰度值。

(六)进行图像配准的适应度测试：

进行图像分组配准，通过衡量配准前后图像的相似性的程度来判定匹配算法的优异性，以样态系数的形式表现出来的，如果两幅图像相似程度特别的高或者接近一模一样，那么样态系数的数值就很小或者趋近于零，相应的，该组配准图像的适应度也就越大；

使用sift算法得到的匹配点对，其结果作为粗匹配结果，将其匹配点对视为初始数据，并将其以互信息作为目标函数，利用基于种群增量学习算法中进行搜索，找寻最优解，具体方案包括：

利用sift算法对图像进行特征提取，滤除错误匹配点对，然后正确的特征点对作为粗匹配的结果；将粗匹配的结果作为滤波的初始数据，将匹配点对集中的进行随机抽取，每3个匹配点对作为一个个体(若匹配点对集中的匹配点对的数目不能被3整除，则剩下的1个或者2个匹配点对放在初始数据中，等待下次随机的抽取)，将这些个体组成初始种群。并把初始群体引入滤波算法中，以互信息作为目标函数进行进化计算，求取精配准的解，作为最优解；根据上一步骤得到的最优解，进行仿射变换，采用如下公式计算适应度a(i，j)得到配准结果；

其中，pij(i，j)用于表达在组图像ij中同时出现i和j特征的概率。

(七)融合结果：

将投影基准点坐标和最优投影变换所对应的投影点坐标作为配准结果。将第一张图像按照配准的投影变换矩阵投影的第二个坐标系中，采用双线性变异法，并与第二个坐标系中的第二张图像叠加，叠加的规则是各自不重叠的部分完全保留，相互重叠的部分各按0.5的权重进行灰度值相加，由此得到最终的融合结果，过程如下所示：

f是最终的融合结果，o是各自不重叠的部分，s是相互重叠的部分；

在输入图像的数据预处理过程中，将两张输入图像先分别进行裁剪，裁剪的依据是裁剪部分分别对应的实际场景有所重叠，同时记录下裁剪部分在原图像中的位置坐标。在完成裁剪部分的配准后，依照记录的坐标得到最终两张原输入图像的融合结果。

本发明与传统的特征匹配方法相对比，配准精度更高，具有更快的搜索能力，融合效果更好。

本发明的效果可以通过分割结果进一步说明：

为验证本发明的性能，采用二十组同场景的短波红外图像和长波红外图像，每组图像均采集自384×288分辨率的非制冷焦平面微热型长波红外成像仪，波长范围在8000-14000nm，和640×512分辨率的面阵凝视型短波红外成像仪，波长范围在900-1700nm。将基于样态系数的多传感器红外图像融合方法与其他不使用样态系数的方法进行对比，分别对比了平均配准样态系数，特征点配准率，投影失真率。

表1为本发明在二十组双波段红外图像上的融合结果。其中sift、同名点为图像融合领域中的经典特征匹配方法，小波变换为基于可变域的图像融合方法，rhf为样态系数配准和投影变换搜索的组合，是本发明提出的方法。表中加粗数字为该列最优值。综上所述，本发明比经典方法的融合效果更好。

表1