一种基于多尺度深度单应性的红外图像拼接方法

本发明属于图像拼接，具体涉及一种基于多尺度深度单应性的红外图像拼接方法。

背景技术：

1、红外图像拼接已广泛应用于生物、医疗、监控视频、自动驾驶、虚拟现实、等不同领域。现有方法利用估计的变形函数将两幅红外图像的重叠区域的特征点进行变形，单应性是最常用的变形函数。但是当相机运动模型不仅包括位移，还有旋转以及缩放的自由度，特别是当被拍摄的场景与相机的距离很近的情况下，被拍摄场景的不同深度的表面或是同一深度下的不同方向的平面，此时基于全局或局部单应性估计的方法不能完全解决这一问题，并且会受到视差的影响。在这些情况下，会出现“视差问题”，并导致拼接效果不好，如拼接图像中的重影、伪影。

2、中国专利公开号为“cn115035281a”，名称为“一种快速的红外全景图像拼接方法”，该方法首先对原始图像进行图像预处理操作；再使用roi算法对处理后的图像进行区域选定；采用sift算法对选定区域的红外图像进行特征点提取；接下来采用ransac算法筛选出正确特征匹配对；然后基于特征匹配后的红外图像，采用自适应相似度算法对待拼接红外图像进行相似度计算，确定红外图像的拼接顺序；最后采用加权图像融合算法对图像进行融合实现对红外全景图像的拼接。该方法特征提取能力低，得到的红外拼接图像存在重影、伪影，不符合人眼视觉效果，同时计算复杂度较高且效率低下。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了一种基于多尺度深度单应性的红外图像拼接方法，解决了红外图像拼接方法得到的图像中有重影、伪影、不自然等问题。

3、(二)技术方案

4、本发明为了实现上述目的具体采用以下技术方案：

5、一种基于多尺度深度单应性的红外图像拼接方法，包括如下步骤：

6、步骤1，构建网络模型：整个红外图像拼接网络包括红外图像对齐模块和红外图像拼接模块；

7、步骤2，准备数据集：选择kaist数据集，调整数据集中每个图像的尺寸，固定输入图像的大小；

8、步骤3，训练网络模型：将步骤2中准备好的数据集输入到步骤1中构建好的网络模型中进行训练；

9、步骤4，选择最小化损失函数和最优评估指标：通过最小化网络输出图像与标签的损失函数，直到训练次数达到设定阈值或损失函数的值到达设定范围内即可认为模型参数已预训练完成，保存模型参数。同时选择最优评估指标来衡量算法的精度，评估系统的性能；

10、步骤5，微调模型：用ltir数据集对模型进行训练和微调，得到稳定可用的模型参数，最终使得模型对红外图像拼接的效果更好；

11、步骤6，保存模型：将最终确定的模型参数进行固化，之后需要进行红外图像拼接操作时，直接将图像输入到网络中即可得到最终的拼接图像。

12、进一步，所述步骤1中红外图像对齐模块由四个卷积块组成，其中每个卷积块由跳跃连接、卷积层、归一化层、激活函数和最大池化层组成；卷积块一对输入图像进行初级特征提取，卷积块二、卷积块三、卷积块四形成三层特征金字塔，利用金字塔中各层的卷积块对图像中高级特征进行提取并估计单应性；红外图像拼接模块由七个卷积模块组成，其中卷积块五由跳跃连接、卷积层、归一化层、激活函数组成，卷积块六、卷积块七、卷积块八由跳跃连接、卷积层、归一化层、激活函数和最大池化层组成，负责下采样，卷积块九、卷积块十、卷积块十一由跳跃连接、卷积层、归一化层、激活函数和反卷积层组成，负责上采样。最后得到的特征图的大小与输入图像大小保持一致。

13、进一步，所述步骤4中在训练过程中损失函数选择使用边缘损失和内容损失的组合；损失函数的选择影响着模型的好坏，能够真实地体现出预测值与真值差异，并且能够正确地反馈模型的质量；得到的红外拼接图像具有更自然的拼接效果，更符合人眼视觉观察。

14、在训练过程中合适的评估指标选择均方根误差、峰值信噪比和结构相似性，能够有效地评估红外图像拼接算法结果的质量和红外拼接图像失真程度，衡量拼接网络的作用。

15、(三)有益效果

16、与现有技术相比，本发明提供了一种基于多尺度深度单应性的红外图像拼接方法，具备以下有益效果：

17、本发明提出的红外图像对齐模块是由四个卷积块组成的三层特征金字塔，通过对输入图像进行处理，利用金字塔中各层提取的特征估计单应性，并将上层估计的单应性传递给下层，逐步提高了特征点对齐精度，提高了网络特征提取能力。

18、本发明提出的红外图像拼接模块由七个卷积块组成边缘保留变形网络，通过学习图像拼接从边缘到内容的变形规律，对变形的图像进行拼接，消除了重影效应，同时保持了拼接图像的边缘连续性。

19、本发明提出了一种由边缘损失和内容损失组成的复合损失函数，使拼接网络生成更加自然的红外拼接图象，同时使得图像具有更高的真实性，提升人眼视觉效果。

20、本发明在骨干网络中将多种激活函数联合使用，可以使得网络输出的图像更符合人眼视觉观察；在网络中通过添加跳跃连接有助于减少网络参数，使得整个网络实现结构简单，提高拼接效率和精度。

技术特征：

1.一种基于多尺度深度单应性的红外图像拼接方法，其特征在于：包括如下步骤：

2.根据权利要求1所述的一种基于多尺度深度单应性的红外图像拼接方法，其特征在于：所述步骤1中红外图像对齐模块由四个卷积块组成，其中每个卷积块由跳跃连接、卷积层、归一化层、激活函数和最大池化层组成；卷积块一对输入图像进行初级特征提取，卷积块二、卷积块三、卷积块四形成三层特征金字塔，利用金字塔中各层的卷积块对图像中高级特征进行提取并估计单应性；红外图像拼接模块由七个卷积模块组成，其中卷积块五由跳跃连接、卷积层、归一化层、激活函数组成，卷积块六、卷积块七、卷积块八由跳跃连接、卷积层、归一化层、激活函数和最大池化层组成，负责下采样，卷积块九、卷积块十、卷积块十一由跳跃连接、卷积层、归一化层、激活函数和反卷积层组成，负责上采样。最后得到的特征图的大小与输入图像大小保持一致。

3.根据权利要求1所述的一种基于多尺度深度单应性的红外图像拼接方法，其特征在于：所述步骤4中在训练过程中损失函数选择使用边缘损失和内容损失的组合；损失函数的选择影响着模型的好坏，能够真实地体现出预测值与真值差异，并且能够正确地反馈模型的质量；得到的红外拼接图像具有更自然的拼接效果，更符合人眼视觉观察，在训练过程中合适的评估指标选择均方根误差、峰值信噪比和结构相似性，能够有效地评估红外图像拼接算法结果的质量和红外拼接图像失真程度，衡量拼接网络的作用。

技术总结
本发明属于图像拼接技术领域，尤其为一种基于多尺度深度单应性的红外图像拼接方法，包括如下步骤：步骤1，构建网络模型：整个红外图像拼接网络包括红外图像对齐模块和红外图像拼接模块；步骤2，准备数据集：选择KAIST数据集，调整数据集中每个图像的尺寸，固定输入图像的大小；步骤3，训练网络模型。同时选择最优评估指标来衡量算法的精度，评估系统的性能。本发明提出的红外图像对齐模块是由四个卷积块组成的三层特征金字塔，通过对输入图像进行处理，利用金字塔中各层提取的特征估计单应性，并将上层估计的单应性传递给下层，逐步提高了特征点对齐精度，提高了网络特征提取能力。

技术研发人员：郝子强,刘晟佐,于永吉,陈博文,韩登,李国宁
受保护的技术使用者：长春理工大学
技术研发日：
技术公布日：2024/1/12