多尺度特征提取的图像拼接方法、装置、设备及存储介质与流程

本发明涉及图像处理，尤其涉及一种多尺度特征提取的图像拼接方法、装置、设备及存储介质。

背景技术：

1、图像拼接是计算机视觉和图像处理领域的一个重要技术，它的目的是将多幅图像无缝地拼接在一起，形成一个更大的视场或更高分辨率的图像。它广泛应用于许多领域，包括但不限于医学影像、航天影像、无人机航拍、虚拟现实、全景拍摄等。

2、目前图像拼接技术主要分为传统拼接方法和基于深度学习的方法。传统的图像拼接技术主要依赖于特征点的检测、匹配和几何变换模型的估计。这些技术通常包括以下步骤：首先，通过特征点检测算法(如sift、surf等)在每个图像中检测出特征点；然后，通过特征描述子，匹配不同图像中的相应特征点；最后，使用ransac等鲁棒性算法估计图像间的几何变换模型，进行图像的对齐和拼接。然而，这类方法在处理视角变化大、光照条件变化、内容复杂等问题时，可能会出现拼接误差。特别是在面对大基线、动态场景和光照变化等复杂情况时，由于特征点的匹配可能会出现错误，导致图像拼接的效果不佳。近年来，基于深度学习的方法被引入到图像拼接领域，由于其强大的自我学习和适应能力，显著提高了图像拼接的精度和效率。深度学习方法可以自动学习到从输入图像到输出拼接图像的映射，而不需要手动设计特征和匹配算法。基于深度学习的图像拼接通常使用卷积神经网络(cnn)或其他深度网络结构来自动学习图像的特征和变换模型。这些方法不仅可以处理复杂的光照和纹理变化，还能更好地处理大基线和动态场景下的图像拼接。然而，深度学习方法也存在一些限制。例如，当处理大基线的图像对时，深度学习模型的感受野可能无法覆盖足够的上下文信息，导致对齐效果不理想。此外，大部分现有的方法主要关注全局的图像对齐，忽视了在不同特征尺度下的精确投影变换，这可能会导致拼接结果的局部区域存在明显的接缝或者形变。

技术实现思路

1、鉴于以上技术问题，本发明提供了一种多尺度特征提取的图像拼接方法、装置、设备及存储介质，该方法主要是提供新型的图像拼接学习方法，然后，可以估计参考图像和目标图像在不同特征尺度下的精确投影变换，以提升拼接精度，为了解决感受野问题，为了解决感受野问题，本发明还采用了膨胀卷积，以获取更广泛的上下文信息，从而进一步提升图像拼接的效果，基于此，本发明旨在改善图像拼接的精度和鲁棒性，特别是在处理大基线和复杂环境的图像拼接任务时。

2、本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

3、根据本发明的一方面，提出了一种多尺度特征提取的图像拼接方法，所述拼接方法包括：

4、获取两个待拼接图像，基于四组特征提取器，对所述待拼接图像的特征进行逐层提取，得到四层特征图，所述特征提取器为基于resnet网络中的残差结构组成，所述残差结构的主通道由卷积层、relu激活函数层、卷积层组成，其跳跃通道由膨胀卷组成；

5、将提取到的位于底层的所述特征图进行正则化处理后计算两个所述待拼接图像之间的特征全局相似性，并计算偏移量，基于所述偏移量，估计出底层的两个所述待拼接图像之间变化的单应性变换矩阵，基于底层的所述单应性变换矩阵和其中一个所述待拼接图像的上一层的所述特征图，计算得到变换特征图，基于所述变换特征图和另一个所述待拼接图像的上一层的所述特征图，计算得到上一层的所述单应性变换矩阵，依次操作，直至得到最上层的所述单应性变换矩阵；

6、基于最上层的所述单应性变换矩阵，将两个所述待拼接图像投影变换得到两个待配准图像，将两个所述待配准图像通过平均融合得到拼接结果。

7、进一步的，在提取特征前，还包括：

8、对所述待拼接图像进行灰度化处理；

9、重构所述待拼接图像的尺寸，使得两个所述待拼接图像的尺寸相等。

10、进一步的，所述正则化为基于l2 normalization的l2正则化。

11、进一步的，所述计算两个所述待拼接图像之间的特征全局相似性，包括：

12、根据余弦相似性定理，计算两个所述待拼接图像的同一层的所述特征图的相似性，在计算时，执行公式：

13、

14、其中，x1、x2分别表示当前层的两个所述特征图中的相关位置；fa(x1)是x1的一维特征向量，fb(x2)是位置x2的一维特征向量；cv(x1,x2)是fa(x1)和fb(x2)的相似度，使得cv(x1,x2)越接近于1时，则使得两个所述待拼接图像的当前层的所述特征图的相似性越高。

15、进一步的，所述计算偏移量，包括：

16、计算一个所述待拼接图像相对于另一个所述待拼接图像的四个顶点的横偏移量和纵偏移量，预测得到预测八个坐标偏移。

17、进一步的，所述基于所述偏移量，估计出底层的两个所述待拼接图像之间变化的单应性变换矩阵，包括：

18、对所述偏移量进行直接线性变换，计算得到所述单应性变换矩阵。

19、进一步的，在得到两个所述待配准图像后，对两个所述待配准图像进行双线性插值，得到光滑扭曲的所述待配准图像，并进行平均融合。

20、根据本公开的第二方面，提供一种多尺度特征提取的图像拼接装置，包括多尺度特征提取模块，用于获取两个待拼接图像，基于四组特征提取器，对所述待拼接图像的特征进行逐层提取，得到四层特征图，所述特征提取器为基于resnet网络中的残差结构组成，所述残差结构的主通道由卷积层、relu激活函数层、卷积层组成，其跳跃通道由膨胀卷组成；

21、多尺度单应性估计模块，用于将提取到的位于底层的所述特征图进行正则化处理后计算两个所述待拼接图像之间的特征全局相似性，并计算偏移量，基于所述偏移量，估计出底层的两个所述待拼接图像之间变化的单应性变换矩阵，基于底层的所述单应性变换矩阵和其中一个所述待拼接图像的上一层的所述特征图，计算得到变换特征图，基于所述变换特征图和另一个所述待拼接图像的上一层的所述特征图，计算得到上一层的所述单应性变换矩阵，依次操作，直至得到最上层的所述单应性变换矩阵；

22、图像融合模块，用于基于最上层的所述单应性变换矩阵，将两个所述待拼接图像投影变换得到两个待配准图像，将两个所述待配准图像通过平均融合得到拼接结果。

23、根据本公开的第三方面，提供一种多尺度特征提取的图像拼接设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：获取两个待拼接图像，基于四组特征提取器，对所述待拼接图像的特征进行逐层提取，得到四层特征图，所述特征提取器为基于resnet网络中的残差结构组成，所述残差结构的主通道由卷积层、relu激活函数层、卷积层组成，其跳跃通道由膨胀卷组成；

24、将提取到的位于底层的所述特征图进行正则化处理后计算两个所述待拼接图像之间的特征全局相似性，并计算偏移量，基于所述偏移量，估计出底层的两个所述待拼接图像之间变化的单应性变换矩阵，基于底层的所述单应性变换矩阵和其中一个所述待拼接图像的上一层的所述特征图，计算得到变换特征图，基于所述变换特征图和另一个所述待拼接图像的上一层的所述特征图，计算得到上一层的所述单应性变换矩阵，依次操作，直至得到最上层的所述单应性变换矩阵；

25、基于最上层的所述单应性变换矩阵，将两个所述待拼接图像投影变换得到两个待配准图像，将两个所述待配准图像通过平均融合得到拼接结果。

26、基于本公开的第四方面，提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述的图像拼接方法

27、本公开的技术方案具有以下有益效果：

28、1、基于残差结构，在进行特征提取的时候，可以更好融合提取到的图像特征信息，能提高特征提取的准确度；

29、2、基于膨胀卷积，针对感受野较小，对全局信息处理较差的情况，利用膨胀卷积具有较大感受野的性质，提高对全局信息提取的能力；

30、3、利用多尺度提取图像特征，可以更充分处理全局图像，提高对待拼接图像重合区域的识别，得到精度更高的单应性变换矩阵。