图像拼接方法、装置、设备及存储介质与流程

本申请涉及图像处理，尤其涉及一种图像拼接方法、装置、设备及存储介质。

背景技术：

1、图像拼接(image stitching)是计算机视觉和计算机图形学中广泛研究的问题，通过将同一场景下的多张图像进行拼接融合，使得更大视角、更多场景信息呈现在同一图像上，有效解决了单幅普通图像无法显示足够场景信息的问题，广泛应用于虚拟显示、医疗图像处理以及自动驾驶等领域。

2、相关技术中，图像拼接技术一般包括特征提取、特征匹配、图像变换和图像融合四个步骤。其中，特征提取用于提取待拼接图像的特征；特征匹配用于基于提取的特征计算两张待拼接图像之间的单应变换矩阵；图像变换用于对图像进行单应变换，从而使得两张待拼接图像处于同一参考坐标系；图像融合用于寻找最佳拼接缝或平滑过渡来减少视觉异常现象，如模糊、鬼影和断裂等。但是，受待拼接图像上的光照变化、场景深度以及单应矩阵计算不准确等影响，传统的图像融合方法仍然难以解决视觉异常现象，严重影响了图像拼接的质量，限制了图像拼接算法的后续应用。

技术实现思路

1、有鉴于此，本申请实施例提供了一种图像拼接方法、装置、设备及存储介质，旨在提高图像拼接质量。

2、本申请实施例的技术方案是这样实现的：

3、第一方面，本申请实施例提供了一种图像拼接方法，包括：

4、获取初始拼接图像，所述初始拼接图像为对待拼接的第一图像和第二图像经特征提取、特征匹配及图像变换后得到的拼接图像；

5、基于训练好的自监督优化模型将所述初始拼接图像转换为目标拼接图像；其中，所述训练好的自监督优化模型用于确定所述初始拼接图像的优化残差，并将所述优化残差和所述初始拼接图像相加得到所述目标拼接图像。

6、上述方案中，所述方法还包括：

7、基于训练样本对待优化的自监督优化模型进行训练；

8、确定所述自监督优化模型的训练次数达到设定次数或者损失函数的损失值收敛，得到训练好的自监督优化模型；

9、其中，所述训练样本包括成对的待拼接图像和与所述成对的待拼接图像对应的初始化拼接图像，所述损失函数基于内容损失值和梯度损失值确定，所述内容损失值表示优化后的拼接图像与相应的所述待拼接图像之间的像素差值，所述梯度损失值表示优化后的拼接图像与相应的所述待拼接图像之间的像素梯度差值。

10、上述方案中，所述自监督优化模型为包含跳跃连接的自编码器结构的cnn(convolutional neural network，卷积神经网络)。

11、上述方案中，所述获取初始拼接图像，包括：

12、对待拼接的第一图像和第二图像，分别进行特征提取；

13、基于提取的特征，确定所述第一图像和所述第二图像之间的单应矩阵；

14、基于所述单应矩阵，将所述第一图像和所述第二图像映射至同一图像坐标系，得到初始拼接图像。

15、上述方案中，所述对待拼接的第一图像和第二图像，分别进行特征提取，包括：

16、对待拼接的第一图像和第二图像，分别提取harris角点，得到所述第一图像的第一角点集和所述第二图像的第二角点集；

17、对待拼接的第一图像和第二图像，基于参数共享的cnn进行特征提取，得到所述第一图像的第一特征图和所述第二图像的第二特征图；

18、基于所述第一角点集中的各角点，对所述第一特征图进行位置钻取，得到所述第一角点集中各角点的特征向量；

19、基于所述第二角点集合中的各角点，对所述第二特征图进行位置钻取，得到所述第二角点集中各角点的特征向量。

20、上述方案中，所述基于提取的特征，确定所述第一图像和所述第二图像之间的单应矩阵，包括：

21、基于所述第一角点集中各角点的特征向量和所述第二角点集中各角点的特征向量，进行特征匹配，得到所述第一图像和所述第二图像之间的匹配特征集合；

22、基于所述匹配特征集合，利用随机抽样一致(random sample consensus，ransac)算法确定所述第一图像和所述第二图像之间的单应矩阵。

23、上述方案中，所述基于所述第一角点集中各角点的特征向量和所述第二角点集中各角点的特征向量，进行特征匹配，得到所述第一图像和所述第二图像之间的匹配特征集合，包括：

24、遍历所述第一角点集中的各角点，分别求取所述第二角点集中匹配的角点；

25、基于所述第一角点集与所述角点集之间匹配的角点对，得到所述第一图像和所述第二图像之间的匹配特征集合；

26、其中，所述匹配的角点对为两角点的特征向量之间的距离最短。

27、第二方面，本申请实施例提供了一种图像拼接装置，包括：

28、获取模块，用于获取初始拼接图像，所述初始拼接图像为对待拼接的第一图像和第二图像经特征提取、特征匹配及图像变换后得到的拼接图像；

29、优化模块，用于基于训练好的自监督优化模型将所述初始拼接图像转换为目标拼接图像；其中，所述训练好的自监督优化模型用于确定所述初始拼接图像的优化残差，并将所述优化残差和所述初始拼接图像相加得到所述目标拼接图像。

30、第三方面，本申请实施例提供了一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行计算机程序时，执行本申请实施例第一方面所述方法的步骤。

31、第四方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本申请实施例第一方面所述方法的步骤。

32、本申请实施例提供的技术方案，获取初始拼接图像，初始拼接图像为对待拼接的第一图像和第二图像经特征提取、特征匹配及图像变换后得到的拼接图像；基于训练好的自监督优化模型将初始拼接图像转换为目标拼接图像；其中，训练好的自监督优化模型用于确定初始拼接图像的优化残差，并将优化残差和初始拼接图像相加得到目标拼接图像。由于引入了自监督优化模型，可以确定初始拼接图像的优化残差，并将优化残差和初始拼接图像相加得到目标拼接图像，有效缓解了单应矩阵计算不准确、场景深度以及不同视角光照变化等对图像拼接质量的影响，进而提高了图像拼接质量，利于满足拼接图像的后续应用需求。

技术特征：

1.一种图像拼接方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，

4.根据权利要求1所述的方法，其特征在于，所述获取初始拼接图像，包括：

5.根据权利要求4所述的方法，其特征在于，所述对待拼接的第一图像和第二图像，分别进行特征提取，包括：

6.根据权利要求5所述的方法，其特征在于，所述基于提取的特征，确定所述第一图像和所述第二图像之间的单应矩阵，包括：

7.根据权利要求6所述的方法，其特征在于，所述基于所述第一角点集中各角点的特征向量和所述第二角点集中各角点的特征向量，进行特征匹配，得到所述第一图像和所述第二图像之间的匹配特征集合，包括：

8.一种图像拼接装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，

10.一种计算机存储介质，所述计算机存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至7任一项所述方法的步骤。

技术总结
本申请公开了一种图像拼接方法、装置、设备及存储介质。该方法包括：获取初始拼接图像，初始拼接图像为对待拼接的第一图像和第二图像经特征提取、特征匹配及图像变换后得到的拼接图像；基于训练好的自监督优化模型将初始拼接图像转换为目标拼接图像；其中，训练好的自监督优化模型用于确定初始拼接图像的优化残差，并将优化残差和初始拼接图像相加得到目标拼接图像。由于引入了自监督优化模型，可以确定初始拼接图像的优化残差，并将优化残差和初始拼接图像相加得到目标拼接图像，有效缓解了单应矩阵计算不准确、场景深度以及不同视角光照变化等对图像拼接质量的影响，进而提高了图像拼接质量，利于满足拼接图像的后续应用需求。

技术研发人员：叶晓倩,王千,闫敏,杜瞻,柳欣,冯俊兰,邓超
受保护的技术使用者：中国移动通信有限公司研究院
技术研发日：
技术公布日：2024/1/15