图像拼接方法及装置与流程

本发明涉及图像处理和人工智能，尤其涉及图像拼接方法及装置。

背景技术：

1、本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

2、图像拼接技术是指将同一场景的多个重叠图像拼接成较大图像的一种方法，传统的图像拼接方法的一般范式由特征点提取、特征匹配、变换矩阵估计、图像变换、图像融合组成，不同的传统图像拼接方法也主要是在范式中不同阶段采用不同的方法。随着深度学习的兴起，基于深度学习的图像拼接也得到了快速发展，大部分基于深度学习的图像拼接方法与传统图像拼接方式类似，主要是通过深度神经网络提取特征，学习最优变换矩阵参数进行后续的图像变换和图像融合。

3、然而很多实际的图像拼接场景存在近距离、大视差、多图像、大尺寸的问题，使用上述的拼接方法会存在很多问题，例如大尺寸图片拼接时，传统拼接方法无法提取特征(内存过大)；大视差图像拼接时，目前基于深度学习的拼接方法会存在大量重影，且拼接效果较差。

技术实现思路

1、本发明实施例提供一种图像拼接方法，用以提升图像拼接的适用性，提升图像拼接特征提取的精度和速度，提升图像拼接的效率和准确性，该方法包括：

2、基于深度学习神经网络模型，对目标图像进行拼接特征的提取，得到目标图像的拼接特征；所述拼接特征为目标图像在不同特征尺寸下进行图像间相似性度量的特征；

3、从目标图像中选取基准图和待配准图；

4、针对基准图的待拼接侧，将基准图在最小特征尺寸下的在该拼接侧的拼接特征，作为第一拼接特征；根据该第一拼接特征和待配准图在最小特征尺寸下的第二拼接特征，计算该第一拼接特征与每一第二拼接特征之间的相似性度量值；将与该第一拼接特征之间的相似性度量值超过预设数值的第二拼接特征，确定为目标拼接特征；

5、以基准图在最小特征尺寸的后一特征尺寸下的在该拼接侧的拼接特征，更新该第一拼接特征；以目标拼接特征在该后一特征尺寸下对应的拼接特征所在位置的预设范围内的拼接特征，更新该第二拼接特征；重新计算更新后第一拼接特征与每一更新后第二拼接特征之间的相似性度量值；以与更新后第一拼接特征之间的相似性度量值超过预设数值的第二拼接特征，更新目标拼接特征；重复执行上述更新第一拼接特征、第二拼接特征和目标拼接特征的步骤，直到确定出待配准图在最大特征尺寸下的目标拼接特征；

6、根据基准图在最大特征尺寸下的第一拼接特征、和待配准图在最大特征尺寸下的目标拼接特征，进行基准图和待配准图在该拼接侧的图像拼接。

7、本发明实施例还提供一种图像拼接装置，用以提升图像拼接的适用性，提升图像拼接特征提取的精度和速度，提升图像拼接的效率和准确性，该装置包括：

8、拼接特征提取模块，用于基于深度学习神经网络模型，对目标图像进行拼接特征的提取，得到目标图像的拼接特征；所述拼接特征为目标图像在不同特征尺寸下进行图像间相似性度量的特征；

9、基准图和待配准图选取模块，用于从目标图像中选取基准图和待配准图；

10、目标拼接特征确定模块，用于针对基准图的待拼接侧，将基准图在最小特征尺寸下的在该拼接侧的拼接特征，作为第一拼接特征；根据该第一拼接特征和待配准图在最小特征尺寸下的第二拼接特征，计算该第一拼接特征与每一第二拼接特征之间的相似性度量值；将与该第一拼接特征之间的相似性度量值超过预设数值的第二拼接特征，确定为目标拼接特征；

11、目标拼接特征更新模块，用于以基准图在最小特征尺寸的后一特征尺寸下的在该拼接侧的拼接特征，更新该第一拼接特征；以目标拼接特征在该后一特征尺寸下对应的拼接特征所在位置的预设范围内的拼接特征，更新该第二拼接特征；重新计算更新后第一拼接特征与每一更新后第二拼接特征之间的相似性度量值；以与更新后第一拼接特征之间的相似性度量值超过预设数值的第二拼接特征，更新目标拼接特征；重复执行上述更新第一拼接特征、第二拼接特征和目标拼接特征的步骤，直到确定出待配准图在最大特征尺寸下的目标拼接特征；

12、拼接侧图像拼接模块，用于根据基准图在最大特征尺寸下的第一拼接特征、和待配准图在最大特征尺寸下的目标拼接特征，进行基准图和待配准图在该拼接侧的图像拼接。

13、本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述图像拼接方法。

14、本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述图像拼接方法。

15、本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述图像拼接方法。

16、本发明实施例中，基于深度学习神经网络模型，对目标图像进行拼接特征的提取，得到目标图像的拼接特征；所述拼接特征为目标图像在不同特征尺寸下进行图像间相似性度量的特征；从目标图像中选取基准图和待配准图；针对基准图的待拼接侧，将基准图在最小特征尺寸下的在该拼接侧的拼接特征，作为第一拼接特征；根据该第一拼接特征和待配准图在最小特征尺寸下的第二拼接特征，计算该第一拼接特征与每一第二拼接特征之间的相似性度量值；将与该第一拼接特征之间的相似性度量值超过预设数值的第二拼接特征，确定为目标拼接特征；以基准图在最小特征尺寸的后一特征尺寸下的在该拼接侧的拼接特征，更新该第一拼接特征；以目标拼接特征在该后一特征尺寸下对应的拼接特征所在位置的预设范围内的拼接特征，更新该第二拼接特征；重新计算更新后第一拼接特征与每一更新后第二拼接特征之间的相似性度量值；以与更新后第一拼接特征之间的相似性度量值超过预设数值的第二拼接特征，更新目标拼接特征；重复执行上述更新第一拼接特征、第二拼接特征和目标拼接特征的步骤，直到确定出待配准图在最大特征尺寸下的目标拼接特征；根据基准图在最大特征尺寸下的第一拼接特征、和待配准图在最大特征尺寸下的目标拼接特征，进行基准图和待配准图在该拼接侧的图像拼接，与现有技术下的特征点提取方案相比较，通过采用深度学习神经网络模型来提取拼接特征，提升了拼接特征提取的精度、速度和鲁棒性；同时，依据对不同特征尺寸下的拼接特征的相似性度量，可快速确定出待配准图在最大特征尺寸下的目标拼接特征来进行图像拼接，提升了图像拼接的效率和准确性，可适用于近距离和大视差的大尺寸图像的拼接，提升了图像拼接的适用性。

技术特征：

1.一种图像拼接方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，还包括：

3.如权利要求2所述的方法，其特征在于，对目标图像进行图像填充处理和图像归一化处理，得到处理后目标图像，包括：

4.如权利要求1所述的方法，其特征在于，基于深度学习神经网络模型，对目标图像进行拼接特征的提取，得到目标图像的拼接特征，包括：

5.如权利要求4所述的方法，其特征在于，所述图像拼接特征提取模型包括：用于提取图像在不同尺寸下的拼接特征的多个特征金字塔层。

6.如权利要求4所述的方法，其特征在于，还包括：

7.如权利要求1所述的方法，其特征在于，所述相似性度量值根据拼接特征间的欧式距离和余弦相似性计算得到；

8.如权利要求1所述的方法，其特征在于，还包括：

9.如权利要求1所述的方法，其特征在于，根据基准图在最大特征尺寸下的第一拼接特征、和待配准图在最大特征尺寸下的目标拼接特征，进行基准图和待配准图在该拼接侧的图像拼接，包括：

10.一种图像拼接装置，其特征在于，包括：

11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9任一所述方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至9任一所述方法。

13.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至9任一所述方法。

技术总结
本发明公开了一种图像拼接方法及装置，该方法包括：基于深度学习神经网络模型，对目标图像进行拼接特征的提取，得到目标图像的拼接特征；从目标图像中选取基准图和待配准图；将基准图在最小特征尺寸下的在拼接侧的拼接特征，作为第一拼接特征；根据待配准图在最小特征尺寸下的第二拼接特征，计算该第一拼接特征与每一第二拼接特征之间的相似性度量值，确定目标拼接特征；重复执行上述步骤，直到确定出待配准图在最大特征尺寸下的目标拼接特征，进行基准图和待配准图在该拼接侧的图像拼接。本发明用以提升图像拼接的适用性，提升图像拼接特征提取的精度和速度，提升图像拼接的效率和准确性。

技术研发人员：丁坤,杨帅,李汪佩,黄盛,庄艺唐
受保护的技术使用者：上海汉时信息科技有限公司
技术研发日：
技术公布日：2024/1/15