基于缝合线搜索算法的图像拼接方法及装置与流程

本发明属于图像拼接，特别是涉及一种基于缝合线搜索算法的图像拼接方法及装置。

背景技术：

1、图像拼接是指将同一场景下的多个不同角度、有重叠或相邻区域的图像合成为一个更高分辨率，更大视角的无缝整体图像，以提供更丰富、更全面的信息。图像拼接技术在全景图像拼接、医学影像融合、自动驾驶、卫星遥感、虚拟现实等多领域有广泛的应用价值。然而，目前的图像拼接方法在某些情况下仍存在一些挑战和问题，限制了其应用范围和效果。

2、首先，当前的图像拼接算法在处理不同光照条件、大视差场景时，往往难以保证拼接后图像的质量和连续性。这可能导致拼接边界处出现明显的伪影、拼接痕迹或者颜色不一致等问题，影响了整体图像的真实感和观感。

3、其次，现有的图像拼接方法在处理超高清8k图像数据时，往往需要消耗大量的计算资源和时间。这对于实时性要求较高的应用，如全景视频拼接、虚拟现实场景中的实时全景图拼接等，会带来一定的挑战。

4、因此，如何在保证拼接质量的前提下，进一步优化图像拼接算法的计算效率成为急需处理的行业应用难题。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种基于缝合线搜索算法的图像拼接方法及装置。

2、本发明的目的是通过以下技术方案来实现的：

3、本发明的第一方面公开了一种基于缝合线搜索算法的图像拼接方法，所述图像拼接方法包括：

4、获取若干幅待拼接的图像，相邻图像存在重叠区域；

5、将所述图像变换到同一平面，并对齐重叠区域，生成第一拼接图像；

6、对第一拼接图像中的重叠区域进行超像素分割；

7、根据使得预设能量函数的值最小的分割方式，在超像素分割后的重叠区域确定最优缝合线；

8、基于所述最优缝合线进行图像融合，生成最终的拼接图像。

9、进一步地，所述图像拼接方法还包括：

10、计算所述第一拼接图像的最大内矩阵；

11、基于所述最大内矩阵对所述第一拼接图像进行裁剪。

12、进一步地，将所述图像变换到同一平面，并对齐重叠区域，生成第一拼接图像，包括：

13、对所述图像进行特征点提取；

14、对相邻图像之间的局部特征点进行匹配；

15、基于匹配的特征点之间的映射关系计算单应性矩阵；

16、基于匹配的特征点和单应性矩阵调整相机参数；

17、基于相机参数将图像变换到同一平面，并对齐重叠区域，生成第一拼接图像。

18、进一步地，基于匹配的特征点和单应性矩阵调整相机参数，包括：

19、基于匹配的特征点和单应性矩阵计算相机内参；

20、基于匹配的特征点和单应性矩阵计算旋转矩阵；

21、基于相机内参和旋转矩阵对相机参数进行调整；

22、对相机参数进行水平和垂直校正。

23、进一步地，对第一拼接图像中的重叠区域进行超像素分割，包括：

24、使用slic算法对第一拼接图像中的重叠区域进行超像素分割。

25、进一步地，所述能量函数的表达式为：

26、

27、

28、

29、

30、

31、式中，、、表示不同信息的权重，表示重叠区域的像素点，代表重叠区域两幅图的颜色差异；和表示重叠区域的两幅图像，为重叠区域两幅图像的结构差异，和分别表示重叠区域两幅图像在像素点处x方向的梯度，和分别表示重叠区域两幅图像在像素点处x方向的梯度，表示重叠区域两幅图像的纹理复杂度，和分别表示重叠区域两幅图像的gabor特征，表示图像显著性感知信息，abs()表示求绝对值，和分别表示重叠区域两幅图像的显著性感知信息。

32、进一步地，根据使得预设能量函数的值最小的分割方式，在超像素分割后的重叠区域确定最优缝合线，包括：

33、基于图割min-cut算法，在超像素分割后的重叠区域搜索最小化能量函数的缝合线路径，并将该缝合线路径确定为最优缝合线。

34、进一步地，基于所述最优缝合线进行图像融合，生成最终的拼接图像，包括：

35、计算每幅图像的曝光补偿；

36、根据所述曝光补偿对图像进行曝光补偿处理；

37、基于所述最优缝合线进行图像融合，生成最终的拼接图像。

38、进一步地，基于所述最优缝合线进行图像融合，生成最终的拼接图像，包括：

39、基于所述最优缝合线，利用多频段融合方法对所述最优缝合线两侧的图像进行融合，生成最终的拼接图像。

40、本发明的第二方面公开了一种基于缝合线搜索算法的图像拼接装置，所述图像拼接装置包括：

41、图像获取模块，用于获取若干幅待拼接的图像，相邻图像存在重叠区域；

42、第一拼接模块，用于将所述图像变换到同一平面，并对齐重叠区域，生成第一拼接图像；

43、超像素分割模块，用于对第一拼接图像中的重叠区域进行超像素分割；

44、缝合线确定模块，用于根据使得预设能量函数的值最小的分割方式，在超像素分割后的重叠区域确定最优缝合线；

45、第二拼接模块，用于基于所述最优缝合线进行图像融合，生成最终的拼接图像。

46、本发明的有益效果是：

47、（1）本发明提出了一种新的能量函数，使得最佳缝合线搜索融合了重叠区域图像的色差、梯度差、纹理复杂度和显著性感知信息，此能量函数能够有效地量化图像间的相似性和连续性，从而引导缝合线的搜索，使其能够在重叠区域内找到最佳的拼接路径，提升了图像拼接的质量和准确性，实现更加逼真自然的图像合成效果；

48、（2）本发明使用基于超像素的图像拼接方法，通过将图像分割为多个紧密相连且内部具有相似性的超像素块，可以在更高的抽象层级上进行拼接操作，从而减少处理的复杂性并且保留了图像的重要特征，进而提升图像拼接的效率和质量。

技术特征：

1.基于缝合线搜索算法的图像拼接方法，其特征在于，包括：

2.根据权利要求1所述的基于缝合线搜索算法的图像拼接方法，其特征在于，所述图像拼接方法还包括：

3.根据权利要求1所述的基于缝合线搜索算法的图像拼接方法，其特征在于，将所述图像变换到同一平面，并对齐重叠区域，生成第一拼接图像，包括：

4.根据权利要求3所述的基于缝合线搜索算法的图像拼接方法，其特征在于，基于匹配的特征点和单应性矩阵调整相机参数，包括：

5.根据权利要求1所述的基于缝合线搜索算法的图像拼接方法，其特征在于，对第一拼接图像中的重叠区域进行超像素分割，包括：

6.根据权利要求1所述的基于缝合线搜索算法的图像拼接方法，其特征在于，所述能量函数的表达式为：

7.根据权利要求1所述的基于缝合线搜索算法的图像拼接方法，其特征在于，根据使得预设能量函数的值最小的分割方式，在超像素分割后的重叠区域确定最优缝合线，包括：

8.根据权利要求1所述的基于缝合线搜索算法的图像拼接方法，其特征在于，基于所述最优缝合线进行图像融合，生成最终的拼接图像，包括：

9.根据权利要求1所述的基于缝合线搜索算法的图像拼接方法，其特征在于，基于所述最优缝合线进行图像融合，生成最终的拼接图像，包括：

10.基于缝合线搜索算法的图像拼接装置，其特征在于，包括：

技术总结
本发明公开了一种基于缝合线搜索算法的图像拼接方法及装置，属于图像拼接技术领域。所述图像拼接方法包括：获取若干幅待拼接的图像，相邻图像存在重叠区域；将所述图像变换到同一平面，并对齐重叠区域，生成第一拼接图像；对第一拼接图像中的重叠区域进行超像素分割；根据使得预设能量函数的值最小的分割方式，在超像素分割后的重叠区域确定最优缝合线；基于所述最优缝合线进行图像融合，生成最终的拼接图像。本发明减少了处理的复杂性并且保留了图像的重要特征，进而提升了图像拼接的效率和质量。

技术研发人员：刘征,王曼,郑慧明,晏子宁,李子清,李智勇,赵周丽
受保护的技术使用者：四川新视创伟超高清科技有限公司
技术研发日：
技术公布日：2024/1/16