一种全景图拼接方法及装置与流程

本技术涉及数据处理，具体而言，涉及一种全景图拼接方法及装置。

背景技术：

1、图像全景拼接是指将同一场景下，不同方位多个相机获得的多幅原图进行拼接，以获得一幅包含各方向图像信息的、宽视角场景的、完整的全景图像。现有的全景图拼接方法，通常利用特征点检测和匹配技术来对多幅图像进行对齐和拼接。然而，在实践中发现，现有方法直接采用高纬度特征进行特征匹配，需要更多的计算资源和时间，从而导致处理速度较慢，并且在拼接全景图像时，当拍摄的图像中存在透视变换时，直接对图像进行拼接会导致拼接后的全景图像出现视角畸变。可见，现有方法适用性差，对于大场景的处理速度较慢，图片拼接处理效率低，且存在视角畸变等情况的出现，降低了图片拼接质量，从而降低了。

技术实现思路

1、本技术实施例的目的在于提供一种全景图拼接方法及装置，能够提高大场景拼接图像的效率，节省了计算资源和时间；同时，在拼接前进行预处理，还能够解决视角畸变的问题，从而有利于提升图片拼接质量和拼接效率。

2、本技术实施例第一方面提供了一种全景图拼接方法，包括：

3、获取图像采集区的多帧连续图像；并对所述多帧连续图像进行初始化，得到多个初始化图像；

4、提取每个所述初始化图像的二进制码特征；

5、根据预设的lsh算法和所述二进制码特征进行特征匹配，得到匹配结果；

6、基于所述匹配结果确定每个所述初始化图像相邻图像之间的接缝；

7、对所述初始化图像进行拼接前预处理，得到多个预处理图像；

8、基于预设的图像融合算法和所述接缝，对所述预处理图像进行融合处理，得到最终的拼接全景图；

9、输出所述拼接全景图。

10、在上述实现过程中，该方法可以优先获取图像采集区的多帧连续图像；并对多帧连续图像进行初始化，得到多个初始化图像；然后，提取每个初始化图像的二进制码特征；并根据预设的lsh算法和二进制码特征进行特征匹配，得到匹配结果；再后，基于匹配结果确定每个初始化图像相邻图像之间的接缝；并对初始化图像进行拼接前预处理，得到多个预处理图像；最后，再基于预设的图像融合算法和接缝，对预处理图像进行融合处理，得到最终的拼接全景图；并输出拼接全景图。可见，该方法能够提高大场景拼接图像的效率，节省了计算资源和时间；同时，在拼接前进行预处理，还能够解决视角畸变的问题，从而有利于提升图片拼接质量和拼接效率。

11、进一步地，所述提取每个所述初始化图像的二进制码特征，包括：

12、提取每个所述初始化图像的sift特征；

13、利用哈希算法对所述sift特征进行编码，得到每个所述初始化图像的二进制码特征。

14、进一步地，所述基于所述匹配结果确定每个所述初始化图像相邻图像之间的接缝，包括：

15、根据所述匹配结果，为所述每个所述初始化图像确定相对应的相似特征向量；

16、基于最近邻匹配方法获取与每个所述相似特征向量相对应的多个匹配对以及每个所述匹配对相对应的匹配分数；

17、根据所述匹配分数、预设的置信度阈值以及所述匹配，确定与每个所述相似特征向量相对应的目标匹配对集合；

18、根据所述目标匹配对集合估计同源矩阵；

19、根据所述同源矩阵和所述目标匹配对集合确定每个相似特征向量相对应的目标关键点对；

20、根据所述目标关键点对确定每个所述初始化图像相邻图像之间的接缝。

21、进一步地，所述对所述初始化图像进行拼接前预处理，得到多个预处理图像，包括：

22、根据预设的图像分辨率，调整每个所述初始化图像的图像大小，得到多个第一处理图像；

23、对每个所述第一处理图像进行翘曲处理，得到多个第二处理图像；

24、对所述第二处理图像进行裁剪处理，得到多个预处理图像。

25、进一步地，所述对每个所述第一处理图像进行翘曲处理，得到多个第二处理图像，包括：

26、获取预设的相机焦距比例因子；

27、根据多个所述第一处理图像生成输入图像列表；

28、根据所述相机焦距比例因子对所述输入图像列表中每张图片进行扭曲处理，得到目标图像列表；

29、获取所述目标图像列表中每张图片对应的扭曲掩码和扭曲遮罩；

30、根据所述扭曲掩码和所述扭曲遮罩，计算所述目标图像列表中每张图片对应的roi区域；

31、根据所述roi区域对所述目标图像列表中的每张图片进行扭曲处理，得到多个第二处理图像。

32、本技术实施例第二方面提供了一种全景图拼接装置，所述全景图拼接装置包括：

33、获取单元，用于获取图像采集区的多帧连续图像；并对所述多帧连续图像进行初始化，得到多个初始化图像；

34、提取单元，用于提取每个所述初始化图像的二进制码特征；

35、特征匹配单元，用于根据预设的lsh算法和所述二进制码特征进行特征匹配，得到匹配结果；

36、确定单元，用于基于所述匹配结果确定每个所述初始化图像相邻图像之间的接缝；

37、处理单元，用于对所述初始化图像进行拼接前预处理，得到多个预处理图像；

38、融合单元，用于基于预设的图像融合算法和所述接缝，对所述预处理图像进行融合处理，得到最终的拼接全景图；

39、输出单元，用于输出所述拼接全景图。

40、在上述实现过程中，该装置可以通过获取单元获取图像采集区的多帧连续图像；并对多帧连续图像进行初始化，得到多个初始化图像；通过提取单元提取每个初始化图像的二进制码特征；通过特征匹配单元来根据预设的lsh算法和二进制码特征进行特征匹配，得到匹配结果；通过确定单元来基于匹配结果确定每个初始化图像相邻图像之间的接缝；通过处理单元对初始化图像进行拼接前预处理，得到多个预处理图像；通过融合单元基于预设的图像融合算法和接缝，对预处理图像进行融合处理，得到最终的拼接全景图；再通过输出单元输出拼接全景图。可见，该装置能够提高大场景拼接图像的效率，节省了计算资源和时间；同时，在拼接前进行预处理，还能够解决视角畸变的问题，从而有利于提升图片拼接质量和拼接效率。

41、进一步地，所述提取单元包括：

42、提取子单元，用于提取每个所述初始化图像的sift特征；

43、编码子单元，用于利用哈希算法对所述sift特征进行编码，得到每个所述初始化图像的二进制码特征。

44、进一步地，所述确定单元包括：

45、第一确定子单元，用于根据所述匹配结果，为所述每个所述初始化图像确定相对应的相似特征向量；

46、获取子单元，用于基于最近邻匹配方法获取与每个所述相似特征向量相对应的多个匹配对以及每个所述匹配对相对应的匹配分数；

47、第二确定子单元，用于根据所述匹配分数、预设的置信度阈值以及所述匹配，确定与每个所述相似特征向量相对应的目标匹配对集合；

48、估计子单元，用于根据所述目标匹配对集合估计同源矩阵；

49、第三确定子单元，用于根据所述同源矩阵和所述目标匹配对集合确定每个相似特征向量相对应的目标关键点对；以及根据所述目标关键点对确定每个所述初始化图像相邻图像之间的接缝。

50、进一步地，所述处理单元包括：

51、调整子单元，用于根据预设的图像分辨率，调整每个所述初始化图像的图像大小，得到多个第一处理图像；

52、处理子单元，用于对每个所述第一处理图像进行翘曲处理，得到多个第二处理图像；

53、所述处理子单元，还用于对所述第二处理图像进行裁剪处理，得到多个预处理图像。

54、进一步地，所述处理子单元包括：

55、获取模块，用于获取预设的相机焦距比例因子；

56、生成模块，用于根据多个所述第一处理图像生成输入图像列表；

57、处理模块，用于根据所述相机焦距比例因子对所述输入图像列表中每张图片进行扭曲处理，得到目标图像列表；

58、所述获取模块，还用于获取所述目标图像列表中每张图片对应的扭曲掩码和扭曲遮罩；

59、计算模块，用于根据所述扭曲掩码和所述扭曲遮罩，计算所述目标图像列表中每张图片对应的roi区域；

60、所述处理模块，还用于根据所述roi区域对所述目标图像列表中的每张图片进行扭曲处理，得到多个第二处理图像。

61、本技术实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本技术实施例第一方面中任一项所述的全景图拼接方法。

62、本技术实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本技术实施例第一方面中任一项所述的全景图拼接方法。