图像拼接方法、装置、设备及存储介质与流程

本技术涉及图像拼接，具体地，涉及一种图像拼接方法、装置、设备及存储介质。

背景技术：

1、无人机集群因其协同效率高、任务完成度高、机动性强、成本低、操作方便等特性，相比于单架无人机具有极大的优势，已被广泛应用于广域的侦察、应急、搜索救援、监测等各个领域。

2、无人机集群中多架无人机对搜索区域进行并行处理，通过对相对较大的区域划分成不同的子区域，最后将所有无人机的子区域的拼接结果拼接到一起得到最终的结果。然而如何将各个无人机的结果拼接结果汇总、拼接在一起是本领域技术人员面临的较大的挑战。

技术实现思路

1、为解决现有技术中至少一项技术问题，本技术提供一种图像拼接方法、装置、设备及存储介质。

2、本技术第一方面提供一种图像拼接方法，所述方法包括：获取无人机集群中每一无人机在对应的搜索区域内拍摄的所有待拼接图像及每一待拼接图像拍摄时的位姿信息；计算每一搜索区域内无人机在拍摄顺序上相邻的待拼接图像之间的位姿变化信息，根据所述位姿变化信息将每一搜索区域内的待拼接图像进行拼接，生成每一搜索区域的区域图像；将每一搜索区域的区域图像进行拼接，得到目标图像。

3、可选地，所述获取所述无人机在每一待拼接图像拍摄时的位姿信息，包括：获取每张待拼接图像拍摄时所述无人机的惯性测量单元的测量数据；对每张待拼接图像对应的测量数据进行积分和卡尔曼滤波，获得所述无人机拍摄每张待拼接图像拍摄时的位姿信息。

4、可选地，所述根据所述位姿变化信息将每一搜索区域内的待拼接图像进行拼接，生成每一搜索区域的区域图像，包括：根据所述位姿变化信息得到每一搜索区域内每一相邻的待拼接图像的重叠区域；根据所述重叠区域计算每一相邻的待拼接图像的变换矩阵，根据每一相邻的待拼接图像的变换矩阵将每一搜索区域内的待拼接图像进行拼接，得到每一搜索区域的区域图像。

5、可选地，所述根据所述位姿变化信息得到每一搜索区域内每一相邻的待拼接图像的重叠区域，包括：根据所述位姿变化信息，计算所述无人机在拍摄顺序上相邻的待拼接图像之间的平移运动信息；根据所述相邻的待拼接图像对应的所述平移运动信息以及所述相邻的待拼接图像中的两张待拼接图像，获取每一相邻的待拼接图像的重叠区域。

6、可选地，所述根据所述重叠区域计算每一相邻的待拼接图像的变换矩阵，根据每一相邻的待拼接图像的变换矩阵将每一搜索区域内的待拼接图像进行拼接，得到每一搜索区域的区域图像，包括：在每一相邻的待拼接图像的重叠区域上，获取每一相邻的待拼接图像多个对应的特征点；根据每一相邻的待拼接图像的多个特征点之间的对应关系，得到每一相邻的待拼接图像的初始变换矩阵；根据所述平移运动信息，以及所述初始变换矩阵，确定每一相邻的待拼接图像的目标变换矩阵；根据每一相邻的待拼接图像的目标变换矩阵对每一搜索区域内的待拼接图像进行拼接，得到每一搜索区域的区域图像。

7、可选地，所述根据每一相邻的待拼接图像的多个特征点之间的对应关系，得到每一相邻的待拼接图像的初始变换矩阵，包括：根据每一相邻的待拼接图像中每个图像的特征点的特征描述子，确定每一相邻的待拼接图像中特征点的对应关系；将所述每一相邻的待拼接图像中的图像划分网格；确定每个网格相对于每个特征点的网格变换矩阵；遍历每个网络以及每个特征点，根据每个网格相对于每个特征点的网格变换矩阵，得到每一相邻的待拼接图像的初始变换矩阵。

8、可选地，所述确定每个网格相对于每个特征点的网格变换矩阵，包括：确定每个网格的中心点与每个特征点之间的距离；将所述每个网格的中心点与每个特征点之间的距离作为预设拼接矩阵的权重，并根据所述权重以及所述预设拼接矩阵，得到每个网格相对于每个特征点的网格变换矩阵。

9、可选地，所述根据所述平移运动信息，以及所述初始变换矩阵，确定每一相邻的待拼接图像的目标变换矩阵，包括：根据所述平移运动信息以及预设偏移矩阵，生成目标偏移矩阵；融合所述目标偏移矩阵和所述初始变换矩阵中每个网格相对于每个特征点的网格变换矩阵，得到每个网格相对于每个特征点的目标变换矩阵。

10、可选地，所述预设偏移矩阵为：

11、

12、其中，px为水平平移距离，py为竖直平移距离，s为在两张待拼接图像在x方向上的比值，r为两张待拼接区域图像在y方向上的比值。

13、可选地，所述融合所述目标偏移矩阵和所述初始变换矩阵中每个网格相对于每个特征点的网格变换矩阵，得到每个网格相对于每个特征点的目标变换矩阵，包括：根据每一网格的中心点在对应图像上的位置，确定每一网格的偏移权重；根据每一网格的偏移权重、所述目标偏移矩阵和所述每个网格相对于每个特征点的网格变换矩阵，得到每个网格相对于每个特征点的目标变换矩阵。

14、可选地，所述根据每一网格的中心点在对应图像上的位置，确定每一网格的偏移权重，包括：

15、

16、其中，所述netcenter为网格中心点在x方向上的坐标，所述width为待拼接图像的宽度。

17、可选地，所述方法还包括：

18、使用至少两种特征点提取方法提取每一待拼接图像的重叠区域的至少两组待选特征点及每一待选特征点的特征描述子；在每一待拼接图像的所述至少两组待选特征点中去除重复的待选特征点，将剩余的待选特征点作为每个图像中的特征点。

19、可选地，所述根据每一相邻的待拼接图像中每个图像的特征点的特征描述子，确每一相邻的待拼接图像中特征点的对应关系，包括：将每一相邻的待拼接图像中任一图像作为第一图像，另一图像作为第二图像；使用所述第一图像的特征点作为待查数据，所述第二图像的特征点作为查询数据进行第一匹配，得到第一配准点对；使用所述第二图像的特征点作为待查数据，所述第一图像的特征点作为查询数据进行第二匹配，得到第二配准点对；将在所述第一配准点对和所述第一配准点对中均存在的配准点对作为存在对应关系的特征点。

20、本技术第二方面提供一种图像拼接装置，所述装置包括：获取模块，用于获取无人机集群中每一无人机在对应的搜索区域内拍摄的所有待拼接图像及每一待拼接图像拍摄时的位姿信息；区域图像拼接模块，用于计算每一搜索区域内无人机在拍摄顺序上相邻的待拼接图像之间的位姿变化信息，根据所述位姿变化信息将每一搜索区域内的待拼接图像进行拼接，生成每一搜索区域的区域图像；目标图像拼接模块，用于将每一搜索区域的区域图像进行拼接，得到目标图像。

21、本技术第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一项所述方法的步骤。

22、本技术第三方面提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现上述第一方面中任一项所述方法的步骤。

23、上述图像拼接方法，获取每一无人机拍摄的图像进行拼接生成区域图像，再将区域图像进行拼接得到无人机集群的图像，实现了无人机集群的整体视图的生成，且上述方法中，通过相邻的待拼接图像之间的位姿变化信息进行拼接，能够减少计算量，减少了处理时间，能够快速计算并渲染出拼接图，具有高效性和实用性。

24、本技术的其他特征和优点将在随后的具体实施方式部分予以详细说明。