无人机集群图像拼接方法、装置和系统与流程

本公开涉及图像处理领域，特别涉及一种无人机集群图像拼接方法、装置和系统。

背景技术：

1、近年来无人机航拍技术发展迅速，已经广泛的应用在了安全巡检、地图测绘、自然灾害评估等领域，在某些情况下，需要对某一区域进行全面的观察，由于受无人机飞行高度、相机性能的限制，单张无人机航拍图像的覆盖信息较少，往往需要通过图像拼接的方式来得到覆盖区域更宽广的图像。

2、传统的图像拼接技术通常是在无人机完成飞行任务后，对所有的图像进行离线拼接，这种技术已经较为成熟，但是它的时效性较差、速度慢，目前在线图像拼接技术也在逐步发展，无人机可以以视频流的方式向地面站发送图像数据，在地面站拉取视频流时进行实时拼接。而随着近年来无人机集群控制技术的发展，无人机协同执行任务能力大大增强，这使得无人机集群图像拼接成为可能，使用多个无人机的航拍图像能够大大提高图像拼接任务的时效性和灵活性，在5g通信技术日渐成熟的环境下，也为无人机集群图像拼接提供了通信支持，因此无人机集群图像实时拼接技术成为一个重要的发展方向。

技术实现思路

1、发明人注意到，目前无人机集群图像实时拼接技术面临着很多挑战，例如不同无人机之间的相机姿态差异增大了拼接时的透射误差，在某些情况下不同无人机间的通信质量不一，除了存在质量低下图像的干扰，还有可能发生无人机之间实时帧的错位，从而导致待拼接图像丢失共同特征区域等。在无人机集群实时拼接模式下，如何保证拼接算法的稳定性和实用性是一个重要的问题。

2、据此，本公开提供一种无人机集群图像拼接方案，能够有效实现无人机集群的图像实时拼接。

3、根据本公开实施例的第一方面，提供一种无人机集群图像拼接方法，包括：从流媒体服务器获取无人机集群采集的图像帧，并将每个无人机采集的图像帧存储到对应的通道队列中；对每个通道队列中的图像帧进行过滤，以删除模糊图像帧；利用配置在无人机上的照相机的畸变参数，对每个通道队列中的图像帧进行畸变矫正；对经过畸变矫正的图像帧创建surf特征描述符；根据surf特征描述符，对每两个通道队列中的图像帧进行特征匹配，以确定拼接顺序；根据拼接顺序，依次将各通道队列中同一时刻采集的图像帧进行拼接，以获得拼接图像。

4、在一些实施例中，对每个通道队列中的图像帧进行过滤包括：在每个通道队列中，将每个图像帧转换为灰度图，以得到每个图像帧中的全部像素点的灰度值；根据每个图像帧中的全部像素点的灰度值，使用tenengrad梯度函数计算每个图像帧中的全部像素点的梯度值；计算每个图像帧中的全部像素点的梯度值之和；判断第i个图像帧的梯度值之和与相邻的第i+1个图像帧的梯度值之和的偏差是否大于预设偏差门限，1≤i＜n，n为通道队列中图像帧数量；若第i个图像帧的梯度值之和与相邻的第i+1个图像帧的梯度值之和的偏差大于预设偏差门限，则丢弃第i+1个图像帧。

5、在一些实施例中，根据surf特征描述符，对每两个通道队列中的图像帧进行特征匹配，以确定拼接顺序包括：根据surf特征描述符，确定第m个通道队列中的图像帧和第n个通道队列中的图像帧的匹配特征点数量，1≤m，n≤m，m≠n，m为通道队列总数；若匹配特征点数量与图像帧中特征点数量的比值大于预设比值门限，则确定第m个通道队列和第n个通道队列具有邻近关系；检测与第m个通道队列具有邻近关系的通道队列数量是否大于1；若与第m个通道队列具有邻近关系的通道队列只有一个，则将该邻近关系写入邻近关系列表中；若与第m个通道队列具有邻近关系的通道队列有多个，则将第m个通道队列与第k个通道队列的邻近关系写入邻近关系列表中，其中第m个通道队列中的图像帧和第k个通道队列中的图像帧的匹配特征点数量与图像帧中特征点数量的比值为最大值；将邻近关系列表中只出现一次的一个通道队列作为开始通道队列，根据邻近关系列表依次确定通道队列顺序，以作为拼接顺序。

6、在一些实施例中，若没有与第m个通道队列具有邻近关系的通道队列，则重复执行确定第m个通道队列中的图像帧和第n个通道队列中的图像帧的匹配特征点数量的步骤。

7、在一些实施例中，根据拼接顺序，依次将各通道队列中同一时刻采集的图像帧进行拼接包括：根据拼接顺序，将首个通道队列中的图像帧作为底图；将下一个通道队列中的在同一时刻采集的图像帧与底图拼接，以便对底图进行更新，依次类推，直至将最后一个通道队列中的在同一时刻采集的图像帧与底图拼接；将最终得到的更新后的底图作为拼接图像。

8、根据本公开实施例的第二方面，提供一种无人机集群图像拼接装置，包括：第一处理模块，被配置为从流媒体服务器获取无人机集群采集的图像帧，并将每个无人机采集的图像帧存储到对应的通道队列中；第二处理模块，被配置为对每个通道队列中的图像帧进行过滤，以删除模糊图像帧；第三处理模块，被配置为利用配置在无人机上的照相机的畸变参数，对每个通道队列中的图像帧进行畸变矫正；第四处理模块，被配置为对经过畸变矫正的图像帧创建surf特征描述符，根据surf特征描述符，对每两个通道队列中的图像帧进行特征匹配，以确定拼接顺序；第五处理模块，被配置为根据拼接顺序，依次将各通道队列中同一时刻采集的图像帧进行拼接，以获得拼接图像。

9、在一些实施例中，第二处理模块被配置为在每个通道队列中，将每个图像帧转换为灰度图，以得到每个图像帧中的全部像素点的灰度值；根据每个图像帧中的全部像素点的灰度值，使用tenengrad梯度函数计算每个图像帧中的全部像素点的梯度值；计算每个图像帧中的全部像素点的梯度值之和；判断第i个图像帧的梯度值之和与相邻的第i+1个图像帧的梯度值之和的偏差是否大于预设偏差门限，1≤i＜n，n为通道队列中图像帧数量；若第i个图像帧的梯度值之和与相邻的第i+1个图像帧的梯度值之和的偏差大于预设偏差门限，则丢弃第i+1个图像帧。

10、在一些实施例中，第四处理模块被配置为根据surf特征描述符，确定第m个通道队列中的图像帧和第n个通道队列中的图像帧的匹配特征点数量，1≤m，n≤m，m≠n，m为通道队列总数；若匹配特征点数量与图像帧中特征点数量的比值大于预设比值门限，则确定第m个通道队列和第n个通道队列具有邻近关系；检测与第m个通道队列具有邻近关系的通道队列数量是否大于1；若与第m个通道队列具有邻近关系的通道队列只有一个，则将该邻近关系写入邻近关系列表中；若与第m个通道队列具有邻近关系的通道队列有多个，则将第m个通道队列与第k个通道队列的邻近关系写入邻近关系列表中，其中第m个通道队列中的图像帧和第k个通道队列中的图像帧的匹配特征点数量与图像帧中特征点数量的比值为最大值；将邻近关系列表中只出现一次的一个通道队列作为开始通道队列，根据邻近关系列表依次确定通道队列顺序，以作为拼接顺序。

11、在一些实施例中，第四处理模块被配置为若没有与第m个通道队列具有邻近关系的通道队列，则重复执行确定第m个通道队列中的图像帧和第n个通道队列中的图像帧的匹配特征点数量的步骤。

12、在一些实施例中，第五处理模块被配置为根据拼接顺序，将首个通道队列中的图像帧作为底图；将下一个通道队列中的在同一时刻采集的图像帧与底图拼接，以便对底图进行更新，依次类推，直至将最后一个通道队列中的在同一时刻采集的图像帧与底图拼接；将最终得到的更新后的底图作为拼接图像。

13、根据本公开实施例的第三方面，提供一种无人机集群图像拼接装置，包括：存储器，被配置为存储指令；处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如上述任一实施例所述的方法。

14、根据本公开实施例的第四方面，提供一种无人机集群图像拼接系统，包括：如上述任一实施例所述的无人机集群图像拼接装置；无人机集群，包括多个无人机，其中每个无人机被配置为在按预定队形飞行时，将所采集的视频帧上传给流媒体服务器；流媒体服务器，被配置为接收无人机上传的视频帧，并将所述视频帧提供给无人机集群图像拼接装置。

15、根据本公开实施例的第五方面，提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上述任一实施例所述的方法。

16、通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。