一种无人机备降和迫降区域的实时分割方法与流程

本发明涉及计算机视觉中语义分割，特别涉及一种无人机备降和迫降区域的实时分割方法。

背景技术：

1、无人机航拍图像语义分割是在无人机航拍图像的技术上运用语义分割技术使无人机获得场景目标智能感知能力。针对无人机航拍图像语义分割，面向的对象是非常复杂的航拍场景图，该类图中具有汽车、建筑物、树木、河流等多样目标，尤其是像汽车这类小目标较难分割，且相同目标具有大小不一的特性，这些因素都给图像语义分割精准性带来了很大的挑战。由于传统图像分割方法对非结构化、多目标的图像的分割效果较差，因此利用卷积神经网络对图像进行语义分割是一个热点。一方面，利用卷积神经网络相对传统算法来说具有较高的精准性，但是由于模型在训练过程中的下采样操作，使得灰度原像素时缺乏空间信息；另一方面，深度学习技术对设备的要求较高，模型复杂度也较高，所以提高语义分割精准性成为语义分割的一大技术难点。

2、公开号为cn111913492a，名称为《无人机安全降落方法和装置》的专利文献公开了，获取当前位置图像，并将当前位置图像划分为若干个区域；根据深度卷积神经网络模型，识别若干个区域中的安全区域，并将计算得到的安全区域对应的置信度进行排序；控制无人机飞行到安全区域中置信度最高的区域上空，进而，计算无人机在置信度最高的区域中的投影平面，并控制无人机降落至该投影平面。

3、上述专利文献对于无人机降落区域识别的方法主要是通过深度卷积神经模型进行训练，运用目标识别的方法识别出场景中若干个安全区域。目标识别的方法确实可以大致地识别出降落区域，但是普遍会存在误检、漏检的情况，且降落区域一般都是不规则的，所以最终呈现的预测框无法较好地实现精准识别。

4、公开号为cn115100552a，名称为《一种无人机遥感图像实时语义分割方法》的专利文献公开了，获取遥感图像数据集，进行遥感图像逐像素语义标签标注，构建由图像到类别标签的轻量化语义主干网络，构建多重语义关联激活模块分析遥感图像中的语义信息，构建语义标签判别模块，通过特征图逐像素判定语义标签，作为语义分割的输出结果，最终与训练集的真是标注进行对比并计算损失，进行反向传播优化，对遥感图像进行实时语义分割，并实时发送分割结果。

5、上述专利文献体现的是语音分割技术的大致流程，但无人机实际执行语义分割任务时，会产生许多不同的问题。首先是应用场景不同时，模型的泛化能力可能不强；其次是其使用的依旧是传统的encoder-decoder(编码器-解码器)结构，在语义分割任务中除了语义信息外还需要细节信息，模型在不断地卷积、池化的过程中往往会丢失大量的细节信息，且这个过程往往也会导致模型参数变得很大。另外，该专利文献只需要分割出行人和车辆，分割的目标对象相对单一，无人机在高空并不具备全局环境感知能力。

技术实现思路

1、本发明的目的在于用语义分割技术时无人机具备自动识别备降区域、迫降区域以及保护目标的能力，且解决了传统语义分割方法泛化能力弱、卷积过程中丢失大量细节信息、模型参数量大、分割对象单一等问题，提供一种无人机备降和迫降区域的实时分割方法。

2、为了实现上述发明目的，本发明实施例提供了以下技术方案：

3、一种无人机备降和迫降区域的实时分割方法，包括以下步骤：

4、步骤1，收集无人机的历史航拍图像数据，并对历史航拍图像数据进行筛选和逐像素点标注，构成航拍数据集；

5、步骤2，将航拍数据集输入实时语义分割网络模型，首先经过主干网络获取多个全局特征图，然后多个全局特征图经过空洞卷积池化金字塔模块进行特征融合后，实时语义分割网络模型输出预测图；

6、步骤3，所述全局特征图经过空洞卷积池化金字塔模块进行特征融合后得到的融合特征图，再经过高斯拉普拉斯卷积计算，得到融合特征图的边缘信息；对主干网络获取的任一全局特征图进行细节指导计算，并结合融合特征图的边缘信息计算得到细节损失，通过细节损失对实时语义分割网络模型进行优化。

7、更进一步地，所述实时语义分割网络模型的主干网络包括依次连接的第一全卷积模块、第二全卷积模块、第一特征注意力权重模块、第二特征注意力权重模块、第三特征注意力权重模块；

8、尺度为224*224*3的航拍数据集输入第一全卷积模块，经第一全卷积模块处理后向第二全卷积模块输出尺度为112*112*32的第一特征图；经第二全卷积模块处理后向第一特征注意力权重模块输出尺度为56*56*64的第二特征图；

9、经第一特征注意力权重模块处理后向第二特征注意力权重模块输出尺度为28*28*256的第一全局特征图；经第二特征注意力权重模块处理后向第三特征注意力权重模块输出尺度为14*14*512的第二全局特征图；经第三特征注意力权重模块处理后向全局池化层输出尺度为7*7*1024的第三全局特征图；

10、主干网络的第一特征注意力权重模块、第二特征注意力权重模块、第三特征注意力权重模块分别向空洞卷积池化金字塔模块输出第一全局特征图、第二全局特征图、第三全局特征图。

11、更进一步地，所述第一全卷积模块、第二全卷积模块均包括依次连接的卷积层、归一化层、激活层。

12、更进一步地，所述第一特征注意力权重模块、第二特征注意力权重模块、第三特征注意力权重模块均包括依次连接的第一注意力卷积层、第二注意力卷积层、第三注意力卷积层、第四注意力卷积层、add层；

13、其中，第一注意力卷积层的卷积核大小为1*1，第二注意力卷积层的卷积核大小为3*3，第三注意力卷积层的卷积核大小为5*5，第四注意力卷积层的卷积核大小为7*7；

14、输入第一注意力卷积层的为低层特征图flow，低层特征图flow经过第一注意力卷积层，得到第一全局特征子图f1及其权重a1；第一全局特征子图f1经过第二注意力卷积层，得到第二全局特征子图f2及其权重a2；第二全局特征子图f2经过第三注意力卷积层，得到第三全局特征子图f3及其权重a3；第三全局特征子图f3经过第四注意力卷积层，得到第四全局特征子图f4及其权重a4；

15、低层特征图flow、第一全局特征子图f1、第二全局特征子图f2、第三全局特征子图f3、四全局特征子图f4均经过add层融合为全局特征图fout：

16、

17、其中，n表示注意力卷积层的数量，n＝1,...,4；fi表示第i个注意力卷积层；ai表示第i个注意力卷积层输出的权重，且有

18、更进一步地，每一个注意力卷积层得到权重的步骤为：

19、将每一个注意力卷积层得到的全局特征子图fi经过卷积核大小为3*3的卷积层，再通过全局平均池化层处理，再经过卷积核大小为1*1的卷积层，最后通过softmax函数处理，得到每个全局特征子图fi对应的权重ai：

20、softmax函数的表达式为：其中softmax(fi)表示对第i个注意力卷积层的全局特征子图fi进行softmax函数处理；n表示第n个注意力卷积层，fj表示第j个注意力卷积层的全局特征子图，n＝i；

21、将softmax(fi)记为pi，当j＝i时，softmax(fi)的偏导数为：

22、

23、当j≠i时，softmax(fi)的偏导数为：

24、

25、故有，

26、更进一步地，所述步骤3中融合特征图经过高斯拉普拉斯卷积计算，得到融合特征图的边缘信息的步骤，包括：

27、多个全局特征图经过空洞卷积池化金字塔模块进行特征融合后，得到融合特征图，融合特征图经过8倍上采样后输入seg head模块计算损失，得到seg loss；基于segloss得到原始ground-truth图；

28、通过高斯拉普拉斯卷积对原始ground-truth图进行三通道卷积处理，三通道的步长分别为stride＝1、stride＝2、stride＝4，在stride＝2的通道结果上进行2倍上采样，在stride＝4的通道结果上进行4倍上采样；最后通过1*1卷积核对三通道结果进行融合，得到一个单通道的ground-truth图，再将ground-truth图转换为二值图，得到融合特征图的边缘信息。

29、更进一步地，所述高斯拉普拉斯卷积的计算步骤为：

30、建立高斯方程：

31、

32、对高斯方程进行拉普拉斯变换：

33、

34、得到的高斯拉普拉斯其中，x、y为ground-truth图的像素点横、纵坐标，σ为像素点横纵坐标的差分。

35、更进一步地，所述步骤3中对主干网络的第一特征注意力权重模块输出的第一全局特征图通过细节指导模块进行细节指导计算，并结合融合特征图的边缘信息计算得到细节损失。

36、与现有技术相比，本发明的有益效果：

37、(1)本发明利用实时语义分割网络模型通过像素级别理解图像的方法来实现无人机备降区域、迫降区域以及保护目标的识别，相对于传统的目标检测技术而言，识别更为精准，更有利于无人机在不同场景下的降落区域做出决策。

38、(2)本发明利用细节指导模块生成详细的ground-truth图(训练数据对监督学习技术的分类的准确性)指导模型的训练，既减少模型参数量的同时不会影响模型的分割精度。使用改进后的实时语义分割网络模型执行语义分割任务，不仅解决了传统语义分割模型实时性不强的问题，而且还实现了分割精度上的提升。

39、(3)本发明实现了全局多目标分割，使无人机具备环境感知能力，且在应用方向上更具有代表性，相比于背景技术中的两个现有专利文献，其旨在解决遥感图像的实时语义分割问题，而本专利需要完成保证分割实时性的同时，还实现了无人机在生产运行中自动识别备降区域和迫降区域以及保护目标的问题，在遇到紧急情况或者收到降落指令后开展紧急降落的同时避开保护目标，从而保证无人机飞行安全和地面行人生命财产安全，减少意外损失。