基于航拍图像的火灾识别方法和火灾识别装置

本公开涉及图像处理，更具体地，涉及一种基于航拍图像的火灾识别方法和火灾识别装置。

背景技术：

1、在各种灾害中，火灾是最常见、最普遍地威胁公众安全和社会发展的主要灾害之一。以往火灾检测通常使用传感器对空器的氧气含量、二氧化碳含量等指标判断是否存在火情，该方法不能够及时发现存在的火情。近年来，随着深度学习发展，人工智能技术已经大规模步入人们的日常生活当中。在火灾救援过程中，借助无人机操控灵活、部署方便、视野广等优点，结合目标识别技术，可以为救援人员提供火情态势信息，有效提升火灾救援效率，降低救援人员营救风险。

2、目标识别是计算机视觉领域重要的研究内容，通过提取深层语义特征信息，完成图像/视频中存在的目标标注任务。目前，基于深度学习的目标识别技术广泛应用于监控安防、自动驾驶、生物医疗等领域。

3、单次目标检测算法通过单一网络完成目标类别与位置坐标值回归，具有识别速度快、边缘计算部署方便等优点。但是针对无人机视角下的目标识别效果不够理想，尤其针对火灾，其识别精确度较差，且占用的计算资源较大。

技术实现思路

1、有鉴于此，本公开实施例提供了一种基于航拍图像的火灾识别方法和火灾识别装置。

2、本公开实施例的一个方面提供了一种基于航拍图像的火灾识别方法，包括：

3、获取由可飞行平台拍摄的航拍图像；

4、将上述航拍图像输入至目标火灾识别模型中，输出火灾识别结果，其中，上述火灾识别结果包括表征上述航拍图像中是否存在火灾的火灾识别信息和在上述航拍图像中存在火灾的情况下与火灾发生位置对应的位置标记信息；

5、其中，上述目标火灾识别模型是利用目标训练集对目标神经网络进行训练得到的，上述目标神经网络是根据单次目标检测模型和全局注意力机制模块构建的。

6、根据本公开的实施例，上述单次目标检测模型包括特征提取网络、特征融合网络和检测框预测模块。

7、根据本公开的实施例，上述目标火灾识别模型是通过如下方式训练得到的：

8、获取上述目标训练集，其中，上述目标训练集包括多个目标训练图像和与每个上述目标训练图像对应的目标图像标签，上述目标图像标签包括表征上述目标训练图像中是否发生火灾的真实判断信息和表征火灾位置的真实位置信息；

9、将每个上述目标训练图像输入至上述特征提取网络，输出提取特征集合，其中，上述提取特征集合包括第一提取特征、第二提取特征和第三提取特征；

10、利用上述全局注意力机制模块处理上述第三提取特征，得到目标提取特征，其中，上述目标提取特征中的全局特征信息的交互性得到增强；

11、利用上述特征融合网络处理上述目标提取特征、上述第一提取特征和上述第二提取特征，得到融合特征集合，其中，上述融合特征集合包括多个不同的目标融合特征；

12、利用上述检测框预测模块处理上述融合特征集合，得到发生火灾的预测火灾信息；

13、根据上述预测火灾信息和上述目标图像标签迭代地调整上述单次目标检测模型和上述全局注意力机制模块的网络参数，得到经训练的上述目标火灾识别模型。

14、根据本公开的实施例，上述预测火灾信息包括预测判断信息和预测位置信息。

15、根据本公开的实施例，根据上述预测位置信息和上述图像标签迭代地调整上述单次目标检测模型和上述全局注意力机制模块的网络参数，得到经训练的上述目标火灾识别模型，包括：

16、将上述预测判断信息和上述真实判断信息输入至第一目标损失函数，得到第一损失结果，其中，上述第一目标损失函数包括交叉熵损失函数；

17、将上述预测位置信息和上述真实位置信息输入至第二目标损失函数，得到第二损失结果，其中，上述第二目标损失函数包括eiou损失函数；

18、根据上述第一损失结果和上述第二损失结果，生成目标损失结果；

19、根据上述目标损失结果迭代地调整上述单次目标检测模型和上述全局注意力机制模块的网络参数，得到经训练的上述目标火灾识别模型。

20、根据本公开的实施例，获取上述目标训练集，包括：

21、获取初始训练集，其中，上述初始训练集包括多个初始训练图像和与每个上述初始训练图像对应的初始图像标签；

22、随机迭代地从多个上述初始训练图像中确定预设数量的中间训练图像；

23、基于预设图像处理方法处理预设数量的中间训练图像，得到新的初始训练图像和与上述新的初始训练图像对应的新的初始图像标签；

24、根据上述初始训练图像、上述初始图像标签、上述新的初始训练图像和上述新的初始图像标签构建上述目标训练集。

25、根据本公开的实施例，在将上述目标训练图像输入至上述特征提取网络之前，还包括：

26、对上述目标训练图像进行focus切片操作，得到多个新的目标训练图像，以将上述新的目标训练图像输入至上述特征提取网络。

27、根据本公开的实施例，将每个上述目标训练图像输入至上述特征提取网络，输出提取特征集合，包括：

28、利用第一卷积模块处理上述目标训练图像，得到第一卷积特征；

29、利用第一卷积残差模块处理上述第一卷积特征，得到第二卷积特征；

30、利用依次连接的两个第一卷积残差块处理上述第二卷积特征，得到上述第一提取特征和上述第二提取特征，其中，第一卷积残差块包括依次连接的第二卷积模块和第二卷积残差模块；

31、利用第三卷积模块处理上述第二提取特征，得到第三卷积特征；

32、利用空间金字塔池化模块处理上述第三卷积特征，得到上述第三提取特征。

33、根据本公开的实施例，利用上述全局注意力机制模块处理上述第三提取特征，得到目标提取特征，包括：

34、利用通道注意力模块基于排列方式对上述第三提取特征的特征维度进行转换，得到具有通道注意力的初始转换特征；

35、利用空间注意力模块对上述初始转换特征中的空间信息进行融合处理，得到上述目标提取特征，其中，上述目标提取特征具有空间维度和通道维度的关键信息。

36、根据本公开的实施例，利用上述特征融合网络处理上述目标提取特征、上述第一提取特征和上述第二提取特征，得到融合特征集合，包括：

37、利用第一卷积采样模块处理上述目标提取特征，得到第一采样特征，其中，上述第一卷积采样模块包括依次连接的第三卷积残差模块、标准卷积模块和上采样模块；

38、对上述第一采样特征和上述第二提取特征执行连接操作，得到第一连接特征；

39、利用第二卷积采样模块处理上述第一连接特征，得到第二采样特征和第四卷积特征；

40、对上述第二采样特征和上述第一提取特征执行连接操作，得到第二连接特征；

41、利用第二卷积残差模块处理上述第二连接特征，得到第一融合特征，其中，上述第二卷积残差模块包括依次连接的第四卷积残差模块和第一卷积层；

42、对上述第四卷积特征和第五卷积特征执行连接操作，得到第三连接特征，其中，上述第五卷积特征是利用第三卷积模块处理上述第一融合特征得到的；

43、利用第三卷积残差模块处理上述第三连接特征，得到第二融合特征，其中，上述第三卷积残差模块包括依次连接的第五卷积残差模块和第二卷积层；

44、对第六卷积特征和上述第一采样特征执行连接操作，得到第四连接特征，其中，上述第六卷积特征是利用第四卷积模块处理上述第二融合特征得到的；

45、利用第四卷积残差模块处理上述第四连接特征，得到第三融合特征，其中，上述第四卷积残差模块包括依次连接的第六卷积残差模块和第三卷积层，上述目标融合特征包括上述第一融合特征、上述第二融合特征和上述第三融合特征。

46、根据本公开的实施例，利用上述检测框预测模块处理上述融合特征集合，得到发生火灾的预测火灾信息，包括：

47、在上述单次目标检测模型为yolov5目标识别算法，分别利用上述检测框预测模块中不同的特征识别单元处理多个上述目标融合特征，得到对应于不同上述特征识别单元的火灾识别图像；

48、其中，上述火灾识别图像中标记有预测判断信息，以及在确定上述目标训练图像中存在火灾的情况下，在上述火灾识别图像中显示发生火灾的预测位置信息，上述预测位置信息包括预测框。

49、本公开实施例的另一个方面提供了一种基于航拍图像的火灾识别装置，包括：

50、图像获取模块，用于获取由可飞行平台拍摄的航拍图像；

51、火灾识别模块，用于将上述航拍图像输入至目标火灾识别模型中，输出火灾识别结果，其中，上述火灾识别结果包括表征上述航拍图像中是否存在火灾的火灾识别信息和在上述航拍图像中存在火灾的情况下与火灾发生位置对应的位置标记信息；

52、其中，上述目标火灾识别模型是利用目标训练集对目标神经网络进行训练得到的，上述目标神经网络是根据单次目标检测模型和全局注意力机制模块构建的。

53、本公开实施例的另一个方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的方法。

54、本公开实施例的另一个方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

55、本公开实施例的另一个方面提供了一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

56、根据本公开的实施例，通过将可飞行平台拍摄的航拍图像输入至训练好的目标火灾识别模型中，能够较快地得到对应的火灾识别结果。由于本公开的目标火灾识别模型中在单次目标检测模型中插入了全局注意力机制模块，由此使得能够使用较少的数据完成空间和通道间的特征交互，从而使得目标火灾识别模型在处理航拍图像的过程中，能够提高火灾的精准识别，在提高火灾识别的识别速度降低了对系统资源的占用率。