一种无人机多传感器林火识别方法、装置和系统与流程

本发明涉及火情监测领域，特别是涉及一种无人机多传感器林火识别方法、装置和系统。

背景技术：

1、森林火灾一旦发生，不仅会对森林本身和其中的动物生态系统造成破坏，还会对当地居民的生命财产安全带来威胁。识别森林火灾，可以及早采取措施，避免火势的扩大和蔓延。同时，也可以及时组织救援，保障受灾地区人民的生命安全和财产安全。

2、传统的森林火灾识别方法，是在森林中布置摄像头，工作人员通过观看摄像头拍摄的视频人工识别是否发生火灾。这种传统的森林火灾识别方法需要消耗大量人力成本，不够智能化。近年来，无人机技术发展日益成熟。现有技术中存在一种基于无人机的林火识别方法，令搭载摄像头的无人机在森林上空巡检，处理器对摄像头拍摄的图像进行识别，判断是否发生森林火灾；如果识别到发生森林火灾，即向工作人员发送火情报告。

3、现有技术的基于无人机的林火识别方法，存在以下缺陷：1、处理器只能根据摄像头拍摄的可见光图像来识别林火，数据来源单一，因此识别准确率不高，经常出现误报警的情况。2、在夜间，无人机摄像头拍摄的图像质量较差，即使使用了图像增强算法，识别林火的正确率也很低。

技术实现思路

1、基于此，本发明的目的在于，提供一种数据来源多样化、夜间识别准确率较高的无人机多传感器林火识别方法、装置和系统。

2、一种无人机多传感器林火识别方法，应用于搭载有可见光摄像头、红外传感器和烟雾传感器的无人机，包括以下步骤：

3、sm，判断所述无人机应进入的巡检模式；所述巡检模式包括黑夜模式；

4、如果所述无人机进入所述黑夜模式，则执行以下步骤：

5、sb1，调用所述红外传感器采集第一红外数据；

6、sb2，根据所述第一红外数据判断是否存在疑似热源；若判断存在疑似热源，调用所述可见光摄像头拍摄第一可见光图像；

7、sb3，通过一可见光林火识别模型，对所述第一可见光图像进行特征提取，识别所述第一可见光图像上是否存在疑似烟雾、火焰区域；

8、sb4，若识别到疑似烟雾、火焰区域，调用所述可见光摄像头、红外传感器和烟雾传感器，采集第二可见光图像、第二红外数据和烟雾浓度数据；

9、sb5，通过一综合林火识别模型，根据所述第二可见光图像、第二红外数据和烟雾浓度数据，识别所述疑似热源是否为火情区域。

10、本发明的无人机多传感器林火识别方法，根据多传感器采集的可见光、红外和烟雾数据综合判断是否发生火情，不仅取得了更高的识别准确率，而且在黑夜条件下也能取得较好的识别效果，克服了现有技术的缺陷。

11、进一步地，所述巡检模式还包括白昼模式；

12、如果所述无人机进入所述白昼模式，则执行以下步骤：

13、sw1，调用所述可见光摄像头拍摄第三可见光图像；

14、sw2，通过一可见光林火识别模型，识别所述第三可见光图像上是否存在疑似烟雾、火焰区域；若识别到疑似烟雾、火焰区域，调用所述红外传感器采集第三红外数据；

15、sw3，根据所述第三红外数据判断是否存在疑似热源；

16、sw4，若判断存在疑似热源，调用所述可见光摄像头、红外传感器和烟雾传感器，采集第四可见光图像、第四红外数据和第二烟雾浓度数据；

17、sw5，通过一综合林火识别模型，根据所述第四可见光图像、第四红外数据和第二烟雾浓度数据，识别所述疑似热源是否为火情区域。

18、进一步地，所述巡检模式还包括云雾模式；

19、如果所述无人机进入所述云雾模式，则执行以下步骤：

20、sc1，调用所述红外传感器采集第五红外数据；

21、sc2，根据所述第五红外数据判断是否存在疑似热源；若判断存在疑似热源，调用所述可见光摄像头拍摄第五可见光图像；

22、sc3，通过一可见光林火识别模型，对所述第五可见光图像进行特征提取，识别所述第五可见光图像上是否存在疑似烟雾、火焰区域；

23、sc4，若识别到疑似烟雾、火焰区域，调用所述可见光摄像头和红外传感器，采集第六可见光图像和第六红外数据；

24、sc5，通过一综合林火识别模型，根据所述第六可见光图像和第六红外数据，识别所述疑似热源是否为火情区域。

25、进一步地，所述步骤sm，具体包括：

26、sm1，令所述无人机飞行至设定高度，控制所述可见光摄像头镜头斜向下对准森林，拍摄一张可见光森林图像；

27、sm2，计算所述可见光森林图像上的所有像素点的灰度值pi与128的差值，并对所有差值求平均，得到黑暗指数d，即所述黑暗指数d的计算公式为：

28、式中pi为像素点灰度值，n为所述可见光森林图像的像素点总数；

29、sm3，如果所述黑暗指数小于0，则进入黑夜模式；如果所述黑暗指数大于或等于0，则统计所述可见光森林图像中，灰度值大于160的像素点占像素点总数的比例；如果比例小于0.4，则进入白昼模式；如果比例大于或等于0.4，则进入云雾模式。

30、进一步地，所述无人机还搭载有风力传感器；如果所述综合林火识别模型的识别结果为所述疑似热源是火情区域，则向工作人员发送报警信息，并调用所述可见光摄像头和风力传感器采集现场画面和风力数据，将现场画面和风力数据发送给工作人员。

31、进一步地，所述可见光林火识别模型，包括：静态特征提取网络、动态特征提取网络和交集提取单元；所述静态特征提取网络，用于对可见光图像进行静态特征提取，得到静态特征区域；所述动态特征提取网络，用于对多张连续的可见光图像进行动态特征提取，得到动态特征区域；所述交集提取单元，用于判断所述静态特征区域和动态特征区域是否存在交集，若所述静态特征区域和动态特征区域存在交集区域，则判断该交集区域存在疑似火焰或烟雾；其中，所述动态特征提取网络为yolo v8模型；所述动态特征提取网络为混合高斯模型。

32、进一步地，所述综合林火识别模型，包括：数据归一化层、特征提取层、特征融合层和全连接层；所述数据归一化层，用于根据红外数据生成红外温度图像，再对所述红外温度图像进行填充处理，使填充处理后的红外温度图像的分辨率与可见光图像一致；所述特征提取层，用于对所述可见光图像和填充后的红外温度图像进行卷积和池化处理，分别得到可见光特征图像和红外特征图像；所述特征融合层，用于融合所述可见光特征图像和红外特征图像，再拼接上烟雾浓度数据，得到综合特征；所述全连接层，用于对所述综合特征进行二分类处理，输出所述疑似热源是否为火情区域的识别结果。

33、进一步地，所述可见光林火识别模型，通过以下方法进行训练：

34、st1，获取可见光训练数据集；所述可见光训练数据集包括若干张可见光林火图像和若干张可见光非林火图像；其中，所述可见光林火图像中的烟雾和火焰区域被矩形框框选，框选烟雾区域的矩形框标记为smoke，框选火焰区域的矩形框标记为fire；

35、st2，将所述可见光训练数据集按照预设比例随机划分为训练集、验证集和测试集，输入至所述可见光林火识别模型；

36、st3，所述可见光林火识别模型对所述增强的可见光训练数据集中的每一张图像进行特征提取和识别，判断该图像是否为林火图像；当判断该图像为林火图像时，所述可见光林火识别模型还标记出所述林火图像上存在的疑似烟雾、火焰区域；

37、st4，所述可见光林火识别模型每输出一次识别结果，都比较所述可见光林火识别模型的识别结果与标注的真实情况的差异，计算损失函数；将所述损失函数回传，优化所述可见光林火识别模型的网络参数；

38、st5，重复执行步骤st3-st4，直到所述可见光林火识别模型的网络参数收敛，得到训练好的可见光林火识别模型。

39、基于同一发明构思，本发明还提供一种无人机多传感器林火识别装置，应用于搭载有可见光摄像头、红外传感器和烟雾传感器的无人机，包括巡检模式判断模块和黑夜模块；

40、所述巡检模式判断模块，用于判断所述无人机应进入的巡检模式；所述巡检模式包括黑夜模式；如果所述无人机进入所述黑夜模式，则调用所述黑夜模块；所述黑夜模块，包括：

41、第一红外数据获取单元，用于调用所述红外传感器采集第一红外数据；

42、第一可见光图像获取单元，用于根据所述第一红外数据判断是否存在疑似热源；若判断存在疑似热源，调用所述可见光摄像头拍摄第一可见光图像；

43、第一初步识别单元，用于通过一可见光林火识别模型，对所述第一可见光图像进行特征提取，识别所述第一可见光图像上是否存在疑似烟雾、火焰区域；

44、第一综合数据获取单元，用于在识别到疑似烟雾、火焰区域时，调用所述可见光摄像头、红外传感器和烟雾传感器，采集第二可见光图像、第二红外数据和第一烟雾浓度数据；

45、第一综合识别单元，用于通过一综合林火识别模型，根据所述第二可见光图像、第二红外数据和第一烟雾浓度数据，识别所述疑似热源是否为火情区域。

46、基于同一发明构思，本发明还提供一种无人机多传感器林火识别系统，包括无人机和算法服务器；所述无人机搭载有包括可见光摄像头、红外传感器和烟雾传感器的多种传感器，并将多种传感器采集的数据传输给所述算法服务器；所述算法服务器根据多种传感器采集的数据识别是否发生森林火灾；

47、所述无人机和算法服务器执行以下步骤：

48、sm，所述算法服务器判断所述无人机应进入的巡检模式；所述巡检模式包括黑夜模式、白昼模式和云雾模式；

49、如果所述无人机进入所述黑夜模式，则执行以下步骤：

50、sb1，所述无人机调用所述红外传感器采集红外数据；

51、sb2，所述算法服务器根据所述红外数据判断是否存在疑似热源；若判断存在疑似热源，所述无人机更改航线，向疑似热源处航行，同时调用所述可见光摄像头拍摄可见光图像；

52、sb3，所述算法服务器通过一可见光林火识别模型，对所述可见光图像进行特征提取，识别所述可见光图像上是否存在疑似烟雾、火焰区域；若识别到疑似烟雾、火焰区域，所述无人机继续向所述疑似热源处航行；

53、sb4，所述无人机在航行至所述疑似热源处的上方时，调用所述可见光摄像头、红外传感器和烟雾传感器，采集可见光图像、红外数据和烟雾浓度数据；

54、sb5，所述算法服务器通过一综合林火识别模型，根据所述可见光图像、红外数据和烟雾浓度数据，识别所述疑似热源是否为火情区域。

55、为了更好地理解和实施，下面结合附图详细说明本发明。