一种光学与红外无人机数据的白蚁指示物识别方法及系统与流程

本发明涉及水利工程智慧管理，具体涉及一种光学与红外无人机数据的白蚁指示物识别方法及系统。

背景技术：

1、随着近些年气候的变化，以土石为主要筑坝材料的水库与堤防的白蚁危害越来越严重，由于白蚁的活动通常较为隐蔽，由泥被、杂草等掩盖，而白蚁活动时间跨度长，甚至可以持续十年之久，形成了多达2米直径的蚁穴，甚至可导致堤坝被贯穿，从而对水利工程形成巨大的安全威胁。

2、目前针对白蚁危害的检查方法通常为寻找泥被、泥线、鸡枞菌等地表指示物。其中，人工巡查是主要手段，有一部分方法为结合白蚁自动化监测仪器完成。但是由于堤坝数量巨大，全面覆盖部署成本昂贵，缺乏科学性，从而导致对白蚁指示物识别的效率低下。直接应用在堤坝的白蚁危害上还存在一些问题。因而迫切需要一种信息化手段进行大范围高效率的白蚁指示物识别方法。目前深度学习、强化学习、迁移学习、增强学习等人工智能方法为代表的视觉分割识别技术取得了较大的发展，能够应用于对人物、动物的识别，效果良好，但是直接应用在堤坝的白蚁危害上存在提取堤防照片困难、对白蚁指示物识别精度低，识别较慢等问题。

技术实现思路

1、针对现有技术中的上述不足，本发明提供了一种光学与红外无人机数据的白蚁指示物识别方法及系统，通过光学镜头和红外镜头获取研究区域的光学图像和红外图像，利用基于深度学习技术的分割识别模型对其识别，实现对白蚁指示物的快速与高精度识别，以便快速普查确定白蚁危害的位置和严重程度，确保研究区域堤坝水利工程的安全。

2、为了达到上述发明目的，本发明采用的技术方案为：

3、一种光学与红外无人机数据的白蚁指示物识别方法，包括以下步骤：

4、s1、规划无人机飞行路径和设定无人机拍照的拍摄参数，并进行照片拍摄，得到红外图像和光学图像；

5、s2、获取实际所在区域的白蚁指示物图像，进行图像增强处理，并对增强处理的白蚁指示物图像进行矢量标定，得到分类标定的白蚁指示物图像；

6、s3、将步骤s1中得到的红外图像和光学图像与步骤s2中得到的分类标定的白蚁指示物图像输入maskrcnn图像分割与识别模型进行训练，得到训练好的maskrcnn图像分割与识别模型；

7、s4、获取研究区域新拍摄的图像并输入步骤s3中训练好的maskrcnn图像分割与识别模型进行白蚁指示物识别，得到标记白蚁指示物轮廓和类别的红外图像和光学图像，根据白蚁指示物轮廓的面积计算研究区域白蚁的危害情况。

8、进一步地，步骤s1具体包括：

9、s11、设定无人机飞行的高度与速度，并分别设定红外镜头与光学镜头的焦距，计算红外镜头与光学镜头的最低分辨率、最高分辨率，即：

10、

11、其中，a表示像元尺寸，gsd表示镜头的分辨率，h表示无人机飞行的相对高度，f表示镜头的焦距；

12、s12、根据步骤s11中红外镜头的最低分辨率与最高分辨率，得到红外镜头的平均分辨率；

13、s13、根据步骤s11中光学镜头的最低分辨率与最高分辨率，得到光学镜头的平均分辨率；

14、s14、根据步骤s11中计算的红外镜头与光学镜头的最低分辨率、最高分辨率以及设定的红外镜头与光学镜头的焦距，计算无人机飞行的航线高度，并使其满足下述公式对应的关系，即：

15、l≥gsdavg

16、其中，l表示无人机飞行的航线高度，gsdavg表示镜头的平均分辨率；

17、s15、规划无人机飞行路径，并根据步骤s14中计算的无人机飞行的航线高度，以及步骤s11中分别设定的红外镜头与光学镜头的焦距，利用无人机对研究区域堤坝进行飞行巡检，同步进行照片拍摄，得到红外图像和光学图像。

18、进一步地，步骤s2具体包括：

19、s21、获取实际所在区域白蚁的危害情况以及白蚁指示物的最大面积、最小面积与平均面积，设定白蚁指示物面积在图像中识别的最小尺度、面积比例、像素分辨率，得到白蚁指示物图像；

20、s22、对步骤s21中得到的白蚁指示物图像进行图像增强处理，得到增强处理的白蚁指示物图像；

21、s23、利用矢量标定软件标记步骤s22中得到的增强处理的白蚁指示物图像中的白蚁指示物范围和类型，得到分类标定的白蚁指示物图像。

22、进一步地，步骤s3具体包括：

23、s31、将步骤s1中得到的红外图像和光学图像作为原始数据，将步骤s2中得到的分类标定的白蚁指示物图像作为原始数据的标签，并将赋予标签的原始数据作为图像数据集输入到maskrcnn图像分割与识别模型中进行训练；

24、s32、通过改进maskrcnn图像分割与识别模型的总损失函数对模型的参数进行调整，得到合适的训练参数和训练好的maskrcnn图像分割与识别模型。

25、进一步地，步骤s31中maskrcnn图像分割与识别模型的训练过程为：

26、首先，将图像数据集输入卷积骨干结构对其进行特征提取，并输出特征图，同时在卷积骨干结构后引入区域建议网络选取特征图中属于图像数据集中的一类候选区域，其中，候选区域的候选窗口根据白蚁指示物的类型调整纵横比，并将特征图与一类候选区域输入感兴趣的区域进行对齐，得到全局特征图；

27、其次，在感兴趣的区域后引入一个由三层卷积神经网络和一层全连接层组成的二分类网络，并将得到的全局特征图输入二分类网络中进行白蚁指示物特征识别，若输入全局特征图中包含白蚁指示物，则分支网络输出为真，并将其输入包含两个全连接层以及两个卷积层的分支网络进行分类、边界框回归以及掩码生成，并利用损失函数分别对全连接层以及卷积层的权值进行调节，得到合适的训练参数和训练好的maskrcnn图像分割与识别模型；若输入全局特征图中不包含白蚁指示物，则返回到maskrcnn图像分割与识别模型的输入端。

28、进一步地，步骤s32中maskrcnn图像分割与识别模型的总损失函数为：

29、

30、其中，l表示maskrcnn图像分割与识别模型的总损失函数，其中，w1、w2、w3、w4、w5分别表示权重，lclass表示光学图像分类的损失，lbox表示建议范围框的损失，lmask表示分割的损失，lclass1表示红外图像分类的损失且与光学图像分类的损失计算方法相同，lkps表示关键位置的损失，ncls表示锚框个数，lcls(·)表示中间参数无实际意义，nbox表示检测框个数，pi表示目标预测的准确率，表示识别结果且0和1都表示正确结果，表示真实值与预测值的平均绝对误差，ti表示向量锚框，表示与ti维度相同的向量锚框，log(·)表示对数函数，m表示图像维度，yij表示图像像素为第i行和j列的掩膜标签值，表示第k通道图像像素为第i行和j列的掩膜标签值，k表示通道，i、j分别表示像素的行与列。

31、进一步地，步骤s4具体包括：

32、s41、获取研究区域新拍摄的图像，并将其输入训练好的maskrcnn图像分割与识别模型进行白蚁指示物的识别，得到标记白蚁指示物轮廓和类别的红外图像和光学图像；

33、s42、根据步骤s41中得到的标记白蚁指示物轮廓和类别的红外图像和光学图像，计算红外图像和光学图像中白蚁指示物轮廓的面积；

34、s43、根据步骤s42中计算的红外图像和光学图像中白蚁指示物轮廓的面积，统计研究区域白蚁的危害情况。

35、进一步地，步骤s42中红外图像和光学图像中白蚁指示物轮廓的面积的计算公式为：

36、

37、其中，s表示白蚁指示物轮廓的面积，w表示图像分辨率，n表示白蚁指示物轮廓中的边界点数，xi、yi分别表示白蚁指示物轮廓中第i个边界点的像素坐标在x和y轴上的位置。

38、进一步地，步骤s43中研究区域白蚁的危害情况的计算公式为：

39、s′＝w1sl+w2sh

40、其中，s′表示研究区域白蚁的危害情况，w1、w2分别表示光学识别结果和红外识别结果在整体评价中的权重，sl表示光学图像中白蚁指示物轮廓的面积，sh表示红外图像中白蚁指示物轮廓的面积。

41、一种光学与红外无人机数据的白蚁指示物识别系统，包括：

42、无人机图像数据获取模块，用于规划无人机飞行路径和设定无人机拍照的拍摄参数，得到红外图像和光学图像；

43、图像数据预处理和样本标定模块，用于对获取的实际所在区域的白蚁指示物图像进行图像增强处理，并对增强处理的白蚁指示物图像进行矢量标定，得到分类标定的白蚁指示物图像；

44、指示物图像分割与识别模块，用于将无人机图像数据获取模块得到的红外图像和光学图像以及图像数据预处理和样本标定模块得到的分类标定的白蚁指示物图像，输入maskrcnn图像分割与识别模型进行训练，得到训练好的maskrcnn图像分割与识别模型；

45、白蚁指示物快速识别与计算模块，用于获取研究区域新拍摄的图像，并输入训练好的maskrcnn图像分割与识别模型进行白蚁指示物识别，得到标记白蚁指示物轮廓和类别的红外图像和光学图像，并根据白蚁指示物轮廓的面积计算得到研究区域白蚁的危害情况。

46、本发明具有以下有益效果：

47、本发明所提出的一种光学与红外无人机数据的白蚁指示物识别方法及系统，利用maskrcnn图像分割与识别模型对采集的红外图像和光学图像进行白蚁指示物的识别，提高了白蚁指示物识别精度和速度。