一种无人机自动巡护监测方法及其系统与流程

本技术涉及数据监测，具体涉及一种无人机自动巡护监测方法及其系统。

背景技术：

1、随着无人机技术的不断发展，无人机在各个领域的应用越来越广泛。尤其是在河湖巡护和监测领域，无人机能够替代人力进行高效、实时的作业，以实时监测河湖水质灾害情况。

2、河湖水质灾害情况的预测常常被看成是时间序列预测问题，之前的注意力机制主要关注不同时刻的时间序列对预测的影响，然而受多种内在和外在因素的影响，水质灾害时间序列的时间动态通常是复杂多变的，这使得水质灾害预测结果的准确性和可靠性较差，而且预测的时候较少考虑外部因素的影响。

3、因此，本发明的目的在于提供一种无人机自动巡护监测方法及其系统，以解决现有技术存在的问题。

技术实现思路

1、本技术的目的是提供一种无人机自动巡护监测方法及其系统，以加强水质灾害预测结果的准确性和可靠性，充分考虑预测的时候外部因素的影响，提升河湖水质灾害的预测能力。

2、第一方面，本技术实施例提供了一种无人机自动巡护监测方法，包括以下步骤：

3、构建水质预测的知识图谱；

4、采集河段巡护区域的历史水质特征数据和历史河段图像数据，明确河段拥有的兴趣点，确定实体和关系；

5、将实体和关系进行编码，同时进行知识表示；

6、将上述步骤得到的知识与历史水质特征数据进行融合，得到融合知识的历史水质特征值；

7、分别将历史水质特征值和历史河段图像数据，输入预先训练的第一预测模型和第二预测模型中，得到在未来设定时间段内的预测水质特征值和预测河段图像数据；

8、第一预测模型是通过历史水质特征值样本对第一基于多向注意力机制的神经网络进行训练得到的；

9、第二预测模型是通过历史河段图像数据样本对第二基于多向注意力机制的神经网络进行训练得到的；

10、提取预测河段图像中的特征，并将其与预测水质特征值进行融合，得到综合预测数据特征向量，具体的融合表达式为：

11、y=concat(g1*s,g2*t)；

12、式中g1用于控制预测水质特征权重，g2用于控制预测河段图像特征权重，预测水质特征权重与预测河段图像特征权重之和为1，y为综合预测数据特征向量，s为预测水质特征，t为预测河段图像特征；

13、通过对融合后的数据进行处理和分析，以实现河段水质的评估。

14、所述采集河段巡护区域的历史水质特征数据和历史河段图像数据，明确河段拥有的兴趣点，确定实体和关系，包括以下步骤：

15、获取河段巡护区域的历史水质特征数据；

16、获取河段拥有的兴趣点及其数量，并将每个兴趣点的数量按照河段拥有该兴趣点数量的33%分位和66%分位分成少、中、多三类；

17、根据已有数据确定实体，包括河段、兴趣点的数量；

18、根据已有数据确定关系，包括河段邻接关系和河段的兴趣点。

19、所述将实体和关系进行编码，同时进行知识表示，包括以下步骤：

20、根据确定的实体，为每个河段和每个兴趣点数量多少进行编码；

21、根据确定的关系，为河段邻接关系和河段的兴趣点进行编码；

22、根据编码好的实体和关系，构建知识图谱三元组；

23、利用transe方法进行知识表示，得到各个河段含有兴趣点特征的向量表示xe。

24、所述将上述步骤得到的知识与历史水质特征数据进行融合，得到融合知识的历史水质特征值，包括以下步骤：

25、将t时刻观测到的各个河段含有兴趣点特征的向量表示xe和历史水质特征特征xt，输入主干时空图卷积网络中，输出t时刻与外部知识融合后的历史水质特征值xr，表达式为：

26、xr=relu(xextwr+br)；

27、其中，relu为深度学习的激活函数，wr为线性变换系数，br为偏置量。

28、所述的方法，按照以下方式预先训练所述第一预测模型：

29、获取历史水质特征值；

30、对历史水质特征值样本进行预处理后，将历史水质特征数据样本转化为水质特征值有监督数据；

31、将水质特征值有监督数据输入所述基于第一多向注意力机制的神经网络进行训练，在达到预设训练截止条件后得到所述第一预测模型。

32、所述第一基于多向注意力机制的神经网络包括顺序连接的第一线性层、第一归一化层、第一时间表征融合层以及第一输出层；

33、第一线性层，用于将水质特征值有监督数据映射到多向注意力的重要程度得分表示；

34、第一归一化层，用于对多向注意力的重要程度得分表示进行归一化处理，生成多向注意力表示；

35、第一时间表征融合层，用于对水质特征值有监督数据和多向注意力表示进行聚合，得到融合多向注意力表征的级联表示；

36、第一输出层，用于将融合多向注意力表征的级联表示映射到预测值。

37、所述的方法，按照以下方式预先训练所述第二预测模型：

38、获取历史河段图像数据；

39、对历史河段图像数据样本进行预处理后，将历史河段图像数据样本转化为河段图像数据有监督数据；

40、将河段图像数据有监督数据输入所述基于第二多向注意力机制的神经网络进行训练，在达到预设训练截止条件后得到所述第二预测模型。

41、所述第二基于多向注意力机制的神经网络包括顺序连接的第二线性层、第二归一化层、第二时间表征融合层以及第二输出层；

42、第二线性层，用于将河段图像数据有监督数据映射到多向注意力的重要程度得分表示；

43、第二归一化层，用于对多向注意力的重要程度得分表示进行归一化处理，生成多向注意力表示；

44、第二时间表征融合层，用于对河段图像数据有监督数据和多向注意力表示进行聚合，得到融合多向注意力表征的级联表示；

45、第二输出层，用于将融合多向注意力表征的级联表示映射到预测值。

46、所述提取预测河段图像中的特征，包括可以使用多光谱图像或高光谱图像，根据不同水质类型的反射光谱特征，识别水质类型。

47、所述的方法，通过对融合后的数据进行处理和分析，以实现河段水质的评估，包括：

48、通过一个线性层和softmax层对综合预测数据特征向量y进行处理，得到每个综合预测数据在每种参数类别上的概率权重；

49、通过输出每个综合预测数据的参数类别概率最大值；

50、根据参数类别概率最大值对巡检区域的地图进行划分，得到重点巡检区和非重点巡检区；

51、无人机根据重点巡检区和非重点巡检区选择巡检的方式和频率。

52、第二方面，本技术实施例提供了一种无人机自动巡护监测系统，包括：

53、构建模块，用于构建水质预测的知识图谱；

54、采集模块，用于采集河段巡护区域的历史水质特征数据和历史河段图像数据，明确河段拥有的兴趣点，确定实体和关系；

55、编码模块，用于将实体和关系进行编码，同时进行知识表示；

56、第一融合模块，将得到的知识与历史水质特征数据进行融合，得到融合知识的历史水质特征值；

57、处理模块，分别将历史水质特征值和历史河段图像数据，输入预先训练的第一预测模型和第二预测模型中，得到在未来设定时间段内的预测水质特征值和预测河段图像数据；

58、第一预测模型是通过历史水质特征值样本对第一基于多向注意力机制的神经网络进行训练得到的；

59、第二预测模型是通过历史河段图像数据样本对第二基于多向注意力机制的神经网络进行训练得到的；

60、第二融合模块，用于提取预测河段图像中的特征，并将其与预测水质特征值进行融合，得到综合预测数据特征向量，具体的融合表达式为：

61、y=concat(g1*s,g2*t)；

62、式中g1用于控制预测水质特征权重，g2用于控制预测河段图像特征权重，预测水质特征权重与预测河段图像特征权重之和为1，y为综合预测数据特征向量，s为预测水质特征，t为预测河段图像特征；

63、评估模块，用于通过对融合后的数据进行处理和分析，以实现河段水质的评估。

64、相较于现有技术，本技术提供的基一种无人机自动巡护监测方法，构建水质预测的知识图谱；采集河段巡护区域的历史水质特征数据和历史河段图像数据，明确河段拥有的兴趣点，确定实体和关系；将实体和关系进行编码，同时进行知识表示； 将上述步骤得到的知识与历史水质特征数据进行融合，得到融合知识的历史水质特征值； 分别将历史水质特征值和历史河段图像数据，输入预先训练的第一预测模型和第二预测模型中，得到在未来设定时间段内的预测水质特征值和预测河段图像数据；第一预测模型是通过历史水质特征值样本对第一基于多向注意力机制的神经网络进行训练得到的；第二预测模型是通过历史河段图像数据样本对第二基于多向注意力机制的神经网络进行训练得到的；提取预测河段图像中的特征，并将其与预测水质特征值进行融合，得到综合预测数据特征向量；通过对融合后的数据进行处理和分析，以实现河段水质的评估。可见，本技术与传统预测方法相比，本技术提出的方法融合了更深层次的时间维度特征以及图像数据特征，预测结果的准确性和可靠性更高，同时还能够捕捉外部因素对水质的影响，提升了河湖水质灾害的预测能力，有助于提高巡检效率和监测效果。