一种基于无人机的河湖监管方法及系统与流程

1.本发明涉及河湖监管技术领域，特别是涉及一种基于无人机的河湖智能监管方法及系统。


背景技术：

2.河湖监管的一大痛点问题是河湖问题的快速发现，现有的方式大多依赖于人工巡检，人工巡检成本高、时效性和覆盖面差，一些严峻隐蔽的区域人员难以抵达，还会危及巡检人员安全。现有方法中采用固定摄像头视频监管，只能针对少量的、固定的重点区域，不能很好满足对河湖问题全局精确管理。无人机的实时性好、灵活机动、高分辨率、高性价比等优点是实现高效巡查管护的有力手段，能够为库区监管提供有力支撑。但当前无人机在河湖监管中库区管理中的应用深度和智能化不足，仅作为一种信息获取手段而存在，具有局限性。


技术实现要素：

3.本发明的目的是提供一种基于无人机的河湖监管方法及系统，降低了无人机在河湖监管上的局限性。
4.为实现上述目的，本发明提供了如下方案：
5.一种基于无人机的河湖监管方法，包括：
6.获取目标监管区域的多帧目标图像；所述目标图像由无人机上的相机拍摄得到；
7.将多帧所述目标图像分别输入至训练好的水利目标识别模型中，采用检测框对所述目标图像中的水利目标进行标记，并确定所述水利目标在所述目标图像中的位置信息；所述训练好的水利目标识别模型为以样本图像为输入，以采用样本检测框标记的样本水利目标以及所述样本水利目标在所述样本图像中的位置信息为输出，训练得到的模型；
8.对每一所述检测框内的图像进行截取，得到多张检测框图像；
9.将所述检测框图像输入至训练好的水利目标追踪网络模型中，得到所述检测框图像中的所述水利目标的状态；所述状态包括静止、追踪中和停止追踪；所述训练好的水利目标追踪网络模型为以样本检测框图像为输入，以所述样本检测框图像中样本水利目标的状态为输出，训练得到的模型；
10.根据所有所述检测框图像中的所述水利目标的状态，采用撞线计数法计算参考水利目标的数量，并获取计数时所述参考水利目标在参考图像中的位置信息；所述参考水利目标即状态为追踪中的水利目标；所述参考图像即所述参考水利目标经过预设计数线时的目标图像；
11.将所述参考水利目标在参考图像中的位置信息以及所述参考图像对应的pos数据输入至空间定位模型中，得到所述参考水利目标的真实地理位置；所述pos数据包括当前时刻、无人机空间位置信息、无人机姿态信息、相机姿态信息；所述空间定位模型为以样本参考水利目标在样本参考图像中的位置信息以及所述样本参考图像对应的样本pos数据为输
入，以所述样本参考水利目标的真实地理位置为输出，训练得到的模型；
12.根据所述参考水利目标的真实地理位置和预设河道管理范围线判断所述参考水利目标是否在所述预设河道管理范围线内，若是，则将所述参考水利目标判定为违法行为；若否，则将所述参考水利目标判定为不违法行为。
13.可选的，还包括：
14.将判定为违法行为的所述参考水利目标的真实地理位置进行显示。
15.可选的，在所述将多帧所述目标图像分别输入至训练好的水利目标识别模型中之前，还包括：对水利目标识别模型进行训练，训练过程如下：
16.获取数据集；所述数据集包括多帧包含样本水利目标的样本图像以及所述样本图像对应的标签；所述标签为采用样本检测框标记的样本水利目标以及所述样本水利目标在所述样本图像中的位置信息；
17.采用所述数据集对水利目标识别模型进行训练，得到所述训练好的水利目标识别模型。
18.可选的，所述将所述检测框图像输入至训练好的水利目标追踪网络模型中，得到所述检测框图像中的所述水利目标的状态，具体包括：
19.将所述检测框图像输入至训练好的水利目标追踪网络模型中，得到所述检测框图像中水利目标的预测位置信息；
20.根据所述预测位置信息与所述水利目标在下一帧目标图像中的真实位置信息计算交互比；
21.根据所述交互比与预设交互比确定所述检测框图像中的所述水利目标的状态。
22.可选的，所述根据所述交互比与预设交互比确定所述检测框图像中的所述水利目标的状态，具体包括：
23.若所述交互比大于所述预设交互比，则所述水利目标的状态为追踪中，否则，则所述水利目标的状态为停止追踪。
24.可选的，在所述将所述参考水利目标在参考图像中的位置信息以及所述参考图像对应的pos数据输入至空间定位模型中之前，还包括：
25.采用插值算法对pos数据插值，得到每一所述参考图像对应的pos数据。
26.可选的，所述根据所述参考水利目标的真实地理位置和预设河道管理范围线判断所述参考水利目标是否在所述预设河道管理范围线内，具体包括：
27.采用射线法，根据所述参考水利目标的真实地理位置和预设河道管理范围线判断所述参考水利目标是否在所述预设河道管理范围线内。
28.可选的，所述训练好的水利目标追踪网络模型为deepsort模型。
29.本发明还提供了一种基于无人机的河湖监管系统，包括：
30.目标图像获取模块，用于获取目标监管区域的多帧目标图像；所述目标图像由无人机上的相机拍摄得到；
31.水利目标识别模块，用于将多帧所述目标图像分别输入至训练好的水利目标识别模型中，采用检测框对所述目标图像中的水利目标进行标记，并确定所述水利目标在所述目标图像中的位置信息；所述训练好的水利目标识别模型为以样本图像为输入，以采用样本检测框标记的样本水利目标以及所述样本水利目标在所述样本图像中的位置信息为输
出，训练得到的模型；
32.检测框图像获取模块，用于对每一所述检测框内的图像进行截取，得到多张检测框图像；
33.水利目标追踪模块，用于将所述检测框图像输入至训练好的水利目标追踪网络模型中，得到所述检测框图像中的所述水利目标的状态；所述状态包括静止、追踪中和停止追踪；所述训练好的水利目标追踪网络模型为以样本检测框图像为输入，以所述样本检测框图像中样本水利目标的状态为输出，训练得到的模型；
34.计数模块，用于根据所有所述检测框图像中的所述水利目标的状态，采用撞线计数法计算参考水利目标的数量，并获取计数时所述参考水利目标在参考图像中的位置信息；所述参考水利目标即状态为追踪中的水利目标；所述参考图像即所述参考水利目标经过预设计数线时的目标图像；
35.真实地理位置获取模块，用于将所述参考水利目标在参考图像中的位置信息以及所述参考图像对应的pos数据输入至空间定位模型中，得到所述参考水利目标的真实地理位置；所述pos数据包括当前时刻、无人机空间位置信息、无人机姿态信息、相机姿态信息；所述空间定位模型为以样本参考水利目标在样本参考图像中的位置信息以及所述样本参考图像对应的样本pos数据为输入，以所述样本参考水利目标的真实地理位置为输出，训练得到的模型；
36.判定模块，用于根据所述参考水利目标的真实地理位置和预设河道管理范围线判断所述参考水利目标是否在所述预设河道管理范围线内，若是，则将所述参考水利目标判定为违法行为；若否，则将所述参考水利目标判定为不违法行为。
37.可选的，还包括显示模块；
38.所述显示模块，用于将判定为违法行为的所述参考水利目标的真实地理位置进行显示。
39.根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的一种基于无人机的河湖监管方法及系统，包括：获取目标监管区域的多帧目标图像；目标图像由无人机上的相机拍摄得到；将多帧目标图像分别输入至训练好的水利目标识别模型中，采用检测框对目标图像中的水利目标进行标记，并确定水利目标在目标图像中的位置信息；对每一检测框内的图像进行截取，得到多张检测框图像；将检测框图像输入至训练好的水利目标追踪网络模型中，得到检测框图像中的水利目标的状态；状态包括静止、追踪中和停止追踪；根据所有检测框图像中的水利目标的状态，采用撞线计数法计算参考水利目标的数量，并获取计数时参考水利目标在参考图像中的位置信息；将参考水利目标在参考图像中的位置信息以及参考图像对应的pos数据输入至空间定位模型中，得到参考水利目标的真实地理位置；pos数据包括当前时刻、无人机空间位置信息、无人机姿态信息、相机姿态信息；根据参考水利目标的真实地理位置是否在预设河道管理范围线内的参考水利目标判定是否为违法行为。本发明能在水利目标识别模型识别到水利目标后，采用水利目标追踪网络模型进行追踪计数，且可以通过空间定位模型计算出水利目标的真实地理坐标信息，降低了无人机在河湖监管上的局限性。
附图说明
40.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1为本发明实施例1提供的基于无人机的河湖监管方法流程图；
42.图2为本发明实施例1提供的基于无人机的河湖监管方法具体实施流程图；
43.图3为本发明实施例1提供的水利目标识别模型的结构图；
44.图4为本发明实施例1提供的水利目标识别模型识别出的库区养殖简易房示意图；
45.图5为本发明实施例1提供的deepsort算法流程图；
46.图6为本发明实施例1提供的无人机目标追踪计数示意图；
47.图7为本发明实施例1提供的射线法原理图；
48.图8为本发明实施例1提供的射线法相交示意图；
49.图9为本发明实施例1提供的射线法排除的几种情况示意图；
50.图10为本发明实施例1提供的智能巡检系统结构图；
51.图11为本发明实施例1提供的智能巡检系统大屏界面。
具体实施方式
52.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.本发明的目的是提供一种基于无人机的河湖监管方法及系统，降低了无人机在河湖监管上的局限性。
54.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
55.实施例1
56.本实施例提供了一种基于无人机的河湖监管方法，参见图1和图2，所述方法包括：
57.s1：获取目标监管区域的多帧目标图像；所述目标图像由无人机上的相机拍摄得到。在本实施例中，首先获取无人机上的相机拍摄的目标监管区域的视频，然后将视频切分成一帧一帧的图像，将切分后的一帧一帧的图像作为目标图像。
58.s2：将多帧所述目标图像分别输入至训练好的水利目标识别模型中，采用检测框对所述目标图像中的水利目标进行标记，并确定所述水利目标在所述目标图像中的位置信息；所述训练好的水利目标识别模型为以样本图像为输入，以采用样本检测框标记的样本水利目标以及所述样本水利目标在所述样本图像中的位置信息为输出，训练得到的模型。
59.s3：对每一所述检测框内的图像进行截取，得到多张检测框图像。
60.s4：将所述检测框图像输入至训练好的水利目标追踪网络模型中，得到所述检测框图像中的所述水利目标的状态；所述状态包括静止、追踪中和停止追踪；所述训练好的水利目标追踪网络模型为以样本检测框图像为输入，以所述样本检测框图像中样本水利目标
的状态为输出，训练得到的模型。
61.s5：根据所有所述检测框图像中的所述水利目标的状态，采用撞线计数法计算参考水利目标的数量，并获取计数时所述参考水利目标在参考图像中的位置信息；所述参考水利目标即状态为追踪中的水利目标；所述参考图像即所述参考水利目标经过预设计数线时的目标图像。
62.s6：将所述参考水利目标在参考图像中的位置信息以及所述参考图像对应的pos数据输入至空间定位模型中，得到所述参考水利目标的真实地理位置；所述pos数据包括当前时刻、无人机空间位置信息、无人机姿态信息、相机姿态信息；所述空间定位模型为以样本参考水利目标在样本参考图像中的位置信息以及所述样本参考图像对应的样本pos数据为输入，以所述样本参考水利目标的真实地理位置为输出，训练得到的模型。
63.s7：根据所述参考水利目标的真实地理位置和预设河道管理范围线判断所述参考水利目标是否在所述预设河道管理范围线内，若是，则将所述参考水利目标判定为违法行为；若否，则将所述参考水利目标判定为不违法行为。
64.在本实施例中，还包括水利目标识别模型的构建过程：
65.yolo系列算法基于pytorch框架，便于扩展到移动设备，属于较轻量级网络。yolov5包括yolov5s，yolov5m，yolov5l和yolov5x四种网络结构，其网络宽度和深度不同，参数量依次增大。yolov5s是轻量级网络的首选，便于部署到嵌入式设备，其他3种模型是在此基础上不同程度地增加模型宽度与深度，综合检测精度与检测速率选择yolov5s模型。本实施例采用yolov5模型作为水利目标识别模型，其网络结构如图3所示，模型识别的类别与精度均与样本直接相关，前期需要人工收集整理数据形成训练数据集，并调试好参数进行多轮迭代得到相应的权重参数文件，将权重文件和待检测目标同时输入到网络模型中，输出就是预测水利目标识别结果。
66.在构建水利目标识别模型之后，还需要对水利目标识别模型进行训练，训练过程具体包括：
67.获取数据集；所述数据集包括多帧包含样本水利目标的样本图像以及所述样本图像对应的标签；所述标签为采用样本检测框标记的样本水利目标以及所述样本水利目标在所述样本图像中的位置信息；
68.采用所述数据集对水利目标识别模型进行训练，得到所述训练好的水利目标识别模型。具体地：
69.将样本数据集随机分成两份，即训练集、测试集，训练集和测试集的比例为9:1。训练时对主要模型参数进行设置：
70.学习次数(epochs)：模型收敛所需要调整优化的次数，默认设置200。
71.学习率(learning_rate)：学习率对于深度学习是一个重要的超参数，它控制着基于损失梯度调整神经网络权值的速度，大多数优化算法(sgd、rmsprop、adam)对其都有所涉及。学习率越小，损失梯度下降的速度越慢，收敛的时间更长，系统默认学习率为0.001。
72.子训练集大小(batch_size)：即一次训练所需要数据样本数量，该参数越大模型会得到一个较好的全局最优解，但是与之对应的显存消耗也增大，设置过大时会出现显存不足，导致系统直接关闭停止运行，6g显存可默认设置3-4；12g显存可默认8-10。
73.精度评判标准：本实施例选用了类别平均像素准确率(meanpixelaccuracy，mpa)
和平均交并比(mean intersection overunion，miou)作为精度评价指标。类别平均像素准确率表示的意义是分别计算每个类被正确分类像素数的比例，然后累加求平均。平均交并比简称miou，即预测区域和实际区域交集除以预测区域和实际区域的并集，这样计算得到的是单个类别下的iou，然后重复此算法计算其它类别的iou，再计算它们的平均数即可。它表示的含义是模型对每一类预测的结果和真实值的交集与并集的比值，之后求和再计算平均。
74.模型会根据mpa以及iou自动保存所有迭代次数中最优的训练模型，并实时打印输出每次迭代过程中的训练损失、训练精度、测试损失及测试精度等，可供用户观看模型的运行结果及精度。
75.目标地物：在本实施例中，需要提取的水利目标地物(水利目标)，包括“乱占、乱采、乱堆、乱建”等，其中，各水利目标分类标准如下：
76.乱占：未经批准围垦河道，非法侵占水域、滩地，种植阻碍行洪的林木及高杆作物等。
77.乱采：河湖非法采砂、取土等。
78.乱堆：乱扔乱堆垃圾，倾倒、填埋、贮存、堆放固体废物，弃置、堆放阻碍行洪的物体等。
79.乱建：河湖水域岸线长期占而不用、多占少用、滥占滥用，违法违规建设涉河项目，河道管理范围内修建阻碍行洪的建筑物、构筑物等。
80.在本实施例中，将无人机拍摄的目标图像输入水利目标识别模型中，经过目标识别模型判定后输出目标图像，若该帧目标图像包含识别水利目标则使用矩形框(检测框)将其包围标记，并得到矩形框的宽和高，用矩形框的中心点的像素坐标表示水利目标在目标图像中的位置信息。简易房是常见的违章建筑，本实施例以简易房为水利目标进行水利目标识别模型的训练，例如，图4为水利目标识别模型识别出的库区养殖简易房。
81.在本实施例中，所述将所述检测框图像输入至训练好的水利目标追踪网络模型中，得到所述检测框图像中的所述水利目标的状态，具体包括：
82.将所述检测框图像输入至训练好的水利目标追踪网络模型中，得到所述检测框图像中水利目标的预测位置信息；
83.根据所述预测位置信息与所述水利目标在下一帧目标图像中的真实位置信息计算交互比；
84.根据所述交互比与预设交互比确定所述检测框图像中的所述水利目标的状态。
85.所述根据所述交互比与预设交互比确定所述检测框图像中的所述水利目标的状态，具体包括：
86.若所述交互比大于所述预设交互比，则所述水利目标的状态为追踪中，若否，则所述水利目标的状态为停止追踪。具体地：
87.当物体被目标识别模型识别为水利业务目标(即水利目标)后，即被确定为跟踪目标，目标状态会被记录在追踪列表之中，而后在视频画面中预先设置一条计数线，在跟踪目标的矩形框中心像素点经过计数线时进行判断，若水利目标的状态在追踪列表内，则判断为追踪目标(即水利目标的状态为追踪中)，在一次巡检中水利目标识别数量加一；若水利目标的状态不在追踪列表内，则判断不是追踪目标，水利业务目标的数量不变。
88.在本实施例中，水利目标的状态包括静止状态和运动状态；其中运动状态包括追踪中和停止追踪。水利目标的状态为静止状态时，表示水利目标在连续两帧目标图像中的像素坐标没有变化，即无人机拍摄的两帧目标图像为重复的。通过预测位置信息与所述水利目标在下一帧目标图像中的真实位置信息计算交互比，并与预设交互比作比较，若大于交互比，则水利目标的状态为追踪中，否则，水利目标的状态为停止追踪。在本实施例中，预设交互比为0.6。
89.需要说明的是，在本实施例中，如果前面三帧出现水利目标v，但是第四帧未出现水利目标v，则判断第五帧图像是否存在水利目标v，若第五帧图像不存在水利目标v，则水利目标v的状态为停止追踪。若第三帧时水利目标v的状态为停止追踪，但是第五帧出现水利目标v，则此时水利目标v作为新的水利目标进行追踪和计数。
90.本实施例，采用deepsort模型作为水利目标追踪网络模型，对识别出的水利目标进行视频连续帧之间的判定，判断识别出的目标在多个帧图像中是否为同一物体，继而使用撞线计数算法对已被追踪到在多个连续帧之间为同一物体的水利目标进行计数并进行视频帧图像保存和记录水利目标信息，包括水利目标位置信息。在此之前，还需要构建水利目标追踪网络模型：
91.在水利目标识别之后需要进一步进行水利目标追踪和计算水利目标数量，实现水利目标追踪则需要目标追踪算法模型。在目标跟踪过程中提取水利目标的表观特征进行最近邻匹配，这样可以有效地改善遮挡情况下的目标追踪效果。如图5所示，其deepsort算法流程可分为轨迹处理和状态估计、相关性度量、级联匹配、深度特征描述器四个部分。
92.deepsort是将深度表观特征应用到模型中，deepsort是在sort目标跟踪的基础上的升级，在目标跟踪过程中提取目标的表观特征进行最近邻匹配，这样可以有效地改善遮挡情况下的目标追踪效果。通过一个基于常量速度模型和线性观测模型的标准卡尔曼滤波器，对目标的运动状态进行预测，若目标匹配过程中，有水利目标始终无法与已存在路径相匹配，则认为该水利目标可能为新出现的水利目标，如果接下来的3帧都连续检测到了该水利目标，则该水利目标将被认定为新出现水利目标，并以此水利目标为起始目标生成新的跟踪路径，否则不生成新的跟踪路径。在确定好跟踪水利目标之后，水利目标的状态会被记录在追踪列表之中，而后在视频画面中设置一条计数线，在水利目标的中心像素点经过计数线时进行判断，若水利目标的状态在追踪列表内，则判断为追踪目标(即水利目标的状态为追踪中)，计数加一；若水利目标的状态不在追踪列表内，则判断不是追踪目标，计数不变，这样就可以有效地阻止目标识别每一帧中都会有水利目标出现重复计数的问题，达到精准计数的效果。如图6所示，图6中间的水平横线即为计数线，只有在水利目标中心点经过计数线时，才会计数，未经过和已经过的水利目标不参与计数。图6的(a)中building1为参与计数的第1个简易房，图6的(b)中building4为参与计数的第4个简易房。
93.本实施例中，在所述将所述参考水利目标在参考图像中的位置信息以及所述参考图像对应的pos数据输入至空间定位模型中之前，还包括：
94.采用插值算法对pos数据插值，得到每一所述参考图像对应的pos数据，具体地：
95.目标坐标解算算法需要用到无人机在拍摄该视频帧时的pos姿态信息，该pos数据由巡检app与调用无人机地面控制站获得，由于每一秒只能返回6～7次pos信息，常规下一秒视频为24帧，视频帧与获得的pos信息并不匹配，需要依据飞机飞行姿态和速率进行插
值，以获取该帧的pos数据。在本实施例中，每一帧目标图像对应的pos数据主要包括当前时刻、无人机位置、无人机姿态、相机姿态等，其中，无人机某时刻的地理坐标为：x
uva
,y
uva
,z
uva
，无人机姿态包括航偏角yaw
uva
、侧滚角度roll
uva
和俯仰角度pitch
uva
。因为巡检时为了减少视频畸变，设置相机垂直于无人机机体，无人机摄像头垂直向下拍摄，因此每一帧的姿态：yaw＝yaw
uva
，roll＝roll
uva
，pitch＝pitch
uva
。而后将获取到的无人机pos数据与每一帧视频目标图像进行匹配，再使用共线方程对视频帧进行空间位置解析。
96.然后构建空间定位模型，将所述参考水利目标在参考图像中的位置信息以及所述参考图像对应的pos数据输入至空间定位模型中，得到所述参考水利目标的真实地理位置。其中，参考水利目标在参考图像中的位置信息为参考水利目标的中心点坐标。在本实施例中，还采用空间定位模型，得到参考图像的图像中心点以及四个角点的真实地理位置坐标，将其坐标点位置以及图片信息进行存储。
97.下面对空间定位的过程进行具体介绍：
98.获取目标点a在图像中的像素点坐标(i，j)，i为像素列号，j为像素行号，根据式(1)计算该点在像平面坐标系中的坐标：
[0099][0100]
其中δ为单个像素的物理尺寸大小、m为影像像素列数、n为影像像素行数。
[0101]
获取到的相机参数：相机的焦距为f，传感器对应的ccd阵列尺寸为w*h。首先利用共线方程(公式(2)、(3))计算视频投影中心点的空间坐标：
[0102][0103][0104]
式中：x，y为像点的像平面坐标系坐标；x0，y0为影像的内方位元素；xs＝x
uva
，ys＝y
uva
，zs＝z
uva
为摄站点的物方空间坐标；xa，ya，za为(x，y)对应的地面点的物方空间坐标；ai,bi,ci(i＝1，2，3)为3个外方位角元素组成的旋转矩阵，如公式(4)。
[0105][0106]
其中，其中，b1＝cosωsin k；b2＝cosωcosκ；b3＝-sinω；sinω；式中：yaw＝κ，roll＝ω，
[0107]
根据共线方程可得：
[0108]
[0109][0110]
其中(xa，ya)为目标点a在地面摄影测量坐标系中坐标，(xs，ys)为像主点在地面摄影测量坐标系中的坐标，(x，y)为目标点a在像平面坐标系中的坐标。因此，利用公式(5)(6)即可计算像点对应地面点的空间坐标，实现地理定位。
[0111]
目标识别网络模型识别出视频帧中的特定水利目标后，将其矩形框的中心点像素坐标传入视频空间定位模型中，根据上述步骤可计算出特定水利目标真实地理坐标。
[0112]
在本实施例中，在所述根据所述参考水利目标的真实地理位置和预设河道管理范围线判断所述参考水利目标是否在所述预设河道管理范围线内，具体包括：
[0113]
采用射线法，根据所述参考水利目标的真实地理位置和预设河道管理范围线判断所述参考水利目标是否在所述预设河道管理范围线内。具体地：
[0114]
如图7所示，判断一个点是否在多边形内是处理空间数据时经常面对的需求，例如gis软件中的点选功能、根据多边形边界筛选出位于多边形内的点、求交集、筛选不在多边形内的点等等。判断一个点是否在多边形内有几种不同的思路，本项目使用的方法为射线法，射线法就是以判断点开始，向右(或向左)的水平方向作一射线，计算该射线与多边形每条边的交点个数，如果交点个数为奇数，则点位于多边形内，偶数则在多边形外。该算法对于复合多边形也能正确判断。射线法的关键是正确计算射线与多边形边相交的情况，若射线与一条边相交，则交点数加1。如图8所示，射线a与该多边形的相交点数为3，则射线a的端点在多边形内；射线b与多边形的相交点数为4，则射线b的端点不在多边形内。在本实施例中，还规定线段与射线重叠或者射线经过线段下端点属于不相交。首先排除掉不相交的情况，图9的情况都是需要排除掉的。以线段在射线上方来说明排除方法，设射线的坐标为(x，y)，线段的起始端点坐标为(xs，ys)，线段的终止端点坐标为(xe，ye)若ys》y，ye》y则可以判定线段在射线上方。
[0115]
在本实施例中，还包括：将判定为违法行为的所述参考水利目标的真实地理位置进行显示。具体地：
[0116]
利用上述计算得到的参考水利目标的真实地理位置坐标上传至gis系统中，再与巡检管理范围矢量线(预设河道管理范围线)进行射线法位置判断，确定参考水利目标是否在河道管理范围线内，从而判断识别的参考水利目标是否为违法行为，在判定为违法行为后将目标的真实地理信息上传至gis系统中显示。本实施例根据河道管理范围线每一点的真实地理位置坐标点与四个角点确定的矩形的比例关系，计算河道管理范围线的各点在视频像素的对应位置并在对应的参考图像中绘制出来，而后将视频帧转为rtmp直播流服务上传至流媒体服务器，再由gis系统拉取视频流进行可视化展示。
[0117]
在本实施例中，基于无人机提供了一种智能巡检系统，如图10所示，由无人机平台、无人机巡检app、视频流服务、智能解译服务、数据管理系统、综合应用系统6部分组成。图11为智能巡检系统大屏界面。
[0118]
(1)无人机平台
[0119]
使用旋翼无人机，根据巡检任务选用合适的传感器设备，常用的传感器有光学相机、热红外相机、多光谱成像仪、激光扫描仪等。
[0120]
(2)无人机巡检app(无人机管理app)
[0121]
app主要实现巡检任务接收、无人飞行控制、飞行状态监测、飞行pos信息获取和采集数据回传等功能。采集数据回传功能也可以通过在无人机平台上加装4g/5g模块实现。
[0122]
(3)视频流服务
[0123]
视频流服务接收由无人机巡检app发送回来的视频信息，在保存数据的同时进行转码，以flv、hls等协议格式推送至智能分析服务。
[0124]
(4)智能分析服务
[0125]
智能分析服务通过深度学习、模式识别等多种技术，充分利用gpu强大的并行处理能力，实现对视频抽帧或无人机巡检app直接推送图像数据进行快速分析，匹配pos信息、识别问题类别，计算空间位置，截图证据留存，并调用数据管理系统接口将分析结果写入数据库，提醒管理用户检核做进一步处理。对于视频帧数据还需还原为视频流，以便能够在综合应用系统中同步展示。
[0126]
(5)数据管理系统
[0127]
数据管理系统主要对整个系统运行数据、无人机状态数据、智能识别成果数据等进行维护管理，以保证系统的正常运行并为综合应用系统提供数据支持。
[0128]
(6)综合应用系统
[0129]
以多终端(桌面端与移动端)、多形式(二维、大屏、app)相结合的方式，实现巡检路线规划、巡检任务管理、飞行状态展示、飞行应急控制、巡检问题报警、前后对比分析、问题台账管理等功能。
[0130]
本发明针对河湖监管问题痛点，构建了水利特定对象(水利目标)的水利目标识别模型、水利目标追踪网络模型和空间定位模型；通过水利目标识别模型识别无人机视频图像中的特定水利目标，再通过空间定位模型对识别出的特定水利目标进行真实地理坐标解算处理；得到特定水利目标地理坐标信息后与河道管理范围矢量数据进行叠加判断，河道管理范围线内的水利目标上传到报警平台中，并将违规水利目标的真实地理坐标和无人机中包含水利目标的截图送至gis系统中可视化展示；同时可以将河道管理范围矢量数据由地理坐标反算为实时视频帧中的像素坐标，最终叠加到视频后推送到gis系统中同步展示。
[0131]
相比于现有技术，本发明识别水利目标的精度高，能在识别水利目标后进行追踪计数，且可以在计数时根据空间定位模型计算其真实地理坐标信息，又能将地理坐标信息与河道管理矢量范围进行叠加判断，准确得到在河道管理范围线内的违规行为并将其信息推送报警，还能同步可视化地展示到gis系统中，同样也可以河道管理范围线数据反算叠加到视频中后，推送至gis系统中进行可视化展示。
[0132]
实施例2
[0133]
本实施例提供了一种基于无人机的河湖监管系统，包括：
[0134]
目标图像获取模块，用于获取目标监管区域的多帧目标图像；所述目标图像由无人机上的相机拍摄得到。
[0135]
水利目标识别模块，用于将多帧所述目标图像分别输入至训练好的水利目标识别模型中，采用检测框对所述目标图像中的水利目标进行标记，并确定所述水利目标在所述目标图像中的位置信息；所述训练好的水利目标识别模型为以样本图像为输入，以采用样本检测框标记的样本水利目标以及所述样本水利目标在所述样本图像中的位置信息为输出，训练得到的模型。
[0136]
检测框图像获取模块，用于对每一所述检测框内的图像进行截取，得到多张检测框图像。
[0137]
水利目标追踪模块，用于将所述检测框图像输入至训练好的水利目标追踪网络模型中，得到所述检测框图像中的所述水利目标的状态；所述状态包括静止、追踪中和停止追踪；所述训练好的水利目标追踪网络模型为以样本检测框图像为输入，以所述样本检测框图像中样本水利目标的状态为输出，训练得到的模型。
[0138]
计数模块，用于根据所有所述检测框图像中的所述水利目标的状态，采用撞线计数法计算参考水利目标的数量，并获取计数时所述参考水利目标在参考图像中的位置信息；所述参考水利目标即状态为追踪中的水利目标；所述参考图像即所述参考水利目标经过预设计数线时的目标图像。
[0139]
真实地理位置获取模块，用于将所述参考水利目标在参考图像中的位置信息以及所述参考图像对应的pos数据输入至空间定位模型中，得到所述参考水利目标的真实地理位置；所述pos数据包括当前时刻、无人机空间位置信息、无人机姿态信息、相机姿态信息；所述空间定位模型为以样本参考水利目标在样本参考图像中的位置信息以及所述样本参考图像对应的样本pos数据为输入，以所述样本参考水利目标的真实地理位置为输出，训练得到的模型。
[0140]
判定模块，用于根据所述参考水利目标的真实地理位置和预设河道管理范围线判断所述参考水利目标是否在所述预设河道管理范围线内，若是，则将所述参考水利目标判定为违法行为；若否，则将所述参考水利目标判定为不违法行为。
[0141]
在本实施例中，还包括显示模块；
[0142]
所述显示模块，用于将判定为违法行为的所述参考水利目标的真实地理位置进行显示。
[0143]
本说明书中每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0144]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。