基于无人机平台的云边协同堤坝检测方法及装置

1.本发明涉及一种堤坝检测方法及装置，尤其是指一种基于无人机平台的云边协同堤坝检测方法及装置。


背景技术：

2.在传统的堤坝检测系统中，需要调用大量的摄像头来完成数据的采集，再通过人工检测来完成堤坝目标的检测，这样的方式不仅消耗大量的资源，而且对于堤坝的检测工作不能快速完成，使得堤坝对于洪涝等自然灾害的防范存在隐患。采用无人机进行视频数据的采集能够很好地解决上述存在的问题，但是传统的无人机检测方案是通过vlc构建无人机的流媒体服务器，将所有视频流都回传给流媒体服务器系统再进行检测，这样的方案对于多检测大量部署时需要较高的服务器成本。


技术实现要素：

3.本发明所要解决的技术问题是：提供一种基于无人机平台的云边协同堤坝检测方法及装置。
4.为了解决上述技术问题，本发明采用的技术方案为：一种基于无人机平台的云边协同堤坝检测方法，包括，
5.从拍摄的历史堤坝视频流数据进行图片抽帧，筛选出堤坝图片，筛选出的堤坝图片包含正常的堤坝图片、产生裂缝的堤坝图片及渗水的堤坝图片；
6.对筛选出来的正常的堤坝图片、产生裂缝的堤坝图片及渗水的堤坝图片分别打上对应的标签，得到训练数据集；
7.将训练数据集对yolov5l模型和yolov5-tiny模型通过分布式服务器进行训练，得到训练好的yolov5l模型和yolov5-tiny模型；
8.将训练好的yolov5l模型部署到管理服务器及多个工作服务器中，将训练好的yolov5-tiny模型部署到无人机群的每台无人机上；
9.控制无人机群对堤坝进行全方位的视频采集，无人机通过训练好的yolov5-tiny模型对堤坝视频进行实时检测识别，若检测出堤坝异常，则将视频传入到管理服务器；
10.管理服务器将检测出堤坝异常的视频分配给各个工作服务器通过训练好的yolov5l模型进行进一步的检测识别，判断堤坝是否存在溃坝风险。
11.进一步的，管理服务器将检测出堤坝异常的视频分配给各个工作服务器通过训练好的yolov5l模型进行进一步的检测识别，判断堤坝是否存在溃坝风险包括，
12.通过管理服务器将无人机检测出堤坝异常的视频动态均衡分配到各个工作服务器；
13.各个工作服务器分别对分配到的堤坝异常的视频通过训练好的yolov5l模型进行进一步的检测识别；
14.若检测到堤坝出现溃坝的概率大于预设的动态阈值，则进行溃坝预警。
15.进一步的，基于无人机平台的云边协同堤坝检测方法还包括，
16.管理服务器在检测到有工作服务器异常时，将分配到异常的工作服务器的无人机检测出堤坝异常的视频重新分配到其他正常的工作服务器进行检测识别。
17.进一步的，基于无人机平台的云边协同堤坝检测方法还包括，
18.无人机在通过训练好的yolov5-tiny模型对堤坝视频进行检测识别时，通过tensorrt对模型推理进行加速。
19.进一步的，对筛选出来的正常的堤坝图片、产生裂缝的堤坝图片及渗水的堤坝图片分别打上对应的标签采用的是vcat标注工具。
20.本发明还提供了一种基于无人机平台的云边协同堤坝检测装置，包括，
21.图片筛选模块，用于从拍摄的历史堤坝视频流数据进行图片抽帧，筛选出堤坝图片，筛选出的堤坝图片包含正常的堤坝图片、产生裂缝的堤坝图片及渗水的堤坝图片；
22.图片标注模块，用于对筛选出来的正常的堤坝图片、产生裂缝的堤坝图片及渗水的堤坝图片分别打上对应的标签，得到训练数据集；
23.模型训练模块，用于将训练数据集对yolov5l模型和yolov5-tiny模型通过分布式服务器进行训练，得到训练好的yolov5l模型和yolov5-tiny模型；
24.模型部署模块，用于将训练好的yolov5l模型部署到管理服务器及多个工作服务器中，将训练好的yolov5-tiny模型部署到无人机群的每台无人机上；
25.无人机检测识别模块，用于控制无人机群对堤坝进行全方位的视频采集，无人机通过训练好的yolov5-tiny模型对堤坝视频进行实时检测识别，若检测出堤坝异常，则将视频传入到管理服务器；
26.服务器检测识别模块，用于管理服务器将检测出堤坝异常的视频分配给各个工作服务器通过训练好的yolov5l模型进行进一步的检测识别，判断堤坝是否存在溃坝风险。
27.进一步的，服务器检测识别模块具体用于，
28.通过管理服务器将无人机检测出堤坝异常的视频动态均衡分配到各个工作服务器；
29.各个工作服务器分别对分配到的堤坝异常的视频通过训练好的yolov5l模型进行进一步的检测识别；
30.若检测到堤坝出现溃坝的概率大于预设的动态阈值，则进行溃坝预警。
31.进一步的，基于无人机平台的云边协同堤坝检测装置，还包括，
32.服务器异常处理模块，用于管理服务器在检测到有工作服务器异常时，将分配到异常的工作服务器的无人机检测出堤坝异常的视频重新分配到其他正常的工作服务器进行检测识别。
33.进一步的，基于无人机平台的云边协同堤坝检测装置，还包括，
34.模型加速模块，用于无人机在通过训练好的yolov5-tiny模型对堤坝视频进行检测识别时，通过tensorrt对模型推理进行加速。
35.进一步的，图片标注模块中，对筛选出来的正常的堤坝图片、产生裂缝的堤坝图片及渗水的堤坝图片分别打上对应的标签采用的是vcat标注工具。
36.本发明的有益效果在于：在无人机边缘端部署强量化的目标检测ai模型，对检测到的溃坝概率超过一定阈值时才会将视频帧回传到管理服务器，管理服务器再将视频帧分
配到工作服务器进行精准判断是否出现了溃坝；相较于传统的无人机检测方案：将所有视频流数据都回传给流媒体服务器，然后其他服务器再从流媒体服务器拉取视频流再进行检测，本方案采用云边协同的方式进行堤坝检测，实时性更佳，同时减轻了云服务器计算压力，降低服务器部署成本；同时云服务采用负载均衡集群部署，能够提供多地段的堤坝多台无人机实时检测目标的支持，提高了系统的稳定性、可用性以及可靠性。
附图说明
37.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的机构获得其他的附图。
38.图1为本发明实施例的基于无人机平台的云边协同堤坝检测方法流程图；
39.图2为本发明实施例的基于无人机平台的云边协同堤坝检测装置框图；
40.图3为本发明实施例的基于无人机平台的云边协同堤坝检测系统图。
具体实施方式
41.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
42.需要说明，本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
43.如图1、图3所示，本发明的第一实施例为：一种基于无人机平台的云边协同堤坝检测方法，包括，
44.s10、从拍摄的历史堤坝视频流数据进行图片抽帧，筛选出堤坝图片，筛选出的堤坝图片包含正常的堤坝图片、产生裂缝的堤坝图片及渗水的堤坝图片；
45.s20、对筛选出来的正常的堤坝图片、产生裂缝的堤坝图片及渗水的堤坝图片分别打上对应的标签，得到训练数据集；
46.s30、将训练数据集对yolov5l模型和yolov5-tiny模型通过分布式服务器进行训练，得到训练好的yolov5l模型和yolov5-tiny模型；
47.s40、将训练好的yolov5l模型部署到管理服务器及多个工作服务器中，将训练好的yolov5-tiny模型部署到无人机群的每台无人机上；
48.s50、控制无人机群对堤坝进行全方位的视频采集，无人机通过训练好的yolov5-tiny模型对堤坝视频进行实时检测识别，若检测出堤坝异常，则将视频传入到管理服务器；
49.s60、管理服务器将检测出堤坝异常的视频分配给各个工作服务器通过训练好的
yolov5l模型进行进一步的检测识别，判断堤坝是否存在溃坝风险。
50.进一步的，步骤s60中，管理服务器将检测出堤坝异常的视频分配给各个工作服务器通过训练好的yolov5l模型进行进一步的检测识别，判断堤坝是否存在溃坝风险包括，
51.s61、通过管理服务器将无人机检测出堤坝异常的视频动态均衡分配到各个工作服务器；
52.s62、各个工作服务器分别对分配到的堤坝异常的视频通过训练好的yolov5l模型进行进一步的检测识别；
53.s63、若检测到堤坝出现溃坝的概率大于预设的动态阈值，则进行溃坝预警。动态阈值随季节、环境等因素的影响，需要动态修正阈值。
54.如图3所示为基于无人机平台的云边协同堤坝检测系统图，该系统示例中包括一台管理服务器，三台工作服务器及六台无人机。
55.本实施例中，训练的模型分为yolov5ll版本的模型以及yolov5-tiny模型，yolov5ll模型参数权重比yolov5-tiny模型大的多，但是精度也比yolov5-tiny权重高，因此部署在服务器，用来再次精确判断确认是否发生了溃坝；而yolov5-tiny模型的权重比前者小一个数量级，是一个轻量化模型，部署在无人机上携带的jetson nano处理器上。yolov5-tiny检测模型部署到jetson nano上，能对无人机采集到的视频流直接在无人机边缘端就能进行实时监测，将检测到的可能出现问题的堤坝情况反馈到服务器，再次进行更高精度的检测。整个系统通过云计算与边缘计算相互协作快速实时完成大量的目标检测工作。而且整个系统的性能非常稳定，每个工作服务器只需要处理较少的检测工作，不会造成服务器的崩溃。
56.本实施例中，在无人机边缘端部署强量化的目标检测ai模型，对检测到的溃坝概率超过一定阈值时才会将视频帧回传到管理服务器，管理服务器再将视频帧分配到工作服务器进行精准判断是否出现了溃坝；相较于传统的无人机检测方案：将所有视频流数据都回传给流媒体服务器，然后其他服务器再从流媒体服务器拉取视频流再进行检测，本方案采用云边协同的方式进行堤坝检测，实时性更佳，同时减轻了云服务器计算压力，降低服务器部署成本；同时云服务采用负载均衡集群部署，能够提供多地段的堤坝多台无人机实时检测目标的支持，提高了系统的稳定性、可用性以及可靠性。
57.在一具体实施例中，基于无人机平台的云边协同堤坝检测方法还包括，
58.管理服务器在检测到有工作服务器异常时，将分配到异常的工作服务器的无人机检测出堤坝异常的视频重新分配到其他正常的工作服务器进行检测识别。
59.本实施例中，即使个别工作服务器发生故障，管理服务器也能将其需要处理的检测任务按照优先级资源调度策略分配到其他工作服务器上进行精准检测。
60.在一具体实施例中，基于无人机平台的云边协同堤坝检测方法还包括，
61.无人机在通过训练好的yolov5-tiny模型对堤坝视频进行检测识别时，通过tensorrt对模型推理进行加速，fps能达到15以上，满足实时性检测要求。
62.本实施例中，无人机边缘端的yolov5-tiny模型还需要经过tensorrt进行加速推理处理，提高视频流检测的fps，提高边缘端检测的实时性。
63.进一步的，对筛选出来的正常的堤坝图片、产生裂缝的堤坝图片及渗水的堤坝图片分别打上对应的标签采用的是vcat标注工具。
64.如图2所示，本发明还提供了一种基于无人机平台的云边协同堤坝检测装置，包括，
65.图片筛选模块10，用于从拍摄的历史堤坝视频流数据进行图片抽帧，筛选出堤坝图片，筛选出的堤坝图片包含正常的堤坝图片、产生裂缝的堤坝图片及渗水的堤坝图片；
66.图片标注模块20，用于对筛选出来的正常的堤坝图片、产生裂缝的堤坝图片及渗水的堤坝图片分别打上对应的标签，得到训练数据集；
67.模型训练模块30，用于将训练数据集对yolov5l模型和yolov5-tiny模型通过分布式服务器进行训练，得到训练好的yolov5l模型和yolov5-tiny模型；
68.模型部署模块40，用于将训练好的yolov5l模型部署到管理服务器及多个工作服务器中，将训练好的yolov5-tiny模型部署到无人机群的每台无人机上；
69.无人机检测识别模块50，用于控制无人机群对堤坝进行全方位的视频采集，无人机通过训练好的yolov5-tiny模型对堤坝视频进行实时检测识别，若检测出堤坝异常，则将视频传入到管理服务器；
70.服务器检测识别模块60，用于管理服务器将检测出堤坝异常的视频分配给各个工作服务器通过训练好的yolov5l模型进行进一步的检测识别，判断堤坝是否存在溃坝风险。
71.进一步的，服务器检测识别模块60具体用于，
72.通过管理服务器将无人机检测出堤坝异常的视频动态均衡分配到各个工作服务器；
73.各个工作服务器分别对分配到的堤坝异常的视频通过训练好的yolov5l模型进行进一步的检测识别；
74.若检测到堤坝出现溃坝的概率大于预设的动态阈值，则进行溃坝预警。
75.进一步的，基于无人机平台的云边协同堤坝检测装置，还包括，
76.服务器异常处理模块，用于管理服务器在检测到有工作服务器异常时，将分配到异常的工作服务器的无人机检测出堤坝异常的视频重新分配到其他正常的工作服务器进行检测识别。
77.进一步的，基于无人机平台的云边协同堤坝检测装置，还包括，
78.模型加速模块，用于无人机在通过训练好的yolov5-tiny模型对堤坝视频进行检测识别时，通过tensorrt对模型推理进行加速。
79.进一步的，图片标注模块中，对筛选出来的正常的堤坝图片、产生裂缝的堤坝图片及渗水的堤坝图片分别打上对应的标签采用的是vcat标注工具。
80.需要说明的是，所属领域的技术人员可以清楚地了解到，上述基于无人机平台的云边协同堤坝检测装置的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
81.以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。