一种河道排水口溢流检测方法、装置及相关设备与流程

1.本发明涉及机器学习领域，尤其涉及一种河道排水口溢流检测方法、装置及相关设备。


背景技术：

2.随着城市化建设的不断加快，城市中雨季排水的问题也越来越受到重视，河道作为城市的排水主体显得尤为重要，为了及时控制雨季的排水情况，我们需要实时监测河道的排水口，判断是否发生了溢流情况。
3.现有技术，通常是基于无人机航拍图像对河道排水口使用目标检测算法进行识别。但由于河道排水口存在数量多、形状不一、分布点位广泛的特点，使用目标检测算法存在局限性，只能识别明显的排水管及排水坝，对于地面涵洞以及被水淹末情况下的排水口无法进行识别。


技术实现要素：

4.本发明的目的是提供一种河道排水口溢流检测方法、装置及相关设备，旨在解决现有技术中，对于地面涵洞以及被水淹末情况下的排水口无法进行识别的问题。
5.第一方面，本发明实施例提供了一种河道排水口溢流检测方法，其包括：对摄像机采集的图像进行清洗和标注；将所述图像划分为训练集、验证集和测试集，并通过bisenet模型对所述图像进行训练，把训练好的所述bisenet模型部署到平台；将所述摄像机接入所述平台，使用训练好的所述bisenet模型对所述摄像机的抽帧图像进行图像语义分割处理；使用图像处理方法处理语义分割后的所述图像，计算出其中掩膜区域的面积和掩膜区域中的水体面积，计算所述水体在掩膜区域中的面积占比；判断连续多帧图像中所述水体在掩膜区域中的面积占比是否大于或等于预设阈值；若是，则排水口发生了溢流，并发送告警提示；若否，则排水口不溢流。
6.第二方面，本发明实施例提供了一种河道排水口溢流检测装置，包括：清洗标注单元，用于对摄像机采集的图像进行清洗和标注；训练单元，用于将所述图像划分为训练集、验证集和测试集，并通过bisenet模型对所述图像进行训练，把训练好的所述bisenet模型部署到平台；预测单元，用于将所述摄像机接入所述平台，使用训练好的所述bisenet模型对所述摄像机的抽帧图像进行图像语义分割处理；图像处理单元，用于使用图像处理方法处理语义分割后的所述图像，计算出其中掩膜区域的面积和掩膜区域中的水体面积，计算所述水体在掩膜区域中的面积占比；
判断单元，用于判断连续多帧图像中所述水体在掩膜区域中的面积占比是否大于或等于预设阈值；若是，则排水口发生了溢流，并发送告警提示；若否，则排水口不溢流。
7.第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的河道排水口溢流检测方法。
8.第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的河道排水口溢流检测方法。
9.本发明实施例克服了传统检测的不足之处，通过图像分割和设定预选区域结合，并进一步计算预选区域中水体面积占比的方法，可以检测各种场景下排水口溢流情况。
附图说明
10.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
11.图1为本发明实施例提供的河道排水口溢流检测方法的流程示意图；图2为本发明实施例提供的河道排水口溢流检测装置的示意性框图。
具体实施方式
12.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
13.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和
ꢀ“
包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
14.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
15.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
16.请参阅图1，一种河道排水口溢流检测方法，包括：s101，对摄像机采集的图像进行清洗和标注；s102，将所述图像划分为训练集、验证集和测试集，并通过bisenet模型对所述图像进行训练，把训练好的所述bisenet模型部署到平台；s103，将所述摄像机接入所述平台，使用训练好的所述bisenet模型对所述摄像机的抽帧图像进行图像语义分割处理；
s104，使用图像处理方法处理语义分割后的所述图像，计算出其中掩膜区域的面积和掩膜区域中的水体面积，计算所述水体在掩膜区域中的面积占比；s105，判断连续多帧图像中所述水体在掩膜区域中的面积占比是否大于或等于预设阈值；s106，若是，则排水口发生了溢流，并发送告警提示；s107，若否，则排水口不溢流。
17.在本实施例中，为了解决不同场景下排水口溢流检测的问题，首先在摄像头画面中设定一个预选框，把图像中的排水口框出来，然后对整张图像进行语义分割，得到与预选框相对应的掩膜预选区域，并得到水体的像素位置，接着使用传统图像处理方法把掩膜区域中的水体面积计算出来，并计算所述水体在掩膜区域中的面积占比。当连续多帧图像的掩膜区域的水体面积占比都大于特定阈值时，则判断这个排水口发生了流溢，触发告警。解决了传统的目标检测方法对于排水口被淹没等特殊情况下无法检测的问题，实现不同场景下的排水口溢流检测，泛化应用场景。
18.具体的，预设阈值可根据实际情况进行设定。
19.在一实施例中，所述对摄像机采集的图像进行清洗和标注，包括：通过视频抽帧的方式采集不同河道的图像；对所述图像进行数据清洗，保留包含排水口的图像；对清洗后的所述图像中的水体进行图像语义分割的标注，记录所述图像中水体的多边形坐标以及标签，得到标注信息，并将所述标注信息存入数据交换格式文件中。
20.在本实施例中，由于各个摄像机在拍摄过程中可能还拍摄了不包含排水口的视频片段，影响模型训练，故需要对视频抽帧出来的图像进行清洗，只保留包含河道排水口的图像。
21.在一实施例中，所述将所述图像划分为训练集、验证集和测试集，并通过bisenet模型对所述图像进行训练，把训练好的所述bisenet模型部署到平台，包括：将数据集根据标签划分成训练集、验证集和测试集；使用随机裁剪和归一化方法依次对所述训练集进行数据预处理；初始化所述bisenet模型的训练参数，并将预处理后的所述训练集输入bisenet模型进行训练；通过sgd随机梯度下降方法，将训练迭代到200-400个epoch后停止训练，保存训练好的所述bisenet模型；将训练好的所述bisenet模型部署到平台。
22.在本实施例中，bisenet模型旨在同时提升实时语义分割的速度与精度，其包含两路网络：spatial path和context path。其中spatial path网络通过采用三个卷积层将输入图像降采样为原图的1/8，生成高分辨率的特征图，保留了原图像比较丰富的空间信息；context path网络使用resnet18作为骨干网络进行特征学习，同时采用全局平均池化来降低计算量，获取最大感受野，加快模型的推理速度；然后利用ffm特征融合模块将两部分网络进行叠加融合。
23.训练过程中，bisenet使用一个主损失函数监督整个网络的训练，并且使用两个辅助损失函数监督context path的输出，最后借助超参数以平衡主损失函数与辅助损失函数
的权重。损失函数均为softmax loss，公式如下：；；其中，p为网络输出的特征图；为联合损失函数；为主损失函数；为i阶段的辅助损失函数；为resnet18第i阶段中输出的特征图，w为模型参数，k=3；为超参数，用来平衡主损失函数与辅助损失函数的权重；pi是第i层网络的输出；pj是每一层网络的第j个分类的概率值。
24.优选的，将训练迭代到300个epoch后停止训练。
25.在一实施例中，所述将所述摄像机接入所述平台，使用训练好的所述bisenet模型对所述摄像机的抽帧图像进行图像语义分割处理，包括：将所述摄像机接入所述平台；在所述摄像机画面中的排水口位置设定预选框；对所述摄像机进行抽帧得到抽帧图像；将所述抽帧图像输入训练好的bisenet模型进行推理，并对所述抽帧图像中的每一个像素点进行分类，得到图像语义分割后的第一图像数据；其中，所述第一图像数据中的背景用0像素表示，水体用设定像素表示。
26.在本实施例中，预选框是由人工去判断的，为排水口位置，由于每个摄像机摄像角度和位置不一样，所以摄像机中的预选框一般都是不一样的。
27.对所述抽帧图像中的每一个像素点进行分类，主要分成两类，分别为水体和背景，水体可以用预设的像素表示，背景用0像素表示。
28.在其他实施例中，水体和背景的像素只要不同即可。
29.在一实施例中，所述使用图像处理方法处理语义分割后的所述图像，计算出其中掩膜区域的面积和掩膜区域中的水体面积，计算所述水体在掩膜区域中的面积占比，包括：创建空白图像模板，根据预选框的坐标，在所述空白图像模板上生成掩膜，得到第二图像数据；使用opencv对图像语义分割后的所述第一图像数据和所述第二图像数据执行与操作，得到第三图像数据；将所述第三图像数据中大于0的像素设置为1得到第四图像数据；计算所述第四图像数据中掩膜区域中的水体面积；根据预选框的坐标，通过opencv计算出掩膜区域的面积s
mask
；计算出掩膜区域中的水体面积占比；其中，第二图像数据中掩膜区域的像素设置为255，其他区域像素设置为0；第三图像数据只保留第一图像数据中预选框区域的像素值，其他区域的像素设置为0。
30.在本实施例中，使用图像处理方法，将图像中的水体在掩膜上显示，也即只保留了掩膜区域中的水体，计算出水体面积和掩膜面积，并计算出两者的比例。
31.水体在bisenet模型推理预测后得到的第一图像数据中已显示，而第二图像数据
是创建一个用来排除预选框区域之外的水体，即将预选框之外的区域设置成0像素，将两者执行与操作，即可得到只在预选框区域之内的水体，计算该水体面积，并算出该水体面积占预选框区域（即掩膜区域）的比例。
32.在一实施例中，所述计算所述第四图像数据中掩膜区域中的水体面积，包括：采用以下公式计算掩膜区域中的水体面积：；其中，为第四图像数据的mask区域中的水体面积；为第四图像数据的掩膜区域的像素值总和；为第四图像数据整张图片的像素值总和；为第四图像数据中坐标为（i，j）的像素值；w和h分别表示第四图像数据的宽和高，分别对应i和j。
33.在一实施例中，所述计算出掩膜区域中的水体面积占比，包括：采用以下公式计算掩膜区域中的水体面积占比：。
34.请参阅图2，一种河道排水口溢流检测装置10，包括：清洗标注单元11，用于对摄像机采集的图像进行清洗和标注；训练单元12，用于将所述图像划分为训练集、验证集和测试集，并通过bisenet模型对所述图像进行训练，把训练好的所述bisenet模型部署到平台；预测单元13，用于将所述摄像机接入所述平台，使用训练好的所述bisenet模型对所述摄像机的抽帧图像进行图像语义分割处理；图像处理单元14，用于使用图像处理方法处理语义分割后的所述图像，计算出其中掩膜区域的面积和掩膜区域中的水体面积，计算所述水体在掩膜区域中的面积占比；判断单元15，用于判断连续多帧图像中所述水体在掩膜区域中的面积占比是否大于或等于预设阈值；若是，则排水口发生了溢流，并发送告警提示；若否，则排水口不溢流。
35.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如所述的河道排水口溢流检测方法。
36.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如所述的河道排水口溢流检测方法。
37.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。