A/O池泡沫线位置实时检测方法、系统及存储介质

本发明属于污水处理领域，具体涉及一种a/o池泡沫线位置实时检测方法、系统及存储介质，尤其涉及一种基于图像处理与深度学习技术，针对a/o池内无规则、不断变化的泡沫线进行实时检测的方法、系统及存储介质。

背景技术：

1、在对生活垃圾填埋场渗滤液进行生化预处理时，在a/o池中会堆积大量的泡沫，在接近反应池边沿的位置，如不及时处理会出现泡沫溢出的情况，这就需要做出及时准确有效的判断，但是传统的人工检测依旧采取目测的方法，无法准确快速的检测与定位泡沫溢出的地点；同时这种检测方法还容易受到周围建筑、天气、以及被泡沫线与反应池边沿短暂接触所误导等影响，容易产生误判，测量速度与精度都无法保证，无法满足现有的实际生产需求。

2、目前，虽然公开了一些水位线检测的方法或手段，但这些检测方法或手段大多基于水尺，然而水尺自身的宽度导致其只能在一段相对于平缓的区域发挥作用，且极易受到周围环境的影响。对于a/o池中不断翻涌的泡沫，泡沫线是无规则、不断变化的，一段区域的水尺刻度不具有参考作用。因此，如何实现无人化的泡沫线实时在线准确检测以及实时判断泡沫线是否溢出报警成为当下急需要解决的问题。

技术实现思路

1、鉴于此，本发明的目的在于提供一种a/o池泡沫线位置实时检测方法、系统及存储介质，旨在克服传统人工检测测量速度与精度都无法保证的问题。

2、为了实现上述目的，本发明采取的技术方案如下：

3、a/o池泡沫线位置实时检测方法，包括以下步骤：

4、s1.获取a/o池现场图像，现场图像应清晰包含有a/o池边沿与泡沫线；

5、s2.对获取的原始图像进行剪切—旋转—拼接的预处理后，采用数据增强的方法获得训练集样本与测试集样本；其中，所述剪切是在原始图像的剪切点（x0，0）处剪切并将剪切形成的右部分图像定义为泡沫线呈现趋于水平状态的图像；所述旋转与拼接是将右部分图像顺时针旋转25-45度后与左部分图像相拼接；

6、s3.对获得的训练集样本与测试集样本进行数据标注，以获得分别代表泡沫线与a/o池边沿的矩形标注框；

7、s4.构建优化后的深度学习模型；

8、基于yolov5x的架构，将se注意力机制与骨干网络backbone中c3结构内的bottleneck相结合，构成c3se模块，有效提升泡沫线的检测精度；同时在backbone中，采用sppcspc结构加强浅层信息与深层信息的融合，以提升模型的感知程度；此外，在yolov5x的架构中，添加定位损失函数focal_giou loss，以减小预测框与标定框的误差，既减少了计算量，又能提高检测速度与精度，至此，优化后的深度学习模型构建完成；

9、s5.将训练集样本输入到优化后的深度学习模型中，所述训练集样本的图像在yolov5x的backbone中经过多次卷积，深度学习模型提取到更深层次的图像特征信息，在yolov5x的neck中融合浅层与深层的信息，经过损失函数，在输出层输出目标的类别及置信度，至此，完成对优化后深度学习模型的训练；

10、s6.利用训练后的深度学习模型，对测试集样本图像中的a/o池边沿进行检测与位置提取，对提取到的a/o池边沿的坐标采取多项式回归方法分段拟合曲线，由此获得最佳a/o池边沿拟合曲线函数如公式(1)所示，并将此拟合曲线作为判断泡沫线是否溢出的参考基准；

11、其中，最佳a/o池边沿拟合曲线函数如下：

12、，公式（1）

13、其中ma是测试集样本图像中横坐标的最大值；

14、s7.利用训练后的深度学习模型，对测试集样本图像中的泡沫线进行检测与位置提取，从而获得一条完整泡沫线的实际坐标值，并对左、右两部分的泡沫线利用以下公式来预测泡沫在某一时刻t0下发生溢出的趋势：

15、s71.对测试集样本图像中左、右两个部分图像中的泡沫线进行检测与位置提取，从而获得左、右两部分的泡沫线，最后通过拼接左、右部分泡沫线，获得一条完整泡沫线的实际坐标值；

16、s72.针对左部分图像中的泡沫线，利用以下公式（2）来计算泡沫线与a/o池边沿的距离；

17、，公式（2）

18、针对右部分图像中的泡沫线，利用以下公式（3）来计算泡沫线与a/o池边沿的距离hr；

19、，公式（3）

20、其中，α是右部分图像的旋转角度，x0是剪切点的横坐标，(x1, y1)是实际泡沫线的坐标，(x2, y2)是x1在a/o池边沿拟合曲线上对应的坐标；

21、s73.假设在被检测图像上某一时刻t0，某点(x1, y1)上泡沫堆积的高度超出a/o池边沿h个像素，泡沫溢出时与a/o池边沿的交集宽度为w个像素；如果区间(x1,x1+w)内泡沫均超出a/o池边沿h个像素，且对于连续时刻t1∈[t0,t0+t]，该区间也能一直保持该超出状态，则认为点x1在时刻t0+t一定会发生溢出，判断公式如公式(4)所示：

22、，公式（4）。

23、进一步的，所述对获取的原始图像进行剪切—旋转—拼接的预处理过程，具体包括以下过程：

24、将原始图像中泡沫线呈现趋于水平状态的点记为剪切点，该剪切点的坐标记为（x0，0），然后在该剪切点处剪切，剪切之后图像分为左、右两个部分且定义右部分图像为泡沫线呈现趋于水平状态的图像；

25、随后对右部分图像顺时针旋转25-45度，使得左、右两个部分的图像都相对水平方向均具有一相同的倾斜角度；

26、最后将左、右两个部分的图像在剪切点对应的a/o池边沿与泡沫线之间距离的中间位置处进行拼接，以完成对获取的图像进行预处理操作。

27、再进一步的，所述采用数据增强的方法获得训练集样本与测试集样本，具体过程为：对预处理后的图像进行数据增强以扩大训练样本，所述数据增强包括但不限于椒盐噪声、高斯模糊、昏暗、增亮、向下平移与左右翻转，从而得到训练集样本与测试集样本，且训练集样本的图像数量大于测试集样本的图像数量。

28、更进一步的，所述对获得的训练集样本与测试集样本进行数据标注，以获得分别代表泡沫线与a/o池边沿的矩形标注框，具体包括如下的过程：

29、利用图像标注工具对样本图像进行人工标注，即取样本图像中一段泡沫线区域内的最低点与最高点，令最低点坐标为名义上的第一个坐标；最高点坐标为名义上的第二个坐标，以最高点为右下角坐标；取最高点垂直对应的a/o池边沿上的点，并令这个点为第三个坐标；取最低点垂直对应的a/o池边沿上的点为标注框的左上角坐标，令标注框左上角坐标为名义上的第四个坐标，以这四个点构成一个标注框，标签为“paomo”，随即对图像上剩余的泡沫线分区域标注；

30、然后在图像标注工具生成的.json文件中，修改相邻两个标注框的坐标值，令后一个标注框的第一、第四个坐标值等于前一个标注框的第二、第三个坐标值，以保证所有标注框的连续性，从而减少误差；

31、最后将.json文件转换成深度学习模型需要的.xml文件，在.xml文件中，将偶数个标签修改为“pled”，这样待检测的标签就会有两种，分别是“paomo”与“pled”，分别代表泡沫线与a/o池边沿的标注框。

32、具体的，所述定位损失函数focal_giou loss采用如下公式来计算：

33、，

34、，

35、，

36、其中，γ是控制异常值抑制程度的参数，c表示真实框与预测框的最小外接矩形的面积，a表示真实框，b表示预测框。

37、更具体的，所述步骤s5中对优化后的深度学习模型进行训练的过程中，设置迭代批量大小为300，来平衡训练速度和深度学习模型的收敛速度；设置动量因子为0.999，帮助优化深度学习模型在更新参数时考虑之前的梯度更新方向，并使得参数在更新过程中更加平稳，减少震荡，从而加速收敛；设置初始学习率及学习率调整因子，加快深度学习模型收敛的速度，使深度学习模型更快地学习到数据的特征和模式，更好地收敛到全局最优点或局部最优点，其中，初始学习率设置为0.01，学习率调整因子设置为0.001。

38、再具体的，所述对测试集样本图像中左、右两个部分图像中的泡沫线进行检测与位置提取，从而获得左、右两部分的泡沫线，具体包括以下的过程：

39、针对左部分图像的检测框，采用如下的坐标变换公式进行处理后获得左侧图像实际的连续泡沫线；

40、，

41、，

42、其中，坐标(m1, n1)与(m2, n2)分别是检测框的左上角与右下角坐标，(m3, n3)与(m4, n4)分别是实际泡沫线检测框的右下角与左上角坐标，x0是剪切点的横坐标；

43、针对右部分图像的检测框，直接连接左上角和右下角坐标，即构成右侧图像实际的连续泡沫线。

44、较佳地，该检测方法的准确率达到98.9%，每秒检测帧数为26.2帧。

45、在上述提供的a/o池泡沫线位置实时检测方法的基础上，本发明还提供了一种a/o池泡沫线位置实时检测系统，该系统包括：

46、图像获取模块；用于获取a/o池现场的图像，所述图像中清晰包含有a/o池边沿与泡沫线；

47、样本获取模块；对获取的图像进行剪切—旋转—拼接的预处理后，采用数据增强的方法获得训练集样本与测试集样本；

48、数据标注模块；对获得的训练集样本与测试集样本进行数据标注，以获得分别代表泡沫线与a/o池边沿的矩形标注框；

49、模型构建模块；基于yolov5x的架构，将se注意力机制与骨干网络backbone中c3结构内的bottleneck相结合，构成c3se模块；同时在backbone中，采用sppcspc结构加强浅层信息与深层信息的融合；此外，在yolov5x的架构中，添加定位损失函数focal_giou loss，以减小预测框与标定框的误差；

50、模型训练模块；将训练集样本输入到优化后的深度学习模型中，所述训练集样本的图像在yolov5x的backbone中经过多次卷积，深度学习模型提取到更深层次的图像特征信息，在yolov5x的neck中融合浅层与深层的信息，经过损失函数，在输出层输出目标的类别及置信度；

51、基准曲线拟合模块；利用训练后的深度学习模型，对测试集样本图像中的a/o池边沿进行检测与位置提取，对提取到的a/o池边沿的坐标采取多项式回归方法分段拟合曲线，并将此拟合曲线作为判断泡沫线是否溢出的参考基准；

52、溢出预测模块；利用训练后的深度学习模型，对测试集样本图像中的泡沫线进行检测与位置提取，从而获得一条完整泡沫线的实际坐标值，并对左、右两部分的泡沫线利用以下公式来预测泡沫在某一时刻t0下发生溢出的趋势。

53、最后，本发明还提供了一种计算机可读存储介质，该存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，即可实现上述提供的a/o池泡沫线位置实时检测方法。

54、本发明的有益效果：

55、本发明提出的基于深度学习的a/o池泡沫线实时在线检测方法，为获取多变性的泡沫线和a/o池边沿位置的坐标，采用了一种新的矩形标注方式对同一段区域内泡沫线与a/o池边沿一起标记，并以对应矩形框的对角线连线分别表示泡沫线和a/o池边沿的位置；然后以a/o池边沿拟合曲线为基准，判断泡沫线是否溢出；通过在yolov5x模型中添加se注意力机制、以sppcspc代替sppf和引入giou损失函数等措施，增强了网络的特征提取能力，提高了泡沫线检测精度，结果表明，该方法的准确率达到98.9%，每秒检测帧数为26.2帧，可以满足实际应用下的检测精度与实时性要求。

56、本发明采用图像处理+深度学习方法对a/o池内产生的泡沫进行实时监测，并同时采用改进yolov5x的泡沫线位置检测模型，加强了模型的特征提取能力与特征融合能力，大幅提升了泡沫线的检测精度与速度，而且还能基于泡沫线溢出预测模型能够准确判断泡沫是否溢出并进行报警；此外，检测摄像头只需安装在a/o池边缘的合适位置即可，不再需要人工监督，即可实现无人化的泡沫线实时在线监测，部署简单，无需额外硬件投入，适用面广。