基于深度学习的絮体检测方法、存储介质及设备

发明属于絮状物体特征参数检测，涉及一种絮体检测方法、存储介质及设备。

背景技术：

1、活性污泥法能够有效地去除废水中的有机物、悬浮固体、氮、磷等污染物，是目前处理城市污水最常用的方法，全世界大约有50000座城镇污水处理厂都使用这个方法。然而，活性污泥法也存在一些常见的运行问题，即污泥状态异常，例如膨胀或者污泥流失。污泥膨胀是由于污泥中的丝状菌生长过度引起的，它会影响二次澄清的效果，使得活性污泥难以从出水中分离，从而降低出水水质、增加运行成本和环境风险。因此，如何监测和诊断活性污泥的状态对于保证活性污泥法的处理效率至关重要。

2、相比于传统方法，污泥絮体通常具有复杂形状、纹理等特征，传统的基于规则或者手工提取的方法很难捕捉这些复杂特征的细节。深度学习的模型可以通过多层神经网络自动学习和提取污泥絮体的高级特征表示，从而更好地区分和检测不同类型的絮体。且深度学习的模型大规模数据的学习能力更强，可以应对复杂变化，能够根据不同数据集和任务自适应的进行学习和调整，具有较强泛化能力。

3、目前，已有许多指标被提出来评价活性污泥的特性，但是这些指标往往需要复杂的实验操作和分析方法，不适合在实际工程中快速直接使用。因此，寻找一种能够简便、准确地反映活性污泥状态的指标具有重要意义。

4、传统的用于活性污泥图像分割的方法主要有阈值分割法、梯度边缘法、方差算子和laplace算子、分水岭分割、区域分割等。但这些传统的图像分割方法都是基于絮体之间的灰度对比去实现分割，通常需要手动设置一些参数来实现自动分割。且在较为复杂的环境下中，传统方法对污泥絮体图像难以达到高性能的分割结果。此外，污泥絮体的形态和大小都会发生变化，这使得污泥显微图像的分割变得更加复杂和困难。污泥显微图像中的絮体形态、大小、分布等具有很大差异，在不同的水处理工艺条件下，在图像中还存在着许多杂质、噪声的干扰，这些干扰会对污泥絮体的识别和分割造成影响，降低分割的准确度。

5、目前对于污泥显微图像进行定量图像分析的方法大多停留在一维的类比，或者是二维、三维的交叉分类，从图形中提取到的多为直接可测量的简单特征。通过深度学习的模型对污泥图像就行识别的过程中，还存在分割精度不高等问题。

6、在日常生活中也会遇到其他絮体的监测，与污泥絮体类似，由于絮体自身形态学的特点，也存在分割精度不高等问题。

技术实现思路

1、本发明为了解决现有技术对絮体的识别和分割时存在分割精度有待于进一步提高的问题。

2、一种基于深度学习的絮体检测方法，包括以下步骤：

3、对视频进行抽帧，提取图片格式的絮体图像，然后进行絮体的识别，基于神经网络模型对絮体进行识别得到掩膜图，记为原始掩膜；

4、同时通过灰度直方图和灰度共生矩阵实现对絮体的纹理特征的提取；

5、将提取的纹理特征跟原始掩膜进行卷积操作获得特征图，并将特征图再与原始掩膜行加权，以获得修正后的掩膜；再使用形态学操作进行平滑处理，输出分割结果，进而得到絮体的形态学参数。

6、进一步地，形态学参数包括絮体数量、面积、长度、宽度、分形维数。

7、进一步地，所述基于神经网络模型对絮体进行识别得到掩膜图的过程如下：

8、基于神经网络模型对絮体进行识别的网络模型记为絮体识别网络；基于maskrcnn，絮体识别网络采用特征提取网络作为主干网络，主干网络包括5个卷积单元，分别记为c1-c5，基于主干网络搭建特征金字塔fpn，在此基础上进行改进得到絮体识别网络：

9、将絮体图像输入到主干网络第一个卷积单元c1中，c1使用的是7×7的卷积核进行卷积处理，然后进行下采样操作；将得到的特征图依次输入到c2-c5中，c2-c5中的每个卷积单元包含多个卷积块，c2-c5逐步提取图像的特征；

10、在c2-c5的卷积块中，首先进行1×1的卷积操作，然后进行3×3的卷积操作，最后再进行1×1的卷积调整通道数；同时在每个卷积块中会进行下采样，对特征图进行降维，同时通道数增加一倍；最终的特征图是经过五次压缩的特征图；

11、基于特征提取网络-fpn网络结构，在fpn网络上新增自底向上的侧边网络，在特征提取网络下采样生产的c2、c3、c4、c5经过1*1的卷积得到特征图p2、p3、p4、p5基础上，横向连接增加一个侧边网络路径即自下而上的反向连接路径；p2通过1×1卷积得到t2特征图之后，再进行3×3的卷积操作得到d2，且在反向连接路径中t2进行下采样后将其与相邻高层特征图p3通过1×1卷积后的结果进行相加，输出t3；t3同样需要进行3×3卷积输出d3；在反向连接路径中t3进行下采样后将其与相邻高层特征图p4通过1×1卷积后的结果进行相加，输出t4；t4同样需要进行3×3卷积输出d4，在反向连接路径中t4进行下采样后将其与相邻高层特征图p5通过1×1卷积后的结果进行相加，输出t5；t5同样需要进行3×3卷积输出d5；

12、在特征提取网络下采样生产的c2、c3、c4、c5各自输入一个双注意力机制danet网络，danet网络和fpn网络为并列设置的网络，将特征图d2、d3、d4、d5与双注意力机制生成的特征图分别相加得到的特征图输入到rpn网络，得到一系列的候选框，即包含感兴趣的目标建议框；获取的包含感兴趣的目标建议框通过roialign网络的双线性插值操作，将不同尺寸的候选框映射到固定输出尺寸的位置上，并使用双线性插值法计算采样点处的像素值，然后对这些采样点进行最大池化操作，得到一个2×2大小的特征图，并对其进行量化处理；接着采用非极大值抑制算法nms处理，从而得到最终输出固定尺寸的特征图；

13、将生成的特征图输入到pointrend细化分割单元获取边缘分割更精细的絮体掩膜图；分类和边界回归分支依旧对絮体进行分类、回归，最后获取最终的预测结果。

14、进一步地，pointrend中的点选择模块采用的选择策略如下：

15、k’i＝argminki|p(ki)-0.5|

16、式中，p(ki)——点k属于掩膜边缘的概率；k’i——选择的点的集合。

17、进一步地，所述特征提取网络采用resnet101网络模型。

18、进一步地，对视频进行抽帧的过程采用帧间差分法选择局部最大值最作为视频的关键帧进行抽取。

19、进一步地，絮体的纹理特征包括熵值、对比度、相关性算子。

20、进一步地，将絮体图像输入到主干网络第一个卷积单元c1之前对絮体图像进行缩放至1024×1024的大小，边界补零填充像素。

21、一种计算机存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的一种基于深度学习的絮体检测方法。

22、一种基于深度学习的絮体检测设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的一种基于深度学习的絮体检测方法。

23、有益效果：

24、本发明引入双注意力机制模块，可以有效增强特征提取能力；同时本发明应用改进后的fpn模块，可以获取更丰富的底层信息特征；此外本发明利用pointrend模块能够有效提高边缘分割结果的准确性。本发明不仅提高了诸如污泥絮体等絮体状态物的分割精度，而且在絮体图像上减少了检测时出现的重复检测和漏检问题。