一种通过神经网络实现超滤膜污染评价的方法、装置、系统与流程

本发明涉及过滤技术领域，更具体地涉及实时通过神经网络实现超滤膜污染评价的方法、装置、系统以及计算机存储介质。

背景技术：

随着经济社会的发展，水环境污染加剧，水源水质恶化，水中的污染物尤其是有机污染物越来越多。而传统的饮用水处理方法仅对一般的有机污染物起作用，对“两虫”、藻类的去除效果不佳，且消毒容易产生副产物。超滤(ultrafiltration，uf)技术能满足新一代饮用水净化工艺要求，去除饮用水中的“两虫”、病毒、细菌、藻类、水生生物，保障饮用水的安全性，已广泛应用于美国、日本等发达国家的城市水厂。超滤技术是介于微滤和纳滤之间的一种膜分离技术。超滤膜可截留水中绝大部分悬浮物、胶体，但无法去除溶解性小分子物质，阻碍超滤技术在饮用水处理中的应用。

超滤膜是一种用于超滤过程能将一定大小的高分子胶体或悬浮颗粒从溶液中分离出来的高分子半透膜。然而据调查，就超滤而言，膜污染仍是主要问题，膜污染的消除将使超滤过程效率提高30％以上，使投资减少15％，而且能提高分离效果，是超滤范围拓宽。

在这样的背景下，膜污染评价已经成为了一个重要的研究方向。现有技术中膜污染评价的思路主要是基于理论机理来进行推导得到个模型的关系式。这种方法往往只根据模型的关系式中的几个参数进行推导，对参数的要求很严格，然而实际运行中可能某些参数并没有检测，这样导致缺失一个参数的数据就无法得到最终的结果。例如，现有技术中，很多计算膜污染的关系式都有跨膜压差，而有些渗滤液处理厂为了节约成本没有安装检测设备，这就导致这种方法行不通。还有依据人工经验来判断污染程度，但是不同的运行人员操作结果的差异可能较大。因此，现有技术中对于膜污染评价可能存在不适用实际情况的问题。

本发明专利的目的在于基于神经网络对超滤膜污染进行评价，达到膜污染预警的效果，同时该评价模型相比传统的理论机理模型以及人工经验更加具有普遍适用性。并且本发明专利的有益效果，一方面由于神经网络评价模型具有自学习功能，避免了人工经验的差别而导致运行效果差异较大的情况，从而提高评价的准确性，另一方面可以避免理论公式对参数的苛刻要求，易于实施。

技术实现要素：

考虑到上述问题而提出了本发明。本发明提供了一种通过神经网络实现超滤膜污染评价的方法，所述方法包括：将原始数据进行预处理，采用预处理后的数据集对神经网络模型进行训练，基于获得的神经网络模型，评价新工况下的膜污染情况。本发明一方面由于神经网络评价模型具有自学习功能，避免了人工经验的差别而导致运行效果差异较大的情况，从而提高评价的准确性，另一方面可以避免理论公式对参数的苛刻要求，易于实施。

根据本发明一方面，提供了一种通过神经网络实现超滤膜污染评价的方法，其特征在于，所述方法包括：

步骤s1，将原始数据进行预处理，

步骤s2，采用预处理后的数据集对神经网络模型进行训练，

步骤s3，基于获得的神经网络模型，评价新工况下的膜污染情况。

示例性地，所述步骤s1将原始数据进行预处理包括：缺失值处理、异常值处理；

示例性地，所述缺失值处理的方法包括：删除法、填补法等；

示例性地，在对所述异常值进行处理之前还包括：对异常值进行判别；其中，所述对异常值进行判别的方法主要包括：统计分析方法、3σ原则、箱型图分析方法等；

示例性地，所述步骤s1将原始数据进行预处理还包括：数据标准化、变量筛选等；

示例性地，在所述将原始数据进行预处理之前还包括：获取超滤的水质数据及其它运行数据等；

示例性地，所述获取超滤的水质数据以及其他运行数据包括：获取不同工况下的数据；其中，通过采样获取所述不同工况下的数据，所述采样对应变量取距离上一次清洗时间、cod、氨氮、污泥浓度、进水流量、温度、进水压力、产水流量、浓水压力等；

示例性地，所述步骤s2采用预处理后的数据集对神经网络模型进行训练进一步包括：

步骤s21，将预处理后的数据集划分成训练集和测试集；

步骤s22，采用训练集进行训练神经网络模型，并采用测试集来对建立的模型进行评价；

步骤s23，重复s21和s22，来优化模型的参数，使模型结果达到预期，获取达到模型结果预期的模型。

示例性地，所述步骤s23的所述优化模型的参数过程中包括，采用梯度下降法。

其中，所述梯度下降法采用的公式如下：

其中θi表示求解的待定系数，α表示步长，j(θ)表示关于θ令方差最小的损失函数。

示例性地，所述获得的神经网络模型包括三层网络结构；

其中，所述三层网络结构包括：输入层、隐藏层和输出层。

根据本发明的另一方面提供一种通过神经网络实现超滤膜污染评价的装置，其特征在于，包括：

预处理模块，用于将原始数据进行预处理，

训练模块，用于采用预处理后的数据集对神经网络模型进行训练，

评价模块，基于获得的神经网络模型，评价新工况下的膜污染情况。

根据本发明另一方面，提供一种通过神经网络实现超滤膜污染评价的系统，所述系统包括存储器和处理器，所述存储器上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时执行本发明的通过神经网络实现超滤膜污染评价的方法。

根据本发明另一方面，提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明的通过神经网络实现超滤膜污染评价的方法的相应步骤，并且用于实现根据本发明实施例的通过神经网络实现超滤膜污染评价的装置中的相应模块。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是用于实现根据本发明实施例的通过神经网络实现超滤膜污染评价的方法的示意性流程图；

图2是神经网络的结构示意图；

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。

在现有技术中，基于跨膜压差进行膜污染评价主要采用以下两种方法：

第一种方法是采用公式：

其中，p表示膜污染程度；qt表示膜组件运行时间t后，单位时间产水量；q0表示膜组件单位时间内初始产水量，prediff0和predifft分别表示膜组件运行初始膜压差和运行时间t后膜压差。

而针对没有测量跨膜压差的，我们假定跨膜压差恒定情况下采用产水量来进行计算：

另一种方法是采用公式：

1/j′sp＝1+(fi)vsp

其中j表示膜通量，单位l/(m²·h)；

j′sp表示相对单位膜通量，计算公式：j′sp＝jsp/jsp0，无因次量；

jsp表示单位膜通量，计算公式：jsp＝j/p，单位l/(m²·h·pa)；

p表示跨膜压差，单位pa；

jsp0表示过滤初始阶段单位膜通量，计算公式：jsp0＝j0/p0，单位l/(m²·h·pa)；

j0表示过滤初始膜通量，单位l/(m²·h)；

p0表示过滤初始跨膜压差，单位pa；

vsp表示单位面积膜的产水量，单位l/m²；

fi表示膜污染指数，单位m²/l。

并且，根据j′sp的不同，可以计算出不同的fi。fi可以用于表征膜污染速率，即fi越小，污染越缓慢；反之，则污染越快。fi不区分具体的污染机制，计算方法简明扼要，可以较好地描述膜污染情况，表征污染速率以及污染程度。通量恒定时，fi的大小可直接决定最终的压头损失；而跨膜压差恒定时，fi直接与最终的产水量有关。

下面，参照图1至图2来描述本发明实施例提出的通过神经网络实现超滤膜污染评价的方法。示例性地，本发明的神经网络结构为三层结构，其中图2示出了本发明一实施例中的神经网络的结构示意图，图2示出了根据本发明一实施例中的通过神经网络实现超滤膜污染评价的方法的示意流程图。

参照图2可知，本申请的通过神经网络实现超滤膜污染评价的方法，其主要包括如下步骤：

步骤s1，将原始数据进行预处理，

步骤s2，采用预处理后的数据集对神经网络模型进行训练，

步骤s3，基于获得的神经网络模型，评价新工况下的膜污染情况。

示例性地，所述步骤s1将原始数据进行预处理包括：根据实际工艺，如果没有安装测量出水压力的装置，可以根据原理超滤膜出水压力等于进水压力减去浓水压力，从而计算出超滤膜压差等于进水压力与出水压力的差值。

其中，涉及到初始膜压差和膜通量的确定，本发明包括选取运行工况最好情况作为初始状态，对应的膜压差和膜通量作为初始膜压差和初始膜通量；选取运行工况最好的情况作为初始状态更加具有参照性和科学性，并且能够提高评价的准确度。

其中，膜通量计算公式：

j＝v/(t×a)

其中，j是膜通量，v是取样体积l，t是取样时间h，a是膜有效面积。

示例性地，所述步骤s1将原始数据进行预处理包括：缺失值处理、异常值处理；

在实际运行过程中，可能出现数据采集终端短时故障等情况，而导致数据缺失，这就需要对缺失值进行处理，在缺失值处理时可以采用本领域技术人员知晓的所有合适的方法实现；

示例性地，所述缺失值处理的方法包括：删除法、填补法等；

其中删除法包括将有缺失的数据样本或有过多缺失数据的变量直接删除；填补法包括替代法和模型预测法，其中替代法有均值插补法、众数插补法、就近补齐法等，模型预测法有回归法、极大似然估计法、灰度理论法、随机森林法等。上述填补法属于示例，本领域其他的能够解决缺失值问题的方法均可以在此处运用。

优选地，本发明采用回归填补法处理缺失值，一方面因为根据实验情况，可以发现超滤进水水质变化波动有一定的规律性，根据回归填补法可以尽可能的还原缺失数据；另一方面通过回归填补法填补缺失值可以提高后续神经网络模型训练的有效性，进而提高神经网络模型进行膜污染评价的准确性。

由于数据的采集通常是通过仪表设备进行的，而仪表设备难免会出现故障等情况，这样就会导致采集的数据出现个别数据异常，即出现数据异常值。

为了提高采集数据的准确性，因而需要对异常值进行处理；

示例性地，在对所述异常值进行处理之前包括：对异常值进行判别；先从采集的数据中找出数据的异常值，从而进一步对所述异常值进行处理。

其中，所述对异常值进行判别的方法主要包括：统计分析方法、3σ原则、箱型图分析方法等；

统计分析方法包括对各属性值的数据进行一个描述性的统计，从而判别出异常值；3σ原则中σ表示标准差，先假设一组检测数据只含有随机误差，对其进行计算处理得到标准偏差，按一定概率确定一个区间，认为凡超过这个区间的误差，就不属于随机误差而是粗大误差(即异常值)，含有该粗大误差的数据应予以剔除就得出3σ；箱形图(box-plot)又称为盒须图、盒式图或箱线图，是一种用作显示一组数据分散情况资料的统计图，箱形图的绘制依靠实际数据，不需要事先假定数据服从特定的分布形式，没有对数据作任何限制性要求，它只是真实直观地表现数据形状的本来面貌，由此可见，箱形图在识别异常值方面有一定的优越性。当然，本领域其他合适的用于判定数据异常值的方法也可以在此处应用。

在经过上述异常值判定方法判定出异常值之后，接下来进行异常值的处理，所述异常值的处理主要包括：直接删除异常值；或者将异常值视为缺失值，即可以采用本申请上述处理缺失值的方法来处理异常值；又或者用平均值来进行修正。本领域其他的能够解决异常值问题的方法均可以在此处运用。

示例性地，所述步骤s1将原始数据进行预处理还包括：数据标准化、变量筛选等；

由于各个参数的量纲存在差异，需要进行数据标准化将参数转成无量纲，进而便于计算。

本申请中可以根据采样时间内的数据、相关系数、以及信息熵等确定模型的参数，其中输入参数包括：距离上一次清洗时间、cod、氨氮、污泥浓度和温度，输出参数包括：膜污染指数。

示例性地，在所述将原始数据进行预处理之前还包括：获取超滤的水质数据及其它运行数据等；

在很多情况下，运行时为了满足设计参数的需求，通常将功率开到满频，这就导致历史数据的工况较少，如果直接使用这些数据进行建模，将会导致效果不佳。因此需要进行一段时间的实验，来获取不同工况下的数据进行训练，从而提高模型的准确性。

示例性地，所述获取超滤的水质数据以及其他运行数据包括：获取不同工况下的数据；其中，通过采样获取所述不同工况下的数据，所述采样对应变量取距离上一次清洗时间、cod、氨氮、污泥浓度、进水流量、温度、进水压力、产水流量、浓水压力等；

示例性地，本发明在渗滤液中对超滤数据进行采样；

示例性地，所述步骤s2采用预处理后的数据集对神经网络模型进行训练进一步包括：

步骤s21，将预处理后的数据集划分成训练集和测试集；

步骤s22，采用训练集进行训练神经网络模型，并采用测试集来对建立的模型进行评价；

步骤s23，重复s21和s22，来优化模型的参数，使模型结果达到预期，获取达到模型结果预期的模型。

示例性地，所述步骤s23的所述优化模型的参数过程中包括，采用梯度下降法。

其中，所述梯度下降法采用的公式如下：

其中θi表示求解的待定系数，α表示步长，j(θ)表示关于θ令方差最小的损失函数。

示例性地，所述获得的神经网络模型包括三层网络结构；参考图2可知，其中，所述三层网络结构包括：输入层、隐藏层和输出层。

其中，除了输入层，每一层的节点都包含了一个非线性变换。

示例性地，本发明中的神经网络模型包括，输入层节点数为6个，输出层节点数为1个，隐藏层为一层，隐藏层节点数为7个。

具体地，可以根据实际的需要来设计和选择神经网络模型的层数以及节点个数。

其中，本发明采用通用的sigmoid函数作为激活函数数。

示例性地，神经网络模型可以需要根据具体工艺、具体采样时间进行重新更新模型参数，以符合工况的变化。

根据本发明的另一方面提供一种通过神经网络实现超滤膜污染评价的装置，其特征在于，包括：

预处理模块，用于将原始数据进行预处理，

训练模块，用于采用预处理后的数据集对神经网络模型进行训练，

评价模块，基于获得的神经网络模型，评价新工况下的膜污染情况。

根据本发明另一方面，提供一种通过神经网络实现超滤膜污染评价的系统，所述系统包括存储器和处理器，所述存储器上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时执行本发明的通过神经网络实现超滤膜污染评价的方法。

根据本发明另一方面，提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明的通过神经网络实现超滤膜污染评价的方法的相应步骤，并且用于实现根据本发明实施例的通过神经网络实现超滤膜污染评价的装置中的相应模块。

现如今很多水处理针对何时清洗膜都是根据经验来判断，而人员流动因素难免会导致运行人员的经验良莠不齐。也有根据理论公式来进行评价，但对参数的要求很苛刻，在实际操作中可行性不佳。而本发明中采用神经网络的方法给出科学的膜污染评价，一方面具有自学习功能，避免了人工经验的差别而导致运行效果差异较大的情况，从而提高评价的准确性，另一方面可以避免理论公式对参数的苛刻要求，易于实施。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。