基于深度数据清洗的在线智能投矾系统的制作方法

本发明涉及自来水处理优化，具体领域为一种基于深度数据清洗的在线智能投矾系统。

背景技术：

1、随着经济水平的提高，人民对生活品质的要求也越来越高，而水作为人们日常生活中必不可少的部分，水质问题已经成为社会热切关注的问题；目前来说，虽然自来水处理是比较成熟的技术，但还是有很大的提升空间，尤其是混凝剂投加环节，混凝剂是自来水处理的常见药剂，它能够对水进行简单的处理，降低对人体的危害，达到一定的过滤效果；混凝剂投加作为自来水厂混凝沉淀工艺中的重要环节，是影响出水水质效果的关键环节。而目前主要是通过人工控制进行混凝剂投加，由于对水厂操作人员要求较高，并时常出现过量投加、水质质量欠缺等问题，无法满足新时代的数字化智慧水厂运行需求；

2、另外对于智能化的自动加药系统，由于人工控制阶段的工程数据存在“数据过于繁杂、质量不够稳定”的特征，一定程度上影响了理论模型在离线建模阶段的可靠性。因此，基于水厂大数据的数据处理和质量控制无疑是理论建模的重要环节。现有的数据清洗方法如箱型图和滑动平均异常值处理等，展现了相较传统硬阈值清洗更强的性能，能够建立精度更高的理论模型。然而，对于工程异常数据而言，除了明显的统计异常数据，还包括了逻辑异常数据，如跳点样本、出水浊度倒挂样本等。因此，在如今的智能化发展的背景下，亟需更完善的深度数据清洗框架，以保障系统能在智能化、无人化值守的环境下，得到更高质量的工程数据，并进一步协助建立高精度理论模型；

3、此外，人工智能方法因其复杂性和“黑箱”特性，当历史数据质量不稳定时，容易产生因过拟合而导致预测结果有悖于工程逻辑的问题。比如如图1所示在原水浊度上升的工况下，预测投药量反而下降。

技术实现思路

1、针对现有技术存在的不足，本发明的目的在于提供一种基于深度数据清洗的在线智能投矾系统。

2、为实现上述目的，本发明提供如下技术方案：一种基于深度数据清洗的在线智能投矾系统，以前馈-反馈控制系统框架为基础，包括前馈系统的数据挖掘与建模、在线数据清洗与模型更新，根据前馈系统的数据挖掘与建模和在线数据清洗与模型更新，实现pac预测投药；

3、前馈系统的数据挖掘与建模：

4、(1)基于水厂原有的运行监测数据，进行数据清洗；

5、(2)数据清洗后对筛选的样本数据进行数据分析，建立统计模型；

6、(3)根据数据变化要求建立多元非线性投药统计模型，进行工况模拟评估；

7、在线数据清洗与模型更新：

8、(1)对水厂运行数据进行实时数据监测与清洗；

9、(2)根据实时在线数据，进行数据实时识别并标记；

10、(3)根据实时数据监测与清洗模块，将数据分为标识样本和未标识样本；

11、(4)根据设定的模型更新周期，以在线运行时期的未标识数据作为训练数据集，完成理论模型的自适应更新。

12、优选的，根据前馈系统的数据挖掘与建模中步骤(1)，其工程异常数据的清洗方法，步骤如下：

13、1)识别常见的工程异常数据；

14、2)进行硬阈值处理，处理其他明显不符合运行逻辑的样本。

15、3.根据权利要求2所述的基于深度数据清洗的在线智能投矾系统，其特征在于：所述的工程异常数据包括有跳点异常和沉后水浊度倒挂异常，基于沉后水浊度倒挂异常数据识别，需要在开展时间偏移矫正的预处理后再进行。

16、优选的，根据前馈系统的数据挖掘与建模中步骤(2)-(3)，设置原水浊度、沉后水浊度、流量和温度四个变量，建立多元非线性统计模型，其模型表达式为：

17、pac＝a*i4+b*i3+c*i2+d*i+e

18、i＝f(tuts，tute，t，ph，t)

19、其中，i为综合变量，代表不同温度下单位时间的去浊效果，tuts是原水浊度，tute是经过时间偏移的对应沉后水浊度，t为原水温度，ph为原水ph值，t为时间偏移量。

20、优选的，根据在线数据清洗与模型更新中步骤(1)-(3)，设置空值、跳点异常和沉后水倒挂异常三类数据异常进行数据识别响应。

21、优选的，针对空值与沉后水倒挂的数据识别，采用实时识别并标记。

22、优选的，针对跳点异常的数据识别，采用长短期突变识别，其步骤如下：

23、1)若当前样本为突变样本，则进行标记；

24、2)当前样本为突变样本的情况下，回溯至上一个未标记样本，并累计标记数目；

25、3)若累计数小于设定步长，则当前样本为短期突变样本。

26、与现有技术相比，本发明的有益效果是：将深度数据清洗与分析引入在线pac智能投加系统，以物理经验为基础，建立了高稳定性的非线性理论模型，在保障系统稳定性和水质达标的前提下，实现了合理智能投药，达到节药目的。同时，通过接入实时数据监测与清洗模块，进一步保障了历史数据的稳定性，并建立优质数据库以辅助理论模型的自学习在线更新和未来的数据再分析，可持续更新的精确投药模型保障了数字水厂在少无人环境下投矾的长期安全运行和水质目标实现。

27、建立自来水厂智能投矾系统是优化制水药剂投加策略和降低水质风险的有效途径。应用科学的深度数据清洗方法，结合前馈-反馈统计模型耦合算法，动态地根据水质控制目标提供更精确的药量投加指令和输出自学习更新模型，不但可以稳定出水水质和降低药耗，提升水厂的经济运行水平，还可以持续提升模型精度，实现数字水厂的少无人运营目标。

技术特征：

1.一种基于深度数据清洗的在线智能投矾系统，以前馈-反馈控制系统框架为基础，其特征在于：包括前馈系统的数据挖掘与建模、在线数据清洗与模型更新，根据前馈系统的数据挖掘与建模和在线数据清洗与模型更新，实现pac预测投药；

2.根据权利要求1所述的基于深度数据清洗的在线智能投矾系统，其特征在于：根据前馈系统的数据挖掘与建模中步骤(1)，其工程异常数据的清洗方法，步骤如下：

3.根据权利要求2所述的基于深度数据清洗的在线智能投矾系统，其特征在于：所述的工程异常数据包括有跳点异常和沉后水浊度倒挂异常，基于沉后水浊度倒挂异常数据识别，需要在开展时间偏移矫正的预处理后再进行。

4.根据权利要求1所述的基于深度数据清洗的在线智能投矾系统，其特征在于：根据前馈系统的数据挖掘与建模中步骤(2)-(3)，设置原水浊度、沉后水浊度、流量和温度四个变量，建立多元非线性统计模型，其模型表达式为：

5.根据权利要求1所述的基于深度数据清洗的在线智能投矾系统，其特征在于：根据在线数据清洗与模型更新中步骤(1)-(3)，设置空值、跳点异常和沉后水倒挂异常三类数据异常进行数据识别响应。

6.根据权利要求5所述的基于深度数据清洗的在线智能投矾系统，其特征在于：针对空值与沉后水倒挂的数据识别，采用实时识别并标记。

7.根据权利要求5所述的基于深度数据清洗的在线智能投矾系统，其特征在于：针对跳点异常的数据识别，采用长短期突变识别，其步骤如下：

技术总结
本发明涉及自来水处理优化技术领域，尤其是一种基于深度数据清洗的在线智能投矾系统，包括前馈系统的数据挖掘与建模、在线数据清洗与模型更新，根据前馈系统的数据挖掘与建模和在线数据清洗与模型更新，实现PAC预测投药，本发明在满足沉后水浊度的同时，极大的节约了投药成本。

技术研发人员：金盛,陈航美,卢汪洋,何福耀
受保护的技术使用者：上海澈略科技有限公司
技术研发日：
技术公布日：2024/1/14