基于云计算的分散式污水处理智能平台的制作方法

本发明涉及污水处理领域技术领域。

背景技术：

现有技术中海量分散污水处理监控，分散式污水处理设施难以管理，污水处理设施运行成本高。

随着我国经济快速增长，城镇化率不断提升，农村污水环境问题日益突出，污水处理设施不断增加；决策者不断提升对污水处理设施的管理力度和管理能力，大大提升了污水处理的能力，为精准治水提供数据分析的基础依据和科学指导思路，从而降低运维成本。

技术实现要素：

本发明旨在提供面向分散式污水处理设施的智能平台，通过实时监测数据采集、传输、分布式存储、实时智能分析并远程控制污水处理设施，从而实现面向大规模分散式污水处理设施的智能化监测控制，提升污水处理设施的运行效率；且平台提供智能分析与可视化能力，提升分散污水处理设施的运营管理水平。

技术方案

一种基于云计算的分散式污水处理智能平台，包括数据监控模块、数据传输模块、数据接收模块、数据存储模块、设施控制模块、智能分析模块、可视化模块，通过所述数据监控模块、数据传输模块、数据接收模块、数据存储模块、设施控制模块、智能分析模块、可视化模块的协同构建了一个完整的从监测数据采集、传输、存储、分析、控制的闭环，实现了智能化的分散污水处理设施监测控制：通过收集的各个分散污水处理设施的基础信息、实时采集传输的分散污水处理设施监控信息，构建一个完善的分散污水处理数据库，系统智能分析模块根据数据库内的信息，针对每个分散污水处理设施制定运行参数，通过控制模块对设施进行调控；平台实现了污水处理信息的收集、分析和共享，通过可视化模块以地理信息的形式实现了分散污水处理设施的空间分布的可视化、实现了基于地理位置的运行状态可视化；平台的告警功能根据智能分析的结果对管理人员进行及时告警，提升了管理能力和响应速度。

具体的：

所述数据监控模块有安装在各分散污水处理设施上的传感器组成，用于采集各分散污水处理设施的各项运行指标，包括进水水量、出水水量、进水(ph、do、ss、温度、cod、氨氮、tn、tp、浊度、电导率)、出水进水(ph、do、ss、温度、cod、氨氮、tn、tp、浊度、电导率)、耗电量、风机电流、电压、泵机电压、电流、设备供电状态。

所述数据传输模块，用于将数据监控模块实时监控的数据传输至云端服务器。

所述数据接收模块，同时接受大量分散污水设施实时传输的大量数据，并交由数据存储模块存储。进一步的，所述数据接收模块运行于云端服务器；云端服务器通过数据接收模块接收数据后，利用数据存储模块根据时间戳分布式存储；接收到实时监测数据组成完备的分散污水处理设施监测数据库，同时数据写入kafka消息队列系统。

所述数据存储模块，用于实现高性能的海量分散污水处理设施监控数据的存储，由关系型数据库及分布式存储组成。进一步的，所述数据存储模块由三个数据库组成，一个是时序数据库influxdb，用来存储设备上传过来的数据，一个是关系型数据库postgresql，存储关系型数据，一个是no-sql数据库redis，用作缓存，支持海量数据的读取。

所述智能分析模块，用于对接收到的实时监控数据进行智能分析，判断各个污水处理设施的运行状态、污水处理效果，并根据分析结果，通过调用设施控制模块对分散污水处理设施进行控制；该模块还实现对监测数据的各类统计分析，根据智能分析模块的分析结果，告警模块会对相应的运维公司、管理人员进行告警，以便其对故障或将要发生的故障进行处理。

进一步创新，所述智能分析模块包括分布式流处理子系统、实时计算分析算法模块、定时计算分析算法模块：

其中，

所述实时计算分析算法模块利用分布式流处理子系统，将接收到的无界数据流进行实时处理，通过设计了基于nfa的复杂事件处理能力算法，实时检测复杂告警规则；

所述分布式流处理子系统中的复杂事件处理能力算法，为复杂事件描述及执行：基于模式描述，转换为nfa，即非确定有限自动机；nfa由点和边组成的一个状态图，以分散污水处理设施运行指标的一个初始状态作为起点，经过一系列的中间状态，达到终态。点分为起始状态、中间状态、最终状态三种，边分为take、ignore、proceed三种；

take：必须存在一个条件判断，当到来的分散污水处理设施运行指标流数据满足take边条件判断时，把这个流数据放入结果集，将状态转移到下一状态；

ignore：当流数据到来时，可以忽略这个流数据，将状态自旋在当前不变，是一个自己到自己的状态转移；

proceed：又叫做状态的空转移，当前状态可以不依赖于消息到来而直接转移到下一状态；

根据模式流数据在各个中间状态间流转，如果流转到终态，则事件触发。

所述定时计算分析算法模块基于python的apscheduler框架，自定义任务的执行时间，对当前已存数据，按照不同检验规则去校验，如果异常，则产生详细的报警信息并实时通知到用户。

附图说明

图1为本发明智能分析模块中间状态间流转图

图2为本发明分布式流处理子系统步骤图

图3为本发明平台的模块结构图

图4为本发明方法的流程图

具体实施方式

下面通过具体的实施方式进一步详细说明：

为了对各个分散污水处理设施进行集中监控、智能分析控制，实现分散污水设施的集中式管理、实现其生产和处理过程的有效监控及故障的及时排除和维护，提升分散污水处理设施的运行效率，本发明提供了一套基于云计算的分散式污水处理智能平台。

如图3、图4所示：

一种基于云计算的分散式污水处理智能平台，包括数据监控模块、数据传输模块、数据接收模块、数据存储模块、设施控制模块、智能分析模块、可视化模块，通过所述数据监控模块、数据传输模块、数据接收模块、数据存储模块、设施控制模块、智能分析模块、可视化模块的协同构建了一个完整的从监测数据采集、传输、存储、分析、控制的闭环，实现了智能化的分散污水处理设施监测控制：通过收集的各个分散污水处理设施的基础信息、实时采集传输的分散污水处理设施监控信息，构建一个完善的分散污水处理数据库，系统智能分析模块根据数据库内的信息，针对每个分散污水处理设施制定运行参数，通过控制模块对设施进行调控。平台实现了污水处理信息的收集、分析和共享，通过可视化模块以地理信息的形式实现了分散污水处理设施的空间分布的可视化、实现了基于地理位置的运行状态可视化。平台的告警功能根据智能分析的结果对管理人员进行及时告警，提升了管理能力和响应速度。

具体的：

数据监控模块有安装在各分散污水处理设施上的传感器组成，用于采集各分散污水处理设施的各项运行指标，包括进水水量、出水水量、进水(ph、do、ss、温度、cod、氨氮、tn、tp、浊度、电导率)、出水进水(ph、do、ss、温度、cod、氨氮、tn、tp、浊度、电导率)、耗电量、风机电流、电压、泵机电压、电流、设备供电状态等。数据采集的频率不低于每秒1次。同时部分分散污水处理设施的监控中有图像、视频采集传感器，可以按照指令要求采集污水处理设施的实时图像或视频。本实施例中数据监测模块安装在各个分散污水处理设施中，各个设施根据实际情况传感种类及监测数据种类有所区别，系统可以自适应支持。实施例中的数据监控模块还带有本地存储能力，可以存储一段时间的该站点的检测数据。

数据传输模块，主要用于将数据监控模块实时监控的数据传输至云端服务器。实施例中的数据传输，用于将数据监控模块采集到的监测数据传输至远端服务器。实施例中该模块基于dtu(数据传输模块)实现，基于modbus协议，传输频率为每分钟1次。实施例还设置移动检测车传输的监测数据。进一步，数据传输模块支持基于http的restfulapi协议、支持基于tcp/ip或plc的modbus协议。能够很好地支持监控设备数据传输。

数据接收模块，主要用于实现高性能数据接收任务，能够同时接受大量分散污水设施实时传输的大量数据，并交由数据存储模块存储。实施例中的数据接收模块，运行于云端服务器。接受数据传输模块传输的监控数据。该模块基于http的restful接口、以太网tcp/ip的modbus协议。该模块实时接收大量分散污水处理设施传输的监控数据，接受移动检测车传输的监测数据。该模块基于webservice，数据json格式或二进制编码形式。该模块利用多线程，多路io技术可以同时支持大量设施的数据接收工作。

作为举例而非限定，实施例数据接收模块可以基于python的flask框架，搭建restful接口，接收json格式的数据，并且做简单的校验，如字段是否按照接口规范传值，关键字段设备编码是否有值等，如存在异常，会将详细的异常信息返回给调用方。modbus协议接口是通过socket提供服务。客户端连接服务器，服务器向客户端发送指定，询问客户端是否准备就绪，如果就绪，客户端就可以向服务器发送数据。服务器在接收数据的时候，会自动判断当前数据是属于新增还是更新，然后在存入数据库。这部分皆为通用成熟技术实现。

数据存储模块，主要用于实现高性能的海量分散污水处理设施监控数据的存储，主要由关系型数据库及分布式存储组成。作为举例而非限定，实施例数据存储模块可以由三个数据库组成，一个是时序数据库influxdb，用来存储设备上传过来的数据，一个是关系型数据库postgresql，存储关系型数据，一个是no-sql数据库redis，用作缓存，支持海量数据的读取。基于关系数据库及分布式存储技术，存储所有的分散污水处理设施基础信息及监测数据。由于分散污水处理设施数量众多，且实时监控数据频率高，要素多，所以数据量庞大。该模块将海量数据，按照时间戳方式、以及要素种类，存储在多个存储节点上，并利用内存作为高速缓存；从而实现海量分散污水处理设施监测的时间序列数据的高速存储及检索能力。这部分皆为通用成熟技术实现。

智能分析模块，主要用于对接收到的实时监控数据进行智能分析，判断各个污水处理设施的运行状态、污水处理效果等，并根据分析结果，通过调用设施控制模块对分散污水处理设施进行控制；该模块还可以实现对监测数据的各类统计分析，根据智能分析模块的分析结果，告警模块会对相应的运维公司，管理人员进行告警。以便其对故障或将要发生的故障进行处理。

设施控制模块，主要用于实现云端平台对各个分散污水处理设施设备的实时控制，由云端控制程序、通信程序以及设备端控制器组成，可实现对污水处理设施的主要设备的实时控制；根据智能异常识别分析模块的分析结果及处理策略，发送数据判断异常的指令至指定的分散污水处理设施。控制其设备，包括各类风机、各类泵机、阀门、电源等，从而实现对分散污水处理设施的实时控制，提升其运行效率和成本控制。

可视化模块，主要用于将存储的分散污水处理监控数据以及智能分析模块的分析结果，以地理信息、图表、图形的形式进行可视化，以供用户快速了解信息便与决策。实施例中的可视化模块，基于地理信息将分散污水处理设施的地理位置分布、地理位置意义上的运行状态可视化；将设施的运行状态和实时监控数据已图形化的方式可视化；将智能分析的结果以各类的图表的形式可视化；可视化的结果可以帮助管理人员快速了解大量分散污水处理设施的情况。

上述实施例中提供了基础信息以及实时监控数据的查询、历史数据翻阅、数据导出等功能，帮助管理人员对数据进行二次利用。

上述实施例平台通过各个功能模块的自核，通过实时获取各个分散污水处理设施的地理位置信息、实时运行状态信息、实时水质等信息，根据各个分散污水处理设施信息对各个设施的实时数据进行接收、存储和智能分析，并根据智能分析的结果对设施进行远程控制；同时平台根据数据库中的基础数据及实时监控数据、历史监控数据，对平台内的所有分散污水处理设施进行智能分析，形成结果为管理人员提供决策依据。最后平台的可视化模块对所有的处理过程、运行状态、分析结果进行可视化。通过整个平台的运营，有效解决了分散污水设施掌握其运行状态困难、监测数据了大、管理效率低等问题。实现了分散污水处理过程中的有效监控及控制，提高了污水处理的监控效率，降低了故障率提升了管理水平，为各个分散污水处理设施的平稳有效运行提供了保障。

进一步的，基于上述平台，如图4所示，实施步骤包括：

步骤1：数据收集和监控

通过收集的分散污水处理设施的基础信息，主要包括：地理位置信息，设施信息，建设单位，人员信息等各类基础信息；

数据监控用于实时监控分散污水处理设施的各项运行指标，主要包括进出水量、各类水质指标、各类设备运行情况指标、用电量指标等，具体的通过于污水处理设施传感器采集ph、do、ss、温度、cod、氨氮、tn、tp、浊度、电导率、耗电量、风机运行情况、泵机运行情况等数据；

步骤2：数据传输

通过dtu(数据传输单元)实时传输至云端服务器；

步骤3：接收及存储

云端服务器通过数据接收模块接收数据后，利用数据存储模块根据时间戳分布式存储；接收到实时监测数据组成完备的分散污水处理设施监测数据库；同时数据写入kafka消息队列系统。

步骤4：对监测数据分析及实时控制

根据接收到的监测数据分析其运行状况；实时做出控制及调节污水处理设施的提升泵、污泥泵、风机、进水水量等设备；

步骤5：平台的智能分析

根据长期接收数据进行各类统计分析，提供决策支持；

步骤6：可视化

基于gis技术将设施运行状态及智能分析结果进行可视化。用于对检测数据进行检索，查看，编辑，导出等。

步骤4对监测数据分析及实时控制，智能异常识别分析模块，读取数据库中的数据，根据以下规则判断设施的运行状况：

当污水处理设施日处水量大于设计处水量时，确定污水处理设施的生产运行状态为异常状态；

当污水处理设施进水水量一定时间内超过设计水量，确定污水处理设施的生产运行状态为水量异常状态；

当污水处理设施进水污染物浓度在一定时间内超过平均值，确定污水处理设施的生产运行状态为水质异常状态，干预策略为控制设施降低进水量；

当污水处理设施进水水质在一定时间内低于平均值，确定污水处理设施的生产运行状态为水质异常状态，干预策略为控制设施增大进水量；

当污水处理设施出水浓度一定时间内低于平均值，确定污水处理设施的生产运行状态为水质异常状态，干预策略为控制设施增大进水量；

当污水处理设施风机不在设定时间内启动或无法远程开启、风机电流电压异常、水泵电流电压异常，确定污水处理设施的生产运行状态为设备异常状态，干预策略为尝试远程重启设备，如无效则告警人工现成确认；

当污水处理设施输出氨氮大于标准值25(mg/l)、出水cod大于标准值100(mg/l)、出水tp大约标准值3(mg/l)时，确定污水处理设施的生产运行状态为效果异常状态，干预策略若系统处于应急处理状态，则不作控制，否则控制设施进行曝气和进水量参数优化。

步骤5平台的智能分析，根据接收到的运行状态监测数据，对分散污水处理设施进行分析，主要的分析内容包括：

按区域、按处理工艺、按处理规模、按年月日对设施总数、设施总处理量、接入和受益农户数和占比、设施处理规模分布、设施处理工艺分布、单户投资成本(设施建设费用/农户受益数)、运维管理成本进行分析；

按区域、按处理工艺、按处理规模、按年月日对污水处理达标率进行分析；

按区域、按处理工艺、按处理规模、按年月日对污水处理去除率进行分析；

按区域、按处理工艺、按处理规模、按年月日对污水处理设施有效运行率、设施在线率、设施告警率、设施故障率、能耗进行分析；

按区域、按处理工艺、按处理规模、按年月日对污水处理超标因子进行分析；

按区域、按处理工艺、按处理规模、按年月日对污水处理去除率异常值、进水浓度异常值、进水各指标浓度相关性进行分析。

进一步创新，所述智能分析模块包括分布式流处理子系统、实时计算分析算法模块、定时计算分析算法模块：

所述智能分析模块分为两个模式实现，即包括实时计算分析算法模块、定时计算分析算法模块：

一、一种属于实时计算分析模式，利用分布式流处理子系统，将接收到的无界数据流进行实时处理，通过设计了基于nfa(非确定有限自动机)的复杂事件处理能力算法，实时检测复杂告警规则。

所述分布式流处理子系统中的复杂事件处理能力算法，为复杂事件描述及执行：基于模式描述，转换为nfa，即非确定有限自动机；nfa由点和边组成的一个状态图，以分散污水处理设施运行指标的一个初始状态作为起点，经过一系列的中间状态，达到终态。点分为起始状态、中间状态、最终状态三种，边分为take、ignore、proceed三种。

take：必须存在一个条件判断，当到来的分散污水处理设施运行指标流数据满足take边条件判断时，把这个流数据放入结果集，将状态转移到下一状态。

ignore：当流数据到来时，可以忽略这个流数据，将状态自旋在当前不变，是一个自己到自己的状态转移。

proceed：又叫做状态的空转移，当前状态可以不依赖于消息到来而直接转移到下一状态。

如图1所示，根据模式流数据在各个中间状态间流转，如果流转到终态，则事件触发。

二、另一种属于定时计算分析模式，基于python的apscheduler框架，自定义任务的执行时间，对当前已存数据，按照不同检验规则去校验，如果异常，则产生详细的报警信息并实时通知到用户。

所述分布式流处理子系统，其运行(如图2所示)步骤为：

步骤1：从平台的kafka消息队列系统中，实时读入分散污水处理设施运行指标即海量多源污水处理状态监控数据。

步骤2：数据进入分布式流处理子系统后，在分布式架构上对其进行过滤，排除异常值及错误值；

步骤3：通过基于复杂事件模型的形式，定义各个告警规则,复杂事件模型的描述基于pattern(模式)，管理人员用一个个串联起来的pattern描述复杂事件。

步骤4：分布式流处理子系统通过nfa编译器将复杂事件模型转换为nfa(非确定有限自动机)，由分布式流处理子系统将数据不断装入nfa并执行，得到告警结果，最后输出告警结果。

实施例一种基于云计算的分散式污水处理智能平台，涉及数据采集、数据传输、数据存储、数据分析及污水处理设施控制。各站点均安装plc控制器设备，实时查看其传感器状态参数作为数据采集方式；基于http的restfulapi协议、支持基于tcp/ip或plc的modbus协议数据传输；采用postgresql关系型和influxdb时间序列数据库对数据进行存储；利用分布式流处理技术，实现海量流数据实时处理；数据分析运用设计统计学、数学等原理，结合数据指标，对海量数据进行输入、统计、计算、转储、输出、转换、匹配、展示的过程。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应当理解的是，以上所述仅为本发明的具体实施例，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等、均应包含在本发明的保护范围之内。