一种基于偏量样本传输的污水处理厂工艺节点数据通信方法与流程

文档序号:13217346阅读:132来源:国知局
技术领域本发明涉及污水处理厂工艺节点数据传输技术领域,具体来说是一种基于偏量样本传输的污水处理厂工艺节点数据通信方法。

背景技术:
目前,污水处理行业已经从初期的“重建设、轻运营”向“重运营,重监管”阶段过渡,特别是国家对环保监控力度加大。在这种大环境下,污水处理厂开始建设中控系统,通过大量数据采集及自动化控制,执行精细化运营管理。但是,环保部门对污水处理厂的偷排漏排、水质处理不达标等违规行为仍不能有效监督,水务公司对旗下污水处理厂也不能高效监管,因此需要将多家污水处理厂进行工艺节点信息采样并集中汇总分析和实时监控。目前环保部门通过数采仪直接将水质数据采样或通过污水处理厂的中控系统,可以定期采集到污水处理各个工艺节点上的运行和监测数据,再通过数据采集网关就可以把多个污水处理厂的采集数据汇总到一起。但是在此过程中众多污水处理厂采集数据上传汇总解析运算遇到了诸多问题:1、采集数据量大,一个中型的污水处理厂一般有上千个工艺节点,采集频率一般为秒级,数据量庞大,而一般的污水处理厂网络带宽有限,难以满足数据传输需求;2、上报数据冗余大,很多数据特定时间是无变化的,而这些数据的采集和传输也占用大量的带宽;3、海量的数据传输不仅占用大量的带宽,而且数据传输延迟和丢包严重,严重影响数据的时效性和真实性。但是在大量的采集数量中可以发现,一个中型的污水处理厂虽有上千个工艺节点,但在正常情况下大部分的工艺节点数据并未产生变化,可是仍要频繁地将这些未变化的数据进行上传,从而形成海量的数据传输。如何开发出一种可以降低数量的传输量从而提高传输效率和质量的通信方法已经成为急需解决的技术问题。

技术实现要素:
本发明的目的是为了解决现有技术中数据传输量大导致传输效率低的缺陷,提供一种基于偏量样本传输的污水处理厂工艺节点数据通信方法来解决上述问题。为了实现上述目的,本发明的技术方案如下:一种基于偏量样本传输的污水处理厂工艺节点数据通信方法,包括以下步骤:上位机通过定期采样获得偏量样本数据包,上位机定期对污水处理厂工艺节点数据进行基础采样,进行偏量样本数据分离;上位机将偏量样本数据包发送至云计算中心;云计算中心进行现场实时样本数据的还原,云计算中心通过解析样本数据包,还原现场的样本数据;云计算中心对现场实时样本数据进行缓存,云计算中心采用循环队列对现场实时样本数据进行数据缓冲存储。所述的上位机通过定期采样获得偏量样本数据包包括以下步骤:上位机定期通过PLC、OPC或数据采集仪采集污水处理厂的工艺节点数据,将首次采集数据作为基础采样样本;上位机将基础采样样本Vs和新采集的样本数据Vn进行判断,若Vs与Vn不相同,则将新采集的样本数据Vn放入增量样本数据序列Q(Vn1,Vn2,…)中;将分离出的偏量样本数据序列Q(Vn1,Vn2,…)进行数据格式化打包,产生偏样增量样本包。所述的云计算中心进行现场实时样本数据的还原包括以下步骤:云计算中心对偏样增量样本包进行解包;云计算中心通过上位机调取污水处理厂工艺节点的基础采样样本Vs;云计算中心通过增量样本数据序列Q(Vn1,Vn2,…)与基础采样样本Vs进行逆向还原结合,得到现场工艺节点样本数据序列Q(V1,V2,V3,…,Vn)。所述的云计算中心对现场实时样本数据进行缓存包括以下步骤:云计算中心建立用于存储现场实时样本数据的循环队列X,循环队列X的容量为现场工艺节点样本数据序列Q中的工艺节点数;将现场工艺节点样本数据序列Q1(V1,V2,V3,…,Vn)存储在循环队列中;通过存入新的现场工艺节点样本数据序列Q2更新循环队列X,新的现场工艺节点样本数据序列Q2自动覆盖老的现场工艺节点样本数据序列Q1,以待展示客户端定期发送的数据展示请示。所述的上位机将偏量样本数据分离发送至云计算中心还包括偏量样本数据包的再处理方法,其包括以下步骤:对偏量样本数据包进行编码;对编码后的偏量样本数据包进行Gzip加密;对编码和Gzip加密后的偏量样本数据包进行基于动态秘钥的AES加密;将最终的偏量样本数据包上传给云计算中心;云计算中心接受样本数据后,按照规定的解压缩、Gzip解密及AES解密方法进行反向解析分离出偏量样本数据包。有益效果本发明的一种基于偏量样本传输的污水处理厂工艺节点数据通信方法,与现有技术相比通过工艺节点的基础采样和偏量样本的分离,使得在频繁的数据通信过程中只进行偏量样本的传输,减少了采样数据上报的数据量和复杂度。本发明能够大幅减少污水处理厂数据上报带宽,节约网络成本,真实高效地还原现场工艺节点数据样本,有效解决各个污水处理厂工艺节点数据曲线展示实时性和真实性问题。附图说明图1为本发明的方法流程图;图2为本发明中循环队列存储原理图。具体实施方式为使对本发明的结构特征及所达成的功效有更进一步的了解与认识,用以较佳的实施例及附图配合详细的说明,说明如下:如图1所示,本发明所述的一种基于偏量样本传输的污水处理厂工艺节点数据通信方法,包括以下步骤:第一步,上位机通过定期采样获得偏量样本数据包。上位机为污水处理厂工艺节点的上位机,能够将污水处理厂工艺节点的数据进行上传,由于上位机自身的处理能力和传输能力有限,因此针对大量的工艺节点在上位机的传输过程中则会出现拥堵、数据传输延迟和丢包的情况。因此,在此上位机定期对污水处理厂工艺节点数据进行基础采样,进行偏量样本数据分离。其具体步骤如下:(1)上位机定期通过PLC、OPC或数据采集仪采集污水处理厂的工艺节点数据,采集的频率依需要而定,在实际应用中,一般为半分钟或20秒为一次采集周期。上位机将首次采集数据作为基础采样样本,用于和后期采集到的数据进行对比,发现是否发生了采集数据的变化。(2)上位机将基础采样样本Vs和新采集的样本数据Vn进行判断,上位机以首次采集数据作为基础采样样本Vs,将其后采集周期内的新采集的样本数据Vn与Vs进行比较。若Vs与Vn不相同,则说明新采集的样本数据Vn产生了变化,为偏量样本,将新采集的样本数据Vn放入增量样本数据序列Q(Vn1,Vn2,…)中。若Vs与Vn相同,则说明当前工艺节点数据没有变化。因此在大量的数据通信过程中,在多个采集周期内工艺节点数据没有变化,则不需要重复的传输这些未变化的数据,只需要将已经产生变化的数量即增量样本数据序列Q(Vn1,Vn2,…)进行传输即可,从而实现减少传输量的目的。其分离方法思想如下:根据样本分离得出偏量样本数据序列,将产生变化的工艺节点数据归入增量样本数据序列,(Vn-Vs)iQ(Vn1,Vn2,…),其中,i为污水处理厂工艺节点数量,范围为1、2、3、…N;Q(Vn1,Vn2,…)为增量样本数据序列;Vn为新采集的样本数据,Vs为基础样本数据。(Vn-Vs)i表示针对第i个工艺节点进行Vn和Vs的比较,若不相同,则放置于队列Q中。(3)将分离出的偏量样本数据序列Q(Vn1,Vn2,…)进行数据格式化打包,产生偏样增量样本包,为偏量样本数据的传输做好准备。第二步,上位机将偏量样本数据包发送至云计算中心,供给云计算中心进行处理。可以看出在本发明中上位机只进行偏量样本数据的计算,并且只是频繁地进行偏量样本数据的传输,减少了上位机的处理量。为了保证偏量样本数据包传输的可靠性和安全性,在此还可以通过上位机对偏量样本数据包进行再处理,其具体步骤如下:(1)上位机对偏量样本数据包进行编码,编码可采用RFC2045定义的Base64编码,使得编码后的样本数据不易人为的直接识别。(2)上位机对编码后的偏量样本数据包进行Gzip加密,可以进一步降低数据传输占用带宽。(3)上位机对编码和Gzip加密后的偏量样本数据包进行基于动态秘钥(即与云计算中心协商产生的秘钥)的AES加密,从而防止数据传输中被恶意破解,确保样本数据安全性。(4)上位机将最终的偏量样本数据包上传给云计算中心。(5)云计算中心接受样本数据后,按照规定的解压缩、Gzip解密及AES解密方法进行反向解析分离出偏量样本数据包。第三步,云计算中心进行现场实时样本数据的还原。云计算中心获得从上位机发来的偏量样本数据包后,需要结合基础采样样本Vs对其进行解析、还原,从而实现原始的工艺节点数据情况。其具体步骤如下:(1)云计算中心对偏样增量样本包进行解包,按照数据格式化进行解包,获得上位机计算出的增量样本数据序列Q(Vn1,Vn2,…)。(2)云计算中心通过上位机调取污水处理厂工艺节点的基础采样样本Vs,用于进行还原操作。在此为了保证数据的准确性,针对基础采样样本Vs的调取也可以按时间周期进行,但无需像第一步中上位机定期采样频率那样快,可以设定为半小时、1小时一次,从而避免了每半分钟或20秒为一次频率的基础采样样本Vs的上传。(3)云计算中心通过增量样本数据序列Q(Vn1,Vn2,…)与基础采样样本Vs进行逆向还原结合,得到现场工艺节点样本数据序列Q(V1,V2,V3,…,Vn)。即将增量样本数据序列Q(Vn1,Vn2,…)和基础采样样本Vs按照污水处理厂工艺节点的节点号n重新进行排序,从而形成由变化数据(增量样本数据序列)和未变化数据(基础采样样本)共同组成的原始数据。云计算中心根据样本分离方法还原出现场工艺节点样本数据序列(即包括变化和非变化的),Q(Vn1,Vn2,…)+(Vs)iQ(V1,V2,V3,…,Vn)其中,i为污水处理厂工艺节点数量,范围为1、2、3、…N;Q(Vn1,Vn2,…)为增量样本数据序列;Vn为新采集的样本数据,Vs为基础样本数据;Q(Vn1,Vn2,…)+(Vs)i代表将Q(Vn1,Vn2,…)和Vn进行合并的,即用Vn替换相同工艺节点的值。第四步,云计算中心对现场实时样本数据进行缓存,云计算中心采用循环队列对现场实时样本数据进行数据缓冲存储。由于增量样本数据序列的传输频率较快,为20秒左右。在完成快速传输的同时,也会在云计算中心会积压大量的现场工艺节点样本数据。因此,如图2所示,在此采用循环队列对现场工艺节点样本数据进行即用即删的处理方法,其具体步骤如下:(1)云计算中心建立用于存储现场实时样本数据的循环队列X,循环队列X中的容量为现场工艺节点样本数据序列Q中的工艺节点数。在实际应用中,若一个小型污水处理厂有1000个工艺节点,则循环队列X中的容量为1000。(2)将现场工艺节点样本数据序列Q1(V1,V2,V3,…,Vn)作为一个完整的对象值存储在循环队列中,如Q1(V1,V2,V3,…,Vn)存放在X。(3)随着采样周期(半分钟或20秒)的不断推进,其现场工艺节点样本数据序列Q2、Q3、Q4也在不断增加,从而不断更新循环队列X。通过存入新的现场工艺节点样本数据序列Q2更新循环队列X,新的现场工艺节点样本数据序列Q2自动覆盖老的现场工艺节点样本数据序列Q1,以待展示客户端定期发送的数据展示请示。例如Q1存放在X中,当第二采样周期到时,Q2覆盖Q1存入X中;当第三采样周期到时,Q3覆盖Q2存入X中,形成循环队列X的不断更新。当然在实际应用中,集团中心监管人员或环保部门通过特定的水质样本监测现场展示端(Web浏览器或客户端)向云计算中心发送数据展示请求后,云计算中心根据请求推送最新的现场实时样本数据。现场展示端(Web浏览器或客户端)根据推送的最新现场实时样本数据以动态曲线方式展示给水厂或环保监控人员,做到及时监控,及时告警。因此在动态曲线方式展示循环队列X中的现场工艺节点样本数据序列Q1后,后,也不需要再保存这些数据,因此可以使用后期的现场工艺节点样本数据序列Q2、Q3…Qn覆盖旧的数据,实现动态曲线方式基于循环队列X的动态展示。以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1