专利名称：污水厂在线数据编码方法、存储方法及传输方法、以及污水厂在线数据采集存储装置的制作方法
技术领域：
本发明涉及污水厂在线数据的编码方法、存储方法及传输方法，具体涉及污水厂在线数据的新型的编码方法，以及基于新型编码数据的数据存储方法及数据传输方法。
背景技术：
截至2009年底，我国累计建成城镇污水厂1993座，污水日处理能力超过1亿立方米。随着大量污水厂建成并投入运营，对污水厂进行有效的绩效管理，提高污水厂运营管理水平，成为污水处理行业亟需解决的问题。市场经济体制下的绩效管理不再是简单的上级对下级的“填表考核”行为，而是建立对污水厂各部门基础运行数据统计分析的基础之上， 通过构建集过程管理与效果评价为一体的运行绩效管理信息系统，对污水厂运行过程的内部环节进行科学管理及评价。对污水厂生产数据的有效组织与利用是一切绩效管理工作开展的前提。由于各污水厂的数据类型、数据量、控制网络结构等差异性巨大，网络传输性能各异，历史数据随时间线性增长，给数据的有效管理造成很大困难。对数据进行标准化的管理，构建标准统一、简单高效、易于维护的数据体系成为绩效管理信息软件系统建设与应用的核心问题。目前，大多数污水厂基于工业以太网和通讯技术建立了水厂数据采集系统，系统采用两层网络结构。以甘肃省某污水厂的数据采集系统为例，该系统的网络底层采用PR0FIBUS-DP总线，传输介质为PR0FIBUS专用电缆，用于连接远程I/O从站及现场智能设备，选择西门子 S7300系列PLC作为主控制器，把生产现场的各种数据传送到上层网。通信所用交换机选用 TP-LINK系列产品TL-SL2210TOB。上层水厂信息管理网采用工业以太网，用于连接PLC、操作员站、水厂的调度中心、厂长办公室等，传输介质为光纤，传输速率为lOMb/s。但是，上述污水厂数据采集系统所选择的控制网络结构和通信设备不具备普适性，当污水厂所选PLC控制器厂家型号、自控网络结构、中控室上位机采集系统的通信机制不尽相同时，通信设备所支持的通信协议也就可能不适用于数据的传输。因此，不同污水厂的自控网络之间很难统一地进行数据采集，导致很难对多个污水厂的数据进行统一的有效管理。不仅如此，污水厂实时数据采集频率较高，数据规模会随着运行时间的增加而线性增加，不仅给数据库存储能力带来了挑战，而且使数据的查询分析更加耗时，更新维护更加困难，而现有实施方案要保证较好的网络配置势必要增加网络租用费用和管理费用的开支。
发明内容
鉴于以上的以往技术中存在的问题，本发明的目的在于提供一种通过对数据进行标准化编码，在数据采集过程中进行一次性配置，从而使数据管理的复杂度大大降低的污水厂在线数据编码方法。本发明的另一个目的在于，提供一种基于上述标准化编码数据的，提高数据库的存储与检索等效率的污水厂在线数据存储方法。本发明的再一个目的在于，提供一种基于上述标准化编码数据的，根据网络传输状况，自动选择数据压缩方式，从而提高了数据传输效率的污水厂在线数据传输方法。进而，本发明希望能通过上述方法，建立一个高效率、低冗余的数据管理机制，以提高数据的安全性、保证数据的完整性、减小网络开销、提高响应速度，对污水厂数据的标准化管理提供技术支撑。为达到上述目的，本发明提供一种污水厂在线数据编码方法，其特征在于，对污水厂的每个数据项分配唯一的编码，每个编码包括污水厂编号段、数据类型编号段以及单元编号段。通过对数据进行标准化编码，在数据采集过程中进行一次性配置，从而使数据管理的复杂度大大降低。在上述污水厂在线数据编码方法中，优选所述污水厂编号段占5位，所述数据类型编号段占3位，所述单元编号段占2位。本发明还提供一种污水厂在线数据存储方法，其特征在于，对利用上述的污水厂在线数据编码方法进行编码的数据进行存储，其中，对在线数据按照数据类型进行分表存储。在上述污水厂在线数据存储方法中，优选对在线数据中的数字量数据和模拟量数据分表进行存储。由此，本发明由于采用了上述标准化编码方式，因此能够在大量在线数据当中，通过确认各项数据中编码的相应位，简单地区分和分类各类型数据进行存储，大大节约了数字量数据的存储空间。进而，能够更快速地进行相应项目的检索和擦讯。本发明还提供一种污水厂在线数据传输方法，其特征在于，对利用上述的污水厂在线数据编码方法进行编码的数据进行传输，其中，污水厂数据采集终端采用OPC标准通信协议。由此，本发明通过对的技术对水厂数据进行了标准编码配置，并且在采集终端部署OPC标准通信协议，因此，能提高数据的可获取性和易维护性，从而能够对不同污水厂的自控网络统一且高效率地实现数据采集和传输。在这里，0PC(0LE for Process Control)是以OLE(对象链接和嵌入)/COM(部件对象模型)机制作为基础的，包括一整套接口、属性和方法的通讯标准。OPC规范了接口函数，不管现场设备以何种形式存在，客户都以统一的方式去访问，从而保证软件对客户的透明性，使得用户完全从底层的开发中脱离出来，具有语言无关性、代码重用性、易于集成性等优点。污水厂通常涉及多个处理单元和不同的种类的数据采集传输子系统，并且各分散的子系统往往采用不同厂家的设备和方案。用户需要将这些子系统集成，构建统一的实时监控和综合信息系统，因而需要共享各分散子系统的数据，统一相应控制指令。OPC为解决上述问题提供了一种开放、可靠、高效的方法。本发明还提供一种污水厂在线数据传输方法，其特征在于，对利用上述的污水厂在线数据编码方法进行编码的数据进行传输，其中，根据数据传输网络的网速大小，自动选择数据压缩的方式对所传输的在线数据进行压缩或者选择不进行压缩后传输数据。在上述污水厂在线数据传输方法中，其特征在于，当数据传输网络的网速低于 100k/s时，采用GZip压缩方式进行压缩后传输；当网速高于100k/S且小于1000k/S时，采用Binary压缩方式进行压缩后传输；当网速高于1000k/S时，不进行压缩而传输数据。数据压缩是在不丢失信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率的一种技术方法。常用的压缩方式包括feip和Binary。其中，feip对于要压缩的文件，首先使用1ζ77算法进行压缩，对得到的结果再使用huffman编码的方法进行压缩。feip格式已经成为使用非常普遍的一种数据压缩格式；Binary是将对象数据以二进制的方式将对象序列化为二进制编码，经远程传输后在客户端进行反序列化，转化为数据对象。各种数据压缩算法在使用过程中要进行压缩与解压缩两个过程，因此一次应用所需的时间应该是压缩时间、传输时间、解压缩时间的总和，即T(总)=T(压缩)+τ(传输)+T (解压)，解压缩有时间损耗tl，但同时会减少数据传输量，进而节省时间t2，当tl = t2的时候，我们称之为临界网速v，如果网络传输速度小于v，tl < t2，因为解压缩会节省时间，如果网络传输速度大于v，tl > t2，这个时候进行解压缩反而会浪费时间。因此，在不同的网速状况下，进行不同的解压缩策略。由此，本发明通过采用自适应压缩传输的机制，能根据网络条件自动选择数据压缩方式，以使数据传输效率保持最佳，并且对海量数据的存储和历史数据的访问建立了一个高效率、低冗余的管理机制，提高了数据的安全性和响应速度、保证了数据的完整性、降低了网络开支。本发明还提供一种污水厂在线数据采集存储装置，其特征在于，对污水厂的每个数据项分配唯一的编码，每个编码包括污水厂编号段、数据类型编号段以及单元编号段，并对在线数据按照数据类型进行分表存储。通过如上所述的本发明的技术方案，可以得到以下的技术效果。1)通过对数据进行标准化编码，在数据采集过程中进行一次性配置，从而大大降低了数据管理的复杂度。2)根据网络传输状况，自动选择数据压缩方式，从而提高了数据传输效率。3)通过对标准编码数据进行分类、分表存储，分类建立索引，提高了数据库的存储与检索效率。
图1是表示利用本发明的污水厂在线数据编码方法的在线数据采集装置的示意图。图2是表示利用本发明的污水厂在线数据编码方法的具体实施例的在线数据采集系统的示意图。图3是表示生化池溶氧浓度变化的实时曲线图。
具体实施例方式下面，参照图1至3，对本发明的实施方式进行详细说明。但本发明并不被这些实施方式的所限定，而本领域技术人员能够在不经过创造性劳动就能变更或者替换的所有范围都应包含在本发明的范围之内。图1是表示利用本发明的污水厂在线数据编码方法的在线数据采集装置的示意图。如图1所示，从污水厂的现场控制网络获得的数据通过传输电缆到达与办公室以太网相连接的工业以太网交换机。上层的采集装置包括数据采集终端和数据服务器，其中数据采集终端通过OPC通讯协议与交换机进行数据通讯，采集现场控制网络的数据。采集到的现场控制网络数据经过数据压缩模块传输至数据服务器，经数据解压缩模块还原为生产实时数据对象，然后保存至历史数据库。污水厂的各个现场检测设备获得的在线数据利用本发明的新型编码方法进行唯一的标准化编码，下面，对该编码方法进行详细说明。首先，对污水厂的每个数据项分配唯一的编码，每个编码包括污水厂编号段、数据类型编号段以及单元编号段。但不限定于此，编码中还可以包括具有其他意义的编码段。这样，“污水厂编号”、“数据类型编号”、“单元编号”三个属性组合在一起可唯一标识一个污水厂的数据项。对于上述编码方式，污水厂数据的标准化编码分为以下3步首先，对系统中涉及的各污水厂建立编码表，如A污水厂=1，B污水厂=2 ；其次，对污水厂涉及的各数据类型建立编码表，如曝气池溶解氧=1，曝气池MLSS = 2，例如如下所示；最后，对于相同数据类型的多个采集点进行编号。例如，所述污水厂编号段可以占5位，所述数据类型编号段占3 位，所述单元编号段占2位，则最后得到的标准编码由10位组成。标准编码构建完成后，即可根据编码唯一确定各数据项的物理意义，如0000100105表示“A污水厂第5号曝气池溶解氧值”。Public Enum enumDeviceTypeDOSensor = 1AirFlowSensor = 2MotorValve = 3......End Enum标准化编码构建完毕后，作为一组规则和约定应用在数据管理的各个环节，只需在数据采集过程中进行一次性配置，大大降低了数据管理的复杂度。下面，对基于上述标准化编码方式进行编码的在线数据进行传输的方法进行详细说明。选择利用0PC(0LE for Process Control)通信协议实现数据采集，通过作为数据采集终端(工控机)使用OPC服务器，实现各污水厂数据的采集。采集后的数据使用 WebService标准传输协议上传至数据服务器进行统一管理。在数据传输过程中实时检测网络故障，一旦检测到故障，实时数据将以文件形式缓存于本地电脑上，待网络恢复后，再一次性上传至数据服务器，保证数据的完整性。本方法及装置在数据传输过程中首先提取生产过程数据的共性特征，去除各种字符冗余，进行自定义编码，然后当网络条件不佳或者为节省成本而要降低传输的数据量时使用feip压缩处理后进行传输，数据包压缩比在1 15 1 19左右，大大提高了数据
6的传输效率，有效降低了系统对带宽的需求，节约了网络租用的费用开支。表1是临界网速进行计算的表格。表 权利要求
1.一种污水厂在线数据编码方法，其特征在于，对污水厂的每个数据项分配唯一的编码，每个编码包括污水厂编号段、数据类型编号段以及单元编号段。
2.如权利要求1所述的污水厂在线数据编码方法，其特征在于，所述污水厂编号段占5位，所述数据类型编号段占3位，所述单元编号段占2位。
3.一种污水厂在线数据存储方法，其特征在于，对利用权利要求1所述的污水厂在线数据编码方法进行编码的数据进行存储，其中， 对在线数据按照数据类型进行分表存储。
4.如权利要求3所述的污水厂在线数据存储方法，其特征在于，对在线数据中的数字量数据和模拟量数据分表进行存储。
5.一种污水厂在线数据传输方法，其特征在于，对利用权利要求1所述的污水厂在线数据编码方法进行编码的数据进行传输，其中， 污水厂数据采集终端采用OPC标准通信协议。
6.一种污水厂在线数据传输方法，其特征在于，对利用权利要求1所述的污水厂在线数据编码方法进行编码的数据进行传输，其中， 根据数据传输网络的网速大小，自动选择数据压缩的方式对所传输的在线数据进行压缩或者选择不进行压缩后传输数据。
7.如权利要求6所述的污水厂在线数据传输方法，其特征在于，当数据传输网络的网速低于100k/S时，采用GZip压缩方式进行压缩后传输；当网速高于100k/S且小于1000k/S时，采用Binary压缩方式进行压缩后传输；当网速高于1000k/S 时，不进行压缩而传输数据。
8.一种污水厂在线数据采集存储装置，其特征在于，对污水厂的每个数据项分配唯一的编码，每个编码包括污水厂编号段、数据类型编号段以及单元编号段，并对在线数据按照数据类型进行分表存储。
全文摘要
本发明提供一种污水厂在线数据编码方法，其特征在于，对污水厂的每个数据项分配唯一的编码，每个编码包括污水厂编号段、数据类型编号段以及单元编号段。通过对数据进行标准化编码，在数据采集过程中进行一次性配置，从而使数据管理的复杂度大大降低。
文档编号H04L1/00GK102468903SQ201010534330
公开日2012年5月23日 申请日期2010年11月8日 优先权日2010年11月8日
发明者王浩昌, 赵冬泉 申请人:北京清华城市规划设计研究院