专利名称：时序数据实时高效线性压缩与解压缩方法
技术领域：
本发明涉及一种时序数据实时高效线性压缩与解压缩方法。
背景技术：
在现代工业生产控制过程中，自动化系统每时每刻都在产生大量的生产数据，这 些信息是企业的重要资源和宝贵财富，因此，普遍存在着存储和利用这些生产数据的应用 需求。这类生产数据通常具有以下特点1)时序性，数据与时间具有密切的关联，即都 是带有时标的数据；幻海量性，以电力行业为例，一个电厂的数据采集规模达到5万至10 万比特/秒，而一个大型电厂往往达到50万至100万比特/秒的数据采集规模；3)高频性， 采集频率一般为秒级甚至毫秒级，如电力行业的向量测量装置(PMU)每秒传送25帧至100 帧数据。对于一些上层工控软件，比如组态软件、实时数据库软件和企业制造资源计划软 件等，如何及时有效地处理这些实时数据和快速访问历史数据一直是困扰工业现场自动化 的一大难题。如果不对数据进行压缩，这些数据会占用庞大的存储空间，并且极大地降低了 历史数据访问检索效率。鉴于工业现场的数据都具有时间属性，数据的小范围波动对于历史曲线的观察不 会造成很大的影响，因此可以采取有损数据压缩的方法来丢弃一部分数据。对于时序、高 频、海量的工业控制系统数据，需要高效高压缩比的数据压缩方法。代表性的有损数据压缩 方法为旋转门方法，该方法通过不断调整的平行四边形来确定数据中哪些点需要保存。虽 然旋转门方法保存的数据点是原始值，但是，解压后的数据相对于原始数据的均方误差不 一定小，即该方法在原始数据所有点上的压缩性能并不是整体较优的。
发明内容
本发明所要解决的技术问题是提出一种时序数据实时高效线性压缩与解压缩方 法，该时序数据实时高效线性压缩与解压缩方法可较好地保留原数据的特征，实时性好，压 缩比高，实用性强。本发明的技术解决方案如下一种时序数据实时高效线性压缩与解压缩方法，包括以下步骤步骤1 对于待压缩的一组数据，基于第1个数据(Xl，yi)和第2个数据U2，y2)加 上压缩阈值(0，t)为基准，建立第1条直线，该直线的斜率kmax为本次压缩的斜率上限
权利要求
1. 一种时序数据实时高效线性压缩与解压缩方法，其特征在于，包括以下步骤 步骤1 对于待压缩的一组数据，基于第1个数据(Xl，Y1)和第2个数据(X2，y2)加上 压缩阈值(0，t)为基准，建立第1条直线，该直线的斜率kmax为本次压缩的斜率上限
2.根据权利要求1所述的时序数据实时高效线性压缩与解压缩方法，其特征在于，在 对待压缩数据进行压缩操作前，先对待压缩数据进行滤波操作，所述的滤波操作的方法为 加权递推平均滤波方法或滑动平均滤波方法，所述的滑动平均滤波方法为把连续取N个 采样值看成一个队列，队列的长度固定为N，求该队列的平均值，每次采样到一个新数据放 入队尾，并扔掉原来队首的一个数据，再对队列中的N个数据进行算术平均运算，得到滤波 结果。
3.根据权利要求1或2所述的时序数据实时高效线性压缩与解压缩方法，其特征在于， 在对待压缩数据进行压缩操作前，对待压缩数据进行结构封装操作结构封装后的数据包 括时间标记段、数据值段和数据特征描述段，其中时间标记段标记录数据采集的时刻，数据 值段记录数据值的大小，数据特征描述段记录数据的附加信息。
全文摘要
本发明公开了一种时序数据实时高效线性压缩与解压缩方法。根据所处理时序数据的类型和压缩阈值，采用滤波算法对数据进行滤波，按照数据结构封装规则对滤波后的数据进行结构封装，将结构封装的数据存入数据缓冲区，当数据缓冲区存满时，启动线性压缩方法对结构封装的数据进行线性压缩，并将压缩后的数据存入历史数据存储区；当需要查询数据时，调用解压缩方法对历史数据存储区中的数据进行解压。本发明可应用于各类工业控制系统时序数据的压缩和解压缩，适用于数据流量大、采样种类多、干扰冗余严重的情况，可较好地保留原数据的特征，实时性好，压缩比高，实用性强。
文档编号H03M7/30GK102098058SQ20101054271
公开日2011年6月15日 申请日期2010年11月12日 优先权日2010年11月12日
发明者孙志强, 李志勇 申请人:中南大学