电力系统广域测量系统高密度时间序列数据的压缩处理方法

专利名称：电力系统广域测量系统高密度时间序列数据的压缩处理方法
技术领域：
本发明属于电力系统调度自动化领域，特别是涉及一种动态安全监测过程中高密
度时间序列数据的压縮处理方法。
背景技术：
电力系统广域测量系统(以下简称WAMS)是由PMU和调度中心的监测主站组成的 一套调度自动化系统。该系统能够为调度员和运行分析人员提供电网运行的动态过程。随 着WAMS应用的推广和实用化建设，WAMS数据已经成为电网事件分析的必要信息，过期数据 被要求完全存储，事件数据甚至被要求长期存储，供事后分析和研究。 由于WAMS的动态数据具有高速度、高密度、高精度的特点，平均每个监测点每秒 钟传输50帧，甚至IOO帧动态数据，对于大电网来说，产生的数据是海量的，这些数据如果 直接存储，将占用大量的磁盘空间。同时，由于数据的高密度、高精度，所存储的数据会有 很多重复特征，因此，如何高效存储WAMS动态数据，并实现高效的分析检索是一项值得研 究的技术。申请人之前申请的专利《电网广域测量系统(WAMS)中动态数据压縮存储方法》 (专利公开号200710179274)曾提出动态数据无损压縮存储方法，该方法已经成为WAMS动 态数据存储的必要手段，但是，随着WAMS建设的发展，数据量越来越庞大，庞大的数据量对
数据存取效率、压縮率，以及数据曲线的绘制都提出了更高的要求。 本发明基于实践和积累，提出了实现高压縮率、高效绘制数据曲线的方法。

发明内容
本发明的目的是为了在WAMS数据实际精度要求范围内，不损失原始精度的前提 下，对待压縮数据进行预处理，进一步提高压縮率和压縮效率。其具体实现方法如下
—种电力系统广域测量系统WAMS中待压縮数据的处理方法，所述方法包括对待
压縮数据顺次进行浮点数据定点化和定点数据增量化处理，得到定点增量数据序列，再通 过无损压縮算法进行压縮、存储，解压时，通过增量还原和转换系数还原处理，得到原始浮 点数值；其特征在于，所述处理方法包括以下步骤 (1)根据WAMS量测精度要求，设置转换系数。转换系数是用来实现待压縮浮点数 据和整型定点数之间数值转换的一个常数，待压縮浮点数据乘上转换系数并取整，可得到 整型定点数，整型定点数除上转换系数，可得到浮点数，转换系数的取值是保证浮点数据精 度在转换前后是否丢失的关键因素，本发明中转换系数取WAMS量测精度指标的倒数，如频 率的精度指标为0. OOlHz，转换系数应为1000 ; (2)将电力系统广域测量系统量测数据中的待压縮浮点数逐一乘上各自的转换系 数，取整数为有效数，舍弃小数； (3)将得到的整数以时标为序组成整型定点数据序列； (4)对整型定点数据序列从第二个数开始，顺次对前一个数值作差，得到差值序列； (5)将整型定点数据序列第一个数和差值序列组成增量定点数据序列； (6)将得到的增量定点数据序列输入字典压縮算法，完成压縮； (7)将所述转换系数与压縮算法返回的数据帧组成用来存储的结果数据； (8)通过数据ID和数据时标组成的索引管理数据存储地址，将结果数据存入文件。 其中所述转换系数成为存入数据文件的结果数据的一部分。
对经过所述预处理后的数据在压縮、存储后的解压步骤为 根据数据ID和数据时标索引查询数据存储地址，提取存储的结果数据，放到数据 处理缓存； 将数据缓存中分解为转换系数和数据DATA，对数据DATA用无损压縮的解压算法 进行数据解压，得到定点增量数据序列； 将增量数据序列中的第二个数加上第一个数，得到第二个数的整型定点数值，第 三个加上第二个数的整型定点数，得到第三个数的整型定点数，依次完成所有增量数据到 原始整型定点数的转换； 将得到的整型定点数除上转换系数后，转换为浮点数，得到可用原始数据。
本发明还公开了一种电力系统广域测量系统(WAMS)中高密度时间序列数据曲线 绘制的稀疏处理方法。通过有损压縮方法，在保留曲线特征的前提下，对高密度数据曲线进 行稀疏绘制，低密度数据曲线进行完全绘制，满足快速曲线分析需求。所述稀疏处理方法具 体采用以下技术方案 —种电力系统广域测量系统中高密度时间序列数据曲线稀疏处理方法，所述方法 对超过设定点数限制的曲线数据进行稀疏化处理，采用旋转门算法进行压縮，并对压縮得 到的关键点数据置上原始时标，绘制关键点数据序列曲线作为高密度稀疏曲线；
其特征在于，所述稀疏处理方法包括以下步骤 (1)根据曲线分析需求，设定稀疏门槛值、即点数限制和压縮精度门槛值；
(2)根据所述压縮精度门槛值，在曲线数据序列的点数超过点数限制时，采用旋转 门算法进行压縮，不超过点数限制则不对数据进行压縮；压縮得到的结果包括曲线关键点 数据序列，和关键点间被压縮点数序列； (3)根据被稀疏曲线的连续时标信息和关键点间被压縮点数序列，对关键点数据 序列重置时标，时标为原始数据对应时标； (4)用稀疏得到的带时标关键点数据序列绘制稀疏曲线； (5)当选择稀疏后曲线某区域进行区域曲线放大显示时，当其点数小于所述稀疏 门槛值时，直接使用所选择区域内的压縮前的原始曲线，反之，使用压縮稀疏后的曲线。
根据稀疏门槛值、即点数限制能够切换稀疏曲线和原始数据曲线，方便趋势分析 和精确过程分析的选择。 本发明提出的WAMS动态数据压縮处理方法能够对电力系统动态数据存储的压縮 率和压縮效率进行改善，并提供了动态数据曲线绘制的稀疏处理手段，提高了曲线绘制与 分析的速度。


下面结合附图及具体实施示例对本发明再作进一步详细的说明。
图1包含定点化和增量化预处理过程的压縮流程；
图2高密度曲线稀疏处理流程；
图3数据存储结构示意具体实施例方式
浮点数经过计算和转换后，会存在计算误差和小数末位的随机残值，因此，浮点 数通常不会相等，数学计算中往往用差值小于一个很小的数值来判断浮点数的相等，这里 将这个特点定义为浮点数的相似性差，相似性差给无损压縮算法带来很大影响。以LZW 等字典类压縮算法为例，当数据相似性差时，压縮处理会成倍地增加统计和循环次数，从 而降低压縮率和压縮效率。WAMS数据的采集环节对数据有最高精度要求，如频率精度为 ±0. 001Hz，小数点后第4位的频率数值其实不在精度要求范围内，而且不可信，如果剔除 第4位以后的小数，不会影响WAMS数据的使用精度，而且可以大大提高数据相似性。因此， 本发明通过转换系数(转换系数是用来实现待压縮浮点数据和整型定点数之间数值转换 的一个常数，待压縮浮点数据乘上转换系数并取整，可得到整型定点数，整型定点数除以转 换系数，可得到浮点数。转换系数的取值是保证浮点数据精度在转换前后是否丢失的关键 因素，本发明中转换系数取WAMS量测精度指标的倒数，如频率的精度指标为0. 001Hz，转换 系数应为1000)将采样的浮点数据转换为整型定点数，生成定点数据序列，有效提高了数 据的相似度。 除精度要求外，WAMS数据的另一个特征是在稳态情况下，连续采样数据的增量
往往是相似的。电力系统运行中，大部分数据属于稳态数据，因此，相邻数据的增量的相似 性非常高。本发明通过对定点数据序列进行增量化处理，得到增量定点数据序列，进一步提
高了数据相似度。 在同时进行定点化和增量化处理后，对得到的增量定点数据序列用LZW等字典类
压縮算法进行压縮，压縮率和压縮效率由于数据相似度的提高，可得到大幅提高。 图1动态数据存取过程示意图。如图1所示，电力系统广域测量系统(WAMS)中待
压縮数据的预处理方法如下 (1)取得原始数据； (2)对原始数据通过转换系数进行定点化转换处理将待压縮浮点数逐一乘上各 自的转换系数，取整数为有效数，舍弃小数；将得到的整数以时标为序组成整型定点数据序 列； (3)对定点数据序列进行增量化处理对整型定点数据序列从第二个数开始，顺 次对前一个数值作差，得到差值序列；将整型定点数据序列第一个数和差值序列组成增量 定点数据序列； (4)对定点增量数据序列用LZW压縮算法压縮； (5)将数据ID和时标TIMESTAMP组成索引，将数据转换系数COEFF和压縮得到的 数据DATA组帧； (6)过数据ID和数据时标组成的索引管理数据存储地址，将结果数据存入文件。
6
动态数据存储过程采用了单一流向的处理方法，顺次完成定点化和增量化预处 理、数据压縮、数据组织、数据存储，简单高效的处理保证了高速度、高精度、高密度的动态 数据存储效率。在数据应用时则按照数据查询、数据解析、数据解压、增量数据恢复、浮点数 据恢复、数据应用的过程串行处理。 电力系统数据具有动态连续性，会随着时间连续变化，相邻点之间的变化往往是 相似的，在WAMS中，数据采样有一定的精度限制，如频率最高精度为0. 001Hz，但是，在数 值表示和处理中，浮点数除了如频率的O. 001Hz的精度以外，还会由于计算误差、转换误差 等因素产生<0. 001Hz的残值，当用单字节表示浮点数时，将导致末位不一样的，这会影响 LZW类似的字典压縮算法，影响字典大小，影响统计操作次数等，从而影响压縮率和压縮效 率，同时，连续数据相邻点之间的变化值相近，取得变化值后，数据序列的相似性也能提高， 原始数据序列则无法达到变化值的相似度，因此，如果能够消除无用残值，并利用好相邻点 间的变化值，对基于LZW类似的字典压縮算法非常有意义。本发明总结该规律，采用如下方 法实现待压縮数据的处理
(1)找到原始数据对应转换系数； (2)将浮点数逐一乘上转换系数，取整数为有效数，舍弃小数；
(3)将得到的整数以时标为序组成整型定点数据序列； (4)对整型定点数据序列从第二个数开始，顺次对前一个数值作差，得到差值序 列； (5)将整型定点数据序列第一个数和差值序列组成增量数据序列； (6)将得到的增量定点数据序列输入字典压縮算法，完成压縮； (7)将所述转换系数与压縮算法返回的数据帧组成用来存储的结果数据； (8)通过数据ID和数据时标组成的索引管理数据存储地址，将结果数据存入文件。 本发明还公开了一种电力系统广域测量系统(WAMS)中高密度时间序列数据曲线 绘制的稀疏处理方法。高密度是WAMS数据曲线的特点之一，以每秒50帧的上传速率为例， l分钟曲线有3000点，在实际应用中往往会用到数十分钟，甚至数小时的曲线，需要绘制的 点数将达到数十万以上。如果完全绘制到曲线图中，曲线绘制效率会非常低，而实际曲线分 析时，高密度曲线更关注的是曲线趋势，只需要能看到关键的曲线特征，因此，将曲线数据 进行稀疏是允许的，也是必要的。 对数据稀疏有两种方法，一种是等间隔取点，另一种是通过算法不等间隔取点。等 间隔取点计算简单，而且处理时间序列数据时标非常方便，但是曲线关键特征不会等间隔 出现，因此，本发明选择不等间隔取点法进行稀疏。除关键点特征外，WAMS数据曲线的时标 也是必须考虑的，这要求稀疏算法不但能够给出关键点的数据序列，而且要方便恢复关键 点时标。旋转门算法是一种拐点法，该算法在设定的死区范围内，将数据线性化，而将死区 外的数据作为线性化的拐点，从拐点起，数据序列变成另一种斜率，进入下一段线性化，拐 点就是曲线中的关键点，刚好能够满足曲线稀疏要求，因此，本发明基于旋转门算法，实现 了一种能够找出关键点数据序列，并根据关键点间被压縮点数处理时标信息，得到带时标 关键点数据序列的稀疏处理方法。 当高密度曲线数据被稀疏后，曲线分析可能需要选择其中的某个变化点进行详细分析，详细分析的局部曲线如果仍采用稀疏数据，则容易对精细分析造成影响，因此，当选 择的点数小于一定数量(可设定)时，曲线数据不再稀疏处理，直接绘制原始曲线。
图2是高密度曲线稀疏处理流程图。WAMS高密度时间序列数据，数据量大，有时标 要求，在生成曲线进行分析时，有下列要求
1)曲线绘制速度快； 2)高密度曲线关注关键变化特征，关键变化特征不可丢失；
3)精细分析保留原始数据的特征。
如图2所示，数据压縮的过程如下 (1)根据曲线分析需求，设定稀疏门槛值、即点数限制和压縮精度门槛值；
(2)根据所述压縮精度门槛值，在曲线数据序列的点数超过点数限制时，采用旋转 门算法进行压縮，不超过门槛值则不对数据进行压縮；压縮得到的结果包括曲线关键点数 据序列，和关键点间被压縮点数序列； (3)根据被稀疏曲线的连续时标信息和关键点间被压縮点数序列，对关键点数据 序列重置时标，时标为原始数据对应时标； (4)用稀疏得到的带时标关键点数据序列绘制稀疏曲线； (5)当选择稀疏后曲线某区域进行区域曲线放大显示时，当其点数小于所述稀疏 门槛值时，直接使用所选择区域内的压縮前的原始曲线，反之，使用压縮稀疏后的曲线；
对于点数超过一定规模的曲线，任何曲线绘制方法都解决不了速度问题，因此， 必须通过特殊处理方法来将曲线数据点进行稀疏，本发明所采用的算法为旋转门算法，是 一种快速高效的有损压縮算法，该算法在精度要求范围内，将曲线线性化，保留关键变化特 征，得到拐点曲线，是实现曲线稀疏的最好选择。本发明基于WAMS数据精确时标要求和该 算法的特点在标准旋转门算法基础上做了改进，改进后具有以下特点
1)能够输出拐点的浮点数据序列；
2)能够输出拐点间被压縮点数的整形数据序列； 3)基于两个数据序列和原始数据时标，对浮点数据序列各数据点找回准确时标。 数据压縮以全部待稀疏曲线数据序列为输入进行压縮处理，返回一个float型数
据序列和一个int型数据序列，处理时标后投入使用，实现流程如下 (1)得到需要稀疏的曲线数据序列和旋转门压縮算法精度门槛值； (2)根据精度要求对曲线数据序列进行压縮，得到压縮结果，结果包括曲线关键点
数据序列，和关键点间被压縮点数序列； (3)根据被稀疏曲线的连续时标信息和关键点间被压縮点数序列，对关键点数据 序列重置时标，时标为原始数据对应时标； (4)用稀疏得到的带时标关键点数据序列绘制系数曲线。 在应用时，不是所有曲线都需要进行稀疏处理，因此，需要定义一个稀疏点数门槛 值，当点数超过门槛值时，采用稀疏处理，反之，直接使用原始曲线。 图3是数据预处理后经LZW算法压縮后的数据存储结构示意图。WAMS数据具有信 息内容简单、高速性和海量性三个特点，这三个特点对存储效率有着很高的要求，本发明采 用了基于B+树算法的文件存储方法，该方法主要包括以下几个特点
1)采用B+树算法进行数据存储和访问；
8
2)采用关键字有序存储，关键字可以为任意的数据结构；
3)支持对数据查询、插入、删除的常数级速度。 参见图3，KEY是一个数据结构，在WAMS动态数据中，至少需要ID和TIMESTAMP两 个信息，在实施过程中KEY的结构如下
Struct KEY_DATA
{ }; 其中，iDataID为数据索引ID值，iMi皿te为数据时间标志TMESTAMP。 根据使用经验，动态数据每一分钟压縮一次为最佳，因此对于压縮数据，每分钟以
一个KEY进行索引，根据iDataID和iMinute两个信息存储和查询数据，数据存储和查询采
用B+树算法。 在数据存储结构中，COEFF用来表示数据转换系数，该信息用于在数据读取时还原 数值转换结果，将定点数据恢复为浮点数据，DATA则是经过数据压縮后的数据包，该数据包 只有经过压縮算法解压后才能使用。 以上是对本发明的优选实施例的详细说明。尽管所示和所述的典型实施例被表现 为最优选，应当明白在不脱离下述权利要求限定的本公开的范围内可以进行各种改变和修 改。
权利要求
一种电力系统广域测量系统WAMS中待压缩数据的处理方法，所述方法包括对待压缩数据顺次进行浮点数据定点化和定点数据增量化处理，得到定点增量数据序列，再通过无损压缩算法进行压缩、存储，在解压时，通过增量还原和转换系数还原处理，得到原始浮点数值；其特征在于，所述处理方法包括以下步骤(1)根据WAMS量测精度要求，设置转换系数所述转换系数是用来实现待压缩浮点数据和整型定点数之间数值转换的一个常数，待压缩浮点数据乘上转换系数并取整，可得到整型定点数，整型定点数除以转换系数，可得到浮点数；(2)将电力系统广域测量系统量测数据中的待压缩浮点数逐一乘上各自的转换系数，取整数为有效数，舍弃小数；(3)将得到的整数以时标为序组成整型定点数据序列；(4)对整型定点数据序列从第二个数开始，顺次对前一个数值作差，得到差值序列；(5)将整型定点数据序列第一个数和差值序列组成增量定点数据序列；(6)将得到的增量定点数据序列输入字典压缩算法，完成压缩；(7)将所述转换系数与压缩算法返回的数据帧组成用来存储的结果数据；(8)通过数据ID和数据时标组成的索引管理数据存储地址，将结果数据存入文件。
2. 根据权利要求1所述的待压縮数据的处理方法，其中所述转换系数成为存入数据文 件的结果数据的一部分。
3. 根据权利要求l-2所述的待压縮数据的处理方法，经过所述处理后的数据在压縮、 存储后的解压步骤为根据数据ID和数据时标索引查询数据存储地址，提取存储的结果数据，放到数据处理 缓存；将数据处理缓存分解为转换系数和数据DATA，对数据DATA用无损压縮的解压算法进 行数据解压，得到定点增量数据序列；将增量数据序列中的第二个数加上第一个数，得到第二个数的整型定点数值，第三个 加上第二个数的整型定点数，得到第三个数的整型定点数，依次完成所有增量数据到原始 整型定点数的转换；将得到的整型定点数除以转换系数后，转换为浮点数，得到可用原始数据。
4. 一种电力系统广域测量系统中高密度时间序列数据曲线稀疏处理方法，所述方法对 超过设定点数限制的曲线数据进行稀疏化处理，采用旋转门算法进行压縮，并对压縮得到 的关键点数据置上原始时标，绘制关键点数据序列曲线作为高密度稀疏曲线；其特征在于， 所述稀疏处理方法包括以下步骤(1) 根据曲线分析需求，设定稀疏门槛值，即点数限制和压縮精度门槛值；(2) 根据所述压縮精度门槛值对曲线数据序列采用旋转门算法进行压縮，得到压縮结 果，结果包括曲线关键点数据序列，和关键点间被压縮点数序列；(3) 根据被稀疏曲线的连续时标信息和关键点间被压縮点数序列，对关键点数据序列 重置时标，时标为原始数据对应时标；(4) 用稀疏得到的带时标关键点数据序列绘制稀疏曲线；(5) 当选择稀疏后曲线某区域进行区域曲线放大显示时，若其点数小于所述稀疏门槛 值时，直接使用所选择区域内的压縮前的原始曲线，反之，使用压縮稀疏后的曲线。
5.根据权利要求4所述的高密度时间序列曲线数据稀疏处理方法，其特征在于根据 稀疏门槛值、即点数限制能够切换稀疏曲线和原始数据曲线，方便趋势分析和精确过程分 析的选择。
全文摘要
一种电力系统广域测量系统(WAMS)中高密度时间序列数据采用字典类算法压缩前的预处理方法和高密度曲线数据的稀疏处理方法，所述预处理方法是指待压缩浮点数据的定点化和增量化处理，包括以下步骤根据WAMS数据精度要求，定义各类量测的转换系数，对所有浮点数乘上转换系数后取整，形成整型定点数据序列；将定点数据序列的相邻点依次作差得到增量数据序列；对增量数据序列通过LZW算法进行压缩，解压时顺次反向处理。所述曲线数据稀疏处理包括以下步骤在曲线数据超过一定点数后，提取数据序列；对数据序列用旋转门压缩算法进行压缩；根据压缩得到的关键点数值和关键点间被压缩点数处理时标；当曲线缩放至点数限制以下时，绘制原始曲线。
文档编号G06F7/57GK101795138SQ20101003426
公开日2010年8月4日 申请日期2010年1月19日 优先权日2010年1月19日
发明者吴京涛, 杨东, 许君德 申请人:北京四方继保自动化股份有限公司;北京四方继保工程技术有限公司