专利名称：一种高压缩比的工业实时数据压缩方法
技术领域：
本发明属于数据压缩技术领域，更为具体地讲，涉及一种高压缩比的工业实时数据压缩方法。
背景技术：
1、数据压缩概述数据压缩技术在图像，音频处理等领域已有非常广泛的应用，技术日趋先进成熟并已形成了国际化标准，如图像处理领域的JEPG压缩技术，音频处理中的MP3压缩技术等。 但是由于现代存储设备容量的不断增大，在工业自动化领域则应用的较少，在电力系统、故障检测与诊断系统、过程控制、过程监测、多通道数据采集系统等会产生海量实时和历史数据的自动化系统中，数据压缩还没有得到广泛的重视和应用。在多通道自动测试系统中数据一般由数据采集模块采集得到，采集的信号一般为传感器信号，目前的数据采集模块采样频率都较高，例如总采样速率为ΙΟΟΚΗζ，则如果系统为16个通道，单个通道每秒可采集 62次，现行更高的从几十MHz到几十GHz不等的采集模块比这个次数还要高的多，这样每秒就可产生大量高精度的浮点数据，面对海量的存储数据，人们解决的办法只是单纯的增加存储设备，而很少应用数据压缩技术对其中大量的冗余数据进行压缩，以达到减少数据量， 节约存储设备的目的。2.现有工业实时数据压缩方法数据压缩根据不同编码对原始文件数据产生的不同损失效果，可把数据压缩技术分为无损压缩和有损压缩。无损压缩一般以通用压缩理论为基础，采取哈佛曼算法等经典的压缩算法，具有无失真、无差错或无噪声编码的性质。有损压缩是在压缩过程中损失一定的信息以获得较高的压缩比。有损压缩虽然不能完全恢复原始数据，但损失的数据对理解原始数据的信息影响不大，并由此获得较大的压缩比，从而节约大量存储空间。目前比较有效并且应用较多的工业实时数据压缩方法主要有稳态阈值法，即死区算法，旋转门算法，线性外插算法，这三种方法均属于有损压缩。2. 1稳态阈值法稳态阈值法的原理是以一般能容忍的失真范围为限定，通过判断当前数据值与下一个数据值是否大于压缩限值来决定是否舍弃或记录该数据，限值设置越大，数据压缩率越高，但失真度也越大。如图1所示，如果压缩限值设置为0. 5，当前数据值是10. 0，则下一个数据值如果在10. 5以上或9. 5以下都将被记录，并以记录的数据点为起点，设该点的值为y，0. 5为判别门限，判断下一个数据值是否在y 士0. 5之间，如果在，则舍弃该数据点， 如果不在，则记录该数据点，再以记录的数据点为起点，进行判断，对数据进行压缩。如图1 中，打圈的数据点被记录下来。2. 2旋转门算法旋转门算法是一种线性趋势化压缩算法，将线性趋势化的斜率变化情况作为重点考虑的因素，强调寻找改变斜率的线性“触发点”，主要有平行四边形和三角形两种处理方式。算法的主要思想是利用当前数据点与前一个存储点缩构成的压缩限值覆盖区来判断数据是否应当保留。如果两点构成的压缩覆盖区能覆盖两点之间所有数据点，则舍弃当前数据点，反之如果有数据点落在覆盖区以外，就保存当前点的前一个数据点，并以该点为新的起点与后读入的点构成新的覆盖区继续判断压缩的取舍点。具体压缩判断流程介绍如下设旋转门的压缩限值设为0. 1，数据存储时间间隔为Is。从读入的第一个数据点开始，以它到当前数据点之间的连线为中轴，过这两点做一个宽度为2倍压缩限值的平行四边形，判断平行四边形覆盖的区域是否能覆盖所有从上个存储点到当前点之间的所有数据点，随着数据点的读入，以同样的方法作新的平行四边形，如图2所示。当产生的平行四边形不能容纳上个存储点到当前点之间的所有数据点时，即有数据点落在当前平行四边形覆盖面积之外时，则对当前点通过本段压缩，将一个数据点保存， 其他点舍弃。如图2中，第10秒时有数据点落在了平行四边形覆盖范围之外，所以将起点和前一点，即第9秒的数据点保存，其余数据舍弃。以新保存的数据点为起点继续重复上述过程，判断后续数据点是否满足判别要求。2. 3线性外插算法线性外插算法也是一种利用线性化思想进行压缩处理的方法，其主要处理方式是读入两个数据点，用这两点作出一条直线，直线方程为y = ax+b，设后续点的横坐标值为 Xi,把横坐标的值带入直线方程，算出该点的对应的函数值乂，Yi是实际读入点的数据值， S是门限值，判断后续点是否满足y' -δ <y<y' +δ，若满足则舍弃该数据点，不满足则记录该数据点及该数据点的前一点的值。并以不满足门限值的数据点为下次判断直线的起点，与后续的一个数据点作出直线进行判断，算法的主要思路如图3所示。重复上述判别步骤，经过判断，只有图3中打圈的点被保存下来，其余满足判别门限的点都被压了。上述方法中，稳态阈值法更适用于相对稳态的变化数据，对实时变化较大的数据效果则不是很好；旋转门压缩算法，主要利用当前数据点与前一个存储点所构成的压缩限制覆盖区来判断数据是否该保留，此算法中，需重复判断多个数据点，从而使压缩时间过长；线性外插算法对压缩限值较小的数据压缩效果较好，对压缩限值较大时效果则较差。
发明内容
本发明的目的在于克服线性外插算法的不足，提供一种高压缩比的工业实时数据压缩方法。为实现上述发明目的，本发明高压缩比的工业实时数据压缩方法，其特征在于，包括以下步骤(1)、若工业实时数据剩余点少于η个，η彡3，则已到工业实时数据的末尾，则把这几个数据点的数据值全部保存下来；否则，对工业实时数据顺序读入η个数据点Ui^ihxi =i，i = 1，2，…，n，yi为第i个点对应的数据值；采用最小二乘拟合方法，对这η个数据进行直线拟合，拟合的直线方程为y = a0+alX(1)其中，a0, B1是拟合直线的系数；把这η个数据点的Xi值依次代入拟合出的直线方程，得到拟合值允；
O)、判断η个数据点数据值71是否满足判别条件I只-乂 |< 5，δ为压缩限值；①、若η个数据点数据值Ji全部满足判别条件，则舍弃这η个数据点数据值只把这η个数据起点对应的拟合值，即拟合值乂保存下来，跳转到第C3)步；②、若有不满足判别条件的拟合值，则保存这η个数据中起点对应的拟合值，即拟合值乂保存下来，然后，将读入数据的起点向后移一位，返回第(1)步；(3)继续读入下一个数据点，拟合直线后读入的下一个数据点坐标为\，Xj = n+1, 代入(1)中拟合出的直线方程，求得相应拟合值乂，根据压缩限值S，以及实际读入的下一个数据值5V判断如果-y]\< 5成立，则说明该数据点在预测范围内，该数据点舍去，继续用拟合
的直线方程，采用本步骤的方法依次判断下一个数据点，数据点坐标为Xj = n+2，n+3,…， 直到不满足为止；如果…$不成立，则说明该数据点超出了预测数据加减压缩限值的范围，
记录不满足判别条件的数据点的前一个数据点的拟合值，并以前一个数据点为读入数据的起点，返回步骤(1)。本发明的发明目的是这样实现的 本发明高压缩比的工业实时数据压缩方法为预测递推法，读入η个数据点采用最小二乘拟合方法拟合直线方程，如果这η个数据点不满足偏离直线方程小于压缩限值δ， 则把这η个数据点的起点保存，然后，再读入起点后的η个数据点拟合直线方程，并判断，依次类推，直到η个数据点满足偏离直线方程小于压缩限值δ。然后，读入判断后续数据点数据值h与根据直线方程得到的预测的拟合值乂的偏离是否小于等于压缩限值δ的判别条件，如果小于，则舍弃，继续读入判断后续数据点，直到大于压缩限值δ ；如果大于，则保存不满足判别条件的数据点的前一个数据点的拟合值，并以前一个数据点为读入数据的起点，重新读入η个数据点，进行拟合判断和保存，直到将所有的工业实时数据压缩完毕。在本发明中，直线方程的走向更符合后续数据点的变化趋势，在一定压缩限值范围内都有非常好的数据压缩率，高于任何几种传统的压缩方法。在压缩时间方面，由于拟合次数相比线性外插法少，计算时间相应减少，压缩时间的快速方面也得到了提高，对工业数据有实时性的要求有较好的改进。因此，本发明高压缩比的工业实时数据压缩方法适合数据有一定波动，精度要求不是太高，而对数据压缩率和压缩速度要求较高的数据的压缩。
图1是现有技术稳态阈值法一实例示意图；图2是现有技术旋转门算法一实例示意图；图3是现有技术线性外插算法一实例示意图；图4是本发明高压缩比的工业实时数据压缩方法一具体实施方式
示意图；图5是图4所示高压缩比的工业实时数据压缩方法的具体流程图；图6是需要压缩的工业实时数据；图7是图6的工业实时数据四种压缩方法在不同压缩限值下的压缩比曲线具体实施例方式下面结合附图对本发明的具体实施方式
进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。实施例图4是本发明高压缩比的工业实时数据压缩方法一具体实施方式
示意图。在本实施例中，如图4所示，对工业实时数据以起点读入η个数据点(Xi，Yi), η = 5,Xi = i，i = 1，2，为第i个点对应的数据值，将5个点按一次阶拟合出一条直线如图4-1 (a)所示，拟合的直线方程为y = a0+alX(1)其中，a0, B1是拟合直线的系数；把进行直线拟合的5个点的^ci依次带入拟合出的直线方程，求出对应的拟合值 J；，判断进行拟合的5个数据点数据值是否满足判别条件I -X |< 5，如图4 (b)所示①、若5个数据点数据值Ji全部满足判别条件，则舍弃这5个数据点数据值只把这5个数据起点对应的拟合值，即拟合值乂保存下来；继续读入下一个数据点(Xj，y」)，拟合直线后读入的下一个数据点坐标为Xj，Xj = j，j = n+1代入⑴中拟合出的直线方程，求得相应拟合值乂，根据压缩限值δ，以及实际读入的下一个数据值5V判断如果-^l < 5成立，则说明该数据点在预测范围内，该数据点舍去，继续用拟合
的直线方程，采用本步骤的方法依次判断下一个数据点，数据点坐标为\ = 5+2,5+3,…， 如图4(c)所示，直到不满足为止。如果^不成立，则说明该数据点超出了预测数据加减压缩限值的范围，
记录不满足判别条件的数据点的前一个数据点的拟合值，并以前一个数据点为读入数据的起点，如图4 (d)所示，然后返回，重新读入η = 5个数据进行压缩，如图4 (e)、(f)、(g)、(h) 所示，最后归档的数据点为图4(h)中打圈的数据点。②、若有不满足判别条件的拟合值，则保存这η个数据起点对应的拟合值，即拟合值乂保存下来，然后，将读入数据的起点向后移一位，然后返回，重新读入η = 5个数据进行压缩。图5是图4所示高压缩比的工业实时数据压缩方法的具体流程图。在本实施例中，如图5所示，采用first作为读取数据的起点变量，用于记录起点数据在整个需要压缩的工业实时数据的位置，初始值为1 ；以first为起点，在需要压缩的工业实时数据中读取5个数据点拟合一条直线，判断5个数据点是否满足压缩限值，即是否满足判别条件I只-X如果不满足，则存储first对应的拟合值，将first加1存入到first中，即保存这η个数据中起点对应的拟合值，即拟合值X保存下来，然后，将读入数据的起点向后移一位，然后返回，重新读入η = 5个数据进行压缩。
如果满足，继续读入下一个数据点(Xp h)，下一点数据在需要压缩的工业实时数据中的位置用check变量来确定，check = first+5 ；然后，依据拟合出的直线方程，求出相
应的拟合值 <，判断数据值h是否满足压缩门限S，即是否满足…5，如果不满足，
则说明该数据点超出了预测数据加减压缩限值的范围，记录不满足判别条件的数据点的前一个数据点的拟合值，并以前一个数据点为读入数据的起点，即first = check-1，返回重新读入η = 5个数据进行压缩，如果满足，则说明该数据点在预测范围内，该数据点舍去，继续用拟合的直线方程，采用本步骤的方法依次判断下一个数据点，即check = check+1，继续进行下下一个数据点的判断，直到不满足为止。1、四种种压缩方法压缩率的比较压缩测试即为对压缩效果的测试，本测试工业实时数据如图6所示，点数为6000 点，噪声为0. 5，得出各压缩方法在不同压缩限值时的压缩测试结果。“点数”表示压缩后数据点数，ratio表示压缩比，结果如表1所示。
权利要求
1. 一种高压缩比的工业实时数据压缩方法，其特征在于，包括以下步骤 (1)、若工业实时数据剩余点少于η个，η彡3，则已到工业实时数据的末尾，则把这几个数据点的数据值全部保存下来；否则，对工业实时数据顺序读入η个数据点(Xi，Yi), Xi = i，i = l，2，…，n，yi为第i个点对应的数据值；采用最小二乘拟合方法，对这η个数据进行直线拟合，拟合的直线方程为 y = SL^a1X(1)其中，％，％是拟合直线的系数；把这η个数据点的Xi值依次代入拟合出的直线方程，得到拟合值乂 ；O)、判断η个数据点数据值71是否满足判别条件|只-乂 |<5，δ为压缩限值；①、若η个数据点数据值全部满足判别条件，则舍弃这η个数据点数据值只把这 η个数据起点对应的拟合值，即拟合值乂保存下来，跳转到第C3)步；②、若有不满足判别条件的拟合值拟合值，则保存这η个数据中起点对应的拟合值，即拟合值乂保存下来，然后，将读入数据的起点向后移一位，返回第(1)步；(3)继续读入下一个数据点，拟合直线后读入的下一个数据点坐标为\，\ = η+1，代入 (1)中拟合出的直线方程，求得相应拟合值^，根据压缩限值S，以及实际读入的下一个数据值5V判断如果成立，则说明该数据点在预测范围内，该数据点舍去，继续用拟合的直线方程，采用本步骤的方法依次判断下一个数据点，数据点坐标为\ = η+2, η+3,…，直到不满足为止；如果…5不成立，则说明该数据点超出了预测数据加减压缩限值的范围，记录不满足判别条件的数据点的前一个数据点的拟合值，并以前一个数据点为读入数据的起点，返回步骤(1)。
全文摘要
本发明公开了一种高压缩比的工业实时数据压缩方法，读入n个数据点采用最小二乘拟合方法拟合直线方程，如果这n个数据点不满足直线方程偏离小于压缩限值，则起点保存，再读入起点后的n个数据点拟合直线方程，重新开始。如果满足，读入判断后续数据点数据值偏离是否小于等于压缩限值δ，如果小于，则舍弃，继续读入判断后续数据点，直到大于压缩限值δ；如果大于，前一个数据点的拟合值，以前一个数据点为读入数据的起点，重新读入n个数据点，进行拟合判断和保存，直到将所有的工业实时数据压缩完毕。本发明中，直线方程的走向更符合后续数据点的变化趋势，在一定压缩限值范围内都有非常好的数据压缩率，高于任何几种传统的压缩方法。
文档编号H03M7/30GK102437854SQ20111034428
公开日2012年5月2日 申请日期2011年11月3日 优先权日2011年11月3日
发明者古军, 康波, 欧阳平, 温李慧, 詹惠琴, 赵辉, 陶宇翔 申请人:电子科技大学