一种基于统计概率的数据压缩方法及系统与流程

1.本公开涉及电力数据处理技术领域，特别涉及一种基于统计概率的数据压缩方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。
3.实时数据库主要具有高实时性、高数据吞吐量以及高可靠性的特点，随着工业技术的快速发展，其需要处理和存储的数据量急剧上升，因此，非常有必要将数据压缩技术引入实时数据库系统中。
4.发明人发现，现行的实时数据压缩方法包括有损压缩和无损压缩，或是两种压缩方式的结合，其目的就是提高实时数据的压缩比，但是上述数据压缩方式的压缩效果依然较差，依然需要大量的存储空间进行数据存储，给数据的存储带来的极大的压力。


技术实现要素：

5.为了解决现有技术的不足，本公开提供了一种基于统计概率的数据压缩方法及系统，通过分析电力领域质量值、开关量以及指令数值的变化规律，按照只存低概率值或变化的时间点值的思路，实现数据压缩处理；解压过程中，无需上下关联，只需要对被压数据进行相对值填充，即可实现解压；不影响其他压缩使用，可以混合传统的压缩算法，具有很好的广谱性。
6.为了实现上述目的，本公开采用如下技术方案：
7.本公开第一方面提供了一种基于统计概率的数据压缩方法。
8.一种基于统计概率的数据压缩方法，包括以下步骤：
9.获取电力系统实时数据库的数据；
10.根据获取的数据，得到数据数值分布特征；
11.根据得到的数值分布特征，划分预设时间步长内需要压缩的数据节点；
12.根据压缩节点，对数据中的质量值和指令值对应的低概率值编码，开关量对应的变化时间点值编码；
13.根据得到的各类型的编码，生成压缩数据。
14.本公开第二方面提供了一种基于统计概率的数据解压方法，用于本公开第一方面所述的基于统计概率的数据压缩方法，对被压缩数据解压后，根据数据分布特征进行数据填充，得到原始数据。
15.本公开第三方面提供了一种基于统计概率的数据压缩系统。
16.一种基于统计概率的数据压缩系统，包括：
17.数据获取模块，被配置为：获取电力系统实时数据库的数据；
18.分布特征提取模块，被配置为：根据获取的数据，得到数据数值分布特征；
19.数据节点划分模块，被配置为：根据得到的数值分布特征，划分预设时间步长内需
要压缩的数据节点；
20.数据编码模块，被配置为：根据压缩节点，对数据中的质量值和指令值对应的低概率值编码，开关量对应的变化时间点值编码；
21.数据压缩模块，被配置为：根据得到的各类型的编码，生成压缩数据。
22.本公开第四方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的基于统计概率的数据压缩方法中的步骤。
23.本公开第五方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开第二方面所述的基于统计概率的数据解压方法中的步骤。
24.本公开第六方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的基于统计概率的数据压缩方法中的步骤。
25.本公开第七方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第二方面所述的基于统计概率的数据解压方法中的步骤。
26.与现有技术相比，本公开的有益效果是：
27.1、本公开所述的方法、系统、介质或电子设备，压缩率较大，通过数据的变化规律，只存储低概率值和变化时间点的值，无需数据变换和其他关键信息参考，在原始数据不变的基础上实现最大压缩。
28.2、本公开所述的方法、系统、介质或电子设备，实现了数据无损压缩，保留了数据的全部信息，解压时可以完全还原数据信息，不造成数据和数据精度损失。
29.3、本公开所述的方法、系统、介质或电子设备，普适性高，基于传统压缩方法的二次压缩方案，不影响传统的数据压缩方法使用，具有很好的普适性。
30.4、本公开所述的方法、系统、介质或电子设备，可移植性好，可以适用于任意数据库，具有很好的可移植性。
31.本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
32.构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
33.图1为本公开实施例1提供的压缩方法的流程示意图。
34.图2为本公开实施例1提供的开关量测点阶跃图。
具体实施方式
35.下面结合附图与实施例对本公开作进一步说明。
36.应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
37.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根
据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
38.在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
39.实施例1：
40.如图1所示，本公开实施例1提供了基于统计概率的数据压缩方法，包括以下步骤：
41.步骤1：实时数据数值分布特征判断
42.根据电力领域实时数据的特点，质量值、开关量以及指令数值的变化规律比较稳定。其中，质量值是与数据值成对出现的数据，一般状态都是good，只有极少的情况下才是异常，数据库中用0代表good，非0代表异常；
43.开关量是指非连续性信号的采集和输出，例如遥信采集和遥控输出，它只有1和0两种状态，通常两种状态都是交叠持续发生；指令值的变化规律与开关量类似。
44.步骤2：确定数据压缩节点
45.根据步骤1所述的实时数据中数值分布特征，在该时间步长内，查询质量值、开关量以及指令数值的变化节点，并以此对数据进行分段，作为待压缩处理数据。
46.步骤3：压缩数据编码
47.根据数据压缩节点，对各类型数据对应的低概率值或变化时间点值进行编码。
48.步骤4：数据压缩
49.根据步骤3中实时数据各类型的编码，生成所述时间序列数据流的压缩数据。
50.具体的，质量值、开关量以及指令值的分布特征判断方法如下：
51.(1)质量值
52.数据库前设置的质量值是1字节存储，每个bit存储一类状态，0代表good，1代表问题。
53.表1：质量值存储位
[0054][0055][0056]
不论质量值是否好坏，系统现在全部存储，也就是一个数据值跟一个数据状态码。在98％以上都是good状态下，数据状态码就成了一种冗余度极高的数据，它绝大部分的数据保持同一个值得情况，即good。
[0057]
基于这种情况，对于数据状态码的存储，系统采用的策略是如果状态码是good的，则不存，否则，将存储，即存储有问题的状态码。这样极大减少了数据状态码的存储，同时，查询时，如果没有，则为good，很容易补充。
[0058]
对于1帧的数据，如果有10万测点，每小时节省的存储空间约等于100，000*3600＝3.6g空间。这样测点越多，节省空间越多，按照数据值占4个字节计算，节省近1/5值空间。
[0059]
(2)开关量
[0060]
开关量只有1和0两种状态，这是数字电路中的开关性质，而电力上指电路的开和关或者说触点的接通和断开，以一段时间的开关量为例，其变化情况如图2所示。
[0061]
数据库一共存储了1026点，期间变化一次。设想如果数据库只存储变化的点，那么这期间只要存储一次，存储量将大大减少。在查询开关量某点的值，如果没有，则只要前推最近的测点值即可，作为本值。
[0062]
根据以上的变化规律，现在对开关量的存储，变成了只存储变化的时间点值，无变化的值将不存储。数据库通过这种存储策略，将大大减少存储容量，提高存储空间利用率。当然对于值变化缓慢的测点，如十几个小时、1天、几天、1个月或几个月才发生变化，为了减少两个变化点之间过长问题，可以设置最长时间，超过最长时间不变化的值也将存储。
[0063]
(3)指令值
[0064]
指令值有多个值，可以是整数型，也可以是浮点类型，指令值的变化规律与开关量类似，都会保持一段时间的值不发生变化，因此，其压缩方法参照开关量。
[0065]
实施例2：
[0066]
本公开实施例2提供了一种基于统计概率的数据解压方法，用于本公开实施例1所述的基于统计概率的数据压缩方法，对被压缩数据解压后，根据数据分布特征进行数据填充，得到原始数据。
[0067]
实施例3：
[0068]
本公开实施例3提供了一种基于统计概率的数据压缩系统，包括：
[0069]
数据获取模块，被配置为：获取电力系统实时数据库的数据；
[0070]
分布特征提取模块，被配置为：根据获取的数据，得到数据数值分布特征；
[0071]
数据节点划分模块，被配置为：根据得到的数值分布特征，划分预设时间步长内需要压缩的数据节点；
[0072]
数据编码模块，被配置为：根据压缩节点，对数据中的质量值和指令值对应的低概率值编码，开关量对应的变化时间点值编码；
[0073]
数据压缩模块，被配置为：根据得到的各类型的编码，生成压缩数据。
[0074]
所述系统的工作方法与实施例1提供的基于统计概率的数据压缩方法相同，这里不再赘述。
[0075]
实施例4：
[0076]
本公开实施例4提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例1所述的基于统计概率的数据压缩方法中的步骤，所述步骤为：
[0077]
获取电力系统实时数据库的数据；
[0078]
根据获取的数据，得到数据数值分布特征；
[0079]
根据得到的数值分布特征，划分预设时间步长内需要压缩的数据节点；
[0080]
根据压缩节点，对数据中的质量值和指令值对应的低概率值编码，开关量对应的变化时间点值编码；
[0081]
根据得到的各类型的编码，生成压缩数据。
[0082]
详细步骤与实施例1提供的基于统计概率的数据压缩方法相同，这里不再赘述。
[0083]
实施例5：
[0084]
本公开实施例5提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例2所述的基于统计概率的数据解压方法中的步骤。
[0085]
实施例6：
[0086]
本公开实施例6提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的基于统计概率的数据压缩方法中的步骤，所述步骤为：
[0087]
获取电力系统实时数据库的数据；
[0088]
根据获取的数据，得到数据数值分布特征；
[0089]
根据得到的数值分布特征，划分预设时间步长内需要压缩的数据节点；
[0090]
根据压缩节点，对数据中的质量值和指令值对应的低概率值编码，开关量对应的变化时间点值编码；
[0091]
根据得到的各类型的编码，生成压缩数据。
[0092]
详细步骤与实施例1提供的基于统计概率的数据压缩方法相同，这里不再赘述。
[0093]
实施例7：
[0094]
本公开实施例7提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例2所述的基于统计概率的数据解压方法中的步骤。
[0095]
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0096]
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0097]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0098]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0099]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁
碟、光盘、只读存储记忆体(read
‑
only memory，rom)或随机存储记忆体(random accessmemory，ram)等。
[0100]
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。