用于分布式新能源的数据压缩方法及系统与流程

本公开涉及电网配电网络，具体涉及一种用于分布式新能源的数据压缩方法及系统。

背景技术：

1、以风电、光电为代表的分布式绿色能源的装机量日益增多，国家电网在接入光伏、风电等分布式能源时，需要实时监控并网设备状态、接入电压、电流、电相均衡等实时数据，并将海量数据通过无线网、公网及专网传输至供电、配电指挥中心。以山东省为例，全省共有50万个台区，每天产生的数据量大概8000万条。

2、目前，在数据的储存和传输的过程中，一般采用普适性的数据格式。例如，在ieee754标准中，浮点数可以通过三种不同的格式来表示，然而，ieee754标准中的格式属于普适性的数据格式，在应用于特定场景时可能会导致存储空间浪费的情况。

3、例如，float型的浮点数占用4个字节(4bytes)，其精度为十进制的7～8位，然而分布式能源的并网监测数据一般精度为十进制的3～4位。换言之，并网监测数据的精度要求远小于float型的浮点数的所能表示的精度，使用类似float型的普适性的数据格式会存在存储空间浪费的情况，同时还会加大数据的传输压力，难以满足目前分布式能源并网的边缘计算层的需求，这将直接影响到分布式能源调度、发电量预测以及故障监测的效果和质量。

技术实现思路

1、本公开是有鉴于上述的状况，目的在于提供一种能够节省数据的存储空间和降低数据的传输压力的分布式能源并网监测的数据压缩系统和数据压缩方法。

2、为此，本公开第一方面提供了一种分布式能源并网监测的数据压缩系统，是用于电网边缘计算层的分布式能源并网监测的数据压缩系统，包括：采集模块、数据压缩模块和上传模块，所述采集模块配置为采集电力数据，所述数据压缩模块配置为将电力数据进行压缩并包括第一压缩单元、第二压缩单元以及数据拼接单元，所述第一压缩单元配置为基于电力数据获取数据长度为第一目标长度的第一数据，所述第一目标长度基于预设范围确定，所述预设范围不小于电力数据的取值范围，所述第二压缩单元配置为基于电力数据获取数据长度为第二目标长度的第二数据，所述第二目标长度基于预设精度确定，所述预设精度不低于电力数据的精度要求，令所述第一目标长度、所述第二目标长度、与1的和为目标数据长度，所述目标数据长度为单位储存长度的预设倍数并小于预设长度，所述数据拼接单元配置为将用于表征电力数据的正负的符号数据、所述第一数据和所述第二数据以及进行拼接以获得目标数据，所述上传模块配置为将所述目标数据上传至数据中心。

3、由于普适性的数据格式的数据长度较长，应用于电力数据时存在存储空间浪费的现象，通过本公开的数据压缩系统，能够不利用普适性的数据格式，并基于电力数据的特点适应性地确定需要使用的数据格式，也即目标数据的数据格式，从而能够实现电力数据的压缩。具体而言，第一目标长度与电力数据的取值范围相关，基于电力数据的取值范围确定第一目标长度后目标数据的数据格式能够覆盖电力数据的取值范围，第二目标长度与电力数据的精度要求相关，基于电力数据的精度要求确定第二目标长度后目标数据的数据格式能够满足电力数据的精度要求，同时由于目标数据的数据长度为单位储存长度的预设倍数并小于预设长度，能够在满足存储格式的情况下减少目标数据的数据长度。

4、在本公开第一方面所涉及的数据压缩系统中，可选地，所述第一目标长度为5位，所述第二目标长度为18位。由此能够满足范围要求和精度要求，同时在能够满足范围要求和精度要求的情况下，相对于电力数据的数量级，电力数据的数据精度更重要、更有便于数据中心进行计算。

5、在本公开第一方面所涉及的数据压缩系统中，可选地，采集模块配置为在分布式能源采集电力数据，所述分布式能源包括光伏电站、风力电站和水力电站的至少一种。在这种情况下，采集模块能够采集光伏电站、风力电站或水力电站等分布式能源的电力数据。

6、在本公开第一方面所涉及的数据压缩系统中，可选地，电力数据包括电流、电压、功率和电能的至少一种。在这种情况下，由于在光伏电站、风力电站或水力电站等分布式能源中，比较重要的数据包括电流、电压、功率和电能，分布式能源会存储并上传大量的电流、电压、功率和电能等电力数据至数据中心，由此，对这些数据进行压缩能够有效节省存储空间和降低传输压力。

7、在本公开第一方面所涉及的数据压缩系统中，可选地，包括规格化模块，所述规格化模块设置于所述采集模块和所述数据压缩模块之间，所述规格化模块配置为对电力数据进行处理以使电力数据在时间上对齐。在这种情况下，由于分布式能源具有多个设备，采集模块在采集电力数据时可能并不同步，利用规格化模块使电力数据在时间上对齐，能够便于统计和计算。

8、在本公开第一方面所涉及的数据压缩系统中，可选地，包括消冗模块，所述消冗模块设置于所述规格化模块和所述数据压缩模块之间，所述消冗模块配置为接收来自规格化模块的电力数据，并去除电力数据中的冗余数据，并把电力数据传输至所述数据压缩模块。在这种情况下，能够消除电力数据中的冗余数据，从而能够降低存储空间占用，降低数据容灾对网络带宽的要求。

9、在本公开第一方面所涉及的数据压缩系统中，可选地，所述数据压缩模块接收十进制格式的电力数据，并压缩为目标数据。在这种情况下，能够直接对十进制格式的电力数据进行处理。

10、在本公开第一方面所涉及的数据压缩系统中，可选地，所述数据压缩模块接收ieee 754标准的float型的电力数据并将ieee 754标准的float型的电力数据压缩为目标数据，ieee 754标准的float型的电力数据包括1位的符号位、8位的阶码以及23位的尾数，所述目标数据长度小于32。在这种情况下，能够直接对二进制格式的电力数据进行处理。

11、在本公开第一方面所涉及的数据压缩系统中，可选地，所述第一压缩单元配置为将电力数据的阶码右移7位以获得第一数据的第一位，获取电力数据的阶码的后4位作为第一数据的第二位至第五位，所述第二压缩单元配置为获取电力数据的尾数的前18位作为第二数据。在这种情况下，能够快捷地根据电力数据的阶码获得第一目标长度的第一数据。

12、本公开第二方面提供了一种分布式能源并网监测的数据压缩方法，包括：获取电力数据，基于电力数据的正负获取符号数据，基于电力数据获取预设范围和预设精度，所述预设范围不小于电力数据的取值范围，所述预设精度不低于电力数据的精度要求，基于所述预设范围确定第一目标长度，基于所述预设精度确定第二目标长度，基于电力数据获取数据长度为所述第一目标长度的第一数据，基于电力数据获取数据长度为所述第二目标长度的第二数据，令所述第一目标长度、所述第二目标长度、与1的和为目标数据长度，所述目标数据长度为单位储存长度的预设倍数并小于预设长度，将用于表征电力数据的正负的符号数据、所述第一数据和所述第二数据以及进行拼接以获得目标数据。本公开所涉及的数据压缩方法，利用单精度浮点数压缩原理来对海量多源异构数据进行压缩，将原来的四个字节压缩为更少的字节，在满足电力数据的范围要求和精度要求的前提下，实现了对浮点型的数据的高度压缩，能够节省25％以上的存储空间，且适用于电力行业的分布式能源并网的各种动态实时监测以及汇总上传等场景。

13、根据本公开，提供一种能够节省数据的存储空间和降低数据的传输压力的分布式能源并网监测的数据压缩系统和数据压缩方法。