一种储能电站海量数据压缩方法及系统的制作方法
【技术领域】
[0001] 本发明涉及一种储能技术领域的方法和系统，具体讲涉及一种储能电站海量数据 压缩方法及系统。
【背景技术】
[0002] 目前，储能电站电池数量众多，每个电池设有多个监测设备，导致监控系统采集储 能电站数据量巨大，且随着储能电站的长期使用和扩展，储能电站数据增多，形成海量数 据。而现有的储能电站数据采集、存储与管理方法不规范，需要对储能电站海量数据管理和 挖掘技术开展进一步深化研究。在大量的电池储能电站数据中，不但当前时刻的数据有用， 且其历史数据也有很大利用价值。因此，获得完整的储能电站历史数据是必要的，但是所有 监测点产生的所有数据按照周期返回到基站之后，若不加以压缩就直接进行存储势必会占 用大量的硬件资源，同时将这些历史数据进行查询分析也将由于系统资源被占用而异常困 难。基于上述原因，将电池储能电站海量数据进行压缩处理成为对储能电站海量数据进行 快速准确分析计算的基础。
[0003] 电池储能电站数据主要有以下特点：
[0004] (1)数据量大：由于储能电站电池设备众多，每个电池设有较多监测设备，每秒采 集的数据量很多，汇集起来的总数据量非常庞大；
[0005] (2)数据变化平缓：储能电站庞大数据量不是随机分布的，例如某电池的温度在 进行充放电过程中会较高，而随着剩余电量的稳定会逐渐下降，呈现平缓改变的趋势；
[0006] (3)同一数据出现频率高：很容易出现很长一段时间的稳定状态，即检测到的数 据长时间保持在同一数值；
[0007] (4)按照时间序列分布：所有的监测数据传输均按时间顺序来发送的，即每隔一 个固定周期发送一次，因此，压缩的同时还需要保证原数据的顺序。
[0008] 针对储能电站海量电池的原始数据进行无损压缩，现有技术中，常用方法是按照 数据编码的算法对数据进行压缩，这类方法如果应用在海量监测数据上有如下缺陷：
[0009] (1)编码后的数据量与原数据相差不大，压缩效果不明显。
[0010] (2)需要达到指定数据量才能进行压缩，无法对实时接收到的数据进行压缩。
[0011] (3)对于数据的查询和分析需要先进行解压缩过程，增加了计算量。
[0012] 因此，需要提供一种新的储能电站海量数据压缩方法及系统，克服上述现有技术 存在的缺陷。
【发明内容】
[0013] 为克服上述现有技术的不足，本发明提供一种储能电站海量数据压缩方法及系 统。
[0014] 实现上述目的所采用的解决方案为：
[0015] -种储能电站海量数据压缩方法，所述方法包括以下步骤：
[0016] I、确定原数据的长度n，依次将所述原数据中相邻的数据划分成最小子分段；
[0017] II、根据所述最小子分段中的数据确定PCA分段；
[0018] III、依次确定相邻两个所述PCA分段的合并代价，判断是否可合并，选择符合合 并要求且合并代价最小的值进行合并；
[0019] IV、返回步骤III，直到所述PCA分段不可再合并；
[0020] V、获得PCA分段组，确定所述原数据的最优化压缩解。
[0021] 优选地，所述步骤I中，确定所述原数据的长度为n，依次将所述原数据中按每两 个相邻数据为一个最小子分段划分成m个所述最小子分段，m多n/2,所述最小子分段包括 两个数据。
[0022] 优选地，所述步骤II包括以下步骤：
[0023] 依次确定所述最小子分段中两个数据的差值，判断所述差值是否小于2ε，ε为 数据允许误差；
[0024] 若小于，则采用PCA方法将所述最小子分段划为一个所述PCA分段，该PCA分段的 数据常量为两个数据的平均值，该PCA分段的结束时间为第二个数据的结束时间；
[0025] 若不小于，则将所述最小子分段的两个数据分别定为一个PCA分段，该PCA分段的 数据常量为所包含数据的数据值，结束时间为所包含数据的结束时间。
[0026] 优选地，所述步骤III包括以下步骤：
[0027] S301、依次确定相邻两个所述PCA分段所对应的数据常量的均值mean、最大值Max 和最小值Min ;
[0028] S302、判断是否满足合并条件：|mean-Max |〈 ε & |mean_Min |〈 ε，ε为数据允许误 差；
[0029] 若不满足，则表示不可合并；
[0030] 若满足，则表示可合并，计算其合并代价；
[0031] S303、确定所有可合并的两个相邻PCA分段的合并代价，合并所述合并代价最小 的两个相邻PCA分段，若最小合并代价的个数大于一，则合并任一的相邻PCA分段。
[0032] 优选地，所述步骤IV中，在每一次合并结束后，重复步骤III，再次计算合并后各 PCA分段是否满足合并条件，若满足则继续合并，直到没有满足合并条件的组存在为止。
[0033] -种储能电站海量数据压缩系统，其特征在于：所述系统包括数据存储模块和海 量数据压缩模块；
[0034] 所述数据存储模块利用hbase构建电池储能电站的hbase数据表存储压缩后的储 能电站数据；
[0035] 所述海量数据压缩模块利用hadoop分布式处理机制对原数据进行分片，分发给 hadoop集群的各个处理节点同时进行海量数据压缩，并将压缩结果存入所述数据存储模块 的hbase数据表中。
[0036] 优选地，所述海量数据压缩模块对所述原数据进行无损压缩包括以下步骤：
[0037] I、确定所述原数据的长度为n，依次将所述原数据中相邻的数据划分成m个所述 最小子分段，m多n/2,所述最小子分段包括两个数据。
[0038] II、确定所述最小子分段中两个数据的差值，判断所述差值是否小于2ε，ε为数 据允许误差；
[0039] 若小于，则采用PCA方法将所述最小子分段划为一个所述PCA分段，该PCA分段的 数据常量为两个数据的平均值，该PCA分段的饿结束时间为第二个数据的结束时间；
[0040] 若不小于，则将所述最小子分段的两个数据分别定为一个PCA分段，该PCA分段的 数据常量为所包含数据的数据值，结束时间为所包含数据的结束时间。
[0041] III、依次确定相邻两个所述PCA分段的合并代价，判断是否可合并，选择符合合 并要求且合并代价最小的值进行合并；
[0042] IV、在每一次合并结束后，重复步骤III，再次计算合并后各PCA分段是否满足合 并条件，若满足则继续合并，直到没有满足合并条件的组存在为止；V、获得分段组，确定所 述原数据的最优化压缩解。
[0043] 优选地，所述步骤III包括：
[0044] S301、依次确定相邻两个所述PCA分段所对应的数据常量的均值mean、最大值Max 和最小值Min ;
[0045] S302、判断是否满足合并条件：|mean-Max |〈 ε &|mean_Min |〈 ε，ε为数据允许误 差；
[0046] 若不满足，则表示不可合并；
[0047] 若满足，则表示可合并，计算其合并代价；
[0048] S303、确定所有可合并的两个相邻PCA分段的合并代价，合并所述合并代价最小 的两个相邻PCA分段，若最小合并代价的个数大于一，则合并任一的相邻PCA分段。
[0049] 与现有技术相比，本发明具有以下有益效果：
[0050] 1、针对电池储能电站海量数据的特点，相对于传统的压缩方法，本发明提出的分 段合并压缩方法，能够大幅提升海量数据压缩比，减小数据存储的开销；
[0051] 2、本发明提供的方法利用hadoop分布式特性，多节点并行进行海量数据的分段 压缩，增大了压缩的时间范围，通过并行处理可以提高压缩的速度；
[0052] 3、本发明提供的方法，减少了计算的复杂度；
[0053] 4、本发明提供的系统具有可扩展性，通过增加处理节点，可以进一步提升海量数 据压缩的效率；
[0054] 5、本发明提供的海量数据压缩算法，能够与Hadoop分布式框架有机结合，在数据 解压缩和利用时采用分布式处理方法，通过分片处理的方法提高数据处理的速度。
【附图说明】
[0055] 图1为本发明中电池储能电站海量数据压缩方法流程图；
[0056] 图2为本发明中电池储能电站海量数据压缩系统结构图；
[0057] 图3为本实施例中基于hadoop的分布式压缩流程图。
【具体实施方式】
[0058] 下面结合附图对本发明的【具体实施方式】做进一步的详细说明。
[0059] 如图1所示，图1为本发明中电池储能电站海量数据压缩方法流程图；本发明提供 的一种储能电站海量数据压缩方法包括以下步骤：
[0060] I、确定原数据的长度n，依次将所述原