本发明涉及数据处理领域,具体涉及一种智能电表数据优化储存方法。
背景技术:
1、智能电表是一种能够实时采集、传输和记录电能使用数据的电子设备,其主要功能包括电能计量、数据存储和远程传输。智能电表能够通过无线通信技术将电力数据实时上传至云端或服务器,便于电力公司进行集中管理和分析。随着智能电网的发展,智能电表的普及率不断提高,电表采集的实时数据量也急剧增加。由于每秒钟产生的数据量庞大,这对智能电表中数据存储和传输提出了更高的要求。
2、首先,电表所采集的数据量庞大,尤其是在高采样频率下,电表需要存储大量的数据,这对存储空间和计算能力提出了高要求。其次,由于电表数据频繁上传至服务器,如何减少上传的数据量,降低网络带宽的消耗,也成为了一个亟待解决的问题。另外,当网络传输中断时,电表数据将保存于本地,此时数据存储压力也将不断增加。为了降低存储和传输的压力,提高数据处理效率,智能电表需要采用高效的压缩算法来减少冗余数据并优化数据存储。
3、目前,霍夫曼编码作为一种经典的无损数据压缩技术,被应用于各种数据压缩场景。尽管霍夫曼编码能够有效地压缩数据,但在智能电表数据的应用场景中,霍夫曼编码的效果可能会受到一些限制。例如,电量计数可能在一个采样周期内变化不大,但每个数据点的值又不完全相同,此外,电表数据中其他参数(如电流、电压)的变化范围较大,这使得霍夫曼编码的效率降低。
技术实现思路
1、针对上述霍夫曼编码效率降低的问题,本发明提出了一种智能电表数据优化储存方法,包括:获取智能电表的多个运行参数,各运行参数多个连续采集时刻下的数据构成对应参数时序;计算各参数时序的周期,将参数时序中任一数据记为目标数据;所述目标数据对应采集时刻为目标时刻,将所述目标时刻每隔一个周期对应的采集时刻记为对照时刻;所述目标时刻前后各设定数量的数据构成邻域序列;获取各对照时刻与目标时刻的邻域序列得到多个邻域序列,基于所述多个邻域序列之间的相似度得到所述目标数据的周期性强度;获取任一参数时序中所有数据的周期性强度,响应于所述周期性强度大于等于设定阈值,将对应的数据记为强周期数据;响应于所述周期性强度小于设定阈值,将对应的数据记为弱周期数据;对所有强周期数据使用脉冲编码调制并对所有弱周期数据使用差分脉冲编码调制;将所有调制后的数据使用霍夫曼编码进行压缩降低智能电表数据的储存空间。
2、本发明通过动态检测并量化智能电表各参数时序的周期性特征,实现了对目标数据与其周期邻域相似度的精准比较,从而有效区分出强周期与弱周期数据,并分别采用脉冲编码调制和差分脉冲编码调制处理,再结合霍夫曼编码压缩,显著降低数据存储空间和上传带宽需求,同时确保数据精度和完整性,相比于现有直接采用霍夫曼编码的方法,本发明大幅提高了压缩效率和数据还原率。
3、进一步地,计算各参数时序的周期,还包括:获取各参数时序不同时间滞后值对应的自相关函数;将所有自相关函数中最大值对应的时间滞后值记为周期。
4、通过获取各参数时序不同时间滞后值对应的自相关函数,并选取自相关函数中最大值对应的时间滞后值作为周期,本发明准确反映出数据的内在周期性,相比传统方法依赖经验设定周期,本发明提供了客观、自动的周期识别手段,确保了周期计算的精确性和稳定性。
5、进一步地,所述周期性强度的计算方法具体为:
6、;
7、其中表示时间戳对应的功率的周期性强度;表示功率时序中周期次序编号的最大值;表示时间戳第个周期后对照时刻的邻域序列;表示时间戳第个周期后对照时刻的邻域序列;表示dtw距离的计算函数;表示调参因子。
8、本发明采用基于动态时间规整(dtw)距离的周期性强度计算公式,对不同周期内邻域序列之间的相似性进行量化,有效捕捉周期重复性,避免因数据连续性不一致而降低压缩效率,相较于传统方法,该公式在数据重复性识别上具有更高的准确性和鲁棒性。
9、进一步地,获取智能电表的多个运行参数,还包括:采集智能电表的电能读数、功率、电压以及电流参数;设定智能电表采集数据的频率范围为[1,15]。
10、进一步地,还包括将所述各参数时序暂存于电表内存并定期通过rs485接口上传至云平台。
11、进一步地,还包括不计算电能读数时序的周期,对电能读数时序使用脉冲编码调制后使用霍夫曼编码进行数据压缩处理。
12、针对电能读数时序因累加特性而缺乏周期性的问题,本发明不对其进行周期性计算,而直接采用脉冲编码调制(pcm)处理,实现数据压缩并保留关键信息,相较于传统统一处理所有数据的方法,该方案更好地适应了电能读数的特性,提高了压缩效率及数据恢复精度。
13、进一步地,还包括对所述各参数时序进行预处理操作,具体为:对各参数时序进行归一化处理;对归一化处理后的各参数时序进行降噪处理。
14、进一步地,使用最大最小值归一化算法对各参数时序进行归一化处理。
15、进一步地,使用滑动平均法对归一化处理后的各参数时序进行平滑处理去除噪声。
16、使用滑动平均法对归一化后的各参数时序进行平滑处理,有效消除噪声及短期波动,确保数据更准确地反映长期趋势,与未经过平滑处理的传统方法相比,本发明提高了数据稳定性和压缩前数据质量,从而优化了整体压缩效果。
17、进一步地,使用最大类间方差法获取所述设定阈值。
18、本发明的技术效果为:
19、本发明通过对智能电表多维数据进行预处理后,利用自相关函数和邻域序列相似性量化周期性强度,有效区分强周期与弱周期数据,再分别采用脉冲编码调制与差分脉冲编码调制,最终结合霍夫曼编码实现数据压缩。与现有仅依赖霍夫曼编码直接处理原始数据的方法相比,本发明充分利用数据的内在周期性特征,大幅降低了存储空间和上传带宽需求,同时确保了数据精度和还原率,具有自动化、客观性和鲁棒性,显著提升了智能电表数据管理的整体性能。
1.一种智能电表数据优化储存方法,其特征在于,所述方法包括:
2.根据权利要求1所述的一种智能电表数据优化储存方法,其特征在于,计算各参数时序的周期,包括:
3.根据权利要求2所述的一种智能电表数据优化储存方法,其特征在于,所述周期性强度的计算方法具体为:
4.根据权利要求1所述的一种智能电表数据优化储存方法,其特征在于,获取智能电表的多个运行参数,包括:
5.根据权利要求4所述的一种智能电表数据优化储存方法,其特征在于,还包括将所述各参数时序暂存于电表内存并定期通过rs485接口上传至云平台。
6.根据权利要求4所述的一种智能电表数据优化储存方法,其特征在于,还包括不计算电能读数时序的周期,对电能读数时序使用脉冲编码调制后使用霍夫曼编码进行数据压缩处理。
7.根据权利要求4所述的一种智能电表数据优化储存方法,其特征在于,还包括对所述各参数时序进行预处理操作,具体为:
8.根据权利要求7所述的一种智能电表数据优化储存方法,其特征在于,使用最大最小值归一化算法对各参数时序进行归一化处理。
9.根据权利要求7所述的一种智能电表数据优化储存方法,其特征在于,使用滑动平均法对归一化处理后的各参数时序进行平滑处理去除噪声。
10.根据权利要求1所述的一种智能电表数据优化储存方法,其特征在于,使用最大类间方差法获取所述设定阈值。