电力数据的处理方法、系统、服务器及存储介质与流程

本发明涉及信息数据处理领域，尤其涉及电力数据的处理方法、系统、服务器及存储介质。

背景技术：

1、随着电力系统和智能电网的不断发展，电力数据的生成、处理和分析越来越重要。这些电力数据不仅可以用于系统监控和故障预测，还有助于优化电力分配和资源管理。然而，电力数据通常具有大量度、多样性和实时性，这对数据的存储、检索和分析提出了新的挑战。

2、由于电力数据通常是大规模和高维度的，传统的存储方式成本高昂，且不易于长期保存；在如此庞大的数据集中快速准确地找到相关或者需要的数据是一大难题；原始数据可能含有噪声或误差，需要进行有效的质量提升。

3、现有技术虽然可以存储大量数据，但长期存储成本高，且可能面临数据丢失或篡改的风险；基于关键字或标签的检索，这些方法不能准确地找到与查询数据在语义上最相近的电力数据；使用单一的自编码器或者统计方法进行数据压缩和质量提升，这些方法往往不能全面地处理多种类型和来源的电力数据。

技术实现思路

1、针对上述电力数据在储存、检索中存在的问题，本发明提供电力数据的处理方法、系统、服务器及存储介质，通过集成自编码器模型、二进制数据压缩、区块链存储、词嵌入模型和误差校正算法，不仅解决了数据存储和检索的问题，还提高了数据的质量和可用性。

2、一种电力数据的处理方法，包括以下步骤：

3、将电力数据预处理后输入至集成自编码器模型进行编码，获得第一低维向量并量化为二进制形式，将获得二进制数据进行压缩并存储于区块链中；

4、通过词嵌入模型将第一低维向量转换第二低维向量，并在缓存数据库中进行存储并保持更新；

5、在检索/查询数据时，通过词嵌入模型将查询数据转换为向量形式，基于余弦相似度计算查询数据对应向量与所有第二低维向量之间的相似性，并确定查询数据的目标向量；

6、提取出目标向量对应的二进制数据后，进行解码并优化数据，输出目标电力数据。

7、优选的，所述将电力数据预处理后输入至集成自编码器模型进行编码，获得第一低维向量并量化为二进制形式，将获得二进制数据进行压缩并存储于区块链中包括：

8、将原始数据进行预处理，其中，所述预处理包括：清洗、归一化及标准化；

9、将通过预处理的电力数据输入集成自编码器模型，获得第一低维向量，其中，所述集成自编码器模型通过至少两个预训练好的自编码器模型加权平均集成获得；

10、将所述第一低维向量量化为二进制数据；

11、将二进制数据通过数据压缩算法进行压缩。

12、优选的，所述集成自编码器模型编码部分的加权平均集成计算表达式为：

13、

14、其中，fi(x)是第i个自编码器模型的编码函数；wi是第i个自编码器模型的权重，满足

15、所述集成自编码器模型编码部分的加权平均集成计算表达式为：

16、

17、其中，gi(y)是第i个自编码器模型的解码函数；wi是第i个自编码器模型的权重。

18、优选的，通过索引结构来建立缓存数据库中第二低维向量与其在区块链中对应的二进制数据之间的联系；

19、每当区块链中存入新的二进制数据，都通过词嵌入模型将对应的第一低维向量转换为第二低维向量，并更新缓存数据库。

20、优选的，所述第一低维向量是电力数据在经过集成自编码器模型编码后的数值表示；

21、所述第二低维向量是第一低维向量通过词嵌入模型转换得到的，用于实现数据检索和查询，第二低维向量与其在区块链中对应的二进制数据通过索引结构建立联系。

22、优选的，所述余弦相似度的计算表达式为：

23、

24、其中，a是查询数据对应向量；b是缓存数据库中的某个第二低维向量；a·b是a和b的点积；‖a‖2和‖b‖2分别是向量a和b的欧几里得范数；

25、将余弦相似度最大值对应缓存数据库中的第二低维向量作为查询数据的目标向量。

26、优选的，所述优化数据包括：

27、通过集成自编码器模型进行解码，获得近似电力数据；

28、通过词嵌入模型将所述近似电力数据转换为第二低维向量；

29、基于误差校正算法对所述近似电力数据的第二低维向量进行校正，输出目标电力数据。

30、一种电力数据的处理系统，包括：

31、二进制数据获得模块，所述二进制数据获得模块用于将电力数据预处理后输入至集成自编码器模型进行编码，获得第一低维向量并量化为二进制形式，将获得二进制数据进行压缩并存储于区块链中；

32、低维向量转换模块，所述低维向量转换模块通过词嵌入模型将第一低维向量转换第二低维向量，并在缓存数据库中进行存储并保持更新；

33、查找模块，所述查找模块用于在检索/查询数据时，通过词嵌入模型将查询数据转换为向量形式，基于余弦相似度计算查询数据对应向量与所有第二低维向量之间的相似性，并确定查询数据的目标向量；

34、输出模块，所述输出模块用于提取出目标向量对应的二进制数据后，进行解码并优化数据，输出目标电力数据。

35、一种服务器，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述电力数据的处理方法的步骤。

36、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述电力数据的处理方法的步骤。

37、相比于现有技术，本发明的优点及有益效果在于：

38、(1)通过集成自编码器模型和二进制压缩，本发明能够高效地压缩电力数据，并通过存储在区块链中确保其长期可用性和安全性；

39、(2)快速精确的数据检索：使用词嵌入模型和余弦相似度计算，本发明能在缓存数据库中快速、准确地找到与查询数据最相似的电力数据；

40、(3)数据质量优化：通过集成自编码器模型和误差校正算法，发明能进一步优化从区块链中提取的电力数据，提高数据质量；

41、(4)灵活的可扩展性：由于采用了模块化的设计，本发明可以方便地添加更多的自编码器模型或误差校正算法，以适应不同类型和规模的电力数据处理需求。

技术特征：

1.一种电力数据的处理方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的电力数据的处理方法，其特征在于，所述将电力数据预处理后输入至集成自编码器模型进行编码，获得第一低维向量并量化为二进制形式，将获得二进制数据进行压缩并存储于区块链中包括：

3.根据权利要求2所述的电力数据的处理方法，其特征在于，所述集成自编码器模型编码部分的加权平均集成计算表达式为：

4.根据权利要求1所述的电力数据的处理方法，其特征在于，通过索引结构来建立缓存数据库中第二低维向量与其在区块链中对应的二进制数据之间的联系；

5.根据权利要求4所述的电力数据的处理方法，其特征在于，所述第一低维向量是电力数据在经过集成自编码器模型编码后的数值表示；

6.根据权利要求1所述的电力数据的处理方法，其特征在于，所述余弦相似度的计算表达式为：

7.根据权利要求1所述的电力数据的处理方法，其特征在于，所述优化数据包括：

8.一种电力数据的处理系统，其特征在于，包括：

9.一种服务器，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，

技术总结
本发明涉及信息数据处理领域，尤其涉及电力数据的处理方法、系统、服务器及存储介质，其包括以下步骤：将电力数据预处理后输入至集成自编码器模型进行编码，获得第一低维向量并量化为二进制形式，将获得二进制数据进行压缩并存储于区块链中；通过词嵌入模型将第一低维向量转换第二低维向量，并在缓存数据库中进行存储并保持更新；在检索/查询数据时，通过词嵌入模型将查询数据转换为向量形式，基于余弦相似度计算查询数据对应向量与所有第二低维向量之间的相似性，并确定查询数据的目标向量；提取出目标向量对应的二进制数据后，进行解码并优化数据，输出目标电力数据，本发明解决了数据存储和检索的问题，提高了数据的质量和可用性。

技术研发人员：张海辉,黄美军,陈飞,黄华
受保护的技术使用者：江西汇盛电力科技有限公司
技术研发日：
技术公布日：2024/1/22