一种数据预处理方法、引擎、设备及存储介质与流程

本发明涉及电力，尤其涉及一种数据预处理方法、引擎、设备及存储介质。

背景技术：

1、电力物联网高速发展，电力终端设备数量不断增加。电力终端设备包括电表、配电箱、智能传感器等，这些设备会不断产生大量的数据，如电力消费数据、设备运行状态数据、环境数据等。这些数据需要进行实时处理和分析，以支持电力系统的运行和管理。

2、然而，现有的数据处理技术和硬件设备往往无法满足海量数据处理的需求，目前，物联管理平台包括一个分布式消息集群和大数据处理平台，分布式消息集群接收电力终端设备传输的电力数据，再将电力数据存储或发送至后端的大数据处理平台，大数据处理平台对这些电力数据做检验与处理等工作。该种方式下，存在存储容量不足、数据处理压力大、处理效率低等问题，制约了电力物联网的发展。

技术实现思路

1、本发明提供了一种数据预处理方法、引擎、设备及存储介质，节省了分布式集群的存储空间，减小大数据处理平台的处理压力，提高物联管理平台的数据处理效率。

2、第一方面，本公开实施例提供了一种数据预处理方法，应用于数据预处理引擎，所述数据预处理引擎分别与前置消息集群、后置消息集群、多功能平台以及规则库连接，所述后置消息集群与大数据处理平台连接，该方法包括：

3、获取所述前置消息集群发送的当前电力数据；

4、调用所述规则库，根据所述当前电力数据确定相应的预处理规则，根据所述预处理规则对所述当前电力数据进行预处理，获得预处理结果；

5、根据所述预处理结果，将所述当前电力数据发送至所述多功能平台或所述后置消息集群。

6、第二方面，本公开实施例提供了一种数据预处理引擎，分别与前置消息集群、后置消息集群、多功能平台以及规则库连接，所述后置消息集群与大数据处理平台连接，包括：

7、电力数据获取模块，用于获取所述前置消息集群发送的当前电力数据；

8、电力数据处理模块，用于调用所述规则库，根据所述当前电力数据确定相应的预处理规则，根据所述预处理规则对所述当前电力数据进行预处理，获得预处理结果；

9、电力数据发送模块，用于根据所述预处理结果，将所述当前电力数据发送至所述多功能平台或所述后置消息集群。

10、第三方面，本公开实施例提供了一种电子设备，包括：

11、至少一个处理器；以及

12、与至少一个处理器通信连接的存储器；其中，

13、存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行上述第一方面实施例提供的数据预处理方法。

14、第四方面，本公开实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现上述第一方面实施例提供的数据预处理方法。

15、本发明实施例的一种数据预处理方法、引擎、设备及存储介质，数据预处理引擎分别与前置消息集群、后置消息集群、多功能平台以及规则库连接，所述后置消息集群与大数据处理平台连接，该方法包括：获取所述前置消息集群发送的当前电力数据；调用所述规则库，根据所述当前电力数据确定相应的预处理规则，根据所述预处理规则对所述当前电力数据进行预处理，获得预处理结果；根据所述预处理结果，将所述当前电力数据发送至所述多功能平台或所述后置消息集群。上述技术方案，节省了分布式集群的存储空间，减小大数据处理平台的处理压力，提高物联管理平台的数据处理效率。

16、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种数据预处理方法，其特征在于，应用于数据预处理引擎，所述数据预处理引擎分别与前置消息集群、后置消息集群、多功能平台以及规则库连接，所述后置消息集群与大数据处理平台连接，该方法包括：

2.根据权利要求1所述的方法，其特征在于，在所述调用所述规则库，根据所述当前电力数据确定相应的预处理规则之前，还包括：

3.根据权利要求2所述的方法，其特征在于，根据所述当前电力数据与预先构建的特征模型确定与所述当前电力数据对应的设备类型，包括：

4.根据权利要求1所述的方法，其特征在于，所述调用所述规则库，根据所述当前电力数据确定相应的预处理规则，根据所述预处理规则对所述当前电力数据进行预处理，获得预处理结果，包括：

5.根据权利要求1所述的方法，其特征在于，所述预处理结果包括异常判断结果和数据分类结果。

6.根据权利要求5所述的方法，其特征在于，所述根据所述预处理结果，将所述当前电力数据发送至所述多功能平台或所述后置消息集群，包括：

7.根据权利要求5所述的方法，其特征在于，所述根据所述预处理结果，将所述当前电力数据发送至所述多功能平台或所述后置消息集群，包括：

8.一种数据预处理引擎，其特征在于，分别与前置消息集群、后置消息集群、多功能平台以及规则库连接，所述后置消息集群与大数据处理平台连接，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的一种数据预处理方法。

技术总结
本发明公开了一种数据预处理方法、引擎、设备及存储介质，数据预处理引擎分别与前置消息集群、后置消息集群、多功能平台以及规则库连接，所述后置消息集群与大数据处理平台连接，该方法包括：获取所述前置消息集群发送的当前电力数据；调用所述规则库，根据所述当前电力数据确定相应的预处理规则，根据所述预处理规则对所述当前电力数据进行预处理，获得预处理结果；根据所述预处理结果，将所述当前电力数据发送至所述多功能平台或所述后置消息集群。上述技术方案，节省了分布式集群的存储空间，减小大数据处理平台的处理压力，提高物联管理平台的数据处理效率。

技术研发人员：李世豪,缪巍巍,曾锃,夏元轶,滕昌志,张瑞,余益团,张震,李马峰,邱文元,顾亚林,张俊杰
受保护的技术使用者：国网江苏省电力有限公司信息通信分公司
技术研发日：
技术公布日：2024/4/17