一种电网用大数据清洗去噪方法、系统和计算机存储介质与流程

本申请涉及数据处理的技术领域，尤其是涉及一种电网用大数据清洗去噪方法、系统和计算机存储介质。

背景技术：

随着我国经济的不断发展与相关技术的不断进步，智能电网的覆盖率以较快的速度在不断的扩大。电网行业的数据源主要来源于电力生产和电能使用的发电、输电、变电、配电和用电各个环节，在每个环节的电能量计量数据进行统计采集、处理。由于全网的电网的数据量非常大，对于电力设备的电力检测数据会出现同一时间节点多次检测的现象，且只有一次数据正常，异常数据直接进行存储，会增加后期工作人员对电网数据的检测时间，使得对电网数据的检测分析效率较低。

技术实现要素：

为了改善对电网数据的检测分析效率较低的问题，本申请提供一种电网用大数据清洗去噪方法、系统和计算机存储介质。

第一方面，本申请提供一种电网用大数据清洗去噪方法，采用如下的技术方案：

一种电网用大数据清洗去噪方法，包括获取电网数据，剔除电网数据中异常数据项，并将异常数据项存储在异常数据表中，将剔除异常数据项后的电网数据保存在第一检测数据表中，通过预设填充模型对所述第一检测数据表内缺失的异常数据进行填充，并将填充的数据填入第一检测数据表内缺失位置；

所述预设填充模型包括：

获取缺失的电力检测数据项的缺失类型；

若缺失类型为随机缺失或完全随机缺失时，此时填充模型调用第一模型进行填充，其中，第一模型为式中ay1为所缺失的电力检测数据项的对应时间节点信息的前一个时间节点信息，ax1为所缺失的电力检测数据项的对应时间节点信息的后一个时间节点信息，n为所缺失的电力检测数据项的对应时间节点信息的所选取的相邻时间节点信息的数量且n为整数，a为所进行计算的相邻电力检测数据项的数量；

若缺失类型为非随机缺失时，此时填充模型调用第二模型进行填充，其中，第二模型包括若干经验池，若干所述经验池分别对应电网数据内每个数据项，若干所述经验池内设有若干记忆槽，若干所述记忆槽用于记录数据项的采集结果；

获取缺失的电力检测数据项对应经验池前yi轮的采集结果以及经验池内若干记忆槽形状，其中，i的取值范围大于等于1；

若缺失的电力检测数据项对应经验池前yi轮的采集结果均为空值，则剔除缺失的电力检测数据项，不进行填充；

若缺失的电力检测数据项对应经验池前yi轮的采集结果出现采集值时，获取采集结果对应的记忆槽形状，通过与当前电网数据内每个数据项对应的记忆槽形状进行对比，获取最相似数据项进行类似填充；

进一步的，所述电网数据包括：

若干电力检测数据项，任意的所述电力检测数据项包括电力设备的名称、数值和时间节点信息和电力设备编号。

进一步的，所述异常数据项包括：

数值为空的电力检测数据项。

进一步的，还包括：

根据所述第一检测数据表以形成对应的若干个的数据分析图，其中，任意的所述数据分析图均与电力检测数据项相对应，并通过超链接的形式与相应电力设备关联。

进一步的，还包括：

根据时间节点信息的顺序检测每一所述第一检测数据表中是否存在连续多个时间节点信息的且具有异常标记的电力检测数据项，若检测所述第一检测数据表中存在连续多个时间节点信息的且具有异常标记的电力检测数据项，则将所述连续多个时间节点信息的且具有异常标记的电力检测数据项所对应的电力设备的标识信息以及对应的时间节点信息进行存储以形成警示报告。

进一步的，还包括：

将每一所述第一检测数据表中具有异常标记的电力检测数据项与预先设定的维修储存表中对应电力检测数据项进行时间节点信息和异常标记的匹配检测，所述维修储存表中包含相应的电力设备在第一检测数据表之前的不同时间节点的电力检测数据项；

若所述第一检测数据表中有异常标记的电力检测数据项与对应的维修储存表中异常标记的电力检测数据项的时间节点信息匹配，则将所述第一检测数据表中匹配的电力检测数据项所对应的电力设备的标识信息和对应的时间节点信息进行存储以形成维修报告。

进一步的，还包括：

将每一所述第一检测数据表中的具有异常标记的电力检测数据项进行筛选以形成筛选数据表，所述筛选数据表中包含具有异常标记的电力检测数据项所对应的电力设备的标识信息和时间节点信息；

根据所述筛选数据表中数据项对异常数据表中的数据项进行匹配筛选，将所述异常数据表中的数据项所有匹配的数据进行删除以形成排查数据表。

第二方面，本申请提供一种电网用大数据清洗去噪系统，采用如下的技术方案：

获取模块，用于获取电网数据；

存储模块，用于存储预设的分类原则、预设的异常数据表、预设的第一检测数据表和预设的填充模型；

第一处理模块，用于进行以下处理：

将电网数据中的所对应数值为空的电力检测数据项从对应的电网数据中删除，并将所述该对应数值为空的电力检测数据项存储于存储模块内存储的预设的异常数据表中；

将删除后的所述电网数据更新存储于对应预设的第一检测数据表中；

根据时间节点信息的顺序检测第一检测数据表中是否有缺失的电力检测数据项，若检测出所述第一检测数据表中存在缺失的电力检测数据项，则根据存储模块内存储预设的填充模型对所述第一检测数据表所缺失的电力检测数据项进行填充，并对所述第一检测数据表中所填充的电力检测数据项进行异常标记。

第三方面，本申请提供一种智能终端，采用如下的技术方案：

一种智能终端，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如第一方面所述方法的计算机程序。

通过采用上述技术方案，在获取电网数据后，对其进行分类和清洗去噪处理，减少存储至数据库内的异常数据，提高对数据库的存储空间的利用率。

第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：

一种计算机可读存储介质，包括存储有能够被处理器加载并执行如第一方面所述方法的计算机程序。

通过采用上述技术方案，计算机可读存储介质能存储相应的程序，可对电网大数据进行清洗去噪后存储于数据库内，有助于改善对电网数据的检测分析效率较差的问题。

综上所述，本申请包括以下至少一种有益技术效果：

在连续两个时间段内的相同时间节点的电力检测数据均出现异常的电力设备和出现异常的时间节点存储于维修报告中，有助于以供工作人员在对电网数据中电力设备的检测情况进行针对的分析和处理，有助于提高对电网数据的检测分析效率。电网数据中的数值为空的异常数据会在进行存储前先被删除，存储后的电网数据中缺失的电力检测数据项会采用对应的填充值进行填充，有助于减少电网数据的分析时间且不影响数据分析的结果，同时采用异常标记的方式进行存储，便于工作人员对异常的电网数据进行数据分析，从而有助于改善对电网数据的检测分析效率较低的问题。

附图说明

图1是本申请实施例的一种电网用大数据清洗去噪方法的流程示意图。

图2是本申请实施例的一种电网用大数据清洗去噪系统的结构框图。

附图标记说明：1、获取模块；2、存储模块；3、第一处理模块。

具体实施方式

以下结合附图1-2对本申请作进一步详细说明。

本申请实施例公开一种电网用大数据清洗去噪方法、系统和计算机存储介质。参照图1，一种电网用大数据清洗去噪方法包括：

s1：获取电网数据。

具体的，电网数据包括多个区域内的电力设备的标识信息和对应的电力检测数据项的名称、数值和当前的时间节点信息，电力设备为发电机、变压器等设备。由于每个电力设备在运行过程中所起到的作用不同，因此每个电力设备所对应的电力检测数据项是不相同的，举例来说，发电机的电力检测数据项为发电量、电流等，而变压器的电力检测数据项为输入电压和输出电压等。

s2：将电网数据中的所对应数值为空的电力检测数据项从对应的电网数据中删除，并将该对应数值为空的电力检测数据项存储于对应的预设的异常数据表中。

具体的，异常数据表中均包含对应区域内在预设的时间段内的在当前时间节点的数值为空的电力检测数据项的名称和对应的时间节点信息，其中，预设的时间段为一天或一小时，时间节点信息为预设的时间段中平均划分的时间节点，相邻两个时间节点信息之间的时间间隔为5分钟或10分钟等，需要说明的是，时间段和时间节点信息的选取还可以根据实际需要进行其他的设置，本申请对此不作具体限定。

s3：将删除后的电网数据更新存储于对应预设的第一检测数据表中。

具体的，第一检测数据表用于存储对应区域内的电力设备在预设的时间段内的电力检测数据项，其中，s3中的第一检测数据表中包含对应区域内的电力设备在当前时间节点之前的多个时间节点的电力检测数据项的名称、数值和时间节点信息，其中，每个第一检测数据表均对应一个预设的时间段，每一第一检测数据表中均有若干个子数据表，每一子数据表均存储对应电力设备的电力检测数据项。

s4：根据时间节点信息的顺序检测每一第一检测数据表中是否有缺失的电力检测数据项，若检测出某一或若干个第一检测数据表中存在缺失的电力检测数据项，则跳转至s5；若未检测出某一或若干个第一检测数据表中存在缺失的电力检测数据项，则跳转至s6。

s5：根据预设的填充模型对第一检测数据表中所缺失的电力检测数据项进行填充，并对第一检测数据表中所填充的电力检测数据项进行异常标记，以供工作人员对电网大数据进行分析。

具体的，异常标记的方式为将所填充的电力检测数据项标记为警示色，每个电力设备所对应的电力检测数据项的数值会存在一定的变化范围。

获取缺失的电力检测数据项的缺失类型；

若缺失类型为随机缺失或完全随机缺失时，此时填充模型调用第一模型进行填充，其中，第一模型为ay1为所缺失的电力检测数据项的对应时间节点信息的前一个时间节点信息，ax1为所缺失的电力检测数据项的对应时间节点信息的后一个时间节点信息，n为所缺失的电力检测数据项的对应时间节点信息的所选取的相邻时间节点信息的数量且n为整数，a为所进行计算的相邻电力检测数据项的数量。当所缺失的电力检测数据项所对应的时间节点信息为预设时间段的端点，则a的取值为n，且没有时间节点信息的电力检测数据项所对应的数值定义为o；当所缺失的电力检测数据项所对应的时间节点信息为预设时间段的端点之前或之后的时间节点信息，则a的取值为2n-1。当需要说明的是，异常标记的方式以及n的取值还可以根据实际需要进行其他的设置，本申请对此不作具体限定。

若缺失类型为非随机缺失时，此时填充模型调用第二模型进行填充，其中，第二模型包括若干经验池，若干所述经验池分别对应电网数据内每个数据项，若干所述经验池内均设有若干记忆槽，若干所述记忆槽用于记录数据项的采集结果；

获取缺失的电力检测数据项对应经验池前yi轮的采集结果以及经验池内若干记忆槽形状，其中，i的取值范围大于等于1；

在具体实施时，首先获取缺失的电力检测数据项是否在采集结果里出现，其中，采集结果包括若干次采集的电网数据组成。

若缺失的电力检测数据项对应经验池前yi轮的采集结果均为空值，则剔除缺失的电力检测数据项，不进行填充；

在具体实施时，采集结果里未曾出现过缺失的电力检测数据项时，则断定缺失的电力检测数据项为干扰数据或错误数据，进行剔除。

若缺失的电力检测数据项对应经验池前yi轮的采集结果出现采集值时，获取采集结果对应的记忆槽形状，通过与当前电网数据内每个数据项对应的记忆槽形状进行对比，获取最相似数据项进行类似填充。

在具体实施时，采集结果里出现缺失的电力检测数据项时，则断定缺失的电力检测数据项为有效采集数据，此时根据采集结果里出现缺失的电力检测数据项对应的记忆槽形状对缺失的电力检测数据项进行类似填充。

具体的，对比过程为，获取采集结果对应i的取值，当i大于1时，通过i乘以模糊系数得出浮动范围值，具体的，模糊系数为式中kq为主电网电力检测数据项与第一数据表内电力检测数据项之和，通过模糊系数，使得采集时间间隔越长的采集结果，对应的记忆槽形状越模糊，使得类似填充后的电力检测数据项范围更大，方便后期人工进行调整。

由于每次选取的i不同，对应的浮动范围值也不同，但随着i的增长，浮动范围值也随之增长；

当i大于1时，将采集结果对应的记忆槽形状与浮动范围值相加得出浮动记忆槽形状，获取浮动记忆槽形状与电网数据内每个数据项对应的记忆槽形状，选取与浮动记忆槽形状相同的电网数据内的数据项为填充数据。

当i＝1时，将采集结果对应的记忆槽形状与电网数据内每个数据项对应的记忆槽形状进行对比，选取与记忆槽形状相同的电网数据内的数据项为填充数据。

对应的，当i的取值越大时，对应类似填充结果可信度越低，根据具体实施时采集的电网数据的重要性设置可信阈值，当可信度低于可信阈值时，对填充值机进行标注，并进行人工审核。

s6：根据每一第一检测数据表以形成对应的若干个数据分析图。

其中，每一数据分析图中均包含对应电力设备在当前时间节点之前的多个时间节点的电力检测数据项的名称、数值和时间节点信息。

s7：将每一数据分析图与对应第一检测数据表中的相应电力设备的标识信息通过超链接的方式关联，以供工作人员点击电力设备的标识信息跳转至相应的数据分析图。

为了便于对电网大数据进行数据分析，在s7之后，参照图2，还包括：

s11：根据时间节点信息的顺序检测每一第一检测数据表的子数据表中是否存在连续多个时间节点信息的且具有异常标记的电力检测数据项，若检测第一检测数据表中存在连续多个时间节点信息的且具有异常标记的电力检测数据项，则跳转至s12；若未检测第一检测数据表中存在连续多个时间节点信息的且具有异常标记的电力检测数据项，则跳转至s13。

s12：将连续多个时间节点信息的且具有异常标记的电力检测数据项所对应的电力设备的标识信息以及对应的时间节点信息进行存储以形成警示报告，以供工作人员根据警示报告对相关电力设备进行维修。

具体的，警示报告中包含对应的电力设备的标识信息以及连续多个时间节点信息的起始时间节点信息，其中，若电力设备存在连续的多个时间节点信息的异常数据，则该电力设备存在设备异常情况。

s13：将每一第一检测数据表中具有异常标记的电力检测数据项与对应的维修储存表中对应电力检测数据项进行时间节点信息和异常标记的匹配检测，若第一检测数据表中有异常标记的电力检测数据项与对应的维修储存表中异常标记的电力检测数据项的时间节点信息匹配，则跳转至s14；若第一检测数据表中有异常标记的电力检测数据项与对应的维修储存表中异常标记的电力检测数据项的时间节点信息不匹配，则跳转至s15。

其中，维修储存表包含对应区域内的电力设备在当前时间段之前的一个时间段内的电力检测数据项的名称、数值和时间节点信息和电力设备编号。

s14：将第一检测数据表中匹配的电力检测数据项所对应的电力设备的名称和对应的时间节点信息进行存储以形成维修报告，以供工作人员对维修报告中的电力设备进行重新设置和维修。

其中，维修报告中的电力设备在两个时间段内的相同时间节点信息存在空的数值，则该电力设备的电力检测数据的获取或相应的数据上传存在异常。

s15：将每一第一检测数据表中的具有异常标记的电力检测数据项进行筛选以形成筛选数据表。

其中，筛选数据表中包含具有异常标记的电力检测数据项所对应的电力设备的标识信息和时间节点信息。

s16：根据筛选数据表中的数据项对异常数据表中的数据项进行电力设备的标识信息、电力数据项名称和时间节点信息的匹配筛选，将异常数据表中的与筛选数据表中数据项所匹配的数据项进行删除以形成排查数据表，以供工作人员对排查数据表中的电力设备进行重新设置和维修。

具体的，排查数据表中所包含的电力设备的标识信息以及相应的电力检测数据项的名称和时间节点信息，其中，这些电力设备所对应的电力数据项在某一时间节点重复测量，会占用数据库的存储资源，因此工作人员依据排查数据表进行针对排查和修改设定。

基于上述方法，本申请实施例还公开一种电网用大数据清洗去噪系统，参照图2，一种电网用大数据清洗去噪系统包括：

获取模块1，用于获取电网数据；

存储模块2，用于存储预设的分类原则、预设的异常数据表、预设的第一检测数据表、预设的填充模型、预设的维修储存表；

第一处理模块3，用于进行以下处理：

将电网数据中的所对应数值为空的电力检测数据项从对应的电网数据中删除，并将所述该对应数值为空的电力检测数据项存储于存储模块2内存储的预设的异常数据表中；

将删除后的所述电网数据更新存储于对应预设的第一检测数据表中；

根据时间节点信息的顺序检测第一检测数据表中是否有缺失的电力检测数据项，若检测出所述第一检测数据表中存在缺失的电力检测数据项，则根据存储模块2内存储预设的填充模型对所述第一检测数据表所缺失的电力检测数据项进行填充，并对所述第一检测数据表中所填充的电力检测数据项进行异常标记。

本申请实施例还公开一种智能终端，智能终端包括存储器和处理器，存储器上存储有能够被处理器加载并执行如上述的一种电网用大数据清洗去噪方法的计算机程序。

本申请实施例还公开一种计算机可读存储介质，其存储有能够被处理器加载并执行如上述的一种电网用大数据清洗去噪方法的计算机程序，该计算机可读存储介质例如包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

以上实施例仅用以说明本申请的技术方案，而非对申请的保护范围进行限制。显然，所描述的实施例仅仅是本申请部分实施例，而不是全部实施例。基于这些实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请所要保护的范围。