数据处理方法、装置及电子设备与流程

本发明涉及电力设备技术领域，尤其是涉及一种数据处理方法、装置及电子设备。

背景技术：

当前现有电力设备终端对数据处理上仍然存在较大瓶颈，尤其是国网推出的面向对象用采终端，在多任务多数据项采集的情况下，大数据的数据处理亟待解决。

目前，现有技术中针对大数据的数据处理方法主要是通过固定分配数据存储空间，按采集数据项创建存储文件，不区分电力设备采集终端实际分配的测量点个数，统一按最大测量点分配空间，该方案优点在于数据存储逻辑简单、高效，但缺点在于数据空间严重浪费，冗余量大，尤其在多数据oad存储的情况下，会出现先采集先存入，造成后面采集的数据oad无可用空间，数据缺失严重，另外无法按指定测量点进行数据清除，只能按整个台区测量点数据全清处理。

综上，现有的数据处理方法存在存储空间浪费严重的问题。

技术实现要素：

有鉴于此，本发明的目的在于提供数据处理方法、装置及电子设备，以缓解现有的数据处理方法存在存储空间浪费严重的问题，能够降低数据存储空间的开支。

第一方面，本发明实施例提供了一种数据处理方法，预先确定台区的采集任务以及所述采集任务所包括的测量点，并为测量点分配记录表；所述方法包括：

判断目标测量点是否在测量点存储范围内；所述测量点存储范围用于表征所述台区能够存储的测量点的数量；其中所述目标测量点为所述台区的测量点中的一个；

若所述目标测量点在测量点存储范围内时，将所述目标测量点的采集数据存储至与所述目标测量点对应的记录表中。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述方法还包括：

若所述目标测量点不在所述测量点存储范围内时，确定所述目标测量点所对应的采集任务；

将所述目标测量点所对应的采集任务中所有测量点的数据删除。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述方法还包括：对于目标测量点的目标采集数据项oad；

判断所述目标采集数据项oad是否在目标测量点所对应的记录表的记录容量范围内；

若所述目标采集数据项oad不在目标测量点所对应的记录表的记录容量范围内，则删除所述目标测量点所对应的记录表中最早记录的一条采集数据项oad，并将所述目标采集数据项oad写入所述记录表。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述方法还包括：

若所述目标采集数据项oad在目标测量点所对应的记录表的记录容量范围内，则将所述目标采集数据项oad写入所述记录表。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，预先确定台区的采集任务以及所述采集任务所包括的测量点，并为测量点分配记录表的步骤，包括：

创建采集任务的数据文件，所述数据文件包括所述采集任务所属业务的业务标识以及关键字；

创建测量点的记录表；其中记录表用于记录测量点的采集数据项oad；

将记录表与测量点对应关联。

结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述关键字包括采集时标、测量点以及采集数据项oad。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，每个测量点携带有数量标识，判断所述目标测量点是否在测量点存储范围内的步骤，包括：

基于所述目标测量点的数量标识判断所述目标测量点是否在测量点存储范围内。

第二方面，本发明实施例还提供一种数据处理装置，包括：

预先确定台区的采集任务以及所述采集任务所包括的测量点，所述装置包括：

判断模块，用于判断目标测量点是否在测量点存储范围内；所述测量点存储范围用于表征所述台区能够存储的测量点的数量；其中所述目标测量点为所述台区的测量点中的一个；

存储模块，用于若所述目标测量点在测量点存储范围内时，将所述目标测量点的采集数据存储至与所述目标测量点对应的记录表中。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述装置还包括：

确定模块，用于当所述目标测量点不在所述测量点存储范围内时，确定所述目标测量点所对应的采集任务；

删除模块，用于将所述目标测量点所对应的采集任务中所有测量点的数据删除。

第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的数据处理方法的步骤。

第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的数据处理方法的步骤。

本发明实施例带来了以下有益效果：本发明实施例提供的数据处理方法、装置、电子设备以及计算机可读存储介质，预先确定台区的采集任务以及所述采集任务所包括的测量点，并为测量点分配记录表；通过首先判断所述目标测量点是否在测量点存储范围内；其中测量点存储范围用于表征所述台区能够存储的测量点的数量；目标测量点为所述台区的测量点中的一个；若所述目标测量点在所述测量点存储范围内时，则将目标测量点的采集数据存储至与目标测量点对应的记录表中。因此，本发明实施例提供的技术方案，结合业务及现场任务使用环境来进行数据存储优化处理，高效压缩了数据存储空间的开支，有利于减少数据存储空间的开支，缓解现有的数据处理方法存在存储空间浪费严重的问题。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据处理方法的流程示意图；

图2为本发明实施例提供的另一种数据处理方法的流程示意图；

图3为本发明实施例提供的数据处理方法的第一流程示意图；

图4为本发明实施例提供的一种数据处理装置的示意图；

图5为本发明实施例提供的一种电子设备的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，现有技术中针对大数据的数据处理方法主要有两种，一种是通过固定分配数据存储空间，按采集数据项创建存储文件，不区分电力设备采集终端实际分配的测量点个数，统一按最大测量点分配空间，该方案优点在于数据存储逻辑简单、高效，但缺点在于数据空间严重浪费，冗余量大，尤其在多数据oad存储的情况下，会出现先采集先存入，造成后面采集的数据oad无可用空间，数据缺失严重，另外无法按指定测量点进行数据清除，只能按整个台区测量点数据全清处理；方案2，按执行任务进行采集数据存储，每块表作为一条记录保存，且采集数据项打包处理，该方法优点在于数据存储关键字检索信息清晰，便于后续删除指定的表记录，但同时也存在一定缺陷，即出现多任务采集同个数据项oad时，则会存在多条记录，对于数据检索一块存在数据重复等歧义。同时在出现测量点数变更情况下，在数据存储绕尾时，易出现存储覆盖更新不全，或者覆盖超出多条记录，但又出现保留部分测量点记录数，导致数据检索异常产生。

基于此，本发明实施例提供的一种数据处理方法、装置及电子设备，结合业务及现场任务使用环境来进行数据存储优化处理，高效压缩了数据存储空间的开支，有利于减少数据存储空间的开支，缓解现有的数据处理方法存在存储空间浪费严重的问题。同时增加数据异常存储下的判断机制，真正做到数据高效、稳定的存储，便于外部正常获取电力设备终端数据的采集。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种数据处理方法进行详细介绍。

实施例一：

本发明实施例提供了一种数据处理方法，应用于电力台区采集领域，由对应领域的电子设备执行，电子设备例如可以是电力设备采集终端、处理终端、采集终端的控制器或者处理终端的控制器等。

具体的，如图1所示，该方法预先确定台区的采集任务以及所述采集任务所包括的测量点，并为测量点分配记录表；包括以下步骤：

步骤s102，判断目标测量点是否在测量点存储范围内；

其中上述测量点存储范围用于表征所述台区能够存储的测量点的数量；上述目标测量点为所述台区的测量点中的一个。

步骤s104，若目标测量点在测量点存储范围内时，将目标测量点的采集数据存储至与目标测量点对应的记录表中。

其中，这里的采集数据包括采集数据项oad。

需要指出的是，每个所述采集任务可以包括一个或多个测量点，采集任务与测量点的对应关系可以根据现场需求设定；每个任务的所有测量点的记录表共用一个任务文件；任务与任务之间是相互独立的。

在可选的实施方式中，预先确定台区的采集任务以及所述采集任务所包括的测量点，可以通过以下步骤实现：根据采集数据方案(又称为业务或业务类型确定台区的采集任务以及确定每个采集任务所分配的测量点。

在可选的实施方式中，预先确定台区的采集任务以及所述采集任务所包括的测量点，并为测量点分配记录表的步骤，包括：

1、创建采集任务的数据文件，所述数据文件包括所述采集任务所属业务的业务标识以及关键字；

其中，所属业务包括实时类业务、冻结类业务、事件类业务等；业务标识可以是业务名称，业务名称例如可以用数字、文字、字母或其组合，以表征该业务；当然业务标识还可以以其他方式或组合进行表示，这里不作具体限定。

在可选的实施方式中，所述关键字包括采集时标、测量点以及采集数据项oad。

在可选的实施方式中，上述创建采集任务的数据文件的步骤，主要通过以下步骤执行：

a按照采集任务(task1、task2…、taskn)进行数据文件创建，创建数据文件时，需指定采集数据方案(实时类业务、冻结类业务、事件类业务等)，关键字涵盖采集时标(成功、启动、存储)、测量点tsa、以及采集数据项oad；

具体的，业务标识可以体现在数据文件的命名上；关键字则可以体现在数据文件的子文件或者文件内容中；其中数据文件可以是一个文件夹，也可以是一个文件；当数据文件可以是一个文件夹时，关键字可以是文件夹下的子文件；而当数据文件可以是一个文件(例如excel文件)时，关键字可以是文件的子文件(例如sheet工作表)；

2、创建测量点的记录表；其中记录表用于记录测量点的采集数据项oad；这里的oad是对象属性描述符(objectattributedescriptor)的缩写。关于其含义可以参照现有技术，这里不再赘述。

在创建测量点的记录表时，可以直接在在所述数据文件内创建；也可以创建好记录表以后再转移(复制、剪切或者镜像)到数据文件内。

3、将记录表与测量点对应关联。

每个测量点对应一个记录表，每个任务的所有测量点的记录表共用一个任务文件；例如每个测量点tsa1、tsa2…、tsan分别对应一个记录表rec1、rec2…、recn，每个记录表包含该任务采集方案所有的采集数据项oad数据，最终将所有的记录链接在一起。

在可选的实施方式中，每个测量点的记录表相互独立，即每个记录表的创建，独立于其他任何一个记录表，动态分配文件大小，不受台区测量点个数限制。

在可选的实施方式中，每个采集任务之间是相互独立的，即每个采集任务taskn涵盖该任务下的所有的记录表recn，拼接在一个任务文件，不受其他任务影响，不受采集数据方案(业务)深度影响。

在可选的实施方式中，每个测量点携带有数量标识，所述数量标识用于方便对测量点进行计数和识别及判定；数量标识例如可以是以数字(下标数字或者上标数字均可)的形式表示的序号或者标号，具体的，可以在所述采集任务所包括的测量点时，为每个测量点分配数量标识；

此时上述的判断所述目标测量点是否在测量点存储范围内的步骤s102，可以通过以下步骤执行：

1)基于所述目标测量点的数量标识判断所述目标测量点是否在测量点存储范围内。

其中测量点存储范围用于表征所述台区能够进行固定空间存储的测量点的数量，例如100个；

具体的，将所述目标测量点的数量标识与测量点存储阈值进行比较，生成比较结果，然后根据比较结果判断所述目标测量点是否在测量点存储范围，例如比较结果指示目标测量点的数量标识在测量点存储阈值内，则判断所述目标测量点在测量点存储范围内，否则，则判断所述目标测量点不在测量点存储范围内。

本发明实施例提供的数据处理方法，预先确定台区的采集任务以及所述采集任务所包括的测量点，并为测量点分配记录表；通过首先判断所述目标测量点是否在测量点存储范围内；其中测量点存储范围用于表征所述台区能够存储的测量点的数量；目标测量点为所述台区的测量点中的一个；若所述目标测量点在所述测量点存储范围内时，则将目标测量点的采集数据存储至与目标测量点对应的记录表中。相比于现有技术的方案，该方法结合业务及现场任务使用环境来进行数据存储优化处理，高效压缩了数据存储空间的开支，有利于减少数据存储空间的开支，缓解现有的数据处理方法存在存储空间浪费严重的问题。

实施例二：

参照图2，本发明实施例提供了另一种数据处理方法，预先确定台区的采集任务以及所述采集任务所包括的测量点，并为测量点分配记录表，该方法包括：

步骤s202，判断目标测量点是否在测量点存储范围内；

其中所述测量点存储范围用于表征所述台区能够存储的测量点的数量；所述目标测量点为所述台区的测量点中的一个；

步骤s204，若目标测量点在测量点存储范围内时，将目标测量点的采集数据存储至与目标测量点对应的记录表中。

通过步骤s204，目标测量点不在测量点存储范围内时，此时存储空间固定，不执行动态分配，从而采用能接受的空间来换取高效、稳定的检索条件；即方便数据检索和查看。

步骤s206，若所述目标测量点不在所述测量点存储范围内时，确定所述目标测量点所对应的采集任务；将所述目标测量点所对应的采集任务中所有测量点的数据删除。

对于步骤s206，具体的，在标测量点不在所述测量点存储范围内的情况下，通过确定目标测量点所对应的采集任务，将所述采集任务对应的数据文件内的所有测量点的数据进行删除，这里所述采集任务对应的数据文件内的所有测量点的数据包括测量点对应的记录表及其内部记录的采集数据项oad。

通过步骤s206，避免覆盖点不全造成数据检索异常的问题。

本发明实施例提供的数据处理方法，在遇到测量点变更，例如增加台区的测量点的情况下，则参照定值(即上述的测量点存储范围内)，也就是在一定测量点(pn_min～pn_max)范围内，存储空间固定，不执行动态分配，采用能接受的空间来换取高效、稳定的检索条件；若测量点在(pn_min～pn_max)范围之外，则按照变更测量点所对应的采集任务，删除其对应采集任务的所有测量点(采集任务包括的所有测量点)的数据，避免覆盖点不全，造成数据检索异常。

考虑到每个记录表的记录空间有限，如何对数据进行存储的情况，参照图3，在可选的实施方式中，对于目标测量点的目标采集数据项oad，该方法还包括：

步骤s302，判断目标采集数据项oad是否在目标测量点所对应的记录表的记录容量范围内；

其中，上述目标采集数据项oad可以理解为基于对目标测量点进行数据采集得到的采集数据项oad中的一个；采集数据项oad可以包括采集时间、数据内容，还可以包括发送至记录表的时间、存储至记录表的时间等等。

上述的容量范围可以理解为记录表能存储的采集数据项oad的条数，也可以理解为记录表能存储的字节大小。

步骤s304，若目标采集数据项oad不在目标测量点所对应的记录表的记录容量范围内，则删除目标测量点所对应的记录表中最早记录的一条采集数据项oad，并将目标采集数据项oad写入记录表。

通过步骤s304，若存储深度已存满，即开始绕尾，则回滚到最早记录，按照固定区域进行覆盖填充，记录最新存储时间点，并清除当前深度历史记录。

步骤s306，若上述目标采集数据项oad在目标测量点所对应的记录表的记录容量范围内，则将上述目标采集数据项oad写入上述记录表。

具体的，记录表是按时间先后顺序记录数据的，因此，这里的将所述目标采集数据项oad写入所述记录表是指将目标采集数据项oad写入记录表前一条(采集时间最邻近的一条)采集数据项oad的后面，并记录最新存储时间点。

本发明实施例提供的数据处理方法，通过结合业务及现场任务使用环境来进行数据存储优化处理，高效压缩了数据存储空间的开支，以及引入数据异常存储下的判断机制，真正做到数据高效、稳定的存储，便于外部正常获取电力设备终端数据的采集。

该方法相对于传统存储方法主要具有以下优点：

1、做到固定存储与动态存储切换，提高电力设备终端采集存储效率，节省空间开支，检索数据稳定可靠；

2、便于数据检索、可按指定测量点tsa检索指定采集数据项oad，同时也可按指定测量点tsa清除对应的采集数据项oad记录；

3、在绕尾情况下，有自维护机制，可避免异常数据产生(如数据突变、或者检索为空)；

4、在多任务多oad抄读情况下，可保证每个考核数据项均能完成的存储起来。

实施例三：

参照图4，本发明实施例提供了一种数据处理装置，预先确定台区的采集任务以及所述采集任务所包括的测量点，所述装置包括：

判断模块401，用于判断所述目标测量点是否在测量点存储范围内；所述测量点存储范围用于表征所述台区能够存储的测量点的数量；其中所述目标测量点为所述台区的测量点中的一个；

存储模块402，用于若所述目标测量点在所述测量点存储范围内时，将所述目标测量点的采集数据存储至与所述目标测量点对应的记录表中。

在可选的实施方式中，所述装置还包括：

确定模块403，用于当所述目标测量点不在所述测量点存储范围内时，确定所述目标测量点所对应的采集任务；

删除模块404，用于将所述目标测量点所对应的采集任务中所有测量点的数据删除。

在可选的实施方式中，判断模块401还用于对于目标测量点的目标采集数据项oad；判断所述目标采集数据项oad是否在目标测量点所对应的记录表的记录容量范围内；若所述目标采集数据项oad不在目标测量点所对应的记录表的记录容量范围内，则删除所述目标测量点所对应的记录表中最早记录的一条采集数据项oad，并将所述目标采集数据项oad写入所述记录表；

在可选的实施方式中，判断模块401还用于若所述目标采集数据项oad在目标测量点所对应的记录表的记录容量范围内，则将所述目标采集数据项oad写入所述记录表。

在可选的实施方式中，在预先确定台区的采集任务以及所述采集任务所包括的测量点，并为测量点分配记录表时，包括：创建采集任务的数据文件，所述数据文件包括所述采集任务所属业务的业务标识以及关键字；创建测量点的记录表；其中记录表用于记录测量点的采集数据项oad；将记录表与测量点对应关联。

在可选的实施方式中，上述的关键字包括采集时标、测量点以及采集数据项oad。

在可选的实施方式中，每个测量点携带有数量标识，判断模块401在判断所述目标测量点是否在测量点存储范围内时，用于基于所述目标测量点的数量标识判断所述目标测量点是否在测量点存储范围内。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明实施例提供的数据处理装置，与上述实施例提供的数据处理方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。

参见图5，本发明实施例提供的一种电子设备500，包括：处理器50，存储器51，总线52和通信接口53，所述处理器50、通信接口53和存储器51通过总线52连接；处理器50用于执行存储器51中存储的可执行模块，例如计算机程序。

其中，存储器51可能包含高速随机存取存储器(ram，randomaccessmemory)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。通过至少一个通信接口53(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线52可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器51用于存储程序，所述处理器50在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器50中，或者由处理器50实现。

处理器50可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器50中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器50可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessing，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现成可编程门阵列(field-programmablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器51，处理器50读取存储器51中的信息，结合其硬件完成上述方法的步骤。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行所述数据处理方法的步骤。

本发明实施例所提供的进行数据处理方法的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。