数据管理方法和装置与流程

本公开涉及信息存储领域，特别涉及一种数据管理方法和装置。

背景技术：

在能源系统中，数据采集、数据解析、数据统计存储是基本功能。数据采集单元负责采集设备uipq能源数据、环境数据、状态数据等，以字节流格式传输至数据解析单元。数据解析单元负责接收数据采集单元的字节流数据，对数据进行解析处理，再以预定格式将相应字符发送给数据统计存储单元。数据统计存储单元负责按设备、层级维度及日、月、年时间维度统计数据，再存储至数据库。

技术实现要素：

发明人经过研究发现，相关技术中的数据存储系统架构简单，适用单一工程监控。在工程监控数量、采集的数据量剧增的情况下，数据存储性能会显著降低。

为此，本公开提供一种提升能源互联网数据存储性能的方案。

根据本公开实施例的第一方面，提供一种数据管理方法，包括：采集能源互联网数据；将所述能源互联网数据进行解析处理，以得到具有预定格式的信息；将所述信息按照预定维度进行统计，以得到相应的能源数据和信息数据；将所述信息数据写入信息数据存储单元中；将所述能源数据写入相对应的能源数据存储主单元中，以便所述能源数据存储主单元将接收到的所述能源数据写入相关联的能源数据存储从单元中。

在一些实施例中，将所述能源数据写入相对应的能源数据存储主单元中包括：检测各能源数据存储主单元的当前存储状态；将所述能源数据写入当前存储空间最大的能源数据存储主单元中。

在一些实施例中，在接收到读取指定能源数据的指令后，查询所述指定能源数据的属性；在所述指定能源数据为实时数据的情况下，从具有所述指定能源数据的能源数据存储主单元中读取所述指定能源数据。

在一些实施例中，在所述指定能源数据为历史数据的情况下，从具有所述指定能源数据的能源数据存储从单元中读取所述指定能源数据。

在一些实施例中，在接收到读取指定信息数据的指令后，从所述信息数据存储单元中读取所述指定信息数据。

在一些实施例中，检测各能源数据存储主单元的工作状态；若存在出现故障的能源数据存储主单元，则将与所述出现故障的能源数据存储主单元相关联的能源数据存储从单元切换为能源数据存储主单元。

在一些实施例中，在所述出现故障的能源数据存储主单元故障恢复后，将故障恢复的能源数据存储主单元切换为能源数据存储从单元。

根据本公开实施例的第二方面，提供一种数据管理装置，包括：数据采集模块，被配置为采集能源互联网数据；数据解析模块，被配置为将所述能源互联网数据进行解析处理，以得到具有预定格式的信息；数据统计模块，被配置为将所述信息按照预定维度进行统计，以得到相应的能源数据和信息数据；数据存储模块，被配置为将所述信息数据写入信息数据存储单元中，将所述能源数据写入相对应的能源数据存储主单元中，以便所述能源数据存储主单元将接收到的所述能源数据写入相关联的能源数据存储从单元中。

在一些实施例中，所述数据存储模块包括：数据管理模块，被配置为检测各能源数据存储主单元的当前存储状态，将所述能源数据写入当前存储空间最大的能源数据存储主单元中。

在一些实施例中，数据管理模块还被配置为在接收到读取指定能源数据的指令后，查询所述指定能源数据的属性，在所述指定能源数据为实时数据的情况下，从具有所述指定能源数据的能源数据存储主单元中读取所述指定能源数据。

在一些实施例中，数据管理模块还被配置为在所述指定能源数据为历史数据的情况下，从具有所述指定能源数据的能源数据存储从单元中读取所述指定能源数据。

在一些实施例中，数据管理模块还被配置为在接收到读取指定信息数据的指令后，从所述信息数据存储单元中读取所述指定信息数据。

在一些实施例中，所述数据存储模块包括：单元控制模块，被配置为检测各能源数据存储主单元的工作状态，若存在出现故障的能源数据存储主单元，则将与所述出现故障的能源数据存储主单元相关联的能源数据存储从单元切换为能源数据存储主单元。

在一些实施例中，单元控制模块还被配置为在所述出现故障的能源数据存储主单元故障恢复后，将故障恢复的能源数据存储主单元切换为能源数据存储从单元。

根据本公开实施例的第三方面，提供一种数据管理装置，包括：

存储器，被配置为存储指令；处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如上述任一实施例所述的方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上述任一实施例所述的方法。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开一个实施例的数据管理方法的流程示意图；

图2为本公开另一个实施例的数据管理方法的流程示意图；

图3为本公开一个实施例的数据管理装置的结构示意图；

图4为本公开一个实施例的数据存储模块的结构示意图；

图5为本公开另一个实施例的数据管理装置的结构示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1为本公开一个实施例的数据管理方法的流程示意图。在一些实施例中，数据管理方法步骤由数据管理装置执行。

在步骤101，采集能源互联网数据。

这里需要说明的是，由于如何采集能源互联网数据并不是本公开的发明点所在，因此这里不展开说明。

在步骤102，将能源互联网数据进行解析处理，以得到具有预定格式的信息。

在一些实施例中，利用json格式来表示经过解析处理的信息。例如：

在步骤103，将信息按照预定维度进行统计，以得到相应的能源数据和信息数据。

在一些实施例中，按照设备、层级维度以及日、月、年时间维度进行数据统计。

在步骤104，将信息数据写入信息数据存储单元中。

在步骤105，将能源数据写入相对应的能源数据存储主单元中，以便能源数据存储主单元将接收到的能源数据写入相关联的能源数据存储从单元中。

在一些实施例中，将能源数据写入相对应的能源数据存储主单元中包括：检测各能源数据存储主单元的当前存储状态，将能源数据写入当前存储空间最大的能源数据存储主单元中。

例如，在分布式存储系统中设有3个能源数据存储主单元，第一个能源数据存储主单元的可用空间为30m，第二个能源数据存储主单元的可用空间为20m，第三个能源数据存储主单元的可用空间为25m。由此，将能源数据写入第一个能源数据存储主单元，从而实现均衡分配存储数据。

在本公开上述实施例提供的数据管理方法中，通过利用分布式存储技术来存储能源数据，从而有效解决存储系统并发少、存储受限的问题。

图2为本公开另一个实施例的数据管理方法的流程示意图。在一些实施例中，数据管理方法步骤由数据管理装置执行。

在步骤201，接收读取指令。

在步骤202，判断读取指令是否为读取指定能源数据的指令。

若读取指令为读取指定能源数据的指令，则执行步骤203；若读取指令为读取信息数据的指令，则执行步骤206。

在步骤203，查询指定能源数据的属性是否为实时数据。

若指定能源数据为实时数据，则执行步骤204；若指定能源数据为历史数据，则执行步骤205。

在步骤204，从具有指定能源数据的能源数据存储主单元中读取指定能源数据。

在步骤205，从具有指定能源数据的能源数据存储从单元中读取指定能源数据。

在步骤206，从信息数据存储单元中读取指定信息数据。

这里需要说明的是，在能源互联网系统中，能源数据增长很快，而信息数据增长缓慢。因此，可将信息数据存储在信息数据存储单元，并从信息数据存储单元中读取相应的信息数据。即信息数据存储单元提供读写功能。此外，将能源数据分布式地存储在相应的能源数据存储主单元中，能源数据存储主单元将接收到的数据写入相应的能源数据存储从单元中。对于实时数据，可直接从能源数据存储主单元读取。而对于历史数据，从能源数据存储从单元读取。即，能源数据存储主单元可同时提供读写功能，而能源数据存储从单元仅提供读取功能。由此可提升数据的查询效率。

在一些实施例中，每个能源数据存储主单元和相关联的能源数据存储从单元的功能可根据具体情况进行切换。

在分布式存储系统中，设有多个能源数据存储主单元，每个能源数据存储主单元都有相关联的能源数据存储从单元。通过检测各能源数据存储主单元的工作状态，若存在出现故障的能源数据存储主单元，则将与出现故障的能源数据存储主单元相关联的能源数据存储从单元切换为能源数据存储主单元。在出现故障的能源数据存储主单元故障恢复后，将故障恢复的能源数据存储主单元切换为能源数据存储从单元。

例如，在分布式存储系统中设有3个能源数据存储主单元。能源数据存储主单元宕机11后，相对应的能源数据存储从单元12扮演能源数据存储主单元的角色，提供读写功能。而原能源数据存储主单元11重启后将扮演能源数据存储从单元的角色，仅提供读取功能。通过采用上述容灾技术，可确保在发生异常情况下也能提供正常的读写功能。

图3为本公开一个实施例的数据管理装置的结构示意图。如图3所示，数据管理装置包括数据采集模块31、数据解析模块32、数据统计模块33和数据存储模块34。

数据采集模块31被配置为采集能源互联网数据。

数据解析模块32被配置为将能源互联网数据进行解析处理，以得到具有预定格式的信息。

在一些实施例中，利用json格式来表示经过解析处理的信息。

数据统计模块33被配置为将信息按照预定维度进行统计，以得到相应的能源数据和信息数据。

在一些实施例中，按照设备、层级维度以及日、月、年时间维度进行数据统计。

数据存储模块34被配置为将信息数据写入信息数据存储单元中，将能源数据写入相对应的能源数据存储主单元中，以便能源数据存储主单元将接收到的能源数据写入相关联的能源数据存储从单元中。

图4为本公开一个实施例的数据存储模块的结构示意图。如图4所示，数据存储模块包括数据管理模块41。这里需要说明的是，数据存储模块中可包括多个能源数据存储主单元，每个能源数据存储主单元都设有相关联的能源数据存储从单元。为了简明起见，在数据存储模块中仅给出了能源数据存储主单元11和21，相应的能源数据存储从单元12和22，以及信息数据存储单元31。

数据管理模块41被配置为检测各能源数据存储主单元的当前存储状态，将能源数据写入当前存储空间最大的能源数据存储主单元中。

在一些实施例中，数据管理模块41还被配置为在接收到读取指定能源数据的指令后，查询指定能源数据的属性，在指定能源数据为实时数据的情况下，从具有指定能源数据的能源数据存储主单元中读取指定能源数据。

此外，数据管理模块41还被配置为在指定能源数据为历史数据的情况下，从具有指定能源数据的能源数据存储从单元中读取指定能源数据。

在一些实施例中，数据管理模块41还被配置为在接收到读取指定信息数据的指令后，从信息数据存储单元中读取指定信息数据。

在一些实施例中，如图4所示，数据存储模块还包括单元控制模块42。

单元控制模块42被配置为检测各能源数据存储主单元的工作状态，若存在出现故障的能源数据存储主单元，则将与出现故障的能源数据存储主单元相关联的能源数据存储从单元切换为能源数据存储主单元。

此外，单元控制模块42还被配置为在出现故障的能源数据存储主单元故障恢复后，将故障恢复的能源数据存储主单元切换为能源数据存储从单元。

图5为本公开另一个实施例的数据管理装置的结构示意图。如图5所示，数据管理装置包括存储器51和处理器52。

存储器51用于存储指令，处理器52耦合到存储器51，处理器52被配置为基于存储器存储的指令执行实现如图1或图2中任一实施例涉及的方法。

如图5所示，数据管理装置还包括通信接口53，用于与其它设备进行信息交互。同时，该装置还包括总线54，处理器52、通信接口53、以及存储器51通过总线54完成相互间的通信。

存储器51可以包含高速ram存储器，也可还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器51也可以是存储器阵列。存储器51还可能被分块，并且块可按一定的规则组合成虚拟卷。

此外，处理器52可以是一个中央处理器cpu，或者可以是专用集成电路asic，或者是被配置成实施本公开实施例的一个或多个集成电路。

本公开同时还涉及一种计算机可读存储介质，其中计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如图1或图2中任一实施例涉及的方法。

在一些实施例中，在上面所描述的功能单元模块可以实现为用于执行本公开所描述功能的通用处理器、可编程逻辑控制器(programmablelogiccontroller，简称：plc)、数字信号处理器(digitalsignalprocessor，简称：dsp)、专用集成电路(applicationspecificintegratedcircuit，简称：asic)、现场可编程门阵列(field-programmablegatearray，简称：fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。

本公开通过利用分布式存储技术，有效解决能源信息系统并发少、数据存储受限、数据查询效率低下、不能满足能源互联网精细化数据存储需求的问题。

本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。