一种电力系统实时动态监测数据并行处理装置及处理方法与流程

本申请涉及电力自动化技术领域，尤其涉及一种电力系统实时动态监测数据并行处理装置及处理方法。

背景技术：

近年来，为响应电网公司提出的稳步推进二次系统一体化和南方电网一体化电网运行智能系统(operationsmartsystem,os2)研究与建设的战略方针。作为智能电网的数据源头，os2厂站端系统在现有技术基础上，重点加强间隔层装置功能整合、站控层数据整合和厂站端智能化应用功能建设，并通过智能远动机整合厂站端数据采集和通道，实现各类运行数据的综合采集和统一交换。

目前，电力系统实时动态监测客户端与智能远动机pmu业务服务端之间采用《电力系统实时动态监测系统第二部分数据传输协议》进行通讯。该协议规定了实时动态监测系统的数据传送协议，包括实时数据传送协议及离线数据传输协议，其中实时数据传输协议采用tcp作为底层通讯协议，需要建立两个连接过程完成实时数据的传送与控制。两个数据连接过程分别是数据连接(包括实时传输数据报文)和命令连接(包括实时传输命令报文和响应命令报文的数据报文)。但是该通讯协议处理过程繁琐。而且配置有多个相量和模拟量通道的情况下，传统的处理手段为串行处理方式，由客户端按照设定的步骤依次处理动态监测数据，容易产生客户端的数据处理量效率低的现象，进而影响到智能远动机pmu业务服务端的数据处理效率。

技术实现要素：

本申请实施例提供了一种电力系统实时动态监测数据并行处理装置及处理方法，用于解决现有的实时动态监测客户端与智能远动机pmu业务服务端的数据处理效率低的技术问题。

有鉴于此，本申请第一方面提供了一种电力系统实时动态监测数据并行处理装置，应用于实时动态监测客户端，包括：数据接收模块、实时比对模块、传输模块以及存储控制模块；

所述数据接收模块的输出端与所述实时比对模块的输入端通信连接，所述实时比对模块的第一输出端与所述传输模块的输入端通信连接，所述实时比对模块的第二输出端与所述存储控制模块的输入端通信连接；

所述数据接收模块用于接收实时动态监测客户端生成的动态监测数据，并将所述动态监测数据发送给所述实时比对模块；

所述实时比对模块用于将当前接收到的动态监测数据与标准数据进行数据比对过滤，当比对结果通过时，则将所述动态监测数据发送至所述传输模块和所述存储控制模块，以接收下一组动态监测数据，当比对结果不通过时，则对所述动态监测数据进行过滤处理，然后接收下一组动态监测数据；

所述传输模块用于通过分组传输方式，将接收到的所述动态监测数据发送至服务端；

所述存储控制模块用于将接收到的所述动态监测数据写入预设的存储设备。

优选地，所述传输模块具体用于：

根据预设的数据累积阈值，当所述动态监测数据的缓存量达到所述数据累积阈值时，则通过分组传输方式，将接收到的所述动态监测数据发送至服务端。

优选地，所述存储控制模块中配置有第一缓存池和第二缓存池；

且所述存储控制模块具体用于：将接收到的动态监测数据存入所述第一缓存池，并根据预设的缓存阈值监测所述第一缓存池的缓存量，当所述第一缓存池的缓存量达到所述缓存阈值时，则将所述第一缓存池更改为第二缓存池，以便于更改后的第二缓存池将所述动态监测数据写入预设的存储设备。

本申请第二方面提供了一种电力系统实时动态监测数据并行处理方法，应用于如本申请第一方面所述的一种电力系统实时动态监测数据并行处理装置，包括：

数据接收模块接收实时动态监测客户端生成的动态监测数据，并将所述动态监测数据发送给实时比对模块；

所述实时比对模块将当前接收到的动态监测数据与标准数据进行数据比对过滤，当比对结果通过时，则将所述动态监测数据发送至所述传输模块和所述存储控制模块，以接收下一组动态监测数据，当比对结果不通过时，则对所述动态监测数据进行过滤处理，然后接收下一组动态监测数据；

所述传输模块通过分组传输方式，将接收到的所述动态监测数据发送至服务端；

所述存储控制模块将接收到的所述动态监测数据写入预设的存储设备。

优选地，所述标准数据的配置过程具体包括：

根据历史动态监测数据的平均值，得到所述标准数据。

优选地，所述传输模块通过分组传输方式，将接收到的所述动态监测数据发送至服务端具体包括：

根据预设的数据累积阈值，当所述动态监测数据的缓存量达到所述数据累积阈值时，则通过分组传输方式，将接收到的所述动态监测数据发送至服务端。

优选地，所述存储控制模块中配置有第一缓存池和第二缓存池；

且所述存储控制模块将接收到的所述动态监测数据写入预设的存储设备具体包括：将接收到的动态监测数据存入所述第一缓存池，并根据预设的缓存阈值监测所述第一缓存池的缓存量，当所述第一缓存池的缓存量达到所述缓存阈值时，则将所述第一缓存池更改为第二缓存池，以便于更改后的第二缓存池将所述动态监测数据写入预设的存储设备。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请提供了一种电力系统实时动态监测数据并行处理装置，应用于实时动态监测客户端，包括：数据接收模块、实时比对模块、传输模块以及存储控制模块；所述数据接收模块的输出端与所述实时比对模块的输入端通信连接，所述实时比对模块的第一输出端与所述传输模块的输入端通信连接，所述实时比对模块的第二输出端与所述存储控制模块的输入端通信连接；所述数据接收模块用于接收实时动态监测客户端生成的动态监测数据，并将所述动态监测数据发送给所述实时比对模块；所述实时比对模块用于将当前接收到的动态监测数据与标准数据进行数据比对过滤，当比对结果通过时，则将所述动态监测数据发送至所述传输模块和所述存储控制模块，以接收下一组动态监测数据，当比对结果不通过时，则对所述动态监测数据进行过滤处理，然后接收下一组动态监测数据；所述传输模块用于通过分组传输方式，将接收到的所述动态监测数据发送至服务端；所述存储控制模块用于将接收到的所述动态监测数据写入预设的存储设备。

本申请在实时动态监测客户端采用一种并行处理采集报文的方式，将采集的动态数据分配到动态监测数据处理过程的实时比对模块进行数据比对过滤，比对后再同步分配实时传送模块、存储控制模块，由使得实时传送模块、存储控制模块同步对动态监测数据进行处理，提高处理动态数据的处理效率，缩短处理时间，解决了现有的实时动态监测客户端与智能远动机pmu业务服务端的数据处理效率低的技术问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请提供的一种电力系统实时动态监测数据并行处理装置的第一个实施例的结构示意图；

图2为本申请提供的一种电力系统实时动态监测数据并行处理方法的流程示意图。

具体实施方式

本申请实施例提供了一种电力系统实时动态监测数据并行处理装置及处理方法，用于解决现有的实时动态监测客户端与智能远动机pmu业务服务端的数据处理效率低的技术问题。

为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请一部分实施例，而非全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

请参阅图1，本申请第一个实施例提供了一种电力系统实时动态监测数据并行处理装置，应用于实时动态监测客户端，包括：数据接收模块101、实时比对模块102、传输模块103以及存储控制模块104；

数据接收模块101的输出端与实施比对模块102的输入端通信连接，实施比对模块102的第一输出端与传输模块103的输入端通信连接，实施比对模块102的第二输出端与存储控制模块104的输入端通信连接；

数据接收模块101用于接收实时动态监测客户端生成的动态监测数据，并将动态监测数据发送给实施比对模块102；

实施比对模块102用于将当前接收到的动态监测数据与标准数据进行数据比对过滤，当比对结果通过时，则将动态监测数据发送至传输模块103和存储控制模块104，以接收下一组动态监测数据，当比对结果不通过时，则对动态监测数据进行过滤处理，然后接收下一组动态监测数据；

传输模块103用于通过分组传输方式，将接收到的动态监测数据发送至服务端；

存储控制模块104用于将接收到的动态监测数据写入预设的存储设备。

需要说明的是，当本实施例的电力系统实时动态监测数据并行处理装置通过预先建立的命令通道收到后台服务端发送的动态监测数据传输指令，首先由数据接收模块101接收相应的动态监测数据，然后将接收到的动态监测数据发送给实施比对模块102做进行数据比对过滤处理，以将过滤后的动态监测数据同步发送给传输模块103和存储控制模块104，使得实时动态监测客户端能够并行执行动态监测数据向后台服务端转发以及写入存储设备保存的步骤，提高了实时动态监测客户端处理动态数据的处理效率，缩短处理时间，解决了现有的实时动态监测客户端与智能远动机pmu业务服务端的数据处理效率低的技术问题。

更具体地，传输模块103具体用于：

根据预设的数据累积阈值，当动态监测数据的缓存量达到数据累积阈值时，则通过分组传输方式，将接收到的动态监测数据发送至服务端。

需要说明的是，由于而传统处理过程为：模块接收到一帧就发送到后台处理，采用这种串形的处理方式，会导致后台收包与解包过程消耗大量的资源。而本实施例中的传输模块103采用报文累加分组传输的模式将数据传送至后台处理，将数据报文累计到设定值后再分组传输，按照每组传输多个数据的方式，分批传输实时数据，减少通讯数据包数量，减少后台收包解包过程的资源消耗。

更具体地，存储控制模块104中配置有第一缓存池和第二缓存池；

且存储控制模块104具体用于：将接收到的动态监测数据存入第一缓存池，并根据预设的缓存阈值监测第一缓存池的缓存量，当第一缓存池的缓存量达到缓存阈值时，则将第一缓存池更改为第二缓存池，以便于更改后的第二缓存池将动态监测数据写入预设的存储设备。

需要说明的是，本实施例的存储控制模块104采用一种预先设定缓存大小的双缓冲池切换存储动态数据的模式，将高速处理的内存数据累加到设定的缓存大小后，再存入低速的磁盘等其他设备中。具体的实施过程可以参照：当一个缓冲池的动态数据满后，则启动切换过程，将当前的第一缓存池转换为第二缓存池，将数据缓冲池中的动态数据存入低速的存储设备，如磁盘等其他设备系统中，同时自动切换另一个缓冲池为第一缓存池，将新接收的动态数据存入新的主缓冲池中，当另一个缓存池的动态数据满后，再次将另一个数据缓冲池中的动态数据存入低速的磁盘等其他设备系统中。

以上为本申请提供的一种电力系统实时动态监测数据并行处理装置的一个实施例的详细说明，下面为本申请提供的一种电力系统实时动态监测数据并行处理方法的一个实施例的详细说明。

请参阅图2，本申请第二个实施例提供了一种电力系统实时动态监测数据并行处理方法，应用于如本申请第一个提及的一种电力系统实时动态监测数据并行处理装置，包括：

步骤201、数据接收模块接收实时动态监测客户端生成的动态监测数据，并将动态监测数据发送给实时比对模块。

需要说明的是，基于客户端与智能远动机pmu动态数据连接前建立的客户端与智能远动机pmu的命令通道的连接，命令通道连接成功后发送“开启实时数据传输”命令，随后建立客户端与智能远动pmu动态数据连接，然后由数据接收模块接收实时动态监测客户端生成的动态监测数据，并将动态监测数据发送给实时比对模块。

步骤202实时比对模块将当前接收到的动态监测数据与标准数据进行数据比对过滤，当比对结果通过时，则将动态监测数据发送至传输模块和存储控制模块，以接收下一组动态监测数据，当比对结果不通过时，则对动态监测数据进行过滤处理，然后接收下一组动态监测数据。

需要说明的是，实时比对模块，主要负责对实时采集的数据正确性、合理性进行监视和比对。第一种比较过程是接收的实时动态数据与预先设定的静态标准数据的比较。第二种比较过程是接收的实时动态数据与动态标准数据的比较，其中该动态标准数据为根据历史动态监测数据的平均值，得到的标准数据，历史动态数据平均值计算方法为：动态获取历史数据的前n(n是设定的参数值，例如设定100)个数据，对这n个数据做算术平均数。当接收的实时动态数据大于历史动态数据平均值时，记录将此实时动态数据并发送到后台模块处理。支持历史动态数据平均值的数据为各通道的幅值数据以及模拟量数据。。

步骤203、传输模块通过分组传输方式，将接收到的动态监测数据发送至服务端。

步骤204、存储控制模块将接收到的动态监测数据写入预设的存储设备。

更具体地，步骤203具体包括：

根据预设的数据累积阈值，当动态监测数据的缓存量达到数据累积阈值时，则通过分组传输方式，将接收到的动态监测数据发送至服务端。

需要说明的是，本申请的传输模块通过采用报文累加分组传输的模式将数据传送至后台处理。通过优化传输方式，对采集的数据报文并不立刻传输，而是将数据报文累计到设定值后再分组传输，按照每组传输多个数据的方式，分批传输实时数据，可大大减少通讯数据包数量，同时减少后台收包解包过程的资源消耗，提高效率。

更具体地，存储控制模块中配置有第一缓存池和第二缓存池；

且步骤204具体包括：

将接收到的动态监测数据存入第一缓存池，并根据预设的缓存阈值监测第一缓存池的缓存量，当第一缓存池的缓存量达到缓存阈值时，则将第一缓存池更改为第二缓存池，以便于更改后的第二缓存池将动态监测数据写入预设的存储设备。

需要说明的是，本申请通过存储控制模块采用一种预先设定缓存大小的双缓冲池切换存储动态数据的模式，将高速处理的内存数据累加到设定的缓存大小后，再存入低速的磁盘等其他设备中。当一个缓冲池的动态数据满后，启动切换过程，将数据缓冲池中的动态数据存入低速的磁盘等其他设备系统中，同时自动切换到另一个缓冲池，将新接收的动态数据存入另一个缓冲池中，当另一个缓存池的动态数据满后，再次将另一个数据缓冲池中的动态数据存入低速的磁盘等其他设备系统中，如此循环。预先设定缓存大小一般根据动态数据实时传送速率的大小动态调整，例如可按照1分钟的可缓存的报文数据大小进行设定，这样每当缓存数据满后即表示1分钟的动态数据。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。