专利名称：一种基于数据划分的实时数据并行处理方法
技术领域：
本发明属于电力系统领域，具体涉及一种基于数据划分的实时数据并行处理方法。
背景技术：
随着电网的快速发展，其结构日益复杂、规模日益扩大，与之相应的调度技术支持系统也需要具备超大规模电网的计算处理能力，解决因电网规模的庞大、数据吞吐量的庞大而导致的计算处理速度、系统运行速度下降问题。然而，传统调度系统的主备机制受技术的局限，很难适应发展的要求，因此，为了提高系统的运行速度和监控规模，使之更高效的为调度决策服务，一些学者正在研究在电网中引入实时数据并行处理模式，它可以合理运用和管理资源，充分发挥并行的优势，提供高性能的实时监控服务。
发明内容
针对现有技术的不足，本发明提出一种基于数据划分的实时数据并行处理方法，充分利用了机器和网络资源，并发挥并行的优势，提高实时数据处理能力和处理效率，提供高性能的实时监控服务。本发明提供的一种基于数据划分的实时数据并行处理方法，其改进之处在于，所述方法包括如下步骤:(1)设置一组并行的数据处理机和两台互为冗余的对外服务器；数据处理机分别与前置机和对外服务器通信；(2)主对外服务器通过接口从资源管理模块获得当前的数据处理机的状态信息，任务调度程序将厂站表中的厂站平均分给当前的数据处理机；当新增厂站时，主对外服务器将新增的厂站分配给通过任务调度模块计算出的任务最轻的数据处理机；(3)所述数据处理机根据对外服务器分配的任务进行数据处理，并将数据处理结果反馈并汇总到对外服务器。其中，所述前置机发送报文至所述数据处理机时，按照厂站分组的方式发送；数据处理机接收全部报文，但只处理分配给本机的厂站的数据。其中，所述前置机发送报文按照厂站分组，每包数据对应一个厂站，并在报文头中设置本包数据所述厂站的信息。其中，步骤(1)中所述一组并行的数据处理机均下装相同的、完整的电网模型，但根据每台数据处理机分配的任务处理相应的数据。其中，步骤(2)中，主对外服务器对当前的数据处理机的个数和每个厂站点数的不同进行预配置，用于保证每个数据处理机的处理量一致；主对外服务器的任务调度模块一方面把厂站数据分配给某个数据处理机，另一方面给所述厂站数据指定备用的数据处理机。其中，步骤(2)新增厂站时，所述任务调度模块根据循环调用接口和接收消息通知的方式从资源管理模块获得当前的数据处理机状态信息和新增厂站信息，确定任务最轻的数据处理机。其中，步骤(3)每台数据处理机进行数据处理时，采用多线程并行处理方式，对属于本机处理的厂站的数据进行再次均分，分配给每个线程；当新增厂站时，将新增的厂站分配给任务最轻的线程。其中，步骤(3)中，所述数据处理机的本地实时库接口修改为实时库本地和网络同步修改接口，数据处理程序通过实时库的本地和网络同步修改接口，对数据处理机和对外服务器的实时库进行修改，保证对外服务器主备机上的实时库有最终的完整处理结果。与现有技术比，本发明的有益效果为:本发明适应了电力系统不断发展的需求，并满足了电网调度自动化系统监控规模不断扩大的需求。本发明充分利用机器和网络资源，并发挥并行的优势，提高了实时数据处理能力和处理效率，提供了高性能的实时监控服务。传统单机模式中实时数据处理模块接收的前置数据包中是同一时刻不同厂站的数据，它们之间互相没有关联，也并不需要进行消息传递。本发明将SCADA服务器划分为内部处理机和对外服务器两类，采用数据并行模型，对每个前置数据包中的实时数据按照厂站进行划分，分配给不同的内部处理机进行处理，并行处理数据的同时保证了每个内部处理机的处理量尽量一致。每包实时数据处理完成后，每台内部处理机通过实时库的本地和网络同步修改接口把本机处理的数据结果同步到系统中的对外服务器主备机上，保证对外服务器上的数据一致性。本发明能有效提升系统的技术水平，极大的提高技术支持系统实时监控的处理能力及响应速度，为电网调度和 大运行提供有力的技术支撑，具有很好的推广价值。
图1为本发 明提供的实现并行处理的流程图。图2为本发明提供的实时数据并行处理方法的系统示意图。
具体实施例方式下面结合附图对本发明的具体实施方式
作进一步的详细说明。本实施例提供的一种基于数据划分的实时数据并行处理方法，其整体思路如图1所示，整体系统示意图如图2所示，其包括如下步骤:(I)设置一组(N个)并行的数据处理机和两台互为冗余的主从对外服务器；数据处理机分别与前置机和对外服务器通信；N个并行的数据处理机配置地位均等，下装相同的、完整的电网模型，各自负责部分任务，处理完后将处理结果同步到每台对外服务器；对外服务器配置两台，汇总内部处理机的处理结果，两台对外服务器具有完整的、一致的电网模型和实时数据，主机负责任务调度和对外提供数据服务。其整体流程为，前置机接收厂站(包括变电站或电厂等)的数据信息，发送给数据处理机，并行的数据处理机进行数据处理，处理结果汇总给对外服务器，对外服务器对外提供数据服务。
(2)主对外服务器通过接口从资源管理模块获得当前的数据处理机的状态信息，任务调度程序将厂站表中的厂站平均分给当前的数据处理机；进行分配时，主对外服务器对当前的数据处理机的个数和每个厂站点数的不同进行预配置，用于保证每个数据处理机的处理量一致，出于鲁棒性考虑，本实施例的任务调度模块除了把厂站分配给某个数据处理机外，还会给每个厂站指定备用的数据处理机，通用的备用方式是考虑节点个数采用均衡负载的方式备用，一旦主处理机发生故障，备用处理机可以马上接替处理任务，考虑到工程实施的方便性可以采用整体备用方式，即两个计算节点一一互备。当新增厂站时，所述任务调度模块根据循环调用接口和接收消息通知的方式从资源管理模块获得当前的数据处理机状态信息和新增厂站信息，从而确定任务最轻的数据处理机，并将新增的厂站分配给任务最轻的数据处理机；(3)所述数据处理机根据对外服务器分配的任务进行数据处理，并将数据处理结果反馈并汇总到对外服务器。每台数据处理机进行数据处理时，采用多线程并行处理方式，对属于本机处理的厂站的数据进行再次均分，分配给每个线程；并且当新增厂站时，将新增的厂站分配给任务最轻的线程。数据处理机的本地实时库接口修改为实时库本地和网络同步修改接口，通过实时库的本地和网络同步修改接口，可保证SCADA对外服务器主备机上的实时库有最终的完整处理结果，最终实现基于数据划分的实时数据并行处理。其中，本实施例的前置机在发送报文至数据处理机时，按照厂站分组的方式发送；每包数据对应一个厂站，并在报文头中设置本包数据所述厂站的信息。相应的，数据处理机接收全部报文，但只处理分配给本机的厂站的数据。由于前置在报文头中增加了本包数据所属厂站的信息，实时数据处理程序只需要读报文头就知道这包数据是不是需要本机处理，而不需要解包，加快了数据处理速度。最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式
进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应 涵盖在本发明的权利要求范围当中。
权利要求
1.一种基于数据划分的实时数据并行处理方法，其特征在于，所述方法包括如下步骤: (1)设置一组并行的数据处理机和两台互为冗余的对外服务器；数据处理机分别与前置机和对外服务器通信； (2)主对外服务器通过接口从资源管理模块获得当前的数据处理机的状态信息，任务调度程序将厂站表中的厂站平均分给当前的数据处理机；当新增厂站时，主对外服务器将新增的厂站分配给通过任务调度模块计算出的任务最轻的数据处理机； (3)所述数据处理机根据对外服务器分配的任务进行数据处理，并将数据处理结果反馈并汇总到对外服务器。
2.如权利要求1所述的数据并行处理方法，其特征在于，所述前置机发送报文至所述数据处理机时，按照厂站分组的方式发送； 数据处理机接收全部报文，但只处理分配给本机的厂站的数据。
3.如权利要求2所述的数据并行处理方法，其特征在于，所述前置机发送报文按照厂站分组，每包数据对应一个厂站，并在报文头中设置本包数据所述厂站的信息。
4.如权利要求1所述的数据并行处理方法，其特征在于，步骤(I)中所述一组并行的数据处理机均下装相同的、完整的电网模型，但根据每台数据处理机分配的任务处理相应的数据。
5.如权利要求1所述的数据并行处理方法，其特征在于，步骤(2)中，主对外服务器对当前的数据处理机的个数和每个厂站点数的不同进行预配置，用于保证每个数据处理机的处理量一致； 主对外服务器的任务调度模块一方面把厂站数据分配给某个数据处理机，另一方面给所述厂站数据指定备用的数据处理机。
6.如权利要求1所述的数据并行处理方法，其特征在于，步骤(2)新增厂站时，所述任务调度模块根据循环调用接口和接收消息通知的方式从资源管理模块获得当前的数据处理机状态信息和新增厂站信息，确定任务最轻的数据处理机。
7.如权利要求1所述的数据并行处理方法，其特征在于，步骤(3)每台数据处理机进行数据处理时，采用多线程并行处理方式，对属于本机处理的厂站的数据进行再次均分，分配给每个线程； 当新增厂站时，将新增的厂站分配给任务最轻的线程。
8.如权利要求1所述的数据并行处理方法，其特征在于，步骤(3)中，所述数据处理机的本地实时库接口修改为实时库本地和网络同步修改接口，数据处理程序通过实时库的本地和网络同步修改接口，对数据处理机和对外服务器的实时库进行修改，保证对外服务器主备机上的实时库有最终的完整 处理结果。
全文摘要
本发明公开了一种基于数据划分的实时数据并行处理方法，通过设置一组并行的数据处理机和两台互为冗余的对外服务器，实现数据并行处理。本发明适应了电力系统不断发展的需求，满足了电网调度自动化系统监控规模不断扩大的需求。并且本发明能有效提升系统的技术水平，极大的提高技术支持系统实时监控的处理能力及响应速度，为电网调度和大运行提供有力的技术支撑,具有很好的推广价值。
文档编号G06F9/50GK103246497SQ20131013822
公开日2013年8月14日 申请日期2013年4月19日 优先权日2013年4月19日
发明者孙名扬, 庄卫金, 苏大威, 徐春雷, 赵家庆, 张永刚, 朱海兵, 许先锋, 张盛, 王艳, 钱科军, 于芳, 丁宏恩 申请人:国家电网公司, 中国电力科学研究院, 江苏省电力公司, 江苏省电力公司苏州供电公司