基于超算平台的并行化电力数据库集成提取方法及系统与流程

本发明涉及电力控制，尤其公开了一种基于超算平台的并行化电力数据库集成提取方法及系统。

背景技术：

1、随着电力数据量的飞速增长，处理、集成和分析这些数据成为一项巨大的挑战。在电力系统中，各种数据(包括电力生产、输电、分布和消费等方面的数据)在时间和空间上都非常分散。这些数据包括但不限于，发电量数据、负载数据、网损数据、电价数据、气象数据等。所有这些数据都包含有价值的信息，可以用于系统运营和优化决策。然而，由于数据量大、种类多、来源分散，以及数据的质量、完整性和一致性问题，使得电力数据的集成和提取变得困难。另外，随着电力系统的复杂性和动态性不断增强，对实时、准确的数据获取和处理的需求也在不断增加。

2、传统的电力数据处理方法无法解决这些问题，尤其是在处理大规模、多源数据时，无法满足高效、快速的数据集成和提取需求。在传统方法中，数据处理通常在个人计算机上完成，这在面对大数据时会出现计算资源不足、效率低下等问题。

3、例如公开号为cn101141370a(专利名为“基于网格服务的电力企业实时数据处理方法”)的专利文献中并没有使用针对性的并行数据处理方法。因此尽管使用了高性能的计算设备，但是在处理大量数据时依然会耗时巨大。此外该类方法也没有对收集的数据进行时序化的整合，导致最终的结果可能在时间维度出现对不齐的情况。

4、此外，由于缺乏专门设计的、可利用超级计算机资源的电力数据集成和提取工具，非专业研究人员在利用超级计算机进行电力数据处理时往往面临重大挑战。

5、因此，现有电力数据处理方法中存在的上述缺陷，是目前亟待解决的技术问题。

技术实现思路

1、本发明提供了一种基于超算平台的并行化电力数据库集成提取方法及系统，旨在解决现有电力数据处理方法中存在的上述缺陷。

2、本发明的一方面涉及一种基于超算平台的并行化电力数据库集成提取方法，包括以下步骤：

3、任务收集与分配：收集用户任务需求，对用户任务需求中的任务进行等量划分，并将等量划分后的任务均衡分配给相应的进程进行同步处理。

4、数据提取：基于分配好的任务，获取单进程所分配到的任务；根据单进程分配到的任务的详情，在对应的子数据库中检索出对应的数据；按照预设的定时序列来对检索出的数据进行集成。

5、数据中转：与客户端建立socket连接，对集成的数据进行双向交互；轮询所有运行中的数据提取模块，一旦识别到数据提取模块完成任务时，则读取数据提取模块的处理结果；将处理结果通过网络连接迅速发送给客户端。

6、网页界面：在网页界面上对处理结果进行展示。

7、数据转发：将网页后端服务器与超算集群上的提取程序进行通讯，待提取完成后将打包提取结果发送给客户端。

8、进一步地，任务收集与分配的步骤包括：

9、收集任务需求：获取操作界面录入的用户任务需求，在原始数据库中提取与用户任务需求相匹配的特征；

10、设备资源评估：根据进程的数量，将用户任务需求按照超算平台可用的节点数进行等量划分，分配任务信息；

11、分配进程：将分配好的任务信息发送给相应的进程，实现任务的负载均衡；

12、进程同步：为每个进程均配置同步机制，确保所有进程同步完成任务。

13、进一步地，数据提取步骤包括：

14、基于分配好的任务，获取单进程所分配到的任务；

15、根据单进程分配到的任务的详情，在对应的子数据库中检索出对应的数据；

16、按照预设的定时序列来对检索出的数据进行集成，将数据中每个数值都按产生的时间存入对应的地方。

17、进一步地，数据中转的步骤包括：

18、进度传输：与客户端建立socket连接，对集成的数据进行双向交互；

19、完成任务收集：轮询所有运行中的数据提取模块，一旦识别到数据提取模块完成任务时，则读取数据提取模块的处理结果；

20、数据传输：将处理结果通过网络连接迅速发送给客户端；

21、进度优化：采用基于信息传递接口的非阻塞通信模式，在集成的数据未准备就绪时，执行其他任务。

22、进一步地，进度传输的步骤包括：

23、利用socket与客户端建立连接，当客户端发出提取需求时，则将所有的配置参数打包为一个数据包，再通过socket连接发送至提取管线；

24、一旦识别到管线接收到数据包时，使用预设的解码规则对数据包进行解码；

25、通过json解析库对数据包进行解析以得到json对象，并进一步查询json对象以提取对应的配置参数；

26、将解析得到的任务参数广播给所有的数据提取模块，将提取得到的处理结果通过已建立的socket连接返回给客户端。

27、本发明的另一方面涉及一种基于超算平台的并行化电力数据库集成提取系统，包括：

28、任务收集与分配模块，用于收集用户任务需求，对用户任务需求中的任务进行等量划分，并将等量划分后的任务均衡分配给相应的进程进行同步处理；

29、数据提取模块，用于基于分配好的任务，获取单进程所分配到的任务；根据单进程分配到的任务的详情，在对应的子数据库中检索出对应的数据；按照预设的定时序列来对检索出的数据进行集成；

30、数据中转模块，用于与客户端建立socket连接，对集成的数据进行双向交互；轮询所有运行中的数据提取模块，一旦识别到数据提取模块完成任务时，则读取数据提取模块的处理结果；将处理结果通过网络连接迅速发送给客户端；

31、网页界面模块，用于在网页界面上对处理结果进行展示；

32、数据转发模块，用于将网页后端服务器与超算集群上的提取程序进行通讯，待提取完成后将打包提取结果发送给客户端。

33、进一步地，任务收集与分配模块包括：

34、收集任务需求单元，用于获取操作界面录入的用户任务需求，在原始数据库中提取与用户任务需求相匹配的特征；

35、设备资源评估单元，用于根据进程的数量，将用户任务需求按照超算平台可用的节点数进行等量划分，分配任务信息；

36、分配进程单元，用于将分配好的任务信息发送给相应的进程，实现任务的负载均衡；

37、进程同步单元，用于为每个进程均配置同步机制，确保所有进程同步完成任务。

38、进一步地，数据提取模块包括：

39、任务获取单元，用于基于分配好的任务，获取单进程所分配到的任务；

40、数据提取单元，用于根据单进程分配到的任务的详情，在对应的子数据库中检索出对应的数据；

41、数据集成单元，用于按照预设的定时序列来对检索出的数据进行集成，将数据中每个数值都按产生的时间存入对应的地方。

42、进一步地，数据中转模块包括：

43、进度传输单元，用于与客户端建立socket连接，对集成的数据进行双向交互；

44、完成任务收集单元，用于轮询所有运行中的数据提取模块，一旦识别到数据提取模块完成任务时，则读取数据提取模块的处理结果；

45、数据传输单元，用于将处理结果通过网络连接迅速发送给客户端；

46、进度优化单元，用于采用基于信息传递接口的非阻塞通信模式，在集成的数据未准备就绪时，执行其他任务。

47、进一步地，进度传输单元包括：

48、连接子单元，用于利用socket与客户端建立连接，当客户端发出提取需求时，则将所有的配置参数打包为一个数据包，再通过socket连接发送至提取管线；

49、解码子单元，用于一旦识别到管线接收到数据包时，使用预设的解码规则对数据包进行解码；

50、解析提取子单元，用于通过json解析库对数据包进行解析以得到json对象，并进一步查询json对象以提取对应的配置参数；

51、通信子单元，用于将解析得到的任务参数广播给所有的数据提取模块，将提取得到的处理结果通过已建立的socket连接返回给客户端。

52、本发明所取得的有益效果为：

53、本发明提供一种基于超算平台的并行化电力数据库集成提取方法及系统，通过任务收集与分配：收集用户任务需求，对用户任务需求中的任务进行等量划分，并将等量划分后的任务均衡分配给相应的进程进行同步处理；数据提取：基于分配好的任务，获取单进程所分配到的任务；根据单进程分配到的任务的详情，在对应的子数据库中检索出对应的数据；按照预设的定时序列来对检索出的数据进行集成；数据中转：与客户端建立socket连接，对集成的数据进行双向交互；轮询所有运行中的数据提取模块，一旦识别到数据提取模块完成任务时，则读取数据提取模块的处理结果；将处理结果通过网络连接迅速发送给客户端；网页界面：在网页界面上对处理结果进行展示；数据转发：将网页后端服务器与超算集群上的提取程序进行通讯，待提取完成后将打包提取结果发送给客户端。本发明提供的基于超算平台的并行化电力数据库集成提取方法及系统，将利用超级计算机的高并行计算能力，针对电力数据的特性，设计并实现一种有效的、并行化的电力数据库集成提取策略，以实现对大规模、复杂的电力数据的快速、高效的处理。同时，为了降低使用难度，本发明还将提供对应的用户友好的操作界面，使非专业研究人员也能方便地利用超级计算机进行电力数据的集成和提取。