1.本发明涉及自动化管理领域,特别涉及一种风机数据中台处理系统、方法、装置及计算机可读存储介质。
背景技术:2.在围绕着风电相关的工业物联网平台越来越智能信息化的今天,风电机组相关测点也越来越多,工业物联网数据中台在将这些风机测点数据存入的同时,也可以适当的做一些对数据的预处理工作。
3.现有的风电工业物联网系统对其底层数据的存储及处理还是处于比较原始的阶段,而风电场中,采集上来的风电机组、升压站以及测风塔等设备的测点数据更是直接关系到后续业务的进行,如基于大数据的风电场智慧运营系统、基于数据驱动算法的风机故障预警等等一些具体的工业物联网系统还有集控大屏展示模块等,这些都需要来自底层数据的支持。目前,现有的大多数工业物联网系统,都是将底层数据和后续实际的业务分开来的,导致后续数据处理业务难以收集到底层数据,并且针对不同的业务通常需要编写整套新的程序,十分不便。
4.为此,需要一种高效的风机数据中台处理系统。
技术实现要素:5.有鉴于此,本发明的目的在于提供一种风机数据中台处理系统、方法、装置及计算机可读存储介质,提高数据获取效率,节省流程业务编写时间。
6.其具体方案如下:
7.一种风机数据中台处理系统,包括:
8.插件设计模块,用于以功能为单位设计数据处理插件;
9.流程设计模块,用于通过复用和组合各种功能的数据处理插件构建多种数据处理流程;
10.流程运行模块,用于运行目标数据处理流程,利用目标数据处理流程中的各数据处理插件,完成所述目标数据处理流程的任务目标。
11.可选的,所述流程设计模块,具体用于显示各种功能的数据处理插件,接收数据处理插件选择指令,以可视化界面拖拽的方式,将不同的数据处理插件组合,构建数据处理流程。
12.可选的,所述流程运行模块,具体用于运行目标数据处理流程,利用目标数据处理流程中的相应的数据处理插件获取中台中所需的各项数据,并利用相应的数据处理插件计算出计算结果,再利用相应的数据处理插件对计算结果进行汇总,得到所述目标数据处理流程的任务目标。
13.本发明还公开了一种风机数据中台处理方法,包括:
14.以功能为单位设计数据处理插件;
15.通过复用和组合各种功能的数据处理插件构建多种数据处理流程;
16.运行目标数据处理流程,利用目标数据处理流程中的各数据处理插件,完成所述目标数据处理流程的任务目标。
17.可选的,所述通过复用和组合各种功能的数据处理插件构建多种数据处理流程的过程,包括:
18.显示各种功能的数据处理插件,接收数据处理插件选择指令,以可视化界面拖拽的方式,将不同的数据处理插件组合,构建数据处理流程。
19.可选的,所述运行目标数据处理流程,利用目标数据处理流程中的各数据处理插件,完成所述目标数据处理流程的任务目标的过程,包括:
20.运行目标数据处理流程,利用目标数据处理流程中的相应的数据处理插件获取中台中所需的各项数据;
21.利用相应的数据处理插件计算出计算结果;
22.利用相应的数据处理插件对计算结果进行汇总,得到所述目标数据处理流程的任务目标。
23.本发明还公开了一种风机数据中台处理装置,包括:
24.存储器,用于存储计算机程序;
25.处理器,用于执行所述计算机程序以实现如前述的风机数据中台处理系统。
26.本发明还公开了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如前述的风机数据中台处理系统。
27.本发明中,风机数据中台处理系统,包括:插件设计模块,用于以功能为单位设计数据处理插件;流程设计模块,用于通过复用和组合各种功能的数据处理插件构建多种数据处理流程;流程运行模块,用于运行目标数据处理流程,利用目标数据处理流程中的各数据处理插件,完成所述目标数据处理流程的任务目标。
28.本发明设计模块化的功能插件,通过对插件的复用和组合得到各种数据处理流程,不用针对每种数据处理流程设计新的程序,节省了业务设计的时间,并且利用插件能够快速的获取底层数据,打通了底层与上层业务之间的交互通道,提高了中台数据处理的效率。
附图说明
29.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
30.图1为本发明实施例公开的一种风机数据中台处理系统流程示意图;
31.图2为本发明实施例公开的一种风机标准状态划分示意图。
具体实施方式
32.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于
本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
33.本发明实施例公开了一种风机数据中台处理系统,参见图1所示,该系统包括:
34.插件设计模块11,用于以功能为单位设计数据处理插件。
35.具体的,为了便于复用,节省总编写时间,以功能为单位设计不同功能的多种数据处理插件,例如,数据获取插件、数据计算插件和数据汇总插件等等,不同类型的数据项目可以设置有相应的数据处理插件,数据处理插件相当于底层的数据处理单元,每个数据处理插件能够完成一项小的独立的数据处理任务,当然,数据处理插件之间可以实现数据互通,并且可以组合使用,例如,数据获取插件获取中台的底层数据后,可以将数据发送至相应的数据计算插件,数据计算插件对数据分析计算后,得到一个计算结果,再将其发送至数据汇总插件,数据汇总插件可以根据多种或多个数据计算插件对不同数据进行计算得到的计算结果进行汇总和分类,最终可视化的呈献给用户,使用户能够更为直观的得知风机相关信息。
36.进一步的,对于插件开发而言,可以要根据给定好的插件包格式,设计插件,这样才能确保插件能够在中台运行,插件可以以zip压缩包格式上传平台,其中,插件包里须要包括定义好的插件描述文件、版本变更记录文档、插件里所定义的输入和输出参数类型等,jobtype指定了插件的应用类型,当前支持类型包括command、spark、java、hadoopjava(执行mapreduce程序),有了这些就可以针对所需要实现的功能进行插件的开发,同时,还可以暴露出一些可变输入参数供用户进行特定个性化适配。开发完成后,就可以对这个插件进行编译打包,再安装部署到平台端即可正常使用。在使用过程中,插件能对单个或多个测点进行关联处理和逻辑计算。
37.流程设计模块12,用于通过复用和组合各种功能的数据处理插件构建多种数据处理流程。
38.具体的,数据处理流程为多个数据处理插件组合形成得到一个数据处理业务,数据处理插件所得到的计算结果是独立的,分散的,或是中间值,数据处理流程,则是完整的使用者可以交互的数据结果。
39.具体的,每种数据处理流程之间可以有共用的数据处理插件,这样就不用为每种数据处理流程,设计单独的插件,相当于利用数据处理插件进行模块化,通过改变组合和使用不同的数据处理插件就可以得到各种数据处理流程,而不用为了每种数据处理流程单独编写程序,节省了程序的编写时间。
40.流程运行模块13,用于运行目标数据处理流程,利用目标数据处理流程中的各数据处理插件,完成目标数据处理流程的任务目标。
41.具体的,运行目标数据处理流程后,即运行了目标数据处理流程所对应的各个数据处理插件,各个数据处理插件便会完成目标数据处理流程的任务目标。
42.可见,本发明实施例设计模块化的功能插件,通过对插件的复用和组合得到各种数据处理流程,不用针对每种数据处理流程设计新的程序,节省了业务设计的时间,并且利用插件能够快速的获取底层数据,打通了底层与上层业务之间的交互通道,提高了中台数据处理的效率。
43.进一步的,上述流程设计模块12,可以具体用于显示各种功能的数据处理插件,接
收数据处理插件选择指令,以可视化界面拖拽的方式,将不同的数据处理插件组合,构建数据处理流程。
44.进一步的,上述流程运行模块13,可以具体用于运行目标数据处理流程,利用目标数据处理流程中的相应的数据处理插件获取中台中所需的各项数据,并利用相应的数据处理插件计算出计算结果,再利用相应的数据处理插件对计算结果进行汇总,得到目标数据处理流程的任务目标。
45.相应的,本发明实施例还公开了一种风机数据中台处理方法,参见图2所示,该方法包括:
46.s11:以功能为单位设计数据处理插件;
47.s12:通过复用和组合各种功能的数据处理插件构建多种数据处理流程;
48.s13:运行目标数据处理流程,利用目标数据处理流程中的各数据处理插件,完成目标数据处理流程的任务目标。
49.可见,本发明实施例设计模块化的功能插件,通过对插件的复用和组合得到各种数据处理流程,不用针对每种数据处理流程设计新的程序,节省了业务设计的时间,并且利用插件能够快速的获取底层数据,打通了底层与上层业务之间的交互通道,提高了中台数据处理的效率。
50.具体的,上述s12通过复用和组合各种功能的数据处理插件构建多种数据处理流程的过程,可以具体为显示各种功能的数据处理插件,接收数据处理插件选择指令,以可视化界面拖拽的方式,将不同的数据处理插件组合,构建数据处理流程。
51.具体的,上述s13运行目标数据处理流程,利用目标数据处理流程中的各数据处理插件,完成目标数据处理流程的任务目标的过程,可以具体包括s131至s133;其中,
52.s131:运行目标数据处理流程,利用目标数据处理流程中的相应的数据处理插件获取中台中所需的各项数据;
53.s132:利用相应的数据处理插件计算出计算结果;
54.s133:利用相应的数据处理插件对计算结果进行汇总,得到目标数据处理流程的任务目标。
55.此外,本发明实施例还公开了一种风机数据中台处理装置,包括:
56.存储器,用于存储计算机程序;
57.处理器,用于执行计算机程序以实现如前述的风机数据中台处理系统。
58.另外,本发明实施例还公开了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如前述的风机数据中台处理系统。
59.最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
60.专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元
及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
61.以上对本发明所提供的技术内容进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。