基于ETL技术的火电厂多类型数据调配方法及系统与流程

基于etl技术的火电厂多类型数据调配方法及系统
技术领域
1.本发明涉及数据调配相关技术领域，更具体地，涉及一种基于etl技术的火电厂多类型数据调配方法及系统。


背景技术：

2.随着现在国内火力燃煤电厂的建设，火电厂投入的巨额资金，用来建设各种信息化项目，这些项目建成时间较长，且系统间相互独立，无法进行数据共享和数据分析。且由于数据类型多样，没有统一的方式进行数据梳理和数据存储，而且在运算过程中，需要根据不同的需求建立不同的数学模型。
3.etl(extract-transform-load)是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。
4.将etl与任务流程图结合引入火力燃煤电厂的管理中，能够避免系统间相互独立，无法进行数据共享和数据分析以及运算关系复杂多变需要建立多种模型的繁琐。
5.因此本技术提供一种基于etl技术的火电厂多类型数据调配方法及系统解决上述问题。


技术实现要素：

6.为解决现有技术中存在的不足，本发明的目的在于，提供一种基于etl技术的火电厂多类型数据调配方法及系统，通过etl技术将火电场相互独立的系统中数据进行标准统一化处理，并分类存储于对应的表中；利用任务流程图，可跨系统调用，使运算过程简单。
7.本发明采用如下的技术方案。
8.一种基于etl技术的火电厂多类型数据调配方法，所述方法包括步骤：
9.步骤1，通过数据采集终端获取各个系统的数据；
10.步骤2，将获取的各个系统数据经过etl预处理，并将处理后的数据分类存储；
11.步骤3，根据任务指令获取任务流程图；
12.步骤4，存储任务流程图；
13.步骤5，根据任务流程图顺序调用涉及的各个系统的数据，并按任务流程图顺序组合计算任务指令。
14.进一步地，所述步骤1中，数据包括时序数据和关系型数据。
15.进一步地，所述步骤2中，etl预处理具体步骤为：
16.s21、对获得的各个系统数据进行增量抽取；
17.s22、对抽取的数据进行清洗，去除包括不完整、错误、重复的数据；
18.s23、将清洗后的数据进行标准统一化处理，按照采集终端以及数据类型进行拆分；
19.s24、将拆分完成的数据存入数据库内对应的表中。
20.进一步地，所述步骤3中，根据任务指令获取任务流程图具体步骤为：
21.s31、分析获得的任务指令，判断是否有能调用的任务流程图；
22.s32、若是，调用任务流程图，判断调用的任务流程图是否能够完成指令代表的任务；若是，输出任务流程图；若否，在调用的任务流程图的基础上生成完整的任务流程图；
23.s33、若否，按照任务指令生成业务流程图。
24.进一步地，所述步骤4中，判断获得的任务流程图是否被保存，若是，则放弃保存；若否，进行保存。
25.一种基于etl技术的火电厂多类型数据调配系统，所述系统包括数据采集模块、数据处理模块、任务处理模块、任务存储模块；
26.数据采集模块，通过各个数据采集终端获取各个系统的数据，并将采集的实时数据传输给数据处理模块；
27.数据处理模块，将接收的不同系统的数据进行标准统一化处理，并分类存储；
28.任务处理模块，按照获得的任务指令生成任务流程图，并按照任务流程图顺序调用涉及的各个系统中的数据，进行任务运算；
29.任务存储模块，存储生成的任务流程图。
30.进一步地，数据包括时序数据和关系型数据；
31.时序数据来自发电系统中包括锅炉系统、风烟系统、汽水系统、电气系统、制粉系统、辅机系统在内的实时数据监控系统；
32.关系型数据来自发电系统中oa系统、物资系统、检修系统、维修系统、两票系统、巡点检系统、设备故障预警/报警系统、绩效考核系统、安全管理系统。
33.进一步地，所述数据处理模块采用etl预处理，对采集的数据进行抽取、清洗、标准统一化处理，然后按照数据采集终端以及数据类型将数据分类存储于对应的表中。
34.进一步地，时序数据来源于锅炉系统、风烟系统、汽水系统、电气系统、制粉系统、辅机系统，分别形成对应的锅炉模块数据表、风烟模块数据表、汽水模块数据表、电气模块数据表、制粉模块数据表、辅机模块数据表；
35.关系型数据来源于oa系统、物资系统、检修系统、维修系统、两票系统、巡点检系统、设备故障预警/报警系统、绩效考核系统、安全管理系统，分别形成对应的oa模块、物资模块、检修模块、维修模块、两票模块、巡点检模块、设备故障预警/报警模块、绩效考核模块、安全管理模块的数据表。
36.进一步地，所述任务处理模块根据获得的指令，判断是否存在能调用的任务流程图；若是，从所述任务存储模块调用任务流程图，并判断调用的任务流程图是否能够完成指令代表的任务，若能够完成指令代表的任务，输出任务流程图，若不能够完成指令代表的任务，按照指令在调用的流程图的基础上生成完整的任务流程图；若否，按照指令以及预先设定的规则生成任务流程图。
37.本发明的有益效果在于，与现有技术相比，本发明通过etl技术将火电场相互独立的系统中数据进行数据抽取、数据清洗、库内转换、规则检查、数据加载后按照数据采集终端以及数据类型将数据存储于对应的数据表中，使各个数据能够统一化，可跨系统调用；利用任务流程图，使运算过程简单，且易于扩展。
附图说明
38.图1为本发明基于etl技术的火电厂多类型数据调配方法流程图；
39.图2为本发明基于etl技术的火电厂多类型数据调配系统示意图。
具体实施方式
40.下面结合附图对本技术作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本技术的保护范围。
41.如图1所示，本发明所述的基于etl技术的火电厂多类型数据调配方法，其方法包括：
42.步骤1，通过各个数据采集终端，获取各个独立系统的数据；
43.数据包括时序数据和关系型数据。
44.时序数据来自发电系统中包括锅炉系统、风烟系统、汽水系统、电气系统、制粉系统、辅机系统在内的实时数据监控系统。关系型数据来自发电系统中oa系统、物资系统、检修系统、维修系统、两票系统、巡点检系统、设备故障预警/报警系统、绩效考核系统、安全管理系统。
45.步骤2，将获取的各个独立系统数据经过etl工具进行预处理，对采集的数据信息进行数据抽取、数据清洗、库内转换、规则检查、数据加载，并将处理后的数据按照数据采集终端以及数据类型分类存储于对应的表中；
46.具体步骤为：
47.s21、对获得的数据进行增量抽取；
48.s22、对抽取的数据进行清洗，去除包括不完整、错误、重复的数据；
49.s23、将清洗后的数据进行标准统一化处理，按照采集终端以及数据类型进行拆分；
50.s24、将拆分完成的数据存入数据库内对应的表中。
51.按照数据类型分为时序数据和关系型数据，其中，时序数据是按照生产系统进行划分，分别形成与锅炉系统、风烟系统、汽水系统、电气系统、制粉系统、辅机系统对应的锅炉模块数据表、风烟模块数据表、汽水模块数据表、电气模块数据表、制粉模块数据表、辅机模块数据表。
52.关系型数据来源于oa系统、物资系统、检修系统、维修系统、两票系统、巡点检系统、设备故障预警/报警系统、绩效考核系统、安全管理系统中，按照采集终端的不同，分别对应形成oa模块、物资模块、检修模块、维修模块、两票模块、巡点检模块、设备故障预警/报警模块、绩效考核模块、安全管理模块的数据表。
53.步骤3，根据任务指令获取任务流程图；
54.具体步骤为：
55.s31、分析获得的任务指令，判断是否有能调用的任务流程图；
56.s32、若是，调用任务流程图，判断调用的任务流程图是否能够完成指令代表的任务；若是，输出任务流程图；若否，在调用的任务流程图的基础上生成完整的任务流程图；
57.s33、若否，按照任务指令生成业务流程图。
58.步骤4，存储任务流程图；判断获得的任务流程图是否被保存，若是，则放弃保存；
若否，进行保存；
59.步骤5，根据任务流程图顺序调用涉及的各个系统中的数据，并按任务流程图顺序组合计算任务指令。
60.如图2所示，本发明所述的基于etl技术的火电厂多类型数据调配系统，包括数据采集模块、数据处理模块、任务处理模块、任务存储模块。
61.数据采集模块，通过各个数据采集终端获取各个系统的数据，并将采集的实时数据传输给数据处理模块。
62.数据处理模块，将接收的不同系统的数据进行标准统一化处理，并分类存储于对应的表中。
63.任务处理模块，按照获得的任务指令生成任务流程图，并按照任务流程图顺序调用涉及的各个系统中的数据，进行任务运算。
64.任务存储模块，存储生成的任务流程图。
65.其中，数据采集模块采集的数据包括时序数据和关系型数据，时序数据来自发电系统中包括锅炉系统、风烟系统、汽水系统、电气系统、制粉系统、辅机系统在内的实时数据监控系统；关系型数据来自发电系统中oa系统、物资系统、检修系统、维修系统、两票系统、巡点检系统、设备故障预警/报警系统、绩效考核系统、安全管理系统。
66.各个数据采集终端以及采集的数据包括：
67.实时数据监控系统需要采集的相关信息包括：实时数据的获取路径、数据获取认证方式、实时数据的测点编码、测点中文描述、测点单位、测点存储频率、测点压缩频率等。
68.oa系统需要采集的相关信息包括：系统数据的获取方式、数据获取认证方式、oa用户信息、公文信息、组织机构信息等。
69.物资系统需要采集的相关信息包括：系统数据的获取方式、数据获取认证方式、物资编码信息、物资领用信息、库存信息等。
70.检修系统需要采集的相关信息包括：系统数据的获取方式、数据获取认证方式、设备信息、检修记录、检修人员信息、检修计划信息、故障记录、检修工单管理等。
71.维修系统需要采集的相关信息包括：系统数据的获取方式、数据获取认证方式、设备信息、维修记录、维修人员信息、维修计划信息、故障记录、维修工单管理等。
72.两票系统需要采集的相关信息包括：系统数据的获取方式、数据获取认证方式、设备信息、两票操作人信息、两票执行人信息、两票操作记录、两票执行情况汇总等。
73.巡点检系统需要采集的相关信息包括：系统数据的获取方式、数据获取认证方式、巡点检计划、巡点检记录、巡点检人员信息、巡点检工作记录等。
74.设备故障预警/报警系统需要采集的相关信息包括：系统数据的获取方式、数据获取认证方式、设备信息、预警类型、报警类型、预报警记录、处理人信息、处理工单信息等。
75.绩效考核系统需要采集的相关信息包括：系统数据的获取方式、数据获取认证方式、班值信息、人员信息、考核分数信息、考核指标数值信息等。
76.安全管理系统需要采集的相关信息包括：系统数据的获取方式、数据获取认证方式、人员信息、安全区域信息、相关设备信息等。
77.其中，数据处理模块为etl工具，对采集的数据进行数据抽取、数据清洗、库内转换、规则检查、数据加载后按照数据采集终端以及数据类型将数据存储于对应的表中。
78.按照数据类型分为时序数据和关系型数据，时序数据是按照生产系统进行划分，分别形成与锅炉系统、风烟系统、汽水系统、电气系统、制粉系统、辅机系统对应的锅炉模块数据表、风烟模块数据表、汽水模块数据表、电气模块数据表、制粉模块数据表、辅机模块数据表。
79.关系型数据来源于oa系统、物资系统、检修系统、维修系统、两票系统、巡点检系统、设备故障预警/报警系统、绩效考核系统、安全管理系统中，按照采集终端的不同，分别对应形成oa模块、物资模块、检修模块、维修模块、两票模块、巡点检模块、设备故障预警/报警模块、绩效考核模块、安全管理模块的数据表。
80.其中，任务处理模块根据获得的任务指令，判断是否存在能调用的任务流程图；若是，从任务存储模块调用任务流程图，并判断调用的任务流程图是否能够完成指令代表的任务，若是，输出任务流程图，若否，按照指令在调用的任务流程图的基础上生成完整的任务流程图；若否，按照指令以及预先设定的规则生成任务流程图。并按照任务流程图顺序调用涉及的各个系统中的数据，进行任务运算。
81.例如：收到指令“人员工作清单”，依据预先设定的规则对指令进行分析，判断是否有可调用的任务流程图。检测到无可调用的任务流程图，则根据预先设定的规则，得到指令“人员工作清单”对应的业务流程图。人员工作清单＝oa模块的人员信息+物资模块的库存数据+检修、维修系统中的维修信息+设备故障预警/报警模块中的故障数据+实时模块的数据，按照顺序调用涉及到的各个模块中的数据，计算得到人员工作清单。
82.收到指令“人员工作清单”，依据预先设定的规则对指令进行分析，判断是否有可调用的任务流程图。检测到有可调用的任务流程图“检修、维修工单”，因此调用“检修、维修工单”任务流程图，在此基础上，生成完整的任务流程图。人员工作清单＝oa模块的人员信息+物资模块的库存数据+检修、维修工单，其中，检修、维修工单＝检修、维修系统中的维修信息+设备故障预警/报警模块中的故障数据+实时模块的数据。然后，按照顺序调用涉及到的各个模块中的数据，计算得到人员工作清单。
83.本发明的有益效果在于，与现有技术相比，本发明通过etl技术将火电场相互独立的系统中数据进行数据抽取、数据清洗、库内转换、规则检查、数据加载后按照数据采集终端以及数据类型将数据存储于对应的数据表中，使各个数据能够统一化，可跨系统调用；利用任务流程图，使运算过程简单，且易于扩展。
84.本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。