一种基于多源异构的分布式能源数据融合和应用方法与流程

1.本发明涉及天然气能源行业多源异构数据融合和应用技术方面，具体涉及一种基于多源异构的分布式能源数据融合和应用方法。


背景技术：

2.伴随着信息技术的发展，在天然气能源行业，各分子公司、部门和站场都进行了信息化改造和升级，同时也形成了各自为阵的局面；这种重复建设的局面不仅带来了资源的浪费，增加了企业的运营成本，同时也增加了数据整合的难度，降低了企业的运行效率。面对这种多源异构的数据资源，建立多源异构数据采集服务、数据校验、融合、存储服务和统一数据接口服务，不仅打通了内部的数据孤岛，建立了数据的标准化，而且对外统一了数据服务接口，避免了多头管理带来的数据二义性。
3.当前国内外对多源异构数据融合和应用的问题研究比较丰富，但是大多仅停留在对多源异构的关系型数据库的研究，面向天然气能源行业的数据融合和应用的研究还存在一定的不足，主要表现在：
4.第一、多源异构的多协议支持存在困难，尤其针对天然气能源行业多分子公司、多信息系统以及仪器仪表数据的实时采集方面存在困难，其不但要支持多种协议，而且要对海量仪器仪表数据进行采集、归类；
5.第二、面向天然气能源行业多源异构的数据采集技术框架和服务平台较少。


技术实现要素：

6.为了克服上述现有技术的不足，本发明提供一种基于多源异构分布式能源数据融合和应用方法。
7.本发明所要解决的技术问题通过以下技术方案实现，本发明是一种基于多源异构的分布式能源数据融合和应用方法，该方法包括：
8.(1)构建多源异构的面向天然气能源行业的数据采集服务
9.此数据采集服务的数据包括各种仪器仪表数据、信息系统数据和用户填报数据，其数据主要来源于企业总部、分子公司、部门、站场；数据采集服务设计方法是根据数据涉及面广，仪器仪表数据量大且要求实时采集的特点，建立了分布式多任务的数据采集调度服务；服务主要使用quartz任务的形式，实现了多线程、多任务、分布式调度方法；数据采集平台可以通过opc协议、http协议、webservice协议、tcp/ip协议进行数据传输，支持多源异构的数据采集；
10.(2)基于多源异构数据校验、融合、存储服务
11.基于多源异构数据校验、融合、存储平台的方法，主要包含数据校验、数据融合和数据存储；其中，数据校验方法包含数据有效性、完整性检查；数据融合采用元数据管理方式对校验后的数据进行融合处理；数据存储是在数据处理后，对数据进行分类存储，主要分为实时数据库、历史数据库以及缓存数据库。通过基于多源异构数据校验、融合、存储服务
的处理，最终形成了标准化、统一化的数据，为数据应用提供了重要的支撑和保障；
12.(3)统一数据接口服务
13.设计统一数据接口服务，主要目的是统一入口、统一数据交换格式，搭建基本的数据共享平台。统一入口，即只有数据共享服务一个入口，所有数据获取都以此入口为准；统一数据交换格式即采用http协议，json格式进行业务数据的共享；统一数据接口服务包含以下步骤：
14.步骤一、用户提出数据资源使用申请；
15.步骤二、平台分配相应账号权限；
16.步骤三、数据接口消费调用，以请求-应答的方式，利用http协议和json格式的报文进行数据交换。
17.与现有技术相比，本发明具有以下优点：
18.(1)采取多协议、分布式多任务调度方式进行数据采集；
19.(2)站场仪器仪表种类繁多，实时采集数据量大；
20.(3)建立元数据管理，清晰的描述数据来源、业务属性和上下文信息；
21.(4)对外建立统一的数据接口服务，实现数据交换的标准化。
22.本发明采用上述技术方案能够有效解决天然气能源行业以各分子公司为阵形成的数据孤岛和数据格式混乱的问题，为天然气能源行业企业建立标准化、统一化的数据资源和访问接口，进而提高企业的生产效率、降低运营成本。
附图说明
23.图1为本发明的系统总体架构图；
24.图2为本发明多源异构的数据采集服务框架图；
25.图3为本发明数据校验、融合和存储结构图；
26.图4为本发明统一数据接口服务框架图。
具体实施方式
27.为使本发明目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
28.实施例
29.如图1所示，本发明公开了一种基于多源异构的分布式能源数据融合和应用方法，主要用于对天然气能源行业的数据融合和应用方法，该方法包含了分布式数据采集层、数据融合层、数据发布层和数据应用层。
30.(1)数据采集层
31.所述数据采集层如图2所示，主要是构建了多源异构的面向天然气能源行业的数据采集服务；此服务主要以opc协议、http协议、webservice协议、tcp/ip协议为基础数据通信链路，建立quartz任务调度，实现多源异构的分布式数据采集任务；采集的数据接口包括xml和json格式的报文接口，采集的关系型数据库包括mysql、oracle、sql server、postgresql，采集的非关系型数据库包括redis、mongo db、文本文件；
32.(2)数据融合层
33.所述数据融合层如图3所示，主要是建立基于多源异构数据校验、融合、存储服务，此服务主要分为数据校验、数据融合、数据存储三部分，数据校验建立了数据非空校验、数据有效性检验、数据冗余校验和数据完整性校验的规则，完成数据的初步筛选；数据融合以元数据管理规则为基准，建立数据的来源、业务属性和上下文信息；数据存储将经过校验和融合后的数据，按照使用方式和使用频率，分别存储于实时数据库、缓存数据库和历史数据库；
34.(3)数据发布层
35.所述数据发布层如图4所示，其主要建立了统一数据接口服务的入口；包含了业务数据申请、账号权限分配、数据接口调用、账号权限验证、数据查询、数据返回的过程。其中统一接口服务采用http协议，json格式进行数据报文的交换；
36.(4)数据应用层
37.所述数据应用层，可根据企业信息化发展，对内、对外建立的各种信息化应用系统，这些应用系统的数据获取来源于统一接口的数据服务。
38.本申请实施效益：
39.本发明是一种基于多源异构的分布式能源数据融合和应用方法，为天然气能源行业解决了信息化建设过程中统一化、标准化的问题，打破了企业内外部的数据孤岛和各自为阵的困境，有效的提高了企业管理效率、降低了企业运营成本。
40.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。


技术特征：
1.一种基于多源异构的分布式能源数据融合和应用方法，其特征在于：数据采集层是构建多源异构的面向天然气能源行业的数据采集，采集数据包括站场仪器仪表数据采集、企业分子公司信息化系统数据采集和用户填报数据采集，采集方式通过多线程分布式任务调度，以opc协议、http协议、webservice协议、tcp/ip协议为传输通道，进行多源异构数据的采集；数据融合层是对采集数据的校验、融合和存储，数据校验包括数据完整性、有效性校验，数据融和采用元数据管理方式，建立数据的来源、业务属性和上下文信息，最终达到数据统一化、标准化的目的，数据存储主要包括实时数据库、历史数据库和缓存数据库三种存储方式；数据发布层是统一数据接口服务，其采用“申请-授权”的方式提供数据服务，数据使用者提出业务数据使用申请，服务为其分配对应的账号权限，使用者使用账号统一入口完成数据调用，数据共享服务使用http传输协议，json数据报文完成接口调用的请求和应答。2.根据权利要求1所述的一种基于多源异构的分布式能源数据融合和应用方法，其特征在于：构建多源异构的面向天然气能源行业的数据采集服务，按照总公司-分子公司-场站的企业管理模式，采用实时任务、定时任务、人工主动采集任务三种调度方式。3.根据权利要求1所述的一种基于多源异构的分布式能源数据融合和应用方法，其特征在于：构建多源异构的面向天然气能源行业的数据采集服务，包括生产运营、站场实时数据、设备告警数据、信息系统数据。4.根据权利要求1所述的一种基于多源异构的分布式能源数据融合和应用方法，其特征在于：基于多源异构数据校验、融合和存储服务建立了数据校验的规则和数据融合的方法；其中，数据校验规则包括数据有效性检查、完整性验证以及冗余数据删除；数据融合是通过建立元数据管理的方法，建立数据的来源、业务属性和上下文信息。5.根据权利要求1所述的一种基于多源异构的分布式能源数据融合和应用方法，其特征在于：统一数据接口服务对外建立了数据服务总线，其包含以下步骤：步骤一、用户提出数据资源使用申请；步骤二、平台分配相应账号权限；步骤三、数据接口消费调用，以请求-应答的方式，利用http协议和json格式的报文进行数据交换。

技术总结
本发明公开了一种基于多源异构的分布式能源数据融合和应用方法，该方法是面向天然气能源行业的多源异构数据采集、数据融合和数据应用；其中数据采集包含天然气站场仪器仪表数据、分子公司信息系统数据和填报数据；数据采集层以OPC、HTTP、WEBSERVICE、TCP/IP协议为传输通道，采用分布式任务调度的方式完成数据采集；数据采集完成后，对数据进行完整性、有效性校验，同时建立数据的来源、业务属性和上下文信息，完成数据的融合和存储；数据发布采用授权方式，以HTTP协议传输JSON报文的形式建立统一的数据接口服务。本发明解决了企业管理中数据孤岛、数据冗余、数据交换的问题，为企业建立了信息采集自动化、数据服务标准化、决策管理智能化的应用示范。智能化的应用示范。智能化的应用示范。


技术研发人员：许宜菲 梅玉杰 李瑞 李琰 李雪松 梁洪弋 马同宽
受保护的技术使用者：新天绿色能源股份有限公司
技术研发日：2022.01.11
技术公布日：2022/5/10