一种基于混合能源数据的大数据分析方法与流程

1.本发明涉及能源数据管理技术领域，尤其涉及一种基于混合能源数据的大数据分析方法。


背景技术：

2.能源市场已经积累了海量数据，这些数据涉及到能源生产、传输、消费端的全产业链，数据价值潜力巨大。由于能源数据分散在不同的能源企业，现有数据资源非常分散，很难从海量数据中发现数据与数据之间的关联关系与规律，挖掘现有数据的潜在价值。
3.目前，混合能源数据繁琐多样，缺乏有效的数据统计，多源异构的能源数据管理水平低，无法满足满足政府、企业和社会大众业的数据应用分析需求。为解决上述问题，本技术中提出一种基于混合能源数据的大数据分析方法。


技术实现要素：

4.(一)发明目的
5.为解决背景技术中存在的技术问题，本发明提出一种基于混合能源数据的大数据分析方法，本发明通过建立能源大数据中心将用户数据交换端的数据进行及时的全面的收集，对所汇聚的数据资源按行业和主题域进行归类，设计具有能源行业特点的数据资源目录，满足政府、企业和社会大众业的数据应用分析需求，提升混合能源数据管理水平。
6.(二)技术方案
7.为解决上述问题，本发明提出了一种基于混合能源数据的大数据分析方法，包括以下步骤：
8.s1、数据采集处理硬件布设服务，包括用户数据交换端、通讯模块和能源大数据中心，全面的铺设户数据交换端和建立能源大数据中心，并通过通讯模块将能源大数据中心与不同的户数据交换端进行连接，实现全面的覆盖；
9.s2、数据采集服务，用于采集数据的数据采集体系是整个数据中心的统一数据入口，主要包括政府数据、能源相关企业类数据和电力数据，采集体系在集中的资源编目管理支撑下，实现对全省异地、异构数据源管理、数据采集服务的配置与管理等工作；
10.s3、数据汇聚服务，能源大数据中心得汇聚数据包括电力数据、政府类数据、能源相关企业类数据和其他数据，利用关系数据库数据抽取服务、文件采集服务、实时消息队列服务、数据库实时复制服务和api接口服务数据采集功能，通过专线网络汇聚至能源大数据中心，同时保证数据稳定接入和数据质量的完整、真实、准确；
11.s4、数据治理服务，基于能源大数据中心数据管理平台，按照“精确-完整-有效”的数据治理要求，盘点能源相关数据资产，参考国际标准和现有成熟数据资源管理经验，对所汇聚的数据资源按行业和主题域进行归类，设计具有能源行业特点的数据资源目录；
12.s5、数据反馈服务，基于能源大数据中心数据管理平台，对于从用户数据交换端中采集到的数据信息进行对比处理，数据异常时，通过信息回馈模块进行自动反馈，便于用户
数据交换端的客户进行自查，提升数据管理水平。
13.优选的，所述步骤s1中，户数据交换端包括台式电脑、笔记本电脑、手机和平板，所述能源大数据中心包括处理器和数据库，通讯模块可选用无线传输模块可选用z4gex-04通讯模块、cc2640r2frsmr蓝牙通讯或cc2420型无线收发器中的一种。
14.优选的，所述步骤s2中，利用现有的采集服务模型与规则支撑下，实现对政府数据、能源相关企业类数据和电力数据采集服务配置与部署，包括内外部系统的结构化据、半结构化数据和非结构化数据，对不同类型、不同时效数据的采集，增强数据采集的全面性，提高数据采集准确性。
15.优选的，所述步骤s3中，所述数据汇聚服务的电力数据汇聚中，公司将发电、输电、变电、配电、用电、调度各生产运行环节及经营管理过程数据推送至数据中台后，通过内外网隔离装置利用加密传输的形式与能源大数据中心集成，为能源大数据中心提供电网运行、客户服务和经营管理等数据。
16.优选的，所述步骤s3中，所述数据汇聚服务的能源相关企业类数据汇聚中，能源相关企业包括煤炭、石油、天然气以及水能等一次能源企业，电力、煤气、汽油、柴油等二次能源企业和能源上下游及装备企业，能源相关企业按照约定通过专线网络与能源大数据中心集成，为能源大数据中心提供能源相关行业数据。
17.优选的，所述步骤s3中，所述数据汇聚服务的能源相关企业类数据汇聚中，能源相关企业包括煤炭、石油、天然气以及水能等一次能源企业，电力、煤气、汽油、柴油等二次能源企业和能源上下游及装备企业，能源相关企业按照约定通过专线网络与能源大数据中心集成，为能源大数据中心提供能源相关行业数据。
18.优选的，所述步骤s3中，所述数据汇聚服务的其他数据汇聚中，能源大数据中心与金融机构、房地产等其他平台签订了合作协议，对数据需求进行梳理分析，定期通过工具抽取、接口传输及离线采集等方式，将外部数据及分散在其他企业的相关数据归集至能源大数据中心，实现其他数据分类、分批汇聚至能源大数据中心。
19.优选的，所述步骤s4中，通过提供完整的元数据管理、数据资源搜索、数据资源应用等“一站式”数据资源服务，并根据数据资源的变化情况及时更新目录信息，保证数据资源目录的真实、可靠、可用，确保能源大数据中心的数据资源“查得到、看得懂、用得上”，同时建立各类数据管理标准、数据监测机制和数据认责制度，严格控制数据质量，奠定数据基础，以满足政府、企业和社会大众业的数据应用分析需求。
20.优选的，所述步骤s5中，信息回馈模块可选用短信、邮件或电话中的一种。
21.本发明的上述技术方案具有如下有益的技术效果：本发明通过建立能源大数据中心将用户数据交换端的数据进行及时的全面的收集，用于采集的政府数据、能源相关企业类数据和电力数据，采集体系在集中的资源编目管理支撑下，实现对全省异地、异构数据源管理、数据采集服务的配置与管理等工作；能源大数据中心，同时保证数据稳定接入和数据质量的完整、真实、准确；增强数据采集的全面性，提高数据采集准确性，然后通过对所汇聚的数据资源按行业和主题域进行归类，设计具有能源行业特点的数据资源目录，为能源大数据中心提供电网运行、客户服务和经营管理等数据，同时建立各类数据管理标准、数据监测机制和数据认责制度，严格控制数据质量，奠定数据基础，以满足政府、企业和社会大众业的数据应用分析需求，且及时的进行信息回馈，便于用户数据交换端的客户进行自查，提
升数据管理水平。
附图说明
22.图1为本发明提出的基于混合能源数据的大数据分析方法的结构框图。
23.图2为本发明提出的基于混合能源数据的大数据分析方法中数据汇聚服务的结构框图。
24.图3为本发明提出的基于混合能源数据的大数据分析方法中数据采集处理硬件布设服务的结构框图。
具体实施方式
25.为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
26.如图1-3所示，本发明提出的一种基于混合能源数据的大数据分析方法，包括以下步骤：
27.s1、数据采集处理硬件布设服务，包括用户数据交换端、通讯模块和能源大数据中心，全面的铺设户数据交换端和建立能源大数据中心，并通过通讯模块将能源大数据中心与不同的户数据交换端进行连接，实现全面的覆盖；
28.s2、数据采集服务，用于采集数据的数据采集体系是整个数据中心的统一数据入口，主要包括政府数据、能源相关企业类数据和电力数据，采集体系在集中的资源编目管理支撑下，实现对全省异地、异构数据源管理、数据采集服务的配置与管理等工作；
29.s3、数据汇聚服务，能源大数据中心得汇聚数据包括电力数据、政府类数据、能源相关企业类数据和其他数据，利用关系数据库数据抽取服务、文件采集服务、实时消息队列服务、数据库实时复制服务和api接口服务数据采集功能，通过专线网络汇聚至能源大数据中心，同时保证数据稳定接入和数据质量的完整、真实、准确；
30.s4、数据治理服务，基于能源大数据中心数据管理平台，按照“精确-完整-有效”的数据治理要求，盘点能源相关数据资产，参考国际标准和现有成熟数据资源管理经验，对所汇聚的数据资源按行业和主题域进行归类，设计具有能源行业特点的数据资源目录；
31.s5、数据反馈服务，基于能源大数据中心数据管理平台，对于从用户数据交换端中采集到的数据信息进行对比处理，数据异常时，通过信息回馈模块进行自动反馈，便于用户数据交换端的客户进行自查，提升数据管理水平。
32.在一个可选的实施例中，所述步骤s1中，户数据交换端包括台式电脑、笔记本电脑、手机和平板，所述能源大数据中心包括处理器和数据库，通讯模块可选用无线传输模块可选用z4gex-04通讯模块、cc2640r2frsmr蓝牙通讯或cc2420型无线收发器中的一种。
33.在一个可选的实施例中，所述步骤s2中，利用现有的采集服务模型与规则支撑下，实现对政府数据、能源相关企业类数据和电力数据采集服务配置与部署，包括内外部系统的结构化据、半结构化数据和非结构化数据，对不同类型、不同时效数据的采集，增强数据采集的全面性，提高数据采集准确性。
34.在一个可选的实施例中，所述步骤s3中，所述数据汇聚服务的电力数据汇聚中，公司将发电、输电、变电、配电、用电、调度各生产运行环节及经营管理过程数据推送至数据中台后，通过内外网隔离装置利用加密传输的形式与能源大数据中心集成，为能源大数据中心提供电网运行、客户服务和经营管理等数据。
35.在一个可选的实施例中，所述步骤s3中，所述数据汇聚服务的政府类数据汇聚中，通过查询利用现有的政务大数据中心，利用专线网络定期将发改委、统计局、工信厅、税务和工商等行政政府管理部门涉及的各省、市宏观经济运行、发展规划、产业政策、体制改革、市场发展和工商管理数据传输至能源大数据中心。
36.在一个可选的实施例中，所述步骤s3中，所述数据汇聚服务的能源相关企业类数据汇聚中，能源相关企业包括煤炭、石油、天然气以及水能等一次能源企业，电力、煤气、汽油、柴油等二次能源企业和能源上下游及装备企业，能源相关企业按照约定通过专线网络与能源大数据中心集成，为能源大数据中心提供能源相关行业数据。
37.在一个可选的实施例中，所述步骤s3中，所述数据汇聚服务的其他数据汇聚中，能源大数据中心与金融机构、房地产等其他平台签订了合作协议，对数据需求进行梳理分析，定期通过工具抽取、接口传输及离线采集等方式，将外部数据及分散在其他企业的相关数据归集至能源大数据中心，实现其他数据分类、分批汇聚至能源大数据中心。
38.在一个可选的实施例中，所述步骤s4中，通过提供完整的元数据管理、数据资源搜索、数据资源应用等“一站式”数据资源服务，并根据数据资源的变化情况及时更新目录信息，保证数据资源目录的真实、可靠、可用，确保能源大数据中心的数据资源“查得到、看得懂、用得上”，同时建立各类数据管理标准、数据监测机制和数据认责制度，严格控制数据质量，奠定数据基础，以满足政府、企业和社会大众业的数据应用分析需求。
39.在一个可选的实施例中，所述步骤s5中，信息回馈模块可选用短信、邮件或电话中的一种。
40.应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。