一种全球能源互联网技术资源数据收集方法
【专利摘要】本发明提供一种全球能源互联网技术资源数据收集方法，该方法通过构建收集系统，对全球能源互联网技术资源数据进行分类；以不同的方式获取所述全球能源互联网技术资源数据；针对全球能源互联网技术资源数据特点，采取基于Hadoop分布式平台与Oracle全文检索的全球能源互联网数据存储与检索。本发明提出的方法实现了全面、有效及准确的为全球能源互联网技术进行数据收集，为全球能源互联网建设基于多源信息的分析、计算、规划和辅助决策奠定基础，且其数据获取方式多且灵活，数据种类丰富、包含信息多、存储快捷安全且访问迅速。
【专利说明】
一种全球能源互联网技术资源数据收集方法
技术领域
[0001]本发明涉及电网运行管理领域，具体涉及一种全球能源互联网技术资源数据收集方法。
【背景技术】
[0002]全球能源互联网涉及的地理气象环境跨度大、设计技术领域众多，包含数据种类多且分散，存在收集困难，分析繁琐的问题。
[0003]目前还没有一个完整的全面支撑其研究，集成多专业领域信息的全球能源互联网技术资源数据收集方法。全球能源互联网就是“特高压电网+智能电网+清洁能源”，以智能电网相关数据收集方法为参考。智能电网在数据收集时大多只考虑了电力行业相关数据，数据获取方式相对单一，数据种类相对较少，缺少全球化数据收集思维方式的思考。
【发明内容】
[0004]有鉴于此，本发明提供的一种全球能源互联网技术资源数据收集方法，该方法实现了全面、有效及准确的为全球能源互联网技术进行数据收集，为全球能源互联网建设基于多源信息的分析、计算、规划和辅助决策奠定基础，且其数据获取方式多且灵活，数据种类丰富、包含信息多、存储快捷安全且访问迅速。
[0005]本发明的目的是通过以下技术方案实现的:
[0006]—种全球能源互联网技术资源数据收集方法，所述方法包括如下步骤:
[0007]步骤1.建立全球能源互联网技术资源的数据收集系统，所述数据收集系统包括相互通信的数据存储单元、监控单元、数据中心、可视化展示平台、分析评估单元、专业化计算单元、数据维护单元及数据接口 ；
[0008]步骤2.根据全球能源互联网数据的来源，对所述全球能源互联网技术资源数据进行分类；
[0009]步骤3.获取所述全球能源互联网技术资源数据；
[0010]步骤4.基于Hadoop分布式平台与Oracle全文检索，建立全球能源互联网数据存储与检索结构系统。
[0011]优选的，所述步骤I中的所述数据存储单元包括Oracle数据库及Hadoop分布式文件系统；
[0012]所述监控单元为接口监控终端；
[0013]所述数据中心为全球能源互联网数据中心，且为Oracle数据库提供数据检索，并基于Hadoop分布式文件系统进行存储及计算；
[0014]所述可视化展示平台包括可视化的人机交互界面；
[0015]所述分析评估单元基于指标体系构建的数据分析与评估方法应用；
[0016]所述专业化计算单元基于所述可视化平台进行计算；
[0017]所述数据维护单元用于对所述数据进行管理及维护；
[0018]所述数据接口包括数据人机界面接口、web界面数据自动获取接口和电力行业内数据获取接口。
[0019]优选的，所述步骤2包括:
[0020]2-1.根据全球能源互联网数据的来源，对所述全球能源互联网技术资源数据进行一次分类，得到一次分类数剧组;其中，所述一次分类数剧组包括地理信息数据，气象数据，资源数据，电力交易类数据、技术能力数据与基础数据；
[0021 ] 2-2.对所述一次分类数剧组中的各数据进行二次分类，包括:
[0022]所述地理信息数据包括经度及玮度、山川、河流及湖泊的分布、水能、风能及太阳能的能源分布信息；
[0023]所述气象数据包括温度、风力及降水数据；
[0024]所述资源数据包括风、光、水、煤及天然气的能源分布、成本及可开发储量信息；
[0025]所述电力交易类数据包括市场报价、成交量、成交电价、负荷类型、电压等级、日期及汇率信息；
[0026]所述技术能力数据包括电源类技术能力数据及电网类技术能力数据；
[0027]所述基础数据包括国家人口、GDP及第三产业GDP占比信息；
[0028]所述电源类技术能力数据包括风电及光伏能源的发电机组类型、装机容量及储能参数;所述电网类技术能力数据包括电网设备参数、线路容量及负荷数据。
[0029]优选的，所述步骤3中获取所述全球能源互联网技术资源数据的方式包括:
[0030]用户根据自身需求，进行Web数据自动搜索与获取；
[0031]获取电力行业专业数据;其中，所述专业数据包括电力企业生产运行数据、电力企业运营数据、电力企业管理数据、城市数据、指标数据及专题数据；
[0032]自动提取文本中数据信息，并根据所述数据的类型划分，实现基于文字分析功能的数据自动获取。
[0033]优选的，所述用户根据自身需求，进行Web数据自动搜索与获取，包括:
[0034]a.用户根据自身需求制定下载规则；
[0035]b.用户根据所述下载规则，确定下载周期及系统运行频率，进行Web数据自动搜索与获取。
[0036]优选的，所述步骤b包括:
[0037]b_l.实时从目标网站中获取服务端的更新数据，即所述网页自动浏览导航时，混合处理html文本和JavaScript脚本，从页面内获取超级链接，完成Web数据自动搜索；
[0038]b-2.用户根据所述下载规则，确定下载周期及系统运行频率，自动获取更新数据并将所述更新数据存储至本地存储目录中；完成Web数据自动获取。
[0039]优选的，若所述步骤b-Ι中的所述页面为表格数据页面，则所述步骤b-Ι中还包括:
[0040]c.用户选择表格字段信息与表格数据入库方式；
[0041]d.记录用户选择并定时按照所述用户选择，将所述表格数据页面内更新的数据入库。
[0042]优选的，所述获取电力行业专业数据中的所述电力企业生产运行数据包括发电量、配电网主设备及电压稳定性数据，其中，所述配电网主设备包括高压线路、主变压器、中压线路及配电变压器；
[0043]所述电力企业运营数据包括交易电价、售电量及用电客户数据；
[0044]所述电力企业管理数据包括ERP、一体化平台及协同办公数据；
[0045]所述城市数据包括城市的人口，地理位置及空气质量数据。
[0046]优选的，所述自动提取文本中数据信息，并根据所述数据的类型划分，实现基于文字分析功能的数据自动获取，包括:
[0047]e.针对目标URL，采用基于自然语言处理的抽取模型，自动进行文本信息的抽取；
[0048]f.将抽取得到的所述数据储存在本地硬盘中；
[0049]g.根据基于朴素贝叶斯的文本分类技术对数据进行自动分类，并根据计算信息的技术资源数据信息类型所属概率，将所述信息划分为地理数据信息、气象信息或能源信息。
[0050]优选的，所述步骤4中的所述全球能源互联网数据存储与检索结构系统中的数据库为关系型数据库，且所述全球能源互联网数据存储与检索结构系统包括相互通信的信息收集模块、索引模块、文本聚类模块、分类索引模块、索引合并模块、查询模块以及可视化模块
[0051]从上述的技术方案可以看出，本发明提供了一种全球能源互联网技术资源数据收集方法，该方法通过构建收集系统，；对全球能源互联网技术资源数据进行分类；以不同的方式获取所述全球能源互联网技术资源数据;针对全球能源互联网技术资源数据特点，采取基于Hadoop分布式平台与Oracle全文检索的全球能源互联网数据存储与检索。本发明提出的方法实现了全面、有效及准确的为全球能源互联网技术进行数据收集，为全球能源互联网建设基于多源信息的分析、计算、规划和辅助决策奠定基础，且其数据获取方式多且灵活，数据种类丰富、包含信息多、存储快捷安全且访问迅速。
[0052]与最接近的现有技术比，本发明提供的技术方案具有以下优异效果:
[0053]1、本发明所提供的技术方案中，为全球能源互联网建设基于多源信息的分析、计算、规划和辅助决策奠定基础。
[0054]2、本发明所提供的技术方案，基于数据中心硬件平台的支撑，从数据分类、获取、存储三个方面来进行全球能源互联网技术资源数据的收集，实现了全面、有效及准确的为全球能源互联网技术进行数据收集。
[0055]3、本发明所提供的技术方案，数据获取方式多且灵活、数据种类丰富、包含信息多、存储快捷安全且访问迅速。
[0056]4、本发明提供的技术方案，应用广泛，具有显著的社会效益和经济效益。
【附图说明】
[0057]图1是本发明的一种全球能源互联网技术资源数据收集方法的流程图；
[0058]图2是本发明的数据收集方法中步骤2的流程示意图；
[0059]图3是本发明的数据收集方法中步骤3中的用户根据自身需求，进行Web数据自动搜索与获取的流程示意图；
[0060]图4是本发明的数据收集方法中步骤3中的自动提取文本中数据信息，并根据所述数据的类型划分，实现基于文字分析功能的数据自动获取的流程示意图；
[0061]图5是本发明的具体应用例中的全球能源互联网数据中心硬件架构图；
[0062]图6是本发明的具体应用例中的全球能源互联网数据中心数据库_ER模型图；
[0063]图7是本发明的具体应用例中的全球能源互联网数据检索结构。
【具体实施方式】
[0064]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0065]如图1所示，本发明提供一种全球能源互联网技术资源数据收集方法，方法包括如下步骤:
[0066]步骤1.建立全球能源互联网技术资源的数据收集系统，数据收集系统包括相互通信的数据存储单元、监控单元、数据中心、可视化展示平台、分析评估单元、专业化计算单元、数据维护单元及数据接口 ；
[0067]步骤2.根据全球能源互联网数据的来源，对全球能源互联网技术资源数据进行分类；
[0068]步骤3.获取全球能源互联网技术资源数据；
[0069]步骤4.基于Hadoop分布式平台与Oracle全文检索，建立全球能源互联网数据存储与检索结构系统。
[°07°]其中，步骤I中的数据存储单元包括Oracle数据库及Hadoop分布式文件系统；
[0071]监控单元为接口监控终端；
[0072]数据中心为全球能源互联网数据中心，且为Oracle数据库提供数据检索，并基于Hadoop分布式文件系统进行存储及计算；
[0073]可视化展示平台包括可视化的人机交互界面；
[0074]分析评估单元基于指标体系构建的数据分析与评估方法应用；
[0075]专业化计算单元基于可视化平台进行计算；
[0076]数据维护单元用于对数据进行管理及维护；
[0077]数据接口包括数据人机界面接口、web界面数据自动获取接口和电力行业内数据获取接口。
[0078]其中，步骤3中获取全球能源互联网技术资源数据的方式包括:
[0079]用户根据自身需求，进行Web数据自动搜索与获取；
[0080]获取电力行业专业数据;其中，专业数据包括电力企业生产运行数据、电力企业运营数据、电力企业管理数据、城市数据、指标数据及专题数据；
[0081]自动提取文本中数据信息，并根据数据的类型划分，实现基于文字分析功能的数据自动获取。
[0082]如图2所示，步骤2包括:
[0083]2-1.根据全球能源互联网数据的来源，对全球能源互联网技术资源数据进行一次分类，得到一次分类数剧组;其中，一次分类数剧组包括地理信息数据，气象数据，资源数据，电力交易类数据、技术能力数据与基础数据；
[0084]2-2.对一次分类数剧组中的各数据进行二次分类，包括:
[0085]地理信息数据包括经度及玮度、山川、河流及湖泊的分布、水能、风能及太阳能的能源分布信息；
[0086]气象数据包括温度、风力及降水数据；
[0087]资源数据包括风、光、水、煤及天然气的能源分布、成本及可开发储量信息；
[0088]电力交易类数据包括市场报价、成交量、成交电价、负荷类型、电压等级、日期及汇率?目息;
[0089]技术能力数据包括电源类技术能力数据及电网类技术能力数据；
[0090]基础数据包括国家人口、GDP及第三产业GDP占比信息。
[0091]其中，2-2中的电源类技术能力数据包括风电及光伏能源的发电机组类型、装机容量及储能参数;电网类技术能力数据包括电网设备参数、线路容量及负荷数据。
[0092]如图3所示，步骤3中的用户根据自身需求，进行Web数据自动搜索与获取包括:
[0093]a.用户根据自身需求制定下载规则；
[0094]b.用户根据下载规则，确定下载周期及系统运行频率，进行Web数据自动搜索与获取。
[0095]其中，步骤b包括:
[0096]b_l.实时从目标网站中获取服务端的更新数据，即网页自动浏览导航时，混合处理html文本和JavaScript脚本，从页面内获取超级链接，完成Web数据自动搜索；
[0097]b-2.用户根据下载规则，确定下载周期及系统运行频率，自动获取更新数据并将更新数据存储至本地存储目录中；完成Web数据自动获取。
[0098]其中，若步骤b-Ι中的页面为表格数据页面，则步骤b-Ι中还包括:
[0099]c.用户选择表格字段信息与表格数据入库方式；
[0100]d.记录用户选择并定时按照用户选择，将表格数据页面内更新的数据入库。
[0101]其中，步骤4中的电力企业生产运行数据包括发电量、配电网主设备及电压稳定性数据，其中，配电网主设备包括高压线路、主变压器、中压线路及配电变压器；
[0102]电力企业运营数据包括交易电价、售电量及用电客户数据；
[0103]电力企业管理数据包括ERP、一体化平台及协同办公数据；
[0104]城市数据包括城市的人口，地理位置及空气质量数据。
[0105]如图4所示，步骤3中的自动提取文本中数据信息，并根据数据的类型划分，实现基于文字分析功能的数据自动获取包括:
[0106]e.针对目标URL，采用基于自然语言处理的抽取模型，自动进行文本信息的抽取；
[0107]f.将抽取得到的数据储存在本地硬盘中；
[0108]g.根据基于朴素贝叶斯的文本分类技术对数据进行自动分类，并根据计算信息的技术资源数据信息类型所属概率，将信息划分为地理数据信息、气象信息或能源信息。
[0109]其中，步骤4中的全球能源互联网数据存储与检索结构系统中的数据库为关系型数据库，且全球能源互联网数据存储与检索结构系统包括相互通信的信息收集模块、索引模块、文本聚类模块、分类索引模块、索引合并模块、查询模块以及可视化模块。
[0110]本发明提供一种全球能源互联网技术资源数据收集方法的具体应用例，如下:
[0111]I)数据中心硬件架构如图5所示:
[0112]数据接口:包括数据人机界面、web界面数据自动获取和电力行业内数据获取。
[0113]数据:全球能源互联网数据，给予Oracle数据库进行数据检索，基于Hadoop分布式文件系统进行存储及计算。
[0114]可视化展示:可视化的人机交互界面
[0115]分析评估:基于指标体系构建的数据分析与评估方法应用。
[0116]专业化计算:基于可视化平台的专业计算功能。
[0117]数据维护:数据管理及维护。
[0118]2)确立数据分类原则。根据全球能源互联网数据来源的不同，数据可分类为地理信息数据，气象数据，资源数据，电力交易类数据、技术能力数据与基础数据。地理信息数据主要包括经度、玮度，山川、河流、湖泊的分布、水能、风能、太阳能等一次能源的分布信息。
[0119]气象数据主要包括温度、风力、降水等。资源数据包括风、光、水、煤、天然气等一次能源分布、成本、可开发储量等信息。
[0120]电力交易类数据主要包括各市场报价，成交量，成交电价、负荷类型，电压等级，日期和汇率等信息;技术能力数据包含两个方面的数据:电源类技术能力数据，电网类技术能力数据。
[0121]电源类技术能力数据主要包括风电，光伏等能源的发电机组类型，装机容量，储能参数等；电网类技术能力数据主要包括电网设备参数，线路容量，负荷等数据;基础数据包括国家人口，GDP，第三产业GDP占比等信息。如图6所示。
[0122]3)针对用户需要，进行Web数据自动搜索与获取。
[0123]具体是指，用户根据需求，自己制定下载规则，包括单一数据下载周期和系统自动运行频率等，实时地从目标网站中获取最新的服务端推送的数据，存储到本地的存储目录中。
[0124]技术上可分为两步，网页自动浏览导航，更新数据的自动获取。在网页的自动浏览导航方面，对html文本和JavaScript脚本作混合处理，完整地从页面内爬取所含的超级链接，在更新数据的自动获取方面，由上文用户自己制定下载规则，确定下载周期和系统运行频率。针对表格数据页面，选择表格字段信息与表格数据入库方式，程序会记录下用户选择，今后定时地按照用户选择，将该页面内更新的数据入库。
[0125]以上两步实现了网页更新数据的自动获取。
[0126]4)从电力行业内获取相关专业数据。
[0127]数据中心具有行业内专业数据获取通道，可以安全的从丰富的数据资源中获取全球能源互联网技术资源相关信息。专业数据包括电力企业生产运行数据，如发电量、配电网主设备(包括高压线路、主变压器、中压线路及配电变压器等)、电压稳定性等方面的数据；电力企业运营数据，如交易电价、售电量、用电客户等方面数据;电力企业管理数据，如ERP、一体化平台、协同办公等方面的数据。其次，宏观经济、气象数据等指标数据或专题数据，国内外多个城市的人口，地理位置，空气质量等数据也包含在电力行业数据资源库中。
[0128]5)通过自动提取文本数据信息，并对数据进行分类的方法，实现基于文字分析功能的数据自动获取。
[0129]针对目标URL，采用基于自然语言处理的抽取模型，自动进行文本信息的抽取，。抽取得到的数据储存在本地硬盘中，使用基于朴素贝叶斯的文本分类技术对数据进行自动分类，通过计算某条信息属于哪类技术资源数据信息的概率，将信息分类为地理数据信息，气象信息，能源信息等。
[0130]6)基于Hadoop分布式平台与Oracle全文检索的全球能源互联网数据存储与检索结构模式。
[0131]Hadoop分布式文件存储系统可处理结构类型繁多，更新速度快，对海量历史数据进行离线分析处理与交互性强的全球能源互联网技术资源数据。
[0132]Oracle全文检索支持多源异构信息源集合的全球能源互联网信息，较大程度地保持原有数据的真实性。
[0133]该系统使用了关系型数据库。系统的结构主要包括信息收集模块、索引模块、文本聚类模块、分类索引模块、索引合并模块、查询模块以及可视化模块等，如图7所示。
[0134]以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的【具体实施方式】进行修改或者等同替换，而这些未脱离本发明精神和范围的任何修改或者等同替换，其均在申请待批的本发明的权利要求保护范围之内。
【主权项】
1.一种全球能源互联网技术资源数据收集方法，其特征在于，所述方法包括如下步骤: 步骤1.建立全球能源互联网技术资源的数据收集系统，所述数据收集系统包括相互通信的数据存储单元、监控单元、数据中心、可视化展示平台、分析评估单元、专业化计算单元、数据维护单元及数据接口 ； 步骤2.根据全球能源互联网数据的来源，对所述全球能源互联网技术资源数据进行分类； 步骤3.获取所述全球能源互联网技术资源数据； 步骤4.基于Hadoop分布式平台与Oracle全文检索，建立全球能源互联网数据存储与检索结构系统。2.如权利要求1所述的方法，其特征在于，所述步骤I中的所述数据存储单元包括Oracle数据库及Hadoop分布式文件系统； 所述监控单元为接口监控终端； 所述数据中心为全球能源互联网数据中心，且为Oracle数据库提供数据检索，并基于Hadoop分布式文件系统进行存储及计算； 所述可视化展示平台包括可视化的人机交互界面； 所述分析评估单元基于指标体系构建的数据分析与评估方法应用； 所述专业化计算单元基于所述可视化平台进行计算； 所述数据维护单元用于对所述数据进行管理及维护； 所述数据接口包括数据人机界面接口、web界面数据自动获取接口和电力行业内数据获取接口。3.如权利要求1所述的方法，其特征在于，所述步骤2包括: 2-1.根据全球能源互联网数据的来源，对所述全球能源互联网技术资源数据进行一次分类，得到一次分类数剧组;其中，所述一次分类数剧组包括地理信息数据，气象数据，资源数据，电力交易类数据、技术能力数据与基础数据； 2-2.对所述一次分类数剧组中的各数据进行二次分类，包括: 所述地理信息数据包括经度及玮度、山川、河流及湖泊的分布、水能、风能及太阳能的能源分布信息； 所述气象数据包括温度、风力及降水数据； 所述资源数据包括风、光、水、煤及天然气的能源分布、成本及可开发储量信息； 所述电力交易类数据包括市场报价、成交量、成交电价、负荷类型、电压等级、日期及汇率?目息; 所述技术能力数据包括电源类技术能力数据及电网类技术能力数据； 所述基础数据包括国家人口、⑶P及第三产业⑶P占比信息； 所述电源类技术能力数据包括风电及光伏能源的发电机组类型、装机容量及储能参数;所述电网类技术能力数据包括电网设备参数、线路容量及负荷数据。4.如权利要求1所述的方法，其特征在于，所述步骤3中获取所述全球能源互联网技术资源数据的方式包括: 用户根据自身需求，进行Web数据自动搜索与获取； 获取电力行业专业数据;其中，所述专业数据包括电力企业生产运行数据、电力企业运营数据、电力企业管理数据、城市数据、指标数据及专题数据； 自动提取文本中数据信息，并根据所述数据的类型划分，实现基于文字分析功能的数据自动获取。5.如权利要求4所述的方法，其特征在于，所述用户根据自身需求，进行Web数据自动搜索与获取，包括: a.用户根据自身需求制定下载规则； b.用户根据所述下载规则，确定下载周期及系统运行频率，进行Web数据自动搜索与获取。6.如权利要求5所述的方法，其特征在于，所述步骤b包括: b-Ι.实时从目标网站中获取服务端的更新数据，即所述网页自动浏览导航时，混合处理html文本和JavaScript脚本，从页面内获取超级链接，完成Web数据自动搜索； b_2.用户根据所述下载规则，确定下载周期及系统运行频率，自动获取更新数据并将所述更新数据存储至本地存储目录中；完成Web数据自动获取。7.如权利要求6所述的方法，其特征在于，若所述步骤b-Ι中的所述页面为表格数据页面，则所述步骤b-Ι中还包括: c.用户选择表格字段信息与表格数据入库方式； d.记录用户选择并定时按照所述用户选择，将所述表格数据页面内更新的数据入库。8.如权利要求4所述的方法，其特征在于，所述获取电力行业专业数据中的所述电力企业生产运行数据包括发电量、配电网主设备及电压稳定性数据，其中，所述配电网主设备包括高压线路、主变压器、中压线路及配电变压器； 所述电力企业运营数据包括交易电价、售电量及用电客户数据； 所述电力企业管理数据包括ERP、一体化平台及协同办公数据； 所述城市数据包括城市的人口，地理位置及空气质量数据。9.如权利要求4所述的方法，其特征在于，所述自动提取文本中数据信息，并根据所述数据的类型划分，实现基于文字分析功能的数据自动获取，包括: e.针对目标URL，采用基于自然语言处理的抽取模型，自动进行文本信息的抽取； f.将抽取得到的所述数据储存在本地硬盘中； g.根据基于朴素贝叶斯的文本分类技术对数据进行自动分类，并根据计算信息的技术资源数据信息类型所属概率，将所述信息划分为地理数据信息、气象信息或能源信息。10.如权利要求1所述的方法，其特征在于，所述步骤4中的所述全球能源互联网数据存储与检索结构系统中的数据库为关系型数据库，且所述全球能源互联网数据存储与检索结构系统包括相互通信的信息收集模块、索引模块、文本聚类模块、分类索引模块、索引合并模块、查询模块以及可视化模块。
【文档编号】G06Q50/06GK105824945SQ201610161855
【公开日】2016年8月3日
【申请日】2016年3月21日
【发明人】周海明, 赵琦, 刘超群
【申请人】中国电力科学研究院, 国家电网公司, 国网天津市电力公司