一种柔性建筑综合能源大数据智慧管理平台及构建方法与流程

1.本发明属于建筑能源控制技术领域，具体涉及一种柔性建筑综合能源大数据智慧管理平台及构建方法。


背景技术：

2.近年来，随着国家能源战略的推进，人们对新能源替代石化能源的探索不断加深，技术融合模式和商业模式也呈现多元化。建筑与能源行业呈现出加速融合的趋势，建筑综合能源互联网成为一种极具落地性的产业形态。建筑正逐渐成为能源的最大消纳场所，建筑能源大数据的量呈指数级增长，已从pb级发展成eb级甚至更高级。当前，建筑综合能源大数据智能化是建筑综合能源系统实现智慧化的主要方向之一，对建筑综合能源互联网中大数据的一体化智能化采集、计量、分析、挖掘成为产业界越来越重要的实际需求。
3.当前建筑综合能源大数据系统的发展存在的技术瓶颈：
4.(1)由于负荷受随机因素影响，负荷的精确数学模型往往很难建立；
5.(2)建筑能源互联网能源供需系统缺少科学的量化分析方法和智能计算模型，导致能源供需匹配的时滞性、不确定性、不精确性问题突出；
6.(3)综合能源特别是其中的新能源(如建筑光伏)的消纳系统环节不够柔性，建筑端能源枢纽的综合实时处理能力和事件及时响应能力不强；
7.(4)能源大数据的智能化处理程度和处理能力不够强，大数据与人工智能算法模型不能根据业务系统实际需求进行恰当、充分融合；
8.(5)能源工业互联网存在系统安全问题，能源网络数据跨平台、跨系统、跨层级访问及交换共享仍比较困难，能源大数据安全性存在隐患。这些技术瓶颈的存在可能会导致电力系统中断、电力供给成本增加、能源管理成本增大、能源浪费等不良后果；
9.(6)能源大数据追溯困难。由于大数据平台与系统没从底层建立一套互联互通机制，也缺乏有效的技术支撑，造成能源大数据的追溯、查询、取证较难。


技术实现要素：

10.为了解决现有技术存在的问题，本发明提供一种柔性建筑综合能源大数据智慧管理平台，针对能源大数据平台毫秒级实时计算的实际需求，提出采用spark并行快速计算框架构建建筑综合能源信息物理系统大数据智能计算体系。
11.本发明所采用的技术方案为：
12.第一方面，本发明提供一种柔性建筑综合能源大数据智慧管理平台，用于将能源大数据纳入到建筑能耗大数据管理体系中实现建筑综合能源的高效存储和计算，包括：
13.数据采集处理模块，通过网络设备、智能传感器、、边缘计算设备、智能终端、机器人设备，以及若干数据库、系统平台采集建筑中使用的能源数据；
14.数据智能模块，包括利用数据采集处理模块所收集的数据进行处置的数据存算部分和电力数据预测控制部分；
15.知识自动化层，接受数据智能模块处置后的数据，并调用利用系统工程、知识工程工具软件搭建能源知识系统；以及
16.管理决策模块，包括建筑能源数据管理模块、泛建筑能源数据管理模块和能源管理流程调度机器人。
17.结合第一方面，本发明提供第一方面的第一种实施方式，所述数据采集处理模块包括数据采集部分和数据处理部分，其中数据处理部分对数据源的数据进行降噪、压缩、清洗、编码、加密、认证和编目处理。
18.结合第一方面，本发明提供第一方面的第二种实施方式，所述数据智能模块包括基于深度学习算法的建筑能源负荷预测智能系统模型的电力负荷预测机器人；
19.其中，电力负荷预测机器人的数据从业务数据模型、元数据血缘数据模型、主数据模型中抽取，或通过数据挖掘分析输出结果二次提取；
20.然后通过特征选择实现降维。
21.结合第一方面的第二种实施方式，本发明提供第一方面的第三种实施方式，所述特征选择是直接删除不相关且冗余的特征，保留原始数据最有价值的信息，形成最优的特征子集。
22.结合第一方面的第二种实施方式，本发明提供第一方面的第四种实施方式，所述数据智能模块还包括元数据触发器，触发模式包括数据触发和事件触发两种；
23.通过电力负荷预测机器人输出的建筑物用能需求预测结果估计能源供给量，并提交给设置在管理决策层的能源管理流程调度机器人中，由能源管理流程调度机器人调用相关的预案和任务以实现能源供应的匹配。
24.结合第一方面，本发明提供第一方面的第五种实施方式，所述知识自动化模块包括知识抽取、知识表示、用户画像、知识图谱、知识查询、知识搜索的二级模块；
25.还包括面向建筑综合能源系统开发的知识库、模型库、规则库、算法库、语言库。
26.结合第一方面，本发明提供第一方面的第六种实施方式，所述数据智能模块基于spark并行计算框架和hadoop mapreduce计算框架，以及hdfs分布式文件存储及分布式ai计算技术，通过sql server、数据仓库工具开发基础数据库和专业数据库，开发元数据和主数据技术模块。
27.本发明将光伏、风电等新能源大数据统一纳入到建筑能耗大数据管理体系中，实现建筑综合能源的高效存储和计算；实现建筑配电系统交流大数据与直流大数据的实时监测、分析、管理。
28.第二方面，本发明还公开一种柔性建筑综合能源大数据智慧管理平台的构建方法，用于构建上述任一项的管理平台，具体步骤如下：
29.先进行数据采集处理模块构建，确定二级模块和数据源；
30.然后进行数据智能模块构建和开发，基于hadoop分布式文件系统对采集层的数据进行存储，并确定二级模块；
31.再进行知识自动化模块构建和开发，确定二级模块；
32.最后进行管理决策模块构建和开发，建立数据监管框架及监管平台。
33.本发明还通过植入多变量扰动下的负荷预测算法模块，实现对电网用电量不确定和电网故障的有效抑制或缓解，提供安全、可靠、精准的供电预案，增加系统柔性和韧性；整
合、汇聚、打通建筑综合能源大数据平台中各个业务线的数据，通过技术手段在底层解决数据统一存储、统一计算、智能计算、安全计算问题；通过综合能源的归一化计量和统一智能模型计算，解决各种异质异源能源的计量与转化缺乏科学方法和依据、当量不统一问题，为后续的交易环节提供精准支撑；实现建筑能源的优化调度。
附图说明
34.图1是本发明柔性建筑综合能源大数据智慧管理平台的架构图；
35.图2是本发明基于spark streaming和opc ua的能源大数据采集处理蹭的计算框架图；
36.图3是本发明平台中的数据智能层的运行流程图；
37.图4是本发明采用的hdfs分布式文件存储架构图；
38.图5是本发明实施例中采用的元数据数据血缘模型图；
39.图6是本发明基于深度学习的建筑能源大数据平台的电力负荷预测机器人模型图；
40.图7是本发明实施例中基于北京市某智慧园区的平台应用拓扑图。
具体实施方式
41.下面结合附图及具体实施例对本发明做进一步阐释。
42.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
43.因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
44.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
45.在本技术的描述中，需要说明的是，若出现术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。此外，本技术的描述中若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
46.此外，本技术的描述中若出现术语“水平”、“竖直”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
47.在本技术的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连
接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本技术中的具体含义。
48.实施例1：
49.本实施例中公开一种柔性建筑综合能源大数据智慧管理平台，同时也公开其构建方法。
50.如图1所示，以业务需求为中心，以能源大数据为线索，构建包括四个层级(一级模块)的建筑能源信息物理系统大数据智慧管理决策平台模型，每个一级模块又嵌套多个二级模块、三级模块甚至更小颗粒度模块(最小颗粒度对应的是电子元器件尺度)。四个层级(一级模块)是：
51.数据采集处理层
52.数据智能层(建筑能源大数据ai管理机器人，beairob)
53.知识自动化层
54.管理决策层
55.四个一级模块之间存在一个能源大数据流闭环。
56.其中，数据采集处理模块通过智能传感器、智能仪表、智能终端、机器人等设备和各种数据库、互联网采集建筑中使用的能源数据，能源类型主要包括：水、电、气、热、光，特殊场景下可纳入风能、核能、地热等各种形态新能源。能源数据类型分为结构化数据、非结构化数据、半结构化数据三大类。结构化数据主要采集自sql server、mysql、oracle等数据库。非结构化数据、半结构化数据主要来自图像、语音、日志、爬虫等信息。可以以能源微网为基本单位采集能源数据，再汇总。将采集到的原始能源大数据进行智能和安全处理，具体方法主要包括：降噪、压缩、清洗、编码、加密、认证、编目。
57.而数据智能模块，可将其视为一个“建筑能源大数据ai管理机器人”(简记为：ebairob)。
58.构建方法如下：
59.(1)基于spark并行计算框架和hadoop mapreduce计算框架，以及hdfs分布式文件存储及分布式ai计算技术，通过sql server(或mysql)数据库、数据仓库(hive)工具开发基础数据库和专业数据库(针对建筑能源管理)，开发元数据和主数据技术模块；
60.(2)建立基于深度学习算法的建筑能源负荷预测智能系统模型，建立一个“电力负荷预测机器人”。“电力负荷预测机器人”的数据集从业务数据模型、元数据血缘数据模型、主数据模型中抽取，也可通过数据挖掘分析输出结果二次提取。通过特征选择实现降维。特征选择是指直接删除不相关且冗余的特征，保留原始数据最有价值的信息，形成最优的特征子集，特征本身并没有被改变。
61.其中，采用cfs(correlation-based feature selection)特征选择方法并参考特征贡献重要度进行特征选择。
62.整个算法流程中包含一个“元数据触发器”，触发模式包括数据触发和事件触发两种。通过负荷预测模块输出的建筑物用能需求预测结果估计能源供给量，并提交给管理决策层的“能源管理流程调度机器人(bemrob)”，由bemrob调用相关的预案和任务以实现能源供应的最佳匹配，简化能源供应决策流程，降低人为因素干扰，缩短能源供应链调配能源时
间，实现能源资源快速输送。
63.基于负荷自适应控制算法和控制逻辑，建立一个“电力负荷自适应控制机器人”。构建“电力负荷预测机器人”与“电力负荷自适应控制机器人”组成的“双电力负荷机器人”协同工作系统。通过以上机器人系统的嵌入最终实现能源按需供应。(iii)借助python、matlab等大数据建模和仿真工具，在有需求的场景下可以对能源供需流程、过程、场景、效果进行模拟仿真，在辅助决策的同时也辅助ebairob和bemrob两个虚拟机器人的模型优化。
64.知识自动化模块利用系统工程、知识工程工具软件搭建能源知识系统。实现以下二级模块：知识抽取、知识表示、用户画像(基于知识的)、知识图谱、知识查询、知识搜索。建立面向建筑综合能源系统开发的知识库、模型库、规则库、算法库、语言库(多种知识工程语言、人工智能语言)。业务知识图谱构建可依据实际应用需求选择采用事理知识图谱、概率知识图谱、时空知识图谱等类型图谱建模方法。开发实现跨语言、跨平台的能源知识工程，系统平台具有优良的可移植性，可以在不更改或稍微更改情况下应用到不同工程项目，不存在数据ai的泛化难问题。
65.管理决策模块的构建分为建筑能源数据管理模块构建、泛建筑能源数据管理模块构建、能源管理流程调度机器人(bemrob)建模与开发三个步骤，通过模块集成实现有机融合。构建一个能源应用决策驾驶舱，包括建模、分析、机器学习引擎、任务调度引擎、日志管理引擎、任务探测agent等功能模块，相当于开发一个管理与决策服务机器人。具体实现方法如图1所示。管理决策模块工作的核心机制是：业务可编程，业务流程可定义，智能业务模型可定制开发,智能业务模型可自动生成。用户端通过数据接口(标准和非标两大类)，经数据标准化处理后，向业务数据库提供业务数据(定期和实时两大类)。构建形成一个综合集成的智能业务数据逻辑模型(iidm)，可支撑建筑能源行业复杂应用场景需求，同时具有抗突发事件(例如停电)的足够应急能力和足够韧性。
66.一些实施例中，基于建筑综合能源互联网大数据处理的实时性、复杂性、异源异构性等特点，选择spark并行计算数据处理框架。spark有如下优势：提供了一个全面、统一的框架，用于管理各种不同性质的数据集和数据源(批量数据或实时流数据)。spark提供了一种快速计算框架，可将hadoop集群中的应用在内存中的运行速度提升100倍，能够将应用在磁盘上的运行速度提升10倍，以下是针对数据智能模块中的具体架构和模块说明。
67.spark快速能源大数据采集与处理架构
68.基于spark的快速能源大数据采集与处理系统架构如图2所示。图中组成要素的使用方法如下：
69.cluster manager：在standalone模式中即为master主节点，控制整个集群，监控worker。在yarn模式中为资源管理器。
70.worker节点：从节点，负责控制计算节点，启动executor或者driver。
71.driver：运行application的main()函数。
72.executor：执行器，是为某个application运行在worker node上的一个进程。
73.基于spark的能源大数据平台运行流程图如图3所示。具体步骤如下：
[0074]-构建spark application的运行环境，启动sparkcontext；
[0075]-sparkcontext向资源管理器(可以是standalone，mesos，yarn)申请运行executor资源，并启动standaloneexecutorbackend；
[0076]-executor向sparkcontext申请task；
[0077]-sparkcontext将应用程序分发给executor；
[0078]-sparkcontext构建成dag图，将dag图分解成stage、将taskset发送给task scheduler，最后由task scheduler将task发送给executor运行；
[0079]-task在executor上运行，运行完释放所有资源。
[0080]
zookeeper实现master框架
[0081]
建筑能源互联网采用master-slaves架构，选用zookeeper来实现master的ha框架。该模式主要节点有client节点、master节点和worker节点。其中driver既可以运行在master节点上，也可以运行在本地client端。
[0082]
平台rdd编程模型
[0083]
基于spark的快速能源大数据平台采用rdd编程模型，即弹性数据集。在rdd上定义大数据计算函数，利用这些函数可以用极少的代码完成较为复杂的大数据计算。首先，从hdfs读取数据，构建出一个rdd textfile。然后，在这个rdd上执行三个操作：一是将输入数据的每一行文本用空格拆分成单词；二是将每个单词进行转换，生成《key,value》的结构；三是针对相同的key进行统计，统计方式是对value求和。最后，将rdd counts写入hdfs，完成结果输出。
[0084]
spark streaming实现实时能源大数据流计算
[0085]
在能源大数据平台的毫秒级实际应用需求场景，采用大数据流式计算引擎spark streaming及相应的流计算方法完成任务。spark streaming架构将实时流入的数据切分成一批一批小数据块，然后将这些一批批小数据块交给spark执行。基于spark streaming和spark engine的能源流、信息流数据处理系统可以完成毫秒级实时计算。
[0086]
在数据智能层中，还具有hdfs分布式文件存储系统，能源大数据hdfs架构如图4所示。
[0087]
建筑综合能源信息物理系统中的能源大数据属于大规模数据计算，首先要解决的是大规模数据的存储问题。采用hdfs分布式文件存储架构将数百tb或数百pb的能源大数据存储起来，且通过一个文件系统统一管理。能源大数据hdfs将某区域内数百台或数千台服务器甚至更多台服务器组成一个统一的文件存储系统，其中namenode服务器充当文件控制块的角色，进行文件元数据管理，即记录文件名、访问权限、数据存储地址等信息，而真正的文件数据则存储在datanode服务器上。datanode以块为单位存储数据，所有的块信息，比如块id、块所在的服务器ip地址等，都记录在namenode服务器上，而具体的块数据则存储在datanode服务器上。namenode可以将所有datanode服务器上的所有数据块都分配给一个文件，一个文件可以使用所有服务器的硬盘存储空间。
[0088]
在数据智能层中，还具有血缘数据模型，能源血缘数据模型的定义，是方便上下游业务快速集成的关键技术之一。字段级血缘在字段间添加冗余的任务节点，复用边的语义，可作为一种字段级血缘模型构建方法。
[0089]
以图数据模型来建模能源大数据平台的整套血缘系统。将任务节点和数据节点统一到一张图上，图中包含两类节点和两类边：
[0090]
(1)能源数据节点：存储数据的介质的抽象，比如一张hive表，或者是hive表的一列。
[0091]
(2)能源任务节点：任务(或链路)的抽象，比如一个sql脚本。
[0092]
(3)从数据节点指向任务节点的边：代表一种消费关系，任务读取了这个数据节点的数据。
[0093]
(4)从任务节点指向数据节点的边：代表一种生产关系，任务生产了这个数据节点的数据。
[0094]
将血缘生命周期与任务生命周期统一，通过更新任务关联的边来更新血缘关系。支持从任务切入和从数据节点切入的不同场景。比如数据资产领域从数据节点切入的居多，而数据开发领域从任务切入的场景居多，不同的应用场景可以在一张大图上灵活遍历。
[0095]
而在数据智能层中具有电力负荷预测机器人和电力负荷自适应控制机器人。
[0096]
各种形态的能源经过装置或系统的转化后最终以电力形态供应给建筑。所以将综合能源首先折算成电能，再进行基于电能的负荷预测及自适应控制。电力负荷具有一定的变化规律，不同建筑物类型又呈现出不同的规律。将天气(降水、大风、雾霾、晴朗等)、气候(不同地域、不同季节等)、气温、人流量、节假日、早晚交通量、活动等各种能源外系统变量看作是自适应控制系统的扰动量，通过对能源大数据的持续跟踪与分析，通过自适应控制算法调节实现多变量复杂能源系统的自适应控制。将负荷预测周期分为三类：短期负荷预测(以天为单位)，中期负荷预测(以月为单位)，长期负荷预测(以年为单位)。根据短期负荷预测的一般结论，其基本变化规律可由线性变化模型和周期变化模型来描述，同时还存在随机负荷模型。负荷变化存在波动性，各类用电负荷信号一般都表现为连续频谱。在负荷的一段连续波动过程中，将呈现为瞬变非周期信号，它必然是连续频谱。
[0097]
电力负荷预测机器人和电力负荷自适应控制机器人实现方法如图6所示。
[0098]
特征估计部分采用cfs方法，机器学习部分采用卷积神经网络。
[0099]
控制系统部分采用模型参考自适应控制系统模型，结构如下图所示，模型参考自适应控制系统由参考模型、控制器和自适应率组成。控制器包括被控对象的前馈控制器和反馈控制器，可以根据自适应率进行调整；参考模型是一种理想控制系统，其输出代表了期望性能。自适应率用来消除被控对象输出和参考模型期望输出的误差，改变控制器参数或者生成辅助输入。模型参考闭环自适应系统的数学模型用下列方程组描述：
[0100][0101]
被控对象的传递函数为：
[0102][0103]
d(s)和n(s)为已知常系数多项式，k
p
》0为被控对象增益。
[0104]
理想参考模型的传递函数为：
[0105][0106]km
是已知常数，由期望的动态响应决定。
[0107]
自适应率计算方法如下：
[0108]
参考模型和被控对象的误差为：
[0109]
e＝y
m-y
[0110]
ym为理想参考模型的输出，y为被控对象的输出，e表示输入信号为r(t)时，理想系统的响应和实际系统响应之间的偏差。
[0111]
确定可调增益k
c(t)
的自适应调节率，使得下列性能指标最小：
[0112][0113]
采用梯度下降法求k
c(t)
的最优调节率。
[0114]
一些实施例中，还提供针对智慧园区所采用的大数据智慧管理决策平台，如图7所示。
[0115]
基于微服务架构以模块化定制方式开发构建该园区的综合能源大数据智慧管理平台及信息物理系统，实现能源时空大数据的汇聚、建模、使用、安全访问及治理。
[0116]
智慧园区建筑综合能源系统网络由四个层级组成：第一层为管理级网络。智慧园区能源大数据平台部署于此网络内，以tcp/ip为其通讯协议；第二层为楼宇级网络，以rs485标准网络为主要通信方式，以同层对同层、无主从网络(peer to peer)为主要结构；第三层为可连接ddc控制器、plc控制器监控功能的楼层级网络；第四层为能够采集各种能源数据的传感器级网络。
[0117]
智慧园区能源互联网借助于各种数据交换方式或标准协议做到完全开放，即从数据交换的角度来看，系统具备了与其他系统进行数据交换的功能，可以根据自身需要进行信息的输入和输出。
[0118]
智慧园区能源互联网是一种包含多种类型建筑能源微网的特定形态能源互联网。建筑能源微网是指以建筑智能化系统平台为能源集成平台，以微电网、微光网、微风网、微水网、微气网等各种能源微网为监测控制对象的建筑、能源、信息一体化综合网络。按照能源类型可划分为建筑微电网、建筑微光网、建筑微风网、建筑微水网、建筑微气网等类型。目前，分布式能源发展较快，在楼宇、房屋、道路、隧道、桥梁、工厂、园林等建筑载体上均可建设能源微网，采用一定的通信方式互联后可组合建设成综合能源微网。例如，在建设建筑光伏一体化系统时，可以将微电网、微太阳能网、信息网三网很好的融合起来，经过能源的合理分配和供需优化匹配做到能源优化配置，把产能、供能、储能、输能、用能、节能各个环节以能源全生命周期管理的思路链接起来，形成一个科学合理的能源优化组合，提高能源互联网系统的柔韧性、转换率、利用率、节能率。
[0119]
建筑能源微网的设计在建筑智能化系统基础上通过融入能源技术改进完成。建筑智能化系统是基于现代控制论中分布式控制理论而设计的集散型系统，是具有集中操作管理和分散控制功能的综合监控系统，系统的目标是致力于实现建筑物内的暖通空调、变配电、给排水、冷暖源、照明、电梯扶梯及其他各类系统机电设备管理自动化、智能化、安全化、节能化，提供舒适、便利和高效率的环境。这个系统实质上是基于非线性时变大系统递阶智能控制理论的，属于多级多目标系统。该系统的组成单元在不同层级间递阶排列，形成金字塔结构。同级之间可交换信息，上下级间也可交换信息，上一级负责协调同一级之间的目标冲突。“协调”是整个系统需要解决的核心问题，协调的目的是通过对下层控制器的干预来调整该层各控制器的决策，以满足整个系统总目标的要求。网络是构建建筑智能化系统的
神经，而网络协议才是真正的促使系统达到协调控制目的有效途径，是各感知、控制、决策单元之间的对话语言。
[0120]
参见图1，示出了本发明建筑综合能源信息物理系统大数据智慧管理决策平台构建方法及系统模型。图2、图3、图4、图5、图6示出了本发明涉及到的具体技术实现单元。实施例“北京市某园区建筑综合能源大数据智慧管理平台及信息物理系统”，如图7所示。
[0121]
一些实施例中，主要工作步骤和数据流转流程如下：
[0122]
步骤1：数据采集处理模块构建
[0123]
数据源主要有：各类能源仪器仪表采集到的能源数据、业务数据库数据(mysql、oracle等数据库)、合作伙伴提供的接口数据、第三方爬虫数据、合法购买的第三方数据、日志数据。
[0124]
步骤2：数据智能模块构建和开发
[0125]
基于hadoop分布式文件系统对采集层的数据进行存储。结构化数据：通过两种途径抽取并存放到hdfs分布式文件系统中，能够序列化的数据，直接存放到hdfs中；不能够序列化的数据,通过数据整理后统一存放在分布式数据库环境中,再经过序列化后和整理后还不能序列化的数据一样直接存放到hdfs中。半结构化和非结构化数据：各种日志数据(通常序列化半结构化数据)直接存放到hdfs中；点击流和数据接口中的数据(通常序列化半结构化数据)直接存放到hdfs中；非结构化的数据直接存放到hdfs中。从各种数据源中采集数据和存储到数据到存储在基于hadoop分布式文件系统hdfs上，期间做etl操作。其中数据采集一般采用flume收集日志，采用sqoop将rdbms以及nosql中的数据同步到hdfs上。
[0126]
步骤3：知识自动化模块构建和开发
[0127]
能源大数据中心知识图谱技术框架主要包括知识图谱体系构建、数据生产流程、运维监控系统以及存储查询系统。其中知识图谱体系是知识图谱的骨架，决定了采用什么样的方式来组织和表达知识，数据生产流程是知识图谱构建的核心内容，主要包括下载平台模块(知识更新)，抽取平台模块(知识抽取)，知识规整模块，知识融合模块，知识推理模块，实体重要度计算模块。应用部分包括知识问答、知识搜索、实体链接、实体推荐、关系估计等。其中，知识推理模块的目的是利用已有的知识图谱数据去推理缺失的知识(实体缺失，属性缺失)，从而将这些知识补全，同时还进行知识噪声检测及去除。
[0128]
步骤4：管理决策模块构建和开发
[0129]
核心是建立数据监管框架及监管平台。建立共同数据空间监管框架，主要涉及以下内容：在何种情况下何种人可以使用何种数据；如何推动数据跨领域、开层级、跨境流通与使用，各领域内与跨领域数据流动的互操作性；如何通过开放科学平台等方式推动数据研究与创新；如何简化公民授权个人数据用于公益目的的相关程序。监管框架包括两部分，一是适用于所有数据空间的横向框架，二是适用于单个数据空间的特别规定。前者由各个数据空间的共性决定。例如，考虑到涉及领域的重要性，所有共同数据空间都应遵循网络安全最高标准。后者由与公众利益的相关度决定。
[0130]
在数据访问和数据治理框架构建方面，实施以下内容：
[0131]
(1)推动数据安全开放共享
[0132]
为充分挖掘数据价值，并同时保护公众和个人利益、保护数据隐私。在公共数据开放方面，将重点开放关键领域公共数据并满足使用者需求，同时明确何种情况下数据必须
公开。在私人数据开放方面，将明确平台在何种情况下可以共享能源数据，并制定推动能源数据共享的措施。
[0133]
(2)维护数据公平竞争
[0134]
一是研究如何解决科技巨头掌握大量数据形成垄断的问题。二是解决数据共享与构建数据池可能违反国家竞争法的问题。
[0135]
(3)解决法律管辖权问题
[0136]
提供跨领域、跨区域、跨境数据服务涉及法律管辖权问题，即究竟应该遵守中国还是第三国法律规定。平台将采取措施，确保法律管辖权问题不影响平台保护其正当数据权益。
[0137]
(4)实施政策试验制度
[0138]
由于数据经济还在发展中，将适当运用“监管沙盒”等政策试验制度，不断适应数据经济最新发展对监管制度的要求。
[0139]
(5)智慧园区工程实施。
[0140]
以图7所示的实施案例场景为实施场所，分析该园区的基础设施及产业发展需求，整合步骤1-4中的所有模块，基于微服务架构以模块化定制方式开发构建该园区的综合能源大数据智慧管理平台及信息物理系统，实现能源时空大数据的汇聚、建模、使用、安全访问及治理。
[0141]
业务服务平台由众多微服务组件组成，建立微服务组件全链路沟通和协同机制，通过区块链、数据线索技术实现全链路信息可追溯，实现系统故障或风险源实时定位与及时发现。全链路能源数据监控为用户提供集数据链路追踪、业务数据监控、能源应用管理于一体的立体化数字孪生监控系统，通过能源大数据自动化采集、智能化处理、智慧化学习、可视化展示，使用户能够及时、全面、直观地掌握系统运行情况，及时调整管理控制策略。
[0142]
本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。