一种智慧建筑管理平台中的数据处理方法与流程

本发明涉及智能建筑技术领域，特别涉及一种智慧建筑管理平台中的数据处理方法。

背景技术：

随着智慧建筑的快速发展，以及自动控制技术和网络通信技术的不断进步，建筑系统的规模日趋庞大和复杂，传统的集中式数据存储数据架构形式已经不能满足深入且日益丰富的建筑应用需求。

建筑内部涉及数十个系统，传统式单体架构主要基于集中式的关系性数据库实现存储，大多数将架构分为计算层和存储层，但是随着时间的推移，业务越来越多，系统逐渐变得很大，越来越难以维护和升级，数据库是唯一的准确数据源，每个应用都需要访问数据库来获取对应的数据，如果数据库发生改变或者出现问题，则将对整个系统产生影响。

技术实现要素：

本发明的目的在于提供一种智慧建筑管理平台中的数据处理方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种智慧建筑管理平台中的数据处理方法，包括数据治理模块、数据中转模块、数据实时计算模块、数据离线计算模块、数据存储模块、数据应用模块；所述数据治理模块包括数据准确性验证模块用以对采集的数据类型应用对应的数据质量模型；所述数据中转模块从数据治理模块获取数据，并推送至数据存储、计算、应用等模块；所述数据实时计算模块根据计算配置信息，从数据中转模块获取计算源数据，并且计算后将结果分别返回至数据中转模块和推送至数据存储模块；所述数据离线计算模块根据计算配置信息，从数据库中获取计算源数据，并且计算后将结果返回至数据存储模块；所述数据存储模块包括内存数据库、时序数据库、业务数据库和日志数据库的数据存储；所述数据应用模块为平台业务数据的微服务。

作为本发明技术方案的改进，所述数据治理模块还包括数据修复模块，通过采用均值填充法、插值法、回归填补法等统计学方法对缺失数据进行填充。

作为本发明技术方案的改进，所述数据中转模块采用采用分布式的、分区的、多副本的消息队列方式，实现高效的数据抓取与转发。

作为本发明技术方案的改进，所述数据应用模块包括实时展示服务、报警服务、作业调度服务、工作流服务、模型渲染服务、规则服务、日志服务。

作为本发明技术方案的改进，所述数据应用模块从数据存储模块获取数据，并以功能服务的方式，将数据整理好并返回给数据应用模块。

作为本发明技术方案的改进，所述数据实时计算模块和数据离线计算模块为一个计算引擎服务为中心，可以为智能建筑管理平台提供优化控制逻辑、诊断报警、数据计算、联动控制、模式控制功能的应用。

作为本发明技术方案的改进，所述数据实时计算模块和数据离线计算模块通过定义的接口自动从消息对接或者数据库获取输入数据，经过相应的策略计算，再把计算结果返回到数据库中。

作为本发明技术方案的改进，所述数据存储模块对接收的实时数据或存入数据存储层的数据进行数据处理，处理完成之后根据数据结构类型分别存入。

作为本发明技术方案的改进，所述数据存储模块采用混合存储架构，支持数据异构存储、结构化、非结构化数据、时序数据混合存储，并支持异构混合存储的融合计算与分析。

本发明的技术效果和优点：

(1)本发明能够实现智能建筑的数据融合、技术复用、业务共享，为建筑管理平台提供数据能力、业务能力。

(2)本发明能够实现底层数据校验和治理，为智能建筑管理平台提供完整、准确的数据基础。

(3)本发明能够实现实时数据计算，为智能建筑管理系统提供实时统计、实时分析、实时查询的数据基础。

(4)本发明能够实现数据离线计算，为智能建筑管理系统提供优化分析、运行诊断、系统联动、模式控制等功能的数据基础。

(5)本发明的数据架构合理有效，能够支持智慧建筑管理平台的功能及应用无缝扩展。

附图说明

图1为本发明中数据实时计算模块与数据离线计算模块示意图。

图2为本发明中数据流转过程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

结合图1，一种智慧建筑管理平台中的数据处理方法，包括数据治理模块、数据中转模块、数据实时计算模块、数据离线计算模块、数据存储模块、数据应用模块；通过基于微服务架构的智能建筑数据处理系统，实现了建筑运行数据的高效治理、计算、存储和应用，为智能建筑业务系统的应用和拓展提供了数据基础。

需要具体说明的是上述数据治理模块包括数据准确性验证模块用以对采集的数据类型应用对应的数据质量模型；数据治理模块还包括数据修复模块，通过采用均值填充法、插值法、回归填补法等统计学方法对缺失数据进行填充。

需要具体说明的是上述数据中转模块从数据治理模块获取数据，并推送至数据存储、计算、应用等模块；数据中转模块采用采用分布式的、分区的、多副本的消息队列方式，实现高效的数据抓取与转发。

进一步的，上述数据实时计算模块根据计算配置信息，从数据中转模块获取计算源数据，并且计算后将结果分别返回至数据中转模块和推送至数据存储模块。

进一步的，上述数据离线计算模块根据计算配置信息，从数据库中获取计算源数据，并且计算后将结果返回至数据存储模块。

进一步的，上述数据存储模块包括内存数据库、时序数据库、业务数据库和日志数据库的数据存储；数据存储模块对接收的实时数据或存入数据存储层的数据进行数据处理，处理完成之后根据数据结构类型分别存入，数据存储模块采用混合存储架构，支持数据异构存储、结构化、非结构化数据、时序数据混合存储，并支持异构混合存储的融合计算与分析。

进一步的，上述数据应用模块为平台业务数据的微服务，数据应用模块包括实时展示服务、报警服务、作业调度服务、工作流服务、模型渲染服务、规则服务、日志服务，数据应用模块从数据存储模块获取数据，并以功能服务的方式，将数据整理好并返回给数据应用模块。

最后需要补充说明的是数据实时计算模块和数据离线计算模块为一个计算引擎服务为中心，可以为智能建筑管理平台提供优化控制逻辑、诊断报警、数据计算、联动控制、模式控制功能的应用，数据实时计算模块和数据离线计算模块通过定义的接口自动从消息对接或者数据库获取输入数据，经过相应的策略计算，再把计算结果返回到数据库中。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：

1.一种智慧建筑管理平台中的数据处理方法，其特征在于：包括数据治理模块、数据中转模块、数据实时计算模块、数据离线计算模块、数据存储模块、数据应用模块；

所述数据治理模块包括数据准确性验证模块用以对采集的数据类型应用对应的数据质量模型；

所述数据中转模块从数据治理模块获取数据，并推送至数据存储、计算、应用等模块；

所述数据实时计算模块根据计算配置信息，从数据中转模块获取计算源数据，并且计算后将结果分别返回至数据中转模块和推送至数据存储模块；

所述数据离线计算模块根据计算配置信息，从数据库中获取计算源数据，并且计算后将结果返回至数据存储模块；

所述数据存储模块包括内存数据库、时序数据库、业务数据库和日志数据库的数据存储；

所述数据应用模块为平台业务数据的微服务。

2.根据权利要求1所述一种智慧建筑管理平台中的数据处理方法，其特征在于：所述数据治理模块还包括数据修复模块，通过采用均值填充法、插值法、回归填补法等统计学方法对缺失数据进行填充。

3.根据权利要求1所述一种智慧建筑管理平台中的数据处理方法，其特征在于：所述数据中转模块采用分布式的、分区的、多副本的消息队列方式，实现高效的数据抓取与转发。

4.根据权利要求1所述一种智慧建筑管理平台中的数据处理方法，其特征在于：所述数据应用模块包括实时展示服务、报警服务、作业调度服务、工作流服务、模型渲染服务、规则服务、日志服务。

5.根据权利要求4所述一种智慧建筑管理平台中的数据处理方法，其特征在于：所述数据应用模块从数据存储模块获取数据，并以功能服务的方式，将数据整理好并返回给数据应用模块。

6.根据权利要求1所述一种智慧建筑管理平台中的数据处理方法，其特征在于：所述数据实时计算模块和数据离线计算模块为一个计算引擎服务为中心，可以为智能建筑管理平台提供优化控制逻辑、诊断报警、数据计算、联动控制、模式控制功能的应用。

7.根据权利要求6所述一种智慧建筑管理平台中的数据处理方法，其特征在于：所述数据实时计算模块和数据离线计算模块通过定义的接口自动从消息对接或者数据库获取输入数据，经过相应的策略计算，再把计算结果返回到数据库中。

8.根据权利要求1所述一种智慧建筑管理平台中的数据处理方法，其特征在于：所述数据存储模块对接收的实时数据或存入数据存储层的数据进行数据处理，处理完成之后根据数据结构类型分别存入。

9.根据权利要求8所述一种智慧建筑管理平台中的数据处理方法，其特征在于：所述数据存储模块采用混合存储架构，支持数据异构存储、结构化、非结构化数据、时序数据混合存储，并支持异构混合存储的融合计算与分析。

技术总结
本发明公开了一种智慧建筑管理平台中的数据处理方法，包括数据治理模块、数据中转模块、数据实时计算模块、数据离线计算模块、数据存储模块、数据应用模块。本发明根据数据的不同类型，结合微服务应用，提供多种的数据处理方法，实现了将各类数据读写拆分成不同的服务实现，并通过消息中间件和消息队列的方式，实现了业务场景中数据处理流程的独立规划，提升了业务体验，并满足了数据时效性的要求；通过接口实现数据交互，在接口前通过所有接口注册在公共负载均衡服务器协助实现服务的高可用，实现请求的集中管理、流控、隔离、监控；并通过采集过程的数据清洗机制，以及数据恢复机制，提高了数据的准确性和易用性。

技术研发人员：常晓敏;颜静;邹智祥
受保护的技术使用者：南京深度智控科技有限公司
技术研发日：2020.12.21
技术公布日：2021.03.19