一种基于能源审计的数据采集方法与流程

本发明涉及一种数据采集方法，具体涉及一种基于能源审计的数据采集方法，属于能源审计技术领域。

背景技术：

能源审计是对煤、水、电、气、油等能源及其设施的事先设计及事后管理与节约所进行的审计项目；在国外已开始实施的能源审计项目主要有：对工厂、商店、办公室、仓库等的照明与空调设备的能耗审计，客、货交通运输部门的能耗审计，建筑企业耗能设施可行性的事先审计等；我国对能源审计尚属探索阶段，已在从事有关节能审计的初步研究，通过开展能源审计可以使用能单位及时分析掌握本单位能源管理水平及用能状况，排查问题和薄弱环节，挖掘节能潜力，寻找节能方向；能源审计的本质就在于实现能源消耗的降低和能源使用效率的提高，开展能源审计可以为用能单位带来经济、社会和资源环境效益，从而实现“节能、降耗、增效”的目的；能源审计有利于加强能源管理，使节能管理向规范化和科学化转变；组织开展能源审计，能够使管理层准确合理地分析评价用能单位本身的能源利用状况和水平，用以指导日常的节能管理，以实现对用能单位能源消耗情况的监督管理，保证能源的合理配置使用，提高能源利用率，节约能源，保护环境，促进经济持续地发展；但现有技术中，对于能源审计的数据采集与服务器不能够很好地高效传输，且对于集中的能源庞杂数据无法高效处理。

技术实现要素：

为解决上述问题，本发明提出了一种基于能源审计的数据采集方法，采用直传和临时分配空间存储后传输，系统容错率好，且资源利用率高，采集数据通过大数据云计算技术进行并行运算和处理。

本发明的基于能源审计的数据采集方法，所述方法具体如下：

第一步，建立采集系统，所述系统包括多个同类能源或异类能源的数据前端；每一所述数据前端包括多个不同或相同类型的数据采集器，每一所述数据采集器通过数据选择开关连接到前端服务器；所述数据采集器和前端服务器之间设置有数据请求链路；所述数据选择开关另一输出端通过临时存储器接入到矩阵开关的行接口；所述矩阵开关其列接口连接到存储阵列；所述矩阵开关地址位、使能位和初始位均连接到开关控制器；所述开关控制器与前端服务器之间设置有数据绑定及释放通信链路；所述开关控制器与采集器之间设置有开关请求链路；所述存储阵列包括多个缓存控制器，每一所述缓存控制器至少通信连接有一缓存；所述缓存分别与矩阵开关其列接口、数据临时存储器和备份存储器通信连接；所述缓存控制器和前端服务器通信连接；所述前端服务器与缓存之间设置有数据读取链路；所述前端服务器通信连接hadoop海量数据存储与并行计算平台；

第二步，前端数据采集，通过多个不同或相同类型的数据采集器，实时获取不同类型的数据，数据通过前端录入和传感器采集获得；传感器采集时，其通过各类型传感器进行检测和转换为识别信号，并通过数据采集器对识别信号进行处理，得到后续审计能够识别的数据片段；

第三步，前端数据传输，通过数据采集器获得数据片段，数据采集器通过数据请求链路向前端服务器问询，收到发送数据请求后，其通过数据选择开关将数据片段发送到前端服务器；前端服务器每收到一数据串停止位后，即向数据采集器发送一接收完毕信号，接着发送下一数据串；当数据采集器没有收到发送数据请求或没有收到返回的接收完毕信号时，数据采集器将数据选择开关进行切换；切换后，数据采集器定时向数据请求链路向前端服务器问询，数据采集器通过开关请求链路向开关控制器请求开关数据，矩阵开关进行内部开关切换，将数据采集器与存储阵列某一缓存进行通信，采集终端将数据片段通过临时存储器送至缓存中，数据片段发送起始位为未收到发送数据请求的数据节点或没有收到返回接收完毕信号的前一数据串；开关控制器将对应的数据采集器和缓存进行绑定，并将绑定信息送至前端服务器；数据送至缓存后，数据同步送到数据临时存储器和备份存储器进行备份；缓存控制器向前端服务器问询，前端服务器通过查询与缓存绑定的数据采集器，确定是否接收信息，缓存控制器收到发送数据请求后，其将缓存内的数据片段直接送到前端控制器，没有收到请求，则其进行完成存储，并定时向缓存控制器收到发送数据请求，直到其读取缓存数据片段，读取数据片段后，前端服务器分别给缓存控制器信号，其对缓存、数据临时存储器和备份存储器进行清空，并给开关控制器信号，对数据采集器和缓存进行解绑，完成解绑的列接口送到可用列表，得到下次绑定调用；当数据采集器重新获得发送数据请求时，其直接将数据链路开关回切，实时将数据送到模块服务器。

第四步，前端数据重组，前端服务器读取数据缓存器内的数据，并将断点前数据片段、数据缓存器内数据片段和恢复数据链路后数据片段根据时间顺序进行重组，形成行的数据集合；并对其进行存储。

第五步，采集数据进行大数据处理，前端服务器将采集的数据进行整合后，送到hadoop海量数据存储与并行计算平台；进行分布式存储和计算结果收集；并将结果与数据立方进行通信；数据立方根据应用层需求，从庞杂的能源数据中挖掘出有用的信息并进行快捷、高效处理，同时支持数据仓库存储和数据智能分析，检索时，对任意多关键字实时索引，支持sql复杂并行组合查询。

进一步地，多个所述数据前端共用一个或多个矩阵开关。

进一步地，所述前端服务器为冗余设计；且其存储的数据为数据采集器直接送达的数据片段；或数据采集器和缓存送达的数据片段。

进一步地，所述数据采集器内置有存储器。

本发明与现有技术相比较，本发明的基于能源审计的数据采集方法，采用采集数据直传或缓存后数据传输，前端服务器能够直接读取缓存中数据，运行速度快，数据片段能够在线分配临时存储空间，其资源利用率高，数据传输更加灵活，并对采集的数据运用大数据云计算技术进行并行运算和处理，能够从庞杂的能源数据中挖掘出有用的信息并进行快捷、高效处理，同时支持数据仓库存储和数据智能分析。

附图说明

图1是本发明的采集系统结构框图。

图2是本发明的采集方法流程框图。

具体实施方式

如图1和图2所示的基于能源审计的数据采集方法，所述方法具体如下：

第一步，建立采集系统，所述系统包括多个同类能源或异类能源的数据前端；每一所述数据前端包括多个不同或相同类型的数据采集器1，每一所述数据采集器1通过数据选择开关2连接到前端服务器3；所述数据采集器1和前端服务器3之间设置有数据请求链路4；所述数据选择开关2另一输出端通过临时存储器5接入到矩阵开关6的行接口；所述矩阵开关6其列接口连接到存储阵列；所述矩阵开关6地址位、使能位和初始位均连接到开关控制器7；所述开关控制器7与前端服务器3之间设置有数据绑定及释放通信链路8；所述开关控制器7与采集器1之间设置有开关请求链路15；所述存储阵列包括多个缓存控制器9，每一所述缓存控制器9至少通信连接有一缓存10；所述缓存10分别与矩阵开关6其列接口、数据临时存储器11和备份存储器12通信连接；所述缓存控制器9和前端服务器3通信连接；所述前端服务器3与缓存10之间设置有数据读取链路13；所述前端服务器3通信连接hadoop海量数据存储与并行计算平台14；

第二步，前端数据采集，通过多个不同或相同类型的数据采集器，实时获取不同类型的数据，数据通过前端录入和传感器采集获得；传感器采集时，其通过各类型传感器进行检测和转换为识别信号，并通过数据采集器对识别信号进行处理，得到后续审计能够识别的数据片段；

第三步，前端数据传输，通过数据采集器获得数据片段，数据采集器通过数据请求链路向前端服务器问询，收到发送数据请求后，其通过数据选择开关将数据片段发送到前端服务器；前端服务器每收到一数据串停止位后，即向数据采集器发送一接收完毕信号，接着发送下一数据串；当数据采集器没有收到发送数据请求或没有收到返回的接收完毕信号时，数据采集器将数据选择开关进行切换；切换后，数据采集器定时向数据请求链路向前端服务器问询，数据采集器通过开关请求链路向开关控制器请求开关数据，矩阵开关进行内部开关切换，将数据采集器与存储阵列某一缓存进行通信，采集终端将数据片段通过临时存储器送至缓存中，数据片段发送起始位为未收到发送数据请求的数据节点或没有收到返回接收完毕信号的前一数据串；开关控制器将对应的数据采集器和缓存进行绑定，并将绑定信息送至前端服务器；数据送至缓存后，数据同步送到数据临时存储器和备份存储器进行备份；缓存控制器向前端服务器问询，前端服务器通过查询与缓存绑定的数据采集器，确定是否接收信息，缓存控制器收到发送数据请求后，其将缓存内的数据片段直接送到前端控制器，没有收到请求，则其进行完成存储，并定时向缓存控制器收到发送数据请求，直到其读取缓存数据片段，读取数据片段后，前端服务器分别给缓存控制器信号，其对缓存、数据临时存储器和备份存储器进行清空，并给开关控制器信号，对数据采集器和缓存进行解绑，完成解绑的列接口送到可用列表，得到下次绑定调用；当数据采集器重新获得发送数据请求时，其直接将数据链路开关回切，实时将数据送到模块服务器。

第四步，前端数据重组，前端服务器读取数据缓存器内的数据，并将断点前数据片段、数据缓存器内数据片段和恢复数据链路后数据片段根据时间顺序进行重组，形成行的数据集合；并对其进行存储。

第五步，采集数据进行大数据处理，前端服务器将采集的数据进行整合后，送到hadoop海量数据存储与并行计算平台；进行分布式存储和计算结果收集；并将结果与数据立方进行通信；数据立方根据应用层需求，从庞杂的能源数据中挖掘出有用的信息并进行快捷、高效处理，同时支持数据仓库存储和数据智能分析，检索时，对任意多关键字实时索引，支持sql复杂并行组合查询。

再一实施例中，多个所述数据前端共用一个或多个矩阵开关6。

再一实施例中，所述前端服务器3为冗余设计；且其存储的数据为数据采集器直接送达的数据片段；或数据采集器和缓存送达的数据片段。

再一实施例中，所述数据采集器1内置有存储器。

上述实施例，仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。