本发明涉及数据处理技术领域，具体地说是一种动环监控数据接入云平台的方法及系统。
背景技术：
模块化数据中心(moduledatacenter,mdc)是基于云计算的新一代数据中心部署形式，为了应对云计算、虚拟化、集中化、高密化等服务器发展的趋势，其采用模块化设计理念，最大程度的降低基础设施对机房环境的耦合。集成了供配电、制冷、机柜、气流遏制、综合布线、动环监控等子系统，提高数据中心的整体运营效率，实现快速部署、弹性扩展和绿色节能
随着大数据信息行业的飞速发展，数据中心的发展也进入到一个新的阶段。管理系统是数据中心内部配置的重要组成部分。传统的管理系统主要已动环监控为主，具备多种数据接口，可接入ups、配电柜、精密空调、门禁、温湿度传感器、烟雾探测器、温感探测器、漏水传感器、翻转天窗及网络摄像机等多种监控对象，
当前，随着云计算、大数据和互联网的快速发展，信息化的基础设施发生了根本转变，监控管理的需求从一些单独的系统要求转化为整体平台化、统一平台、统一管理的系统要求。随着模块化数据中心部署的规模越来越大，动环监控的数据也越来越多，存储也相应遇到了瓶颈。
目前动环监控系统的总体趋势是面临运维人员数量急剧减少、设备数量不断增加的压力，同时面临动环设备运行产生的数据量快速增长、多类数据分析并存的需求压力下，动环专业的数据处理面临空前的需求。在现今的形式下，必须根据应用需求和数据量选择最适合的产品和技术来支撑应用。同时，世界数据处理市场格局正在发生革命性的变化，传统数据库(oldsql)一统天下变成了oldsql+newsql+nosql+其他新技术(例如流、实时、内存等)共同支撑多类应用的局面。
目前动环监控系统功能仅限于监控实时数据和告警的上传，还没有达到对基础数据进行深入的统计、挖掘分析乃至据以反馈闭环控制的要求，设备监控颗粒度仍需加强细化，以便更早、更精确地发现设备备故障加以预警预判。
技术实现要素：
本发明型的目的在于提供一种动环监控数据接入云平台的方法及系统，用于解决目前的动环监控系统无法对基础数据进行深入的统计、挖掘分析的问题。
为了解决上述技术问题，本发明实施例公开了如下技术方案：
本发明第一方面提供了一种动环监控数据接入云平台的方法，该方法包括：
对基础设施层类数据源的数据进行获取；
对文件进行同步处理；
抓取各类型数据，通过流式数据处理平台对数据进行处理；
对处理后的数据存入数据库。
结合第一方面，在第一方面第一种可能的实现方式中，获取数据通过动环监控主机进行汇总。
结合第一方面，在第一方面第二种可能的实现方式中，所述的数据包括实时告警类数据：ups设备告警信息、精密空调设备告警信息、精密配电柜告警信息和模块化数据中心环境告警信息；和，
实时设备数据：包括ups电压、电流、功率、频率、电能数据和精密空调数据；和，
cim模型数据的数据源；和，
图像文件数据源。
结合第一方面，在第一方面第三种可能的实现方式中，对文件进行同步处理的方法包括：
对数据包进行格式化处理；
根据数据源的不同对数据进行解析。
结合第一方面，在第一方面第四种可能的实现方式中，对数据包进行格式化处理的方法包括：将数据包的格式处理为：包头+包体；
所述的包头包括流水号sn，请求命令号commandid，包体长度len，命令参数resultcode；
所述的包体包括len变量的长度字符串。
结合第一方面，在第一方面第五种可能的实现方式中，根据数据源的不同对数据进行解析包括：
对实时数据解析：
将生成规定格式的数据文件包上传到云对象存储指定的目录下；
将实时数据按采集周期生成最新数据文件并上传至云平台云对象存储；
定时调度执行云平台云对象存储中文件下载及文件解析程序；
将解析后的数据发送至流数据处理平台数据通道；
对cim模型数据进行解析：
导出cim模型数据文件，并上传至云对象存储；
通过数据文件解析程序解析文件数据，并将文件数据上传至关系型数据库；
对图像文件数据解析:
导出图像文件，并上传至云平台云对象存储；
从云对象存储获取文件并解析；
将云对象存储文件地址信息存储至关系型数据库服务器的云对象存储＿file＿info表中。
结合第一方面，在第一方面第六种可能的实现方式中，通过流式数据处理平台对数据进行处理包括以下方法：
订阅文件，获取动环监控系统里的数据；
转换配置，在云服务上基于cim模型数据初始化主题实例模型以及基础数据配置，在流式大数据分析平台上实现原始数据加工转化为主题实例模型；
数据转换，将主题实例模型转换成对应大数据上的流式sql引擎，配置到流式大数据分析平台和大数据计算服务中。
结合第一方面，在第一方面第七种可能的实现方式中，存入数据库包括存入关系型数据库和存入nosql数据库；
所述的存入关系型数据库包括大数据计算服务从流式数据处理平台数据通道中获取原始数据，引入数据解析模型在大数据计算服务上做数据归档，存入关系型数据库服务；
所述的存入nosql数据库包括流式大数据分析平台和流式计算从流式数据处理平台数据通道中获取原始数据，引入数据解析模型在流式大数据分析平台配置数据，通过关联计算，生成模型id+模型属性id+模型项记录时间的格式配置，并写入nosql数据库服务表格存储。
本发明第二方面提供了一种动环监控数据接入云平台的装置，利用所述的方法，该装置包括基础设施层，用于获取不同类型的数据；和，
文件同步模块，用于格式化接收的数据，并对不同类型的数据进行解析，包括格式化模块、数据解析模块；和，
流式数据处理平台通道，用于进行接收动环监控系统里的数据，并对模型进行转换，将数据进行发布，包括订阅模块、发布模块、配置模块、数据模型转换模块；和，
数据存储模块，用于存储流式数据处理平台通道发布的数据。
结合第二方面，在第二方面第一种可能的实现方式中，所述的数据解析模块包括是实时类数据解析模块、cim模型数据解析模块、图片文件数据解析模块。
本发明第二方面的所述装置能够实现第一方面及第一方面的各实现方式中的方法，并取得相同的效果。
由以上技术方案可见，本发明基于基础设施层的实时类数据源的数据获取，通过完成文件同步，抓取各类数据，再通过流式数据处理平台通道，对分析类应用的支撑，通过订阅、发布、转换模型配置和数据模型转换技术，能够在海量数据处理和大数据分析多种场景，满足动环监控数据接入云平台的需求，提升动环系统的服务支撑能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一种动环监控数据接入云平台的方法流程示意图；
图2为本发明实施例对实时数据进行解析的方法流程示意图；
图3为本发明实施例对cim模型数据进行解析的方法流程示意图；
图4为本发明实施例对图像文件数据解析的方法流程示意图；
图5为本发明实施例所应用的一种动环监控数据接入云平台的装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
为了更好的理解本发明，以下是对本发明云平台和大数据的简单介绍：
大数据平台的建设，主要从数据采集融合、数据研究与应用、大屏可视化展现等方面开展研究建设，为了有效推进各方面工作开展，开始进行相关数据的接入。
大数据平台由大数据计算服务、分析型数据库、流计算共同组成了底层强大的计算引擎，且提供了丰富的云端数据开发套件，包括数据集成、数据开发、调度系统、数据管理、运维视屏、数据质量、任务监控等在内。
云平台作为一个开放平台，部分软件都有自己的收费标准，但平台集成了各种程序开发组件，用户使用云平台，一则可减少运维成本，二来免去服务器等硬件成本以及类似于oracle一类商业软件的开支。
云平台作为一个新兴的大数据平台，提供大数据计算服务、分析性数据库等服务，集成了各类丰富的大数据开发套件，提供了java、python、php、c#等丰富的sdk，使得开发者可以选择开发语言进行相关的开发，在云平台上部署程序。
关于数据接入部分，云平台一般包括如下内容：
(1)数据文件存储采用云对象存储。
(2)数据通道采用流数据处理平台通道。
(3)数据模型解析和处理依赖于大数据计算服务和流式大数据分析平台。
(4)数据存储采用nosql数据库服务库等。
以下对本发明进行详细描述：
如图1所示，一种动环监控数据接入云平台的方法，包括以下方法：
s1、对基础设施层类数据源的数据进行获取；
s2、对文件进行同步处理；
s3、抓取各类型数据，通过流式数据处理平台对数据进行处理；
s4、对处理后的数据存入数据库。
获取数据通过动环监控主机进行汇总。基础设施层的实时类数据由动环监控主机进行收敛汇总，并提供统一的接口与文件同步模块的南向接口进行对接。
数据包括实时告警类数据：ups停电告警、ups故障、ups转旁路ups设备告警信息，精密空调风机故障、压缩机故障、温度传感器故障精密空调设备告警信息，精密配电柜开关分闸、开关合等精密配电柜告警信息，模块化数据中心环境高温、低温、高湿、低湿、烟雾告警、红外传感器告警信息；和，
实时设备数据：ups电压、电流、功率、频率、电能数据，精密空调送风温度、回风温度、回风湿度、压缩机状态精密空调数据；和，
cim(公共信息)模型数据的数据源；和，
图像文件数据源，包括模块化数据中心视频监控图像，音频监控数据安防类设备产生的数据。
s2中对文件进行同步处理的方法包括：
s21对数据包进行格式化处理；
s22根据数据源的不同对数据进行解析。
s21中对数据包进行格式化处理的方法包括：将数据包的格式处理为：包头+包体；包头包括流水号sn，请求命令号commandid，包体长度len，命令参数resultcode；包体包括len变量的长度字符串。云平台在16800端口进行侦听，等待动环监控主机发送连接请求，建立tcp短连接之后，基础设施层的动环监控主机需按照指定的数据格式发送请求命令，云平台在接收到请求之后，执行该请求的相关操作，并将对应请求的响应反馈给动环监控主机。
s22中根据数据源的不同对数据进行解析包括：
如图2所示，对实时数据解析：
s2211将生成规定格式的数据文件包上传到云对象存储指定的目录下；
s2212将实时数据按采集周期生成最新数据文件并上传至云平台云对象存储；
s2213定时调度执行云平台云对象存储中文件下载及文件解析程序；
s2214将解析后的数据发送至流数据处理平台数据通道；
如图3所示，对cim模型数据进行解析：
s2221导出cim模型数据文件，并上传至云对象存储；
s2222通过数据文件解析程序解析文件数据，并将文件数据上传至关系型数据库；
如图4所示，对图像文件数据解析：
s2231导出图像文件，并上传至云平台云对象存储；
s2232从云对象存储获取文件并解析；
s2233将云对象存储文件地址信息存储至关系型数据库服务器的云对象存储＿file＿info表中。
各类型的解析程序以云对象存储服务的java－sdk打通文件通道，以java语言为基础进行相关解析。
s3中通过流式数据处理平台对数据进行处理包括以下方法：
s31订阅文件，获取动环监控系统里的数据；通过订阅机制，可以使动环监控系统主动上报所订阅的数据，此外，还可以对历史数据进行更改存储周期，比如数据中心环境温湿度每12小时存储一次更改为每6个小时存储一次。
s32转换配置，在云服务上基于cim模型数据初始化主题实例模型以及基础数据配置，在流式大数据分析平台上实现原始数据加工转化为主题实例模型。
s33数据转换，将主题实例模型转换成对应大数据上的流式sql引擎，配置到流式大数据分析平台和大数据计算服务中。
存入数据库包括存入关系型数据库和存入nosql数据库。
存入关系型数据库包括大数据计算服务从流式数据处理平台数据通道中获取原始数据，引入数据解析模型在大数据计算服务上做数据归档，存入关系型数据库服务。
存入nosql数据库包括流式大数据分析平台和流式计算从流式数据处理平台数据通道中获取原始数据，引入数据解析模型在流式大数据分析平台配置数据，通过关联计算，生成模型id+模型属性id+模型项记录时间的格式配置，并写入nosql数据库服务表格存储。
如图5所示，一种动环监控数据接入云平台的装置，该装置包括基础设施层，用于获取不同类型的数据；和，文件同步模块，用于格式化接收的数据，并对不同类型的数据进行解析，包括格式化模块、数据解析模块；和，流式数据处理平台通道，用于进行接收动环监控系统里的数据，并对模型进行转换，将数据进行发布，包括订阅模块、发布模块、配置模块、数据模型转换模块；和，数据存储模块，用于存储流式数据处理平台通道发布的数据。
配置模块构建数据模型的主要元素有：模型信息表、检测数据流表、nosql数据库服务结果表以及相关流式计算引擎。
数据解析模块包括是实时类数据解析模块、cim模型数据解析模块、图片文件数据解析模块。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。