本发明涉及大数据领域，具体地说是一种动环监控系统大数据分析平台及方法。
背景技术：
大数据时代下，动环监控系统承载了越来越来的数据源压力，不仅是种类多，数量也是相当大，动环监控系统目前正处于由专业网管向集中运维的综合网管系统集中化演进的阶段，随着设备的信息源增多，数据采集存储频度也日益加大，带来的将是更海量的数据。分析软件通过标准的动环监控基础数据进行分析，对设备运行状况及运行质量进行评估甚至预测设备的故障发生时间，这些功能的实现将涉及海量数据的处理，采用云计算、大数据系统解决海量的动环监控数据的分布式采集、分布式并行存储、挖掘分析将变得非常必要。
现有技术的技术方案，主要是通过传统数据采集实现。目前动环监控系统的总体趋势是面临运维人员数量急剧减少、设备数量不断增加的压力，同时面临动环设备运行产生的数据量快速增长、多类数据分析并存的需求压力下，动环专业的数据处理面临空前的需求。在现今的形式下，必须根据应用需求和数据量选择最适合的产品和技术来支撑应用。同时，世界数据处理市场格局正在发生革命性的变化，传统数据库(oldsql)一统天下变成了oldsql+newsql+nosql+其他新技术(例如流、实时、内存等)共同支撑多类应用的局面。
目前动环监控系统功能仅限于监控实时数据和告警的上传，还没有达到对基础数据进行深入的统计、挖掘分析乃至据以反馈闭环控制的要求，因此，亟需一种新技术，使得设备监控颗粒度更加细化，以便更早、更精确地发现设备备故障加以预警预判。
技术实现要素：
本发明的技术任务是针对以上不足之处，提供一种动环监控系统大数据分析平台及方法。
一种动环监控系统大数据分析平台，包括：
南向接口，用于连接被管理对象，从被管理对象中获取数据源；
大数据处理平台，通过南向接口实时采集数据源数据，并对采集的数据达到告警阈值时实时告警，同时采集的设备信息和音视频数据；
北向接口，连接大数据处理平台及下述第三方模块；
第三方模块，提供管理入口、第三方平台，实现第三方平台与大数据处理平台的互联，该第三方模块用于发送大数据请求操作，并提供界面展现模块对大数据处理平台的处理结果进行界面展示。
大数据处理平台通过南向接口实时采集的数据源包括以下数据分类：
事务性数据，包括ups设备告警信息、精密空调设备告警信息、精密配电柜告警信息、环境告警信息，其中ups设备告警信息包括ups停电告警、ups故障、ups转旁路的告警信息；精密空调设备告警信息包括精密空调风机故障、压缩机故障、温度传感器故障信息；精密配电柜告警信息包括开关分闸、开关合闸的告警信息；环境告警信息包括模块化数据中心环境高温、低温、高湿、低湿、烟雾告警、红外传感器告警信息；
高价值密度数据，包括ups电压、电流、功率、频率、电能数据，及精密空调数据，该精密空调数据包括送风温度、回风温度、回风湿度、压缩机状态；
低密度价值数据，包括模块化数据中心视频监控图像、音频监控数据。
所述南向接口用于大数据处理平台与各种设备的通信和数据采集，所述各种设备包括动力类设备、环境类设备、it类设备、安全防护类设备，其中动力类设备包括ups、高压直流、智能配电柜；环境类设备包括精密空调、环境温湿度传感器；it类设备包括服务器、存储及交换机；安全防护类设备包括可视对讲、网络摄像机。
在南向接口与大数据处理平台之间配置有协议层，用于根据不同的协议进行解析预处理，将采集的数据根据不同的协议按照协议格式进行处理，并把数据推送到大数据处理平台，所述不同的协议包括modbus协议、ipmi协议、电总协议、snmp协议、velocity协议。
所述大数据处理平台进行实时告警的过程为：
首先进行告警管理配置，确定告警范围；
然后配置告警模板，确定告警事件类型；
配置告警屏蔽，确定告警信息的发送方式；
配置告警规则，使告警信息按照告警规则产生；
配置告警通知内容，用于接收告警信息。
所述告警规则的配置过程为：
配置告警衍生，即将多条同类告警衍生成一条新的告警；
配置告警过滤，通过过滤方式选取出主要告警和次要告警，主要告警的报警级别高于次要告警；
配置告警翻转，将高频次告警在告警一段时间后进行屏蔽，待告警处理完毕后再恢复上报。
所述实时告警的具体过程为：
1）首先进行告警管理配置，配置的内容包括：局站名称，即模块化数据中心所处地点名称；设备名称，即模块化数据中心的设备名称；事件名称；事件描述；告警触发值；录入注释，即管理员对此告警需要录入的备注信息；
2）配置告警模板，该告警模板中包括：局站名称；设备类型，包括供配电类、环境类、安防类；具体设备，包括ups、精密空调、精密配电柜；事件名称；事件是否确认，即管理员是否确认该告警；事件是否结束；
3）配置告警屏蔽，包括局站屏蔽、设备屏蔽和事件屏蔽，屏蔽管理通过屏蔽方式和时间段来屏蔽事件信息，逾期和解除屏蔽后，事件将正常显示；
4）配置告警规则，包括：
配置告警衍生，当多个同类型告警产生并满足同一条件时，产生一条新的告警，即当告警单位时间内产生的数量达到1分钟中内n条告警，产生一条衍生告警，该告警的等级比原有告警等级高；当发生密度小于1分钟中内n条告警时，该告警结束，这里的n为≥10的自然数；
配置告警过滤，当多个告警通知产生时，选取一条告警做主要告警，其他告警作为次要告警，且主次告警的运行逻辑为：当告警产生时，次要告警缓存一定时间后，该时间自定义，等待主要告警产生，如果主要告警产生，则次要告警不显示只存库；如果到了一定时间未等到主要告警，则次要告警正常上送；
配置告警翻转，当某条告警信号连续30分钟超过6条时，则认为是高频次告警，在30分钟后的这条告警“描述字段”注明“高频次告警”字样，此后应屏蔽连续上报的告警，直到不满足判断条件再恢复正常上报；
5）配置告警通知，该告警通知的内容包括：局站类型、告警名称、告警等级、重试次数和延时、事件开始时间下限和事件开始时间上限、接收对象。
在步骤5）后，还包括配置告警抖动屏蔽的步骤，即在上述告警触发值配置回差，当信号降回到回差后的数值时，取消告警发送。
所述大数据处理平台实时采集数据源数据的过程为：
首先进行数据过滤，从局站等级和事件等级两方面实现站点基本过滤，过滤功能从局站分组方式、局站分组、局站等级和局站四方面进行过滤显示；
提供实时浏览功能模块，实时查看被监控设备的运行数据，该功能模块提供列表和图形、实时曲线的方式，查看局站、设备、设备类、局房中各信号的实时数据，对被监控设备的运行情况进行在线观察、监视；
进行能耗分析，根据采集和存储的电能数据，对用电量异常数据进行监测和分析，及时处理包括电表故障、数据统计异常的系统异常；
进行底层控制功能，即通过配置逻辑控制程序，通过机房基站监控到包括实时温湿度、空调运行状态、新风机状态的参数，通过逻辑程序对空调进行自行开关机及温度控制；
进行蓄电池、空调管理，根据采集的蓄电池和空调数据信息，判断出异常信息；
进行kpi管理，这里的kpi管理包括：活动告警等级统计、活动告警区域分布、停电区域分布、断站区域分布、电子地图、温度高站点数区域统计、退服区域统计、监控可用率区域统计、电池总电压低区域分布、局站区域统计。
所述大数据处理平台采集的设备信息和音视频数据具体分为结构化数据、半结构化数据和非结构化数据，其中，结构化数据包括网络流量日志和资源管理数据，即模块化数据中心的各个设备的相关数据；半结构化数据包括设备日志和系统日志；非结构化数据包括音频和视频数据，通过将其与图像进行匹配，加上标签，进而与有用信息建立关联。
一种动环监控系统大数据分析方法，其实现过程为：
首先启动大数据处理平台，接受注册和订阅；
通过第三方模块中的展示界面输入数据操作请求，该数据操作请求通过北向接口推送数据到大数据处理平台；
大数据处理平台根据数据操作请求的数据类型获取元数据和数据地址；
当需要获取实时数据时，通过协议层及南向接口向被管理对象发出请求，从数据源中获取数据；
大数据处理平台实时采集数据源数据，并对采集的数据达到告警阈值时实时告警，同时将采集设备信息和音视频数据；
经北向接口向第三方模块返回大数据操作结果；
重复上述过程，进行下一次大数据请求操作。
本发明的一种动环监控系统大数据分析平台及方法和现有技术相比，具有以下有益效果：
本发明的一种动环监控系统大数据分析平台及方法，设计合理的动环监控系统大数据分析方法，通过设计的大数据处理框架，使得mpp数据处理接口、hadoop处理接口与oltp数据处理接口统一纳入所设计的大数据处理框架之下，构建了一个高效、稳定的数据中心动环监控系统大数据处理系统；定义了动环监控系统的三种数据源分类，即事务性数据，高价值密度数据和低价值密度数据，构成了一个完整的动环监控系统大数据数据源；定义了基于大数据分析的各种告警管理；定义了实时数据采集的大数据分析应用方法；有助于分析数据中心的统一运维与运营管理，尤其是在涉及海量被管理对象同时需要监控的场景，将监控系统搭建在该大数据分析架构上，很好地解决了数据之间的纵向关联及横向关联，实用性强，适用范围广泛，易于推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
附图1为本发明的具体实施示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的方案，下面结合具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如附图1所示，本发明提供一种动环监控系统大数据分析平台，定义了一个基于mpp架构的新型数据库集群框架，定义了结合mpp架构高效的分布式计算模式，定义了数据的分类，分为事务性数据、高价值密度数据、低密度价值数据，完成对分析类应用的支撑，通过分布式并行计算、动态扩展等技术，能够在海量数据处理和大数据分析等多种场景，满足动环监控系统大数据分析需求，提升动环系统的服务支撑能力。
其结构包括：
南向接口，用于连接被管理对象，从被管理对象中获取数据源；
大数据处理平台，通过南向接口实时采集数据源数据，并对采集的数据达到告警阈值时实时告警，同时采集的设备信息和音视频数据，该大数据处理平台是处理面临数据规模大、关联查询复杂、实时查询等多方面的数据处理平台；
北向接口，连接大数据处理平台及下述第三方模块；
第三方模块，提供管理入口、第三方平台，实现第三方平台与大数据处理平台的互联，该第三方模块用于发送大数据请求操作，并提供界面展现模块对大数据处理平台的处理结果进行界面展示。
大数据处理平台通过南向接口实时采集的数据源包括以下数据分类：
事务性数据，包括ups停电告警、ups故障、ups转旁路等ups设备告警信息，精密空调风机故障、压缩机故障、温度传感器故障等精密空调设备告警信息，精密配电柜开关分闸、开关合闸等精密配电柜告警信息，模块化数据中心环境高温、低温、高湿、低湿、烟雾告警、红外传感器告警等；
高价值密度数据，包括ups电压、电流、功率、频率、电能数据，及精密空调数据，该精密空调数据包括送风温度、回风温度、回风湿度、压缩机状态等；
低密度价值数据，包括模块化数据中心视频监控图像、音频监控数据等。
所述南向接口用于大数据处理平台与各种设备的通信和数据采集，所述各种设备包括动力类设备、环境类设备、it类设备、安全防护类设备，其中动力类设备包括ups、高压直流、智能配电柜；环境类设备包括精密空调、环境温湿度传感器；it类设备包括服务器、存储及交换机；安全防护类设备包括可视对讲、网络摄像机。
在南向接口与大数据处理平台之间配置有协议层，用于根据不同的协议进行解析预处理，将采集的数据根据不同的协议按照协议格式进行处理，并把数据推送到大数据处理平台，所述不同的协议包括modbus协议、ipmi协议、电总协议、snmp协议、velocity协议。
所述大数据处理平台进行实时告警的过程为：
1）动环实时告警。
1、定义告警管理，包括：局站名称（即模块化数据中心所处地点名称）、设备名称（即模块化数据中心里面的设备名称，如ups1，精密空调2，精密配电柜3）、事件名称（如ups1市电输入异常）、事件描述（如ups1市电停电）、触发值（如ups1市电电压值为90v）、录入注释（即管理员对此告警需要录入些备注信息）。
2、定义告警模板，包括：局站名称、设备类型（供配电类、环境类、安防类）、设备（指的是具体设备，如ups，精密空调或精密配电柜等）、事件名称、事件是否确认（即管理员是否确认该告警，比如说管理员以及了解了该告警，估可以确认并关闭该告警）、事件是否结束（因为告警有开始，也会有结束）。
3、定义告警屏蔽，供在线屏蔽配置功能，在线屏蔽配置包括局站屏蔽、设备屏蔽和事件屏蔽。屏蔽管理通过屏蔽方式（如界面不显示，不发送告警邮件，不发送告警短信等）和时间段（如工作时间告警信息发送运维主管，非工作时间告警信息不发送运维主管，只发送运维工程师，时间段是可以在大数据处理平台的操作页面中设置的）来屏蔽事件信息，逾期和解除屏蔽后，事件将正常显示。
4、定义告警衍生，多个同类型告警产生并满足一定条件（比如市电停电时，这时ups设备会报停电告警，精密配电柜也会报停电告警，精密空调也会报停电告警，那么管理平台通常就会收到很多同类型的告警，这时就需要发挥大数据处理平台的作用，通过告警关联的根原因分析）时，产生一条新的告警。衍生告警的产生逻辑：当告警单位时间内产生的数量（发生密度）达到1分钟中内10条告警，产生一条衍生告警，该告警的等级一般比原有告警等级高。当发生密度小于1分钟中内10条告警时，该告警结束。
5、定义告警过滤，多个告警通知产生时，选取一条告警做主要告警（主要告警是指影响模块化数据中心正常工作的告警，比如市电停电，空调宕机，主要告警是由模块化数据中心管理员在大数据平台自行设定），其他告警作为次要告警（即告警级别低一些的告警，比如模块化数据中心刷卡进入，次要告警是由模块化数据中心管理员在大数据平台自行设定），避免主要告警被告警信息淹没。主次告警的运行逻辑为：当告警产生时，次要告警缓存一定时间后，等待主要告警产生，如果主要告警产生，则次要告警不显示只存库。如果到了一定时间未等到主要告警，则次要告警正常上送。
6、定义告警翻转，当某条告警信号连续30分钟超过6条时，则认为是高频次告警，在30分钟后的这条告警“描述字段”注明“高频次告警”字样，此后应屏蔽连续上报的告警，直到不满足判断条件再恢复正常上报。
7、定义告警通知，配置以下内容筛选告警通知信息：局站类型（同上）、告警名称（同上）、告警等级（分为一级告警，二级告警，三级告警，四级告警，其中四级告警为级别最高的告警），重试次数和延时、事件开始时间下限和事件开始时间上限、接收对象。
8、定义告警抖动屏蔽，告警抖动屏蔽:当某信号在告警阀值周围波动时,会频繁产生告警,信号配置时设置回差以消除频繁告警，所述回差就是把控制的点变成控制段，如果没有回差，当湿度在报警值周围波动变化时，开关就在不停的变化对控制设备有极大的损害。比如当湿度上限设置80%rh回差5%rh则当湿度上升超过80%rh，输出开关量信号，当湿度降回到75%rh时开关量取消。
2）动环监控实时采集数据。
1、定义数据过滤，提供过滤功能，从局站等级和事件等级两方面快速实现站点基本过滤功能；过滤功能从局站分组方式、局站分组、局站等级和局站四方面进行过滤显示。
2、定义实时浏览，可以实时查看被监控设备的运行数据。提供列表和图形、实时曲线等多种方式，用户可以任意选择查看局站、设备、设备类、局房中各信号的实时数据，对被监控设备的运行情况进行在线观察、监视。
3、定义能耗分析，充分挖掘动环系统采集和存储的电能数据，从而提升局站用电管理的科学性和前瞻性。同时，系统也对用电量异常数据进行全面的监测和分析，及时处理系统异常（例如：电表故障、数据统计异常等），从而保障系统的长期稳定运行。
4、定义底层控制功能，第一次配置时需现场配置并写入相应逻辑控制程序，依托机房基站监控到的实时温湿度、空调运行状态、新风机（如果有）状态等参数，通过逻辑程序对空调进行自行开关机及温度控制，起到节能目的。
6、定义蓄电池管理，可以通过蓄电池管理功能中的落后电池分析和容量估计功能进行异常电池的判断，数据中心蓄电池容量变化记录，总容量低于额定容量80％的机房记录，总容量低于80％的机房统计，总容量低于80％的蓄电池组统计。
7、定义空调管理，动环监控系统对空调故障告警进行统计分析，比较不同品牌之间的空调性能，利于后期选型采购，通过管理程序可对某空调进行制冷性能测试，同时结合环境温湿度变化、空调能耗等多方位数据，分析空调性能。
8、定义kpi管理，基于大数据分析，系统提供的kpi控件有：活动告警等级统计、活动告警区域分布、停电区域分布、断站区域分布、电子地图、温度高站点数区域统计、退服（断站）区域统计、监控可用率区域统计、电池总电压低区域分布、局站区域统计。
3）设备信息及音视频数据处理。
1、结构化数据包括网络流量日志和资源管理（即模块化数据中中的各个设备）。
2、半结构化数据包括设备日志和系统日志。
3、非结构化数据包括音频和视频数据，通常存储于数据库之外的数据称为非结构化数据（unstructureddata）。将各种不同类型和格式的数据进行集成，使用与非结构化的数据相关联的键或者标签（或者元数据），而这些非结构化数据通常包含了与其他主数据相关的信息。通过分析非结构化数据，就可以将非结构化数据与产品相关联。一段音视频可能包含某个有用信息，可以通过将其与图像进行匹配，加上标签，进而与有用信息建立关联。
一种动环监控系统大数据分析方法，其实现过程为：
首先启动大数据处理平台，接受注册和订阅；
通过第三方模块中的展示界面输入数据操作请求，该数据操作请求通过北向接口推送数据到大数据处理平台；
大数据处理平台根据数据操作请求的数据类型到oltp、数据集市或hadoop获取元数据和数据地址；
针对大规模的请求情况，大数据处理平台启动分发查询服务，如果需要获取实时数据，则通过协议解析层及南向接口向被管理对象发出请求；
大数据处理平台实时采集数据源数据，并对采集的数据达到告警阈值时实时告警，同时将采集设备信息和音视频数据；
大数据处理平台经过数据过滤模块进行汇聚结果；
经北向接口向第三方模块返回大数据操作结果；
重复上述过程，进行下一次大数据请求操作。
在这种动环监控系统大数据分析方法的框架基础上，采用sharenothing技术，通过列存储、粗粒度索引等多项大数据处理技术。以基于mpp架构的新型数据库集群作为大数据处理平台的核心，管理结构化大数据，实现对海量数据的存储、分析等操作，支撑数据中心的大数据分析类应用。支持动环实时采集数据（高价值密度结构化数据）。对于动环实时告警（在线业务数据）采用oltp数据处理方式。
再结合mpp架构高效的分布式计算模式，完成对分析类应用的支撑，mpp数据库技术作为未来主流的数据库技术，通过分布式并行计算、动态扩展等技术，能够在海量数据处理和大数据分析等多种场景，满足动环集中监控系统需求，提升动环监控系统的服务支撑能力。
根据一致性/可用性/分区存储(cap)原则，根据采集监控、挖掘分析不同应用采取不同的模式。
基于hadoop的数据处理技术管理非/半结构化大数据，并用事务型数据库支撑在线业务系统，支持设备信息及音视频数据（低价值密度数据）。
本发明有助于分析数据中心的统一运维与运营管理，尤其是在涉及海量被管理对象同时需要监控的场景，将监控系统搭建在该大数据分析架构上，很好地解决了数据之间的纵向关联及横向关联。该方法对于研究类似的大数据分析系统具有参考意义。
通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。