一种MDC数据中心的动力与环境监控系统数据同步方法与流程

本发明涉及数据通信技术领域，尤其是一种mdc数据中心的动力与环境监控系统数据同步方法。

背景技术：

模块化数据中心(moduledatacenter,mdc)集成了供配电、制冷、机柜、气流遏制、综合布线、动环监控等子系统，提高数据中心的整体运营效率，实现柔性部署、弹性扩展和绿色节能，是基于云计算的新一代数据中心部署形式，为了应对云计算、虚拟化、集中化、高密化等发展的趋势，其采用模块化设计理念，最大程度的降低基础设施对数据中心环境的耦合。

随着大数据信息行业的飞速发展，数据中心的发展也进入到一个新的阶段。管理系统是数据中心内部配置的重要组成部分。传统的管理系统主要已动环监控为主，具备多种数据接口，可接入ups、配电柜、精密空调、门禁、温湿度传感器、烟雾探测器、温感探测器、漏水传感器、翻转天窗及网络摄像机等多种监控对象。

当前，随着云计算、大数据和互联网的柔性发展，信息化的基础设施发生了根本转变，监控管理的需求从一些单独的系统要求转化为整体所述方法化、统一所述方法、统一管理的系统要求。各项应用服务不再是单独的计算模块，而是通过云计算、大数据等所述方法将计算、存储资源统一起来，跨越数据中心范围形成规模庞大、统一监控与管理的资源池，因此需要能够监控大规模、分布式、跨地域的虚拟资源与物理资源的统一监控系统，这就是本发明所述的数据中心动力与环境监控系统。

数据中心动力与环境监控系统把模块化数据中心(moduledatacenter,mdc)当做一个整体来进行管理，包括：防火墙、服务器、存储设备、网络设备、虚拟机、ups、配电柜、精密空调、门禁、温湿度传感器、烟雾探测器、温感探测器、漏水传感器、翻转天窗、网络摄像机及设备监控等多种监控对象。

面对规模化部署的mdc，it设备的数据可以到达成千上万台，面对庞大的调用量及复杂的调用链路，单靠人力难以维护，只能依赖一个全方位监控、稳定、柔性的运维监控系统。

数据同步同样重要，数据中心动力与环境监控系统每分钟要拿几个月数据出来，还有比如我们的故障分析，一个模块有异常需要读取所有机器调用信息、cpu、内存、网络、各种进程信息等，如果机器数特别多，一次读取的数据量会超过一万条记录。

常见数据同步方法采用传统的关系数据库存储，先本地汇总打包，再发到全局服务处理器里面汇总。针对规模化模块化数据中心应用场景，关系数据库存储的实时性及查询能力就稍逊色。由于业务及后台服务非常多，数据增长非常快，难以持续进行维护，而且不管是cpu、网络、存储、统计等都出现非常大的压力，难以保证监控系统本身的稳定。

技术实现要素：

本发明的目的是提供一种mdc数据中心的动力与环境监控系统数据同步方法，构建高效、稳定的数据通信方法。

为实现上述目的，本发明采用下述技术方案：

一种mdc数据中心的动力与环境监控系统数据同步方法，包括以下步骤：

通过标准数据通信接口采集各节点数据，对所述数据进行分类和描述；

接收第一写数据指令，按照写数据操作规则完成客户端写入hdfs数据；

接收第一读数据指令，按照读数据操作规则完成客户端读取hdfs数据。

进一步地，所述对所述数据进行分类和描述，具体包括：

将所述数据划分为状态数据和告警数据；

自上而下生成与分类后状态数据和告警数据相对应的描述文件。

进一步地，所述自上而下生成与分类后状态数据和告警数据相对应的描述文件，具体包括：

增加数据定义表和客户端与hdfs数据交换规则定义表；

对数据库表增加同步状态标志字段。

进一步地，所述按照写数据操作规则完成客户端写入hdfs数据，具体包括：

依次根据数据定义表中定义的数据写操作表清单获取数据；

将获取的所述数据转换格式，调用数据提交模块，完成数据写入hdfs；

hdfs解析接收到的数据包，将数据逐个插入数据库表。

进一步地，所述调用数据提交模块，完成数据写入hdfs，具体包括：

建立自定义容量的数据缓存区，客户端将数据写入数据缓存区，数据缓存区满后将数据写入hdfs。

进一步地，所述hdfs解析接收到的数据包，将数据逐个插入数据库表，具体包括：

hdfs接收到写操作的数据包后进行解析，开启数据插入事务，将写操作的数据逐个插入到对应的数据库表中，如果插入异常，全部回滚，返回失败标记给客户端；当全部数据正常插入后，结束事务，返回成功标记给客户端。

进一步地，所述按照读数据操作规则完成客户端读取hdfs数据，具体包括：

调用webserice数据读取接口获取hdfs数据，对所述数据进行格式转换；

通过http协议将格式转换后的数据从hdfs读取至客户端；

客户端解析接收到的数据包，将数据逐个插入数据库表。

进一步地，所述将数据逐个插入数据库表，具体包括：

客户端开启数据插入事务，将客户端对应表中原有的数据全部删除，将读取的新数据添加到对应的数据库表中，如发生异常，回滚事务，将客户端数据还原为读取之前的状态；当正常完成数据替换后，更新客户端数据同步时间。

发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：

本发明提供一种基于mdc数据中心的动力与环境监控系统数据同步有助于数据同步的高效、稳定运行，很好地解决了规模化模块化数据中心大规模数据同步操作，是自动化运维的的一个重要组成部分。该方法对于研究类似的大规模、高效解决方案具有参考意义。

附图说明

图1是本发明实施例一方法流程图；

图2是本发明实施例二方法流程图；

图3是本发明实施例三方法流程图；

图4是本发明实施例四方法流程图；

图5是本发明实施例五方法流程图。

具体实施方式

为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

实施例一

如图1所示，一种mdc数据中心的动力与环境监控系统数据同步方法，包括以下步骤：

s1、通过标准数据通信接口采集各节点数据，对所述数据进行分类和描述。

s2、接收第一写数据指令，按照写数据操作规则完成客户端写入hdfs数据。

s3、接收第一读数据指令，按照读数据操作规则完成客户端读取hdfs数据。

实施例二

如图2所示，步骤s1中对所述数据进行分类和描述，具体包括：

s11、将所述数据划分为状态数据和告警数据；

s12、自上而下生成与分类后状态数据和告警数据相对应的描述文件。

采用面向服务架构体系，各个模块设计为服务接口，这些服务之间通过定义预定义标准的接口和契约联系起来。服务接口是采用中立的方式进行定义的，独立于实现服务的硬件平台、操作系统、和编程语言，构建在各种各样的系统中的服务可以从一种统一和通用的方式进行交互。基于面向服务的框架，系统采取标准的数据通讯接口(snmp、odbc、socket等)采集各节点数据，结合主动拉和被动推的最优组合数据传输方式上报数据，对各个子节点进行动态监测，还可以监控布置于各地mdc数据中心的分布式处理器中的数据资源、环境数据、动力数据以及系统资源。

首先对mdc数据中心动力与环境监控系统数据进行分类，将数据分为当前状态数据和告警数据两类。其中当前状态数据是指实时性强，占用的存储空间相对较大的数据，包括电源数据、空调数据、环境数据、服务处理器硬件信息数据等，这类数据会随着时间的推移而飞速增长，需要的存储空间大；告警数据是指，包括上述种类设备的异常数据、报警数据等，比如温湿度异常。这两类是mdc数据中心动控系统数据同步的重点和难点。

基于xmlschema实现基础数据的表示规范、基础数据界面生成方法以及基础数据的组织管理，基于基础数据实现mdc数据中心动力与环境监控系统数据的有效分类与管理。xmlschema不但可以对mdc数据中心动力与环境监控系统数据进行分类存储，还可以实现数据的动态管理共同完成对mdc数据中心动力与环境监控系统数据的组织管理。

基于xmlschema实现mdc数据中心动力与环境监控系统基础数据的组织与存储后，每一类基础数据都会有相应的组织方式，利用xmlschema可以进行高效存储。由于mdc数据中心动力与环境监控系统数据的复杂性，所述方法采用自上而下的方法实现数据中心的基础数据。因此，当用户写操作数据资源后，必须要准确填写该数据资源的描述字段，根据描述字段生成一个描述文件，可以为后续的数据统计和资源检索提供支撑。此外，用户写操作数据资源后，所述方法还会将该资源的物理存储地址写入数据库，方便后续资源维护。

实施例三

如图3所示，步骤s12中，自上而下生成与分类后状态数据和告警数据相对应的描述文件，具体包括：

s121、增加数据定义表和客户端与hdfs数据交换规则定义表；

s122、对数据库表增加同步状态标志字段。

为了实现客户端与hdfs数据的交换，保证交换的规则和交换效率，数据库结构的设计需要增加以下的设计：增加一个数据交换定义表，用于记录客户端数据与hdfs的交换规则，后续的数据管理及交换都按此表中的定义进行操作，数据定义表主要包含表名称、说明、交换规则等字段；交换规则定位为：0表示写操作，1只表示可读写操作，2表示读操作。

在所有的数据库表上增加同步状态标志字段，用来标记哪些记录为新增的(需要写操作的)，字段类型为整数，客户端新增的记录该字段默认为0，同步完成后的相应记录的状态标记字段设为1。

实施例四

如图4所示，步骤s2中，按照写数据操作规则完成客户端写入hdfs数据，具体包括：

s21、依次根据数据定义表中定义的数据写操作表清单获取数据；

s22、将获取的所述数据转换格式，调用数据提交模块，完成数据写入hdfs；

s23、hdfs解析接收到的数据包，将数据逐个插入数据库表。

获取数据：根据数据定义表中定义的数据写操作表清单(这些表中有可能有新增数据)，逐个表进行获取数据，只读取各表中数据同步状态为0的数据；

数据写操作：将获取到的数据转换成json格式或者xml格式的文件包，通过调用数据同步服务的提交数据方法，将数据提交给服务，通过服务(webservice)将数据传输给hdfs；建立自定义容量的数据缓存区，客户端将数据写入数据缓存区，数据缓存区满后将数据写入hdfs。在数据同步架构中，数据的接收与写操作是由存储客户端完成的，因此mdc数据中心动力与环境监控系统额数据由存储客户端写操作到hdfs。为了提高数据同步速度以及减少系统与硬盘的交互次数，建立一个数据缓存区，用于保存数据发送端传输的数据，依据客户端数据处理能力，自适应地设定缓存区大小(如256mb、512mb)。当接收数据存满缓存区后，客户端将数据写操作至hdfs。因此，客户端与hdfs每次交互的数据大小相等，既便于数据维护，又显著地减少了数据交互次数与基础数据量。

数据接收：hdfs接收到写操作的数据包后，进行解析，将写操作的数据逐个插入到对应的表中，在数据插入前先开启事务，如果发生异常，全部回滚，返回失败标记给客户端；当全部数据正常插入后，结束事务，返回成功标记给客户端；

数据状态更新：当数据同步服务反馈数据同步成功后，客户端将本次写操作数据对应的状态全部修改为1。

实施例五

如图5所示，步骤s3中，按照读数据操作规则完成客户端读取hdfs数据，具体包括：

s31、调用webserice数据读取接口获取hdfs数据，对所述数据进行格式转换；

s32、通过http协议将格式转换后的数据从hdfs读取至客户端；

s33、客户端解析接收到的数据包，将数据逐个插入数据库表。

请求读取：通过调用webserice的数据读取接口，发起数据读取请求；

数据准备：webservice获取hdfs上最新的数据，转换成json格式或者xml格式的数据包；

数据传输：通过http协议将数据包从hdfs读取至客户端；

数据替换：解析收到的数据包后，开启事务，将客户端对应表中原有的数据全部删除，将读取的新数据添加到对应的表中，如发生异常，回滚事务，将客户端数据还原为读取之前的状态，正常完成数据替换后，更新客户端数据同步时间。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。