大数据软件的管理方法和装置与流程

本发明涉及计算机领域，具体来说，涉及一种大数据软件的管理方法和装置。

背景技术：

随着信息技术的飞速发展也迎来了大数据时代，如今，数据已经成为国家和企业越来越重要的战略资产，而大数据则是近年来兴起的一种新型计算模式，美国政府在2012年3月宣布启动《大数据研究和发展计划》，而中国政府目前也将大数据技术的发展提升到了国家战略。并且，随着大数据技术的不断发展，多种类型的大数据软件也逐步得到广泛应用，例如，hadoop、并行数据库等。

那么随着越来越大类型的大数据软件的广泛应用，为了保证数据安全，应用方便，对于大数据软件的管理问题也引起了人们的注意，而目前，当前的大数据平台通常都有相应的管理软件来对该类型的大数据软件进行监控和管理，例如hadoop平台，其就有与该平台类型相匹配的管理软件来对该平台下的多个组件进行监控管理。

但是现有的针对大数据平台的管理软件均是针对某一种类型的软件定制的，也就是说，其只能对单一的某一种类型的大数据软件进行管理，而并不能够对其他类型的大数据软件进行管理，存在着可扩展性差的问题。

而在大数据中心中，并不仅仅只包括一种类型的大数据软件平台，而是包含多种类型大数据平台的数据中心，例如，hadoop平台、并行数据库平台、nosql数据库等，但是，目前还没有一种能够对多种类型的大数据软件实现统一管理的方法或系统，这显然为用户和管理人员带来了极大的不便，因为，当用户同时使用多种类型平台的大数据软件时，用户需要使用不同平台的管理软件分别对不同类型的大数据软件分别进行不同的操作和管理，这显然会增加操作的复杂度，不仅操作繁琐，用户体验感也差，而究其原因还是在于目前的大数据软件的管理方法普遍存在着可扩展性差的问题。

针对相关技术中的大数据软件的管理方法所存在的可扩展性差的问题，目前尚未提出有效的解决方案。

技术实现要素：

针对相关技术中的大数据软件的管理方法所存在的可扩展性差的问题，，本发明提出一种大数据软件的管理方法和装置，能够实现对多种类型的大数据软件的统一管理，降低用户的操作复杂度，提升用户体验感。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种大数据软件的管理方法。

该管理方法包括：

根据大数据软件的类型，对预定的管理模板进行配置，使配置后的管理模板实现对该类型的大数据软件的管理，其中，预定的管理模板中包括适用于多种类型的大数据软件的管理功能；

将配置后的管理模板所对应的大数据软件的属性信息进行存储。

其中，在根据大数据软件的类型，对预定的管理模板进行配置时，可根据大数据软件的类型，对预定的管理模板中的管理功能进行配置。

此外，该管理方法进一步包括：

在接收到用户的操作指令的情况下，确定操作指令所对应的目标大数据软件；

通过读取对应目标大数据软件的属性信息，确定对应目标大数据软件的目标管理模板；

根据操作命令调用目标管理模板中对应的管理功能，以实现对目标大数据软件的管理。

其中，在通过读取对应目标大数据软件的属性信息，确定对应目标大数据软件的目标管理模板时，可在存储的属性信息中读取对应目标大数据软件的属性信息，并根据该属性信息在配置后的管理模板中查找并确定对应目标大数据软件的目标管理模板。

可选的，在根据操作命令调用目标管理模板中对应操作指令的管理功能，以实现对目标大数据软件的管理时，可将操作指令生成对应的管理命令；再根据管理命令调用目标管理模板中对应的管理功能，以实现对目标大数据软件的管理。

此外，属性信息可包括以下至少之一：

大数据软件的类型；

大数据软件的版本号；

大数据软件的参数信息。

另外，预定的管理模板中的管理功能可包括以下至少之一：

软件部署、系统监控、异常告警、统计报表、节点管理、服务控制、角色配置、运行日志、审计日志、参数调优。

可选的，获取大数据软件的监控数据的方式可包括以下至少之一：

定期轮询方式；

推送方式。

根据本发明的另一方面，提供了一种大数据软件的管理装置。

该管理装置包括：

管理模板配置模块，用于根据大数据软件的类型，对预定的管理模板进行配置，使配置后的管理模板实现对该类型的大数据软件的管理，其中，预定的管理模板中包括适用于多种类型的大数据软件的管理功能；

属性存储模块，用于将配置后的管理模板所对应的大数据软件的属性信息进行存储。

此外，该管理装置进一步包括：

第一确定模块，用于在接收到用户的操作指令的情况下，确定操作指令所对应的目标大数据软件；

第二确定模块，用于通过读取对应目标大数据软件的属性信息，确定对应目标大数据软件的目标管理模板；

调用模块，用于根据操作命令调用目标管理模板中对应的管理功能，以实现对目标大数据软件的管理。

本发明基于大数据软件的类型对统一的管理模板进行不同的配置，实现了对异构大数据软件的统一管理，提高了对软件的管理效率，降低了操作复杂度；并且能够基于大数据软件的属性信息来确定与该大数据软件相匹配的配置后的管理模板，从而可以对不同的大数据软件采用与之匹配的管理方案，使对大数据软件的管理并不紊乱，调理清晰；而且本发明所提出的统一管理方案在实施上既灵活又方便，还具有较高的可扩展性，不仅提高了管理效率和还降低了运维成本，使用户体验感得到大幅提高。

附图说明

图1是根据本发明实施例的大数据软件的管理方法的流程图；

图2是根据本发明实施例的大数据软件的管理系统的架构图；

图3是根据本发明实施例的大数据软件的管理装置的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种大数据软件的管理方法。

如图1所示，根据本发明实施例的管理方法包括：

步骤s101，根据大数据软件的类型，对预定的管理模板进行配置，使配置后的管理模板实现对该类型的大数据软件的管理，其中，预定的管理模板中包括适用于多种类型的大数据软件的管理功能；

步骤s103，将配置后的管理模板所对应的大数据软件的属性信息进行存储。

通过本发明的上述方案，能够通过对统一的管理模板进行不同的配置，实现对不同类型的大数据软件的统一管理，并且能够基于大数据软件的属性信息来确定与该大数据软件相匹配的配置后的管理模板，从而实现了对多种类型的大数据软件的统一管理，并且管理方法既灵活又方便，具有较高的可扩展性，进而提高了用户体验感。

为了更好的理解本发明的上述技术方案，下面结合图2所示的本管理方法的系统架构图对本发明的上述技术方案进行详细阐述。

从图2中可以看出，系统由登录节点、管理节点、管理数据库、管理代理节点(包括hadoop集群、并行数据库集群、nosql数据库集群)。

其中，登录节点用于操作用户通过浏览器登录访问管理节点的界面；而管理节点则为系统的主控节点，主要的管理控制程序均运行在此节点上；而管理数据库则用于存储对各类型的大数据软件进行统一管理的过程中的相关数据的存储，例如大数据软件的属性信息、监控数据、告警数据、报表数据等；而管理代理节点则是分别部署在不同类型的大数据软件中的代理节点，用于与大数据软件内部各个节点通信，并且其还接受管理节点的控制命令，其是管理节点实现对不同类型的大数据软件进行统一管理的桥梁；而在本系统中的大数据软件涉及了hadoop，并行数据库，nosql数据库等多种大数据软件，其中hadoop管理支持的组件包括hdfs、yarn、mapreduce、hbase、hive、zookepper，并行数据库管理的底层数据库支持oracle数据库、postgresql数据库，而nosql数据库管理支持mongodb、redis等，内存计算软件支持spark等。

那么在了解了本发明的整体框架后，下面对实现该框架的核心方案进行详细阐述。

由于本发明的目的在于解决的对多种类型的大数据软件的统一管理，因此，本发明将被管理的各种类型的大数据软件，即处于不同平台的各个组件进行抽象，定义了标准的管理接口(即，预定的管理模板)，其中，该标准的管理接口中包括了适用于多种类型的大数据软件的管理功能，也就是说，本发明将对各种类型的大数据软件进行管理时的基本管理功能均提取出来，并抽象为标准的管理接口。

其中，在本例中，管理接口中的管理功能可包括软件部署、系统监控、异常告警、统计报表、节点管理、服务控制、角色配置、运行日志、审计日志、参数调优等基本管理功能。

然后，当需要对一种类型的大数据软件进行管理时，可根据该大数据软件的类型，对该管理接口进行配置，即对接口中包括的上述管理功能进行具体的代码实现(配置)，从而使配置后的管理接口能够实现对该类型的大数据软件的管理，而在本例中，从图2中可以看出，本发明实现了hadoop、并行数据库、nosql数据库三种类型的大数据软件的管理接口的具体实现，进而实现了对多种类型的大数据软件的统一管理，那么当系统中需要应用一种新的大数据软件时，为了实现对这种新的类型的大数据软件的管理，只需根据新的大数据软件的管理需求对管理接口中相应的管理功能进行相应的配置，即可实现系统的横向扩展，提高系统的灵活性。

而对于配置后的管理接口中配置后的各种管理功能可根据实际需要分别部署在管理节点和/或管理代理节点侧，那么就可由管理节点和/或管理代理节点通过调用相应的管理功能来对各个大数据软件进行控制。

其中，在将实现后的管理功能部署在管理节点时，管理节点则提供了服务注册管理的功能，即，每种大数据软件实现后的管理功能可以以服务的形式向管理节点注册。

其中，对于服务注册的方式来说，管理节点提供了基于api和基于xml配置文件的两种方式：其中，就基于api方式来说，在注册时需要在模块代码中将相应的实现类，即配置后的管理功能或者说是实现该管理功能的各种管理方法，通过管理节点提供的注册函数向服务管理中心注册；而基于xml配置文件的方式，只需在xml配置文件中按规范配置相关的服务属性，即大数据软件的属性信息，在模块启动后管理节点会监听模块的启动事件，并根据配置文件内容，来注册模块实现的服务，从而实现了管理功能(即管理方法)在管理节点侧的部署，而在实际应用中，通过以上任意一种方式或二者相结合的方式均可实现配置后的管理模板中的管理功能在管理节点中的部署。

此外，在上述描述中也可以看出，在注册服务时还需要注册该服务的属性信息，即该大数据软件的属性信息，例如服务所对应的大数据软件的类型、大数据软件的版本信息，其目的在于使管理节点在接收到用户的操作指令来对大数据软件进行管理时，需要根据属性信息来判定在本地部署的多个管理功能中哪个管理实现模块是对应于该大数据软件的，因为即便是同一个管理功能，例如服务控制，但是由于软件版本的不同，对应的管理实现模块也是不尽相同的，因此，在进行服务注册时，还需要将该服务的属性信息进行注册，即，以元数据信息的方式存储在管理数据库中。

同样的，当将大数据软件的管理功能(配置后的管理功能)部署在管理代理节点时，同样需要将该管理功能所对应的大数据软件的属性信息在管理节点侧注册，从而以元数据信息的方式存储在管理数据库中。因为，管理代理节点在对大数据软件进行管理时是基于管理节点所提供的控制命令来进行操作的，因此，即便大数据软件所对应的管理接口中配置后的管理功能是部署在管理代理节点侧，其仍需要将其属性信息(例如管理代理节点的ip)在管理节点侧进行注册，从而以元数据信息的方式存储在管理数据库中，这样，当管理节点接收到用户的操作指令时，就可根据该元数据信息(例如管理代理节点ip)来确定用户的操作指令所对应的目标大数据软件的管理功能部署在哪个管理代理节点侧，从而向对应的管理代理节点发出控制命令来对该大数据软件进行管理。

从以上描述中，本发明是通过将大数据软件的管理功能进行抽象的方式来实现多种类型的大数据软件的统一管理的，但是，也可以看出，这其中也离不开其关键连接作用的大数据软件的属性信息，因此，为了实现对多种类型的大数据软件的统一管理，在本实施例中还将大数据软件抽象为一个资源模型，即类似一个管理对象，那么该资源的属性信息可包括种类，用于标识该资源属于何种类型的大数据软件，还可包括型号，用于标识该资源的软件版本号，还可包括记录大数据软件相关参数的参数信息，例如对应该大数据软件的管理代理节点的信息，具体的如，提供cli命令的管理节点的管理代理节点的ip，或者说对该大数据软件实现后的管理功能从属于哪个配置后的管理模板，当然，参数信息并不限于此，其具备无限扩展的能力，可以任意定义该资源所需的参数指标。

因此，当系统中需要管理一个新的大数据软件时，不仅需要对管理模板进行实现，还需要建立描述该大数据软件的资源模型，并以元数据信息的方式存储在管理数据库之中。

那么在完成管理模板中各个管理功能的部署以及资源模型的建立后，在对该系统的实际应用中，用户可通过登录管理节点在web界面中进行相应的管理操作，当管理节点接收到用户的操作指令时，就可根据操作指令中所包含的目标大数据软件的类型和版本号信息来确定所对应的目标大数据软件，即用户想要操作或管理的大数据软件；

然后，管理节点就可在管理数据库中存储的元数据信息(这里为多个大数据软件的属性信息)中读取所需的对应该目标大数据软件的元数据信息(这里为参数信息)，并根据该参数信息在配置后的管理模板中查找并确定对应该目标大数据软件的目标管理模板，由于在本例中，对该操作命令执行的相应管理功能部署在管理代理节点侧，因此，此处也可以理解为根据该参数信息在多个对应不同类型大数据软件的管理代理节点中确定对应该目标大数据软件的管理代理节点ip；

然后，管理节点就可将操作指令生成对应的管理命令发送至对应该管理代理节点ip的管理代理节点，以使该管理代理节点根据该管理命令调用本地部署的多个管理功能中对应该管理命令的管理功能，以实现对目标大数据软件的管理。

当然，在实际应用中，如果该操作命令执行的相应管理功能是部署在管理节点侧的，就可直接根据该操作命令以及服务属性来调用在管理节点侧注册的对应的服务，来来实现对目标大数据软件的管理。

此外，由于大数据平台存储着各种用户数据，因此数据的安全也显得尤为重要，而且大数据管理软件本身也是需要具备通信安全的功能的，因此，在一个实施例中，系统提供了加密和非加密两种通信模式，以便根据用户的实际需要进行灵活的调整，从图2中可以看出，当用户访问管理节点时，系统是支持http和https两种协议的；此外，在管理节点与管理数据库通信中，也是既支持jdbc非加密的读取数据方式，也支持在数据库节点上部署代理程序的加密方式，其中，对于这种部署代理程序的加密方式来说，具体体现为，代理程序负责通过本地方式与数据库交互，然后管理节点通过加密的ssh方式调用代理程序，进而间接获取数据，另外，系统也实现了一种私有加密协议，如果用户对安全级别要求特别高也可采用此私有协议；另外，从图2中还可以看出，在管理节点和管理代理节点进行通信时，也是既支持非加密的http，也支持加密的https协议，同时还支持通过ssh间接调用完成相应命令通信的过程，另外系统也实现了一种基于socket的私有加密协议，用于对安全级别要求特别高时也可以用此私有协议，从而保证系统通信的安全。

此外，在一个实施例中，当系统处理监控数据时，本发明提出了两种处理方式，对于时效要求不高的指标，管理节点可采用定期轮询的方式从管理代理节点侧请求数据，管理代理节点再从相应的大数据软件的组件中获取所需指标的监控数据；而对于时效要求较高的数据，管理代理节点将采用推送的方式，在指标数据变化时就将数据发送给管理节点，最终统一都由管理节点将数据存入管理数据库中。

另外，在一个实施例中，在管理节点获取到监控数据后，还可根据相应的指标阈值产生符合条件的告警数据以存入管理数据库，并根据预定的策略来完成报表所需的统计分析数据的处理并存入管理数据库。

那么当用户通过登陆管理节点的web界面时，web程序就会从管理数据库中读取相应的监控、告警、报表数据提供给用户。

此外，在另一个实施例中，对于控制命令的处理方式，例如服务启停控制、参数调优等，借助于本发明的上述技术方案可采用如下流程，用户首先登陆管理节点的web界面，然后对所需的大数据软件进行相应的控制命令操作，管理节点在根据用户的操作，配合从管理数据库中读取相应的元数据信息，然后将命令发送给管理代理，管理代理在根据所对应大数据软件的实现程序，调用相应大数据组件的控制命令，进而完成控制命令的处理，实现用户需的服务启停、角色配置等管理功能。

根据本发明的实施例，还提供了一种大数据软件的管理装置。

如图3所示，根据本发明实施例的管理装置包括：

管理模板配置模块31，用于根据大数据软件的类型，对预定的管理模板进行配置，使配置后的管理模板实现对该类型的大数据软件的管理，其中，预定的管理模板中包括适用于多种类型的大数据软件的管理功能；

属性存储模块32，用于将配置后的管理模板所对应的大数据软件的属性信息进行存储。

在一个实施例中，根据本发明实施例的管理装置进一步包括：

第一确定模块(未示出)，用于在接收到用户的操作指令的情况下，确定操作指令所对应的目标大数据软件；

第二确定模块(未示出)，用于通过读取对应目标大数据软件的属性信息，确定对应目标大数据软件的目标管理模板；

调用模块(未示出)，用于根据操作命令调用目标管理模板中对应的管理功能，以实现对目标大数据软件的管理。

综上所述，借助于本发明的上述技术方案，基于大数据软件的类型对统一的管理模板进行不同的配置，实现了对异构大数据软件的统一管理，即，使用户可通过集中的管理软件(方法)实现对hadoop、并行数据库、nosql数据库等不同大数据软件的统一管理，提高了对软件的管理效率；并且能够基于大数据软件的属性信息来确定与该大数据软件相匹配的配置后的管理模板，从而可以对不同的大数据软件采用与之匹配的管理方案，使对大数据软件的管理并不紊乱，调理清晰；而且本发明所提出的统一管理方案在实施上既灵活又方便，还具有较高的可扩展性，不仅提高了管理效率和还降低了运维成本，使用户体验感得到大幅提高。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。