一种大数据运维监控的多平台适配方法与流程

本发明涉及运维监控，具体涉及一种大数据运维监控的多平台适配方法。

背景技术：

1、ambari跟hadoop等开源软件一样，也是apachesoftwarefoundation中的一个项目，并且是顶级项目。就ambari的作用来说，就是创建、管理、监视hadoop的集群，这里的hadoop是广义，指的是hadoop整个生态圈（例如hive，hbase，sqoop，zookeeper等），而并不仅是特指hadoop。用一句话来说，ambari就是为了让hadoop以及相关的大数据软件更容易使用的一个工具。ambari作为大数据运维监控的顶级开源项目，在大数据平台搭建和运维中得到广泛应用。然而官方的ambari默认只支持x86的cpu架构，以及centos和ubuntu操作系统，在国产操作系统上无法运行。

2、传统的大数据运维平台组件种类复杂，一般包含多种开源技术产品，如：hadoop、elasticsearch、hbase、phoenix产品等，涉及的组件类型多，如：容器、中间件、数据库等。由于不同组件之间没有统一的运维接口，一般采用原生接口各自进行运维管理，通过该方式搭建的大数据运维管理平台为离散型，系统与系统之间、组件与组件之间的运维较为割裂，缺乏统一的运维监控视角，也无法建立在不同的平台之间进行合理适配，各组件之间在运维层面集成困难、重复建设、自动化程度偏低，难以实现大数据平台的一体化运维管理。

技术实现思路

1、本发明的目的在于提供一种大数据运维监控的多平台适配方法，以解决现有技术中离散型，系统与系统之间、组件与组件之间的运维较为割裂，缺乏统一的运维监控视角，也无法建立在不同的平台之间进行合理适配，各组件之间在运维层面集成困难、重复建设、自动化程度偏低，难以实现大数据平台的一体化运维管理的技术问题。

2、为解决上述技术问题，本发明具体提供下述技术方案：

3、一种大数据运维监控的多平台适配方法，包括以下步骤：

4、步骤s1、拆分运维监控的功能组件，获取每个功能组件的运维监控功能特征；

5、步骤s2、选取一组样例平台，获取每个样例平台的平台功能特征，并标注样例平台使用的所述功能组件；

6、步骤s3、将一组样例平台依据功能组件进行聚类分析得到多个平台集合，并在多个平台集合中对功能组件进行适配共性分析得到每个平台集合的适配共性组件；

7、步骤s4、利用bp神经网络在平台集合中对平台功能特征与适配共性组件进行学习训练得到共性适配模型，以实现大数据运维监控的多平台自主适配。

8、作为本发明的一种优选方案，所述运维监控功能特征包括组件输入数据类型、组件输出数据类型以及组件监控功能类型。

9、作为本发明的一种优选方案，所述平台功能特征包括平台输入数据类型、平台输出数据类型以及平台监控目标类型。

10、作为本发明的一种优选方案，所述将一组样例平台依据功能组件进行聚类分析得到多个平台集合，包括：

11、将每个样例平台的所有功能组件对应的所有运维监控功能特征向量化作为每个样例平台的特征向量；

12、将一组样例平台基于特征向量进行聚类分析，以实现将一组样例平台划分为多个平台集合。

13、作为本发明的一种优选方案，所述在多个平台集合中对功能组件进行适配共性分析得到每个平台集合的适配共性组件，包括：

14、将每个平台集合中的所有样例平台对应的功能组件作为每个组件集合；在每个组件集合中量化每个功能组件的适配共性度，所述适配共性度的函数表达式为：

15、；

16、式中，pk为每个组件集合中第k个功能组件的适配共性度，xk为每个组件集合中第k个功能组件的运维监控功能特征，xi为每个组件集合中第 i个功能组件的运维监控功能特征，n为每个组件集合中功能组件的总数量，k， i为计数变量，|xk-xi|为xk和xi的欧氏距离；

17、设定适配共性度的筛选阈值，将每个组件集合中低于所述筛选阈值的适配共性度对应的功能组件作为每个组件集合的适配共性组件；

18、将每个组件集合的适配共性组件映射为每个平台组件的适配共性组件。

19、作为本发明的一种优选方案，所述利用bp神经网络在平台集合中对平台功能特征与适配共性组件进行学习训练得到共性适配模型，包括：

20、将每个平台集合中的样例平台的平台功能特征作为bp神经网络的输入项，将每个平台集合的适配共性组件作为bp神经网络的输出项；

21、利用bp神经网络对所述bp神经网络的输入项和bp神经网络的输出项进行卷积训练得到所述共性适配模型；

22、所述共性适配模型的模型表达式为：

23、s=bp(y)；

24、式中，s为适配共性组件，y为平台功能特征，bp为bp神经网络。

25、作为本发明的一种优选方案，还包括对待适配平台进行适配的过程，包括：

26、获取待适配平台的平台功能特征，利用共性适配模型得到待适配平台的适配共性组件；

27、当待适配平台的适配共性组件对应的运维监控功能特征包含待适配平台的所有平台功能特征，则将待适配平台的适配共性组件作为待适配平台的运维监控组件；

28、当待适配平台的适配共性组件对应的运维监控功能特征未包含待适配平台的所有平台功能特征，则运维监控功能特征中未包含的平台功能特征进行人为标定功能组件，将待适配平台的适配共性组件和人为标定的功能组件作为待适配平台的运维监控组件。

29、作为本发明的一种优选方案，所述平台功能特征、运维监控功能特征在计算前均进行归一化处理。

30、作为本发明的一种优选方案，所述聚类分析的算法包括kmeans算法、层次聚类方法、基于密度的空间聚类算法。

31、作为本发明的一种优选方案，所述平台集合中至少包含一个样例平台。

32、本发明与现有技术相比较具有如下有益效果：

33、本发明将一组样例平台依据功能组件进行聚类分析得到多个平台集合，并在多个平台集合中对功能组件进行适配共性分析得到每个平台集合的适配共性组件，利用bp神经网络在平台集合中对平台功能特征与适配共性组件进行学习训练得到共性适配模型，构建出平台与平台之间、平台与组件之间的运维关联性，利用模型产生统一的运维监控视角，建立在不同的平台之间进行合理适配，避免各组件之间在运维层面集成困难、重复建设、自动化程度偏低的困境，能够实现大数据平台的一体化运维管理。

技术特征：

1.一种大数据运维监控的多平台适配方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种大数据运维监控的多平台适配方法，其特征在于：所述运维监控功能特征包括组件输入数据类型、组件输出数据类型以及组件监控功能类型。

3.根据权利要求1所述的一种大数据运维监控的多平台适配方法，其特征在于：所述平台功能特征包括平台输入数据类型、平台输出数据类型以及平台监控目标类型。

4.根据权利要求1所述的一种大数据运维监控的多平台适配方法，其特征在于：所述将一组样例平台依据功能组件进行聚类分析得到多个平台集合，包括：

5.根据权利要求4所述的一种大数据运维监控的多平台适配方法，其特征在于：所述在多个平台集合中对功能组件进行适配共性分析得到每个平台集合的适配共性组件，包括：

6.根据权利要求5所述的一种大数据运维监控的多平台适配方法，其特征在于：所述利用bp神经网络在平台集合中对平台功能特征与适配共性组件进行学习训练得到共性适配模型，包括：

7.根据权利要求1所述的一种大数据运维监控的多平台适配方法，其特征在于，还包括对待适配平台进行适配的过程，包括：

8.根据权利要求1所述的一种大数据运维监控的多平台适配方法，其特征在于，所述平台功能特征、运维监控功能特征在计算前均进行归一化处理。

9.根据权利要求4所述的一种大数据运维监控的多平台适配方法，其特征在于，所述聚类分析的算法包括kmeans算法、层次聚类方法、基于密度的空间聚类算法。

10.根据权利要求4所述的一种大数据运维监控的多平台适配方法，其特征在于，所述平台集合中至少包含一个样例平台。

技术总结
本发明公开了一种大数据运维监控的多平台适配方法，包括以下步骤：将一组样例平台依据功能组件进行聚类分析得到多个平台集合，并在多个平台集合中对功能组件进行适配共性分析得到每个平台集合的适配共性组件；利用BP神经网络在平台集合中对平台功能特征与适配共性组件进行学习训练得到共性适配模型。本发明构建出平台与平台之间、平台与组件之间的运维关联性，利用模型产生统一的运维监控视角，建立在不同的平台之间进行合理适配，避免各组件之间在运维层面集成困难、重复建设、自动化程度偏低的困境，能够实现大数据平台的一体化运维管理。

技术研发人员：魏强,刘广志,陈敬
受保护的技术使用者：四川观想科技股份有限公司
技术研发日：
技术公布日：2024/1/12