一种基于多云融合的数据管控方法与多云融合管理平台与流程

本发明涉及多云融合，具体涉及一种基于多云融合的数据管控方法和一种多云融合管理平台。

背景技术：

1、云计算平台也称为云平台，是指基于硬件资源和软件资源的服务，提供计算、网络和存储能力。云计算平台按照功能侧重可以划分为3类：以数据存储为主的存储型云平台，以数据处理为主的计算型云平台以及计算和数据存储处理兼顾的综合云计算平台。云计算平台按照用途还可以分为多种类型。

2、由于各种云平台分别具有各自的优势和功能，因此，在业务系统中，通常会出现混合多种云资源来支撑业务系统，从而出现多种云平台的管理。而不同的云平台在开发、运维技术和管理经验上差别很大，且云平台之间不能动态共享资源。传统的技术方案中，在对多种云平台进行管理时，管理人员需要进入不同云平台内部，各种云平台存在不同的管理策略，用户跨平台进行云资源管控时，需要适应多种云平台的管理策略，导致用户在进行多云管控时需要跨平台分别处理，操作繁琐，用户体验不佳。

技术实现思路

1、本发明的主要目的是提供一种基于多云融合的数据管控方法和一种多云融合管理平台，旨在解决用户跨平台进行云资源管控时，需要适应多种云平台的管理策略，导致用户在进行多云管控时需要跨平台分别处理，操作繁琐，用户体验不佳的弊端。

2、为实现上述目的，本发明提出的一种基于多云融合的数据管控方法中，多云融合管理平台包括用户应用层、命令处理层、融合管理层和云平台层，云平台层包括多个云平台；所述方法包括如下步骤：

3、融合管理层获取云平台层中接入的云平台的资源信息；

4、根据云平台的资源信息，将每个云平台的第一计算模块、第一存储模块、第一网络模块和第一管理模块构建成对应云平台的内部资源模块；

5、根据云平台的资源信息，基于各个云平台的第二计算模块、第二存储模块、第二网络模块和第二管理模块，构建各云平台外部的基于多云融合公用架构的公用资源模块，其中，公用资源模块包括虚拟计算模块、虚拟存储模块、虚拟网络模块和虚拟管理模块；

6、建立用于管控内部资源模块和公用资源模块的管控表，其中，管控表包括通过各个云平台的内部资源模块调用公用资源模块的第一管控表，并包括通过公用资源模块调用各个云平台的内部资源模块的第二管控表；

7、在融合管理层中构建指令与第一管控表或第二管控表的映射关系；

8、获取用户应用层向命令处理层发送的实时指令，并通过命令处理层识别所述实时指令；

9、根据所述实时指令的识别结果，融合管理层通过所述映射关系实现多云融合的资源模块调用，以根据所述实时指令处理生成响应数据，将所述响应数据发送至用户应用层。

10、优选地，所述根据云平台的资源信息，将每个云平台的第一计算模块、第一存储模块、第一网络模块和第一管理模块构建成对应云平台的内部资源模块的步骤，包括：

11、获取每个云平台接收的历史指令，根据每个云平台接收的历史指令将每个云平台的指令类型标记为专属指令和通用指令；

12、获取每个云平台在测试时段内处理各个专属指令时在云平台中各个模块分别对应的第一工作负载；

13、获取每个云平台在测试时段内处理各个通用指令时在云平台中各个模块分别对应的第二工作负载；

14、根据历史指令中专属指令的时间分布情况和每个专属指令对应的第一工作负载，从每个云平台的计算模块中切分第一计算模块，从每个云平台的存储模块中切分第一存储模块、从每个云平台的网络模块中切分第一网络模块，并从每个云平台的管理模块中切分第一管理模块形成对应云平台的内部资源模块。

15、优选地，所述根据云平台的资源信息，基于各个云平台的第二计算模块、第二存储模块、第二网络模块和第二管理模块，构建各云平台外部的基于多云融合公用架构的公用资源模块的步骤，包括：

16、根据历史指令中通用指令的时间分布情况和每个通用指令对应的第二工作负载，计算测试时段内用于处理所有云平台的通用指令的计算资源总和随时间的分布、存储资源总和随时间的分布、网络资源总和随时间的分布和管理资源总和随时间的分布；

17、根据计算资源总和随时间的分布、存储资源总和随时间的分布、网络资源总和随时间的分布和管理资源总和随时间的分布，从每个云平台的计算模块中切分第二计算模块，从每个云平台的存储模块中切分第二存储模块、从每个云平台的网络模块中切分第二网络模块，并从每个云平台的管理模块中切分第二管理模块，构建各云平台外部的基于多云融合公用架构的公用资源模块。

18、优选地，所述建立用于管控内部资源模块和公用资源模块的管控表的步骤，包括：

19、建立树形管控表，并在树形管控表的第一层级创建融合管理节点；

20、在树形管控表的第二层级，创建位于融合管理节点下层的用于管理公用资源模块的公用资源模块节点，并创建位于融合管理节点下层的分别用于管理各个云平台的内部资源模块的内部资源模块节点；

21、在树形管控表的第三层级，创建分别位于公用资源模块节点下层的虚拟计算模块节点、虚拟存储模块节点、虚拟网络模块节点和虚拟管理模块节点，并在每个内部资源模块节点下层分别创建对应的第一计算模块节点、第一存储模块节点、第一网络模块节点和第一管理模块节点；

22、在树形管控表的第四层级，为第三层级的虚拟计算模块节点创建体现不同云平台归属的计算单元节点、为虚拟存储模块节点创建体现不同云平台归属的存储单元节点、为虚拟网络模块节点创建体现不同云平台归属的网络单元节点和为虚拟管理模块节点创建体现不同云平台归属的网络单元节点；

23、按照云平台的归属，建立从第三层级中每个内部资源模块节点的下层节点，向第四层级中对应的单元节点的索引关系，以形成通过各个云平台的内部资源模块调用公用资源模块的第一管控表；

24、按照云平台的归属，建立从第四层级中每个单元节点，向第三层级中对应内部资源模块节点的下层节点的索引关系，以形成公用资源模块调用各个云平台的内部资源模块的第二管控表。

25、优选地，所述在融合管理层中构建指令与第一管控表或第二管控表的映射关系的步骤，包括：

26、获取各个云平台的专属指令库，并获取树形管控表的各层级节点中，与每一云平台的原有资源模块相关的层级节点，根据每个云平台的专属指令，以及与每一云平台原有资源模块相关的层级节点，建立专属指令与树形管控表中层级节点的第一映射关系表；

27、获取通用指令库，预设用于处理每一种通用指令时在树形管控表中调用的单元节点，并获取树形管控表中每一调用的单元节点归属的云平台，和归属云平台对应的内部资源模块的层级节点，建立通用指令、调用单元节点、调用的单元节点归属云平台的内部资源模块的层级节点的第二映射关系表。

28、优选地，所述根据所述实时指令的识别结果，融合管理层通过所述映射关系实现多云融合的资源模块调用，以根据所述实时指令处理生成响应数据，将所述响应数据发送至用户应用层的步骤，包括：

29、命令处理层将所述实时指令的识别结果发送至融合管理层，融合管理层判断实时指令的类型属于专属指令还是通用指令；

30、融合管理层将属于专属指令的实时指令转发至对应云平台的内部资源模块节点的第一管理模块节点，并由第一管理模块节点在对应的内部资源模块节点的下层节点进行实时指令内发；

31、判断指令内发后，接收所述实时指令的内部资源模块节点是否具有执行所述指令的能力；

32、若是，接收所述实时指令的内部资源模块节点处理生成的响应数据，将所述响应数据通过所述虚拟管理模块节点进行存储管理后，发送至用户应用层；若否，将所述实时指令从对应的内部资源模块节点转发至接收实时指令的内部资源模块节点关联的单元节点，以处理生成响应数据，将所述响应数据通过所述虚拟管理模块节点进行存储管理后发送至用户应用层；

33、融合管理层将属于通用指令的实时指令转发至公用资源模块节点的虚拟管理模块节点，虚拟管理模块节点调用公用资源模块节点内部的单元节点处理生成的响应数据，将所述响应数据备份至实际处理通用指令的单元节点关联的内部资源模块节点后，发送至用户应用层。

34、优选地，所述方法，还包括：

35、侦测通用指令在公用资源模块的等待序列变化，以及公用资源模块的工作负载变化；

36、根据等待序列变化和工作负载变化，预测公用资源模块的工作负载的峰值时段和工作负载峰值；

37、根据峰值时段、工作负载峰值和峰值时段中等待序列的情况，向所述融合管理层发出弹性扩容指令，以利用云平台的内部资源模块实现所述公用资源模块的临时弹性扩容；

38、融合管理层根据弹性扩容指令，建立弹性扩容管控表，在所述弹性扩容管控表中，将树形管控表的第二层级的内部资源模块节点内部建立的第三层级节点按照模块功能映射为树形管理表新增的第四层级的单元节点，以实现公用资源模块的资源扩容。

39、优选地，弹性扩容的容量采用如下方式确定：

40、根据通用指令对应的虚拟计算模块的工作负载-时间曲线，预测虚拟计算模块工作负载超过第一预设负载的第一时段；

41、根据通用指令对应的虚拟存储模块的工作负载-时间曲线，预测虚拟存储模块工作负载超过第二预设负载的第二时段；

42、根据通用指令对应的虚拟网络模块的工作负载-时间曲线，预测虚拟网络模块工作负载超过第三预设负载的第三时段；

43、根据通用指令对应的虚拟管理模块的工作负载-时间曲线，预测虚拟管理模块工作负载超过第四预设负载的第四时段；

44、将第一时段、第二时段、第三时段和第四时段求取并集，得到公用资源模块的弹性扩容时段；

45、根据虚拟计算模块的工作负载-时间曲线，预测第一时段内的计算负载最大值，计算得到虚拟计算模块的弹性扩容数据；

46、根据虚拟存储模块的工作负载-时间曲线，预测第二时段内的存储负载最大值，计算得到虚拟存储模块的弹性扩容数据；

47、根据虚拟网络模块的工作负载-时间曲线，确定第三时段内的网络负载最大值，计算得到虚拟网络模块的弹性扩容数据；

48、根据虚拟管理模块的工作负载-时间曲线，预测第四时段内的管理负载最大值，计算得到虚拟管理模块的弹性扩容数据。

49、优选地，虚拟计算模块的弹性扩容数据采用如下方式计算：

50、

51、其中，为虚拟计算模块的弹性扩容数据，为计算负载最大值，y1为计算负载高峰比例值，且为常数，0＜y1＜1；a1为第一计算扩容数据，a2为第二计算扩容数据，a1和a2分别为大于0的常数，a2＞a1；为第i个云平台用作第一计算模块的计算资源大小，为第i个云平台用作第二计算模块的计算资源大小，1＜i≤n，n为云平台数量；

52、虚拟存储模块的弹性扩容数据采用如下方式计算：

53、

54、其中，为虚拟存储模块的弹性扩容数据，为存储负载最大值，y2为存储负载高峰比例值，且为常数，0＜y2＜1；b1为第一存储扩容数据，b2为第二存储扩容数据，b1和b2分别为大于0的常数，b2＞b1；为第i个云平台用作第一存储模块的存储资源大小，为第i个云平台用作第二存储模块的存储资源大小；

55、虚拟网络模块的弹性扩容数据采用如下方式计算：

56、

57、其中，为虚拟网络模块的弹性扩容数据，为网络负载最大值，y3为网络负载高峰比例值，且为常数，0＜y3＜1；c1为第一网络扩容数据，c2为第二网络扩容数据，c1和c2分别为大于0的常数，c2＞c1；为第i个云平台用作第一网络模块的网络资源大小，为第i个云平台用作第二网络模块的网络资源大小；

58、虚拟管理模块的弹性扩容数据采用如下方式计算：

59、

60、其中，为虚拟管理模块的弹性扩容数据，为管理负载最大值，y4为管理负载高峰比例值，且为常数，0＜y4＜1；d1为第一管理扩容数据，d2为第二管理扩容数据，d1和d2分别为大于0的常数，d2＞d1；为第i个云平台用作第一管理模块的管理资源大小，为第i个云平台用作第二管理模块的管理资源大小。

61、此外，为实现上述目的，本发明还提出一种多云融合管理平台，用于执行上述任一项所述的方法；多云融合管理平台包括用户应用层、命令处理层、融合管理层和云平台层，云平台层包括多个云平台。

62、本发明的技术方案中，多云融合管理平台包括内部资源模块和公用资源模块，其中，内部资源模块为连接至多云融合管理平台的各个云平台内部保留的资源，内部资源模块可以用来处理用户应用层发出，而公用资源模块无法识别的专属指令，所以，多云融合管理平台保留了各个云平台单独处理专属指令的功能。而公用资源模块为从各个云平台划分出，用于在多云融合管理平台实现统一云计算功能的公用资源。用户应用层发出公用资源模块可以处理的通用指令时，通过调用公用资源模块来完成统一处理功能。从而，多云融合管理平台实现了对各个云平台进行融合管理的功能。进一步的，本发明中，若内部资源模块处理专属指令时资源不足，通过第一管控表使云平台的内部资源模块可以调用公用资源模块（具体为调用公用资源模块原属于相应云平台的资源模块）进行处理，从而多云融合管理平台处理专属指令的功能不受影响。更进一步的，融合形成的公用资源模块完成通用指令的处理后，也可以调用第二管控表，将处理结果不仅存储在公用资源模块，还存储至公用资源模块中实际执行数据处理的某一云平台的实际资源模块，实现了数据备份。

63、因此，本发明不需要跨平台进行云资源管控，只要通过用户应用层接收用户的实时指令，通过命令处理层判断实时指令属于专属指令还是通用指令，融合管理层将专属指令发送至对应的云平台的内部资源模块进行处理，将通用指令通过融合而成公用资源模块进行处理，从而，各个云平台既能实现专用服务，又能实现公用服务，因此，本发明实现了一种通过统一的多云融合管理平台管控多个云平台的方法，将每个云平台的资源分离出来，通过统一的管理平台实现多种云资源之间的任务调度、统一的数据管理和数据备份，用户在进行多个云平台管控时，不需要跨平台分别处理，操作简单，降低了用户使用难度，有利于提高用户体验。