一种基于云上成本的资源部署系统及方法与流程

1.本发明涉及云计算技术领域，尤其涉及一种基于云上成本的资源部署系统及方法。


背景技术：

2.目前，在云计算加速落地的市场需求推动下，越来越多的企业选择使用公有云上的基础设施来为自己的业务系统提供支撑。上云的需求复杂且多样化，主要面临如下挑战：(1)无计划的盲目使用：业务需求推动it人员开通各类公有云资源，重复工作比较多，手动配置又容易出错。(2)多云场景下的维护难度比较大：多云环境下，it团队需要在多个控制台下进行资源的管理，多个页面以及工具的使用让工作效率比较低。(3)资源的浪费：不同于本地机房，公有云理论上提供的资源池对单个用户而言近乎无限，而且即申即用，用完即可释放，充分利用这些云上特性才能避免浪费。
3.基于以上，需要提出一种解决方案，对多个公有云进行统一高效的管理，并对云上资源针对不同的业务系统能够自动调整部署策略从而高效低成本的使用公有云。


技术实现要素：

4.有鉴于此，本公开提供一种基于云上成本的资源部署系统及方法，技术方案如下：
5.一方面，本发明提供了一种基于云上成本的资源部署系统，包括资源生命周期管理模块、资源自动化运维模块以及动态部署策略模块，动态部署策略模块根据外部应用输入的需求自动分析组合出资源部署方案，继而通过资源生命周期管理模块实施部署，资源生命周期管理模块对接各个公有云的api，对内提供规范统一的接口,根据动态部署策略模块提供的资源部署方案以资源编排的方式实现对资源的创建、状态同步以及删除操作，资源自动化运维模块通过公有云api以及远程连接基础设施资源的方式对资源进行实时的修改。
6.进一步地，动态部署策略模块接收外部应用提出的公有云虚拟机的cpu以及内存需求以及指定的计算类型后，通过定期同步获取到的公有云提供的机型列表信息来自动分析出所需的机型以及对应数量。
7.进一步地，动态部署策略模块的动态部署策略是：按照应用公有云虚拟机集群的伸缩需求实施自动扩容策略或自动缩容策略。
8.进一步地，动态部署策略模块的自动扩容策略是：动态部署策略模块接受输入的资源申请请求，根据请求提出资源部署方案，计算出需要新增的节点机型及对应数量，通过资源生命周期管理模块实施基础设施创建，通过资源自动化运维模块完成集群扩容。
9.进一步地，动态部署策略模块的自动缩容策略是：动态部署策略模块定期扫描空闲资源，通过监控公有云虚拟机集群的特定指标，决定公有云虚拟机的删除时机，及时的释放相关公有云虚拟机资源。
10.进一步地，资源生命周期管理模块以公有云提供的各类资源为最小管理单位，显
式或隐式地实现各个资源之间的依赖关系，安全有序地创建和删除所需资源，以具体的资源部署需求为输入，将整套基础设施以代码和配置的形式存储在资源部署系统中，形成部署方案的复用。
11.进一步地，资源生命周期管理模块在云平台的资源级别分别调用创建资源的api，并独立跟踪各个资源的状态，在确保了依赖资源已经创建成功的情况下才继续处理后续资源。
12.进一步地，资源自动化运维模块为各个业务需求分类并实现可重入的逻辑单元，对不同角色的资源应用对应的逻辑单元以实现对资源的实时修改和环境调配。
13.进一步地，资源自动化运维模块基于公有云对象存储利用公有云的内部网络进行文件传输。
14.另一方面，本发明提供了一种基于云上成本的资源部署方法，方法应用在上述基于云计算的自适应存储分层系统中,包括以下步骤：
15.步骤1：外部应用向动态部署策略模块提出应用集群申请；
16.步骤2：动态部署策略模块根据步骤1的需求自动分析组合出资源部署方案；
17.步骤3：资源生命周期管理模块实施动态部署策略模块的资源部署方案，对接云平台实施资源部署的资源创建、扩容、缩容；
18.步骤4：资源自动化运维模块根据资源运行期间的修改需求，对资源进行实时修改和环境调配。
19.本发明提供一种基于云上成本的资源部署系统及方法，对多个公有云进行统一高效的管理，并对云上资源针对不同的业务系统能够自动调整部署策略从而高效低成本的使用公有云，提供了多云场景下经济高效的资源部署方案，极大降低了it人工运维成本，并提高了部署的稳定性和可运维性，提供了简单便捷的方式用来组建公有云虚拟机集群，并及时处理集群中的空闲资源，提高了资源的利用率并有效控制了成本，提供了公有云虚拟机集群之间文件共享的经济高效方案，极大提高了文件共享传输效率和稳定性，为资源的快速创建和初始化提供了保证。
附图说明
20.构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
21.图1为本发明提供的一种基于云上成本的资源部署系统示意图；
22.图2为本发明自动扩容方案流程示意图；
23.图3为本发明自动缩容方案流程示意图；
24.图4为本发明提供的一种基于云上成本的资源部署方法示意图。
具体实施方式
25.为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人
员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
26.需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
27.在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
28.并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
29.另外，术语“多个”的含义应为两个以及两个以上。
30.需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
31.实施例一
32.本发明实施例一，提供了一种基于云上成本的资源部署系统，如图1所示，包括资源生命周期管理模块、资源自动化运维模块以及动态部署策略模块，动态部署策略模块根据外部应用输入的需求自动分析组合出资源部署方案，继而通过资源生命周期管理模块实施部署，资源生命周期管理模块对接各个公有云的api，对内提供规范统一的接口,根据动态部署策略模块提供的资源部署方案以资源编排的方式实现对资源的创建、状态同步以及删除操作，资源自动化运维模块通过公有云api以及远程连接基础设施资源的方式对资源进行实时的修改。
33.具体实施时，动态部署策略模块是资源生命周期管理模块的上层应用层模块，对接具体的内部业务子模块，为内部业务子模块提供简单抽象的接口，根据外部应用提出的公有云虚拟机的cpu以及内存需求以及指定的计算类型，具体实施时计算类型包括计算密集型、io密集型以及数据密集型，通过定期同步获取到的公有云提供的机型列表信息来自动分析出所需的机型以及对应数量。
34.动态部署策略模块的动态部署策略：按照应用公有云虚拟机集群如spark集群的伸缩需求实施自动扩容策略或自动缩容策略。动态部署策略使得资源利用率最大化并保持相对较低的成本。
35.动态部署策略模块的自动扩容策略是：动态部署策略模块接受输入的资源申请请求，根据请求提出资源部署方案，计算出需要新增的节点机型及对应数量，通过资源生命周期管理模块实施基础设施创建，通过资源自动化运维模块完成集群扩容。
36.本发明自动扩容的一个具体实施例，如图2所示，动态部署策略模块内部涉及自动扩容的子模块包括：信息收集子模块、公有云虚拟机管理子模块以及公有云虚拟机部署决
策子模块，信息收集业务子模块一方面与外部应用对接，接收来自外部应用的cpu以及内存请求，另一方面与公有云虚拟机管理业务子模块对接，查询公有云虚拟机的机型信息。公有云虚拟机管理业务子模块与云平台对接，定期同步获取到公有云提供的机型列表信息。公有云虚拟机部署决策子模块接收信息收集模块传递的信息，结合公有云提供的机型列表信息，自动分析出所需的机型以及对应数量，通过资源生命周期管理模块发起基础设施创建，通过资源自动化运维模块完成集群扩容。
37.动态部署策略模块的自动缩容策略是：动态部署策略模块定期扫描空闲资源，通过监控公有云虚拟机集群的特定指标，决定公有云虚拟机的删除时机，及时的释放相关公有云虚拟机资源。具体实施时，应用端在资源扩容完成后能立刻提交计算任务开始计算，在任务完成之后动态部署策略模块根据自动缩容策略释放相应的资源，最大化资源的利用率。
38.本发明自动缩容的一个具体实施例，如图3所示，动态部署策略模块内部涉及自动缩容的子模块包括：信息收集子模块、特性检测子模块以及公有云虚拟机部署决策子模块，特性检测子模块定期获取云平台的公有云虚拟机集群空闲节点信息，信息收集子模块通过特性检测子模块监控公有云虚拟机集群的特定指标，获取当前所有空闲节点，将信息传递至公有云虚拟机部署决策子模块，自动缩容策略决定公有云虚拟机的删除时机，向资源生命周期管理模块发起基础设施删除指令，及时释放空闲的公有云虚拟机资源，完成资源缩容，提高了资源的利用率并有效控制了成本。
39.本发明的一个具体实施例，在kyligence cloud中，动态部署策略模块负责接受kyligence enterprise发起的资源申请请求，根据请求中提供的cpu核数以及内存大小，计算出spark集群需要新增的节点机型和个数，然后实施部署并把新节点加入spark集群中以供运行计算任务，在计算任务完成之后再将对应的空闲节点从spark集群移除并在云平台侧释放相应节点资源。
40.资源生命周期管理模块作为云上基础设施与资源部署系统之间的中间层，以公有云提供的各类资源为最小管理单位，显式或隐式地实现各个资源之间的依赖关系，安全有序地创建和删除所需资源，以具体的资源部署需求为输入，将整套基础设施以代码和配置的形式存储在资源部署系统中，形成部署方案的复用。
41.具体实施时，所述的资源生命周期管理模块在云平台的资源级别分别调用创建资源的api，并独立跟踪各个资源的状态，在确保了依赖资源已经创建成功的情况下才继续处理后续资源，最终完成整套基础设置的创建。
42.在基础设施资源的运行期间，往往会有批量修改这些资源的需求，尤其是对公有云虚拟机的环境初始化以及公有云虚拟机上运行服务的配置管理。资源自动化运维模块为各个业务需求分类并实现可重入的逻辑单元，对不同角色的资源应用对应的逻辑单元以实现对资源的实时修改和环境调配。
43.具体实施时，资源自动化运维模块基于公有云对象存储利用公有云的内部网络进行文件传输，实现了公有云虚拟机之间的文件共享机制，明显提高了共享文件的下载速度和稳定性。
44.实施例二
45.本发明实施例二，提供了一种基于云上成本的资源部署方法，所述方法应用在上
述基于云计算的自适应存储分层系统中,如图4所示，包括以下步骤：
46.步骤1：动态部署策略模块接收外部应用提出的应用集群申请；
47.具体实施时，外部应用提供所需的公有云虚拟机集群的cpu及内存需求，并制定计算类型，包括计算密集型，io密集型，数据密集型。
48.步骤2：动态部署策略模块根据步骤1的需求自动分析组合出资源部署方案；
49.具体实施时，动态部署策略模块结合输入的需求与定期同步获得的公有云提供的机型列表信息，自动分析出资源部署方案：所需的有云虚拟机机型以及对应的数量。根据自动化伸缩机制的自动扩容策略和自动缩容策略，满足资源需求且最大化资源的利用率，保持低成本运行。
50.步骤3：资源生命周期管理模块实施动态部署策略模块的资源部署方案，对接云平台实施资源部署的资源创建、扩容、缩容；
51.具体实施时，以公有云提供的各类资源为最小管理单位，显式或隐式地实现各个资源之间的依赖关系，安全有序地创建和删除所需资源，以具体的资源部署需求为输入，将整套基础设施以代码和配置的形式存储在资源部署系统中，形成部署方案的复用。资源生命周期管理模块在云平台的资源级别分别调用创建资源的api，并独立跟踪各个资源的状态，在确保了依赖资源已经创建成功的情况下才继续处理后续资源，最终完成整套基础设置的创建。
52.步骤4：资源自动化运维模块根据资源运行期间的修改需求，对资源进行实时修改和环境调配。
53.具体实施时，通过公有云api以及远程连接基础设施资源等方式对资源进行实时的修改，为各个业务需求分类并实现可重入的逻辑单元，对不同角色的资源应用对应的逻辑单元以实现对资源的实时修改和环境调配。
54.以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。