一种资源数据调度系统及方法与流程

本发明涉及资源调配技术领域，具体涉及一种资源数据调度系统及方法。

背景技术：

随着云计算技术的发展、云化和大数据时代的到来，越来越多的企业在尝试高用户量、系统高可用并降低成本的各种先进技术，在各先进技术中，处于领先地位的自然是云计算及虚拟化技术。但相比以前的小机模式，云化架构下的pc服务器、虚拟机等稳定性相对要差一些，承载业务能力要弱一些，且更容易出故障，更容易达到应用瓶颈。

技术实现要素：

本发明所要解决的技术问题是针对现有技术的不足，提供一种资源数据调度系统及方法。

本发明解决上述技术问题的技术方案如下：一种资源数据调度系统，包括：

获取模块，用于建立与资源平台进行数据传输的数据接口，通过所述数据接口从所述资源平台的资源管理器中获取多条监控数据，所述多条监控数据中包括资源使用率；

计算模块，用于在预设时间段内计算所述资源使用率的平均值；

触发模块，用于将所述平均值与预设的资源阈值进行比较，如果平均值大于或等于所述资源阈值则发送执行信号至调度执行模块；

调度执行模块，用于根据所述执行信号检测所述资源平台中各硬件资源和软件资源是否可用，如果可用，则对所述资源平台执行主机迁移调度和执行业务应用扩展，否则发出告警提示。

本发明的有益效果是：能够根据资源使用率情况自动触发资源调度与管理，执行主机迁移调度和执行业务应用扩展，更高效快速的解决业务应用的弹性伸缩，更为合理的分配资源，保障资源平台中业务应用的高效稳定运行。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述硬件资源包括主机，所述软件资源包括虚拟机和业务应用。

采用上述进一步方案的有益效果是：调度前对资源平台中的硬件和软件资源进行可用性检测，使调度准确性更高。

进一步，所述调度执行模块包括：

检测单元，用于检测各资源设备中的主机、虚拟机和业务应用是否可用，如果可用，则发送第一调度信号至第一调度执行单元，以及发送第二调度信号至第二调度执行单元；否则发出告警提示；

所述第一调度执行单元，用于根据所述第一调度信号将虚拟机数据迁移至指定的节点中；当迁移不成功时，则发出告警提示；

所述第二调度执行单元，用于根据所述第二调度信号对所述资源平台中当前的虚拟机分布式节点进行业务应用扩展。

采用上述进一步方案的有益效果是：针对宿主机的资源使用情况进行虚拟机数据迁移调度，能够保障宿主机的cpu使用率、内存使用率、存储剩余量等使用更合理；针对业务应用引起的资源高占用情况，对业务应用进行扩展，来降低资源的消耗。

进一步，所述第二调度执行单元中，当业务应用扩展结束时，向当前的虚拟机分布式节点发送注册信息，以便所述扩展的业务应用启动。

采用上述进一步方案的有益效果是：保障扩展后的业务应用能够在资源平台中正常使用。

进一步，所述资源使用率包括cpu使用率和内存使用率。

本发明解决上述技术问题另一技术方案如下：一种资源数据调度方法，包括如下步骤：

步骤s1：建立与资源平台进行数据传输的数据接口，通过所述数据接口从所述资源平台的资源管理器中获取多条监控数据，所述监控数据中包括资源使用率；

步骤s2：在预设时间段内计算所述资源使用率的平均值；

步骤s3：将所述平均值与预设的资源阈值进行比较，如果平均值大于或等于所述资源阈值则执行步骤s4；

步骤s4：检测所述资源平台中各硬件资源和软件资源是否可用，如果可用，则对所述资源平台执行主机迁移调度和执行业务应用扩展，否则发出告警提示。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述硬件资源包括主机，所述软件资源包括虚拟机和业务应用。

进一步，所述步骤s4具体包括：

步骤s401:检测各资源设备中的主机、虚拟机和业务应用是否可用，如果可用，则执行步骤s402和步骤s403；否则执行步骤s404；

步骤s402:将虚拟机数据迁移至指定的节点中；当迁移不成功时，则执行步骤s404；

步骤s403:对所述资源平台中当前的虚拟机分布式节点进行业务应用扩展；

步骤s404:发出告警提示。

进一步，所述s403还包括，当业务应用扩展结束时，向当前的虚拟机分布式节点发送注册信息，以便所述扩展的业务应用启动。

进一步，所述资源使用率包括cpu使用率和内存使用率。

附图说明

图1为本发明实施例提供的资源数据调度系统的模块框图；

图2为本发明实施例提供的调度执行模块的模块框图；

图3为本发明实施例提供的资源数据调度方法的流程图；

图4为本发明实施例提供的数据迁移及业务应用扩展的流程图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

在技术飞速发展的云计算时代，越来越多的云化技术得到运用和实践。云化和分布式的架构给传统的软件系统带来的创新和变革，总结出传统技术的缺点：

1.孤立的资源管理，单一的监控告警，运维人员被动接收和处理。

2.资源使用情况异常的资源进行处理，实施故障处理和解决，如业务应用某一节点发生故障，很难快速发现哪个节点发生故障并快速处理保证业务应用不中断；

3.新增应用节点，调整节点，降低资源的负载，提高业务应用的性能。业务部署粒度过小，业务应用一般都包含前台页面、后台业务处理模块、多节点业务应用的负载均衡，逻辑复杂繁琐；

4.各应用承载资源彼此之间互相独立，基础资源复用，共用等模式基本难以实现。企业的多业务应用间存在资源竞争情况，应用业务的资源弹性调配难度困难大，资源使用极不合理；

当前的业务应用在现有的业务模式下，难以实现基础资源的弹性伸缩和动态调配。我们以提高基础资源的使用效率，增加业务应用安全性和高可用性，并以减轻运维人员的工作量为目的，对当前的云化业务运维模式进行了深度的优化：

(1)通过当前主流的系统将所有云化的基础资源进行异构整合，全部纳入系统化管理，通过系统对资源的使用情况，业务应用对资源的占用情况等做到精细化的了解和管理；

(2)通过系统对各业务应用进行精细化管理，包括应用类型，应用路径，应用进程，应用端口，应用启停模式及方法，部署环境，拓扑结构等等；

(3)通过系统对各业务应用和基础资源进行全面的监控，如业务状态，业务量，请求访问量，日志等；基础资源如主机，虚机的cpu，内存，磁盘，文件系统，系统负载，网络情况等等；

(4)云化和分布式架构下，底层资源完全屏蔽，通过合理的弹性伸缩机制和方法保障应用的高可用和灵活性。

为解决上述问题，本发明主要用于通过系统化管理，将基础资源，应用资源实现无缝的串联，再辅以全面化的监控技术，通过设定定时任务，监控阀值，再匹配合理的算法进行自动化伸缩调度，保障应用的高可用，实现资源的动态扩展及合理复用。

图1为本发明实施例提供的资源数据调度系统的模块框图；

如图1所示，一种资源数据调度系统，包括：

获取模块，用于建立与资源平台进行数据传输的数据接口，通过所述数据接口从所述资源平台的资源管理器中获取多条监控数据，所述多条监控数据中包括资源使用率；具体的，数据接口遵从openstack接口标准，便于集成整合开源新技术；

openstack接口标准本身提供两种调用的方式：

1、commandline：如novacreate，novastart等各种命令。

2、restfulwebservice：供openstack各个组件之间的调用，也可供外部调用；

本系统还包括计算模块，用于在预设时间段内计算所述资源使用率的平均值；

触发模块，用于将所述平均值与预设的资源阈值进行比较，如果平均值大于或等于所述资源阈值则发送执行信号至调度执行模块；平均值即可代表该资源近段时间的资源使用情况，忙时状态或闲时状态；

调度执行模块，用于根据所述执行信号检测所述资源平台中各硬件资源和软件资源是否可用，如果可用，则对所述资源平台执行主机迁移调度和执行业务应用扩展，否则发出告警提示。

上述实施例中，能够根据资源使用率情况自动触发资源调度与管理，执行主机迁移调度和执行业务应用扩展，更高效快速的解决业务应用的弹性伸缩，更为合理的分配资源，保障资源平台中业务应用的高效稳定运行。

可选地，作为本发明的一个实施例，所述硬件资源包括主机，所述软件资源包括虚拟机和业务应用。

上述实施例中，调度前对资源平台中的硬件和软件进行可用性检测，使调度准确性更高。

图2为本发明实施例提供的调度执行模块的模块框图；

可选地，作为本发明的一个实施例，如图2所示，所述调度执行模块包括：

检测单元，用于检测各资源设备中的主机、虚拟机和业务应用是否可用，如果可用，则发送第一调度信号至第一调度执行单元，以及发送第二调度信号至第二调度执行单元；否则发出告警提示；

所述第一调度执行单元，用于根据所述第一调度信号将虚拟机数据迁移至指定的节点中；当迁移不成功时，则发出告警提示；

所述第二调度执行单元，用于根据所述第二调度信号对所述资源平台中当前的虚拟机分布式节点进行业务应用扩展。具体的，在执行虚拟机数据迁移和业务应用扩展时，通过调用虚拟化api接口实现资源的伸缩。

上述实施例中，针对宿主机的资源使用情况进行虚拟机数据迁移调度，能够保障宿主机的cpu使用率、内存使用率、存储剩余量等使用更合理；针对业务应用引起的资源高占用情况，对业务应用进行扩展，来降低资源的消耗。

可选地，作为本发明的一个实施例，所述第二调度执行单元中，当业务应用扩展结束时，向当前的虚拟机分布式节点发送注册信息，以便所述扩展的业务应用启动。

上述实施例中，保障扩展后的业务应用能够在资源平台中正常使用。

可选地，作为本发明的一个实施例，所述资源使用率包括cpu使用率和内存使用率。具体的，在判断资源使用率的平均值时，cpu使用率和内存使用率的平均值与资源阈值进行比较时，采取两个条件任意满足一个的算法模式，满足阀值条件时系统就会自动触发执行资源调度，即弹性伸缩调度任务。

图3为本发明实施例提供的资源数据调度方法的流程图

如图3所示，一种资源数据调度方法，包括如下步骤：

步骤s1：建立与资源平台进行数据传输的数据接口，通过所述数据接口从所述资源平台的资源管理器中获取多条监控数据，所述多条监控数据中包括资源使用率；

步骤s2：在预设时间段内计算所述资源使用率的平均值；

步骤s3：将所述平均值与预设的资源阈值进行比较，如果平均值大于或等于所述资源阈值则执行步骤s4；

步骤s4：检测所述资源平台中各硬件资源和软件资源是否可用，如果可用，则对所述资源平台执行主机迁移调度和执行业务应用扩展，否则发出告警提示。

可选地，作为本发明的一个实施例，所述硬件资源包括主机，所述软件资源包括虚拟机和业务应用。

图4为本发明实施例提供的数据迁移及业务应用扩展的流程图；

可选地，作为本发明的一个实施例，如图4所示，所述步骤s4具体包括：

步骤s401:检测各资源设备中的主机、虚拟机和业务应用是否可用，如果可用，则执行步骤s402和步骤s403；否则执行步骤s404；

步骤s402:将虚拟机数据迁移至指定的节点中；当迁移不成功时，则执行步骤s404；

步骤s403:对所述资源平台中当前的虚拟机分布式节点进行业务应用扩展；

步骤s404:发出告警提示。

可选地，作为本发明的一个实施例，所述s403还包括，当业务应用扩展结束时，向当前的虚拟机分布式节点发送注册信息，以便所述扩展的业务应用启动。

可选地，作为本发明的一个实施例，所述资源使用率包括cpu使用率和内存使用率。具体的，在判断资源使用率的平均值时，cpu使用率和内存使用率的平均值与资源阈值进行比较时，采取两个条件任意满足一个的算法模式，满足阀值条件时系统就会自动触发执行资源调度，即弹性伸缩调度任务。

具体的在云化和分布式架构的应用管理场景中，弹性伸缩调度任务可执行如下步骤：

s01.管理系统接入管理资源池资源；

s02.针对资源部署标准化监控和告警；

s03.针对特定资源配置自动化调度策略(绑定资源，监控数据，策略判断条件)；

s04.针对特定资源配置自动化调度规则(满足调度条件时，执行那种伸缩方法)；

s05.调用管理服务api接口实现资源的伸缩或应用的弹性扩展。

自动资源弹性功能经过多次案例验证；自动管理弹性调度与业务关联较大，功能提供管理调度管理模板及三步曲管理，第一步根据业务稳定运营需要编写高可用性保障策略，根据具体业务故障监控和处理经验配置相对应的监控采集指标和采集周期；第二步：当满足弹性伸缩调度条件时，管理系统自动创建弹性伸缩调配任务，任务会自动化执行输出相关日志和伸缩报告；第三步：积累自动化弹性伸缩业务解决方案并固化，将从监控采集，策略配置，策略触发判断，伸缩调度等环节固化，形成流程化体系，后续再新加入资源只需要加入该流程或体系就自动增加了高可用保障措施，更为简洁高效的实现业务系统的稳定运行。

针对管理弹性调度，可以把系统自动运维风险降到最低，并持续积累自动运维知识，为系统系统后续稳定运行提供方法保障；运用当前主流的云化前沿技术，使得该技术的运用面更广，更符合云化的发展方向；将云化基础资源与业务应用实现无缝的衔接起来，通过定制化的监控，灵活的调度，实现资源和应用之间的自由调配；完全通过系统的自动化实现资源的动态调配和弹性伸缩，更为高效，稳定保障系统的运行。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。