一种针对海量任务的资源调度方法和系统的制作方法
【技术领域】
[0001]本发明涉及一种资源调度方法和系统，具体涉及一种针对海量任务的资源调度方法和系统。
【背景技术】
[0002]云计算系统，其性能指标主要取决于其运行于其上的应用特征(包括应用的执行花费、各任务间的通信成本等)和平台特征(处理器的计算能力、处理器的数量等)。为了提升系统的处理性能，有效利用系统的资源，通常需要把一个任务进行分解，再为每个子任务分配并调度资源。
[0003]基于云计算平台的网络安全监控系统，如对安全基础信息的收集、被黑和仿冒网站检测、域名(含服务器)安全监测等，任务项非常庞大，一个任务可被拆分为大量的子任务，如对海量目标网站进行探测以收集基本信息，对产生的结果中的外链还需要进行递归扫描，涉及到对海量目标集更新状态与去重。若云平台中的海量任务不能合理分配资源，会导致云平台系统资源负担增加，出现宕机的现象，导致整体云平台系统无法正常工作。
【发明内容】
[0004]为了克服上述现有技术的不足，本发明提供一种针对海量任务的资源调度方法和系统。本发明对云平台中海量任务进行合理分配，降低了系统的资源负担。
[0005]为了实现上述发明目的，本发明采取如下技术方案:
[0006]一种针对海量任务的资源调度方法，所述方法包括如下步骤:
[0007](I)分解海量任务并对子任务的资源占用情况进行监控；
[0008](2)计算已完成子任务资源占用值与预设值之间的资源距离参数；
[0009](3)根据所述资源距离参数分配将要执行任务队列中子任务的资源。
[0010]优选的，所述步骤⑴包括如下步骤:
[0011]步骤101、建立基础任务类型，并设定各类基础任务所需的资源数量；
[0012]步骤102、接收海量任务，按照预设优先级策略将海量任务入队列；
[0013]步骤103、利用蚁群算法分配资源，并监控任务队列内子任务的资源使用情况。
[0014]优选的，所述步骤⑵包括如下步骤:
[0015]步骤201、依据资源监控记录数据，计算已完成任务队列中子任务各资源类型预设值与实际使用值之间的距离，生成资源距离参数；
[0016]步骤202、将资源距离参数反馈到资源调度程序。
[0017]优选的，所述步骤⑶包括如下步骤:
[0018]步骤301、根据资源距离参数，调整预设任务类型所需的资源；
[0019]步骤302、重新计算云计算平台的资源，得出后续执行的子任务数量；
[0020]步骤303、依据得出的子任务数量执行任务队列中的子任务并分配相关资源。
[0021]优选的，一种针对海量任务的资源调度系统，所述系统包括:
[0022]任务解析模块，用于分解海量任务并对子任务的资源占用情况进行监控；
[0023]计算模块，用于计算已完成子任务资源占用值与预设值之间的资源距离参数；
[0024]资源调度模块，用于根据所述资源距离参数分配将要执行任务队列中子任务的资源。
[0025]优选的，所述任务解析模块包括:
[0026]任务类型管理模块，用于建立基础任务类型，设定各类基础任务所需的资源数量;
[0027]任务分发模块，用于按照预设优先级策略和任务类型将海量任务入队列；
[0028]任务监控模块，用于监控任务队列内子任务的资源使用情况。
[0029]优选的，所述计算模块依据资源监控记录数据，计算已完成任务队列中子任务各资源类型预设与实际使用间的距离，生成资源距离参数，并将其反馈到资源调度模块。
[0030]优选的，所述资源调度模块分配任务队列中子任务资源包括如下步骤:
[0031]接收子任务的资源距离参数，调整预设任务类型所需的资源；
[0032]重新计算云计算平台的资源，得出后续执行的子任务数量；
[0033]依据得出的子任务数量执行任务队列中的子任务并分配相关资源。
[0034]与现有技术相比，本发明的有益效果在于:
[0035]本发明对云平台中海量任务下的资源进行合理的分配、调整和回收，动态调整各任务的分配情况，合理分配系统资源，降低系统的资源负担。
【附图说明】
[0036]图1是本发明提供的一种针对海量任务的资源调度方法流程图，
[0037]图2是本发明提供的一种针对海量任务的资源调度系统架构图。
【具体实施方式】
[0038]下面结合附图对本发明作进一步详细说明。
[0039]如图1所示，一种针对海量任务的资源调度方法，具体方法如下:
[0040]1、建立基础任务类型，并设定各类基础任务所需的资源数量；
[0041]2、接收海量任务，按照预设优先级策略将海量任务入队列；
[0042]3、利用蚁群算法分配资源，并监控任务队列内子任务的资源使用情况
[0043]4、依据资源监控记录数据，计算已完成任务队列中子任务各资源类型预设与实际使用间的距离，生成资源距离参数
[0044]5、观察任务队列中子任务的资源使用情况，生成资源监控记录数据；
[0045]6、依据资源监控记录数据，计算已完成任务队列中子任务各资源类型预设与实际使用间的距离，生成资源距离参数；
[0046]7、根据资源距离参数，调整预设任务类型所需的资源；
[0047]8、重新计算云计算平台的资源，得出后续执行的子任务数量；
[0048]9、依据得出的子任务数量执行任务队列中的子任务并分配相关资源。
[0049]如图2所示，一种针对海量任务的资源调度系统，该系统包括:任务解析模块、计算模块和资源调度模块。
[0050]其中，任务解析模块，用于分解海量任务并对子任务的资源占用情况进行监控；
[0051]计算模块，用于计算已完成子任务资源占用值与预设值之间的资源距离参数；
[0052]资源调度模块，用于根据所述资源距离参数分配将要执行任务队列中子任务的资源。
[0053]任务解析模块中包括:任务类型管理模块、任务分发模块和任务监控模块。
[0054]其中，任务类型管理模块，用于建立基础任务类型，设定各类基础任务所需的资源数量；
[0055]任务分发模块，用于按照预设优先级策略和任务类型将海量任务入队列，如队列I和队列2 ；
[0056]任务监控模块，用于监控任务队列内子任务的资源使用情况。
[0057]计算模块依据资源监控记录数据，计算已完成任务队列中子任务各资源类型预设与实际使用间的距离，生成资源距离参数，并将其反馈到资源调度模块。
[0058]其中，监控的资源包括云计算平台的CPU、内存、磁盘和带宽等的使用情况。
[0059]资源调度模块的处理流程如下:
[0060]资源调度模块接收子任务的资源距离参数，调整预设任务类型所需的资源；
[0061]重新计算云计算平台的资源，得出后续执行的子任务数量；
[0062]依据得出的子任务数量执行任务队列中的子任务并分配相关资源。
[0063]最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解:依然可以对本发明的【具体实施方式】进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。
【主权项】
1.一种针对海量任务的资源调度方法，其特征在于，所述方法包括如下步骤: (1)分解海量任务并对子任务的资源占用情况进行监控； (2)计算已完成子任务资源占用值与预设值之间的资源距离参数； (3)根据所述资源距离参数分配将要执行任务队列中子任务的资源。2.根据权利要求1所述资源调度方法，其特征在于，所述步骤(I)包括如下步骤: 步骤101、建立基础任务类型，并设定各类基础任务所需的资源数量； 步骤102、接收海量任务，按照预设优先级策略将海量任务入队列； 步骤103、利用蚁群算法分配资源，并监控任务队列内子任务的资源使用情况。3.根据权利要求1所述资源调度方法，其特征在于，所述步骤(2)包括如下步骤: 步骤201、依据资源监控记录数据，计算已完成任务队列中子任务各资源类型预设值与实际使用值之间的距离，生成资源距离参数； 步骤202、将资源距离参数反馈到资源调度程序。4.根据权利要求1所述资源调度方法，其特征在于，所述步骤(3)包括如下步骤: 步骤301、根据资源距离参数，调整预设任务类型所需的资源； 步骤302、重新计算云计算平台的资源，得出后续执行的子任务数量； 步骤303、依据得出的子任务数量执行任务队列中的子任务并分配相关资源。5.一种针对海量任务的资源调度系统，其特征在于，所述系统包括: 任务解析模块，用于分解海量任务并对子任务的资源占用情况进行监控； 计算模块，用于计算已完成子任务资源占用值与预设值之间的资源距离参数； 资源调度模块，用于根据所述资源距离参数分配将要执行任务队列中子任务的资源。6.根据权利要求5所述资源调度系统，其特征在于，所述任务解析模块包括: 任务类型管理模块，用于建立基础任务类型，设定各类基础任务所需的资源数量； 任务分发模块，用于按照预设优先级策略和任务类型将海量任务入队列； 任务监控模块，用于监控任务队列内子任务的资源使用情况。7.根据权利要求5或6所述资源调度系统，其特征在于，所述计算模块依据资源监控记录数据，计算已完成任务队列中子任务各资源类型预设与实际使用间的距离，生成资源距离参数，并将其反馈到资源调度模块。8.根据权利要求5或6所述资源调度系统，其特征在于，所述资源调度模块分配任务队列中子任务资源包括如下步骤: 接收子任务的资源距离参数，调整预设任务类型所需的资源； 重新计算云计算平台的资源，得出后续执行的子任务数量； 依据得出的子任务数量执行任务队列中的子任务并分配相关资源。
【专利摘要】本发明提供一种针对海量任务的资源调度方法和系统，所述方法包括：(1)分解海量任务并对子任务的资源占用情况进行监控；(2)计算已完成子任务资源占用值与预设值之间的资源距离参数；(3)根据所述资源距离参数分配将要执行任务队列中子任务的资源。所述系统包括：任务解析模块、计算模块和资源调度模块。本发明对云平台中海量任务下的资源进行合理的分配、调整和回收，动态调整各任务的分配情况，合理分配系统资源，降低系统的资源负担。
【IPC分类】G06F9/50
【公开号】CN105094987
【申请号】CN201510435007
【发明人】徐原, 胡俊, 何世平, 高胜, 李洪生, 赵慧, 党向磊, 徐晓燕, 刘婧, 饶毓, 赵宸, 李世淙, 陈阳
【申请人】国家计算机网络与信息安全管理中心
【公开日】2015年11月25日
【申请日】2015年7月22日