一种云计算平台作业调度方法及装置的制造方法
【技术领域】
[0001] 本发明涉及计算机信息处理技术领域，尤其涉及一种云计算平台作业调度方法及 装直。
【背景技术】
[0002] 随着用户规模的不断增长和精细化运营管理要求的不断提高，移动通信运营商 内部的分析系统，如BASS、VGOP、F0S等系统都面临大数据时代的冲击，原有的系统架构已 不能满足业务的需求，普遍存在以下的问题：1、处理性能不足，无法满足大数据和非结构化 数据的处理性能要求；2、建设维护成本高，原有的"小型机+高端存储+关系型数据库"模 式，软硬件采购及维护费用都非常高；3、系统可靠性不高；4、扩展性较差，无法快速线性扩 展来满足数据处理增长的要求；
[0003] 而以Hadoop为代表的云计算技术的出现，较好的解决了这些问题，因此移动通信 运营商的分析系统都逐步向云计算平台实施转型。但随着云计算平台的规模不断扩大，必 需考虑在一定资源限度下最有效承载各种业务，因此，如何提高云计算平台的资源利用率 成为了影响云计算平台使用效果的关键因素，从而成为我们需要迫切解决的一个问题。
[0004] BASS (Business Analyse Support System)为移动运营商经营分析系统，是指 以企业决策支持、市场经营分析和一线营销服务支撑为服务目标的智能支撑信息系统； VGOP(Value-added Service General Operation Platform)为移动运营商增值业务综 合运营平台，负责提供跨业务平台统一运营能力的数据业务支撑系统；F0S(data Flow Operation Management System)为移动运营商流量经营综合运营管理系统，提供分析挖 掘、精确营销和管理能力的IT支撑系统。
[0005] 在现有架构下，各业务系统独立的提交作业给云计算平台，并预先声明资源需求。 云计算平台接收作业并放入统一的作业队列中，作业调度模块按照一个简单的先进先出 (FIFO队列）调度算法进行作业调度，并按照各作业预先提出的资源需求进行资源分配，先 到先得。所有作业的资源需求均需要提前确认，多任务之间的资源争用及作业之间依赖关 系也需要在提交作业之前提前规划。
[0006] 现有的架构在单一的业务系统中使用时有较高的调度效率，但是在多系统的复杂 业务环境下，存在资源使用不均衡、无法反应业务特性、缺乏动态调度机制等问题，具体如 下：
[0007](一）资源使用不均衡
[0008] 云计算平台共有400个CPU内核（CPU core)的物理资源。在某一时段，只有一个 作业ID为2. 1的BASS接口数据处理作业运行，该作业的资源需求为100个CPU core，远小 于云计算平台现有可用的资源，但云计算平台只能按照该作业提交的资源需求分配100个 CPU core，无法分配更多的资源给该作业，导致云计算平台资源闲置，而该作业的运行时间 也较长。如能自动增加分配该作业的资源，则可将作业运行时间大幅度缩短。
[0009](二）无法根据作业优先级调度
[0010] 云计算平台共有400个CPU core的物理资源。在某一时段，已有ID为1. 3的FOS 系统汇总层数据处理作业开始运行，该作业占用300个CPU core，预计作业执行时间为2个 小时，优先级别为低。若此时有一个ID为4. 1的多平台数据统计的临时作业提交，该作业 优先级别为高，资源需求为200个CPUcore，预计运行时间为10分钟。按照云计算平台现有 的管理方式，ID为4. 1的作业需要排队等待ID为1. 3的作业全部完成后释放资源才能开 始运行，需等待2小时左右，不能满足高优先级作业的时间要求。如能暂停ID为1. 3的作 业优，优先先执行ID为4. 1的作业，则仅需10余分钟即可完成高优先级作业。
[0011](三）无法根据业务特性和依赖性进行调度
[0012] 云计算平台的2个作业存在依赖关系，作业ID为2. 3的BASS系统汇总数据处理 作业依赖于作业ID为2. 2的BASS系统轻度汇总数据处理作业的结果。因某些原因（作业 提交时间延迟、作业异常中断、资源争用等）导致队列中ID为2. 3的作业排在ID为2. 2的 作业之前时，现有的管理方式将首先运行ID为2. 3的作业，导致该作业数据处理结果异常。 在多个业务系统的复杂环境下，系统之间及系统内部的作业存在依赖性和严格的串行处理 顺序，现有架构不能自动处理这些关系，更无法保证关键路径作业的按时处理。
【发明内容】
[0013] 为了解决现有技术中无法根据作业优先级调度，无法根据业务特性和依赖性进行 作业调度，云计算平台资源使用不均衡的技术问题，本发明提出一种云计算平台作业调度 方法及装置。
[0014] 本发明的一个方面，提供一种云计算平台作业调度方法，包括：
[0015] 对接收到的作业进行解析，获得所述作业的特征参数；
[0016] 根据所述作业的特征参数计算所述作业的资源需求；
[0017] 根据所述作业的资源需求及云计算平台资源剩余信息为所述作业分配资源；
[0018] 将资源分配结果发送到云计算平台执行作业。
[0019] 本发明的另一个方面，提供一种云计算平台作业调度装置，包括：
[0020] 作业解析模块，用于对接收到的作业进行解析，获得所述作业的特征参数；
[0021] 资源计算模块，用于根据所述作业的特征参数计算所述作业的资源需求；
[0022] 资源分配模块，用于根据所述作业的资源需求及云计算平台资源剩余信息为所述 作业分配资源；
[0023] 作业发送模块，用于将资源分配结果发送到云计算平台执行作业。
[0024] 本发明的云计算平台作业调度方法及装置，通过对作业所需资源的估算，结合云 计算平台资源占用情况，对云计算平台的作业进行统一的实时动态调度，达到资源自动化 管理分配的目标，均衡云计算平台负载，提高现有资源的利用率，保证业务处理的有序性， 实现自动合理的资源分配。
【附图说明】
[0025] 图1是本发明云计算平台作业调度方法实施例的流程图；
[0026] 图2是本发明作业与系统的特性表的示意图；
[0027] 图3是本发明云计算平台作业调度装置实施例的结构图；
[0028] 图4是本发明云计算平台作业调度方法另一实施例的流程图；
[0029] 图5是本发明云计算平台作业调度方法再一实施例的流程图；
[0030] 图6是本发明资源分配模块从作业发送模块获取的作业队列情况示意图；
[0031] 图7是本发明另一作业与系统