一种任务调度的方法、装置及设备的制造方法
【技术领域】
[0001]本发明涉及计算机技术领域，尤其涉及一种任务调度的方法、装置及设备。
【背景技术】
[0002]数据仓库用于从数据库中获取信息，其任务对应一个或多个数据处理步骤，各任务之间可能存在单向依赖、独立或时间约束等特点。任务调度系统是数据仓库的重要组成部分，用于调度数据仓库的计算资源完成各个任务处理。
[0003]现有的数据仓库任务调度的过程为:任务调度系统根据数据开发人员在任务部署系统中配置的任务集合，以及任务集合中各任务依赖关系等，驱动任务执行；每个任务执行完成后，再依次或者根据任务间的依赖关系执行下一个任务，并不会考虑下一个任务所需资源量的大小，导致任务执行过程资源利用率低，处理性能低。
【发明内容】
[0004]本发明实施例提供一种任务调度的方法、装置及设备，可提高数据处理性能和资源利用率。
[0005]本发明第一方面提供了一种任务调度的方法，包括:
[0006]获取用于执行任务的可用计算资源信息；
[0007]在接收到已配置完成的任务集合时，确定所述任务集合中每个任务的资源消耗信息;
[0008]将所述任务集合中每个任务的资源消耗信息与所述可用计算资源信息进行比较，并将所述任务集合中对应比较结果满足预置的任务调度条件的任务确定为目标任务。
[0009]在第一种可能的实现方式中，所述方法还包括:
[0010]根据所述任务集合中每个任务的任务依赖关系和/或时间依赖关系，生成任务调度图；
[0011]其中，所述任务调度图包括标识所述任务集合中每个任务的任务标记和标识任务间任务依赖关系和/或时间依赖关系的关系标记。
[0012]结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述任务调度图还包括所述任务集合中每个任务的资源消耗信息标记和从所述任务集合中确定出的目标任务的执行进度；
[0013]其中，所述资源消耗信息标记用于标识所述任务集合中每个任务的资源消耗信息；所述目标任务的执行进度是根据目标任务的资源消耗信息和当前检测到的所述目标任务在执行过程中的已消耗资源信息获得的。
[0014]结合第一方面，或第一方面的第一种可能的实现方式，或第一方面的第二种可能的实现方式，在第三种可能的实现方式中，在接收到已配置完成的任务集合时，所述确定出所述任务集合中每个任务的资源消耗信息，包括:
[0015]从任务资源消耗映射表中查找所述任务集合中每个任务在上一调度周期的实际资源消耗信息；
[0016]根据上一调度周期的实际资源消耗信息估算所述任务集合中每个任务在当前调度周期的资源消耗信息；
[0017]其中，所述任务资源消耗映射表为预先设置的记录有所述任务集合中各任务在上一调度周期执行后的实际资源消耗信息。
[0018]结合第一方面，或第一方面的第一种可能的实现方式，或第一方面的第二种可能的实现方式，或第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述将所述每个任务的资源消耗信息与所述可用计算资源信息进行比较，并将所述任务集合中对应比较结果满足预置的任务调度条件的任务确定为目标任务，包括:
[0019]将所述任务集合每个任务的所述资源消耗信息指示的资源消耗量与所述可用计算资源信息指示的可用资源量进行比较；
[0020]当比较结果为任务的所述资源消耗量小于所述可用资源量时，则记录该任务对应的比较结果满足预置的任务调度条件；
[0021]将所述任务集合中记录比较结果满足所述任务调度条件的至少一个任务确定为当前调度周期的目标任务。
[0022]结合第一方面，或第一方面的第一种可能的实现方式，或第一方面的第二种可能的实现方式，或第一方面的第三种可能的实现方式，在第五种可能的实现方式中，所述将所述每个任务的资源消耗信息与所述可用计算资源信息进行比较，并将所述任务集合中对应比较结果满足预置的任务调度条件的任务确定为目标任务，包括:
[0023]根据所述任务集合中每个任务的资源消耗信息指示的任务集群类型和所述可用计算资源信息指示的可用集群类型，从所述任务集合中确定出所述任务集群类型与所述可用集群类型匹配的任务子集合；
[0024]将所述任务子集合中任务的资源消耗信息指示的资源消耗量与所述可用计算资源信息指示的可用资源量进行比较；
[0025]当比较结果为任务的所述资源消耗量小于所述可用资源量时，则记录该任务对应的比较结果满足预置的任务调度条件；
[0026]将所述任务子集合中记录比较结果满足所述任务调度条件的至少一个任务作为当前调度周期的目标任务。
[0027]结合第一方面，或第一方面的第一种可能的实现方式，或第一方面的第二种可能的实现方式，或第一方面的第三种可能的实现方式，或第一方面的第四种可能的实现方式，或第一方面的第五种可能的实现方式，在第六种可能的实现方式中，所述将所述每个任务的资源消耗信息与所述可用计算资源信息进行比较，并将所述任务集合中对应比较结果满足预置的任务调度条件的任务确定为目标任务之后，还包括:
[0028]控制所述任务集合中确定的目标任务执行；
[0029]当所述目标任务执行完成后，获取所述目标任务在当前调度周期的实际资源消耗信息；
[0030]根据所述当前调度周期的实际资源消耗信息，更新预置的任务资源消耗映射表中记录的所述目标任务的实际资源消耗信息。
[0031]结合第一方面的第二种可能的实现方式，在第七种可能的实现方式中，所述方法还包括:
[0032]当所述任务集合中每个任务的所述资源消耗信息指示的资源消耗量大于所述可用计算资源信息所指示的可用资源量时，发出提示消息以提示优化该任务；
[0033]或者，所述任务调度图中生成的任务执行进度小于预设阈值时，发出提示消息以提不优化该任务。
[0034]本发明第二方面提供一种任务调度的装置，包括:
[0035]可用计算资源信息获取模块，用于获取用于执行任务的可用计算资源信息；
[0036]任务资源消耗信息确定模块，用于在接收到已配置完成的任务集合时，确定所述任务集合中每个任务的资源消耗信息；
[0037]比较确定模块，用于将所述任务资源消耗信息确定模块确定的每个任务的资源消耗信息与所述可用计算资源信息获取模块获得的可用计算资源信息进行比较，并根据所述比较结果，将所述任务集合中对应比较结果满足预置的任务调度条件的任务确定为目标任务。
[0038]结合第二方面，在第一种可能的实现方式中，所述装置还包括:
[0039]任务调度图生成模块，用于根据所述任务集合中每个任务的任务依赖关系和/或时间依赖关系，生成任务调度图；
[0040]其中，所述任务调度图包括标识所述任务集合中每个任务的任务标记和标识任务间任务依赖关系和/或时间依赖关系的关系标记。
[0041]结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述任务调度图生成模块生成的任务调度图还包括所述任务集合中每个任务的资源消耗信息标记和从所述任务集合中确定出的目标任务的执行进度；
[0042]其中，所述资源消耗信息标记用于标识所述任务集合中每个任务的资源消耗信息；所述目标任务的执行进度是根据目标任务的资源消耗信息和当前检测到的所述目标任务在执行过程中的已消耗资源信息获得的。
[0043]结合第二方面，或第二方面的第一种可能的实现方式，或第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述任务资源消耗信息确定模块，包括:
[0044]查找单元，用于在接收到已配置完成的任务集合时，从任务资源消耗映射表中查找所述任务集合中每个任务在上一调度周期的实际资源消耗信息；
[0045]估算单元，用于根据所述查找单元查找的实际资源消耗信息估算所述任务集合中每个任务在当前调度周期的资源消耗信息；
[0046]其中，所述任务资源消耗映射表为预先设置的记录有所述任务集合中各任务在上一调度周期执行后的实际资源消耗信息。
[0047]结合第二方面，或第二方面的第一种可能的实现方式，或第二方面的第二种可能的实现方式，或第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述比较确定t吴块，包括:
[0048]第一比较单元，用于将所述任务集合每个任务的所述资源消耗信息指示的资源消耗量与所述可用计算资源信息指示的可用资源量进行比较；
[0049]第一记录单元，用于当所述第一比较单元的比较结果为任务的所述资源消耗量小于所述可用资源量时，则记录该任务对应的比较结果匹配预置的任务调度条件；
[0050]第一确定单元，用于将所述任务集合中所述第一记录单元记录比较结果满足所述任务调度条件的至少一个任务确定为当前调度周期的目标任务。
[0051]结合第二方面，或第二方面的第一种可能的实现方式，或第二方面的第二种可能的实现方式，或第二方面的第三种可能的实现方式，在第五种可能的实现方式中，所述比较确定t吴块，包括:
[0052]类型匹配单元，用于将所述任务集合中每个任务的资源消耗信息指示的任务集群类型和所述可用计算资源信息指示的可用集群类型进行比较，从所述任务集合中确定出所述任务集群类型与所述可用集群类型匹配的任务子集合；
[0053]第二比较单元，用于将所述类型匹配单元确定的任务子集合中任务的资源消耗信息指示的资源消耗量与所述可用计算资源信息指示的可用资源量进行比较；
[0054]第二记录单元，用于当所述第二比较单元的比较结果为任务的所述资源消耗量小于所述可用资源量时，则记录该任务对应的比较结果满足预置的任务调度条件；
[0055]第二确定单元，用于将所述任务子集合中所述第二记录单元记录的比较结果满足所述任务调度条件的至少一个任务作为当前调度周期的目标任务。
[0056]结合第二方面，或第二方面的第一种可能的实现方式，或第二方面的