专利名称：分布式高性能计算环境中实时任务的调度方法
技术领域：
本发明涉及一种分布式高性能计算领域，特指一种针对实时任务的调度方法及其实现技术。
背景技术：
随着高性能分布式系统在工业和商业领域得到日益广泛的应用，大量上层应用对系统所能提供的实时性保证能力提出了更高的要求。电子商务中分布式数据库的实时查询、远程虚拟医疗中的实时视频传输、复杂金融模型的实时计算、大型气候预测模型的实时监测、军事作战系统的实时指挥与部署等。因此，实时性约束下的任务协同调度正成为当前一个亟待解决的问题。
分布式高性能计算环境的特点是开放性、异构性、动态性。在分布式高性能计算环境中，实时任务的主要特征是(1)任务的起始时间和截止时间约束具有最高的优先级，若任务的实时性需求无法得到有效保证，则可能导致重大的经济损失或人员伤亡；(2) 任务的实时性需求描述通常以QoS指标的形式由用户在提交任务时明确指出，系统只有在运行时刻才能获知任务的实时性需求，由于分布式系统中存在大量异构任务，传统的严格基于优先级的任务调度机制无法完全实现实时性保证；(3)相对于较封闭系统(如嵌入式系统)中的实时任务而言，分布式环境中实时任务的实时性需求相对较为宽松，其时间误差单位一般为秒或分钟，而非嵌入式系统中的毫秒；由于冗余调度策略的存在，系统通常允许少量的截止时间违约情况的发生。此类任务通常称为“软实时型任务”(Soft Real-Time Task)，或称系统为用户提供“软实时保证”。
结合以上关于分布式计算环境和实时任务的特点，为分布式系统中提供实时性保证的难点与挑战主要体现在下列五个方面(1)资源异构性使得分布式系统缺少一致的尺度来评估资源的服务能力，任务调度器很难将任务的实时性需求映射到最优的资源集合， 从而无法向用户提供实时性保证的承诺。( 资源负载压力和服务能力在系统运行过程中处于不断动态变化之中，常规的基于资源静态性能指标的调度策略无法有效保证任务的实时性需求。(3)负载的剧烈变化使得系统很难在较长时间范围内给出一个较为稳定的实时性保证承诺。(4)分布式系统通常由多个“自治”的虚拟资源子站点组成，因此资源在系统中的可用性和可获得性具有很大的不确定性，且各个虚拟资源站点内部在资源管理时通常采用不同的管理策略，使得任务在进行跨组织的多资源协同访问时难以获得一致的实时性保证。(5)任务的QoS需求指标中存在与实时性需求对立的指标，如费用约束、可靠性约束、 安全性约束等，这些指标都可能对任务的实时性需求产生不利影响。任务调度器需要在多个QoS指标之间进行权衡，从而显著增加了调度器的设计难度和执行效率。
以下是关于已有的若干分布式实时任务调度技术的简要概括和缺陷分析
(1)提前预留技术该技术被广泛应用于各类分布式系统，目的在于提高资源分配时刻的“可获得性”，从而为实时任务的起始时间约束提供保证。但是，提前预留技术不能提供任何关于“截止时间”的保证。此外大量研究报告显示，过度使用提前预留技术会显著降低系统的整体性能。
(2)基于最优规划理论的实时调度技术这类技术的要点是以“平均截止时间违约率”为目标函数，将资源可用性、任务需求等指标作为约束条件，从而将实时任务的调度问题归结为“约束条件下的最优规划问题”。这类技术的优点是能够获得一个理论上的最优实时调度方案，但其主要不足之处是首先，其调度算法的时间复杂度很高，这导致调度算法的时间开销随系统规模增大而显著增加；其次，调度算法所依据的是资源的静态服务能力，而分布式系统的动态性导致资源的实际服务能力是随时间而显著波动的，因此即使通过该技术得到了理论上的最优调度方案，当系统负载剧烈波动时，调度方案的实际执行效果往往很差。
(3)基于闭环反馈控制理论的实时任务调度技术这类技术借鉴了控制理论的 “闭环负反馈”模型，将调度方案的执行结果作为输入，用于修正随后调度方案的准确性。该类技术的主要不足之处在于首先，分布式系统的动态性导致其工作负载很难用简单的“线性模型”描述，因此“闭环负反馈”模型的输入参数必须做很多不适合于分布式系统的假设； 其此，闭环反馈模型的控制参数只能依据经验值进行拟合，其准确性随不同系统的差异而显著变化，这导致该类技术的通用性不高；最后，闭环反馈模型需要依据从前的执行结果来修正未来的调度方案，由于分布式系统的异构性使得调度方案的最终执行结果具有很大的波动性，这导致闭环反馈输出很可能不能起到校准修正的作用，反而在某些场合会降低实际的调度效果。发明内容
本发明的目的是提供一种(1)为异构的分布式资源的动态服务能力建立一个标准的度量尺度，从而为实时任务调度提供一套统一的资源性能参数；( 为分布式资源的实际服务性能建立相应动态的模型，从而保证任务调度算法能够适应开放性和动态性都极强的分布式计算环境；C3)提供一个通用量化的评估方法，用于分析调度方案最终能在多大程度保证实时任务的截止时间要求，从而为用户提前预测调度效果提供支持。
本发明的技术方案是，一种分布式高性能计算环境中实时任务的调度方法，其特征在于
步骤一.采用随机服务理论，建立分布式资源的动态服务能力模型；具体流程如下
(1)选择典型的工作任务负载注入目标系统，其执行过程和执行结果相关的日志统计信息存入“日志统计数据库”和“随机模型参数库”；
(2) “随机模型参数库”依据步骤1所得日志统计信息进行提炼和筛选，对各种统计参数所适用的概率分布模型进行回归逼近；
(3)依据步骤2所得的参数概率分布模型，建立相应的随机服务模型，并以七元组 <ID :Prol/Pro2/Con/Sl/S2/S3>的形式存入“资源随机模型库”;其中，ID为随机模型名称， Prol为任务到达间隔的概率分布模型，Pro2为服务时间的概率分布模型，Sl为时间窗口内的平均并发服务数，S2和S3为特殊服务模型的特定参数；
(4)当前任务的统计信息通过“参数拟合与校准”与以前建立的随机服务模型进行误差校准与拟合；具体方法是以时间窗口尺寸S为周期，对在该时间窗口内的统计信息进行滑动平均；
步骤二 .量化计算调度方案对任务的实时性保证度，具体步骤如下
(1)输入特定任务的需求描述，以及步骤一所建立的资源服务能力模型及其特征参数；
(2)若任务可切分为完全独立的子任务，则分别计算出各个子任务的实时性保证度；若任务为工作流任务，则将其前驱任务的关联程度作为影响因子SCq并入实时性保证度中，SCy计算公式如下所示
权利要求
1. 一种分布式高性能计算环境中实时任务的调度方法，其特征在于步骤一.采用随机服务理论，建立分布式资源的动态服务能力模型；具体流程如下(1)选择典型的工作任务负载注入目标系统，其执行过程和执行结果相关的日志统计信息存入“日志统计数据库”和“随机模型参数库”；(2)“随机模型参数库”依据步骤1所得日志统计信息进行提炼和筛选，对各种统计参数所适用的概率分布模型进行回归逼近；(3)依据步骤2所得的参数概率分布模型，建立相应的随机服务模型，并以七元组<ID Prol/Pro2/Con/Sl/S2/S3>的形式存入“资源随机模型库”;其中，ID为随机模型名称，Prol 为任务到达间隔的概率分布模型，Pro2为服务时间的概率分布模型，Sl为时间窗口内的平均并发服务数，S2和S3为特殊服务模型的特定参数；(4)当前任务的统计信息通过“参数拟合与校准”与以前建立的随机服务模型进行误差校准与拟合；具体方法是以时间窗口尺寸S为周期，对在该时间窗口内的统计信息进行滑动平均；步骤二 .量化计算调度方案对任务的实时性保证度，具体步骤如下(1)输入特定任务的需求描述，以及步骤一所建立的资源服务能力模型及其特征参数；(2)若任务可切分为完全独立的子任务，则分别计算出各个子任务的实时性保证度； 若任务为工作流任务，则将其前驱任务的关联程度作为影响因子SCq并入实时性保证度中，SCy计算公式如下所示
全文摘要
本发明公开一种针对分布式高性能计算系统的实时任务调度方法。该调度方法采用随机服务理论来计算资源动态服务能力与任务实时性需求两者之间的匹配关系，然后通过一个可扩展的多策略混合调度体系来评估各种调度策略所对应的实时保证度，并选择实时保证能力最优策略为任务提供调度服务，从而提高分布式实时任务的QoS满意度。该实时调度方法的主要优点是在负载随机性极强的分布式系统中，可动态、高效地定量分析“负载波动-实时保证”两者之间的关系；采用可扩展的设计模式，可以高效地集成已有各种调度算法和策略，并在系统运行时刻进行自适应地调整调度策略。
文档编号G06F9/46GK102495758SQ201110396799
公开日2012年6月13日 申请日期2011年12月5日 优先权日2011年12月5日
发明者李玺, 肖鹏, 胡志刚, 阎朝坤 申请人:中南大学