技术特征：
1.一种应用感知的多租户coflow调度方法，其特征在于，包括：s1，分布式并行计算系统根据租户需求，执行计算过程，并采集计算过程中的coflow流量信息；s2，分析s1采集到的coflow流量信息，根据coflow流量信息构建nhpp排队模型，模拟coflow流量信息，结合s1实际采集的coflow流量信息与nhpp排队模型的信息，建立租户到达模型；s3，根据租户到达模型，模拟租户的动态需求，引入租户长期隔离进度p
1*
，采用nhdrf算法对p
1*
进行求解，使coflow达到租户长期隔离进度p
1*
，保障租户最低带宽，实现租户隔离与应用感知；s4，在保障租户最低带宽后，针对网络带宽利用率低的问题，对coflow调度问题进行建模，通过拉格朗日对偶优化，求解性能最优进度p
2*
，以实现最小化coflow完成时间和最大化实际分配带宽；s5，基于步骤s3和s4得到租户进度的取值范围p∈(p
1*
,p
2*
)，实现应用感知的多租户coflow调度。2.根据权利要求1所述的一种应用感知的多租户coflow调度方法，其特征在于，步骤s2中，分析s1采集到的mapreduce过程中多种计算过程的coflow流量信息，得出其计算过程具有重复规律的特征，根据得出的特征构建nhpp排队模型。3.根据权利要求2所述的一种应用感知的多租户coflow调度方法，其特征在于，所述mapreduce过程中多种计算过程包括：sort、word count,hive join,hive aggregation过程，其流量信息呈现规律重复的特点，包括以下三类：单峰类、固定宽度峰值重复类、峰值宽度变化类，具体的：单峰类：典型代表为hadoop中sort，使用固定0字节值对随机生成的记录进行排序；固定宽度峰值重复类：典型代表为hadoop中word count，统计输入数据中出现的单词数；峰值宽度变化类：hive是构建在hadoop之上的数据仓库系统，执行两个查询语句联合查询时，hive join在开始时表现出短暂的网络活动爆发，具有不同持续时间和不同强度的流量序列。4.根据权利要求1所述的一种应用感知的多租户coflow调度方法，其特征在于，步骤s2中，建立租户到达模型过程如下：步骤s21，基于nhpp排队模型，构造服务速率到达函数；步骤s22，采用em算法优化求解服务速率到达函数，获得期望函数；步骤s23，根据获得的期望函数，得到租户需求的预测函数结合采集到的实际流量d
k
，构建租户到达模型，即为租户需求流量d
k
：其中，k表示第k位租户，λ
l
为租户到达速率，λ
c
(t)为服务到达速率，ε∈(0,1)为动态因子，调节真实值d
k
与预测值的权重。5.根据权利要求1所述的一种应用感知的多租户coflow调度方法，其特征在于，步骤s3具体如下：
1)根据租户到达模型，模拟租户的动态需求，nhdrf统计每个coflow端口数量以及其输入端口需求流量、输出端口需求流量；2)寻找每个coflow流量的最小主导资源，利用coflow子流之间的相关性，为最小主导资源分配相应的带宽资源；3)通过平等增加所有coflow进度，让所有的coflow以公平分配的方式分配带宽，使其达到租户长期隔离进度p
1*
。6.根据权利要求1所述的一种应用感知的多租户coflow调度方法，其特征在于，所述步骤3)中，将coflow c
k
在链路i上的子流个数，定义为在所有2m端口中的子流个数集合为其中最大的子流个数定义为流数瓶颈则将子流数规范化得到向量其中通过平等增加所有coflow进度，让所有的coflow以公平分配的方式分配带宽，使其达到如下租户长期隔离进度p
1*
：7.根据权利要求1所述的一种应用感知的多租户coflow调度方法，其特征在于，步骤s4包括以下步骤：从租户分配的实际分配带宽和coflow的完成时间两个角度进行lagrange建模，优化coflow的调度性能，将t时刻租户内coflow调度问题进行建模如下：maximize:s.t:其中，n表示t时刻存在的coflow流数量，bw
ij
表示输入端口i和输出端口j之间形成的链路带宽，表示t时刻分配的实际带宽，表示t时刻的coflow完成时间，pr
ij
∈{0,1}表示coflow是否通过输入端口i和输出端口j传输；将coflow调度问题转换为凸问题：min imize:s.t:通过在凸问题中设计问题的约束条件，将coflow调度问题优化为lagrange对偶问题：f0表示凸问题的优化目标，f
i
为凸问题中不等式约束，h
j
为凸问题中的等式约束，φ
i
为
不等式约束乘子，为等式约束乘子；最小化coflow调度问题的lagrange函数，即可得lagrange对偶函数：通过梯度下降方法求解令a
l
和分别是coflow调度问题和lagrange对偶问题的某对最优解，则梯度下降后：其中t表示迭代索引，α
k
(t)表示迭代搜索的步长；表示i链路在第t轮迭代中的最优解；通过梯度下降方法求解然后收敛到最优a
l
；收敛到最优a
l
结合租户需求流量d
k
，得到性能最优进度p
2*
：8.一种应用感知的多租户coflow调度系统，用于实现权利要求1-7任一所述一种应用感知的多租户coflow调度方法，其特征在于，包括全局控制器与局部控制器；所述全局控制器，包括主节点与守护进程，用于统筹coflow的全局控制信息；所述主节点发挥着控制器的作用；所述守护进程负责协调局部调度器，从全局进行优化控制；所述局部控制器负责本地coflow调度，具有两种队列模型：公平队列模型与多级队列反馈模型，且包括工作节点与监控模块；所述公平队列模型，用于保证租户隔离；所述多级反馈队列模型负责性能优化；所述工作节点负责和主节点进行交互，优化本地调度；所述监控模块用于采集coflow流量信息，监控链路状态，实时分析租户需求变化。
技术总结
本发明公开了一种应用感知的多租户Coflow调度方法和系统，包括采集Coflow流量信息；根据Coflow流量信息构建NHPP排队模型，模拟Coflow流量信息，建立租户到达模型；求解租户长期隔离进度，使Coflow达到租户长期隔离进度，实现租户隔离与应用感知；对Coflow调度问题进行建模，通过拉格朗日对偶优化，求解性能最优进度，以实现最小化Coflow完成时间和最大化实际分配带宽；得到租户进度的取值范围，实现应用感知的多租户Coflow调度。本发明结合分布式并行计算框架中Coflow特点，通过数学建模加入应用感知机制，保证租户带宽隔离；通过对偶优化，增大租户的实际带宽，提高网络链路利用率。用率。用率。
技术研发人员：来风刚 吕舜铭 肖雨 乔宇杰 张攀 管建超 孙强 李明 尹晓宇 张敏 余东波 都繁杰 李静 高丰 常沁楠
受保护的技术使用者：国网安徽省电力有限公司信息通信分公司 南京航空航天大学 国家电网有限公司
技术研发日：2022.03.07
技术公布日：2022/6/24