基于优先级的气象水文数据处理调度系统的制作方法

文档序号:20773417发布日期:2020-05-19 20:31阅读:来源:国知局

技术特征:

1.基于优先级的气象水文数据处理调度系统,其方法包括如下步骤:

s1、计算先验值,根据各个并行节点反馈到调度节点上的处理时间,取平均值;

s2、任务分类,根据任务紧急程度定义,将任务分为权重任务和无权重任务;

s3、任务处理,分别对权重任务和无权重任务进行处理;

s4、计算负载,计算各个计算节点负载量;

s5、计算节点排序,根据各个计算节点负载量进行排序;

s6、任务调度,任务队列队首任务匹配计算节点队列队首节点。

2.根据权利要求1所述的基于优先级的气象水文数据处理调度系统,其特征在于:所述s3中,权重任务的处理方法包括如下步骤:

s1.1、进行权重比较;

s1.2、根据权重大小顺序将任务放入任务队列。

3.根据权利要求1所述的基于优先级的气象水文数据处理调度系统,其特征在于:所述s3中,无权重任务的处理方法包括如下步骤:

s2.1、获取待处理任务的基本信息;

s2.2、获取之前处理该待处理任务的类型作业的时间;

s2.3、预估执行时间。

4.根据权利要求3所述的基于优先级的气象水文数据处理调度系统,其特征在于:所述s2.3中,预估执行时间的公式为:

ti=αtwait(i)+βtxi(si,ttype(i)),α+β=1……(式1);

其中,ti为第i个任务的加权时间和;si为第i种任务的任务量;twait(i)为执行si需等待时间,刚进入队列时,初始化twait(i)为0;ttype(i)为任务的类型;用这个值可以查阅每种类型任务的平均执行时间,做出任务执行时间的参考;任务队列用q={t1,t2,…,tn}表示,其中i=1,2,3,…,n,考虑到每个任务从提交到执行会有一个等待时间twait(i)。

5.根据权利要求1所述的基于优先级的气象水文数据处理调度系统,其特征在于:所述s4中,计算负载的公式为:

式2中,lj为计算节点负载量;cj为cpu利用率;mj为内存利用率;rj为磁盘i/o速率;tj为计算节点上正在进行的任务预估完成时间。

6.根据权利要求1所述的基于优先级的气象水文数据处理调度系统,其特征在于:所述s5中,计算节点排序采用快速排序算法,其算法方法包括如下步骤:

s3.1、设置两个变量i、j,排序开始时,i=1,j=n-1;

s3.2、以第一个数组元素作为关键数据,赋值给x,即x=a[0];

s3.3、从j开始向前搜索,即由后开始向前搜索(j=j-1),找到第一个小于x的值,让该值与x交换;

s3.4、从i开始向后搜索,即由前开始向后搜索(i=i+1),找到第一个大于x的值,让该值与x交换;

s3.5、重复第s3.3和3.4步,直到i=j。

7.根据权利要求1所述的基于优先级的气象水文数据处理调度系统,其特征在于:所述s6中,匹配采用kmp算法,其算法公式如下:


技术总结
本发明涉及数据处理调度技术领域,具体地说,涉及基于优先级的气象水文数据处理调度系统。其方法包括如下步骤:计算先验值;任务分类;任务处理;计算负载;计算节点排序;任务调度。该基于优先级的气象水文数据处理调度系统中,根据任务紧急程度定义将任务分为权重任务和无权重任务,分别对权重任务和无权重任务进行处理,便于对有效的气象水文数据进行优先处理,提高处理效率,计算节点负载量,并根据各个计算节点负载量进行排序,将任务队列队首任务匹配计算节点队列队首节点,实现负载调节,进一步提高调度运算效率。

技术研发人员:胡友彬;白广奇;莫欣谓;史纬恒;王晓鸣;叶明雯;徐君炜;宁达俊昊;吴永远
受保护的技术使用者:胡友彬
技术研发日:2019.12.19
技术公布日:2020.05.19
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1