1.基于优先级的气象水文数据处理调度系统,其方法包括如下步骤:
s1、计算先验值,根据各个并行节点反馈到调度节点上的处理时间,取平均值;
s2、任务分类,根据任务紧急程度定义,将任务分为权重任务和无权重任务;
s3、任务处理,分别对权重任务和无权重任务进行处理;
s4、计算负载,计算各个计算节点负载量;
s5、计算节点排序,根据各个计算节点负载量进行排序;
s6、任务调度,任务队列队首任务匹配计算节点队列队首节点。
2.根据权利要求1所述的基于优先级的气象水文数据处理调度系统,其特征在于:所述s3中,权重任务的处理方法包括如下步骤:
s1.1、进行权重比较;
s1.2、根据权重大小顺序将任务放入任务队列。
3.根据权利要求1所述的基于优先级的气象水文数据处理调度系统,其特征在于:所述s3中,无权重任务的处理方法包括如下步骤:
s2.1、获取待处理任务的基本信息;
s2.2、获取之前处理该待处理任务的类型作业的时间;
s2.3、预估执行时间。
4.根据权利要求3所述的基于优先级的气象水文数据处理调度系统,其特征在于:所述s2.3中,预估执行时间的公式为:
ti=αtwait(i)+βtxi(si,ttype(i)),α+β=1……(式1);
其中,ti为第i个任务的加权时间和;si为第i种任务的任务量;twait(i)为执行si需等待时间,刚进入队列时,初始化twait(i)为0;ttype(i)为任务的类型;用这个值可以查阅每种类型任务的平均执行时间,做出任务执行时间的参考;任务队列用q={t1,t2,…,tn}表示,其中i=1,2,3,…,n,考虑到每个任务从提交到执行会有一个等待时间twait(i)。
5.根据权利要求1所述的基于优先级的气象水文数据处理调度系统,其特征在于:所述s4中,计算负载的公式为:
式2中,lj为计算节点负载量;cj为cpu利用率;mj为内存利用率;rj为磁盘i/o速率;tj为计算节点上正在进行的任务预估完成时间。
6.根据权利要求1所述的基于优先级的气象水文数据处理调度系统,其特征在于:所述s5中,计算节点排序采用快速排序算法,其算法方法包括如下步骤:
s3.1、设置两个变量i、j,排序开始时,i=1,j=n-1;
s3.2、以第一个数组元素作为关键数据,赋值给x,即x=a[0];
s3.3、从j开始向前搜索,即由后开始向前搜索(j=j-1),找到第一个小于x的值,让该值与x交换;
s3.4、从i开始向后搜索,即由前开始向后搜索(i=i+1),找到第一个大于x的值,让该值与x交换;
s3.5、重复第s3.3和3.4步,直到i=j。
7.根据权利要求1所述的基于优先级的气象水文数据处理调度系统,其特征在于:所述s6中,匹配采用kmp算法,其算法公式如下: