一种基于态势感知的服务调度方法及系统与流程

本发明属于物联网管理，尤其是涉及一种基于态势感知的服务调度方法及系统。

背景技术：

1、智慧物联体系主要包括物联管理平台、边缘物联代理和各类型终端标准化接入,形成“云管边端”架构。物联管理平台在智慧物联体系中处于承上启下的核心位置，满足多样化设备接入，提供设备端到企业中台及上层应用的信息交互通道，实现数据共用，构建开放共享的应用生态。物联管理平台基于微服务架构进行设计，各微服务独立进行开发部署，相互隔离，有利于系统的开发和维护。微服务之间根据业务需求相互调用，命令的下发是物联管理平台与用户交互的一项重要流程，下行命令主要包括任务下发、控制命令下发、日志召回、设备状态查询等。在命令下发的过程中，命令通过不同的微服务进行数据处理，并最终到达设备端。随着业务系统及接入设备的不断增加，整个系统的资源不可预测，大量的计算资源被严重浪费，得不到充分利用，指令下发效率缓慢。

技术实现思路

1、发明目的：本发明的目的旨在提供一种指令发下成功高、执行效率高的基于态势感知的服务调度方法；本发明另一目的旨在提供一种基于态势感知的服务调度系统，本发明另一目的旨在提供一种基于态势感知的服务调度计算机设备。

2、技术方案：本发明所述的一种基于态势感知的服务调度方法，包括以下步骤：

3、步骤1、获取服务节点中除任务下发指令之外的其他指令每一周期消耗的计算机资源信息；

4、步骤2、根据计算机资源信息建立基于时间序列的服务计算资源预测模型并进行下一周期剩余服务计算资源的预测，得到下一周期任务下发指令各处理节点的计算资源；

5、步骤3、建立作业调度模型，使用调度算法基于各处理节点的计算资源信息对本轮指令进行分配下发。

6、其中，所述步骤1中服务中节点的计算资源至少包括各节点的适用场景condition、运算速度v和存储容量storage。

7、其中，所述步骤2中建立服务计算资源预测模型包括通过合适的函数变换，可以认为时间序列由趋势项部分、周期项部分和随机噪声项部分叠加而成，则服务计算资源计算模型可表示为：

8、st＝μxt+(1-μ)yt；

9、其中，st为预测的计算资源，xt为趋势项部分，yt为周期项部分。

10、其中，所述xt为趋势项部分，yt为周期项部分的求解过程包括移动平均能够去除时间序列的短期波动，使得数据变得平滑，从而可以方便看出序列的趋势特征；加权移动平均在计算平均数时并不是等量齐观，而是给最近的观测值相对历史观测值更大的权重；因此对于任意时间序列x1，x2，…，xt，根据加权移动平均法有：

11、

12、其中，p为移动平均的周期数，t≥p，xt为第t个周期的预测值；对于计算资源的预测模型中的趋势项部分和周期项部分，分别可得到预测模型：

13、

14、

15、其中，所述趋势项部分需要进行修正，其修正过程包括针对电力物联网中的计算资源进行分析，得出其在资源增加和减少趋势时呈线性变化，可将此变化表示为：

16、xt＝a+bt；

17、当t增加到t+p时，其表示为：

18、xt+p＝a+b(t+p)＝a+bt+bp；

19、根据加权移动平均法进行计算，序列值表示为：

20、

21、因此，基于加权移动平均法预测的序列值滞后了，为消除该滞后，需要在加权移动平均预测模型上进行修正，修正值为b(p+2)/3。经过修正后的趋势项部分的加权移动平均预测模型为：

22、

23、其中b通过线性回归公式进行计算：

24、

25、综上所述，服务中计算资源的预测模型表示为：

26、

27、当服务中的计算资源处于增加或减少趋势时，b的取值根据线性回归公式计算进行取值，为不失一般性，当计算资源处于平稳阶段时，b的取值为0。

28、其中，所述步骤3中作业调度模型包括作业接收队列、负载均衡控制和处理节点任务队列三部分；其中，作业接收队列接收输入的任务集，将作业包转发至负载均衡控制模块；负载均衡控制负责对作业包进行调度，按照负载均衡策略，将作业包转发至相应的处理节点任务队列中；处理节点队列按照先来先服务的策略对处理节点任务队列中的作业包进行处理。

29、其中，所述计算资源通过处理节点集合node＝{node1,node2,···,noden}表示，每个处理节点的计算资源由运算速度v和存储容量storage衡量；运算速度由处理节点本身的设计决定，以任务下发为例，包括安装、升级、卸载、停止等任务的下发以及实现的算法工作频率；存储容量由任务队列的大小决定，其大小需保证为单元作业包的整数倍，从而保证数据不会丢失，可表示为：

30、nodei＝{v,storage}。

31、其中，所述作业调度模型采用的作业调度策略包括以下步骤：

32、步骤31、建立处理节点状态表，在节点状态表中，t表示处理节点处理单元作业包所需的时间，storage表示通过本文提出的基于服务计算资源预测的作业调度算法预测出的处理节点任务队列的剩余容量，num表示当前处理节点任务队列中作业包的数量，当任务队列中接收一个作业包时，则num+1，当一个作业包处理完成，则num-1；

33、因此，具有n个处理节点的处理节点状态矩阵可表示为：

34、

35、步骤32、计算处理节点的权重占比，包括以下步骤：

36、步骤321、对于处理速度的归一化：

37、

38、其中，ti表示处理节点处理单位作业包所消耗的时间，tmin表示所有处理节点中处理单位作业包所消耗的最短的时间，tmax表示所有处理节点中处理单位作业包所消耗的最短长的时间；

39、步骤322、将处理节点任务队列的剩余容量进行归一化处理：

40、

41、其中，storageres表示处理节点任务队列的剩余容量，storage表示处理节点任务队列的总容量，num表示处理节点任务队列中的单元作业包数量，其取值可根据任务队列计数器获取，unit表示单元作业包的大小；

42、步骤323、处理节点的权重计算可表示为：

43、wi＝-αwv+βws,α+β＝1；

44、其中，α表示处理节点处理速度的权重系数，β表示处理节点任务队列剩余容量的权重系数；根据权重计算公式，可将处理节点状态矩阵表示为：

45、

46、其中，所述作业调度策略所采用的具体调度算法包括以下步骤：

47、步骤331、根据作业包的模式，判断该作业包是否为依赖作业包；若为依赖作业包，则查询关联关系表，若表中存在所依赖作业的记录，则将该作业分配至依赖作业所在的任务队列中，进入步骤339，若该任务队列已满，则将该作业放至等待任务队列中，并记录其前序作业包所在的处理节点prenode、是否为当前依赖任务的最后一个作业包信息；若表中没有所依赖作业的记录，进入步骤333；若该作业包为非依赖作业包，进入步骤333；

48、步骤332、计算各处理节点当前任务队列的剩余容量，若任务队列存在剩余容量，则查找关联关系表中是否存在未处理完的依赖任务，若依赖任务未处理完成，则拉取等待任务队列中的剩余依赖任务，进入步骤339；否则，进入步骤333；

49、步骤333、根据本文所研究的基于服务计算资源预测的作业调度算法，获取预测出的结果作为当前周期的本处理节点任务队列的剩余容量；

50、步骤334、根据处理节点状态矩阵和处理节点任务队列的剩余容量，计算剩余容量充足的处理节点的速度权重；

51、步骤335、根据处理节点的权重计算公式计算剩余容量充足的处理节点的权重，选取权重最大的处理节点；

52、步骤336、若该作业包为依赖作业包，则将该作业被分配的任务队列记录至关联关系表中，否则，进入步骤337；

53、步骤337、将当前作业包放入步骤335计算出的权重最大的处理节点的任务队列中；

54、步骤338、计算当前处理节点的任务队列剩余容量，用于进行下一周期的处理节点任务队列剩余容量的预测；

55、步骤339、若该作业包为依赖作业包，该作业包处理完成之后，对其作业包状态进行判断，若其为该任务的最后一个作业包，则将处理结果返回至业务请求端，并更新关联关系表中对应依赖任务的状态，否则将处理结果保存至中间状态存储模块中；若该作业包为非依赖作业包，则处理节点将处理结果返回至业务请求端。

56、一种基于态势感知的服务调度系统，包括计算机资源监控及信息收集单元，用于收集服务中节点的计算资源，服务计算资源预测模块，根据计算机资源信息基于时间序列的服务计算资源预测模型进行下一周期剩余服务计算资源的预测，得到下一周期任务下发指令各处理节点的计算资源；负载均衡作业调度单元，包括作业接收队列、负载均衡控制和处理节点任务队列三部分；其中，作业接收队列接收输入的任务集，将作业包转发至负载均衡控制模块；负载均衡控制单元负责对作业包进行调度，按照负载均衡策略，将作业包转发至相应的处理节点任务队列中；处理节点按照先来先服务的策略对处理节点任务队列中的作业包进行处理。

57、有益效果：与现有技术相比，本发明具有以下显著的进步：本发明在基于时间序列的基础上对负载监控及信息进行收集，再次基础上对下一周期剩余服务计算资源进行预测，得到下一周期任务下发指令各处理节点的计算资源，实现了计算资源的最大程度的利用；进一步的为免除数据迁移导致的数据传输时延而考虑依赖任务的相关特殊处理，以及通过对各处理节点的计算能力和预测得到的计算资源的权重配置，遵循优先选择为权重大的处理节点的思想，选取合适的处理节点进行本轮指令的下发处理，保障指令的快速下发，通过对计算资源的预测和对作业的调度，本发明在最大化利用计算资源的情况下，有效地提升下行指令的执行效率和成功率。