一种基于网络与负载的边缘网关集群算力调度方法和系统与流程

本发明涉及工业通信信息，具体涉及一种基于网络与负载的边缘网关集群算力调度方法和系统。

背景技术：

1、在工业生产中，工业设备及传感器会产生大量的数据需要通过工业网关进行处理，这样就会对网关的硬件能力产生了需求，大量数据处理过程在边缘网关节点进行，单一边缘网关的硬件可靠性较低，从而影响数据采集效率与数据安全，因此通过多台网关组成边缘网关集群提高数据采集过程的故障冗余度保证工业生产过程的安全性，为了保证工业网关集群中的不同工业网关节点信息的一致性，通常通过raft算法来实现工业网关集群的一致性，目前的raft分布式共识算法没有考虑到各个网关的网络情况与负载情况，从而对主节点选举的稳定性产生了影响。

2、并且，工业数据的处理需要一定的算力需求，为了提高系统整体效率，需要合理的任务调度卸载方法，将部分计算任务卸载至其它的网关节点进行。现有的任务卸载方法往往依据网络带宽及节点距离等固定参数进行直接计算，没有考虑网络实时状态对数据传输效率的影响。同时以时间最优化作为目标的任务卸载方法也会使部分节点的负载过大，影响数据实际处理时间，影响系统整体效率。

3、上述问题是目前亟待解决的。

技术实现思路

1、本发明要克服现有技术的上述至少一个缺点，一方面，本发明提供了一种基于网络与负载的边缘网关集群算力调度方法，所述方法包括：通过部署在工作区域内的工业网关获取工业数据；将同一工作区域内的多台工业网关组成网关集群；采用raft算法使网关集群内的各个工业网关之间的工业数据进行同步；计算在不同网关集群内的工业网关节点上处理所述工业数据所需的成本开销和/或在云端节点上处理所述工业数据所需的成本开销；基于所述成本开销通过qlearning强化算法对不同网关集群内的工业网关节点和/或云端节点上的计算任务进行分配。

2、进一步的，所述采用raft算法使网关集群内的各个工业网关之间的工业数据进行同步包括：选举所述网关集群中的主网关节点；所述主网关节点用于接收所述工业数据并将其同步至该网关集群中的其他工业网关节点中。

3、进一步的，所述选举所述网关集群中的主网关节点包括：基于网关集群中的各个工业网关的网络情况计算出主网关节点的选举参数；基于所述选举参数确定所述网关集群中的主网关节点；计算公式为：其中，表示预设时间内的cpu利用率平均值，表示预设时间内的内存平均利用率，表示预设时间内的磁盘平均占用率，表示预设时间内网络平均通信延迟。

4、进一步的，所述方法还包括：当主网关节点发生异常后，同一网关集群中的其他工业网关节点成为候选节点等待选举新的主网关节点；当所述候选节点收到大于自己任期或索引更大的节点的消息，候选节点退出竞选主网关节点；当候选节点收到其它候选节点的竞选消息时比较两个候选节点的选举参数，选举参数更大的作为主网关节点。

5、进一步的，所述计算在不同网关集群内的工业网关节点上处理所述工业数据所需的成本开销和/或在云端节点上处理所述工业数据所需的成本开销包括：计算带宽预测值其中，bk为带宽预测值，tk是当前网络tcp协议的确认字符到达的时间，tk-1是上一个确认字符到达的时间，dk是第k个确认字符确认接收的数据量，dk-1是k-1个确认字符确认接收的数据量，rttk是tk时刻的往返时延。αk是tk时刻的调节因子。

6、进一步的，所述计算在不同网关集群内的工业网关节点上处理所述工业数据所需的成本开销和/或在云端节点上处理所述工业数据所需的成本开销包括：当计算任务在本地网关集群进行时，基于所述带宽预测值确定所述工业数据在本地网关集群的处理计算所需成本开销为：其中，til为设备i产生的工业数据在本地网关集群处理计算所需时间，wi为需要计算的工业数据的数据传输量，fi为本地网关集群硬件的数据计算能力；所述设备i产生的工业数据在本地网关集群处理计算所需时间为工业数据在本地网关集群的处理计算所需成本开销。

7、进一步的，所述计算在不同网关集群内的工业网关节点上处理所述工业数据所需的成本开销和/或在云端节点上处理所述工业数据所需的成本开销包括：当计算任务在其他网关集群进行时，基于所述带宽预测值确定所述工业数据在其他网关集群的处理计算所需成本开销为：其中，wi为需要计算的工业数据的数据传输量，bk为带宽预测值，λ是宽带修正系数，tiltoe为数据传输时延，tieexe为工业数据在边缘节点的处理时间，fe是其他网关集群硬件的计算能力，tile为设备i产生的工业数据调度在其他网关集群处理计算所需时间；所述设备i产生的工业数据调度在其他网关集群处理计算所需时间为工业数据在其他网关集群的处理计算所需成本开销。

8、进一步的，所述计算在不同网关集群内的工业网关节点上处理所述工业数据所需的成本开销和/或在云端节点上处理所述工业数据所需的成本开销包括：当计算任务在云端节点中进行计算时，基于所述带宽预测值确定所述工业数据在云端节点的处理计算所需成本开销为：其中，wi为需要计算的工业数据的数据传输量，λ是宽带修正系数，bk为带宽预测值，tietoc为中继节点到云服务器传输时延，tisexe为工业数据在云端节点的处理时间，fs是云服务器的计算能力，tiltoe为数据传输时延，tilc为设备i产生的工业数据调度到云服务器处理计算所需时间；所述设备i产生的工业数据调度到云服务器处理计算所需时间为工业数据在云端节点的处理计算所需成本开销。

9、进一步的，所述方法还包括：在工业网关节点上设置任务队列阈值；当工业网关节点接收到计算工业数据的任务时，若当前工业网关节点的任务队列的长度等于阈值时，将任务队列头部的任务上传至云端节点进行计算。

10、另一方面，本发明提供了一种基于网络与负载的边缘网关集群算力调度系统，所述系统包括：数据采集模块，用于通过部署在工作区域内的工业网关获取工业数据；网关集群构建模块，用于将同一工作区域内的多台工业网关组成网关集群；数据同步模块，用于采用raft算法使网关集群内的各个工业网关之间的工业数据进行同步；数据计算模块，用于计算在不同网关集群内的工业网关节点上处理所述工业数据所需的成本开销和/或在云端节点上处理所述工业数据所需的成本开销；数据调度模块，用于基于所述成本开销通过qlearning强化算法对不同工业网关节点和/或云端节点上的计算任务进行分配；数据传输模块，用于使工业数据在各网关群集和云端节点之间交互；数据存储模块，用于对工业数据进行存储。

11、又一方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有一个或一个以上的指令，所述计算机指令用于使所述计算机执行上述的基于网络与负载的边缘网关集群算力调度方法。

12、再一方面，本发明提供了一种电子设备，包括：存储器和处理器；所述存储器中存储有至少一条程序指令；所述处理器通过加载并执行所述至少一条程序指令以实现上述的基于网络与负载的边缘网关集群算力调度方法。

13、本发明的有益效果是：本发明提供了一种基于网络与负载的边缘网关集群算力调度方法，所述方法包括：通过部署在工作区域内的工业网关获取工业数据；将同一工作区域内的多台工业网关组成网关集群；采用raft算法使网关集群内的各个工业网关之间的工业数据进行同步；计算在不同网关集群内的工业网关节点上处理所述工业数据所需的成本开销和/或在云端节点上处理所述工业数据所需的成本开销；基于所述成本开销通过qlearning强化算法对不同网关集群内的工业网关节点和/或云端节点上的计算任务进行分配。通过基于各网关的网络情况和负载情况对raft算法中的主网关节点进行选举可以有效的保证了主网关节点选举的稳定性。通过基于不同网关集群内的工业网关节点上处理工业数据所需的成本开销采用qlearning强化算法对计算任务合理分配可以有效的保证数据传输的效率。