基于人工智能的资源池管理方法及系统与流程

本发明涉及云计算，尤其涉及一种基于人工智能的资源池管理方法及系统。

背景技术：

1、随着云计算技术的发展，越来越多的云服务需要开始纳入多个计算资源池来提高云计算任务的处理效率，如何有效规划云计算任务和计算资源池之间的分配和兼容，成为了重要的技术问题。而现有技术中在处理这类需求时，一般仅简单考虑任务参数或是根据任务发布的时间先后来做任务分配处理，没有进一步结合神经网络和动态规划算法的优势。可见，现有技术存在缺陷，亟需解决。

技术实现思路

1、本发明所要解决的技术问题在于，提供一种基于人工智能的资源池管理方法及系统，能够有效结合算法优势来提高任务分配的合理性，以提高云计算任务的处理效率和处理效果。

2、为了解决上述技术问题，本发明第一方面公开了一种基于人工智能的资源池管理方法，所述方法包括：

3、获取多个任务发起节点发送的多个待处理任务的任务参数以及处理需求；

4、根据每一所述任务发起节点的历史计算记录，以及所述任务参数，基于神经网络算法，从候选的计算资源池集合中筛选出多个目标计算资源池；

5、根据每一所述待处理任务的任务参数和处理需求，以及每一所述目标计算资源池的计算资源参数，基于动态规划算法，确定所述多个待处理任务的处理策略；所述处理策略用于限定所述多个待处理任务对应的处理顺序和处理资源池；

6、根据所述处理策略，将所述多个待处理任务发送给所述多个目标计算资源池进行执行。

7、作为一种可选的实施方式，在本发明第一方面中，所述任务参数包括任务类型、任务待处理数据量、任务执行所需设备条件中的至少一种。

8、作为一种可选的实施方式，在本发明第一方面中，所述处理需求包括处理时间要求、处理循环次数要求、处理结果精确度要求中的至少一种。

9、作为一种可选的实施方式，在本发明第一方面中，所述根据每一所述任务发起节点的历史计算记录，以及所述任务参数，基于神经网络算法，从候选的计算资源池集合中筛选出多个目标计算资源池，包括：

10、根据每一所述任务发起节点的历史计算记录，统计任一所述任务发起节点与任一候选计算资源池之间的任务输送记录和数据通信记录；

11、根据所述多个待处理任务的任务参数，以及所述任务输送记录和所述数据通信记录，基于神经网络算法，计算每一所述任务发起节点与任一所述候选计算资源池之间的适配性参数；

12、对于任一所述候选计算资源池，计算该候选计算资源池和所有所述任务发起节点之间的所述适配性参数的加权求和平均值，得到该候选计算资源池对应的优先级参数；其中，每一所述适配性参数的权重包括第一权重和第二权重；所述第一权重与对应的所述任务发起节点的任务输送记录和数据通信记录的总记录数量成正比；所述第二权重与所述任务发起节点的历史任务结果接收守信率成正比；所述历史任务结果接收守信率为所述任务发起节点在预设历史时间段接收任务完成结果并兑现交付条件的记录占总记录数量的比例；

13、根据所述优先级参数从大到小对所有所述候选计算资源池进行排序得到资源池序列；

14、将所述资源池序列的前预设数量个候选计算资源池，确定为多个目标计算资源池。

15、作为一种可选的实施方式，在本发明第一方面中，所述根据所述多个待处理任务的任务参数，以及所述任务输送记录和所述数据通信记录，基于神经网络算法，计算每一所述任务发起节点与任一所述候选计算资源池之间的适配性参数，包括：

16、将所述多个待处理任务的任务参数处理为一个数据集合；

17、对于任一所述任务发起节点和任一所述候选计算资源池，计算该任务发起节点和该候选计算资源池之间的所述任务输送记录中每一记录中的任务参数与所述数据集合的相似度，并将所述相似度小于预设的相似度阈值的记录从所述任务输送记录中删去；

18、将所述任务输送记录输入至训练好的第一适配性预测神经网络，得到该任务发起节点和该候选计算资源池之间的第一适配性参数；所述第一适配性预测神经网络通过包括有多个训练任务输送记录和对应的适配性标注的训练数据集；

19、将所述数据通信记录输入至训练好的第二适配性预测神经网络，得到该任务发起节点和该候选计算资源池之间的第二适配性参数；所述第二适配性预测神经网络通过包括有多个训练数据通信记录和对应的适配性标注的训练数据集；

20、计算所述第一适配性参数和所述第二适配性参数的加权求和平均值，得到该任务发起节点和该候选计算资源池之间的适配性参数。

21、作为一种可选的实施方式，在本发明第一方面中，所述根据每一所述待处理任务的任务参数和处理需求，以及每一所述目标计算资源池的计算资源参数，基于动态规划算法，确定所述多个待处理任务的处理策略，包括：

22、获取每一所述目标计算资源池对应的处理器参数和处理器工作记录；所述处理器参数包括处理器数量、处理器架构、处理器类型和处理器间的通信方式；所述处理器工作记录包括处理器的工作能耗记录和处理器间的通信记录；

23、根据每一所述待处理任务的任务参数，和每一所述目标计算资源池对应的处理器参数，建立动态规划计算模型；

24、根据每一所述待处理任务的处理需求和每一所述目标计算资源池对应的处理器工作记录，确定所述动态规划计算模型对应的目标函数和限制条件；

25、根据所述目标函数和所述限制条件，对所述动态规划计算模型进行演算，以得到所述多个待处理任务对应的最优的处理策略。

26、作为一种可选的实施方式，在本发明第一方面中，所述根据每一所述待处理任务的处理需求和每一所述目标计算资源池对应的处理器工作记录，确定所述动态规划计算模型对应的目标函数和限制条件，包括：

27、将每一所述目标计算资源池的处理器工作记录输入至训练好的处理器效率预测模型，得到每一所述目标计算资源池对应的处理器效率参数；所述处理器效率预测模型通过多个训练处理器工作记录和对应的效率标注的训练数据集训练得到；

28、根据每一所述待处理任务的处理需求和每一所述目标计算资源池对应的处理器效率参数，确定所述动态规划计算模型对应的目标函数和限制条件；所述目标函数包括所述处理策略中所有所述待处理任务的完成时间之和最小，以及所有所述待处理任务的任务完成次序的倒数和对应完成的目标计算资源池的所述处理器效率之间的乘积的总和最大。

29、本发明第二方面公开了一种基于人工智能的资源池管理系统，所述系统包括：

30、获取模块，用于获取多个任务发起节点发送的多个待处理任务的任务参数以及处理需求；

31、筛选模块，用于根据每一所述任务发起节点的历史计算记录，以及所述任务参数，基于神经网络算法，从候选的计算资源池集合中筛选出多个目标计算资源池；

32、确定模块，用于根据每一所述待处理任务的任务参数和处理需求，以及每一所述目标计算资源池的计算资源参数，基于动态规划算法，确定所述多个待处理任务的处理策略；所述处理策略用于限定所述多个待处理任务对应的处理顺序和处理资源池；

33、执行模块，用于根据所述处理策略，将所述多个待处理任务发送给所述多个目标计算资源池进行执行。

34、作为一种可选的实施方式，在本发明第二方面中，所述任务参数包括任务类型、任务待处理数据量、任务执行所需设备条件中的至少一种。

35、作为一种可选的实施方式，在本发明第二方面中，所述处理需求包括处理时间要求、处理循环次数要求、处理结果精确度要求中的至少一种。

36、作为一种可选的实施方式，在本发明第二方面中，所述筛选模块根据每一所述任务发起节点的历史计算记录，以及所述任务参数，基于神经网络算法，从候选的计算资源池集合中筛选出多个目标计算资源池的具体方式，包括：

37、根据每一所述任务发起节点的历史计算记录，统计任一所述任务发起节点与任一候选计算资源池之间的任务输送记录和数据通信记录；

38、根据所述多个待处理任务的任务参数，以及所述任务输送记录和所述数据通信记录，基于神经网络算法，计算每一所述任务发起节点与任一所述候选计算资源池之间的适配性参数；

39、对于任一所述候选计算资源池，计算该候选计算资源池和所有所述任务发起节点之间的所述适配性参数的加权求和平均值，得到该候选计算资源池对应的优先级参数；其中，每一所述适配性参数的权重包括第一权重和第二权重；所述第一权重与对应的所述任务发起节点的任务输送记录和数据通信记录的总记录数量成正比；所述第二权重与所述任务发起节点的历史任务结果接收守信率成正比；所述历史任务结果接收守信率为所述任务发起节点在预设历史时间段接收任务完成结果并兑现交付条件的记录占总记录数量的比例；

40、根据所述优先级参数从大到小对所有所述候选计算资源池进行排序得到资源池序列；

41、将所述资源池序列的前预设数量个候选计算资源池，确定为多个目标计算资源池。

42、作为一种可选的实施方式，在本发明第二方面中，所述筛选模块根据所述多个待处理任务的任务参数，以及所述任务输送记录和所述数据通信记录，基于神经网络算法，计算每一所述任务发起节点与任一所述候选计算资源池之间的适配性参数的具体方式，包括：

43、将所述多个待处理任务的任务参数处理为一个数据集合；

44、对于任一所述任务发起节点和任一所述候选计算资源池，计算该任务发起节点和该候选计算资源池之间的所述任务输送记录中每一记录中的任务参数与所述数据集合的相似度，并将所述相似度小于预设的相似度阈值的记录从所述任务输送记录中删去；

45、将所述任务输送记录输入至训练好的第一适配性预测神经网络，得到该任务发起节点和该候选计算资源池之间的第一适配性参数；所述第一适配性预测神经网络通过包括有多个训练任务输送记录和对应的适配性标注的训练数据集；

46、将所述数据通信记录输入至训练好的第二适配性预测神经网络，得到该任务发起节点和该候选计算资源池之间的第二适配性参数；所述第二适配性预测神经网络通过包括有多个训练数据通信记录和对应的适配性标注的训练数据集；

47、计算所述第一适配性参数和所述第二适配性参数的加权求和平均值，得到该任务发起节点和该候选计算资源池之间的适配性参数。

48、作为一种可选的实施方式，在本发明第二方面中，所述确定模块根据每一所述待处理任务的任务参数和处理需求，以及每一所述目标计算资源池的计算资源参数，基于动态规划算法，确定所述多个待处理任务的处理策略的具体方式，包括：

49、获取每一所述目标计算资源池对应的处理器参数和处理器工作记录；所述处理器参数包括处理器数量、处理器架构、处理器类型和处理器间的通信方式；所述处理器工作记录包括处理器的工作能耗记录和处理器间的通信记录；

50、根据每一所述待处理任务的任务参数，和每一所述目标计算资源池对应的处理器参数，建立动态规划计算模型；

51、根据每一所述待处理任务的处理需求和每一所述目标计算资源池对应的处理器工作记录，确定所述动态规划计算模型对应的目标函数和限制条件；

52、根据所述目标函数和所述限制条件，对所述动态规划计算模型进行演算，以得到所述多个待处理任务对应的最优的处理策略。

53、作为一种可选的实施方式，在本发明第二方面中，所述确定模块根据每一所述待处理任务的处理需求和每一所述目标计算资源池对应的处理器工作记录，确定所述动态规划计算模型对应的目标函数和限制条件的具体方式，包括：

54、将每一所述目标计算资源池的处理器工作记录输入至训练好的处理器效率预测模型，得到每一所述目标计算资源池对应的处理器效率参数；所述处理器效率预测模型通过多个训练处理器工作记录和对应的效率标注的训练数据集训练得到；

55、根据每一所述待处理任务的处理需求和每一所述目标计算资源池对应的处理器效率参数，确定所述动态规划计算模型对应的目标函数和限制条件；所述目标函数包括所述处理策略中所有所述待处理任务的完成时间之和最小，以及所有所述待处理任务的任务完成次序的倒数和对应完成的目标计算资源池的所述处理器效率之间的乘积的总和最大。

56、本发明第三方面公开了另一种基于人工智能的资源池管理系统，所述系统包括：

57、存储有可执行程序代码的存储器；

58、与所述存储器耦合的处理器；

59、所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的基于人工智能的资源池管理方法中的部分或全部步骤。

60、本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的基于人工智能的资源池管理方法中的部分或全部步骤。

61、与现有技术相比，本发明具有以下有益效果：

62、本发明能够结合任务发起节点的历史计算记录来筛选资源池，并根据动态规划算法来实现任务策略的演算，从而能够有效结合算法优势来提高任务分配的合理性，以提高云计算任务的处理效率和处理效果。