大数据平台调度系统资源分配优化方法和装置与流程

本发明涉及大数据处理，尤其涉及一种大数据平台调度系统资源分配优化方法和装置。

背景技术：

1、目前的大数据平台调度系统对系统资源分配的优化方法，还无法解决高复杂度、高维、高非线性的资源分配优化问题，其存在的资源分配优化问题难点如下：

2、1、大数据平台仅为各租户提供算子及算力服务，对于各租户在平台上运行作业的特点及特征缺乏了解，因此很难将调度资源分配问题抽象为数学模型。

3、2、大数据平台租户众多，因此其资源分配问题属于高维约束优化问题，相对复杂，一般代理模型难以精确建模，导致无法优化或优化结果不佳。

4、目前优化调度系统的方法大多独立使用进化算法(入粒子群算法)优化调度模型，而基于种群进化的进化算法在种群迭代进化中会需要大量的真实目标函数计算(即调度系统通过按指定参数实际运行得到结果，大概需要100倍问题维度次真实计算)，大数据平台中如果将一个租户看成一个问题维度，那对于租户众多的平台来说，这会导致海量的成本浪费并往往是无法接受的。

技术实现思路

1、有鉴于此，本发明提供一种大数据平台调度系统资源分配优化方法和装置，以解决上述至少一个问题。

2、根据本发明的第一方面，提供一种大数据平台调度系统资源分配优化方法，所述方法包括：将总作业运行时间最小化作为大数据平台调度系统资源分配的优化目标，待优化参数为所述大数据平台中各租户的资源配额，问题维度数为租户个数d，约束为各租户配额的总和小于大数据平台调度系统总资源量；利用资源方法在变量空间中生成全局模型数据集，使用rbnn训练该全局模型数据集获得全局rbnn模型；利用l-shade对所述全局rbnn模型进行全局迭代优化得到最后一代种群个体；根据最后一代种群个体采用填充准则获得局部模型数据集，并使用rbnn训练该局部模型数据集获得局部rbnn模型；利用l-shade对所述局部rbnn模型进行局部迭代优化得到优化结果，将所述优化结果作为大数据平台调度系统各租户资源分配的策略。

3、优选的，本发明实施例的上述方法中利用l-shade对所述全局rbnn模型进行全局迭代优化得到最后一代种群个体包括：利用l-shade对所述全局rbnn模型进行种群更新迭代；判断种群代数是否为问题维度数的整数倍；响应于所述种群代数是问题维度数的整数倍，根据适应度值在当前种群中选择最佳个体，计算全部种群中个体与所述最佳个体间的欧拉距离，剔除距离最远的预设数量的个体，并基于剩余个体使用rbnn重新训练全局rbnn模型；响应于所述种群代数不是问题维度数的整数倍，则保持全局rbnn模型不变，继续利用l-shade对所述全局rbnn模型进行种群更新迭代。

4、优选的，本发明实施例的上述方法中根据最后一代种群个体采用填充准则获得局部模型数据集，并使用rbnn训练该局部模型数据集获得局部rbnn模型包括：选取全局迭代优化后最后一代种群个体中适应度值由高到低排序中前x个个体，同时选取全局迭代优化过程中产生的最后y代中各代最优秀的个体，来组成局部模型数据集，使用rbnn训练该局部模型数据集获得局部rbnn模型。

5、优选的，本发明实施例的上述方法中选取最后一代种群个体中适应度值由高到低排序中前x个个体时，x取值为d/2；选取最后y代中各代最优秀的个体时，y取值为d/2；组成的局部模型数据集的大小为d。

6、优选的，本发明实施例的上述方法中选取全局迭代优化后最后一代种群个体中适应度值由高到低排序中前x个个体，同时选取全局迭代优化过程中产生的最后y代中各代最优秀的个体，来组成局部模型数据集包括：选取全局迭代优化后最后一代种群个体中适应度值由高到低排序中前x个个体，同时选取全局迭代优化过程中产生的最后y代中各代最优秀的个体；计算这些个体中各维元素的方差和均值；基于所述方差和均值根据高斯模型生成由d个新个体组成的局部模型数据集。

7、根据本发明的第二方面，还提供一种大数据平台调度系统资源分配优化装置，所述装置包括：模型设定单元，用于将总作业运行时间最小化作为大数据平台调度系统资源分配的优化目标，待优化参数为所述大数据平台中各租户的资源配额，问题维度数为租户个数d，约束为各租户配额的总和小于大数据平台调度系统总资源量；全局模型训练单元，用于利用资源方法在变量空间中生成全局模型数据集，使用rbnn训练该全局模型数据集获得全局rbnn模型；全局优化单元，用于利用l-shade对所述全局rbnn模型进行全局迭代优化得到最后一代种群个体；局部模型训练单元，用于根据最后一代种群个体采用填充准则获得局部模型数据集，并使用rbnn训练该局部模型数据集获得局部rbnn模型；局部优化单元，用于利用l-shade对所述局部rbnn模型进行局部迭代优化得到优化结果，将所述优化结果作为大数据平台调度系统各租户资源分配的策略。

8、优选的，本发明实施例的上述装置中全局优化单元包括：更新迭代模块，用于利用l-shade对所述全局rbnn模型进行种群更新迭代，以及当判断单元判断种群代数不是问题维度数的整数倍时，继续利用l-shade对所述全局rbnn模型进行种群更新迭代；判断模块，用于判断种群代数是否为问题维度数的整数倍；模型进化模块，用于响应于所述种群代数是问题维度数的整数倍，根据适应度值在当前种群中选择最佳个体，计算全部种群中个体与所述最佳个体间的欧拉距离，剔除距离最远的预设数量的个体，并基于剩余个体使用rbnn重新训练全局rbnn模型。

9、优选的，本发明实施例的上述装置中局部模型训练单元具体用于：选取全局迭代优化后最后一代种群个体中适应度值由高到低排序中前x个个体，同时选取全局迭代优化过程中产生的最后y代中各代最优秀的个体，来组成局部模型数据集，使用rbnn训练该局部模型数据集获得局部rbnn模型。

10、优选的，本发明实施例的上述装置中选取最后一代种群个体中适应度值由高到低排序中前x个个体时，x取值为d/2；选取最后y代中各代最优秀的个体时，y取值为d/2；组成的局部模型数据集的大小为d。

11、优选的，本发明实施例的上述装置中局部模型训练单元选取全局迭代优化后最后一代种群个体中适应度值由高到低排序中前x个个体，同时选取全局迭代优化过程中产生的最后y代中各代最优秀的个体，来组成局部模型数据集包括：选取全局迭代优化后最后一代种群个体中适应度值由高到低排序中前x个个体，同时选取全局迭代优化过程中产生的最后y代中各代最优秀的个体；计算这些个体中各维元素的方差和均值；基于所述方差和均值根据高斯模型生成由d个新个体组成的局部模型数据集。

12、根据本发明的第三方面，提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，处理器执行所述计算机程序时实现上述方法的步骤。

13、根据本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

14、根据本发明的第五方面，提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述方法的步骤。

15、由上述技术方案可知，本发明在大数据平台调度系统资源分配中，将总作业运行时间最小化作为大数据平台调度系统资源分配的优化目标，待优化参数为所述大数据平台中各租户的资源配额，问题维度数为租户个数d，约束为各租户配额的总和小于大数据平台调度系统总资源量，采用进化算法及神经网络深度学习技术，从而具有以较低成本处理高维优化问题的效果。