一种基于大数据的提高资源分配的资源调度方法

本发明涉及信息，具体来说，涉及一种基于大数据的提高资源分配的资源调度方法。

背景技术：

1、资源调度是指在特定的资源环境下，根据一定的资源使用规则，在不同的资源使用者之间进行资源调整的过程。在当下的大数据时代，图片、视频和人工智能ai的计算成本逐渐成为不可承受之重。由于计算任务的多样化及资源的有限性，导致资源难以均衡用于各个计算任务；由于设备的购买、裁撤、流转形成了大量的短期空闲设备，导致整体资源利用并不充分，如何挖掘复用现有的空闲资源，以满足当前海量的计算业务的需求，成为大数据应用领域难题。

2、目前，传统的资源调度方法主要是基于静态的资源分配策略，无法实现动态的资源调度和管理。因此，往往会导致资源的浪费和利用率不高，传统的资源调度方法通常只能处理简单的任务，无法处理复杂的任务和海量数据。而且，由于任务之间的相互影响，传统的资源调度方法往往会导致任务的阻塞和延迟，影响任务的处理效率和质量，可能会发生资源的冲突和竞争，导致任务的失败和系统的崩溃。而且，传统的资源调度方法缺乏监控和管理手段，无法及时发现和处理异常情况，影响系统的安全性和稳定性。

3、针对相关技术中的问题，目前尚未提出有效的解决方案。

技术实现思路

1、针对相关技术中的问题，本发明提出一种基于大数据的提高资源分配的资源调度方法，以克服现有相关技术所存在的上述技术问题。

2、为此，本发明采用的具体技术方案如下：

3、一种基于大数据的提高资源分配的资源调度方法，该基于大数据的提高资源分配的资源调度方法包括以下步骤：

4、s1、对大数据中不同资源的状态信息及负载信息进行采集；

5、s2、分别对采集到的所述状态信息及所述负载信息进行预处理；

6、s3、将预处理后的结果基于因子分析模型进行分析；

7、s4、根据分析结果，基于优化算法模型制定调度策略；

8、s5、通过调度策略提高资源分配，完成资源的调度。

9、进一步的，所述分别对采集到的所述状态信息及所述负载信息进行预处理包括以下步骤：

10、s21、获取所述状态信息及所述负载信息相对应的重复数据，并对重复数据进行去噪、滤波及平滑处理；

11、s22、将所述状态信息及所述负载信息中未处理的数据行进行联结，生成一个新的数据表，通过外部键值将不同的数据表进行关联，生成一个完整的数据表，并得到准确数据；

12、s23、对所述准确数据进行特征提取，并得到所述状态信息及所述负载信息的特征参数。

13、进一步的，所述将预处理后的结果基于因子分析模型进行分析包括以下步骤：

14、s31、通过主成分分析法提取特征参数的因子，得到每个观测变量的因子得分；

15、s32、对提取的因子进行旋转，并解释提取的因子含义；

16、s33、通过解释提取的因子含义，得到每个因子的含义及解释力度；

17、s34、对提取的因子和模型进行验证，以确保因子分析模型的可靠性及稳定性。

18、进一步的，所述根据分析结果，基于优化算法模型制定调度策略包括以下步骤：

19、s41、根据分析结果，确定需要优化的目标函数及约束条件；

20、s42、将需要优化的目标函数及约束条件转化为数学公式，并建立数学模型；

21、s43、通过粒子群算法对数学模型进行优化，并得到最优解；

22、s44、根据得到的最优解，并判断资源的负载状态制定调度策略并实施。

23、进一步的，所述通过粒子群算法对数学模型进行优化，并得到最优解包括以下步骤：

24、s431、定义粒子的位置和速度，并随机生成粒子的位置和速度；

25、s432、将每个粒子的位置输入到目标函数中进行计算适应度；

26、s433、根据粒子的位置和计算的适应度来计算出新的粒子速度；

27、s434、根据新粒子速度和当前位置来更新粒子的位置；

28、s435、在整个粒子群中选择适应度最高的粒子作为全局最优解；

29、s436、当达到预设终止条件，则停止算法，并输出全局最优解。

30、进一步的，所述粒子群算法包括：

31、设定目标搜索空间的维数及粒子群的粒子数；

32、分别求得粒子向量表达式、粒子历史最优位置向量表达式、粒子群最优位置向量表达式及粒子速度向量表达式；

33、通过迭代计算，得出粒子速度公式和粒子位置调整公式。

34、具体的，设目标搜索空间的维数为d，粒子群的粒子数为n；

35、第i个粒子的表示为向量xi＝(xi1，xi2，...xid)；

36、第i个粒子的历史最优位置表示为向量pi＝(pi1，pi2，...pid)；

37、粒子群的最优位置表示为向量pg＝(pg1，pg2，...pgd)，pg为所有pi(i＝1，2...，n)中的最优值；

38、第i个粒子的速度表示为向量vg＝(vi1，vi2，...vid；

39、其中，在迭代过程中，得出粒子速度公式和粒子位置调整公式。

40、粒子速度公式为：

41、vid(t+1)＝w×vid(t)+c1×r1×[pid(t)-xid(t)]+c2×r2×[pgd(t)-xid(t)]

42、粒子位置调整公式为：

43、xid(t+1)＝xid(t)+vid(t+1)

44、式中：vid(t)是粒子在时间t的速度；xid(t)是粒子在时间t的位置；c1和c2是两个正常数；r1和r2是两个随机数；w为惯性权。

45、进一步的，所述负载信息包括节点标识与节点负载值。

46、进一步的，所述判断资源的负载状态包括以下步骤：

47、当负载信息中每个节点负载值小于负载值下限值，且负载信息的当前吞吐量小于吞吐量第一阈值时，则判断负载状态为空闲；

48、当负载信息中每个节点负载值大于负载值下限值，且负载信息的当前吞吐量大于吞吐量第一阈值时，则判断负载状态为忙碌。

49、进一步的，所述对提取的因子进行旋转，并解释提取的因子含义包括以下步骤：

50、s321、对提取的因子进行分析，并得到因子载荷矩阵和特征值；

51、s322、利用因子载荷矩阵计算旋转矩阵；

52、s323、通过正交旋转法对因子载荷矩阵进行旋转，并得到旋转后的因子载荷矩阵；

53、s324、通过计算旋转后的因子载荷矩阵特征值，用于确定旋转后的因子数；

54、s325、将旋转前因子载荷矩阵与旋转后因子载荷矩阵进行比较，并判断是否更加可解释；

55、s326、利用旋转后的因子载荷矩阵重新计算因子得分，并提取因子含义。

56、进一步的，所述利用旋转后的因子载荷矩阵重新计算因子得分，并提取因子含义包括以下步骤：

57、s3261、基于重新计算的因子得分，并确定需要保留的因子数；

58、s3262、根据每个保留的因子数，并通过分析因子载荷矩阵来确定每个变量与每个因子间的关系；

59、s3263、通过每个因子反映的潜在因素，并对每个因子进行命名；

60、s3264、对提取出的因子含义进行检验，确保因子的合理性及可解释性。

61、本发明的有益效果为：

62、1、本发明通过基于优化算法模型来制定调度策略，使得可以通过对大数据资源调度进行优化，可以最大程度地利用资源和设备，避免造成资源的浪费和利用率不高的现象发生，并且对采集的信息进行预处理，从而可以提高数据质量、减少数据扰动和噪声，使得更容易从数据中提取有用的信息，并且能够更精确地进行分类、聚类、回归等任务。

63、2、通过设置优化算法，可以使得模型更加精确地拟合训练数据，并且能够更好地适应新的未知数据，还能减少模型训练的时间和计算资源消耗，并且让模型在相同的硬件条件下具有更好的性能，并且可以扩大适用模型的范围，使其能够适用于更多的场景和应用，从而使得模型更易于理解和解释，进而提高模型的可靠性和可信度。

64、3、通过设置正交旋转法，使得可以将原始变量与新的不相关因子进行线性组合，减少数据的维度并提取数据中的潜在结构，正交旋转法为因子载荷矩阵进行旋转，使得每个因子与尽可能少的原始变量高度相关，从而增加因子分析结果的可解释性和稳定性。