计算资源的评估方法、装置、存储介质及电子设备与流程

本发明涉及大数据，具体而言，涉及一种计算资源的评估方法、装置、存储介质及电子设备。

背景技术：

1、相关技术中，评估hadoop(分布式系统基础架构)集群计算资源是否存在缺口时，通常采用统计集群整体平均cpu(中央处理器)使用率的方式评估计算资源是否存在缺口，该方式通过监控集群中的每个节点的cpu利用率，并计算出整体的平均值来评估计算资源的使用情况，以此粗略判断hadoop集群是否存在计算资源缺口。

2、但是，采用统计集群整体平均cpu使用率的方式评估hadoop集群计算资源使用情况存在以下问题：

3、(1)集群平均cpu使用率的高低无法真实反应集群计算资源的使用情况，在hadoop集群中，不同计算节点的资源配置可能存在差异，如cpu核数、内存容量等，统计整体平均cpu使用率无法捕捉到计算资源使用的真实情况。

4、(2)在实际运行中，集群的资源利用率可能存在波动，特定时间段的资源需求可能高于平均水平。传统方法无法捕捉到这种波动性，无法准确判断集群在特定小时段的资源使用是否饱和。

5、(3)依赖人工观察平均cpu使用率的曲线图来判断集群资源使用率的高低，不能准确评估计算资源是否存在缺口，缺口的数量是多少。

6、综上，相关技术中，评估hadoop集群的计算资源仅关注整体平均cpu使用率，无法提供足够的细节和精确性，无法准确了解计算资源缺口情况。

7、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本发明实施例提供了一种计算资源的评估方法、装置、存储介质及电子设备，以至少解决相关技术中基于平均cpu使用率评估hadoop集群资源的缺口情况，评估准确率低的技术问题。

2、根据本发明实施例的一个方面，提供了一种计算资源的评估方法，包括：获取n个时刻目标集群已分配的虚拟核数，得到n个第一虚拟核数，其中，所述虚拟核数表示所述目标集群的中央处理器的虚拟核心数量，每两个相邻的所述时刻之间间隔预设时长，n为正整数；基于n个第一虚拟核数，确定所述目标集群的第二虚拟核数，其中，所述第二虚拟核数包括：所述目标集群在目标时间段内分配的总虚拟核数；获取目标虚拟核数，其中，所述目标虚拟核数表示所述目标集群在所述目标时间段内可供给的最大虚拟核数；基于所述第二虚拟核数和所述目标虚拟核数，对所述目标集群的计算资源进行评估，得到评估结果，其中，所述评估结果至少包括：所述目标集群的计算资源是否存在资源缺口。

3、进一步地，基于n个第一虚拟核数，确定所述目标集群的第二虚拟核数，包括：计算每个所述第一虚拟核数与指定时间数值的乘积，得到n个第三虚拟核数，并将每个所述第三虚拟核数存储至数据库；对n个所述第三虚拟核数进行累加处理，得到所述第二虚拟核数。

4、进一步地，基于所述第二虚拟核数和所述目标虚拟核数，对所述目标集群的计算资源进行评估，得到评估结果，包括：计算所述第二虚拟核数与所述目标虚拟核数的比值，得到目标比值；比较所述目标比值和第一预设阈值，得到第一比较结果；在所述第一比较结果指示所述目标比值大于所述第一预设阈值的情况下，确定所述目标集群的计算资源存在资源缺口；在所述第一比较结果指示所述目标比值小于或等于所述第一预设阈值的情况下，确定所述目标集群的计算资源不存在资源缺口。

5、进一步地，所述评估结果还包括：所述目标集群的计算资源是否存在资源过剩，在确定所述目标集群的计算资源不存在资源缺口之后，还包括：比较所述目标比值和第二预设阈值，得到第二比较结果，其中，所述第二预设阈值小于所述第一预设阈值；在所述第二比较结果指示所述目标比值小于所述第二预设阈值的情况下，确定所述目标集群存在资源过剩；在所述第二比较结果指示所述目标比值大于或等于所述第二预设阈值的情况下，确定所述目标集群不存在资源过剩。

6、进一步地，所述评估结果还包括：资源过剩值或资源缺口值，基于所述第二虚拟核数和所述目标虚拟核数，对所述目标集群的计算资源进行评估，得到评估结果，还包括：计算所述目标虚拟核数与所述第一预设阈值的乘积，得到第一数值；计算所述目标虚拟核数与所述第二预设阈值的乘积，得到第二数值；在所述目标集群存在资源缺口的情况下，基于所述第一数值和所述第二虚拟核数，确定所述目标集群的资源缺口值；在所述目标集群存在资源过剩的情况下，基于所述第二数值和所述第二虚拟核数，确定所述目标集群的资源过剩值。

7、进一步地，在基于所述第二虚拟核数和所述目标虚拟核数，对所述目标集群的计算资源进行评估，得到评估结果之后，包括：在所述目标集群存在资源缺口的情况下，基于所述目标集群的资源缺口值，增加所述目标集群的计算资源；在所述目标集群存在资源过剩的情况下，基于所述目标集群的资源过剩值，减少所述目标集群的计算资源。

8、进一步地，获取n个时刻目标集群已分配的虚拟核数，得到n个第一虚拟核数，包括：以所述预设时长为时间间隔，定时向所述目标集群发送n个目标请求，并接收所述目标集群返回的n个返回数据，其中，所述目标请求的请求类型包括：超文本传输协议http请求；对于每个所述时刻，从n个所述返回数据中提取所述目标集群已分配的虚拟核数，得到n个第一虚拟核数。

9、进一步地，以所述预设时长为时间间隔，定时向所述目标集群发送n个目标请求，包括：确定所述目标集群中资源管理器的应用程序接口；以所述预设时长为时间间隔，通过所述应用程序接口定时向所述目标集群发送n个所述目标请求。

10、根据本发明实施例的另一方面，还提供了一种计算资源的评估装置，包括：第一获取单元，用于获取n个时刻目标集群已分配的虚拟核数，得到n个第一虚拟核数，其中，所述虚拟核数表示所述目标集群的中央处理器的虚拟核心数量，每两个相邻的所述时刻之间间隔预设时长，n为正整数；确定单元，用于基于n个第一虚拟核数，确定所述目标集群的第二虚拟核数，其中，所述第二虚拟核数包括：所述目标集群在目标时间段内分配的总虚拟核数；第二获取单元，用于获取目标虚拟核数，其中，所述目标虚拟核数表示所述目标集群在所述目标时间段内可供给的最大虚拟核数；评估单元，用于基于所述第二虚拟核数和所述目标虚拟核数，对所述目标集群的计算资源进行评估，得到评估结果，其中，所述评估结果至少包括：所述目标集群的计算资源是否存在资源缺口。

11、进一步地，确定单元包括：第一计算子单元，用于计算每个所述第一虚拟核数与指定时间数值的乘积，得到n个第三虚拟核数，并将每个所述第三虚拟核数存储至数据库；处理子单元，用于对n个所述第三虚拟核数进行累加处理，得到所述第二虚拟核数。

12、进一步地，评估单元包括：第二计算子单元，用于计算所述第二虚拟核数与所述目标虚拟核数的比值，得到目标比值；第一比较子单元，用于比较所述目标比值和第一预设阈值，得到第一比较结果；第一确定子单元，用于在所述第一比较结果指示所述目标比值大于所述第一预设阈值的情况下，确定所述目标集群的计算资源存在资源缺口；第二确定子单元，用于在所述第一比较结果指示所述目标比值小于或等于所述第一预设阈值的情况下，确定所述目标集群的计算资源不存在资源缺口。

13、进一步地，所述评估结果还包括：所述目标集群的计算资源是否存在资源过剩，评估单元还包括：第二比较子单元，用于在确定所述目标集群的计算资源不存在资源缺口之后，比较所述目标比值和第二预设阈值，得到第二比较结果，其中，所述第二预设阈值小于所述第一预设阈值；第三确定子单元，用于在所述第二比较结果指示所述目标比值小于所述第二预设阈值的情况下，确定所述目标集群存在资源过剩；第四确定子单元，用于在所述第二比较结果指示所述目标比值大于或等于所述第二预设阈值的情况下，确定所述目标集群不存在资源过剩。

14、进一步地，所述评估结果还包括：资源过剩值或资源缺口值，评估单元还包括：第三计算子单元，用于计算所述目标虚拟核数与所述第一预设阈值的乘积，得到第一数值；第四计算子单元，用于计算所述目标虚拟核数与所述第二预设阈值的乘积，得到第二数值；第五确定子单元，用于在所述目标集群存在资源缺口的情况下，基于所述第一数值和所述第二虚拟核数，确定所述目标集群的资源缺口值；第六确定子单元，用于在所述目标集群存在资源过剩的情况下，基于所述第二数值和所述第二虚拟核数，确定所述目标集群的资源过剩值。

15、进一步地，计算资源的评估装置还包括：增加单元，用于在基于所述第二虚拟核数和所述目标虚拟核数，对所述目标集群的计算资源进行评估，得到评估结果之后，在所述目标集群存在资源缺口的情况下，基于所述目标集群的资源缺口值，增加所述目标集群的计算资源；减少单元，用于在所述目标集群存在资源过剩的情况下，基于所述目标集群的资源过剩值，减少所述目标集群的计算资源。

16、进一步地，第一获取单元包括：处理子单元，用于以所述预设时长为时间间隔，定时向所述目标集群发送n个目标请求，并接收所述目标集群返回的n个返回数据，其中，所述目标请求的请求类型包括：超文本传输协议http请求；提取子单元，用于对于每个所述时刻，从n个所述返回数据中提取所述目标集群已分配的虚拟核数，得到n个第一虚拟核数。

17、进一步地，处理子单元包括：确定模块，用于确定所述目标集群中资源管理器的应用程序接口；发送模块，用于以所述预设时长为时间间隔，通过所述应用程序接口定时向所述目标集群发送n个所述目标请求。

18、根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的计算资源的评估方法。

19、根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行上述任意一项的计算资源的评估方法。

20、在本发明中，获取n个时刻目标集群已分配的虚拟核数，得到n个第一虚拟核数，其中，虚拟核数表示目标集群的中央处理器的虚拟核心数量，每两个相邻的时刻之间间隔预设时长，n为正整数；基于n个第一虚拟核数，确定目标集群的第二虚拟核数，其中，第二虚拟核数包括：目标集群在目标时间段内分配的总虚拟核数；获取目标虚拟核数，其中，目标虚拟核数表示目标集群在目标时间段内可供给的最大虚拟核数；基于第二虚拟核数和目标虚拟核数，对目标集群的计算资源进行评估，得到评估结果，其中，评估结果至少包括：目标集群的计算资源是否存在资源缺口。进而解决了相关技术中基于平均cpu使用率评估hadoop集群资源的缺口情况，评估准确率低的技术问题。在本发明中，结合计算集群中的虚拟核数与可供给的最大虚拟核数评估集群的资源使用情况，避免了相关技术中通过统计集群cpu使用率的方式，只能粗略估计hadoop集群的计算资源缺口的情况，从而实现了提高集群计算资源使用情况的统计精确度的技术效果。