一种数据监测系统的资源优化管理方法与流程

本发明涉及数据处理，更具体地说，本发明涉及一种数据监测系统的资源优化管理方法。

背景技术：

1、随着大数据时代的到来，数据监测系统在各个领域得到了广泛的应用。然而，由于数据量庞大，传统的资源管理方法往往无法满足实时、高效、准确的数据处理需求，而且由于监测数据可以根据需要进行分析的数据量不同而生成不同难易程度的运算任务，如何根据产生的运算任务而有针对性的进行运算节点的分配，实现整个运算网络的资源的优化管理，提高数据处理效率，成为亟待解决的问题。

技术实现思路

1、为实现上述目的，本发明提供如下技术方案：

2、一种数据监测系统的资源优化管理方法，包括以下步骤：

3、步骤一、对系统的多个计算节点的资源信息分别进行收集，得到计算节点信息集；

4、步骤二、根据计算节点信息集进行分析，得到每个计算节点的资源值，并根据资源值的大小对多个计算节点进行资源排序，得到资源排序单；

5、步骤三、对系统的主节点的数据处理任务的需求进行收集并进行处理，得到需求值；

6、步骤四、将数据处理任务的需求值、资源排序单中的计算节点按照预设的匹配规则进行目标匹配，得到一级匹配结果；

7、步骤五、获取一级匹配结果中的目标计算节点上一次的匹配质量等级，以及对一级匹配结果中的目标计算节点预设时间窗口的数据传输波动系数值进行获取，当上一次的匹配质量等级、数据传输波动系数值均符合预设标准时，按照一级匹配结果进行数据处理任务分配，否则将一级匹配结果中的计算节点在资源排序单中进行剔除并重新进行目标匹配，直至上一次的匹配质量等级、数据传输波动系数值均符合预设标准；

8、步骤六、收集一级匹配结果完成用时并进行分析操作，得到该一级匹配结果的匹配质量值，然后将匹配质量值与预设的匹配质量阈值进行对比，得到对应的匹配质量等级。

9、在一个优选地实施方式中，步骤一中，对系统的多个计算节点的资源信息分别进行收集，得到计算节点信息集指的是：

10、对系统的多个计算节点的计算资源信息、存储资源信息和网络资源信息分别进行收集，然后将所有计算节点的计算资源信息、存储资源信息和网络资源信息进行汇总，得到计算节点信息集。

11、在一个优选地实施方式中，步骤二中，根据计算节点信息集进行分析，得到每个计算节点的资源值指的是：

12、步s1、将节点信息集中的计算资源信息、存储资源信息和网络资源信息分别进行标记；

13、步s11、将计算资源信息中的计算资源数据标记为jsi；

14、步s12、将存储资源信息中的总存储资源数据标记为zci，现存储资源数据标记为xci;

15、步s13、将网络资源信息中的预设时间窗口的网络波动值标记为bdi，数据传输速度sdi；

16、步s2、通过公式计算得到计算节点的资源值，，，p为预设的网络波动标准值，q为网络波动值bdi的总项目数量，zyi为计算节点的资源值，f1、f2、f3、f4均为预设的特定比例系数且均不为0。

17、在一个优选地实施方式中，步骤三中，对系统的主节点的数据处理任务的需求进行收集并进行处理，得到需求值指的是：

18、步w1、收集系统的主节点的数据处理任务的数据量和处理时间；

19、步w2、将系统的主节点的数据处理任务的数据量标记为si，处理时间标记为ti；

20、步w3、通过公式计算得到需求值，，a1表示预设的标准数据量，a2表示预设的标准处理时间，b1、b2均为预设的特定比例系数且均不为0，xqi为需求值。

21、在一个优选地实施方式中，步骤四中，将数据处理任务的需求值、资源排序单中的计算节点按照预设的匹配规则进行目标匹配，得到一级匹配结果指的是：将需求值xqi与预设的匹配系数值相乘，得到匹配区间[j1、j2]，匹配系数值大于1且小于2，j2为需求值xqi与预设的匹配系数值相乘得到结果，j1与需求值xqi的数值大小相等，获取资源排序单中在匹配区间[j1、j2]的计算节点，然后将计算节点按照其资源值的大小进行降序排列，排在首位的计算节点作为该数据处理任务的匹配目标，将二者进行匹配即得一级匹配结果。

22、在一个优选地实施方式中，步骤五中，数据传输波动系数值通过以下方式获取：

23、获取网络资源信息中的预设时间窗口下的数据传输速度sdi，将数据传输速度最大值标记为sdmax，将数据传输速度最小值标记为sdmin，并且通过计算得到预设时间窗口下的数据平均传输速度pj，，m为预设时间窗口下的数据传输速度sdi的总项目数量，接着计算数据传输波动系数，，bxi为数据传输波动系数。

24、在一个优选地实施方式中，步骤五中，上一次的匹配质量等级、数据传输波动系数值均符合预设标准指的是：匹配质量等级为一级，数据传输波动系数值小于预设的标准数据传输波动系数阈值。

25、在一个优选地实施方式中，步骤六中，收集一级匹配结果完成用时并进行分析操作，得到该一级匹配结果的匹配质量值，然后将匹配质量值与预设的匹配质量阈值进行对比，得到对应的匹配质量等级指的是：

26、将一级匹配结果完成用时标记为ys，将一级匹配结果完成用时ys与系统的主节点的数据处理任务的处理时间ti进行分析操作，得到该一级匹配结果的匹配质量值，，zl为该一级匹配结果的匹配质量值，然后将匹配质量值zl与预设的匹配质量阈值进行对比，若匹配质量值zl小于等于预设的匹配质量阈值，则得到的匹配质量等级为一级；若匹配质量值zl大于预设的匹配质量阈值，则得到的匹配质量等级为二级。

27、本发明的技术效果和优点：

28、本发明可以通过收集系统的多个计算节点的资源信息，得到计算节点信息集，可以全面了解系统的资源状况；根据计算节点信息集进行分析，得到每个计算节点的资源值，并根据资源值的大小对多个计算节点进行资源排序，得到资源排序单，有助于合理分配系统资源；对系统的主节点的数据处理任务的需求进行收集并进行处理，得到需求值，可以为后续的任务分配提供依据；将数据处理任务的需求值、资源排序单中的计算节点按照预设的匹配规则进行目标匹配，得到一级匹配结果，可以实现任务与资源的最优匹配。

29、本发明可以收集一级匹配结果完成用时并进行分析操作，得到该一级匹配结果的匹配质量值，然后将匹配质量值与预设的匹配质量阈值进行对比，得到对应的匹配质量等级，可以评价匹配结果的质量；通过监控系统的运行状态，对资源使用情况进行监控和分析，有助于及时发现并解决系统性能瓶颈问题；本发明可以对算力网络中的各计算节点进行更好的调度，通过动态调度匹配和优化配置系统算力资源，实现了对数据处理过程的高效管理，提高了数据处理效率，并且采用任务分配和负载均衡策略，使得被分配任务的计算节点在一定程度上与任务处理的难易程度达到一种“平衡状态”，确保了各个计算节点的稳定运行，避免了因某个节点过载而导致整个系统性能下降的问题。

技术特征：

1.一种数据监测系统的资源优化管理方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种数据监测系统的资源优化管理方法，其特征在于，步骤一中，对系统的多个计算节点的资源信息分别进行收集，得到计算节点信息集指的是：

3.根据权利要求2所述的一种数据监测系统的资源优化管理方法，其特征在于，步骤二中，根据计算节点信息集进行分析，得到每个计算节点的资源值指的是：

4.根据权利要求3所述的一种数据监测系统的资源优化管理方法，其特征在于，步骤三中，对系统的主节点的数据处理任务的需求进行收集并进行处理，得到需求值指的是：

5.根据权利要求4所述的一种数据监测系统的资源优化管理方法，其特征在于，步骤四中，将数据处理任务的需求值、资源排序单中的计算节点按照预设的匹配规则进行目标匹配，得到一级匹配结果指的是：将需求值xqi与预设的匹配系数值相乘，得到匹配区间[j1、j2]，匹配系数值大于1且小于2，j2为需求值xqi与预设的匹配系数值相乘得到结果，j1与需求值xqi的数值大小相等，获取资源排序单中在匹配区间[j1、j2]的计算节点，然后将计算节点按照其资源值的大小进行降序排列，排在首位的计算节点作为该数据处理任务的匹配目标，将二者进行匹配即得一级匹配结果。

6.根据权利要求5所述的一种数据监测系统的资源优化管理方法，其特征在于，步骤五中，数据传输波动系数值通过以下方式获取：

7.根据权利要求6所述的一种数据监测系统的资源优化管理方法，其特征在于，步骤五中，上一次的匹配质量等级、数据传输波动系数值均符合预设标准指的是：匹配质量等级为一级，数据传输波动系数值小于预设的标准数据传输波动系数阈值。

8.根据权利要求7所述的一种数据监测系统的资源优化管理方法，其特征在于，步骤六中，收集一级匹配结果完成用时并进行分析操作，得到该一级匹配结果的匹配质量值，然后将匹配质量值与预设的匹配质量阈值进行对比，得到对应的匹配质量等级指的是：

技术总结
本发明公开了一种数据监测系统的资源优化管理方法，具体涉及数据处理技术领域，包括以下步骤：对系统的多个计算节点的资源信息分别进行收集，得到计算节点信息集并进行分析，得到每个计算节点的资源值进行资源排序，得到资源排序单；对系统的主节点的数据处理任务的需求进行收集并进行处理，得到需求值并与资源排序单中的计算节点按照预设的匹配规则进行目标匹配，得到一级匹配结果并进行验证，不符合预设标准时进行重新匹配，最后对一级匹配结果进行分析并得到对应的匹配质量等级；本发明可以对算力网络中的各计算节点进行更好的调度，通过动态调度匹配和优化配置系统算力资源，实现了对数据处理过程的高效管理，提高了数据处理效率。

技术研发人员：吕沛勇
受保护的技术使用者：深圳市秋葵互娱科技有限公司
技术研发日：
技术公布日：2024/4/17