一种内存故障预测方法、装置、设备及可读存储介质与流程

本技术涉及计算机应用，特别是涉及一种内存故障预测方法、装置、设备及可读存储介质。

背景技术：

1、云服务是一种基于互联网的服务模式，它使用户能够通过网络访问和使用各种计算资源、存储资源和应用程序。在云服务中，内存是一种重要的计算资源，它用于临时存储程序和数据，提供快速访问和处理。然而，内存故障是常见的计算机硬件故障之一。在许多大规模数据中心，服务器内存的数量众多，内存故障造成的最严重的后果是会直接导致系统崩溃，服务器宕机或重启，这些对于上层云业务而言都是不能接受的。

2、为了解决内存故障问题，需要及时发现内存故障并采取相应的措施。传统的方法通常是基于阈值或规则的，例如，当内存使用率超过一定阈值或某些内存访问模式发生时，就会触发警报。但是，该方法可能会产生大量的误报或误判。

3、目前，主流做法是基于机器学习或深度学习技术，通过对内存数据进行训练和分析，提取出内存故障的关键特征，并用于故障检测和预警。现有的方案通常使用mcelog、syslog和静态数据作为内存故障数据源，但这种数据收集方法存在一些局限性，例如只能收集有限的数据维度，数据之间的关联程度不强，导致机器学习或深度学习技术的效果大打折扣。

4、综上所述，如何有效地解决云服务的内存故障检测等问题，是目前本领域技术人员急需解决的技术问题。

技术实现思路

1、本技术的目的是提供一种内存故障预测方法、装置、设备及可读存储介质，实现服务器内存故障预测。

2、为解决上述技术问题，本技术提供如下技术方案：

3、一种内存故障预测方法，包括：

4、按照预设维度获取云中心的原始数据，并清洗所述原始数据；所述预设维度包括：公共信息、静态信息、告警信息、日志信息和状态信息；

5、在不同的所述预设维度下，从清洗后的原始数据中提取故障相关的特征数据；

6、对所述特征数据进行数据编码处理和/或融合处理，得到故障特征数据；

7、将所述故障特征数据输入至训练好的模型进行内存故障预测，得到内存故障预测结果。

8、优选地，在将所述故障特征数据输入至训练好的模型进行内存故障预测之前，还包括：

9、利用特征工程，基于所述故障特征数据构建出新特征数据；

10、结合所述新特征数据和所述故障特征数据，重新确定故障特征数据。

11、优选地，所述利用特征工程，基于所述故障特征数据构建出新特征数据，包括：

12、对于所述状态信息，获取统计特征、周期性特征、频域特征和指数加权移动平均值；

13、对于所述静态信息和告警信息，利用核函数获取不同特征间的相似信息；

14、将所述统计特征、所述周期性特征、所述频域特征、所述指数加权移动平均值和所述相似信息确定为所述新特征数据。

15、优选地，所述按照预设维度获取云中心的原始数据，包括：

16、获取节点静态信息、内存拓扑信息、edac拓扑信息和cpu拓扑信息。

17、从rasdaemon服务、rasdaemon数据库、edac内核驱动、prometheus中获取异常指标，将所述异常指标确定为所述告警信息；

18、获取带内日志和带外日志，便将所述带外日志和所述带内日志确定为所述日志信息；

19、定期采集状态指标，并将所述状态指标确定为所述状态信息；

20、从所述静态信息、所述告警信息、所述日志信息和所述状态信息中提取共有指标，得到公共信息。

21、优选地，清洗所述原始数据，包括：

22、对每个云中心的原始数据进行单独去重后进行汇总，得到sqlite文件；

23、对所述sqlite文件中的记录进行去重处理；

24、去重完成后，清除所述sqlite文件中的无效数据；

25、对所述sqlite文件补充判断信息。

26、优选地，所述在不同的所述预设维度下，从清洗后的原始数据中提取故障相关的特征数据，包括：

27、对清洗后的原始数据中的不同指标之间进行统计，得到不同特征间的对应关系；

28、对清洗后的原始数据进行分析，得到分析结果；

29、将所述对应关系和所述分析结果确定为所述特征数据。

30、优选地，对所述特征数据进行数据编码处理和/或融合处理，得到故障特征数据，包括：

31、基于所述特征数据，增加预设数据列；

32、将所述特征数据中无法被计算机识别的数据，转换为计算机可识别的编码数据；

33、基于所述预设数据列和/或编码数据确定所述故障特征数据。

34、一种内存故障预测装置，包括：

35、数据采集模块，用于按照预设维度获取云中心的原始数据；所述预设维度包括：公共信息、静态信息、告警信息、日志信息和状态信息；

36、数据清洗模块，用于清洗所述原始数据；

37、特征分析模块，用于在不同的所述预设维度下，从清洗后的原始数据中提取故障相关的特征数据；

38、融合编码模块，用于对所述特征数据进行数据编码处理和/或融合处理，得到故障特征数据；

39、故障预测模块，用于将所述故障特征数据输入至训练好的模型进行内存故障预测，得到内存故障预测结果。

40、一种电子设备，包括：

41、存储器，用于存储计算机程序；

42、处理器，用于执行所述计算机程序时实现上述内存故障预测方法的步骤。

43、一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述内存故障预测方法的步骤。

44、应用本技术实施例所提供的方法，按照预设维度获取云中心的原始数据，并清洗原始数据；预设维度包括：公共信息、静态信息、告警信息、日志信息和状态信息；在不同的预设维度下，从清洗后的原始数据中提取故障相关的特征数据；对特征数据进行数据编码处理和/或融合处理，得到故障特征数据；将故障特征数据输入至训练好的模型进行内存故障预测，得到内存故障预测结果。

45、可获取成大量云中心的故障特征数据，以支持更加全面和精细的内存故障预测。具体的，可以收集公共信息、静态信息、告警信息、日志信息以及状态信息等多个维度的原始数据，以捕捉更多的内存使用模式和故障特征，从而提高数据质量；获取了原始数据后，进行数据清洗和数据分析，输出清洗后的数据和数据分析结果，然后基于清洗的数据进行融合和编码，最后利用训练好的模型进行预测，实现服务器内存故障预测。

46、技术效果：由于本技术中采集的原始数据的维度包括公共信息、静态信息、告警信息、日志信息和状态信息，且在数据处理过程中，涉及数据清洗、特征提取、数据编码和融合等处理，可以提高数据间的关联性，从而使得最终的内存故障预测更加准确。

47、相应地，本技术实施例还提供了与上述内存故障预测方法相对应的内存故障预测装置、设备和可读存储介质，具有上述技术效果，在此不再赘述。