一种数据存储预测方法、数据存储子系统及智能计算平台与流程

本申请属于数据处理领域，尤其涉及一种数据存储预测方法、数据存储子系统及智能计算平台。

背景技术：

1、目前，为提升各个产业、各个领域的智能化应用普及程度，亟待构建一种智能化计算平台，用以辅助智能超算中心的建设，为科研、产业、城市服务提供人工智能平台的构建基础，进一步通过智能化计算平台实现人才聚集、产业升级、发展。

2、相关技术中，随着人工智能、深度学习等计算密集型任务的应用不断增加，对各种数据的存储需求也在不断增加。这些数据通常具有不同的格式、来源和存储需求，可能包括结构化数据、半结构化数据和非结构化数据，来自不同的传感器、设备、系统以及互联网等多个来源。面对迅速增长且情况复杂的数据存储需求，传统的存储预测方法已无法满足需求。

3、因此，亟需设计一个数据存储预测方案，用以满足与日俱增且情况复杂的数据存储需求。

技术实现思路

1、本申请提供了一种数据存储预测方法、数据存储子系统及智能计算平台，用以为数据存储子系统提供更有效、更智能的弹性配置和存储需求预测，优化系统的整体存储资源管理和性能表现，提高系统整体性能和稳定性，拓展数据存储子系统的应用场景，提升系统的灵活性和适应性。

2、第一方面，本申请提供了一种数据存储预测方法，应用于数据存储子系统，所述数据存储子系统用于存储和管理智能计算平台中各个数据处理任务所涉及到的数据；该方法包括：

3、获取所述数据存储子系统的实时管理数据以及历史运行数据；所述实时管理数据用于表示各个数据处理任务对应的数据管理情况；所述历史运行数据用于表示所述数据存储子系统中的历史数据变化趋势；

4、通过自适应调度模型，根据所述实时管理数据对所述数据存储子系统中的存储资源进行自适应弹性配置处理，以获得所述数据存储子系统在待配置时段下的弹性配置信息；

5、通过存储需求预测模型，对所述历史运行数据中各个历史时段下的数据存储需求量信息进行时序建模以及预测处理，以获得所述数据存储子系统在待配置时段下的存储需求预测信息；所述存储需求预测信息至少包括：待配置时段时段下各种类型数据的预测存储需求量；

6、对所述弹性配置信息与所述存储需求预测信息进行时空关联，并将关联结果融合处理为所述数据存储子系统的动态存储资源配置信息。

7、第二方面，本申请实施例提供了一种数据存储子系统，所述数据存储子系统用于存储和管理智能计算平台中各个数据处理任务所涉及到的数据；该系统包括：

8、获取单元，被配置为获取所述数据存储子系统的实时管理数据以及历史运行数据；所述实时管理数据用于表示各个数据处理任务对应的数据管理情况；所述历史运行数据用于表示所述数据存储子系统中的历史数据变化趋势；

9、预测单元，被配置为通过自适应调度模型，根据所述实时管理数据对所述数据存储子系统中的存储资源进行自适应弹性配置处理，以获得所述数据存储子系统在待配置时段下的弹性配置信息；通过存储需求预测模型，对所述历史运行数据中各个历史时段下的数据存储需求量信息进行时序建模以及预测处理，以获得所述数据存储子系统在待配置时段下的存储需求预测信息；所述存储需求预测信息至少包括：待配置时段时段下各种类型数据的预测存储需求量；

10、调度单元，被配置为对所述弹性配置信息与所述存储需求预测信息进行时空关联，并将关联结果融合处理为所述数据存储子系统的动态存储资源配置信息。

11、第三方面，本申请实施例提供了一种智能计算平台，所述智能计算平台包括：

12、至少一个处理器、存储器和输入输出单元；

13、其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中存储的计算机程序来执行第一方面的数据存储预测方法。

14、第四方面，提供了一种计算机可读存储介质，其包括指令，当其在计算机上运行该指令时，使得计算机执行第一方面的数据存储预测方法。

15、本申请实施例提供的技术方案中，首先，获取所述数据存储子系统的实时管理数据以及历史运行数据。其中，实时管理数据用于表示各个数据处理任务对应的数据管理情况，所述历史运行数据用于表示所述数据存储子系统中的历史数据变化趋势，所述实时管理数据包括数据处理任务标识符、数据量以及数据处理优先级；所述历史运行数据包括时间段、数据类型、存储需求量、周期性变化以及特殊事件。结合实时管理数据和历史运行数据，可以全面了解数据存储子系统的当前状态以及过去的运行情况，有助于更准确地进行弹性配置和存储需求预测。进而，通过自适应调度模型，根据所述实时管理数据对所述数据存储子系统中的存储资源进行自适应弹性配置处理，以获得所述数据存储子系统在待配置时段下的弹性配置信息。通过该模型，可以根据实时管理数据的指标和权重，智能地调整存储资源的分配，使系统能够更好地适应实时的数据处理任务需求。接着，通过存储需求预测模型，对所述历史运行数据中各个历史时段下的数据存储需求量信息进行时序建模以及预测处理，以获得所述数据存储子系统在待配置时段下的存储需求预测信息。其中，所述存储需求预测信息至少包括：待配置时段时段下各种类型数据的预测存储需求量。利用该模型可以较准确地预测各种类型数据的存储需求量，为存储资源配置提供有益的参考依据。最后，对所述弹性配置信息与所述存储需求预测信息进行时空关联，并将关联结果融合处理为所述数据存储子系统的动态存储资源配置信息。从而，将弹性配置信息与存储需求预测信息进行时空关联和融合处理，综合考虑当前需求和未来趋势，为数据存储子系统提供动态的存储资源配置信息。结合两种模型的分析预测结果，可以实现更智能、更准确的动态存储资源配置，进而提高系统的性能和资源利用效率。

16、本申请技术方案，结合自适应调度模型和存储需求预测模型，对实时管理数据和历史运行数据进行综合分析和处理，为数据存储子系统提供更有效、更智能的弹性配置和存储需求预测，进而优化系统的整体存储资源管理和性能表现，提高系统整体性能和稳定性，拓展数据存储子系统的应用场景，提升系统的灵活性和适应性。

技术特征：

1.一种数据存储预测方法，其特征在于，应用于数据存储子系统，所述数据存储子系统用于存储和管理智能计算平台中各个数据处理任务所涉及到的数据；所述数据存储预测方法包括：

2.根据权利要求1所述的数据存储预测方法，其特征在于，所述自适应调度模型包括：实时监控模块、预测模块、弹性调度模块；

3.根据权利要求2所述的数据存储预测方法，其特征在于，通过预测模块，根据所述实时存储信息以及实时获取的各个数据处理任务的实时任务负载，对所述数据存储子系统在待配置时段下的未来系统负载进行预测，以获得所述数据存储子系统的目标负载预测信息，包括：

4.根据权利要求3所述的数据存储预测方法，其特征在于，所述渐进式学习模型表示为：

5.根据权利要求2所述的数据存储预测方法，其特征在于，通过弹性调度模块，基于所述目标负载预测信息，自适应调整所述数据存储子系统在待配置时段下系统存储资源的分配情况，以获得所述弹性配置信息，包括：

6.根据权利要求5所述的数据存储预测方法，其特征在于，所述弹性变化趋势参数基于历史弹性调度情况和预测误差得到；

7.根据权利要求1所述的数据存储预测方法，其特征在于，所述存储需求预测模型至少包括：拟合模块、季节预测模块、事件预测模块、预测生成模块；

8.根据权利要求7所述的数据存储预测方法，其特征在于，所述存储需求预测模型还包括：模式调整模块；

9.一种数据存储子系统，其特征在于，所述数据存储子系统用于存储和管理智能计算平台中各个数据处理任务所涉及到的数据，所述数据存储子系统包括：

10.一种智能计算平台，其特征在于，所述智能计算平台包括：

技术总结
本申请属于数据处理领域，尤其涉及一种数据存储预测方法、数据存储子系统及智能计算平台，该方法包括：获取数据存储子系统的实时管理数据以及历史运行数据；通过自适应调度模型，根据实时管理数据对数据存储子系统中的存储资源进行自适应弹性配置处理，以获得数据存储子系统在待配置时段下的弹性配置信息；通过存储需求预测模型，对历史运行数据中各个历史时段下的数据存储需求量信息进行时序建模以及预测处理，以获得数据存储子系统在待配置时段下的存储需求预测信息；对弹性配置信息与存储需求预测信息进行时空关联，并将关联结果融合处理为数据存储子系统的动态存储资源配置信息。拓展数据存储子系统的应用场景，提升系统的灵活性和适应性。

技术研发人员：邓练兵
受保护的技术使用者：广东琴智科技研究院有限公司
技术研发日：
技术公布日：2024/5/8