数据处理方法、装置、设备及存储介质与流程

本申请属于数据处理，尤其涉及一种数据处理方法、装置、设备及存储介质。

背景技术：

1、各个服务平台在网络灾害或其他需要提防的危险发生之前，通常可以根据以往的数据总结规律或通过以往的数据计算得到的可能性前兆，以向服务平台发出告警，从而最大程度的减轻危害所造成的损失。

2、在相关技术中，可以采用传统的自回归模型(ar)、移动平均模型(ma)、自回归移动平均模型(arma)、自回归差分移动平均模型(arima)等数学模型，寻找历史数据之间的自相关性，以总结规律或可能性前兆。然而，由于上述模型对于复杂数据(如变量数量多、场景复杂)的处理能力较差，难以满足日常工作预测精度，无法得到较为准确的计算结果，造成误告警，影响各个服务平台的管理效率。

技术实现思路

1、本申请实施例提供一种数据处理方法、装置、设备及存储介质，能够解决相关技术中数据计算结果准确度低的问题。

2、第一方面，本申请实施例提供一种数据处理方法，包括：

3、获取第一预设时间窗内的服务数据，服务数据包括下述中的至少一种：趋势项服务数据、节假日项服务数据、周期项服务数据；

4、将服务数据作为第一训练样本输入初始时间序列预测模型，计算第一预测服务数据；

5、将第一预测服务数据与服务数据的预设实际服务数据的残差数据作为第二训练样本输入初始catboost回归模型，计算第二预测服务数据；

6、在残差数据不符合第一预设条件的情况下，将第二预测服务数据添加到第一训练样本，重复执行计算第一预测服务数据和第二预测服务数据，直至残差数据符合第一预设条件；

7、根据与残差数据符合第一预设条件对应的目标时间序列预测模型和目标catboost回归模型，构建线性组合模型，线性组合模型用于对服务数据的监测。

8、第二方面，本申请实施例提供一种数据处理装置，该装置可以包括：

9、获取模块，用于获取第一预设时间窗内的服务数据，服务数据包括下述中的至少一种：趋势项服务数据、节假日项服务数据、周期项服务数据；

10、计算模块，用于将服务数据作为第一训练样本输入初始时间序列预测模型，计算第一预测服务数据；

11、计算模块还用于，将第一预测服务数据与服务数据的预设实际服务数据的残差数据作为第二训练样本输入初始catboost回归模型，计算第二预测服务数据；

12、执行模块，用于在残差数据不符合第一预设条件的情况下，将第二预测服务数据添加到第一训练样本，重复执行计算第一预测服务数据和第二预测服务数据，直至残差数据符合第一预设条件；

13、构建模块，用于根据与残差数据符合第一预设条件对应的目标时间序列预测模型和目标catboost回归模型，构建线性组合模型，线性组合模型用于对服务数据的监测。

14、第三方面，本申请实施例提供了一种计算机设备，该计算机设备包括：处理器以及存储有计算机程序指令的存储器；

15、处理器执行计算机程序指令时实现如第一方面所示的数据处理方法。

16、第四方面，本申请实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面所示的数据处理方法。

17、第五方面，本申请实施例提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面所示的数据处理方法。

18、第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所示的数据处理方法。

19、本申请实施例的数据处理方法、装置、设备及存储介质，获取第一预设时间窗内的服务数据，将服务数据作为第一训练样本输入初始时间序列预测模型，计算第一预测服务数据，并将第一预测服务数据与服务数据的预设实际服务数据的残差数据作为第二训练样本输入初始catboost回归模型，计算第二预测服务数据，然后，在残差数据不符合第一预设条件的情况下，将第二预测服务数据添加到第一训练样本，重复执行计算第一预测服务数据和第二预测服务数据，直至残差数据符合第一预设条件，根据与残差数据符合第一预设条件对应的目标时间序列预测模型和目标catboost回归模型，构建线性组合模型，线性组合模型用于对服务数据的监测。这样，通过时间序列预测模型与catboost回归模型的融合，对由时间序列预测模型产生第一预测服务数据的生成的残差数据进行二次利用，将残差数据作为特征值融入catboost回归模型，在减少构建特征值的过程的同时，使集成后的线性组合模型保留了周期性的数据信息，可以有效地综合时间序列预测模型对于长期时序数据预测精度和catboost回归模型预测短期数据的预测精度，即线性组合模型既可以保证对于长期数据的预测精度，又可以保证对于短期数据的预测精度，如此，提高了对于服务数据结果的预测准确度，降低了对服务数据的监测的错误告警频率，进而提高服务平台的管理效率。

技术特征：

1.一种数据处理方法，包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述将所述服务数据作为第一训练样本输入初始时间序列预测模型，计算第一预测服务数据之前，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，所述在所述残差数据不符合第一预设条件的情况下，将所述第二预测服务数据添加到所述第一训练样本，重复执行计算所述第一预测服务数据和第二预测服务数据，包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，所述根据与所述残差数据符合所述第一预设条件对应的目标时间序列预测模型和目标catboost回归模型，构建线性组合模型，包括：

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.根据权利要求1所述的方法，其特征在于，所述获取第一预设时间窗内的服务数据，包括：

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

10.一种数据处理装置，包括：

11.一种计算机设备，所述设备包括：处理器以及存储有计算机程序指令的存储器；

12.一种存储介质，所述存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-9任意一项所述的数据处理方法。

技术总结
本申请公开了一种数据处理方法、装置、设备及存储介质。该方法包括将获取到的服务数据作为第一训练样本输入初始时间序列预测模型，计算第一预测服务数据，将第一预测服务数据与服务数据的预设实际服务数据的残差数据作为第二训练样本输入初始catboost回归模型，计算第二预测服务数据，在残差数据不符合第一预设条件时，将第二预测服务数据添加到第一训练样本，重复执行计算第一预测服务数据和第二预测服务数据，直至残差数据符合第一预设条件，根据目标时间序列预测模型和目标catboost回归模型，构建线性组合模型。这样，线性组合模型既可以保证长期数据的预测精度，又可以保证短期数据的预测精度，如此，有效提高对于服务数据结果的预测准确度。

技术研发人员：王灿,许庆堂,肖梁,徐蓉
受保护的技术使用者：中国银联股份有限公司
技术研发日：
技术公布日：2024/1/12