一种基于ARIMA模型的识别数据处理方法及系统与流程

本发明涉及数据识别，具体为一种基于arima模型的识别数据处理方法及系统。

背景技术：

1、arima（差分自回归移动平均）模型是一种非常常用的时间序列分析方法，用于描述随时间变化的统计规律。它被广泛用于许多领域，如经济学、金融学、气象学等以预测未来发展趋势和做出决策。

2、近年来，机器学习技术的发展为数据的识别和分类带来了新的突破。尤其是深度学习技术的发展，更是实现了对数据的高度自动化分类和处理。通过深度学习技术，我们可以训练机器学习模型，使其自动学习数据的特征和规律，并用习后的模型对新数据进行分类和识别。但是，对于某复杂的数据集，仍然存在分类和识别精度不够高的问题。

技术实现思路

1、针对现有技术的不足，本发明提供了一种基于arima模型的识别数据处理方法及系统。

2、为实现以上目的，第一方面，本发明提供的一种基于arima模型的识别数据处理方法，通过以下技术方案予以实现：

3、一种基于arima模型的识别数据处理方法，包括如下步骤：

4、获取数据库目标表中的数据字段；

5、采用编码规则和识别数据模板定义识别生成规则；

6、通过编码规则选取数据字段并生成识别编码；

7、通过识别数据模板选取数据字段并生成识别数据；

8、建立arima模型，并对arima模型进行训练，通过训练后的arima模型对数据字段进行预测，得到结果；

9、通过采用上述技术方案，从数据库中实时获取数据，通过编码规则和识别数据模板定义识别数据格式，形成特有的识别数据，并传至下一节点，直接从数据库中获得数据生成识别数据，效率高，生成的识别数据便于识别；同时arima模型对识别数据模板待获取数据字段进行预测，若发现异常数据，则进行告警，提醒用户及时关注生产数据。

10、可选的，所述识别数据模板定义的标识包含m个标识属性，m个标识属性对应m个数据字段，在m个字段中，根据业务场景选择j个字段，其中，0≤j≤m，对j个字段进行数据处理，根据业务场景选择l(0≤l≤m)个字段，对l个字段进行数据转换。

11、可选的，述arima模型的训练过程为：

12、选取n条数据作为训练的原始时间序列；

13、获取原始时间序列的adf检验的p值；

14、根据adf检验的p值对原始数列进行差分确定d值；

15、对原始序列差分后得到δy，采用ljung-box 检验分别计算δy序列在5,10,12滞后期数下的p值；

16、令0<=p<=9, 0<=q<=9,组成10*10=100种模型，计算每个模型的对应的aic值；

17、选取aic值最小的一组模型，并对参数进行检验。

18、其中，arima(p, d, q)模型的展开表示如下：

19、

20、是时间序列数据；

21、到是ar模型的参数，这些参数用来描述当前值与过去p个时间点值之间的关系；

22、到是是ma模型的参数，这些参数用来描述当前值与过去q个时间点的误差之间的关系；

23、是在t时间点的误差项，c是一个常数项。

24、可选的，所述根据adf检验p值确定d值的方式为：若p值大于0.05，继续对原始数列进行差分后计算adf检验p值，直至差分序列为稳定序列，差分次数即为d。

25、可选的，所述aic是一种模型选择准则，它综合考虑了模型的拟合优度和模型的复杂度，可以用来比较不同模型之间的优劣。

26、可选的，所述aic值的计算公式为：aic = 2k–2ln(l)，其中k是模型中估计参数的数量，l是模型拟合的最大对数似然。

27、可选的，所述数据转化采用线性转换，线性转换采用最大最小规格化方法，公式如下：

28、转换后的属性值 =（待转换属性值-属性最小值）/（属性最大值-属性最小值）*（映射区间最大值-映射区间最小值）+映射区间最小值。

29、第二方面，一种基于arima模型的识别数据处理系统，其特征在于，包括：

30、数据获取模块，被配置为：获取数据库目标表中的数据字段；

31、编码规则模块，被配置为：通过编码规则选取数据字段生成识别编码；

32、识别数据模板模块，被配置为：通过识别数据模板选取数据字段并生成识别数据；

33、训练模块，被配置为：对arima模型进行训练；

34、预测模块，被配置为：数据字段进行预测，得到结果。

35、第三方面，一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于arima模型的识别数据处理方法。

36、第四方面，一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于arima模型的识别数据处理方法。

37、本发明提供了一种基于arima模型的识别数据处理方法，具备以下有益效果：

38、本发明提供一种基于arima模型的识别数据处理方法，本发明从数据库中实时获取数据，通过编码规则和识别数据模板定义识别数据格式，形成特有的识别数据，并传至下一节点，直接从数据库中获得数据生成识别数据，效率高，生成的识别数据便于识别，结合了arima模型的优势和时间序列数据的特点，能够准确、高效地处理大规模序列数据，提升数据的识别和预测能力；同时arima模型对识别数据模板待获取数据字段进行预测，若发现异常数据，则进行告警，提醒用户及时关注生产数据。

技术特征：

1.一种基于arima模型的识别数据处理方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于arima模型的识别数据处理方法，其特征在于，所述识别数据模板包含m个标识属性，m个标识属性对应m个数据字段，在m个字段中，根据业务场景选择j个字段，其中，0≤j≤m，对j个字段进行数据处理，根据业务场景选择l个字段，对l个字段进行数据转换，0≤l≤m。

3.根据权利要求2所述的一种基于arima模型的识别数据处理方法，其特征在于，所述arima模型的训练过程为：

4.根据权利要求3所述的一种基于arima模型的识别数据处理方法，其特征在于，所述根据adf检验的p值对原始数列进行差分确定d值，包括：若p值大于0.05，继续对原始数列进行差分后计算adf检验p值，直至差分序列为稳定序列，差分次数即为d。

5.根据权利要求4所述的一种基于arima模型的识别数据处理方法，其特征在于，所述aic值的计算公式为：aic = 2k–2ln(l)，其中k是模型中估计参数的数量，l是模型拟合的最大对数似然。

6.根据权利要求2所述的一种基于arima模型的识别数据处理方法，其特征在于，所述数据转化采用线性转换，线性转换采用最大最小规格化方法，公式如下：

7.一种基于arima模型的识别数据处理系统，其特征在于，包括：

8.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行如权利要求1所述的一种基于arima模型的识别数据处理方法。

9.一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行如权利要求1所述的一种基于arima模型的识别数据处理方法。

技术总结
本发明提供一种基于ARIMA模型的识别数据处理方法及系统，涉及数据识别技术领域，该方法包括如下步骤：获取数据库中目标表的数据字段；采用编码规则和识别数据模板定义识别生成规则；通过编码规则选取数据字段并生成识别编码；通过识别数据模板选取数据字段并生成识别数据；通过训练后的ARIMA模型对数据字段进行预测，得到结果；本发明从数据库中实时获取数据，通过编码规则和识别数据模板定义识别数据格式，形成特有的识别数据，并传至下一节点，直接从数据库中获得数据生成识别数据，效率高，生成的识别数据便于识别；同时ARIMA模型对识别数据模板待获取数据字段进行预测，若发现异常数据，则进行告警，提醒用户及时关注生产数据。

技术研发人员：丁九龄,张婉蒙,叶迎春,陈刚
受保护的技术使用者：山东未来网络研究院（紫金山实验室工业互联网创新应用基地）
技术研发日：
技术公布日：2024/5/12