一种数据处理方法、装置、设备及存储介质与流程

文档序号:37942931发布日期:2024-05-11 00:23阅读:19来源:国知局
一种数据处理方法、装置、设备及存储介质与流程

本技术涉及深度学习,尤其涉及一种数据处理方法、装置、设备及存储介质。


背景技术:

1、随着大数据、云计算等新兴技术的发展,机器学习和深度学习技术的应用已十分广泛。举例来说,针对金融领域中多种不同类型的时序数据,可以利用这些时序数据来预测其中一种时序数据的后续变化。但是,不同类型的时序数据往往具有不同的频率。例如,低频的时序数据可以包括月度或周度的财务数据;高频的时序数据可以包括时频或分频的交易数据。若直接对这些频率不同的时序数据进行分析处理,则可能会出现数据丢失或误差等情况,导致最终需要预测的时序数据的预测结果的准确性不足。


技术实现思路

1、本技术实施例提供了一种数据处理方法、装置、设备及存储介质,以对不同频率的时序数据进行有效地处理,提高需要预测的时序数据的预测准确性。

2、第一方面,本技术实施例提供了一种数据处理方法,所述数据处理方法通过数据处理模型实现,所述数据处理模型包括多个时序处理模块、信息融合模块和数据预测模块;所述数据处理方法包括:

3、确定多个时序数据分别对应的时序处理模块;所述多个时序数据具有不同频率,且所述多个时序数据包括待预测的目标时序数据;

4、将所述每个时序数据输入所述每个时序数据对应的时序处理模块,通过每个时序数据对应的时序处理模块提取所述每个时序数据的频率信息;

5、通过所述信息融合模块融合所述多个时序数据的频率信息,得到融合频率信息;

6、基于所述数据预测模块对所述融合频率信息进行预测,得到所述目标时序数据的预测结果。

7、可选地,所述时序处理模块包括l个信息提取层,l为正整数;所述将所述每个时序数据输入所述每个时序数据对应的时序处理模块,通过每个时序数据对应的时序处理模块提取所述每个时序数据的频率信息,包括:

8、将所述每个时序数据输入所述l个信息提取层的第一层,通过所述第一层对所述每个时序数据进行信息提取,得到所述每个时序数据的第一个隐变量;

9、将所述每个时序数据的第l-1个隐变量输入所述l个信息提取层的第l层,通过所述第l层对所述第l-1个隐变量进行信息提取,得到所述每个时序数据的第l个隐变量;2≤l≤l;当l=l时,第l个隐变量包括所述每个时序数据的频率信息。

10、可选地,所述信息融合模块包括卷积神经网络和图注意力网络;所述通过所述信息融合模块融合所述多个时序数据的频率信息,得到融合频率信息,包括:

11、基于所述多个时序数据对应的隐变量,获取总隐变量;

12、基于所述卷积神经网络对所述总隐变量进行卷积操作,得到第一融合隐变量;

13、通过所述图注意力网络对所述总隐变量进行分析,得到第二融合隐变量;

14、对所述第一融合隐变量和所述第二融合隐变量进行拼接,得到所述融合频率信息。

15、可选地,所述图注意力网络包括注意力单元、归一化单元和加权单元;所述通过所述图注意力网络对所述总隐变量进行分析,得到第二融合隐变量,包括:

16、将所述总隐变量输入所述注意力单元,通过所述注意力单元确定所述目标时序数据的隐变量和其它时序数据的隐变量之间的相似系数;

17、通过归一化单元对所述相似系数进行归一化,得到注意力系数;

18、将所述注意力系数和所述总隐变量输入所述加权单元,通过所述注意力单元对所述总隐变量进行加权计算,得到所述第二融合隐变量。

19、可选地,所述基于所述卷积神经网络对所述总隐变量进行卷积操作,得到第一融合隐变量,包括:

20、基于所述卷积神经网络对所述总隐变量进行一维卷积操作,得到卷积操作结果;

21、基于所述卷积操作结果将所述总隐变量对应的卷积通道进行整合,得到所述第一融合隐变量。

22、可选地,所述数据预测模块包括全连接层,所述全连接层包括隐藏层和输出层;所述基于所述数据预测模块对所述融合频率信息进行预测,得到所述目标时序数据的预测结果,包括:

23、将所述融合频率信息输入所述隐藏层,得到解码结果;

24、将所述解码结果输入所述输出层,得到所述预测结果。

25、可选地,所述数据处理模型通过如下步骤训练:

26、基于所述目标时序数据的实际结果和所述预测结果,确定初始数据处理模型的损失值;

27、通过梯度反向传播算法对所述初始数据处理模型进行训练,直至所述损失值小于或等于预设损失值,停止训练得到所述数据处理模型。

28、第二方面,本技术实施例提供了一种数据处理装置,所述数据处理装置通过数据处理模型实现,所述数据处理模型包括多个时序处理模块、信息融合模块和数据预测模块;所述数据处理装置包括:

29、第一确定模块,用于确定多个时序数据分别对应的时序处理模块;所述多个时序数据具有不同频率,且所述多个时序数据包括待预测的目标时序数据;

30、提取模块,用于将所述每个时序数据输入所述每个时序数据对应的时序处理模块,通过每个时序数据对应的时序处理模块提取所述每个时序数据的频率信息;

31、融合模块,用于通过所述信息融合模块融合所述多个时序数据的频率信息,得到融合频率信息;

32、预测模块,用于基于所述数据预测模块对所述融合频率信息进行预测,得到所述目标时序数据的预测结果。

33、第三方面,本技术实施例提供了一种电子设备,所述设备包括:处理器、存储器、系统总线;

34、所述处理器以及所述存储器通过所述系统总线相连;

35、所述存储器用于存储一个或多个程序,所述一个或多个程序包括指令,所述指令当被所述处理器执行时使所述处理器执行上述数据处理方法的任一实现方式。

36、第四方面,本技术实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在电子设备上运行时,使得所述电子设备执行上述数据处理方法的任一实现方式。

37、从以上技术方案可以看出,本技术实施例具有以下优点:

38、在本技术实施例中,可以通过数据处理模型来实现数据处理方法,该数据处理模型包括多个时序处理模块、信息融合模块和数据预测模块。基于此,可以先确定多个时序数据分别对应的时序处理模块;该多个时序数据具有不同频率,且多个时序数据包括待预测的目标时序数据;而后,再将每个时序数据输入每个时序数据对应的时序处理模块,通过每个时序数据对应的时序处理模块提取每个时序数据的频率信息。接着,通过信息融合模块融合多个时序数据的频率信息,得到融合频率信息,再基于数据预测模块对融合频率信息进行预测,得到目标时序数据的预测结果。如此,由于为不同频率的多个时序数据分别采用其对应的时序处理模块,因此,可以对这些时序数据的频率信息进行自适应地抽取,从而充分、有效地抽取出时序数据的频率信息,提高信息抽取效果,进而通过抽取出的频率信息预测,即可避免直接对这些时序数据进行数据而导致的数据丢失或误差等问题,从而提高目标时序数据的预测结果的准确性。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1