时序数据预训练模型微调方法及装置、时序数据预测模型与流程

本发明涉及数据处理，具体涉及一种时序数据预训练模型微调方法及装置、时序数据预测模型。

背景技术：

1、近年来，时序数据分析在许多领域发挥着重要的作用，包括金融市场、医疗领域、天文领域等。另电网场景下也配置了丰富的传感器装置，产生了海量的在线监测时序数据，可通过时序预测、异常检测等时序分析技术有效的检测出电网场景下的异常状态，从而提升故障诊断的智能化水平，提前防范重大故障的发生，有力支撑新型电力系统建设。

2、目前常用的时序分析包括半监督训练和自监督训练等，其中自监督训练作为一种通用的模型预训练学习范式，可以学习到时序数据的关键信息和固有模式，而忽略掉数据中存在的噪声，缓解模型对训练数据的过拟合，有利于模型泛化能力的提升。

3、然而，在使用传统预训练模型微调范式的情况下，由于时序训练数据的噪声和规模，预训练后的模型面向下游任务进行微调的过程中仍然会出现过拟合现象，造成了时序模型预测精度的下降，所以为电网时序预训练模型设计合适的模型微调范式是十分必要的。

技术实现思路

1、有鉴于此，本发明实施例提供了涉及一种时序数据预训练模型微调方法及装置、时序数据预测模型，以解决现有技术中由于时序训练数据的噪声和规模，采用预训练后的模型易出现过拟合现象，造成时序模型预测精度下降的技术问题。

2、本发明提出的技术方案如下：

3、本发明实施例第一方面提供一种时序数据预训练模型微调方法，包括：获取预训练模型和输入时序数据，所述预训练模型包括编码器和解码器，所述编码器用于提取输入时序数据的输入时序特征；采用线性层对所述输入时序特征进行线性计算，生成对应的动态提示特征；结合掩码特征、所述动态提示特征和所述输入时序特征确定增强后的时序特征；将所述增强后的时序特征输入至所述解码器解码，基于待预测的未来时刻，进行未来时刻的时序数据的预测。

4、可选地，该时序数据预训练模型微调方法还包括：获取未来时刻的实际时序数据；采用预设损失函数计算所述实际时序数据和预测的时序数据之间的误差损失；根据所述误差损失调整所述线性层的参数。

5、可选地，结合掩码特征、所述动态提示特征和所述输入时序特征输出增强后的时序特征，包括：将输入时序特征和掩码特征拼接，得到拼接后的特征；将所述动态提示特征和所述拼接后的特征按照对应位置相加，得到增强后的时序特征。

6、本发明实施例第二方面提供一种时序数据预训练模型微调装置，包括：数据获取模块，用于获取预训练模型和输入时序数据，所述预训练模型包括编码器和解码器，所述编码器用于提取输入时序数据的输入时序特征；动态提示模块，用于采用线性层对所述输入时序特征进行线性计算，生成对应的动态提示特征；增强模块，用于结合掩码特征、所述动态提示特征和所述输入时序特征确定增强后的时序特征；解码模块，用于将所述增强后的时序特征输入至所述解码器解码，基于待预测的未来时刻，进行未来时刻的时序数据的预测。

7、可选地，该时序数据预训练模型微调装置还包括：优化模块，具体用于获取未来时刻的实际时序数据；采用预设损失函数计算所述实际时序数据和预测的时序数据之间的误差损失；根据所述误差损失调整所述线性层的参数。

8、可选地，增强模块具体用于：将输入时序特征和掩码特征拼接，得到拼接后的特征；将所述动态提示特征和所述拼接后的特征按照对应位置相加，得到增强后的时序特征。

9、本发明实施例第三方面提供一种时序数据预测模型，包括：编码器，用于提取输入时序数据的输入时序特征；动态提示生成器，用于采用线性层对所述输入时序特征进行线性计算，生成对应的动态提示特征，结合掩码特征、所述动态提示特征和所述输入时序特征输出增强后的时序特征；解码器，用于根据所述增强后的时序特征进行解码，得到未来时刻的时序数据。

10、可选地，所述动态提示器包括：拼接层，用于将输入时序特征和掩码特征拼接，得到拼接后的特征；单层线性层，用于根据线性层的权重参数和偏置参数对所述输入时序特征进行线性计算，得到动态提示特征；增强层，用于将所述动态提示特征和所述拼接后的特征按照对应位置相加，得到增强后的时序特征。

11、可选地，所述编码器包括：线性映射层，用于将输入时序数据以每个时间步为单位映射到高维特征空间；第一位置编码层，用于为所述高维特征空间中的高维特征添加时序位置信息第一transformer层，用于基于自注意力机制对不同时间步上添加时序位置信息后的高维特征进行交互，得到输入时序特征。

12、可选地，所述解码器包括：第二位置编码层，用于为所述增强后的时序特征添加位置信息；第二transformer层，用于基于自注意力机制对不同时间步上添加位置信息的增强后的时序特征进行解码，得到解码后的特征；线性预测层，用于将解码后的特征映射为原始维度的未来时刻的时序数据。

13、可选地，该时序数据预测模型还包括：模型优化模块，用于根据未来时刻的时序数据和实际时序数据之间的误差损失调整所述动态提示生成器中的参数。

14、本发明实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如本发明实施例第一方面及第一方面任一项所述的时序数据预训练模型微调方法。

15、本发明实施例第五方面提供一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如本发明实施例第一方面及第一方面任一项所述的时序数据预训练模型微调方法。

16、本发明提供的技术方案，具有如下效果：

17、本发明实施例提供的时序数据预训练模型微调方法及装置，通过获取预训练模型和输入时序数据，预训练模型包括编码器和解码器，编码器用于提取输入时序数据的输入时序特征；采用线性层对输入时序特征进行线性计算，生成对应的动态提示特征；结合掩码特征、动态提示特征和输入时序特征确定增强后的时序特征；将增强后的时序特征输入至解码器解码，基于待预测的未来时刻，进行未来时刻的时序数据的预测。由此，该微调方法中，针对每个输入时序特征，考虑了其隐含的上下文知识生成了动态提示特征，该动态提示特征加入到输入时序特征中作为实例级别的提示信息，用于下游任务的模型参数微调，有效避免了时序预训练模型微调过程中的过拟合问题，大大提升了下游时序任务的预测精度。

18、本发明实施例提供的时序数据预测模型，在由编码器和解码器构成的预训练模型的基础上，在编码器和解码器之间增加动态提示生成器，动态提示生成器用于生成输入时序特征的动态提示特征，由此，动态提示生成器的设置，针对每个输入时序特征，考虑了其隐含的上下文知识生成了动态提示特征，该动态提示特征加入到输入时序特征中作为实例级别的提示信息，用于下游任务的模型参数微调，有效避免了时序预训练模型微调过程中的过拟合问题，大大提升了下游时序任务的预测精度。

19、本发明实施例提供的时序数据预测模型，在动态提示生成器中采用单层线性层，即该线性层具有极小参数量。由此，该模型不用存储任何中间层梯度结果，仅需要计算动态提升生成器的梯度信息，大幅降低了模型的显存占用。