一种可持续学习的唇语识别模型训练方法及装置与流程

本技术涉及计算机，特别是涉及一种可持续学习的唇语识别模型训练方法及装置。

背景技术：

1、随着大模型时代的到来，类增量学习技术被应用于越来越多的领域中。类增量学习指模型需要不断地从连续数据流中学习新类别知识，同时保留学到的旧类别知识。在现有的图像类增量学习方法中，虽然也实现了在通过保存模型参数来保留旧类别知识的情况下学习新类别知识，但是现有的图像类增强方法难以适配于唇语识别任务中，从而降低了唇语识别的准确性。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够适配唇语识别的类增量学习的可持续学习的唇语识别模型训练方法、装置、计算机设备和存储介质，提高了唇语识别的准确性。

2、一种可持续学习的唇语识别模型训练方法，所述方法包括：

3、获取当前任务对应的待训练数据和当前任务唇语识别模型，获取前向任务唇语识别模型对应的前向任务特征数据、前向任务模型参数数据和前向任务类概率数据，所述当前任务唇语识别模型基于所述前向任务模型参数数据进行参数初始化；

4、基于所述待训练数据对当前任务唇语识别模型进行训练，得到当前任务唇语识别模型对应的当前任务特征数据和当前任务类概率数据；

5、基于所述前向任务特征数据、前向任务类概率数据、当前任务特征数据和当前任务类概率数据，计算当前任务唇语识别模型对应的当前任务损失数据；

6、基于所述当前任务损失数据，对当前任务唇语识别模型进行调参操作，重复基于所述待训练数据对当前任务唇语识别模型进行训练的步骤，直至满足训练终止条件，得到所述当前任务对应的目标任务唇语识别模型。

7、在其中一个实施例中，所述前向任务模型参数数据包括前向任务短时特征提取网络参数、第一前向任务长时特征提取网络参数和第二前向任务长时特征提取网络参数，所述当前任务唇语识别模型包括短时特征提取网络、第一长时特征提取网络和第二长时特征提取网络；所述获取当前任务唇语识别模型之前，还包括：

8、将所述前向任务短时特征提取网络参数作为所述短时特征提取网络对应的初始化参数；

9、获取预设系数，将所述预设系数、第一前向任务长时特征提取网络参数和第二前向任务长时特征提取网络参数进行融合，得到融合长时特征提取网络参数，将所述融合长时特征提取网络参数作为所述第一长时特征提取网络对应的初始化参数；

10、将所述第二前向任务长时特征提取网络参数作为所述第二长时特征提取网络对应的初始化参数。

11、在其中一个实施例中，所述前向任务特征数据包括前向任务短时视觉特征、前向任务长时视觉特征和前向任务综合特征；所述当前任务特征数据包括当前任务短时视觉特征、当前任务长时视觉特征和当前任务综合特征；所述基于所述前向任务特征数据、前向任务类概率数据、当前任务特征数据和当前任务类概率数据，计算当前任务唇语识别模型对应的当前任务损失数据包括：

12、基于预设范数函数，计算所述前向任务短时视觉特征和当前任务短时视觉特征对应的第一范数值，以及计算所述当前任务长时视觉特征和前向任务长时视觉特征对应的第二范数值，将所述第一范数值和第二范数值进行融合，得到当前任务唇语识别模型对应的序列蒸馏损失数据；

13、基于预设熵损失函数，计算所述前向任务综合特征和当前任务综合特征对应的熵损失数据，基于预设散度函数，计算所述前向任务类概率数据和当前任务类概率数据对应的散度损失数据，将所述熵损失数据和散度损失数据进行融合，得到当前任务唇语识别模型对应的分布蒸馏损失数据；

14、将所述序列蒸馏损失数据和分布蒸馏损失数据进行融合，得到当前任务唇语识别模型对应的当前任务损失数据。

15、在其中一个实施例中，所述基于所述当前任务损失数据，对当前任务唇语识别模型进行调参操作包括：

16、基于预设传播算法和所述当前任务损失数据，计算所述当前任务唇语识别模型中的短时特征提取网络对应的待更新短时网络参数和第二长时特征提取网络对应的待更新第二长时网络参数；

17、基于所述待更新短时网络参数对所述短时特征提取网络进行参数调整，得到更新的短时特征提取网络，基于所述待更新第二长时网络参数对所述第二长时特征提取网络进行参数调整，得到更新的第二长时特征提取网络；

18、将所述当前任务唇语识别模型中的第一长时特征提取网络对应的参数和所述待更新第二长时模型参数进行融合，得到所述第一长时特征提取网络对应的待更新第一长时网络参数，基于所述待更新第一长时模型参数对所述第一长时特征提取网络进行参数调整，得到更新的第一长时特征提取网络。

19、在其中一个实施例中，所述获取当前任务对应的待训练数据包括：

20、获取前向任务重复样本数据和前向任务更新样本数据；

21、基于预设类中心距离算法和所述前向任务更新样本数据对应的前向任务特征数据，从所述前向任务更新样本数据中获取第一待使用样本数据，基于预设取样规则，从所述前向任务重复样本数据中获取第二待使用样本数据；

22、获取当前任务更新样本数据，将所述当前任务更新样本数据、第一待使用样本数据和第二待使用样本数据组合生成所述待训练数据。

23、在其中一个实施例中，所述基于所述待训练数据对当前任务唇语识别模型进行训练，得到当前任务唇语识别模型对应的当前任务特征数据包括：

24、将所述待训练数据输入所述当前任务唇语识别模型中，基于所述当前任务唇语识别模型中的短时特征提取网络对所述待训练数据进行特征提取，得到当前任务短时视觉特征；

25、将所述当前任务短时视觉特征分别输入所述当前任务唇语识别模型中的第一长时特征提取网络和第二长时特征提取网络，得到第一长时视觉特征和第二长时视觉特征，将所述第一长时视觉特征和第二长时视觉特征进行融合，得到当前任务长时视觉特征；

26、将所述当前任务长时视觉特征依次输入池化层和全连接层，得到当前任务综合特征，所述当前任务短时视觉特征、当前任务长时视觉特征和当前任务综合特征构成所述当前任务特征数据。

27、在其中一个实施例中，所述重复基于所述待训练数据对当前任务唇语识别模型进行训练的步骤，直至满足训练终止条件，得到所述当前任务对应的目标任务唇语识别模型包括：

28、重复基于所述待训练数据对当前任务唇语识别模型进行训练的步骤，直至满足训练终止条件，得到多个待选取当前任务唇语识别模型；

29、基于各待选取当前任务唇语识别模型对应的评价指标的比对结果，从所述多个待选取当前任务唇语识别模型中确定所述目标任务唇语识别模型。

30、一种可持续学习的唇语识别模型训练装置，所述装置包括：

31、获取模块，用于获取当前任务对应的待训练数据和当前任务唇语识别模型，获取前向任务唇语识别模型对应的前向任务特征数据、前向任务模型参数数据和前向任务类概率数据，所述当前任务唇语识别模型基于所述前向任务模型参数数据进行参数初始化；

32、训练模块，用于基于所述待训练数据对当前任务唇语识别模型进行训练，得到当前任务唇语识别模型对应的当前任务特征数据和当前任务类概率数据；

33、计算模块，用于基于所述前向任务特征数据、前向任务类概率数据、当前任务特征数据和当前任务类概率数据，计算当前任务唇语识别模型对应的当前任务损失数据；

34、调参模块，用于基于所述当前任务损失数据，对当前任务唇语识别模型进行调参操作，重复基于所述待训练数据对当前任务唇语识别模型进行训练的步骤，直至满足训练终止条件，得到所述当前任务对应的目标任务唇语识别模型。

35、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

36、获取当前任务对应的待训练数据和当前任务唇语识别模型，获取前向任务唇语识别模型对应的前向任务特征数据、前向任务模型参数数据和前向任务类概率数据，所述当前任务唇语识别模型基于所述前向任务模型参数数据进行参数初始化；

37、基于所述待训练数据对当前任务唇语识别模型进行训练，得到当前任务唇语识别模型对应的当前任务特征数据和当前任务类概率数据；

38、基于所述前向任务特征数据、前向任务类概率数据、当前任务特征数据和当前任务类概率数据，计算当前任务唇语识别模型对应的当前任务损失数据；

39、基于所述当前任务损失数据，对当前任务唇语识别模型进行调参操作，重复基于所述待训练数据对当前任务唇语识别模型进行训练的步骤，直至满足训练终止条件，得到所述当前任务对应的目标任务唇语识别模型。

40、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

41、获取当前任务对应的待训练数据和当前任务唇语识别模型，获取前向任务唇语识别模型对应的前向任务特征数据、前向任务模型参数数据和前向任务类概率数据，所述当前任务唇语识别模型基于所述前向任务模型参数数据进行参数初始化；

42、基于所述待训练数据对当前任务唇语识别模型进行训练，得到当前任务唇语识别模型对应的当前任务特征数据和当前任务类概率数据；

43、基于所述前向任务特征数据、前向任务类概率数据、当前任务特征数据和当前任务类概率数据，计算当前任务唇语识别模型对应的当前任务损失数据；

44、基于所述当前任务损失数据，对当前任务唇语识别模型进行调参操作，重复基于所述待训练数据对当前任务唇语识别模型进行训练的步骤，直至满足训练终止条件，得到所述当前任务对应的目标任务唇语识别模型。

45、上述可持续学习的唇语识别模型训练方法、装置、计算机设备和存储介质，通过获取当前任务对应的待训练数据和当前任务唇语识别模型，获取前向任务唇语识别模型对应的前向任务特征数据、前向任务模型参数数据和前向任务类概率数据，所述当前任务唇语识别模型基于所述前向任务模型参数数据进行参数初始化；基于所述待训练数据对当前任务唇语识别模型进行训练，得到当前任务唇语识别模型对应的当前任务特征数据和当前任务类概率数据；基于所述前向任务特征数据、前向任务类概率数据、当前任务特征数据和当前任务类概率数据，计算当前任务唇语识别模型对应的当前任务损失数据；基于所述当前任务损失数据，对当前任务唇语识别模型进行调参操作，重复基于所述待训练数据对当前任务唇语识别模型进行训练的步骤，直至满足训练终止条件，得到所述当前任务对应的目标任务唇语识别模型，实现了适配于唇语识别的类增量学习，通过基于前向任务训练得到的唇语识别模型的参数来初始化当前任务训练的唇语识别模型，使得当前任务的唇语识别模型在初始便可以获得原先任务训练学习到的知识，在对当前任务进行训练的过程中，渐进式的将前向任务的唇语识别模型学习到的知识蒸馏传递到当前任务训练的唇语识别模型中，使得当前任务的唇语识别模型在学习到新样本数据的类别知识的同时，不需要再将之前训练过的样本数据全部重新训练，便可有效地保留之前的任务学习到的旧类别知识，相比现有的类增量学习方法而言，极大地减小了模型训练的计算量和内存成本；此外，该类增量学习方法解决了唇语识别需要提取视频短时间的视素特征信息和长时间上下文关系的特征信息而导致模型参数量和计算量大的问题，同时提升了唇语识别渐进式学习中针对新类别的可塑性和针对旧类别的稳定性，从而有效地提高了对唇语识别的准确性。