模型训练方法、公式识别方法、装置、介质及设备与流程

本公开涉及计算机，具体地，涉及一种模型训练方法、公式识别方法、装置、介质及设备。

背景技术：

1、在智能教育中，通常采用智能技术来辅助教学，例如采用公式识别技术来辅助开发ai学习机，以及进行智能录排和智能批改等。由于数学、物理以及化学等学科的公式，例如数学中的矩阵、微分公式、开根号以及化学反应方程式等，普遍存在复杂的结构特征，标注成本高且不利于智能体的学习，因此公式识别技术一直以来都是智能技术领域的难点之一。

2、相关技术可采用传统方法和深度学习方法来进行公式识别。其中，传统方法预处理操作复杂、标注成本高，且模型泛化能力弱。深度学习方法通常采用crnn+ctc以及seq2seq等算法进行公式识别，这些算法无法对复杂结构的公式进行识别，且存在长期依赖问题。由此可见，相关技术对于公式识别的准确率较低。

技术实现思路

1、本公开的目的是提供一种模型训练方法、公式识别方法、装置、介质及设备，以解决相关技术中存在的问题。

2、为了实现上述目的，根据本公开实施例的第一方面，提供一种模型训练方法，用于训练公式识别模型，所述公式识别模型包括编码层和解码层，所述方法包括：

3、获取样本图像，所述样本图像包括样本公式，所述样本公式标注有样本公式标签；

4、将所述样本图像输入设置有第一训练参数的所述编码层，得到所述编码层输出的样本公式图像特征，其中，所述第一训练参数的初始值是基于掩膜自编码器预训练得到的；

5、将所述样本公式图像特征输入设置有第二训练参数的所述解码层，得到所述解码层输出的样本公式识别结果，其中，所述第二训练参数的初始值是基于双向自编码器预训练得到的；

6、根据所述样本公式识别结果和所述样本公式标签，计算目标损失值；

7、根据所述目标损失值调整所述公式识别模型的所述第一训练参数和所述第二训练参数。

8、可选地，所述掩膜自编码器包括视觉变形编码器和变形解码器，所述掩膜自编码器的预训练过程包括：

9、获取第一样本图像，所述第一样本图像包括第一样本公式；

10、对所述第一样本图像进行随机掩码处理，得到掩码子图块和未掩码子图块；

11、将所述未掩码子图块输入所述视觉变形编码器，得到所述未掩码子图块的初始向量特征；

12、将所述掩码子图块的掩码向量特征和所述初始向量特征输入所述变形解码器，得到预测样本图像；

13、根据所述预测样本图像和所述第一样本图像计算第一损失值，并根据所述第一损失值调整所述掩膜自编码器的第一预训练参数。

14、可选地，所述第一预训练参数包括所述视觉变形编码器的编码训练参数，预训练完成的所述掩膜自编码器中所述视觉变形编码器的编码训练参数的值表征所述编码层的第一训练参数的初始值。

15、可选地，述双向自编码器的预训练过程包括：

16、获取样本公式序列；

17、对所述样本公式序列进行随机掩码处理，得到随机掩码样本公式序列；

18、确定所述随机掩码样本公式序列的字符向量、分割向量以及位置向量，并计算得到所述字符向量、所述分割向量以及所述位置向量的相加向量；

19、将所述相加向量输入所述双向自编码器，得到预测样本公式序列；

20、根据所述预测样本公式序列和所述样本公式序列计算第二损失值，并根据所述第二损失值调整所述双向自编码器的第二预训练参数。

21、可选地，所述方法还包括：

22、根据所述变形解码器的网络架构和所述双向自编码器的网络架构，确定目标网络层，其中，所述变形解码器的网络架构中包括所述目标网络层，所述双向自编码器的网络架构中不包括所述目标网络层；

23、随机初始化所述目标网络层的训练参数，得到初始化参数；

24、将所述初始化参数和预训练完成的所述双向自编码器的第二预训练参数作为所述解码层的第二训练参数的初始值。

25、根据本公开实施例的第二方面，提供一种公式识别方法，所述方法包括：

26、获取待识别图像，所述待识别图像包括待识别公式；

27、将所述待识别图像输入公式识别模型，得到所述公式识别模型输出的公式识别结果，其中，所述公式识别模型是通过第一方面中任一项所述的模型训练方法训练得到的。

28、根据本公开实施例的第三方面，提供一种模型训练装置，所述模型训练装置用于训练公式识别模型，所述公式识别模型包括编码层和解码层，所述模型训练装置包括：

29、第一获取模块，用于获取样本图像，所述样本图像包括样本公式，所述样本公式标注有样本公式标签；

30、第一输入模块，用于将所述样本图像输入设置有第一训练参数的所述编码层，得到所述编码层输出的样本公式图像特征，其中，所述第一训练参数的初始值是基于掩膜自编码器预训练得到的；

31、第二输入模块，用于将所述样本公式图像特征输入设置有第二训练参数的所述解码层，得到所述解码层输出的样本公式识别结果，其中，所述第二训练参数的初始值是基于双向自编码器预训练得到的；

32、计算模块，用于根据所述样本公式识别结果和所述样本公式标签，计算目标损失值；

33、调整模块，用于根据所述目标损失值调整所述公式识别模型的所述第一训练参数和所述第二训练参数。

34、根据本公开实施例的第四方面，提供一种公式识别装置，所述公式识别装置包括：

35、第二获取模块，用于获取待识别图像，所述待识别图像包括待识别公式；

36、第三输入模块，用于将所述待识别图像输入公式识别模型，得到所述公式识别模型输出的公式识别结果，其中，所述公式识别模型是通过第一方面中任一项所述的模型训练方法训练得到的。

37、根据本公开实施例的第五方面，提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一项或第二方面所述方法的步骤。

38、根据本公开实施例的第六方面，提供一种电子设备，包括：

39、存储器，其上存储有计算机程序；

40、处理器，用于执行所述存储器中的所述计算机程序，以实现上述第一方面中任一项或第二方面所述方法的步骤。

41、通过上述技术方案，对公式识别模型的编码层和解码层进行训练。在训练过程中，可以通过对掩膜自编码器进行预训练得到编码层的第一训练参数的初始值，以及通过对双向自编码器进行预训练得到解码层的第二训练参数的初始值。这样，可以通过第一训练参数的初始值和第二训练参数的初始值为公式识别模型加入先验知识，以使公式识别模型可以在具备初步的公式识别能力的基础上进行监督学习。由于公式识别模型已经具备初步的公式识别能力，因此可基于少量标注数据微调模型的第一训练参数和第二训练参数，从而降低标注成本，提升训练得到的公式识别模型的准确率。

42、本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。