一种二维速算题识别方法、装置、存储介质及设备与流程

本技术涉及信息识别，尤其涉及一种二维速算题识别方法、装置、存储介质及设备。

背景技术：

1、目前，在教育领域的数学教育中，对速算题的识别和批改一直是教师、家长和学生关注的焦点。而在实际教学过程中，家长和老师对于速算题的批改往往需要耗费大量的时间和精力，因此，能否实现速算题的智能识别和批改显得尤为重要。

2、现有的速算题识别方法通常将待识别的图片作为识别模型的输入，将latex表示的公式作为识别模型的输出，通过识别模型将latex表示的公式逐字符地识别出来。但由于二维速算题的结构变化多样，通常会涉及多种图形结构，识别顺序较为复杂，没有标准的公式语言描述二维结构，难以建模。而现有识别模型对二维速算题识别的泛化能力较差，逐符号识别的方法只能适应模型学习过的图形，对新的图形样式识别容易出错。因此，如仍采用现有识别方法，对二维速算题识别进行识别，将导致识别结果不够准确。

技术实现思路

1、本技术实施例的主要目的在于提供一种二维速算题识别方法、装置、存储介质及设备，能够提高二维速算题识别结果的准确率。

2、本技术实施例提供了一种二维速算题识别方法，包括：

3、获取待识别的目标图像；所述目标图像中包含待识别的目标二维速算题；

4、将所述目标图像输入编码器进行编码，得到所述目标图像对应的编码后的目标图像特征；

5、将所述目标图像特征输入预先构建的解码器进行条件式的解码，得到所述目标二维速算题的解码结果；并根据所述解码结果，确定所述目标二维速算题的最终识别结果。

6、一种可能的实现方式中，所述将所述目标图像输入编码器进行编码，得到所述目标图像对应的编码后的目标图像特征，包括：

7、将所述目标图像输入编码器进行编码，得到初步编码特征；

8、对所述初步编码特征进行多尺度的特征融合处理，并将融合后的编码特征作为所述目标图像对应的编码后的目标图像特征。

9、一种可能的实现方式中，所述解码器包括二维注意力层、记忆单元、循环神经网络层和分类层；所述记忆单元存储占位符的视觉特征；所述将所述目标图像特征输入预先构建的解码器进行条件式的解码，得到所述目标二维速算题的解码结果，包括：

10、当所述记忆单元为空时，将全局的目标图像特征的平均值作为解码条件，与所述目标图像特征共同输入所述解码器的二维注意力层进行解码，得到第一解码视觉特征；或者，当所述记忆单元不为空时，将所述记忆单元中占位符的视觉特征作为解码条件，与所述目标图像特征共同输入所述解码器的二维注意力层，得到第二解码视觉特征；

11、将所述第一解码视觉特征或第二解码视觉特征，以及上一时刻的解码结果，输入所述解码器的循环神经网络层进行解码，得到第三解码视觉特征；

12、将所述第三解码视觉特征输入所述解码器的分类层进行符号预测，得到所述目标二维速算题的解码结果。

13、一种可能的实现方式中，当利用所述第一解码视觉特征进行解码时，得到的解码结果为所述目标二维速算题对应的计算单元；当利用所述第二解码视觉特征进行解码时，得到的解码结果为所述目标二维速算题对应的计算单元中的内容；其中，所述计算单元为具有预设计算关系的图形。

14、一种可能的实现方式中，所述计算单元为上三角、倒三角、箭头、跳跃连接、复用或等式中的至少一种。

15、一种可能的实现方式中，所述根据所述解码结果，确定所述目标二维速算题的最终识别结果，包括：

16、利用所述目标二维速算题对应的计算单元以及所述计算单元中的内容，构成所述目标二维速算题的最终识别结果。

17、一种可能的实现方式中，所述解码器的构建方式如下：

18、获取样本图像；所述样本图像中包含样本二维速算题；所述样本二维速算题包含的计算单元为上三角、倒三角、箭头、跳跃连接、复用或等式中的至少一种；

19、将所述样本图像输入编码器进行编码，得到所述样本图像对应的编码后的样本图像特征；

20、将所述样本图像特征输入初始解码器，并利用所述初始解码器输出的识别结果与所述样本二维速算题的真实识别标签和交叉熵损失函数，对初始解码器进行训练，得到所述解码器。

21、本技术实施例还提供了一种二维速算题识别装置，包括：

22、第一获取单元，用于获取待识别的目标图像；所述目标图像中包含待识别的目标二维速算题；

23、第一编码单元，用于将所述目标图像输入编码器进行编码，得到所述目标图像对应的编码后的目标图像特征；

24、解码单元，用于将所述目标图像特征输入预先构建的解码器进行条件式的解码，得到所述目标二维速算题的解码结果；并根据所述解码结果，确定所述目标二维速算题的最终识别结果。

25、一种可能的实现方式中，所述第一编码单元包括：

26、解码子单元，用于将所述目标图像输入编码器进行编码，得到初步编码特征；

27、融合子单元，用于对所述初步编码特征进行多尺度的特征融合处理，并将融合后的编码特征作为所述目标图像对应的编码后的目标图像特征。

28、一种可能的实现方式中，所述解码器包括二维注意力层、记忆单元、循环神经网络层和分类层；所述记忆单元存储占位符的视觉特征；所述解码单元包括：

29、第一解码子单元，用于当所述记忆单元为空时，将全局的目标图像特征的平均值作为解码条件，与所述目标图像特征共同输入所述解码器的二维注意力层进行解码，得到第一解码视觉特征；或者，当所述记忆单元不为空时，将所述记忆单元中占位符的视觉特征作为解码条件，与所述目标图像特征共同输入所述解码器的二维注意力层，得到第二解码视觉特征；

30、第二解码子单元，用于将所述第一解码视觉特征或第二解码视觉特征，以及上一时刻的解码结果，输入所述解码器的循环神经网络层进行解码，得到第三解码视觉特征；

31、预测子单元，用于将所述第三解码视觉特征输入所述解码器的分类层进行符号预测，得到所述目标二维速算题的解码结果。

32、一种可能的实现方式中，当利用所述第一解码视觉特征进行解码时，得到的解码结果为所述目标二维速算题对应的计算单元；当利用所述第二解码视觉特征进行解码时，得到的解码结果为所述目标二维速算题对应的计算单元中的内容；其中，所述计算单元为具有预设计算关系的图形。

33、一种可能的实现方式中，所述计算单元为上三角、倒三角、箭头、跳跃连接、复用或等式中的至少一种。

34、一种可能的实现方式中，所述解码单元具体用于：

35、利用所述目标二维速算题对应的计算单元以及所述计算单元中的内容，构成所述目标二维速算题的最终识别结果。

36、一种可能的实现方式中，所述装置还包括：

37、第二获取单元，用于获取样本图像；所述样本图像中包含样本二维速算题；所述样本二维速算题包含的计算单元为上三角、倒三角、箭头、跳跃连接、复用或等式中的至少一种；

38、第二编码单元，用于将所述样本图像输入编码器进行编码，得到所述样本图像对应的编码后的样本图像特征；

39、训练单元，用于将所述样本图像特征输入初始解码器，并利用所述初始解码器输出的识别结果与所述样本二维速算题的真实识别标签和交叉熵损失函数，对初始解码器进行训练，得到所述解码器。

40、本技术实施例还提供了一种二维速算题识别设备，包括：处理器、存储器、系统总线；

41、所述处理器以及所述存储器通过所述系统总线相连；

42、所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述二维速算题识别方法中的任意一种实现方式。

43、本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述二维速算题识别方法中的任意一种实现方式。

44、本技术实施例还提供了一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行上述二维速算题识别方法中的任意一种实现方式。

45、本技术实施例提供的一种二维速算题识别方法、装置、存储介质及设备，首先获取待识别的目标图像；其中，目标图像中包含待识别的目标二维速算题；然后将目标图像输入编码器进行编码，得到目标图像对应的编码后的目标图像特征；接着，可以将目标图像特征输入预先构建的解码器进行条件式的解码，得到目标二维速算题的解码结果；并根据该解码结果，确定目标二维速算题的最终识别结果。可见，由于本技术是先对包含目标二维速算题的目标图像进行编码，再利用解码器对编码后的目标图像特征进行条件式的解码，以根据解码结果更为准确的确定出目标二维速算题的最终识别结果，从而提高了二维速算题识别结果的准确率。