图像识别方法、装置、设备及存储介质与流程

本申请实施例涉及自然语言处理领域，尤其涉及一种图像识别方法、装置、设备及存储介质。

背景技术：

随着互联网的不断普及和互联网技术的迅速发展，传统的教育模式也在逐渐发生改变，信息、在线化、智能化等辅助教学手段正在向传统教育领域渗透，并逐步获得广大教师、家长和学生的认可。在以考试为主要评价方式的教育模式下，试题是学生巩固所学知识和教育者评价学生水平的基础数据资源，因此，试题资源的构建显得尤为重要。试题资源构建时，需要对大量包含公式的数据进行解析，判断试题的难度、给出试题的答案等，因此如何准确地将公式字符从数据中识别出来具有重大意义。

现有方法在进行文本解析时，一般不单独对数学公式进行识别，而是直接将公式字符作为普通字符进行处理，如文本“若f(x)＝x+1”中既包含非公式字符“若”，又包含公式字符“f(x)＝x+1”，进行文本解析时，直接将公式字符看作普通字符进行分词处理或者按照固定的规则将文本字符与公式字符拆分开，然而现有方法中很难得到正确的文本解析结果。现有的方法将公式字符作为普通字符进行分词处理，显然不合理，由于歧义字符的存在，造成大量错误的分词结果，影响后续操作。

技术实现要素：

本申请实施例提供一种图像识别方法、装置、设备及存储介质，以辅助用户背诵需要记忆的内容。

在第一方面，本申请实施例提供了一种图像识别方法，所述方法包括：基于预训练的图像识别模型识别所述数学公式图像，得到对应于数学公式的latex结果，其中，所述数学公式图像中至少包括一组数学公式；对所述latex结果反向转换得到所述数学公式图像的识别结果。

在一种可能的实现方式中，在基于预训练的图像识别模型识别所述数学公式图像，得到对应于数学公式的latex结果之前，所述方法还包括：从待处理图像中截取得到数学公式图像。

在一种可能的实现方式中，所述方法还包括：预训练所述图像识别模型。

在一种可能的实现方式中，所述预训练所述图像识别模型包括：将所述初始样本图像输入至所述图像识别模型，得到对应于数学公式的latex结果，其中，所述初始样本图像中至少包括一组数学公式；对所述latex结果反向转换得到所述数学公式图像的识别结果；根据所述识别结果生成识别结果图像；根据所述识别结果图像和所述初始样本图像得到识别结果准确度；在所述识别结果准确度符合预设条件的情况下，将所述初始样本图像加入训练集；基于包括多个初始样本图像的训练集训练所述图像识别模型。

在第二方面，本申请实施例提供了一种图像识别装置，所述装置包括：识别模块，用于基于预训练的图像识别模型识别所述数学公式图像，得到对应于数学公式的latex结果，其中，所述数学公式图像中至少包括一组数学公式；转换模块，用于对所述latex结果反向转换得到所述数学公式图像的识别结果。

在一种可能的实现方式中，所述装置还包括：截取模块，用于从待处理图像中截取得到数学公式图像。

在一种可能的实现方式中，所述装置还包括：预训练模块，用于预训练所述图像识别模型。

在一种可能的实现方式中，所述预训练模块包括：图像输入单元，用于将所述初始样本图像输入至所述图像识别模型，得到对应于数学公式的latex结果，其中，所述初始样本图像中至少包括一组数学公式；转换单元，用于对所述latex结果反向转换得到所述数学公式图像的识别结果；生成单元，用于根据所述识别结果生成识别结果图像；识别结果准确度确定单元，用于根据所述识别结果图像和所述初始样本图像得到识别结果准确度；训练集确定单元，用于在所述识别结果准确度符合预设条件的情况下，将所述初始样本图像加入训练集；训练单元，用于基于包括多个初始样本图像的训练集训练所述图像识别模型。

在第三方面，本申请实施例提供了一种设备，包括：存储器以及一个或多个处理器；所述存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的图像识别方法。

在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行上述的图像识别方法。

本申请实施例通过本申请实施例提供的技术方案，通过将数据公式识别为latex结果，并将latex结果转化为数学公式，进而得到数学公式识别结果。

附图说明

图1是本申请实施例提供的一种图像识别方法的流程图；

图2是本申请实施例提供的一种图像识别装置的结构示意图；

图3是本申请实施例提供的一种设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

图1给出了本申请实施例提供的一种图像识别方法的流程图，本实施例提供的图像识别方法可以由图像识别装置来执行，该图像识别装置可通过硬件和/或软件的方式实现中。

参考图1，该图像识别方法具体包括：

步骤110、基于预训练的图像识别模型识别所述数学公式图像，得到对应于数学公式的latex结果，其中，所述数学公式图像中至少包括一组数学公式。

其中，图像识别模型可以是用于识别数学公式的特征，并进行相关的卷积运算，得到数学公式图像中数学公式对应的latex结果，其中，所述latex结果可以是数学公式的一种表现形式。

在一种可能的实现方式中，所述数学公式图像包括一组数学公式，例如数学公式图像中的数学公式可以是对应的识别得到的latex结果可以是\frac{l}{2}。

在一种可能的实现方式中，所述数学公式可以包括多个元素，本实现方式既可以对数学公式中的多个元素进行整体识别，得到识别结果，也可以对数学公式中的各个元素分别进行识别，以得到各个元素的子结果，并对各个子结果进行整合，得到所述识别结果。

步骤120、对所述latex结果反向转换得到所述数学公式图像的识别结果。

其中，反向转换可以是根据latex的语法规则将latex结果反向转换为数学公式。

在一种可能的实现方式中，所述数学公式图像的latex结果可以是\frac{l}{2}，对应的识别结果即为1/2。

本实施例中，通过将数据公式识别为latex结果，并将latex结果转化为数学公式，进而得到数学公式识别结果。

在一种可能的实现方式中，在基于预训练的图像识别模型识别所述数学公式图像，得到对应于数学公式的latex结果之前，所述方法还包括：从待处理图像中截取得到数学公式图像。

其中，所述待处理图像可以是包括多个数学公式图像的图像，本实现方式中，所述待处理图像可以是一篇图像格式的数学论文，其中包括了大量的数学公式。便于描述，本实现方式可以将待处理图像中各个数学公式所处的区域定义为特征区域。

本实现方式中可以将每一个特征区域的图像部分进行截取，进而得到待处理图像中包括的多个数学公式图像。

在上述实施例的基础上，该图像识别方法还包括：预训练所述图像识别模型。

在一种可能的实现方式中，图像识别模型可以是可以实现文本识别功能的任意一种神经网络模型，例如卷积神经网络。

本实现方式中，用于训练所述图像识别模型的方法可以是有监督学习的方法，也可以是无监督学习方法，还可以是半监督学习的方法。

在一种可能的实现方式中，所述预训练所述图像识别模型包括：将所述初始样本图像输入至所述图像识别模型，得到对应于数学公式的latex结果，其中，所述初始样本图像中至少包括一组数学公式；对所述latex结果反向转换得到所述数学公式图像的识别结果；根据所述识别结果生成识别结果图像；根据所述识别结果图像和所述初始样本图像得到识别结果准确度；在所述识别结果准确度符合预设条件的情况下，将所述初始样本图像加入训练集；基于包括多个初始样本图像的训练集训练所述图像识别模型。

在一种可能的实现方式中，可以根据识别结果的准确性来选择用于训练图像识别网络的训练集。本实现方式中，可以根据识别结果图像和所述初始样本图像之间的相似度来确定所述识别结果准确度，两者越相似，识别结果准确度越高，反之，两者差异性越大，识别结果准确度越低。

本实现方式中，在对latex结果反向转换得到所述数学公式图像的识别结果之后，可以将所述识别结果处理为图像格式，进而与同为图像格式的初始样本图像进行对比，以确定识别结果准确度(即初始样本图像和识别结果图像之间的相似度)。

在一种可能的实现方式中，可以将识别结果准确度高于预设值(例如95％)的初始样本图像加入到用于训练所述图像识别网络的训练集，进而提高图像识别网络的准确率。

图2为本申请实施例提供的一种图像识别装置的结构示意图。参考图2，本实施例提供的图像识别装置具体包括：识别模块21和转换模块22。

其中，识别模块21，用于基于预训练的图像识别模型识别所述数学公式图像，得到对应于数学公式的latex结果，其中，所述数学公式图像中至少包括一组数学公式；

转换模块22，用于对所述latex结果反向转换得到所述数学公式图像的识别结果。

本申请实施例提供的技术方案，通过将数据公式识别为latex结果，并将latex结果转化为数学公式，进而得到数学公式识别结果。

在一种可能的实现方式中，所述装置还包括：截取模块，用于从待处理图像中截取得到数学公式图像。

在一种可能的实现方式中，所述装置还包括：预训练模块，用于预训练所述图像识别模型。

在一种可能的实现方式中，所述预训练模块包括：图像输入单元，用于将所述初始样本图像输入至所述图像识别模型，得到对应于数学公式的latex结果，其中，所述初始样本图像中至少包括一组数学公式；转换单元，用于对所述latex结果反向转换得到所述数学公式图像的识别结果；生成单元，用于根据所述识别结果生成识别结果图像；识别结果准确度确定单元，用于根据所述识别结果图像和所述初始样本图像得到识别结果准确度；训练集确定单元，用于在所述识别结果准确度符合预设条件的情况下，将所述初始样本图像加入训练集；训练单元，用于基于包括多个初始样本图像的训练集训练所述图像识别模型。

本申请实施例提供的图像识别装置可以用于执行上述实施例提供的图像识别方法，具备相应的功能和有益效果。

图3是本申请实施例提供的一种设备的结构示意图。参考图3，该设备包括：处理器40、存储器41、通信模块42、显示屏43、输入装置44以及输出装置45。该设备中处理器40的数量可以是一个或者多个，图3中以一个处理器40为例。该设备中存储器41的数量可以是一个或者多个，图3中以一个存储器41为例。该设备的处理器40、存储器41、通信模块42、显示屏43、输入装置44以及输出装置45可以通过总线或者其他方式连接，图3中以通过总线连接为例。

存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的图像识别方法对应的程序指令/模块。存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信装置42用于与其他子设备建立无线连接，并进行数据传输。显示屏43设置在所述设备上。显示屏43可以用于显示对应的子图像，还用于显示处理器发送的其他消息。

输入装置44可用于接收输入的数字或者字符信息，以及产生与设备的游戏玩家设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头。输出装置45可以包括扬声器等。需要说明的是，输入装置44和输出装置45的具体组成可以根据实际情况设定。

处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的图像识别方法。

上述提供的设备可用于执行上述实施例提供的图像识别方法，具备相应的功能和有益效果。

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种图像识别方法，该图像识别方法包括：所述图像识别方法通过图像识别装置实现，所述图像识别方法包括：展示数据库中预存的背诵信息，其中，背诵信息中的重要片段通过第一展示方式展示；在接收到所述背诵信息的检测请求时，采集用户发出的待检测语音数据；根据所述待检测语音数据和所述背诵信息确定测试结果。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如cd-rom、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如dram、ddrram、sram、edoram，兰巴斯(rambus)ram等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的图像识别方法，还可以执行本申请任意实施例所提供的图像识别方法中的相关操作。

上述实施例中提供的图像识别装置、存储介质及设备可执行本申请任意实施例所提供的图像识别方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的图像识别方法。

上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。