一种公式检测方法、设备及计算机可读存储介质与流程

本发明涉及电子技术领域，尤其涉及一种公式检测方法、设备及计算机可读存储介质。

背景技术：

现有技术中，随着互联网的快速发展，在网络端进行辅导教学也越来越普通，例如，在网上答题式的应用程序中，用户通常将拍到的照片(例如，试卷或者作业本)上传到网上，在这些照片中，有可能拍到的题目已经被其他人回答过。因此，在大数据背景下，为满足为大量的用户进行服务，就需要对照片中的内容进行匹配，而其中的公式是试卷内容中非常重要的一部分。

现有技术中，特别是在试卷或学术文献中，往往存在较多的公式内容，相较于普通的文字内容，公式部分的空间复杂度更高，机器识别带公式内容的试卷或文献图片的难度也更高。

而传统的ocr方法只能对文本形式的内容进行识别，因此，若需要对图片中公式部分进行单独的处理，采用人工的方法识别公式区域，费时费力，效率低下。

技术实现要素：

为了解决现有技术中的上述技术缺陷，本发明提出了一种公式检测方法，该方法包括：

采集预设数量包含公式的图像，并对所述图像中的公式的位置进行标注，其中，标注所述公式的预设横轴位值以及纵轴位值；

对所述图像执行数据增强处理；

使用所述标注、且增强处理后的图像训练检测网络；

导入新的图像，并通过所述检测网络检测所述新的图像的公式信息，其中，所述公式信息包括位置信息以及概率信息。

可选的，所述采集预设数量包含公式的图像，并对所述图像中的公式的位置进行标注，其中，标注所述公式的预设横轴位值以及纵轴位值，包括：

采集的预设数量图像中包括不同种类的公式类型。

可选的，所述采集预设数量包含公式的图像，并对所述图像中的公式的位置进行标注，其中，标注所述公式的预设横轴位值以及纵轴位值，还包括：

所述预设横轴位值包括所述公式在所述图像中的最大横轴位值以及最小横轴位值；

所述预设纵轴位值包括所述公式在所述图像中的最大纵轴位值以及最小纵轴位值。

可选的，所述对所述图像执行数据增强处理包括：

对所述图像执行数据增强处理，其中，所述数据增强处理包括但不限于图像旋转、图像亮度调整以及仿射变换。

可选的，所述使用所述标注、且增强处理后的图像训练检测网络，包括：

根据公式检测需求确定与所述需求对应复杂度的检测网络。

本发明还提出了一种公式检测设备，该设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现：

采集预设数量包含公式的图像，并对所述图像中的公式的位置进行标注，其中，标注所述公式的预设横轴位值以及纵轴位值；

对所述图像执行数据增强处理；

使用所述标注、且增强处理后的图像训练检测网络；

导入新的图像，并通过所述检测网络检测所述新的图像的公式信息，其中，所述公式信息包括位置信息以及概率信息。

可选的，所述计算机程序被所述处理器执行时实现：

采集的预设数量图像中，包括不同种类的公式类型以及公式表达式。

可选的，所述计算机程序被所述处理器执行时实现：

所述预设横轴位值包括所述公式在所述图像中的最大横轴位值以及最小横轴位值；

所述预设纵轴位值包括所述公式在所述图像中的最大纵轴位值以及最小纵轴位值。

可选的，所述计算机程序被所述处理器执行时实现：

对所述图像执行数据增强处理，其中，所述数据增强处理包括图像旋转、图像亮度调整；

根据公式检测需求确定与所述需求对应复杂度的检测网络。

本发明还提出了一种计算机可读存储介质，该计算机可读存储介质上存储有公式检测程序，公式检测程序被处理器执行时实现如上述任一项所述的公式检测方法的步骤。

实施本发明的公式检测方法、设备及计算机可读存储介质，通过采集预设数量包含公式的图像，并对所述图像中的公式的位置进行标注，其中，标注所述公式的预设横轴位值以及纵轴位值；然后，对所述图像执行数据增强处理；再然后，使用所述标注、且增强处理后的图像训练检测网络；最后，导入新的图像，并通过所述检测网络检测所述新的图像的公式信息，其中，所述公式信息包括位置信息以及概率信息。实现了一种基于深度学习的公式检测方案，识别精度高、工作稳定，一方面，减少了人的劳动，另一方面，降低了人工进行检测的误判结果，保证了公式检测的鲁棒性。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明公式检测方法第一实施例的流程图；

图2是本发明公式检测方法第二实施例的流程图。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

实施例一

图1是本发明公式检测方法第一实施例的流程图。一种公式检测方法，该方法包括：

s1、采集预设数量包含公式的图像，并对所述图像中的公式的位置进行标注，其中，标注所述公式的预设横轴位值以及纵轴位值；

s2、对所述图像执行数据增强处理；

s3、使用所述标注、且增强处理后的图像训练检测网络；

s4、导入新的图像，并通过所述检测网络检测所述新的图像的公式信息，其中，所述公式信息包括位置信息以及概率信息。

在本实施例中，首先，采集预设数量包含公式的图像，并对所述图像中的公式的位置进行标注，其中，标注所述公式的预设横轴位值以及纵轴位值；然后，对所述图像执行数据增强处理；再然后，使用所述标注、且增强处理后的图像训练检测网络；最后，导入新的图像，并通过所述检测网络检测所述新的图像的公式信息，其中，所述公式信息包括位置信息以及概率信息。

具体的，在本实施例中，参见图2是本发明公式检测方法第二实施例的流程图。在本实施例中，以检测包含试题的图像为例，首先，导入包含具有平面直角坐标系公式的试题图像，然后，采用cnnbackbone算法执行图像学习，其中，对图像的区域和位置进行定位和分析，得到公式的区域和分类，继而根据非极大值抑制算法得到图像中公式的概率。

可选的，在本实施例中，检测网络有多种可以使用的结构；

可选的，在本实施例中，检测网络采用多任务学习的方式，检测网络由lcls和lloc组成。对于输入为512*512的图，网络会先产生512×512×12÷8÷8＝49152个默认框，与真实框iou大于0.7的默认框会被视作正样本，iou小于0.3的默认框会被视作负样本，其他的默认框会被视作中间样本。

其中，p^clsi为网络对第i个默认框对其所属类别(正样本或者负样本)的置信度预测，nbox为正样本和负样本的数量之和，可以理解的是，在本实施例中，该损失函数越小越好。

其中p^loci为网络对第i个默认框的位置的预测。l^loci为第i个默认框的真实预测。该损失函数越小越好。

可选的，在本实施例中，在图像标记过程中，选择多个公式中的一个或多个与分析需求相符的公式，排除其它与分析需求不相关的公式，从而提高检测的效率与准确性；

可选的，在本实施例中，根据多张已批注或者已作答的试题图像确定对应的公式；

可选的，在本实施例中，根据多张已批注或者已作答的试题图像中，采用相同批注符号的所在区域或者临近区域确定对应的公式，其中批注符号可以是由教师批注的对号、错号，或者，由学生批注的波浪号等；

可选的，在本实施例中，根据多张已批注或者已作答的试题图像中，采用相似笔记书写的公式作为本实施例需要标记的公式；

可选的，在本实施例中，根据多张已批注或者已作答的试题图像中，采用相同笔迹颜色书写的公式作为本实施例需要标记的公式；

可选的，在本实施例中，根据多张已批注或者已作答的试题图像中，采用相同字体打印的公式作为本实施例需要标记的公式。

可选的，所述采集预设数量包含公式的图像，并对所述图像中的公式的位置进行标注，其中，标注所述公式的预设横轴位值以及纵轴位值，包括：

采集的预设数量图像中包括不同种类的公式类型。

可选的，所述采集预设数量包含公式的图像，并对所述图像中的公式的位置进行标注，其中，标注所述公式的预设横轴位值以及纵轴位值，还包括：

所述预设横轴位值包括所述公式在所述图像中的最大横轴位值以及最小横轴位值；

所述预设纵轴位值包括所述公式在所述图像中的最大纵轴位值以及最小纵轴位值。

可选的，所述对所述图像执行数据增强处理包括：

对所述图像执行数据增强处理，其中，所述数据增强处理包括但不限于图像旋转、图像亮度调整、以及仿射变换等；

可选的，对所述图像执行数据增强处理，其中，所述数据增强处理包括图像对比度调整、图像锐度调整；

可选的，所述使用所述标注、且增强处理后的图像训练检测网络，包括：

根据公式检测需求确定与所述需求对应复杂度的检测网络；

可选的，根据公式检测需求的公式种类确定与所述需求对应复杂度的检测网络，其中，公式种类越多，对应网络的复杂度越高；

可选的，根据公式检测需求的公式的复杂度确定与所述需求对应复杂度的检测网络，其中，公式复杂度越高，对应网络的复杂度越高；

可选的，根据公式检测需求的公式数量、种类、复杂度三项权重综合确定与所述需求对应复杂度的检测网络。

本实施例的有益效果在于，通过采集预设数量包含公式的图像，并对所述图像中的公式的位置进行标注，其中，标注所述公式的预设横轴位值以及纵轴位值；然后，对所述图像执行数据增强处理；再然后，使用所述标注、且增强处理后的图像训练检测网络；最后，导入新的图像，并通过所述检测网络检测所述新的图像的公式信息，其中，所述公式信息包括位置信息以及概率信息。实现了一种基于深度学习的公式检测方案，识别精度高、工作稳定，一方面，减少了人的劳动，另一方面，降低了人工进行检测的误判结果，保证了公式检测的鲁棒性。

实施例二

基于上述实施例，本发明还提出了一种公式检测设备，该设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现：

采集预设数量包含公式的图像，并对所述图像中的公式的位置进行标注，其中，标注所述公式的预设横轴位值以及纵轴位值；

对所述图像执行数据增强处理；

使用所述标注、且增强处理后的图像训练检测网络；

导入新的图像，并通过所述检测网络检测所述新的图像的公式信息，其中，所述公式信息包括位置信息以及概率信息。

可选的，所述计算机程序被所述处理器执行时实现：

采集的预设数量图像中，包括不同种类的公式类型以及公式表达式。

可选的，所述计算机程序被所述处理器执行时实现：

所述预设横轴位值包括所述公式在所述图像中的最大横轴位值以及最小横轴位值；

所述预设纵轴位值包括所述公式在所述图像中的最大纵轴位值以及最小纵轴位值。

可选的，所述计算机程序被所述处理器执行时实现：

对所述图像执行数据增强处理，其中，所述数据增强处理包括图像旋转、图像亮度调整；

根据公式检测需求确定与所述需求对应复杂度的检测网络。

可以理解的是，在本实施例中，该公式检测设备可以实施上述公式检测方法，从而得到与上述公式检测方法相同的技术效果。

实施例三

基于上述实施例，本发明还提出了一种计算机可读存储介质，该计算机可读存储介质上存储有公式检测程序，公式检测程序被处理器执行时实现如上述任一项所述的公式检测方法的步骤。

实施本发明的公式检测方法、设备及计算机可读存储介质，通过采集预设数量包含公式的图像，并对所述图像中的公式的位置进行标注，其中，标注所述公式的预设横轴位值以及纵轴位值；然后，对所述图像执行数据增强处理；再然后，使用所述标注、且增强处理后的图像训练检测网络；最后，导入新的图像，并通过所述检测网络检测所述新的图像的公式信息，其中，所述公式信息包括位置信息以及概率信息。实现了一种基于深度学习的公式检测方案，识别精度高、工作稳定，一方面，减少了人的劳动，另一方面，降低了人工进行检测的误判结果，保证了公式检测的鲁棒性。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。