基于深度学习的错题收集方法、装置及设备与流程

本发明涉及机器学习领域，且特别涉及一种基于深度学习的错题收集方法、装置及设备。

背景技术：

学生在学习过程中做错题是难免的，也是很正常的。错题本身反映了一个学生在知识理解或运用上存在的问题和不足。因此，通过错题找出知识点漏洞和应试中个人存在的习惯、思维等弱点，加以修正完善，才能把做过的错题转化成最宝贵的学习资源。

现在学生的习题量很大，错题量也很可观，但是用传统手抄或者复印下来再剪切黏贴的方法收集错题效率太低，如此繁复的机械性工作非常不容易坚持。错题整理应贯穿于学习新知识、温习旧知识的始终，半途而废的话对于学习就起不到实质性的帮助。有鉴于此，通过手机拍照收集错题的app便应运而生。目前市场上有几款拍照收集错题的产品，然而现有的解决方法基本上都需要用户手动框选题目区域且一次只能剪裁一道题；然后用软件涂抹答案进行二次操作调整。由于每次拍照只能裁剪一道错题，如果同一页有几道错题则必须多次重复拍摄并操作录题，操作非常的繁琐。

此外，现有的错题收集app还要针对题目进行各种绑定归类，完成上述多项操作之后才能完成一道错题的保存，处理一道错题至少需要两三分钟，耗时很久，使用效率非常的低。

技术实现要素：

本发明为了克服现有错题收集软件一次只能剪裁一道题目所导致错题收集过程繁琐、处理效率低的问题，提供一种可同时对页面内的多道题目进行剪裁标注的基于深度学习的错题收集方法、装置及设备。

为了实现上述目的，本发明提供一种基于深度学习的错题收集方法，其包括：

获取已完成批改的且包含有多道题目的作业或试卷图像；

采用预先训练得到的基于题目坐标的识别模型对获取的图像进行题目切割，以获得每道题目所对应的坐标区域；

根据预先训练得到的基于批改痕迹的检测模型对每道题目所对应的坐标区域内的批改痕迹进行识别，以获得该道题的对错判定。

根据本发明的一实施例，基于深度学习的错题收集方法还包括：展示或发送已判定的所有题目。

根据本发明的一实施例，基于深度学习的错题收集方法还包括：

检测针对已判定的所有题目的确认信息；

当确认信息为归类信息时，根据确认信息将已判定的错题进行归类。

根据本发明的一实施例，基于题目坐标的识别模型通过下述方式预先训练获得：

获取包含有多道题目且已对每道题目进行批改的多个练习图片；

根据预定义的多个锚框以逐像素预测的方式对每个练习图片进行目标特征检测，目标特征包括题目区域特征或错题特征。

根据本发明的一实施例，基于题目坐标的识别模型的训练步骤还包括：

在获取目标特征的同时根据特征金字塔网络将不同尺寸的锚框分配到不同特征层级中作回归分类；

融合多个特征层级作预测推理。

根据本发明的一实施例，基于批改痕迹的检测模型通过下述方式预先训练获得：

获取多个经题目切割后且包含有批改痕迹的错题实例；

以像素为单位对每一错题实例进行分割；

提取分割后的每个区域内包括题目特征轮廓的底层特征和包括批改痕迹的高层特征；

检测含有特征目标的区域。

根据本发明的一实施例，当对获取的图像进行切割后，每道题目将获得矩形的坐标区域。

本申请另一方面还提供一种基于深度学习的错题收集装置，其包括图像获取模块、题目切割模块以及识别模块。图像获取模块获取已完成批改的且包含有多道题目的作业或试卷图像。题目切割模块采用预先训练得到的基于题目坐标的识别模型对获取的图像进行题目切割，以获得每道题目所对应的坐标区域。识别模块根据预先训练得到的基于批改痕迹的检测模型对每道题目所对应的坐标区域内的批改痕迹进行识别，以获得该道题的对错判定。

根据本发明的一实施例，基于深度学习的错题收集装置还包括展示模块、检测模块以及归类收集模块。展示模块展示或发送已判定的所有题目。检测模块检测针对已判定的所有题目的确认信息。归类收集模块根据确认信息将已判定的错题进行归类。

本申请另一方面还提供一种基于深度学习的错题收集设备，其包括：处理器；以及

被安排成存储计算机可执行指令的存储器，可执行指令在被执行时使处理器：

获取已完成批改的且包含有多道题目的作业或试卷图像；

采用预先训练得到的基于题目坐标的识别模型对获取的图像进行题目切割，以获得每道题目所对应的坐标区域；

根据预先训练得到的基于批改痕迹的检测模型对每道题目所对应的坐标区域内的批改痕迹进行识别，以获得该道题的对错判定。

综上所述，本发明提供的基于深度学习的错题收集方法、装置及设备通过对包含多道题目的作业或试卷图像上的每个题目的坐标进行识别，来实现每道题目坐标区域的自动裁剪。之后对已裁剪的每道题目进行批改痕迹的自动识别，以获得每道题目的对错标注，进而实现整页作业或试卷图像上的所有错题的收集。本发明提供的基于深度学习的错题的收集方法、装置及设备中用户只需直接拍摄包含多道错题的整页作业或试卷图像即可实现题目区域的自动裁剪和错题的自动标注，无需多次的拍照和手动操作，使用非常的方便。

为让本发明的上述和其它目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合附图，作详细说明如下。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1所示为本发明一实施例提供的基于深度学习的错题收集方法的示例性流程示意图。

图1a所示为图1中基于题目坐标的识别模型的训练示例性流程示意图。

图1b所示为图1中基于批改痕迹的检测模型的示例性流程示意图。

图2所示为经题目切割后的作业或试卷图像的示意图。

图3所示为经基于批改痕迹的检测模型进行识别后的示意图。

图4所示为本发明一实施例提供的基于深度学习的错题收集装置的结构示意图。

图5所示为本发明一实施例提供的基于深度学习的错题收集设备的结构示意图。

具体实施方式

为了能实现学生在学习过程中错题的自动收集，目前市面上出现了一些采用拍照的方式来自动收集错题的软件。在这些软件中，每次只能针对一道题目进行识别，用户在操作是需要手动框选题目的区域，不仅操作繁琐且耗时长，收集效率低。

有鉴于此，本实施例提供一种基于深度学习的错题收集方法。该方法包括：获取已完成批改的且包含有多道题目的作业或试卷图像(步骤s10)；采用预先训练得到的基于题目坐标的识别模型对获取的图像进行题目切割，以获得每道题目所对应的坐标区域(步骤s20)。根据预先训练得到的基于批改痕迹的检测模型对每道题目所对应的坐标区域内的批改痕迹进行识别，以获得该道题的对错判定(步骤s30)。以下将结合图1至图3详细介绍本实施例提供的基于深度学习的错题收集方法的工作原理。

本实施提供的基于深度学习的错题收集方法始于步骤s10，在该步骤中用户拍摄已经完成批改且包含多道题目的作业或试卷图像。具体而言，在进行作业或试卷图像的拍摄时，不断检测作业或试卷图像的边缘特征，并根据该边缘特征来调整拍摄框的大小和焦距，以确保作业或试卷图像内的所有题目都被清楚地拍摄于同一张图片内。拍摄框和焦距的自动调整使得用户只要将摄像头对准作业或试卷图像即可，而无需手动调拍照设备与作业(或是试卷)之间的距离，使用非常的方便。

在获得包含所有题目的作业或试卷图像后，执行步骤s20。采用预先训练得到的基于题目坐标的识别模型对获取的图像进行题目切割，以获得每道题目所对应的坐标区域。如图2所示，经题目切割后每道题目的坐标区域呈矩形。然而，本发明对此不作任何限定。于其它实施例中，切割后的每道题目的区域可根据题目的边缘特征来确定，每道题目的坐标区域的形状可为不规则的多边形。

在该步骤中，基于题目坐标的识别模型是以maskrcnn神经网络结构为基础并基于大量的题目定位标注数据训练而得到。maskrcnn神经网络是一个标准的卷积神经网络模型，其具有很强大的学习能力。然而，本发明对具体的基础模型不作任何限定。于其它实施例中，也可以r-cnn这样的卷积神经网络模型为基础，并对其进行训练已获得识别模型。

于本实施例中，基于题目坐标的识别模型的具体训练方法为：

步骤s201：获取包含有多道题目且已对每道题目进行批改的多个练习图片，将这些练习图片作为样本对预先建立的基础识别模型进行训练。该步骤的目的在于识别每个题目的边缘信息。因此，于其它实施例中，也可通过获取包含多道题目但没有进行批改的作业或试卷作为练习图片。

在获得练习图片后，步骤s202：根据预定义的多个锚框(anchorboxes)以逐像素预测的方式对每个练习图片进行目标特征检测。所述的目标特征包括题目的区域特征，如每道题目的边缘和角等特征；或者是错题的特征。优选的，逐像素预测时采用全卷积one-stage目标检测算法(fcos)。然而，本发明对此不作任何限定。全卷积one-stage目标检测算法(fcos)的逐个像素的预测有效的避免了与锚框有关的复杂计算，显著地减少了计算的需求。

进一步的，在maskrcnn神经网络结构为了对特征提取这一主干网络的提升，在进行特征提取的同时引入特征金字塔网络对主干网络的进一步扩展，以在多个尺度上更好地表征特征目标。在对主干网络进行扩展的同时，步骤s203：将不同尺寸的锚(anchor)分配到不同特征层级中作回归分类，从而显著的提升目标识别的召回率。之后步骤s204将采用多个特征层级(scale)相融合的方式作预测推理，加强小目标检测的精确度。

在本实施例提供的基于深度学习的错题收集方法中，当对作业或试卷图像进行切割，获得每道题目的坐标区域后，执行步骤s30：根据预先训练得到的基于批改痕迹的检测模型对每道题目所对应的坐标区域内的批改痕迹进行识别，以获得该道题的对错判定。

与基于题目坐标的识别模型类似的，在该步骤中基于批改痕迹的检测模型同样以maskrcnn神经网络结构为基础。在训练时，步骤s301：预先获取大量的经过批改和坐标切割后的错题实例。步骤s302：对获得的每道错题实例以像素为单位进行分割。具体而言，采用two-stage目标检测算法，使用区域卷积神经网络对错题实例分割。步骤s303：使用卷积神经网络实现的特征提取器，在不同层级查找包含图像边缘和角等题目特征轮廓的底层特征以及包括批改痕迹的高层特征。之后步骤s304：采用rpn方法快速检测含有底层特征或高层特征的区域，rpn方法使用滑动窗口方式扫描图片，挖掘出含有错题区域的轻量级神经网络。于本实施例中，如图3所示，对于错题的批改痕迹为在错题区域内的更正答案等批注信息。然而，本发明对此不作任何限定。于其它实施例中，错题的批改痕迹也可为在错题区域内的“x”符号或者是其它批注信息，如？等符号。

通过上述方法，我们可以看出，在本申请中，以卷积神经网络为基础的基于题目坐标的识别模型，通过配合大量的练习图片上的定位标注数据进行训练，得到一个能自动识别出作业或试卷图像中每道题目的坐标区域，自动裁剪一整页图片上的所有题目的坐标区域。该过程不再单纯依赖于人工对每一错题区域的手动调整，极大简化了错题收集的步骤，不仅使用方便且节省了大量的时间。而训练后的基于批改痕迹的检测模型则可自动识别批改痕迹，并根基批改痕迹来自动获得每道题目对错判定。整个收集过程除了图片的获取以外，用户无需任何操作。

经过步骤s10～s30，获得整页图像中每道题目的对错判定后，步骤s40将已判定的所有题目展示或发送给用户。用户对已判定的题目进行确认，如错题的分类确认。步骤s50：检测针对错题的确认信息。当获得错题的归类确认信息后，步骤s60将根据归类确认信息将该错题收集于对应的错题集所在的目录下。然而，本实施例对于用户确认的信息类型不作任何限定。于其它实施例中，确认的信息也可为判定结果的确认。同样的，可通过检测基于判定结果的确认信息，当发现确认信息与判定信息不同时，以确认信息为准更新判定结果并将判定的数据收录于训练数据库内，训练基于批改痕迹的检测模型，以提高模型识别准确率。

于本实施例中，错题的收集分类是基于用户的确认信息。然而，本发明对此不作任何限定。于其它实施例中，错题的收集分类可通过识别错题题干内的关键词来进行归类。譬如对于数学试卷而言，当检测到错题题干内包含“函数”时，将该类错题收集于与函数相关的错题集所在的目录下。而当检测到错题题干内包含“平行线”、“相似三角形”等几何关键词时，则可将该错题收集于与几何图形相关的错题集所在的目录下。或者，于其它实施例中，可将自动收集和人工确认相结合，譬如先进行关键词的自动收集，之后在通过人工确认来实现进一步的细化收集。

本实施例提供的基于深度学习的错题收集方法的执行主体可以为终端设备或服务器，其中，该终端设备可以如个人计算机等设备，也可以如手机、平板电脑等移动终端设备，该终端设备可以为用户使用的终端设备。该服务器可以是独立的服务器，也可以是由多个服务器组成的服务器集群，而且，该服务器可以是某项业务的后台服务器，也可以是某网站(如教育培训平台)的后台服务器等。

与上述方法相对应的，本申请实施例还提供了对应的装置，用于实现上述方法。下面结合图4对该装置进行解释说明。本实施例提供的基于深度学习的错题收集装置包括图像获取模块10、题目切割模块20、识别模块30、展示模块40、检测模块50以及归类收集模块60。图像获取模块10获取已完成批改的且包含有多道题目的作业或试卷图像。题目切割模块20采用预先训练得到的基于题目坐标的识别模型对获取的图像进行题目切割，以获得每道题目所对应的坐标区域。识别模块30根据预先训练得到的基于批改痕迹的检测模型对每道题目所对应的坐标区域内的批改痕迹进行识别，以获得该道题的对错判定。展示模块展示40或发送已判定的所有题目。检测模块50检测针对已判定的所有题目的确认信息。归类收集模块60根据确认信息将已判定的错题进行归类。

于本实施例中，题目切割模块20中预先训练得到的基于题目坐标的识别模型是通过步骤s201～步骤s204训练而得到的。同样的，识别模块30中预先训练得到的基于批改痕迹的检测模型则是通过步骤s301～步骤s304训练而得到的。

同样的，基于同样的思路，如图5所示，本实施例还提供一种基于深度学习的错题收集设备。所述基于深度学习的错题收集设备可以为执行上述基于深度学习的错题收集方法的智能终端或服务器。

基于深度学习的错题收集设备包括处理器100和被安排成存储计算机可执行指令的存储器200。可执行指令在被执行时使处理器200：获取已完成批改的且包含有多道题目的作业或试卷图像；采用预先训练得到的基于题目坐标的识别模型对获取的图像进行题目切割，以获得每道题目所对应的坐标区域；根据预先训练得到的基于批改痕迹的检测模型对每道题目所对应的坐标区域内的批改痕迹进行识别，以获得该道题的对错判定。

基于深度学习的错题收集设备可因配置或性能不同而产生比较大的差异，可以包括至少一个处理器100和存储器200，存储器200中可以存储有至少一个应用程序或数据。其中，存储器200可以是短暂存储或持久存储。于本实施例中，基于深度学习的错题收集设备还包括至少一个电源300和至少一个通讯模块400。当基于深度学习的错题收集设备为服务器时，通讯模块400可将以判定的所有题目发送至用户的终端上并接受来自用户终端所发送的分类确认信息。

综上所述，本发明提供给的基于深度学习的错题收集方法、装置及设备通过对包含多道题目的作业或试卷图像上的每个题目的坐标进行识别，来实现每道题目坐标区域的自动裁剪。之后对已裁剪的每道题目进行批改痕迹的自动识别，以获得每道题目的对错标注，进而实现整页作业或试卷图像上的所有错题的收集。本发明提供的基于深度学习的错题的收集方法、装置及设备中用户只需直接拍摄包含多道错题的整页作业或试卷图像即可实现题目区域的自动裁剪和错题的自动标注，无需多次的拍照和手动操作，使用非常的方便。

虽然本发明已由较佳实施例揭露如上，然而并非用以限定本发明，任何熟知此技艺者，在不脱离本发明的精神和范围内，可作些许的更动与润饰，因此本发明的保护范围当视权利要求书所要求保护的范围为准。