一种数据采集的方法及系统与流程

本发明属于信息技术领域，具体地，涉及一种数据采集的方法及系统。

背景技术：

教学领域中，越来越多的it技术用在了学生的作业批改或者测试评分过程中，使得教师批改作业更快，效率更高。例如，在正式考试过程中，学生往往会领到一份特定格式的答题纸，在作答过程中，学生需要将答题纸的选择题处进行填涂，通过图像识别技术进行答案的识别，并跟标准答案进行比较，从而可快速输出该学生的分数。

现有技术中，针对作业纸或答题纸的图像识别，普遍采用了机器学习的方法来进行，而目前的作业纸或答题纸图像识别中，识别速度和识别精度始终是限制目前应用的瓶颈，图像需要先识别定位出待识别的内容精确位置，再通过机器学习的方法进行识别，先识别定位出内容的精确位置需要大量的处理时间，并且，机器学习本身也需要分析成百上千甚至上万个样本数据，识别速度会大打折扣，而如果识别位置不准确，其识别准度也会受到很大影响。以答题卡为例，目前的答题卡检测技术只能针对客观题进行自动判断，其采用扫描形式，将学生涂黑的选项识别出来从而进行判断，答题卡需要按照特定格式制作，还需要专门的仪器进行扫描，因此该方案成本昂贵，而且使用麻烦，每一张答题卡均需要按照固定的摆放方式放进扫描仪进行扫描，其效率低下。

技术实现要素：

本发明提供了一种数据采集的方法及系统，解决了现有技术中识别速度慢、识别精度低、成本高昂及使用效率低下的问题。

为了实现上述目的，本发明提供了一种数据采集的方法，包括：

图像识别装置获取目标物体的图像；

对所述目标物体的辅助定位标记进行检测；

在检测到所述辅助定位标记后，在所述目标物体的选定区域内识别所述选定区域的内容信息。

可选地，在所述目标物体的选定区域内识别所述选定区域的内容信息后，所述方法还包括：

对所述内容信息的正确性做出判断。

可选地，在对所述内容信息的正确性做出判断之后，所述方法还包括：

将所述判断结果上传至服务器，以使所述服务器对所述判断结果进行记录及统计。

可选地，在所述目标物体的选定区域内识别所述选定区域的内容信息后，所述方法还包括：

对所述内容信息进行关键字提取；

对所述关键字进行分析，并基于所述关键字的分析，对所述内容信息的准确性进行预判断。

可选地，所述在所述目标物体的选定区域内识别所述选定区域的内容信息，包括：

基于预先设置的坐标信息定位所述目标物体的选定区域；

基于机器学习算法识别所述选定区域的内容信息。

可选地，所述基于机器学习算法识别所述选定区域的内容信息，包括：

获取手写字符的样本；

构建深度神经网络，所述网络结构底层使用卷积神经网络提取图像信息，上层使用长短期记忆网络来处理序列信息；

并使用时序分类损失函数来对训练结果进行评判；

使用所述样本数据训练所述构建的深度神经网络，对所述选定区域的内容信息进行识别

可选地，在所述对所述目标物体的辅助定位标记进行检测之后，所述方法还包括：

根据所述检测的辅助定位标记，对所述目标物体图像进行矫正。

可选地，所述对所述目标物体的辅助定位标记进行检测，包括：

对所述目标物体的图像进行二值化处理；

对所述二值化处理后的图像进行轮廓提取；

基于提取出的轮廓，利用机器学习算法识别出所述辅助定位标记。

可选地，所述辅助定位标记位于所述目标物体图像的一个或多个顶点。

可选地，所述方法还包括：

识别所述目标物体的标识及对应的用户信息；

识别出所述选定区域的内容信息后，按照所述目标物体的标识及对应的用户信息对所述内容信息进行归档。

本发明实施例还提供一种数据采集的系统，所述系统包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行上述图像识别的方法。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机可执行指令，该计算机可执行指令用于执行上述图像识别的方法。

本发明实施例的方法及系统具有下列优点：

本发明实施例中，先检测目标物体图像中的辅助定位标记，针对该辅助定位标记对图像进行矫正，并基于标准图像模板在预定坐标区域内选定答案区，识别该答案区的内容，并基于客观题及主观题的区别分别进行正确性的判断与预判断。不仅提高了识别率及识别速度，还具备成本低及使用效率高的优势，带来了商业上的成功。

附图说明

图1是本发明实施例中图像识别的方法流程图；

图2是本发明实施例中采集的作业纸原始图像示意图；

图3是本发明实施例中不同类别的辅助定位标记示意图；

图4是本发明实施例中二值化后的作业纸示意图；

图5是本发明实施例中检测到的作业纸中辅助定位标记示意图；

图6是本发明实施例中矫正后的标准化作业纸示意图；

图7是本发明实施例中另一标准化作业纸示意图；

图8是本发明实施例中识别出的答案区示意图；

图9是本发明实施例中实现图像识别系统组成结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

为达到以上目的，如图1所示，本发明提供了一种数据采集的方法，该方法包括：

s101、图像识别装置获取目标物体的图像；

图像识别装置可以是具备摄像头的终端，例如智能电视、平板电脑、个人电脑、pda、移动终端、微处理装置arm等。该图像识别装置可具备典型的冯诺依曼架构，并且，可通过内置或外置的摄像头在特定采集范围内采集目标物体的图像。摄像头可以是高清摄像头，也可以是常用的普通摄像头，例如ccd、cmos摄像头，其成本低，在消费级领域适用广泛，易于推广。

目标物体可以是作业纸、答题卡、书本、具备特定格式的a4纸等印刷制品，也可以是具备不同材质的、印有不同教学内容的教学卡(教学卡材质可以是纸片、塑料片、木质、橡胶或金属片等材质)，也可以是某些印有特定教学内容的教具，例如小棍、直尺、三角尺、教尺/教鞭、圆规等常规教具。为了方便说明，本发明实施例以作业纸为例进行后续说明。

s102、对所述目标物体的辅助定位标记进行检测；

辅助定位标记是一种定位标记，用于进行目标物体的区域坐标定位，并进行目标物体的图像矫正，使之成为标准化图像，为后续的选定区域的准确识别打下基础。在作业纸图像通过摄像头进行抓拍的过程中，有可能作业纸本身摆放位置倾斜，或者摄像头抓拍角度倾斜，或者本身纸张有折痕、扭曲等，很容易造成抓拍的图像识别不出或识别不准。因此，本发明实施例创造性地提出了辅助定位标记的概念，通过先定位到该辅助定位标记，在根据该辅助定位标记获取该作业纸内其他一个或多个选定区域的坐标位置，从而针对性地进行识别，舍弃了很多不必要的识别区域，加快了识别速度。在识别出辅助定位标记后，图像识别装置还可以根据该标识对图像进行旋转等操作，将摆放位置不正确的作业纸图像进行矫正，使之成为标准化作业纸图像，从而可精确定位并识别选定的区域，提高了识别精度。

需要说明的是，本发明实施例提出的辅助定位标记是一种全新的、经过创造性地劳动得出的标识，尤其对于目前的识别技术中需要对目标物体图像中所有像素都要进行识别，导致识别速度慢及精度不高的问题进行了针对性的改进。辅助定位标记方便、简单，可利用深度神经网络技术对其进行高效而快速的识别，从而基于识别结果快速对选定区域进行定位。例如，对于目前的试卷阅卷方案而言，需要识别出答案区的最大外接矩形，进而分析主客观题的答题情况，目前的识别方案为逐行扫描答题试卷，并找到最大外接矩形的四个顶点坐标，从而可进行纠偏定位及答案区的内容识别。区别于现有技术的方案，本发明无需逐行扫描作业纸，而只需要寻找轮廓近似标准辅助定位标记的坐标点，认定该坐标点即为真实图像中的辅助定位标记，进而对图像进行矫正，提取不同选定位置处的内容信息。

图2是本发明实施例中提供的一种作业纸典型示意图。如图2所示，在作业纸的四个角处有“l”形的四条边，该“l”形的四条边即为该作业纸的辅助定位标记。实际中，辅助定位标记不仅为“l”形。对于其他设计的形状，只要能够易于检测识别，也可以作为辅助定位标记。图3是罗列的一些其他辅助定位标记示意图，如图3所示，辅助定位标记也可以呈现出圆形或类似圆形的不规则形状。除了图3介绍的形状外，多边形(例如三角形、四边形、梯形)等也可以作为辅助定位标记。对于“l”形标识，本发明实施例可采用shapecontext特征比对算法，当然，本发明实施例也也可以采用其他的算法比如距离变换(distancetransform)、迭代最近点法(iterativeclosestpoint，icp)、相关分析等。其他定位标记可能会根据标记的特点使用其他算法。为了方便说明，本发明实施例以检测“l”形的shapecontext算法进行详解：

首先，图像识别装置采集到目标物体的图像后，对该图像进行二值化。二值化后的图像如图4所示；

其次，二值化之后，利用深度神经网络算法对该图像进行特征比对，提取辅助定位标记的轮廓。即将二值化后的图像分为多个区域，每个区域与标准的辅助定位标记进行比对，若该区域的特征与标准的辅助定位标记特征的相似度在一阈值之内，则认定该区域为形似“l”形的区域。反之，则认为该区域并非辅助定位标记区域，继续进行下一个区域的识别；

最后，识别出一个辅助定位标记后，即可进行下一个辅助定位标记的识别。在本发明实施例中，可以识别出四个顶点的辅助定位标记(如图5所示)，也可以只识别出两个对角的辅助定位标记(若作业纸张没有扭曲或者折痕的情况)。识别出辅助定位标记后，即可识别出作业纸的选定区域位置分布情况。

此外，在识别出辅助定位标记后，还可以对图像进行矫正。即，若识别出的四个辅助定位标记的坐标值彼此之间不在水平线上或垂直线上，则需要将图像进行旋转纠偏，使四个辅助定位标记的坐标水平或垂直。矫正后的图像如图6所示。

s103、在检测到所述辅助定位标记后，在所述目标物体的选定区域内识别所述选定区域的内容信息。

可选地，本发明实施例还包括：

识别所述目标物体的标识及对应的用户信息；目标物体的标识在本发明实施例中，可以是该作业纸的编号信息(id)。而对应的用户信息(例如用户的id或姓名)，可以是该作业纸是由哪一个用户(学生)作答完成的。用户信息及作业纸的标识在作业纸上可以是单独的两个区域，这两个区域可采用条形码、二维码来表示，可选地，也可以采用手写文字识别方法从作业纸图像区域中获取用户信息及作业编号。

识别出所述选定区域的内容信息后，可按照所述目标物体的标识及对应的用户信息对所述内容信息进行归档和统计。本发明实施例可将作业纸按照不同用户来进行“个性化存储”，并上传给服务器，通过服务器的统计与分析，对每个用户进行“个性化输出”。本发明实施例所指的“个性化内容的输出”，是指后续可以根据该学生的答题情况、作业情况，从数据库中提取该学生错误的题目进行复习，或者下一次有针对性地输出适合该学生水平的题目让该学生尝试，即“个性化的练习”。此外，“个性化输出”还有另外一层含义，就是集体教学的个性化。例如，针对多名学生容易做错的题目，可在课堂上输出该题目，并输出与该题目相似的题目供多名学生进行练习。

可选地，s103所述的在所述目标物体的选定区域内识别所述选定区域的内容信息，具体可以为：

基于预先设置的坐标信息定位所述目标物体的选定区域；

在识别出辅助定位标记并进行图像矫正后，该作业纸的图像即为标准化的作业纸图像，图7是另一标准化作业纸示意图。如图7所示，该图像中可包括①辅助定位标记；②用户身份信息区；③作业编号信息区；④作业内容区；⑤答案采集区。①-⑤区域的大小及坐标位置均事先确定。因此，基于预设的坐标信息，即可采集到答案区(即选定区域)的具体位置。

基于机器学习算法识别所述选定区域的内容信息。

对于作业纸而言，答案区的内容可以是手写的数字、字母或文字等。对于答案区的内容而言，可以通过深度神经网络识别出答案类型，答案类型可以分为主观题和客观题，客观题比较简单，其答案唯一，只需要识别出答案区的内容后，即可根据标准答案进行正确性判断。而主观题则较为复杂，本发明实施例中，可根据关键字的选取及标记，并提供对和错的建议，为阅卷老师提供预判断。预判断的目的在于帮助老师进行关键字阅读，从而帮助老师进行主观题判断及打分。

对于手写的内容识别，其具体识别方法为：

获取手写字符的样本，手写字符包括数字、字母、汉字及各类数学符号等；

构建深度神经网络，所述网络结构底层使用卷积神经网络提取图像信息，上层使用长短期记忆网络来处理序列信息；

并使用时序分类损失函数来对训练结果进行评判；

使用所述样本数据训练所述构建的深度神经网络，对所述选定区域的内容信息进行识别。

图8是采集到的答案区的内容。如图8所示，该内容是手写的各类数字。通过上述方法，即可对手写数字进行识别并标注，例如，图8识别出的数字即为“1,2,4…”。

本发明实施例还提供了一种数据采集系统，该系统包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时执行上述图像识别的方法。

本发明实施例还提供了一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述图像识别的方法。

图9是本发明实施例提供的一种数据采集系统结构示意图。该系统900可以包括一个或一个以上中央处理器(centralprocessingunits，cpu)910(例如，一个或一个以上处理器)和存储器920，一个或一个以上存储应用程序932或数据934的存储介质930(例如一个或一个以上海量存储设备)。其中，存储器920和存储介质930可以是短暂存储或持久存储。存储在存储介质930的程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对系统中的一系列指令操作。更进一步地，中央处理器910可以设置为与存储介质930通信，在系统900上执行存储介质930中的一系列指令操作。系统900还可以包括一个或一个以上电源940，一个或一个以上有线或无线网络接口950，一个或一个以上输入输出接口960，上述方法实施例所执行的步骤可以基于该图9所示的系统结构。

应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本说明书的各个部分均采用递进的方式进行描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点介绍的都是与其他实施例不同之处。尤其，对于装置和系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例部分的说明即可。

最后，需要说明的是：以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。显然，本领域技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。