基于智能标记实现针对学生进行自助家默控制的系统及其方法与流程

本发明涉及教育领域，尤其涉及电子设备在教育的应用领域，具体是指一种基于智能标记实现针对学生进行自助家默控制的系统及其方法。

背景技术：

当前，在中小学的日常学习过程中，家默是一种基础的必要学习手段和方法。家默的正常流程如下：

1)教师在课堂上给出需要家默的字、词、句；

2)学生在课堂上对教师给出的家默内容做标记；

3)回家后，家长用标记的内容给学生进行默写；

4)家长/学生对比检查默写内容的正确性，对不正确的内容重复第三个步骤直到默写全部正确。

可见现有家默方法依赖于家长的介入之行才能达到对应的学习目的。而目前学生放学普遍早于家长下班，因此对于家默学习造成一定的不便；默写内容的正确性检查也比较耗时耗力；同时，家默往往需要纠错，一般需要反复几次以后才能完成，也加重了家长和学生的学习负担。

技术实现要素：

本发明的目的是克服了上述现有技术的缺点，提供了一种满足效率高、操作简便、适用范围广泛的基于智能标记实现针对学生进行自助家默控制的系统及其方法。

为了实现上述目的，本发明的基于智能标记实现针对学生进行自助家默控制的系统及其方法如下：

该基于智能标记实现针对学生进行自助家默控制的系统，其主要特点是，所述的系统包括：

自助家默子系统，用于调动各个子系统，并触发系统下一功能；

标记配置子系统，与所述的自助家默子系统相连接，用于提供用户进行智能标记的配置；

家默识别子系统，与所述的自助家默子系统相连接，用于识别已经智能标记过的家默内容对象，或从图像到文字识别家默内容对象；

家默播报子系统，与所述的自助家默子系统相连接，用于根据识别的文本结果进行语音播报；

家默检查子系统，与所述的自助家默子系统和家默识别子系统相连接，用于进行家默内容结果的正确性检查。

较佳地，所述的自助家默子系统包括：

自助家默引擎模块，用于调动系统的各个功能；

自助家默配置调用模块，与所述的自助家默引擎模块和标记配置子系统相连接，用于调动标记配置子系统；

自助家默识别调用模块，与所述的自助家默引擎模块和家默识别子系统相连接，用于调动家默识别子系统；

自助家默播报调用模块，与所述的自助家默引擎模块和家默播报子系统相连接，用于调动家默播报子系统；

自助家默检查调用模块，与所述的自助家默引擎模块和家默检查子系统相连接，用于调动家默检查子系统；

错别字数据库，与所述的自助家默引擎模块相连接，用于保存用户的错误数据以及错别字。

较佳地，所述的标记配置子系统包括：

标记配置交互模块，与所述的自助家默子系统相连接，用于与用户的配置进行交互；

标记选择模块，与所述的标记配置交互模块相连接，用于提供用户对预置配置标记的选择；

标记定义模块，与所述的标记配置交互模块相连接，用于提供用户自定义智能标记；

标记配置存储模块，与所述的标记配置交互模块相连接，用于将用户对智能标记的配置保存至标记配置存储模块中。

较佳地，所述的家默识别子系统包括：

家默内容识别模块，与所述的自助家默子系统相连接，用于对具体的家默内容进行文本识别；

摄像驱动模块，与所述的家默内容识别模块相连接，用于输入课本内容，并基于智能标记进行识别；

ocr调用模块，与所述的家默内容识别模块相连接，用于调用ocr接口进行图片识别；

家默内容确认模块，与所述的家默内容识别模块相连接，用于确认识别内容的正确性，并对错误内容进行修改。

较佳地，所述的家默播报子系统包括：

语音播报模块，与所述的自助家默子系统相连接，用于接收自助家默系统的指令，进行家默内容的语音播放；

语音播报速率调整模块，与所述的语音播报模块相连接，用于调整配置语音播报过程中的语速；

语音播报声音配置模块，与所述的语音播报模块相连接，用于调整语音播报的声音配置；

语音播报指令模块，与所述的语音播报模块相连接，用于接受用户的主动播报指令；

tts调用模块，与所述的语音播报模块相连接，用于将文本内容转换成语音内容。

较佳地，所述的家默检查子系统包括：

别字检查模块，与所述的自助家默子系统、摄像驱动模块和ocr调用模块相连接，用于进行家默内容的别字检查；

错字检查模块，与所述的自助家默子系统、摄像驱动模块和ocr调用模块相连接，用于进行家默内容的错字检查。

辅助记忆模块，与所述的别字检查模块和错字检查模块相连接，用于进行正确文本的放大及轮询显示来加强辅助记忆。

该利用上述系统实现基于智能标记的针对学生进行自助家默控制的方法，其主要特点是，所述的方法包括以下步骤：

(1)所述的标记配置子系统对智能标记进行配置设定，并对家默内容进行标记；

(2)所述的家默识别子系统拍摄课本的家默内容，并对拍摄结果进行扫描识别，根据智能标记的特征，并通过ocr技术识别家默内容为具体的文本内容；

(3)所述的家默播报子系统通过tts技术记性家默内容的顺序播报；

(4)系统对用户的家默结果进行拍照，家默检查子系统进行错别字检查，判断是否存在错别字，如果是，则将错别字和错误信息保存至错别字数据库，并将其归入下一轮次的家默内容，继续步骤(3)；否则，家默完成。

较佳地，所述的步骤(2)具体包括以下步骤：

(2.1)摄像驱动模块拍摄家默内容；

(2.2)家默识别子系统对家默内容进行扫描识别；

(2.3)根据智能标记的特征，ocr调用模块识别家默内容为具体的文本内容。

较佳地，所述的步骤(4)具体包括以下步骤：

(4.1)摄像驱动模块拍摄用户的家默结果；

(4.2)别字检查模块和错字检查模块共同检查家默结果的错别字；

(4.3)判断是否存在错别字，如果是，则将错别字和错误信息保存至错别字数据库，并将其归入下一轮次的家默内容，继续步骤(3)；否则，家默完成。

采用了本发明的基于智能标记实现针对学生进行自助家默控制的系统及其方法，可实现中小学学习过程中的原本需要家长深度配合、参与的家默过程，利用pc、手机、平板等电子设备，实现家默过程的自助完成；有效提高学习效率，提升学习效果；本发明创造性的利用智能标记的方法，利用成熟的ocr技术，实现家默内容的自动识别和生成；同时利用成熟的tts技术实现家默的智能播报(可控制速率、音量)，同时提供家默的正确性检查，可以轻松实现多轮递进家默，利用技术手段对家默这一证明有效的学习手段进行了智能化、自动化的改进，具有非常大的实用效果和创新性。

附图说明

图1为本发明的基于智能标记实现针对学生进行自助家默控制的系统的运行架构。

图2为本发明的基于智能标记实现针对学生进行自助家默控制的系统的自助家默子系统示意图。

图3为本发明的基于智能标记实现针对学生进行自助家默控制的系统的标记配置子系统示意图。

图4为本发明的基于智能标记实现针对学生进行自助家默控制的系统的家默识别子系统示意图。

图5为本发明的基于智能标记实现针对学生进行自助家默控制的系统的家默播报子系统示意图。

图6为本发明的基于智能标记实现针对学生进行自助家默控制的系统的家默检查子系统示意图。

图7为本发明的基于智能标记实现针对学生进行自助家默控制的系统的硬件架构图。

图8为本发明的基于智能标记实现基于智能标记的针对学生进行自助家默控制的方法的流程图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

如图1所示，本发明的该基于智能标记实现针对学生进行自助家默控制的系统，其中包括：

自助家默子系统，用于调动各个子系统，并触发系统下一功能；

标记配置子系统，与所述的自助家默子系统相连接，用于提供用户进行智能标记的配置；

家默识别子系统，与所述的自助家默子系统相连接，用于识别已经智能标记过的家默内容对象，或从图像到文字识别家默内容对象；

家默播报子系统，与所述的自助家默子系统相连接，用于根据识别的文本结果进行语音播报；

家默检查子系统，与所述的自助家默子系统和家默识别子系统相连接，用于进行家默内容结果的正确性检查。

作为本发明的优选实施方式，所述的自助家默子系统包括：

自助家默引擎模块，用于调动系统的各个功能；

自助家默配置调用模块，与所述的自助家默引擎模块和标记配置子系统相连接，用于调动标记配置子系统；

自助家默识别调用模块，与所述的自助家默引擎模块和家默识别子系统相连接，用于调动家默识别子系统；

自助家默播报调用模块，与所述的自助家默引擎模块和家默播报子系统相连接，用于调动家默播报子系统；

自助家默检查调用模块，与所述的自助家默引擎模块和家默检查子系统相连接，用于调动家默检查子系统；

错别字数据库，与所述的自助家默引擎模块相连接，用于保存用户的错误数据以及错别字。

作为本发明的优选实施方式，所述的标记配置子系统包括：

标记配置交互模块，与所述的自助家默子系统相连接，用于与用户的配置进行交互；

标记选择模块，与所述的标记配置交互模块相连接，用于提供用户对预置配置标记的选择；

标记定义模块，与所述的标记配置交互模块相连接，用于提供用户自定义智能标记；

标记配置存储模块，与所述的标记配置交互模块相连接，用于将用户对智能标记的配置保存至标记配置存储模块中。

作为本发明的优选实施方式，所述的家默识别子系统包括：

家默内容识别模块，与所述的自助家默子系统相连接，用于对具体的家默内容进行文本识别；

摄像驱动模块，与所述的家默内容识别模块相连接，用于输入课本内容，并基于智能标记进行识别；

ocr调用模块，与所述的家默内容识别模块相连接，用于调用ocr接口进行图片识别；

家默内容确认模块，与所述的家默内容识别模块相连接，用于确认识别内容的正确性，并对错误内容进行修改。

作为本发明的优选实施方式，所述的家默播报子系统包括：

语音播报模块，与所述的自助家默子系统相连接，用于接收自助家默系统的指令，进行家默内容的语音播放；

语音播报速率调整模块，与所述的语音播报模块相连接，用于调整配置语音播报过程中的语速；

语音播报声音配置模块，与所述的语音播报模块相连接，用于调整语音播报的声音配置；

语音播报指令模块，与所述的语音播报模块相连接，用于接受用户的主动播报指令；

tts调用模块，与所述的语音播报模块相连接，用于将文本内容转换成语音内容。

作为本发明的优选实施方式，所述的家默检查子系统包括：

别字检查模块，与所述的自助家默子系统、摄像驱动模块和ocr调用模块相连接，用于进行家默内容的别字检查；

错字检查模块，与所述的自助家默子系统、摄像驱动模块和ocr调用模块相连接，用于进行家默内容的错字检查。

辅助记忆模块，与所述的别字检查模块和错字检查模块相连接，用于进行正确文本的放大及轮询显示来加强辅助记忆。

如图8所示，本发明的该利用上述系统实现基于智能标记的针对学生进行自助家默控制的方法，其中包括以下步骤：

(1)所述的标记配置子系统对智能标记进行配置设定，并对家默内容进行标记；

(2)所述的家默识别子系统拍摄课本的家默内容，并对拍摄结果进行扫描识别，根据智能标记的特征，并通过ocr技术识别家默内容为具体的文本内容；

(2.1)摄像驱动模块拍摄家默内容；

(2.2)家默识别子系统对家默内容进行扫描识别；

(2.3)根据智能标记的特征，ocr调用模块识别家默内容为具体的文本内容；

(3)所述的家默播报子系统通过tts技术记性家默内容的顺序播报；

(4)系统对用户的家默结果进行拍照，家默检查子系统进行错别字检查，判断是否存在错别字，如果是，则将错别字和错误信息保存至错别字数据库，并将其归入下一轮次的家默内容，继续步骤(3)；否则，家默完成；

(4.1)摄像驱动模块拍摄用户的家默结果；

(4.2)别字检查模块和错字检查模块共同检查家默结果的错别字；

(4.3)判断是否存在错别字，如果是，则将错别字和错误信息保存至错别字数据库，并将其归入下一轮次的家默内容，继续步骤(3)；否则，家默完成。

本发明的具体实施方式中，提供一种基于智能标记方法，利用带摄像头的电子设备例如pc、智能手机、智能平板，实现不依赖于家长的自助家默方法，自动实现默写内容的播报、正确性检查，提高学习效率，提升学习效果。

本发明用以解决不需要家长介入，学生可自助高效完成家默的方法。因此，抽取家默过程中的核心要素，主要有以下几个方面：

1、家默内容的标记；

2、家默内容的识别；

3、家默内容的播报；

4、家默内容的正确性检查；

5、家默的迭代流程。

因此，本发明将围绕以上几个核心要素进行技术方案的展开。

(一)本发明需要解决家默内容的标记，这可以基于电子设备的摄像头相关技术解决。内容的标记可以用特定的笔进行智能标记，例如特定颜色的笔做下划线进行标记，而摄像头根据该(颜色)标记来识别是否为家默内容。一般的，智能标记可以有多种方式、方法，例如特定的颜色，或者特定的标记曲线形状。

家默内容的识别包括两个层面的识别：一个是利用智能标记方法，识别家默内容对象；其次是识别家默内容对象后，需要识别家默内容的具体文字，以方便后续流程的家默内容的播报。具体文字内容的识别，可利用成熟的ocr识别技术进行。

家默内容的播报，可以在ocr识别文本的基础上，基于业界的tts(texttospeech)技术实现。

家默内容的正确性检查，可以利用ocr技术识别默写内容，根据ocr的识别率判定书写的正确性；低于特定识别率(经验值)的判定为错字；成功识别的，则将识别的文本，与标准家默内容的ocr文本识别进行比对，以确定是否为别字。

基于正确性检查，对于默写错误的部分，则进行迭代的自助家默流程，直至家默全部正确为止。

(二)自助家默流程可以如图所示，首先，利用电子设备上的系统的配置功能，对智能标记方法进行设定，例如特定的颜色，或者曲线形状。

然后，在教师宣讲家默内容的适合，学生用以上配置的智能标记方法在课本上对家默内容进行标记。

回家后，学生可利用电子设备例如智能手机，对课本进行拍照，系统对拍照结果进行扫描识别，根据智能标记的特征，识别出需要家默的内容对象。

然后，系统利用ocr识别技术，识别家默内容对象为具体的文本；到此，家默内容的识别已经完成。

学生可点击功能按键开始家默；系统通过文本到语音(播报)的tts技术，进行家默内容的顺序播报；学生进行对应的家默内容的默写。

默写完成后，利用系统进行拍照并进行错别字的甄别。识别率低的可判定为错字；(ocr)转文本后对比不一致的，可识别为别字。对于错别字，系统归入下一轮次的家默内容，然后重新开始播报、家默、结果检查；直到学生全部家默内容正确为止。

(三)本发明的技术框架主要由以下三个层面搭建组成：

1)硬件层。本发明对应的电子设备，需要具备摄像头、放音设备(如扬声器、耳机等)、基本的运算单元(如cpu处理器)、基本的存储单元(如内存、持久化storage)等；一般带摄像头的pc电脑、智能手机、智能平板等都可以满足这些硬件需求。

2)基础功能层。本发明对应的系统需要支持ocr文字识别、tts文本到语音、摄像头与语音输出功能组件。

3)应用层。应用层为本发明的核心功能层，主要支持家默智能标记的配置系统与配置存储、家默(内容)识别系统、家默播报子系统、家默(结果)检查系统，以及基于以上系统完成自助家默的自助家默子系统。

从功能逻辑关系与数据流向，以上各层次及功能单元可以用下图的架构设计进行说明：

整个系统由自助家默子系统整体调度和驱动：

首先，用户从自助家默子系统进入标记配置子系统，对智能标记进行配置并保存；

然后，系统各模块的逻辑和数据流向途中用0-10个步骤进行说明：

用户使用自助家默子系统，开始自助家默流程；

①自助家默子系统驱动家默识别子系统，进行智能标记家默内容的识别；家默内容被摄像头录制拍摄；

②摄像头录制拍摄后内容传输至家默识别子系统进行识别；

③家默识别子系统利用ocr技术完成家默内容的识别，并回报结果给自助家默内容；

④自助家默子系统驱动家默播报新系统进行家默内容的播报；

⑤家默播报子系统利用放音设备进行语音家默播报；

⑥用户听播报进行家默；

⑦用户输出家默结果内容；

⑧自助家默子系统驱动家默检查子系统进行内容检查，家默结果内容被摄像头录制拍摄；

⑨摄像头录制拍摄内容传输至家默检查子系统进行正确性检查；

⑩家默检查子系统利用ocr进行正确性检查，并把结构回报给自助家默子系统；完成一轮家默过程。

之后，根据家默结果，可以重复以上④-⑩的过程进行重复的家默，直至结果全部正确。

(四)本发明各系统的具体说明

1、标记配置子系统

该系统用于提供用户进行智能标记的配置，从而与家默内容的智能标记方法进行匹配，是驱动整个系统运行的基础配置。本系统参考设计如图3所示。

标记配置交互负责与用户的配置交互相关功能；

标记选择模块负责提供用户对预置配置标记的选择；预置配置标记可以是系统预置的一些智能标记方法，例如与之的颜色、曲线形状等；

标记定义模块提供用户自定义智能标记的方法；用户自定义标记可以是用户自定义颜色及自定义曲线形状等；

标记配置存储模块负责将用户对智能标记的配置保存到标记配置存储中；可以是简单的(描述)文件方式，也可以是复杂的数据库方式。

2、家默识别子系统

家默识别子系统负责两个方面的内容的识别：

基于智能标记所标记的家默内容对象的识别；即家默内容对象的圈定识别(从众多的课本内容中识别出被标记的家默内容对象)；

家默内容对象从图像到文字的识别(ocr识别)；

该系统主要利用camera和ocr技术，基于配置的智能标记，完成以上功能。同时，该系统提供一个手动纠正的功能，以防止ocr在一些极端情况下识别到错误的内容。

系统的功能模块可以如图4所示，该系统利用camera输入课本内容，基于智能标记进行识别，然后将识别的内容喂给ocr调用模块，进行具体家默内容的文本识别；家默内容确认模块用于提供用户确认识别内容的最终正确性，如果有错误内容，则基于该模块可以进行手动纠正。

3、家默播报子系统

家默播报子系统接受自助家默子系统的驱动，根据家默识别子系统识别的文本结果，利用tts技术将文本进行语音(家默)播报。该系统被调用，则表明自助家默在用户家默层面开始启动。

该系统的功能模块如图5所示，语音播报速率调整模块：用于调整配置语音播报过程中的语速，达到家默过程的智能化播报；根据家默单词、词组的长短，该模块可自动调整重复及新单词播报的间隔；

语音播报声音配置模块：该模块用于调整语音播报的声音配置，包括音量的大小、男音/女音的选择、音效的选择配置等；

语音播报指令模块：该模块用于接受用户的主动播报指令，例如，播放下一个，重复播放当前项，再一次播放前一项；该指令可以是通过用户界面执行，也可以是通过语音指令进行(系统需配置麦克风，支持语音输入与识别)；

tts调用模块：该模块负责将文本转换成语音；

语音播报模块：该模块负责接收自助家默子系统的指令，完成家默内容的语音播放功能。

4、家默检查子系统

家默检查子系统负责用户家默的内容结果的正确性检查：

用户家默内容的错字检查；

用户家默内容的别字检查。

该系统利用camera和ocr技术，对家默内容进行文本识别，并与家默识别子系统识别到的家默内容进行比对。该系统框架如图6所示。

错字检查模块利用ocr识别来进行判定；ocr识别后的文本与家默内容文本的比对来实现别字检查。同时，对于错字和别字，辅助记忆模块进行正确文本的放大及轮询显示来加强辅助记忆，并在完成后进入下一轮次的家默流程。

5、自助家默子系统

自助家默子系统是本发明的“hub”系统和家默“引擎”，即面向用户且把本发明的各个系统链接起来，完成整个自助家默的过程。其余各系统的调起、完成后返回进入下一个阶段的功能，均由该系统实现。

自助家默子系统框图如图2所示。同时，对于自助家默过程中的错别字以及用户(学生)发生错误的次数、频度，相关数据保存在错别字数据库中。方便后续复习时进行自动家默的过程复习。

采用了本发明的基于智能标记实现针对学生进行自助家默控制的系统及其方法，可实现中小学学习过程中的原本需要家长深度配合、参与的家默过程，利用pc、手机、平板等电子设备，实现家默过程的自助完成；有效提高学习效率，提升学习效果；本发明创造性的利用智能标记的方法，利用成熟的ocr技术，实现家默内容的自动识别和生成；同时利用成熟的tts技术实现家默的智能播报(可控制速率、音量)，同时提供家默的正确性检查，可以轻松实现多轮递进家默，利用技术手段对家默这一证明有效的学习手段进行了智能化、自动化的改进，具有非常大的实用效果和创新性。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。