一种检测用户背诵的方法及装置制造方法
【专利摘要】本发明公开了一种检测用户背诵的方法及装置。该方法包括：获取文档显示装置中显示区域外部的至少一帧图像，作为第一图像序列；对第一图像序列进行图像识别，以判断第一图像序列是否与预设的背诵开启动作相适配；在判断第一图像序列与预设的背诵开启动作相适配的情况下，获取用户语音信息，并根据第一图像序列所对应显示区域获取背诵比对信息；根据背诵比对信息对用户语音信息进行识别分析生成背诵检测结果。本发明提出的技术方案能够帮助用户能够及时发现背诵过程存在的问题，提高用户的背诵效率。
【专利说明】—种检测用户背诵的方法及装置
【技术领域】
[0001 ] 本发明实施例涉及计算机【技术领域】，尤其涉及一种检测用户背诵的方法及装置。【背景技术】
[0002]阅读书籍不仅仅能够让人们学到丰富的知识，开阔眼界，还可以使人进步，尤其是对于正处于成长过程当中的儿童而言，书籍更是必不可少。对于书籍中比较优美或者重要的语段时，通常需要儿童进行背诵。如果是一个人单独进行背诵，则不能够及时、准确的发现背诵的内容是否存在遗漏或者文字发音是否准确等一些问题。
[0003]目前，所采取的一种背诵方式是:通过家长来检验孩子背诵的书籍中的内容是否准确无误；另一种背诵方式是:使用MP3或者复读机等工具对背诵的内容进行录音，然后人为的对比书籍上相应的文字内容查看背诵的准确度。但是，上述两种方式仍不能够对背诵的内容发音是否准确或者遗漏等问题进行直观、准确的度量与评价。
【发明内容】
[0004]本发明实施例提供一种检测用户背诵的方法及装置，以帮助用户能够及时发现背诵过程存在的问题，提高用户的背诵效率。
[0005]第一方面，本发明实施例提供了一种检测用户背诵的方法，该方法包括:
[0006]获取文档显示装置中显示区域外部的至少一帧图像，作为第一图像序列；
[0007]对所述第一图像序列进行图像识别，以判断所述第一图像序列是否与预设的背诵开启动作相适配；
[0008]在判断所述第一图像序列与预设的背诵开启动作相适配的情况下，获取用户语音信息，并根据所述第一图像序列所对应显示区域获取背诵比对信息；
[0009]根据所述背诵比对信息对所述用户语音信息进行识别分析生成背诵检测结果。
[0010]第二方面，本发明实施例还提供了一种检测用户背诵的装置，该装置包括:
[0011]图像获取单元，用于获取文档显示装置中显示区域外部的至少一帧图像，作为第一图像序列；
[0012]背诵判断单元，用于对所述第一图像序列进行图像识别，以判断所述第一图像序列是否与预设的背诵开启动作相适配；
[0013]信息获取单元，用于在判断所述第一图像序列与预设的背诵开启动作相适配的情况下，获取用户语音信息，并根据所述第一图像序列所对应显示区域获取背诵比对信息；
[0014]背诵检测单元，用于根据所述背诵比对信息对所述用户语音信息进行识别分析生成背诵检测结果。
[0015]本发明实施例提出的技术方案通过识别文档显示装置中显示区域外部的图像来开启背诵检测，通过获取用户语音信息，根据背诵比对信息对用户语音信息进行识别分析来实现对用户背诵的检测，从而能够帮助用户能够及时发现背诵过程存在的问题，提高用户的背诵效率。【专利附图】
【附图说明】
[0016]图1是本发明实施例一提供的一种检测用户背诵的方法的流程示意图；
[0017]图2是本发明实施例二提供的一种检测用户背诵的方法的流程示意图；
[0018]图3是本发明实施例三提供的一种检测用户背诵的装置的结构示意图；
[0019]图4(a)本发明实施例一提供的一种图像采集装置捕捉的用户未对文档显示装置中的显示区域进行操作时的图像示意图；
[0020]图4(b)本发明实施例一提供的一种图像采集装置捕捉的用户对文档显示装置中的显示区域进行手势动作时的图像示意图。
【具体实施方式】
[0021]下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
[0022]实施例一
[0023]图1是本发明实施例一提供的一种检测用户背诵的方法的流程示意图，该方法可以由检测用户背诵的装置来执行。所述装置可内置在学习机、智能手机、平板电脑、个人数字助理或者其他任何电子设备中，由软件和/或硬件实现。所述装置可配合图像采集装置和语音采集装置来实现检测用户背诵的方法。参见图1，检测用户背诵的方法具体包括如下步骤:
[0024]110、获取文档显示装置中显示区域外部的至少一帧图像，作为第一图像序列。
[0025]在本实施例中，文档显示装置可以是纸质的书本，也可以是能够显示文档内容的电子显示屏幕。文档显示装置中的显示区域显示有待背诵的文档内容。第一图像序列的获取过程可具体为:通过控制图像采集装置每隔固定时间在文档显示装置中显示区域的外部捕捉一次图像，得到预设时间长度上或预设捕捉次数下的第一图像序列。外部捕捉的图像实际上体现了用户对显示区域的操作，例如，图4所示的用户遮挡显示区域的手势动作，图4 (a)示出了图像采集装置捕捉的用户未对文档显示装置中的显示区域进行操作时的图像示意图，图4 (b)示出了图像采集装置捕捉的用户对文档显示装置中的显示区域进行手势动作时的图像示意图。
[0026]其中，图像采集装置包括但不限于内嵌于检测用户背诵的装置中的摄像头；固定时间、预设时间长度或捕捉次数可根据不同的应用场景进行设定，也可在检测用户背诵的装置出厂时被设定为固定值。当第一图像序列包含至少两帧图像时，例如设定固定时间为I秒，预设时间长度为5秒，或者预设捕捉次数为5次。特别的，当第一图像序列中只包含有一帧图像时，固定时间可设定为无穷大，预设捕捉次数为一次，即仅在文档显示装置中显示区域的外部捕捉一次图像。
[0027]120、对第一图像序列进行图像识别，以判断第一图像序列是否与预设的背诵开启动作相适配。
[0028]在获取到第一图像序列之后，对第一图像序列进行图像识别，判断第一图像序列是否与预设的背诵开启动作相适配，可包括:根据预先存储的模板特征信息对第一图像序列中的图像进行目标物识别，根据目标物识别结果判断第一图像序列是否与预设的背诵开启动作相适配。即为，首先对第一图像序列中的各图像进行特征提取，然后将所提取的特征信息与预先存储的模板特征信息进行匹配实现对第一图像序列中目标物的识别；进而根据对第一图像序列中目标物的识别情况来判断第一图像序列是否与预设的背诵开启动作相适配。其中，目标物可以是人体的手部，特征信息包括但不限于手部轮廓区域、指甲区域及其指甲区域对应的颜色信息等。
[0029]具体的，如果预先设定为仅控制图像采集装置在文档显示装置中显示区域的外部捕捉一次图像，即第一图像序列为单帧图像，则根据目标物识别结果判断第一图像序列是否与预设的背诵开启动作相适配，可包括:在识别出单帧图像存在目标物的情况下，判断第一图像序列与预设的背诵开启动作相适配。
[0030]如果预先设定为控制图像采集装置在文档显示装置中显示区域的外部至少捕捉两次图像，即第一图像序列为至少两帧图像，则根据目标物识别结果判断第一图像序列是否与预设的背诵开启动作相适配，可包括:根据目标物识别结果以及相邻帧图像之间的差异值判断第一图像序列是否与预设的背诵开启动作相适配。
[0031]在本实施例的一个具体的实施方式中，在第一图像序列为至少两帧图像的情况下，根据目标物识别结果判断第一图像序列是否与预设的背诵开启动作相适配，可包括:在识别出存在目标物的情况下，将存在目标物的图像与相邻帧图像进行比对；当比对结果满足设定条件时，判断第一图像序列与预设的背诵开启动作相适配。
[0032]其中，设定条件可根据第一图像序列中相邻帧图像的间隔时间和/或图像帧数来确定。例如，在第一图像序列中相邻帧图像所间隔的固定时间较短，图像帧数较多的情形下，可在识别到连续多帧图像存在目标物且目标物在图像中的位置几乎没有变化后判断为第一图像序列与预设的背诵开启动作相适配，此时设定条件可为存在目标物的图像与相邻帧图像之间的相似度小于等于设定的第一阈值；在第一图像序列中相邻帧图像所间隔的固定时间较长，图像帧数较多的情形下，可在识别前一帧图像未存在目标物而后一帧图像存在目标物时判断为第一图像序列与预设的背诵开启动作相适配，此时设定条件可为存在目标物的图像的平均灰度值与前一帧图像的平均灰度值之间的差大于等于设定的第二阈值。
[0033]当然，当第一图像序列为至少两帧图像时，还可通过其它方式来实现判断第一图像序列是否与预设的背诵开启动作相适配，例如:获取第一图像序列中的第一帧图像以及最后一帧图像；将所获取的第一帧图像和最后一帧图像进行比对，根据比对结果判断第一图像序列是否与预设的背诵开启动作相适配。这样，仅通过比对首末两帧图像之间的差异来判断第一图像序列是否与预设的背诵开启动作相适配能够减少资源消耗，提高检测速度。
[0034]130、在判断第一图像序列与预设背诵开启动作相适配的情况下，获取用户语音信息，并根据第一图像序列所对应显示区域获取背诵比对信息。
[0035]在本实施例中，可通过控制语音采集装置来实现用户语音信息的获取。具体的，可控制语音采集装置获取设定时间长度的用户语音信息，也可在判断第一图像序列与预设的背诵开启动作相适配的情况下，开启语音采集装置实时采集用户语音信息，在检测到存在背诵停止指令的情况下，停止采集用户语音信息。
[0036]在本实施例中，在第一图像序列为至少两帧图像的情况下，根据第一图像序列所对应显示区域获取背诵比对信息，具体包括:采用图像识别技术识别第一图像序列中图像在所述显示区域所对应的文本内容；获取比对结果满足设定条件时目标物在对应图像中的轮廓区域，根据所述轮廓区域和所述文本内容确定待背诵的文本内容范围；从本地或服务器获取与所确定的待背诵的文本内容范围相对应的背诵比对信息。
[0037]在第一图像序列为单帧图像的情况下，根据第一图像序列所对应显示区域获取背诵比对信息，具体包括:根据用户输入指令获取文档显示装置中显示区域所对应的文本内容；获取目标物在单帧图像中的轮廓区域，根据所述轮廓区域和所述文本内容确定待背诵的文本内容范围；从本地或服务器获取与所确定的待背诵的文本内容范围相对应的背诵比对信息。其中，据用户输入指令获取文档显示装置中显示区域所对应的文本内容可为:向用户提供一交互界面，接收作用在该交互界面上的输入指令，根据该指令得到第一图像序列中图像在所述显示区域所对应的文本内容。
[0038]在上述两种获取背诵比对信息情况中，根据所述轮廓区域确定待背诵的文本内容范围可为:将轮廓区域所覆盖的段落或者语句作为待背诵的文本内容范围；所述服务器可以是云服务器；背诵比对信息包括但不限于:文本比对内容和/或语音比对信息。
[0039]综上，本实施例可通过上述两种不同的技术方案来实现背诵开启动作相的判断和待背诵文本内容范围的确定。
[0040]一种技术方案是，当前文档显示装置中显示区域对应的文本内容能够根据用户输入指令直接获取得到，此情况下第一图像序列可仅仅包括一帧图像，进而通过识别该帧图像是否包括目标物来判断第一图像序列是否与预设的背诵开启动作相适配，通过识别该帧图像的轮廓区域以及文档显示装置中显示区域对应的文本内容确定待背诵的文本内容范围。
[0041]另一种技术方案是，当前文档显示装置中显示区域对应的文本内容根据图像序列中图像所对应显示区域获取得到，此情况下第一图像序列包括至少两帧图像，以通过对第一图像序列中各图像的目标物识别结果来判断第一图像序列是否与预设的背诵开启动作相适配，以及根据第一图像序列中的图像确定文档显示装置中显示区域对应的文本内容，进而确定待背诵的文本内容范围。
[0042]140、根据背诵比对信息对用户语音信息进行识别分析生成背诵检测结果。
[0043]在本实施例中，如果背诵比对信息包括文本比对内容，则根据背诵比对信息对所述用户语音信息进行识别分析生成背诵检测结果，包括:对用户语音信息进行语音识别生成用户背诵的文本内容；将用户背诵的文本内容与文本比对内容进行匹配，根据匹配结果生成背诵检测结果。
[0044]如果背诵比对信息包括语音比对信息，则根据背诵比对信息对用户语音信息进行识别分析生成背诵检测结果，包括:将用户语音信息与语音比对信息进行匹配，根据匹配结果生成背诵检测结果。
[0045]其中，背诵检测结果可包括用户背诵所遗漏、增多和/或发音错误的内容，该内容可以以文本形式进行表示，也可以以语音信息的形式进行表示。
[0046]本实施例提出的技术方案，通过识别文档显示装置中显示区域外部的图像来开启背诵检测，通过获取用户语音信息，根据背诵比对信息对用户语音信息进行识别分析来实现对用户背诵的检测，从而能够帮助用户能够及时发现背诵过程存在的问题，提高用户的背诵效率。
[0047]实施例二
[0048]图2是本发明实施例二提供的一种检测用户背诵的方法的流程示意图。本实施例在实施例一的基础上，对获取用户语音信息的步骤做进一步优化。参见图2，该检测用户背诵的方法具体包括如下步骤:
[0049]210、获取文档显示装置中显示区域外部的至少一帧图像，作为第一图像序列；
[0050]220、对第一图像序列进行图像识别，以判断第一图像序列是否与预设的背诵开启动作相适配；
[0051]230、在判断第一图像序列与预设的背诵开启动作相适配的情况下，并向语音采集装置发送采集开启指令，以指示语音采集装置实时采集用户语音信息；
[0052]240、获取文档显示装置中显示区域外部的至少一帧图像，作为第二图像序列；
[0053]250、对第二图像序列进行识别，以判断第二图像序列是否与预设的背诵停止动作相适配；
[0054]260、在判断第二图像序列与预设的背诵停止动作相适配的情况下，向语音采集装置发送采集停止指令，获取语音采集装置在接收到所述采集开启指令之后所采集到的所有用户语音信息；
[0055]270、根据第一图像序列所对应显示区域获取背诵比对信息；
[0056]280、根据背诵比对信息对用户语音信息进行识别分析生成背诵检测结果。
[0057]在本实施例中，获取第二图像序列的过程与获取第二图像序列的过程类似，都是通过获取文档显示装置中显示区域外部的至少一帧图像得到，具体细节可参见实施例一，这里不再赘述。
[0058]在本实施例中，可根据预先存储的模板特征信息对第一图像序列或者第二图像序列中的图像进行目标物识别，根据目标物识别结果判断第一图像序列是否与预设的背诵开启动作或者背诵停止操作相适配。具体的，在第一图像序列与第二图像序列均为至少两帧图像的情况下，判断第一图像序列是否与预设的背诵开启动作相适配的过程可包括:在识别出第一图像序列中存在目标物的情况下，将存在目标物的图像与相邻帧图像进行比对；当比对结果满足设定条件时，判断第一图像序列与预设的背诵开启动作相适配。
[0059]相应的，判断第二图像序列是否与预设的背诵停止动作相适配的过程可包括:在识别出第二图像序列中不存在目标物的情况下，将未存在目标物的图像与相邻帧图像进行比对；当比对结果满足设定条件时，判断第二图像序列与预设的背诵停止动作相适配。在第一图像序列与第二图像序列均为至少单帧图像的情况下，根据目标物识别结果判断第一图像序列是否与预设的背诵开启动作相适配，可包括:在识别出第一图像序列所对应的单帧图像存在目标物的情况下，判断第一图像序列与预设的背诵开启动作相适配。
[0060]相应的，判断第二图像序列是否与预设的背诵停止动作相适配的过程可包括:在识别出第二图像序列所对应的单帧图像未存在目标物的情况下，判断第二图像序列与预设的背诵停止动作相适配。
[0061]需要说明的是，上述技术方案仅仅是关于检测用户背诵的方法的一个具体的实例，本实施例对获取用户语音信息的步骤230-260与获取背诵比对信息的步骤270这两者之间的执行顺序不做限定，步骤270在判断第一图像序列与背诵开启动作相适配的情况下，也可先于步骤230-260执行。
[0062]本实施例提出的技术方案，首先在识别出背诵开启动作时开启语音采集装置实时采集用户语音信息，在识别出背诵停止动作时停止采集用户语音信息；之后通过将采集的用户语音信息与背诵比对内容进行匹配来实现对用户背诵的检测。本实例技术方案的有益技术效果在于:一方面能够帮助用户能够及时发现背诵过程存在的问题，提高用户的背诵效率；另一方面避免了采用获取固定时间长度的用户语音信息这一技术手段所可能带来的用户语音信息获取不完整而降低背诵检测准确度的弊端，以及用户语音信息本身时长较短但设定的采集时间长度太大所引起的耗电量多的问题。
[0063]在上述任意实施例的基础上，在根据背诵比对信息对用户语音信息进行识别分析生成背诵检测结果之后，还包括:根据背诵检测结果生成显示信息和/或语音提示信息；按照显示信息和/或语音提示信息进行背诵检测提示。例如，在第一图像序列中图像所对应的文本内容的显示界面中，将该显示界面中用户背诵所遗漏、增多和/或发音错误的文本内容进行标记显示；如果接收到作用在该显示界面上的、对应于用户背诵发音错误的内容的发音操作指令，则获取对应于用户背诵发音错误的内容的语音比对信息，根据该语音比对信息进行发音。
[0064]实施例三
[0065]图3是本发明实施例三提供的一种检测用户背诵的装置的结构示意图。参见图3，该装置的具体结构如下:
[0066]图像获取单元310，用于获取文档显示装置中显示区域外部的至少一帧图像，作为第一图像序列；
[0067]背诵判断单元320，用于对第一图像序列进行图像识别，以判断第一图像序列是否与预设的背诵开启动作相适配；
[0068]信息获取单元330，用于在背诵判断单元320判断第一图像序列与预设的背诵开启动作相适配的情况下，获取用户语音信息，并根据第一图像序列所对应显示区域获取背诵比对信息；
[0069]背诵检测单元340，用于根据信息获取单元330所获取的背诵比对信息对用户语音信息进行识别分析生成背诵检测结果。
[0070]进一步的，图像获取单元310，具体用于控制图像采集装置每隔固定时间对文档显示装置中显示区域的外部捕捉一次图像，得到预设时间长度上或预设捕捉次数下的第一图像序列。
[0071]进一步的，背诵判断单元320，包括目标物识别子单元321和判断子单元322，其中:
[0072]目标物识别子单元321，用于根据预先存储的模板特征信息对第一图像序列中的每中贞图像进行目标物识别；
[0073]判断子单元322，用于根据目标物识别结果判断第一图像序列是否与预设的背诵开启动作相适配。
[0074]进一步的，第一图像序列为至少两帧图像；
[0075]判断子单元322，具体用于:在识别出存在目标物的情况下，将存在目标物的图像与相邻帧图像进行比对；当比对结果满足设定条件时，判断第一图像序列与预设的背诵开启动作相适配；
[0076]信息获取单元330，具体用于:识别第一图像序列中图像在所述显示区域所对应的文本内容；获取比对结果满足设定条件时目标物在对应图像中的轮廓区域，根据所述轮廓区域和所述文本内容确定待背诵的文本内容范围；从本地或服务器获取与所确定的待背诵的文本内容范围相对应的背诵比对信息。
[0077]或者，第一图像序列为单帧图像；
[0078]判断子单元322，具体用于:在识别出所述单帧图像存在目标物的情况下，判断所述第一图像序列与预设的背诵开启动作相适配；
[0079]信息获取单元330，具体用于:根据用户输入指令获取文档显示装置中显示区域所对应的文本内容；获取目标物在所述单帧图像中的轮廓区域，根据所述轮廓区域和所述文本内容确定待背诵的文本内容范围；从本地或服务器获取与所确定的待背诵的文本内容范围相对应的背诵比对信息。进一步的，背诵比对信息包括文本比对内容，则背诵检测单元340，具体用于:
[0080]对用户语音信息进行语音识别生成用户背诵的文本内容；
[0081]将用户背诵的文本内容与文本比对内容进行匹配，根据匹配结果生成背诵检测结果；和/或
[0082]背诵比对信息包括语音比对信息，则背诵检测单元340，具体用于:
[0083]将用户语音信息与语音比对信息进行匹配，根据匹配结果生成背诵检测结果。
[0084]进一步的，信`息获取单元330，具体用于:
[0085]向语音采集装置发送采集开启指令，以指示语音采集装置实时采集用户语音信息；
[0086]获取文档显示装置中显示区域外部的至少一帧图像，作为第二图像序列；
[0087]对第二图像序列进行识别，以判断第二图像序列是否与预设的背诵停止动作相适配；
[0088]在判断第二图像序列与预设的背诵停止动作相适配的情况下，向语音采集装置发送采集停止指令，获取语音采集装置在接收到所述采集开启指令之后所采集到的所有用户语首?目息。
[0089]在以上技术方案的基础上，还包括检测结果提示单元350，用于在背诵检测单元340根据背诵比对信息对用户语音信息进行识别分析生成背诵检测结果之后，根据背诵检测结果生成显示信息和/或语音提示信息；按照显示信息和/或语音提示信息进行背诵检测提示。
[0090]上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
[0091]注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
【权利要求】
1.一种检测用户背诵的方法，其特征在于，包括: 获取文档显示装置中显示区域外部的至少一帧图像，作为第一图像序列； 对所述第一图像序列进行图像识别，以判断所述第一图像序列是否与预设的背诵开启动作相适配； 在判断所述第一图像序列与预设的背诵开启动作相适配的情况下，获取用户语音信息，并根据所述第一图像序列所对应显示区域获取背诵比对信息； 根据所述背诵比对信息对所述用户语音信息进行识别分析生成背诵检测结果。
2.根据权利要求1所述的检测用户背诵的方法，其特征在于，获取文档显示装置中显示区域外部的至少一帧图像，作为第一图像序列，包括: 控制图像采集装置每隔固定时间对文档显示装置中显示区域的外部捕捉一次图像，得到预设时间长度上或预设捕捉次数下的第一图像序列。
3.根据权利要求1所述的检测用户背诵的方法，其特征在于，对所述第一图像序列进行图像识别，以判断所述第一图像序列是否与预设的背诵开启动作相适配，包括: 根据预先存储的模板特征信息对所述第一图像序列中的每帧图像进行目标物识别； 根据目标物识别结果判断所述第一图像序列是否与预设的背诵开启动作相适配。
4.根据权利要求3所述的检测用户背诵的方法，其特征在于，所述第一图像序列为至少两帧图像； 根据目标物识别结果判断所述第一图像序列是否与背诵开启动作相适配，包括:在识别出存在目标物的情况下，将存在目标`物的图像与相邻帧图像进行比对；当比对结果满足设定条件时，判断所述第一图像序列与预设的背诵开启动作相适配； 根据所述第一图像序列所对应显示区域获取背诵比对信息，包括:识别所述第一图像序列中图像在所述显示区域所对应的文本内容；获取比对结果满足设定条件时目标物在对应图像中的轮廓区域，根据所述轮廓区域和所述文本内容确定待背诵的文本内容范围；从本地或服务器获取与所确定的待背诵的文本内容范围相对应的背诵比对信息。
5.根据权利要求3所述的检测用户背诵的方法，其特征在于，所述第一图像序列为单帧图像； 根据目标物识别结果判断所述第一图像序列是否与背诵开启动作相适配，包括:在识别出所述单帧图像存在目标物的情况下，判断所述第一图像序列与预设的背诵开启动作相适配； 根据所述第一图像序列所对应显示区域获取背诵比对信息，包括:根据用户输入指令获取文档显示装置中显示区域所对应的文本内容；获取目标物在所述单帧图像中的轮廓区域，根据所述轮廓区域和所述文本内容确定待背诵的文本内容范围；从本地或服务器获取与所确定的待背诵的文本内容范围相对应的背诵比对信息。
6.根据权利要求1所述的检测用户背诵的方法，其特征在于，所述背诵比对信息包括文本比对内容，则根据所述背诵比对信息对所述用户语音信息进行识别分析生成背诵检测结果，包括: 对所述用户语音信息进行语音识别生成用户背诵的文本内容； 将所述用户背诵的文本内容与所述文本比对内容进行匹配，根据匹配结果生成背诵检测结果；和/或所述背诵比对信息包括语音比对信息，则根据所述背诵比对信息对所述用户语音信息进行识别分析生成背诵检测结果，包括: 将所述用户语音信息与所述语音比对信息进行匹配，根据匹配结果生成背诵检测结果
7.根据权利要求1所述的检测用户背诵的方法，其特征在于，获取用户语音信息，包括: 向语音采集装置发送采集开启指令，以指示所述语音采集装置实时采集用户语音信息； 获取文档显示装置中显示区域外部的至少一帧图像，作为第二图像序列； 对所述第二图像序列进行识别，以判断所述第二图像序列是否与预设的背诵停止动作相适配； 在判断所述第二图像序列与预设的背诵停止动作相适配的情况下，向语音采集装置发送采集停止指令，获取所述语音采集装置在接收到所述采集开启指令之后所采集到的所有用户语音信息。
8.根据权利要求1-7中任一项所述的检测用户背诵的方法，其特征在于，在根据所述背诵比对信息对所述用户语音信息进行识别分析生成背诵检测结果之后，还包括:根据所述背诵检测结果生成显示信息和/或语音提示信息；按照所述显示信息和/或语音提示信息进行背诵检测提示。
9.一种检测用户背诵的装置，其特征在于，包括: 图像获取单元，用于获取文档显示装置中显示区域外部的至少一帧图像，作为第一图像序列； 背诵判断单元，用于对所述第一图像序列进行图像识别，以判断所述第一图像序列是否与预设的背诵开启动作相适配； 信息获取单元，用于在判断所述第一图像序列与预设的背诵开启动作相适配的情况下，获取用户语音信息，并根据所述第一图像序列所对应显示区域获取背诵比对信息；背诵检测单元，用于根据所述背诵比对信息对所述用户语音信息进行识别分析生成背诵检测结果。
10.根据权利要求9所述的检测用户背诵的装置，其特征在于，所述图像获取单元，具体用于:控制图像采集装置每隔固定时间对文档显示装置中显示区域的外部捕捉一次图像，得到预设时间长度上或预设捕捉次数下的第一图像序列。
11.根据权利要求9所述的检测用户背诵的装置，其特征在于，所述背诵判断单元包括目标物识别子单元和判断子单元； 所述目标物识别子单元，用于根据预先存储的模板特征信息对所述第一图像序列中的每中贞图像进行目标物识别； 所述判断子单元，用于根据目标物识别结果判断所述第一图像序列是否与预设的背诵开启动作相适配。
12.根据权利要求11所述的检测用户背诵的装置，其特征在于，所述第一图像序列为至少两帧图像； 所述判断子单元，具体用于:在识别出存在目标物的情况下，将存在目标物的图像与相邻帧图像进行比对；当比对结果满足设定条件时，判断所述第一图像序列与预设的背诵开启动作相适配； 所述信息获取单元，具体用于:识别所述第一图像序列中图像在所述显示区域所对应的文本内容；获取比对结果满足设定条件时目标物在对应图像中的轮廓区域，根据所述轮廓区域和所述文本内容确定待背诵的文本内容范围；从本地或服务器获取与所确定的待背诵的文本内容范围相对应的背诵比对信息。
13.根据权利要求11所述的检测用户背诵的装置，其特征在于，所述第一图像序列为单帧图像； 所述判断子单元，具体用于:在识别出所述单帧图像存在目标物的情况下，判断所述第一图像序列与预设的背诵开启动作相适配； 所述信息获取单元，具体用于:根据用户输入指令获取文档显示装置中显示区域所对应的文本内容；获取目标物在所述单帧图像中的轮廓区域，根据所述轮廓区域和所述文本内容确定待背诵的文本内容范围；从本地或服务器获取与所确定的待背诵的文本内容范围相对应的背诵比对信息。
14.根据权利要求9所述的检测用户背诵的装置，其特征在于，所述背诵比对信息包括文本比对内容，则所述背诵检测单元，具体用于: 对所述用户语音信息进行语音识别生成用户背诵的文本内容； 将所述用户背诵的文本内容与所述文本比对内容进行匹配，根据匹配结果生成背诵检测结果；和/或 所述背诵比对信息包括语音比对信息，则所述背诵检测单元，具体用于: 将所述用户语音信息与所述语音比对信息进行匹配，根据匹配结果生成背诵检测结果O
15.根据权利要求9所述的检测用户背诵的装置，其特征在于，所述信息获取单元，具体用于: 向语音采集装置发送采集开启指令，以指示所述语音采集装置实时采集用户语音信息； 获取文档显示装置中显示区域外部的至少两帧图像，作为第二图像序列； 对所述第二图像序列进行识别，以判断所述第二图像序列是否与预设的背诵停止动作相适配； 在判断所述第二图像序列与预设的背诵停止动作相适配的情况下，向语音采集装置发送采集停止指令，获取所述语音采集装置在接收到所述采集开启指令之后所采集到的所有用户语音信息。
16.根据权利要求9-15中任一项所述的检测用户背诵的装置，其特征在于，还包括检测结果提示单元，用于在所述背诵检测单元根据所述背诵比对信息对所述用户语音信息进行识别分析生成背诵检测结果之后，根据所述背诵检测结果生成显示信息和/或语音提示信息；按照所述显示信息和/或语音提示信息进行背诵检测提示。
【文档编号】G09B5/06GK103824481SQ201410073653
【公开日】2014年5月28日 申请日期:2014年2月28日 优先权日:2014年2月28日
【发明者】简文杰, 洪飞图, 秦伟 申请人:广东小天才科技有限公司