一种语音播放纸质书籍内容的方法及装置制造方法
【专利摘要】本发明公开了一种语音播放纸质书籍内容的方法及装置。该方法包括：获取图像序列；判断图像序列是否与书籍摆放动作或书籍翻页动作相适配；如果判断图像序列与书籍摆放动作相适配，提取并识别图像序列中图像的封面特征信息，从数据库中查找与识别结果相匹配的书名内容；在书名内容查找成功的情况下，通过发音模块发出对应于书名内容的语音；如果判断图像序列与书籍翻页动作相适配，提取并识别图像序列中图像的页面特征信息，从数据库中查找与识别结果相匹配的页面内容；在页面内容查找成功的情况下，通过发音模块发出对应于页面内容的语音。本发明提出的技术方案能够降低纸质书籍内容播放之时所需用户操作的复杂度，缩短启动播放的时间。
【专利说明】一种语音播放纸质书籍内容的方法及装置
【技术领域】
[0001]本发明实施例涉及计算机【技术领域】，尤其涉及一种语音播放纸质书籍内容的方法及装置。
【背景技术】
[0002]纸质书籍作为儿童一种主要的获取知识的工具，在其学习成长的过程当中扮演着举足轻重的地位。儿童通过阅读此类书籍可以帮助自己了解世界、增长见识。但是，对于认字不准确或者完全不识字的儿童而言，由于其自身能力的局限性，无法阅读故事较为复杂的文字类书籍，从而大大降低了其阅读兴趣。
[0003]学习机实现了笔点课本上文字内容的语音播放，为儿童的学习带来了极大的帮助。但是，现有的学习机通常需要用户预先在该学习机上进行书籍和页码选择操作，并通过使用所配备的点读笔实现书籍上对应页码中目标位置的定位，进而以语音形式播放该目标位置处的内容。此种语音播放技术对于儿童而言，其操作复杂，难度较大。
【发明内容】
[0004]本发明提供一种语音播放纸质书籍内容的方法及装置，以降低纸质书籍内容播放之时所需用户操作的复杂度，缩短启动播放的时间。
[0005]第一方面，本发明实施例提供了一种语音播放纸质书籍内容的方法，该方法包括:
[0006]获取图像序列；
[0007]判断所述图像序列是否与书籍摆放动作或书籍翻页动作相适配；
[0008]如果判断所述图像序列与书籍摆放动作相适配，提取并识别所述图像序列中图像的封面特征信息，从数据库中查找与识别结果相匹配的书名内容；在所述书名内容查找成功的情况下，通过发音模块发出对应于所述书名内容的语音；
[0009]如果判断所述图像序列与书籍翻页动作相适配，提取并识别所述图像序列中图像的页面特征信息，从数据库中查找与识别结果相匹配的页面内容；在所述页面内容查找成功的情况下，通过发音模块发出对应于所述页面内容的语音。
[0010]第二方面，本发明实施例还提供了一种语音播放纸质书籍内容的装置，该装置包括:
[0011]图像获取单元，用于获取图像序列；
[0012]动作判断单元，用于判断所述图像序列是否与书籍摆放动作或书籍翻页动作相适配；
[0013]书名语音播放单元，用于当所述动作判断单元判断所述图像序列与书籍摆放动作相适配时，提取并识别所述图像序列中图像的封面特征信息，从数据库中查找与识别结果相匹配的书名内容；在所述书名内容查找成功的情况下，通过发音模块发出对应于所述书名内容的语音；[0014]页面语音播放单元，用于当所述动作判断单元判断所述图像序列与书籍翻页动作相适配，提取并识别所述图像序列中图像的页面特征信息，从数据库中查找与识别结果相匹配的页面内容；在所述页面内容查找成功的情况下，通过发音模块发出对应于所述页面内容的语音。
[0015]本发明提出的技术方案能够降低播放纸质书籍内容所需的用户操作的复杂度，缩短启动播放的时间，从而延长了电池的续航能力。
【专利附图】
【附图说明】
[0016]图1是本发明实施例一提供的一种语音播放纸质书籍内容的方法的流程示意图；
[0017]图2是本发明实施例二提供的一种语音播放纸质书籍内容的方法的流程示意图；
[0018]图3是本发明实施例三提供的一种语音播放纸质书籍内容的装置的结构示意图。
【具体实施方式】
[0019]下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
[0020]实施例一
[0021]图1是本发明实施例一提供的一种语音播放纸质书籍内容的方法的流程示意图，该方法可以由语音播放纸质书籍内容的装置来执行，所述装置可以是学习机、智能手机、平板电脑、个人数字助理或者其他任何一种具有处理器、存储器和扬声器的电子设备。参见图1，该语音播放纸质书籍内容的方法具体包括如下步骤:
[0022]110、获取图像序列。
[0023]在本实施例中，语音播放纸质书籍内容的装置可控制摄像头每隔固定时间捕捉一次图像，得到预设时间长度上或预设捕捉次数下的图像序列。其中，摄像头可内嵌于语音播放纸质书籍内容的装置中，也可独立于所述装置而被置备。所述固定时间、预设时间长度或捕捉次数可以根据不同的应用场景进行设定，也可在所述装置出厂时被设定为固定值，例如设定固定时间为0.5秒，预设时间长度为5秒，或者预设捕捉次数为10次。
[0024]120、判断图像序列是否与书籍摆放动作或书籍翻页动作相适配。
[0025]在本实施例中，考虑到用户将书籍从其他地方摆放到摄像头的扫描范围之内或者在摄像头的扫描范围之内进行翻页的过程中，摄像头所采集到的一些图像之间会存在较大差别，语音播放纸质书籍内容的装置可通过对图像序列中相邻帧的图像进行比对，根据比对结果来判断图像序列是否与书籍摆放动作或书籍翻页动作相适配。
[0026]在本实施例的一个具体的实施方式中，所判断的过程为:将图像序列中每相邻的两帧图像作差值运算，得到差值图像集；计算差值图像集中各差值图像的信息熵；根据所计算得到的各信息熵中是否存在大于设定阈值的信息熵，来判断图像序列是否与书籍摆放动作或者书籍翻页动作相适配。
[0027]当然，本领域的普通技术人员应理解，其判断过程还可以通过其它方式来实现。
[0028]例如，判断图像序列是否与书籍摆放动作相适配可具体为:将图像序列中的各张图像与预设的背景图作相似度运算，根据所计算得到的相似度结果中是否存在大于设定阈值的相似度，来判断图像序列是否与书籍摆放动作相适配；
[0029]例如，判断图像序列是否与书籍翻页动作相适配可具体为:将图像序列中相隔预设数量帧的图像作相似度运算，根据所计算得到的相似度结果中是否存在大于设定阈值的相似度，来判断图像序列是否与书籍翻页动作相适配。
[0030]130、如果判断图像序列与书籍摆放动作相适配，提取并识别图像序列中图像的封面特征信息，从数据库中查找与识别结果相匹配的书名内容。
[0031]当判断图像序列与书籍摆放动作相适配时，语音播放纸质书籍内容的装置可先从图像序列中查找拍摄时间距离当前时间最近的图像，并提取所查找到的图像的封面特征信息(例如线条和色块)；然后，将所提取的封面特征信息与预先存储的封面特征信息进行相似度计算，根据计算结果得到识别结果；进而，从数据库中查找与识别结果相匹配的书名内容。
[0032]140、在书名内容查找成功的情况下，通过发音模块发出对应于所述书名内容的语
曰?
[0033]150、如果判断图像序列与书籍翻页动作相适配，提取并识别图像序列中图像的页面特征信息，从数据库中查找与识别结果相匹配的页面内容。
[0034]当判断图像序列与书籍翻页动作相适配时，语音播放纸质书籍内容的装置可先从图像序列中查找拍摄时间距离当前时间最近的图像，并提取所查找到的图像的页面特征信息；然后，将所提取的页面特征信息与预先存储的页面特征信息进行相似度计算，根据计算结果得到识别结果；进而，从数据库中查找与识别结果相匹配的页面内容。
[0035]160、在页面内容查找成功的情况下，通过发音模块发出对应于所述页面内容的语
曰?
[0036]在本实施例中，发音模块存储了预设字库中各汉字或者英文单词所对应的语音信号。语音播放纸质书籍内容的装置可首先向发音模块发送包含有发音内容(例如书名内容或页面内容)的控制指令，发音模块根据该控制指令查找对应于发音内容的语音信号，然后将该语音信号通过扬声器进行发音。
[0037]本实施例提出的技术方案，无需用户预先在学习机上进行书籍和页码选择操作，而只要用户将书籍摆放在学习机上的图像采集装置能捕捉到的地方，并通过翻页动作就能够实现纸质书籍内容的语音播放，能够降低播放纸质书籍内容所需的用户操作的复杂度，缩短启动播放的时间，从而延长了电池的续航能力。
[0038]实施例二
[0039]图2是本发明实施例二提供的一种语音播放纸质书籍内容的方法的流程示意图。本实施例在实施例一的基础上，提供一优选实施例。参见图2，该语音播放纸质书籍内容的方法具体包括如下步骤:
[0040]200、获取第一图像序列；
[0041]210、判断第一图像序列是否与书籍摆放动作相适配，如果是，则执行步骤220，否则执行返回步骤200 ； [0042]220、提取并识别第一图像序列中图像的封面特征信息，从数据库中查找与识别结果相匹配的书名内容；
[0043]230、如果书名内容查找成功，通过发音模块发出对应于所述书名内容的语音，执行步骤250 ；
[0044]240、如果书名内容查找失败，通过发音模块发出失败提示音，执行步骤250 ；
[0045]250、获取第二图像序列；
[0046]260、判断第二图像序列是否与书籍翻页动作相适配，如果是，则执行步骤270，否则返回执行步骤250 ；
[0047]270、提取并识别第二图像序列中图像的页面特征信息，从数据库中查找与识别结果相匹配的页面内容；
[0048]280、如果页面内容查找成功，通过发音模块发出对应于所述页面内容的语音；
[0049]290、如果页面内容查找失败，对第二图像序列中的图像进行文字识别，得到所述图像所包含的文字信息，通过发音模块发出对应于所述文字信息的语音。
[0050]实施例三
[0051]图3是本发明实施例二提供的一种语音播放纸质书籍内容的装置的结构示意图。参见图3，该装置的具体结构如下:
[0052]图像获取单元310，用于获取图像序列；
[0053]动作判断单元320，用于判断所述图像序列是否与书籍摆放动作或书籍翻页动作相适配；
[0054]书名语音播放单元330，用于当所述动作判断单元判断所述图像序列与书籍摆放动作相适配时，提取并识别所述图像序列中图像的封面特征信息，从数据库中查找与识别结果相匹配的书名内容；在所述书名内容查找成功的情况下，通过发音模块发出对应于所述书名内容的语首；
[0055]页面语音播放单元340，用于当所述动作判断单元判断所述图像序列与书籍翻页动作相适配，提取并识别所述图像序列中图像的页面特征信息，从数据库中查找与识别结果相匹配的页面内容；在所述页面内容查找成功的情况下，通过发音模块发出对应于所述页面内容的语音。
[0056]进一步的，所述图像获取单元310，具体用于:
[0057]控制摄像头每隔固定时间捕捉一次图像，得到预设时间长度上或预设捕捉次数下的图像序列。
[0058]所述书名语音播放单元330，具体用于:从所述图像序列中查找拍摄时间距离当前时间最近的图像，并提取所查找到的图像的封面特征信息；将所提取的封面特征信息，与预先存储的封面特征信息进行相似度计算，根据计算结果得到识别结果；或
[0059]所述页面语音播放单元340，具体用于:从所述图像序列中查找拍摄时间距离当前时间最近的图像，并提取所查找到的图像的页面特征信息；将所提取的页面特征信息，与预先存储的所有的页面特征信息进行相似度计算，根据计算结果得到识别结果。
[0060]进一步的，所述动作判断单元320，具体用于:
[0061]对所述图像序列中相邻帧的图像进行比对，根据所述比对结果判断所述图像序列是否与书籍摆放动作或书籍翻页动作相适配。
[0062]进一步的，语音播放纸质书籍内容的装置还包括:
[0063]第一失败处理单元(未示出)，用于在所述书名内容查找失败的情况下，通过发音模块发出失败提示音；[0064]第二失败处理单元(未示出)，用于在所述页面内容查找失败的情况下，对所述图像序列中的图像进行文字识别，得到所述图像所包含的文字信息，通过发音模块发出对应于所述文字信息的语音。
[0065]上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
[0066]注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
【权利要求】
1.一种语音播放纸质书籍内容的方法，其特征在于，包括: 获取图像序列； 判断所述图像序列是否与书籍摆放动作或书籍翻页动作相适配； 如果判断所述图像序列与书籍摆放动作相适配，提取并识别所述图像序列中图像的封面特征信息，从数据库中查找与识别结果相匹配的书名内容；在所述书名内容查找成功的情况下，通过发音模块发出对应于所述书名内容的语音； 如果判断所述图像序列与书籍翻页动作相适配，提取并识别所述图像序列中图像的页面特征信息，从数据库中查找与识别结果相匹配的页面内容；在所述页面内容查找成功的情况下，通过发音模块发出对应于所述页面内容的语音。
2.根据权利要求1所述的语音播放纸质书籍内容的方法，其特征在于，所述获取图像序列，包括: 控制摄像头每隔固定时间捕捉一次图像，得到预设时间长度上或预设捕捉次数下的图像序列。
3.根据权利要求1所述的语音播放纸质书籍内容的方法，其特征在于，所述提取并识别所述图像序列中图像的封面特征信息或页面特征信息，包括: 从所述图像序列中查找拍摄时间距离当前时间最近的图像，并提取所查找到的图像的封面特征信息或页面特征信息； 将所提取的封面特征信息或页面特征信息，与预先存储的封面特征信息或页面特征信息进行相似度计算，根据计算结果得到识别结果。
4.根据权利要求1所述的语音播`放纸质书籍内容的方法，其特征在于，所述判断所述图像序列是否与书籍摆放动作或书籍翻页动作相适配，包括: 对所述图像序列中相邻帧的图像进行比对，根据所述比对结果判断所述图像序列是否与书籍摆放动作或书籍翻页动作相适配。
5.根据权利要求1所述的语音播放纸质书籍内容的方法，其特征在于，还包括: 在所述书名内容查找失败的情况下，通过发音模块发出失败提示音； 在所述页面内容查找失败的情况下，对所述图像序列中的图像进行文字识别，得到所述图像所包含的文字信息，通过发音模块发出对应于所述文字信息的语音。
6.一种语音播放纸质书籍内容的装置，其特征在于，包括: 图像获取单元，用于获取图像序列；动作判断单元，用于判断所述图像序列是否与书籍摆放动作或书籍翻页动作相适配；书名语音播放单元，用于当所述动作判断单元判断所述图像序列与书籍摆放动作相适配时，提取并识别所述图像序列中图像的封面特征信息，从数据库中查找与识别结果相匹配的书名内容；在所述书名内容查找成功的情况下，通过发音模块发出对应于所述书名内容的语音； 页面语音播放单元，用于当所述动作判断单元判断所述图像序列与书籍翻页动作相适配，提取并识别所述图像序列中图像的页面特征信息，从数据库中查找与识别结果相匹配的页面内容；在所述页面内容查找成功的情况下，通过发音模块发出对应于所述页面内容的语音。
7.根据权利要求6所述的语音播放纸质书籍内容的装置，其特征在于，所述图像获取单元，具体用于: 控制摄像头每隔固定时间捕捉一次图像，得到预设时间长度上或预设捕捉次数下的图像序列。
8.根据权利要求6所述的语音播放纸质书籍内容的装置，其特征在于， 所述书名语音播放单元，具体用于:从所述图像序列中查找拍摄时间距离当前时间最近的图像，并提取所查找到的图像的封面特征信息；将所提取的封面特征信息，与预先存储的封面特征信息进行相似度计算，根据计算结果得到识别结果；或 所述页面语音播放单元，具体用于:从所述图像序列中查找拍摄时间距离当前时间最近的图像，并提取所查找到的图像的页面特征信息；将所提取的页面特征信息，与预先存储的所有的页面特征信息进行相似度计算，根据计算结果得到识别结果。
9.根据权利要求6所述的语音播放纸质书籍内容的装置，其特征在于，所述动作判断单元，具体用于: 对所述图像序列中相邻帧的 图像进行比对，根据所述比对结果判断所述图像序列是否与书籍摆放动作或书籍翻页动作相适配。
10.根据权利要求6所述的语音播放纸质书籍内容的装置，其特征在于，还包括: 第一失败处理单元，用于在所述书名内容查找失败的情况下，通过发音模块发出失败提不首; 第二失败处理单元，用于在所述页面内容查找失败的情况下，对所述图像序列中的图像进行文字识别，得到所述图像所包含的文字信息，通过发音模块发出对应于所述文字信息的语音。
【文档编号】G06F17/30GK103761892SQ201410025898
【公开日】2014年4月30日 申请日期:2014年1月20日 优先权日:2014年1月20日
【发明者】简文杰, 秦伟 申请人:广东小天才科技有限公司