摄像式多功能点读机的制作方法

专利名称：摄像式多功能点读机的制作方法
技术领域：
本实用新型涉及一种电子学习装置，具体地说，涉及一种可配合印刷物播 放与其中文字内容相对应的声音数据的摄像式点读机，此外还附加一些便携数 码产品的功能。
背景技术：
目前市面上出现不少新型的儿童助学工具——点读机。其特点是，在一个 和笔记本电脑相似的壳体的内部敷设纵横交错的导电网膜，外配一只可以感应 或发送无线信号的点击笔。使用时把课本平置在展开的壳体上,用点击笔点击 课本上有文字的位置，点击笔发出的无线信号就会被机壳内部敷设的导电网板 所接受，或者导电网板上发射的电磁波会被点击笔所接收。经过处理，机壳内
的CPU就可得到点击位置的坐标值，进而根据坐标值把存储在语音数据存储器
里的对应于该坐标的语音数据取出来，送到语音处理电路发出该位置文字对应 的声音，起到"点读"的作用。
还有一种基于光学识别(OID)原理的点读笔。其原理是，在常规的印刷物 上印刷一层肉眼不易察觉的网点，不同位置网点的大小和形状不同。OID点读 机对着印刷物"拍照"，即可知道拍照处网点的大小和形状。OID点读笔的内 部存储器里预先存储有根据网点参数索引的声音数据，因而OID点读笔可以根 据得到的网点参数检索到对应的声音数据播放出来，实现点读的功能。
但是，这两种实现点读功能的方案都有缺点。点读机方案必须把书本放在 笨重的点读机上，使用很不方便。而且涉及复杂的发射、接收处理，成本高而 精度低。OID点读笔必须对印刷物进行附加的专门印刷处理，增加了印刷成本， 使用也受到较大限制。
实用新型内容
本实用新型要解决的主要技术问题在于，针对上述点读机和OID点读笔的 缺陷，提供一种成本更低且更为实用的摄像式多功能点读机。
本实用新型解决上述技术问题所采用的技术方案是，构造一种摄像式多功 能点读机，包括机身及安装在其上的摄像镜头和用于实现功能操作的控制按 键；在所述机身内装有与所述摄像镜头相对应的影像传感器；其特征在于，所 述摄像镜头前面还安装有用于辅助摄像及文字识别的定位挡板；所述机身上还 安装有音频输出装置，所述机身内还装有存储器以及用于接收所述影像传感器 输出的图像数据从中识别拍摄到的文字后根据识别出的文字从所述存储器中 找出对应声音数据并对所述声音数据进行解码处理的主控制器；其中，经所述 主控制器解码处理后的声音数据通过主控制器的音频信号输出接口传送至所 述音频输出装置；所述控制按键包括与所述主控制器相连的摄像镜头快门按 键。
在本实用新型所述的摄像式多功能点读机中，所述主控制器包括显示驱动 接口，所述机身上安装有与所述显示驱动接口相连的显示屏；所述控制按键还 包括与所述主控制器相连的操作模式选择按键。
在本实用新型所述的摄像式多功能点读机中，所述点读机外形为笔状，所 述摄像镜头安装在笔尖处，所述定位挡板是横截面为倒L型的条板，其一端固 定在摄像镜头旁，另一端外伸并处于摄像镜头的拍摄视角范围内，且拐点内侧 朝向所述摄像镜头。
在本实用新型所述的摄像式多功能点读机中，所述点读机外形为笔状，所 述摄像镜头安装在笔尖处，所述定位挡板一端为倒L型、另一端向外呈喇叭状 扩展，其小尺寸一端固定在摄像镜头旁，大尺寸一端外伸并处于摄像镜头的拍 摄视角范围内，且拐点内侧朝向所述摄像镜头。
在本实用新型所述的摄像式多功能点读机中，所述点读机外形为扁盒状， 所述摄像镜头安装在扁盒状机身的一侧边，所述定位挡板为倒L型条板，其拐 点内侧朝向所述摄像镜头；且所述定位挡板可伸縮地安装在机身上。
在本实用新型所述的摄像式多功能点读机中，所述摄像镜头是微距广角镜 头。
在本实用新型所述的摄像式多功能点读机中，所述定位挡板为透明材料制 成或所述挡板上设置多个透光孔。
在本实用新型所述的摄像式多功能点读机中，所述主控制器包括音频输入
接口；所述机身上设置有麦克风，其与所述主控制器的音频输入接口相连，所 述音频输出装置包括耳机接口和或内置扬声器。
在本实用新型所述的摄像式多功能点读机中，所述存储器为可插拔式的移 动存储器。
在本实用新型所述的摄像式多功能点读机中，所述存储器为固定安装在机 身内的存储器，所述机身上还设置有用于与计算机传输数据的通讯接口。
实施本实用新型，可以直接在普通的教课书或其它书本上直接实现点读， 而无需安装有导电网板的笨重机壳、也无需对印刷物表面进行附加的专门印刷 处理。且由于数码摄像技术已经非常普及，文字识别技术也已经非常成熟，所 以本实用新型的摄像式多功能点读机实施成本很低、干扰和不稳定因素很少， 具有很强的实用价值。另外，除了点读之外，本实用新型还具有专利 200520058636.8中所描述的"抓词翻译"功能。本实用新型还可加入电子词 典、数码相机、微型数码摄像机、MP3、数码录音、听力练习等功能，使其成 为一机多用的摄像式多功能点读机。
以下结合附图对本实用新型的工作原理进行详细说明。


图1A是本实用新型摄像式多功能点读机的一个实施例的外观示意图； 图1B是本实用新型摄像式多功能点读机的定位挡板一实施例的示意图； 图1C是本实用新型摄像式多功能点读机的定位挡板另一实施例的示意
图2是本实用新型摄像式多功能点读机的一个实施例的电路结构框图； 图3是本实用新型的一个实施例拍照的文字照片的样例； 图4是本实用新型的一个文字声音复合文件格式的样例；
图5是图4所示文件格式中页内声音数据索引区的索引项结构图6是本实用新型的一个实施例点读时的声音数据检索流程图7是本实用新型摄像式多功能点读机的另一个实施例的外观示意图。
具体实施方式
本实用新型的技术方案构思是参照专利200520058636. 8中所提出的摄 像式抓词笔，构造一种点读机，可对书本上所印刷的文字进行拍照，并从拍照 的照片中"识别"出所拍照的文字，然后根据得到的文字，在存储器里找到其 对应的声音，进而实现"点读"。
与导电网膜式点读机和OID点读机类似，本实用新型也需要在机内的存储 器中预先存入具有文字、声音对应关系的复合数据文件。所不同的是，导电网 膜式点读机存入的是坐标值和声音的对应关系，OID点读机存入的是网点ID 和声音的对应关系，而本实用新型存入的则是文字字符串本身与声音的对应关 系。
理论上， 一本书中不同位置的文字总会不同，因而总能根据得到的文字找 到其对应的声音，然而对于文字内容较多的印刷物这样会导致"识别"的时间 过长。为加快识别时间，可以仿照点读机，将文字和声音数据按页分区存放， 每页内文字重复的概率很低，识别和检索都会更快。特别地，对于小学生的课 本，每页文字的句数不多，而且比较分散，更适合本实用新型。这种情况下， 可以只识别每句开头与其他各句开头不同的部分。经统计， 一般情况下每次识 别1 5个单词就足以定位所拍照文字的字符串。
极端的情况，同一页中可能出现不同人说的话但文字完全相同的句子，那 么可以把这两句的声音都播放出来，让用户体会和比较不同场景下同一句子的 不同用法和不同发音。
特别地，如果机内存储器没有存储所使用印刷物对应的文字、声音复合文 件，本实用新型也可以利用TTS (Text To Sound)发音技术对任意印刷物进 行随意点读。随着TTS技术越来越成熟，采用TTS发音也许将成为本实用新型 的最佳模式。
本实用新型的一个实施例中，外观结构如图1A所示。从图中可以看出， 该摄像式多功能点读机的主体部分被设计成笔状，摄像镜头102位于笔身103 的下端(即笔尖位置)，在摄像镜头102下面设有定位挡板101。定位挡板101 与摄像镜头102之间刚性连接。笔身103上设有若干按键104、耳机插口 105 和USB插口 106。显示屏107设在笔身上端，其背后是内置喇叭(图中未示出)。 在本实用新型中，按键位置的设置与定位挡板101的方向设置相配合，也就是 说，当将定位挡板101对准需要拍摄的起始位置时，按键处于便于手指揿动的 位置。
需要说明的是，镜头前面的定位挡板很关键，其作用是使拍摄距离和对焦 自动完成，也防止了拍摄过程中因手动而导致照片模糊。最重要的是在图片上 留下一个定位标记，使后面的文字识别简化很多。只要满足这些要求，定位挡 板有多种设计方案。例如，可以设计成如图1A所示的倒L型定位挡板101， 也可以设计成图1B所示的呈喇叭状扩展的倒L型定位挡板IOIB，甚至去掉L 型的一侧，设计成图1C所示的呈喇叭状扩展的一字型定位挡板IOIC。拍照时， 把镜头对准要拍照的文字，定位挡板的横向板边顺着文字延伸的水平方向，倒 L型挡板的拐角内侧或一字型挡板的横边起点对准要拍摄文字中第一个字母 的左上角，按下快门即完成拍摄。
应注意，定位挡板的垂直高度h应等于正确的拍摄距离，这样当定位挡板
紧贴被拍摄文字处的印刷物进行拍照时可自动完成聚焦和防止手动。定位挡板 的设计还要使其与印刷物接触使镜头自动与被摄文字呈垂直状态，从这种意义 上讲，倒L型定位挡板比一字型的更优越些。另夕卜，作为优选，为了不影响拍 摄处的光照度，定位挡板可以设计成透明的或在挡板上设置多个透光孔。
为了在较实用的近距离下拍摄到尽可能大的面积，所述摄像镜头102最好 是微距广角镜头，使得定位挡板的垂直高度可以为30毫米左右甚至更小，拍 摄到的文字区域面积直径应该不小于8厘米。
本实用新型的另一个实施例中，摄像式多功能点读机的外观结构如图7 所示。从图中可以看出，该摄像式多功能点读机的主体部分被设计成扁盒状， 摄像镜头702位于扁盒状机身703 —侧边的端部，在摄像镜头702下面设有倒L型定位挡板701，该倒L型定位挡板701的拐点内侧朝向摄像镜头。作为优 选方式，定位挡板701设计成可伸縮式，使用时可从机身中拉出，不用时推入。 这种伸縮式结构可以多种方式实现，属于业内的公知常识，因而此处不再赘述。 机身703表面设有若干按键704、 一侧边设有耳机插口 705和USB插口 706。 显示屏707也设在机身表面，机身上还设有内置喇叭(图中未示出)。
图2是本实用新型的电路结构框图。由图看出，被定位挡板限定的被拍摄 文字的光线经过镜头201到达影像传感器202，在主控制器203的控制下将影 像数据(照片)按预定的格式存放在程序和数据存储器204里暂存。然后，主 控制器203对影象数据进行分析，识别出其中的文字，并根据识别出的文字在 程序和数据存储器204中查找其对应的声音数据，将其取出并解码后送往耳机 209发声，或经功放207放大后由喇叭208发声。如果需要对识别的文字进行 翻译，可根据识别的文字字符串在程序和数据存储器204里存储的电子词典中 找到其释义在显示屏205上显示出来。按键206用于设置和操作不同的功能。 例如，按键206可对应于图1中的多个按键104，这些按键可包括摄像快门按 钮、选择操作模式(如点读、翻译、词典、MP3、录音等)的控制按键及选书、 选页(参见后面结合图6的说明)按键等。动态存储器210的作用是暂存拍摄的 图片，直接进行识别分析。由于动态存储器210的存取速度远远快于程序和数 据存储器204，所以把拍摄的图片放在动态存储器210里进行识别分析比放在 程序和数据存储器204里进行识别分析要快很多。注意到，图中动态存储器 210的方框以虚线绘制，表示如果主控制器的速度足够快或者其内部配置有足 够的动态存储器，图中动态存储器210也可以省略。图中的USB接口 211用于 从电脑里上传或下载文字、声音的复合文件。
根据上述功能及原理说明，本领域技术人员显而易见可知晓，在本实用新 型摄像式多功能点读机中，主控制器包括中央处理单元、影像传感器输入接口 、 存储器控制器、USB控制接口、音频信号输出接口等多个内置控制部件。作为 选择，其还可以包括显示驱动接口及音频输入接口，以实现单词释义显示及录 音功能。
主控制器一般采用流行的集成了多种子功能模块的片上系统(SoC)多媒
体处理芯片。这种芯片很多，比如三星公司的S3C2440、 Intel公司的PXA270、 Marvell公司的PXA300、安凯公司的AK3631L、君正公司的JZ4730/4740等。
本实用新型中，程序和数据存储器204可以是固定安装在笔身内的存储 器，也可以设计成可插拔的小型移动式存储器，通过存储器接口与主控制器 203相连。另外，用于与电脑传输数据的通讯接口不限于图2中所示的USB接 口，也可以是现有或将有的其它类型通讯接口。作为选择，在程序和数据存储 器204设计成移动式存储器的情况下，也可以不设置通讯接口。
在一个实施例中，拍照时，倒"L"型定位挡板101的拐点内侧对准要拍 摄的文字区的左上角，其横边朝向文字从左到右的延伸方向，竖边朝向文字从 上到下的延伸方向。拍摄出的照片类似图3所示，其中包括照片中的挡板部分 301及文字部分302。由图看出，照片中要识别的文字位于从照片左上角开始 的矩形区域。目前，文字识别技术已经相当成熟，识别出这些文字并不困难。 特别是，本实用新型要识别的可以(但不限于)只是印刷体的英文或其它外文 单词，更使识别难度大大简化。
当操作在翻译模式下，进行抓词翻译，识别出文字的字符串后，可直接用 于词典检索，找到所识别的单词的释义通过显示屏205显示出来。
当操作在点读模式下，进行点读，则还要根据使用的书本和页面，以识别 的文字为关键词找到对应的声音数据播放出来。为了实现整本书文字和声音数 据的对应检索关系，必须设计一种文字、声音复合数据的文件格式，使得根据 所识别的文字可以在这种文件里方便地检索到其对应的声音数据。
不同的印刷物，其文字排列的方式不同，需要设计不同的文件格式。最简 单的是幼儿识字卡片一类的文字较少的印刷物，包括小学生外语课本。
现在的小学外语课本里，文字的排列和普通书本大不不同，基本是按图片 说明或指向对话者的文字框的形式出现的。换言之，文字是按"±央"排列的， 每页一般几块到十几块，最多不超过50块，每个文字块对应一段声音。为了 找到不同文字块对应的声音数据，可以把每个文字块开头的一个或多个单词作 为关键字进行标识。比如，"Liming is from China"这个文字块可以用 "Liming"作为关键字，只要"Liming"这个单词不是本页其他文字块的开头
就行了。如果碰巧本页另外一个文字块也以"Liming"开头，可改为以"Liming is"或"Liming is from"甚至"Liming is from China"作为关键字。最极 端的情况，如果本页出现两个完全相同的文字块，那么根据相同的索引关键字 会检索到两段声音数据，那就不妨把这两段声音都播放出来，让用户体验或对 比这个文字块在不同场景下的声音语气或不同人的发音特点。
图4是一种最简单的、适合小学生课本的文字、声音复合文件的数据格式 示例。由图看出，文件最前面是主索引区，该索引区的每个索引项实际是每一 页的数据区的开始地址和长度。根据要点读的页码，可以找到该页数据的开始 地址。各页的文字和声音数据从主索引区后面开始依序排放。每一页的数据中， 前一部分是该页的声音数据索引区，后一部分是该页声音数据的依序堆放。声 音数据索引区中每个索引项由5个字段组成，其意义如图5所示。从图5可以 看出，根据识别的字符串，可以在声音数据索引区找到其对应的声音数据地址 和长度，再由声音数据地址和长度即可找到对应的声音数据，进而将其播放出 来。
图6是根据识别的文字进行声音数据检索的流程图。有两个概念需要说
明
1) 选书点读哪本书在机内存储器中必须存储该书对应的文字声音复合
数据文件。机内存储器可以装入很多本书的文字声音复合数据文件，所以开始 点读前必须指定使用哪一个文字声音复合文件，这个过程叫做"选书"。可通 过在显示屏上显示文件名，用按键选择并确认的方式实现选书。
值得说明，如果笔身上未设置显示屏，选书过程可改为，按选书键逐个选 书，选到的书由喇叭报出书名，选中需要的书后再开始后面的操作。
2) 选页如前所述，为了加快声音数据的检索速度，文字声音的复合数 据是按"页"存放的，所以点读前还要指定当前要点读的是哪一页。选页的方 法很多，比较直接的一种是按住"选页"键对准当前要点读的页面的页码符 号进行拍摄，然后识别出拍摄的页码。
清楚了选书和选页的概念，图6的流程图很容易看明白，此处不再赘述。 对于不同印刷物，根据其文字排列方式的不同，可设计不同的文件格式，
总能实现随意点读的目的。特别地，对于幼儿识字卡片一类的印刷物，由于页 数和文字都较少，完全可以不必分页而直接识别、直接检索，相当于只有一页 的书本。
需要说明的是，本实用新型的摄像式多功能点读机还可以加入TTS模块。 这样，对于随时遇到的任意印刷物，机内并没有存储其对应的文字声音复合文 件，这种情况下也可以启动TTS功能，对拍摄到的文字进行TTS方式朗读。在 TTS技术日益成熟的今天，TTS朗读己经是很实用的朗读方式，比如大家熟悉 的金山词霸就是用TTS技术朗读的。从这种意义上讲，本实用新型可以随意朗 读任意印刷物的文字。
作为选择，还可以操作在点读+翻译模式下，也就是说在播放所拍摄文字 的声音的同时，在显示屏上显示其释义。
此外，本实用新型还可以加上翻译机、电子词典、数码相机、数码摄像机、 MP3、数码录音等新潮数码功能，成为一机多用的袖珍数码产品，其市场前景 是非常可观的。
权利要求1、一种摄像式多功能点读机，包括机身及安装在其上的摄像镜头和用于实现功能操作的控制按键；在所述机身内装有与所述摄像镜头相对应的影像传感器；其特征在于，所述摄像镜头前面还安装有用于辅助摄像及文字识别的定位挡板；所述机身上还安装有音频输出装置，所述机身内还装有存储器以及用于接收所述影像传感器输出的图像数据从中识别拍摄到的文字后根据识别出的文字从所述存储器中找出对应声音数据并对所述声音数据进行解码处理的主控制器；其中，经所述主控制器解码处理后的声音数据通过主控制器的音频信号输出接口传送至所述音频输出装置；所述控制按键包括与所述主控制器相连的摄像镜头快门按键。
2、 根据权利要求1所述的摄像式多功能点读机，其特征在于，所述主控 制器包括显示驱动接口，所述机身上安装有与所述显示驱动接口相连的显示 屏；所述控制按键还包括与所述主控制器相连的操作模式选择按键。
3、 根据权利要求2所述的摄像式多功能点读机，其特征在于，所述点读 机外形为笔状，所述摄像镜头安装在笔尖处，所述定位挡板是横截面为倒L 型的条板，其一端固定在摄像镜头旁，另一端外伸并处于摄像镜头的拍摄视角 范围内，且拐点内侧朝向所述摄像镜头。
4、 根据权利要求2所述的摄像式多功能点读机，其特征在于，所述点读 机外形为笔状，所述摄像镜头安装在笔尖处，所述定位挡板一端为倒L型、另 一端向外呈喇叭状扩展，其小尺寸一端固定在摄像镜头旁，大尺寸一端外伸并 处于摄像镜头的拍摄视角范围内，且拐点内侧朝向所述摄像镜头。
5、 根据权利要求2所述的摄像式多功能点读机，其特征在于，所述点读 机外形为扁盒状，所述摄像镜头安装在扁盒状机身的一侧边，所述定位挡板为 倒L型条板，其拐点内侧朝向所述摄像镜头；且所述定位挡板可伸縮地安装在 机身上。
6、 根据权利要求1至5中任一项所述的摄像式多功能点读机，其特征在 于，所述摄像镜头是微距广角镜头。
7、 根据权利要求1至5中任一项所述的摄像式多功能点读机，其特征在 于，所述定位挡板为透明材料制成或所述挡板上设置多个透光孔。
8、 根据权利要求7所述的摄像式多功能点读机，其特征在于，所述主控 制器包括音频输入接口；所述机身上设置有麦克风，其与所述主控制器的音频 输入接口相连，所述音频输出装置包括耳机接口和或内置扬声器。
9、 根据权利要求1至5中任一项所述的摄像式多功能点读机，其特征在 于，所述存储器为可插拔式的移动存储器。
10、 根据权利要求1至5中任一项所述的摄像式多功能点读机，其特征在 于，所述存储器为固定安装在机身内的存储器，所述机身上还设置有用于与计 算机传输数据的通讯接口。
专利摘要一种摄像式多功能点读机，包括机身及安装在其上的摄像镜头和用于实现功能操作的控制按键；在所述机身内装有与所述摄像镜头对应的影像传感器以及与影像传感器电连接的主控制器和程序与数据存储器；所述机身上还安装有音频输出装置及用于与电脑传输数据的通讯接口。所述摄像镜头前面安装有用于辅助摄像的定位挡板，所述主控制器在软件控制下可对文字进行拍摄并对拍摄的照片进行文字识别，然后以识别出的文字作为关键字，在程序与数据存储器中找到对应的声音数据播放出来，实现点读的功能。实施本实用新型，可以直接在普通的教课书或其它书本上直接实现点读，且成本很低，干扰和不稳定因素很少，具有很强的实用价值。
文档编号G09B5/00GK201194112SQ200820094440
公开日2009年2月11日 申请日期2008年5月12日 优先权日2008年5月12日
发明者刘建生 申请人:刘建生