专利名称：一种智能交互式学习助教装置和方法
技术领域：
本发明涉及一种学习助教装置和方法，特别涉及具有光学采集、音频采集、手写采集和识别功能的智能交互式多媒体助教装置和方法。
背景技术：
目前市场上辅助学生学习的助教类的产品及技术比较多，从传统简单的卡片组合式到现在的电子数码式以及电脑多媒体教学式，如学生宝、复读机、电子词典、快译通，和智能交互式电子书系统(CN03245337)、多媒体光盘阅读学习机(CN97102872)以及功能强大且专业的多媒体电脑和其软件。
在上述产品和技术中，像学生宝、复读机、电子词典、快译通这些主要的功能都表现在资料查询、语言播放、复读、文字翻译上，严格说它们还称不上是智能交互式学习助教装置，而多媒体光盘阅读学习机(CN97102872)虽然能提供声音和影像这些人性化的助教方式，但是它仅仅只是一个可选择的播放多媒体教材的装置，而且并未能体现出智能化、交互化，以及操作的方式和界面较繁琐和抽象，因为它是使用键盘键入所要学习的书籍上的代码，让机器根据代码找出且播放相关的影音资料，这只是单向地向使用者进行知识灌注，而不能了解使用者对所关注的知识是否已掌握和是否能接受。
智能交互式电子书系统(CN03245337)它是通过一个光学字符识别器由使用者掌握采集书本上某处的点阵码和字符、图像信息，通过智能识别仅以声音的形式播放出存贮器中的相关资料，同样这也只是单向地向学习者提供资料检索，也不能了解使用者对所关注的知识是否已掌握和是否能接受，而且向使用者传递知识信息的方式较为单调。
对于功能强大的多媒体电脑，它虽然能够很好以多媒体形式向学习者提供智能化的交互式助教方式，但是它的运行要依赖于操作系统及运行于操作系统的软件，而且操作较复杂和专业化，稍有误操作则可能导至系统的崩溃，由于用途很广大和操作很繁琐、复杂而使操作者心思分散，注意力不易集中到学习上，特别是电脑具有游戏和上网的功能而使一些自制力较低的操作者(如中学生)坐在电脑前根本就没有心思来学习，那么它也就失去了辅助教学地意义，而且它也由于个体较大而不易携带。
发明内容针对现有技术中存在的缺陷和不足，本发明要解决的技术问题在于提供一种便于携带的智能交互式助教装置，它具有多种信息采集器，能采集到使用者要学习的教材上的字符、图像信息以及使用者的语音和手写信息，具有集成度高、运算速度快和具有嵌入式系统的信号处理器和微处理器，使用可移动式的存贮系统介质存贮与使用者要学习的资料的相关文字、图片及多媒体信息，而且装置上还要具有图形、视频和声音的处理和回放部件；以及为实施本智能交互式助教装置的方案方法，来达到以下的技术效果1.智能检索资料使用者通过信息采集器检索资料；如使用光学信息采集器时，只须用光学信息采集器对准所要学习的教材上的此字句，装置即可用文字、图像、语音或视频的形式回放与教材上的某字句相关的解释和资料，如果要使用音频或手写信息采集器检索资料，使用者只要朗读或手写出教材上此处或附近的词句。
2.智能交互导教实现操作者根据装置对自己语音或手写信息输入的反应，来认知自己对所关注的知识的掌握程度；如操作者只要先用光学信息采集器对准所要学习的教材上的某字句，装置则以语音的形式播放教材上的此字句，然后操作者进行跟读，装置将会分析判断其语音是否发音正确，如果错误则重复播音此字句，正确则朗读下一句。如果不朗读而使用手写信息采集器写入教材上的此字句，装置将会分析判断其写入是否正确，如果错误则重复播音此字句，正确则朗读下一句，从而达到像老师一样地进行引导教学。
本发明公开能解决上述技术问题的技术方案一种智能交互式学习助教装置，包含有光学信息采集器对所要学习的教材上的字符或图形进行信息采集，并将其转化为电信号；音频信息采集器对操作者的语音信息进行采集，并将其转化为电信号；手写信息采集器对操作者的手写或手绘信息进行采集，并将其转化为电信号；模数转换单元将采集来的模拟信号转换为数字信号；数字信号处理器DSP负责对数字信号进行处理；微处理器MCU协调本装置的各部分正常工作，管理数据的输入输出，并且处理部分信息；资料数据存贮组件包括存贮有与学习教材相关的字符、音频、图像、视频资料数据的存贮介质和可读或读写该存贮介质的功能部件；图形视频处理单元对图形或视频数据进行处理和合成；音频处理单元对音频数据进行处理和合成；图形视频回放终端将图形或视频信息以人感官能直接接受的方式回放出来；
音频回放终端将音频信息以人感官能直接接受的方式回放出来；其中光学信息采集器、音频信息采集器、手写信息采集器分别和相对应的模数转换单元或者数字信号处理器DSP连接，模数转换单元与数字信号处理器DSP或者微处理器MCU连接，微处理器MCU和数字信号处理器DSP、资料数据存贮组件、图形视频处理单元、音频处理单元连接，图形视频处理单元与图形视频回放终端连接，音频处理单元和音频回放终端连接。
一种实施智能交互式学习助教装置的方法，包含以下步骤光学信息采集器或者音频信息采集器或者手写信息采集器对学习教材上的知识信息进行采集，再将采集到的信息由相对应的模数转换单元进行模-数转换，然后由数字信号处理器对已经转换后的数字信号进行筛选、简化，处理成代表其原始模拟信息的编码，再由微处理器进行运算、分析、处理后将信号传至图形视频处理单元、音频处理单元；或者由微处理器将编码分析处理后与资料数据存贮组件中的存贮介质上的教材知识资料索引项进行对比、识别及数据定位，从而找到存贮介质上与编码相对应关于教材知识的字符资料、音频资料、图像资料、视频资料，再将所找到的资料数据传至相应的图形视频处理单元和音频处理单元；最后由图形视频处理单元和音频处理单元将其接收到的资料数据或者微处理器分析处理后的信号再进行处理合成，最终由音频回放终端或图形视频回放终端以人感官能直接接受的方式回放出来。
本发明具有的有益效果本发明能实现目前市场上的大多数助教类产品的功能，再加上本装置在硬件基础有很大的软件配置空间，如资料更新，功能变换，功能改进，功能限制等，从而能满足不同的教材内容、学习方式、功能要求，实现从小学至高中甚至大学的多阶段不同需求的辅助教学要求，最终可完全取代现有的其他各类辅助教学装置。
本发明产生的技术效果可以使传统的念书抄字这种纯文字概念性的单向学习方式得到改变，变成一种与知识的智能交互式学习方式，这种学习方式可以在学习的过程中根据采集操作者反馈的信息，由装置准确的判断操作者对知识的理解和记忆的程度，从而决定是否要继续学习还是可以开始学习新知识，并且知识的内容由单纯的概念性字符转变为形象性的图形、影像和声音，使对知识的学习过程得到形象性强化，从而使学习变的轻松、简单和容易。这种智能交互式的学习助教方式，一改现行其他助教产品的单向填鸭式助教学习，引发一场助教方式的变革。
由于本装置省略了键盘和复杂的菜单而使用了三种信息采集器来作为对本装置信号和指令的输入，从而使本装置的操作变的非常简单和容易，这样将使操作者更能专注学习，思维不会由于要对装置进行理解和概念性的操作而分散，从而达到更好更强的知识学习效果。
图1为本发明中智能交互式学习助教装置示意图。
图2为本发明中实施智能交互式学习助教装置的方法流程图。
具体实施方式
下面结合附图和具体实施例对发明作进一步说明本发明的智能交互式学习助教装置示意图如图1所示，光学信息采集器、音频信息采集器、手写信息采集器和相对应的模数转换单元、数字信号处理器DSP分别连接，微处理器MCU和数字信号处理器DSP、资料数据存贮组件、图形视频处理单元、音频处理单元连接，图形视频处理单元与图形视频回放终端连接，音频处理单元和音频回放终端连接。
光学信息采集器对所要学习的教材上的字符或图形进行信息采集，并将其转化为电信号；音频信息采集器对操作者的语音信息进行采集，并将其转化为电信号；手写信息采集器对操作者的手写或手绘信息进行采集，并将其转化为电信号；模数转换单元将采集来的模拟信号转换为数字信号；数字信号处理器DSP负责对数字信号进行处理；微处理器MCU协调本装置的各部分正常工作，管理数据的输入输出，并且处理部分信息；资料数据存贮组件包括存贮有与学习教材相关的字符、音频、图像、视频资料数据的存贮介质和可读或读写该存贮介质的功能部件；图形视频处理单元对图形或视频数据进行处理和合成；音频处理单元对音频数据进行处理和合成；图形视频回放终端将图形或视频信息以人感官能直接接受的方式回放出来；音频回放终端将音频信息以人感官能直接接受的方式回放出来；本智能交互式学习助教装置可以根据需要而灵活设计，如光学信息采集器可以使用笔式的图像扫描器(Pen-shaped Graphics Sensor)或者CCD的摄像头，图形视频回放终端可以是安装在装置外壳上的液晶显示屏，手写信息采集器可以是和液晶显示屏一体位于液晶显示屏外层的压力感应式书写屏，音频信息采集器和音频回放终端可以用可插拨的高保真耳麦，资料数据存贮组件可以用读卡接口和闪存卡(Flash Card)或者小型光驱和光盘，另外装置还可以灵活的加上一些接口，如可与电脑或者数码产品进行数据交换传输的通用型的接口、具有视频信号和音频信号的输出接口、可分别外接鼠标和键盘的接口，以适用更强的配置和功能。
实施智能交互式学习助教装置的方法的流程图如图2示，光学信息采集器或者音频信息采集器或者手写信息采集器对学习教材上的知识信息进行采集，再将采集到的信息由相对应的模数转换单元进行模-数转换，然后由数字信号处理器对已经转换后的数字信号进行筛选、简化，处理成代表其原始模拟信息的编码，再由微处理器进行运算、分析、处理后将信号传至图形视频处理单元、音频处理单元；或者由微处理器将编码分析处理后与资料数据存贮组件中的存贮介质上的教材知识资料索引项进行对比、识别及数据定位，从而找到存贮介质上与编码相对应关于教材知识的字符资料、音频资料、图像资料、视频资料，再将所找到的资料数据传至相应的图形视频处理单元和音频处理单元；最后由图形视频处理单元和音频处理单元将其接收到的资料数据或者微处理器分析处理后的信号再进行处理合成，最终由音频回放终端或图形视频回放终端以人感官能直接接受的方式回放出来。
在实施本智能交互式学习助教装置的方法时先选择仅存贮使用者需要学习的教材中某部分知识相关的字符资料、音频资料、图形资料、视频资料数据的存贮介质装入装置上的资料数据存贮组件中，光学信息采集器或者音频信息采集器或者手写信息采集器对学习教材上的知识信息进行采集，再将采集到的信息由相对应的模数转换单元进行模-数转换，然后由数字信号处理器对已经转换后的数字信号进行筛选、简化，处理成代表其原始模拟信息的编码，再由微处理器进行运算、分析、处理后将信号传至图形视频处理单元、音频处理单元；或者由微处理器将编码分析处理后与资料数据存贮组件中的存贮介质上的教材知识资料索引项进行对比、识别及数据定位，从而找到存贮介质上与编码相对应关于教材知识的字符资料、音频资料、图像资料、视频资料，再将所找到的资料数据传至相应的图形视频处理单元和音频处理单元；最后由图形视频处理单元和音频处理单元将其接收到的资料数据或者微处理器分析处理后的信号再进行处理合成，最终由音频回放终端或图形视频回放终端以人感官能直接接受的方式回放出来。
例如1.智能检索资料使用者只须通过信息采集器采集信息，如使用光学信息采集器时，只须用光学信息采集器对准所要学习的教材上的某字句进入工作状态下开始采集信息，然后将采集到的信息转化为电信号，再传输到模数转换单元将采集来的模拟信号转换为数字信号，再由数字信号处理器DSP对数字信号进行筛选、简化，处理成代表其原始模拟信息的编码，再由微处理器MCU将其分析处理后与资料数据存贮组件中的存贮介质上的资料索引项进行对比、识别及数据定位，从而找到存贮介质上与编码相对应的字符资料、音频资料、图像资料、视频资料，再将所找到的资料数据传至相应图形视频处理单元和音频处理单元，最后由图形视频处理单元和音频处理单元将其接收到的资料数据进行处理合成，最终由音频回放终端或图形视频回放终端以人感官能直接接受的方式回放出来。如果要使用音频或手写信息采集器检索资料，只要继续朗读或手写出教材上此处或附近的词句，装置将重复以上过程。
2.智能交互导教实现操作者根据装置对其语音或手写信息输入的反应，来认知自己对所关注的知识的掌握程度；如操作者只须先用光学信息采集器对准所要学习的教材上的某字句，装置就对存贮组件中存贮的资料中进行检索，且回放出存贮在可移动的存贮介质中的教材上的此字句的语音资料，然后操作者使用音频信息采集器进行跟读，音频信息采集器采集操作者的语音信息传至微处理器，微处理器分析判断其语音发音是否与此字句语音资料的发音相近，而重复播音此字句或朗读下一句，从而达到像老师一样地进行引导教学。
尽管参照实施例对所公开的一种智能交互式学习助教装置和方法进行了特别描述，在不脱离本发明方案和范围的情况下，所有的变化和修改都在本发明的范围之内。
权利要求
1.一种智能交互式学习助教装置，其特征在于包含有光学信息采集器对所要学习的教材上的字符或图形进行信息采集，并将其转化为电信号；音频信息采集器对操作者的语音信息进行采集，并将其转化为电信号；手写信息采集器对操作者的手写或手绘信息进行采集，并将其转化为电信号；模数转换单元将采集来的模拟信号转换为数字信号；数字信号处理器DSP负责对数字信号进行处理；微处理器MCU协调本装置的各部分正常工作，管理数据的输入输出，并且处理部分信息；资料数据存贮组件包括存贮有与学习教材相关的字符、音频、图像、视频资料数据的存贮介质和可读或读写该存贮介质的功能部件；图形视频处理单元对图形或视频数据进行处理和合成；音频处理单元对音频数据进行处理和合成；图形视频回放终端将图形或视频信息以人感官能直接接受的方式回放出来；音频回放终端将音频信息以人感官能直接接受的方式回放出来；其中光学信息采集器、音频信息采集器、手写信息采集器分别和相对应的模数转换单元或者数字信号处理器DSP连接，模数转换单元与数字信号处理器DSP或者微处理器MCU连接，微处理器MCU和数字信号处理器DSP、资料数据存贮组件、图形视频处理单元、音频处理单元连接，图形视频处理单元与图形视频回放终端连接，音频处理单元和音频回放终端连接。
2.一种实施权利要求1所述装置的方法，其特征在于包含以下步骤光学信息采集器或者音频信息采集器或者手写信息采集器对学习教材上的知识信息进行采集，再将采集到的信息由相对应的模数转换单元进行模-数转换，然后由数字信号处理器对已经转换后的数字信号进行筛选、简化，处理成代表其原始模拟信息的编码，再由微处理器进行运算、分析、处理后将信号传至图形视频处理单元、音频处理单元；或者由微处理器将编码分析处理后与资料数据存贮组件中的存贮介质上的教材知识资料索引项进行对比、识别及数据定位，从而找到存贮介质上与编码相对应关于教材知识的字符资料、音频资料、图像资料、视频资料，再将所找到的资料数据传至相应的图形视频处理单元和音频处理单元；最后由图形视频处理单元和音频处理单元将其接收到的资料数据或者微处理器分析处理后的信号再进行处理合成，最终由音频回放终端或图形视频回放终端以人感官能直接接受的方式回放出来。
3.据权利要求1所述装置，其特征在于资料数据存贮组件包括存贮介质和可读或读写该存贮介质的功能部件，在使用本装置时的存贮介质中仅存贮使用者需要学习的教材中某部分知识相关的字符资料、音频资料、图像资料、视频资料中的一种或者一种以上。
4.根据权利要求1所述装置，其特征在于装置上具有可与电脑或者数码产品进行数据交换传输的通用型的接口。
5.根据权利要求1所述装置，其特征在于装置上具有液晶显示屏和位于显示屏表面的压力感应式手写信息采集器。
6.根据权利要求1所述装置，其特征在于装置上具有视频信号和音频信号的输出接口。
7.根据权利要求1所述装置，其特征在于装置上具有可分别外接鼠标和键盘的接口。
全文摘要
一种智能交互式学习助教装置和方法，其包括有光学信息采集器、音频信息采集器、手写信息采集器，以及和信息采集器连接的相对应的模数转换单元，模数转换单元和数字信号处理器DSP连接，微处理器MCU和数字信号处理器DSP、资料数据存贮组件、图形视频处理单元、音频处理单元连接，图形视频处理单元与图形视频回放终端连接，音频处理单元和音频回放终端连接。主要用于辅助使用者学习和资料检索以及进行智能化交互式的多媒体方式教学。
文档编号G09B5/00GK101038703SQ2006100313
公开日2007年9月19日 申请日期2006年3月17日 优先权日2006年3月17日
发明者李志成 申请人:李志成