一种口型示教系统与示教方法

一种口型示教系统与示教方法
【专利摘要】本发明提供一种高效、便捷、可扩展性强的口型示教系统，并给出基于该系统的口型示教方法。本发明系统包括信息输入模块、视频采集模块、口型变换模块、对比评价模块、信息显示模块和数据存储模块这六个模块。本发明方法包括用户选择、样例选取、口型变换、实时示教和效果评估这五个步骤。本发明提供的口型示教系统和方法能够运用基于环形弹性空间的动力学时间演化将所需示教的口型信息反演在用户自己的脸部照片上，准确地生成示教口型视频以供示教，还能通过录入用户学习时的模仿口型视频和示教口型视频进行基于环形弹性空间的动力学时间分析，对比得出对示教效果的评价和建议以助于用户改进。更优选地，本发明系统可以集成在一个智能手机上。
【专利说明】一种口型示教系统与示教方法【技术领域】
[0001]本发明涉及一种口型示教系统和示教方法，特别设计一种基于弹性空间动力学演化的人体口型示教系统和示教方法。
【背景技术】
[0002]口型示教与我们的生活息息相关，尤其是在语言学习的过程中更是极为重要的一环。无论是对于刚开始学习母语的儿童，还是对于广大学习外语的学生，乃至部分需要学习识别唇语的特殊群体，掌握发音时相对应的口型都是非常重要的。当前，相关语言学习的培训费用高，且传统的教学模式效率相对低下，因此有必要开发智能高效的口型示教系统。随着计算机技术的发展和日趋完善，人脸的造型和动画作为计算机图形学中的一个独特分支也越来越受到人们的关注，其中针对视频、图像中人体口型的变化更是有广泛的应用。目前现有的口型示教系统中常规的方法一般都是通过对已有的视频图像加以分析处理，建立标准的口型数据库，再针对具体问题进行分析匹配。显然，这样的技术手段虽然能够较为准确地对视频和图像中的人脸口型进行重构变换，但是它也有一定的局限性。一方面，这个系统必须事先构建好庞 大的标准口型数据库，需要庞大规模的口型数据样本；另一方面，匹配算法的实现涉及大量的计算分析，计算复杂度很高，相对应的硬件要求较高，不能较为普遍的应用。

【发明内容】

[0003]本发明的目的在于针对现有技术的不足，提供一种高效、便捷、可扩展性强的口型示教系统，并给出基于该系统的口型示教方法。传统的口型示教系统中，所需示教的口型都呈现在他人的脸上。因为不同人的脸部、口部差异较大，这样的口型示教难以给用户提供直观的体验，教学效果并不理想。本发明系统和方法突破了这样的限制，可以实现所需示教的口型信息在用户脸部照片上的演化，准确、高效地生成示教口型视频，让所需示教的口型呈现在用户自己的脸上。同时，本发明系统和方法还可以根据用户的学习情况对示教的效果给出评价，以助于用户改进。本发明所述的口型示教指包括说话、歌唱、唇形模仿在内的一切涉及口型变化的教学。
[0004]本发明采用的技术方案如下:
一种口型示教系统，包括信息输入模块、视频采集模块、口型变换模块、对比评价模块、信息显示模块和数据存储模块,其中:
所述的信息输入模块用于录入用户信息和每次示教的示教匹配内容，所述的用户信息包括用户名和用户脸部照片；
所述的视频采集模块用于在示教前采集样例口型视频以及在示教过程中采集用户的模仿口型视频；
所述的口型变换模块用于根据用户脸部照片对每次采集到的样例口型视频进行基于环形弹性空间的动力学时间演化，生成示教口型视频； 所述的对比评价模块用于将示教过程中用户的模仿口型视频和样例口型视频进行基于环形弹性空间的动力学时间分析，得出对比评价结果，所述的对比评价结果包括用户学习效果评价和改进建议，可以是文字或图片或文字和图片的组合；
所述的信息显示模块用于实时显示示教过程中的所有信息，包括用户信息、每次示教的示教匹配内容、示教口型视频和对比评价结果；
所述的数据存储模块用于存储用户数据，所述的用户数据包括用户信息、每次示教的示教匹配内容、样例口型视频、模仿口型视频、示教口型视频和对比评价结果。
[0005]本发明的口型示教系统可以运用基于环形弹性空间的动力学时间演化将所需示教的口型信息反演在用户自己的脸部照片上，准确、高效地生成示教口型视频以供示教。此夕卜，本发明系统还能录入用户学习时的模仿口型视频和示教口型视频进行基于环形弹性空间的动力学时间分析，给出对示教效果的评价和建议，以助于用户改进。
[0006]各个模块的连接方式如图1所示。其中，所述的信息输入模块与数据存储模块之间、视频采集模块与数据存储模块之间、口型变换模块与数据存储模块之间、信息显示模块与视频采集模块之间、信息显示模块和数据存储模块之间、对比评价模块和数据存储模块之间、对比评价模块和信息显示模块之间可部分或全部通过有线或无线方式进行连接，以保证数据的有效传输。可以根据实际需要，全部采用有线方式连接，全部采用无线方式连接，或部分采用有线方式连接、部分采用无线方式连接。
[0007]所述的示教匹配内容是与待示教的口型图像信息相匹配的文字信息，用于在实时示教过程中显示给用户进行参照。例如，针对一篇文章进行口型示教时，示教匹配内容即为该文章的文字信息。
[0008]所述的样例口型视频为每次示教中作为标准进行示教的他人的口型视频。
[0009]所述的示教口型视频为每次示教中实时显示在信息显示模块用以示教的口型视频，由口型变换模块利用样例口型视频在用户脸部照片的基础上通过基于环形弹性空间的动力学时间演化生成。
[0010]所述的模仿口型视频为每次示教中用户参照示教口型视频进行模仿学习的口型视频，由图像采集模块在口型示教过程中实时采集。
[0011]样例选取过程中，样例口型视频和示教匹配内容存在基于时间轴的一一对应关系，以保证示教的准确性。口型变换过程中，因为示教口型视频和样例口型视频在时间轴上是 对应的，因此不教口型视频和不教匹配内容也存在基于时间轴的 对应关系。
[0012]所述的视频采集模块为具有摄像功能的终端，可选自摄像机、照相机、摄像头、数字化图像设备、具有摄像功能的智能终端的任意一种或任意多种。
[0013]所述的口型变换模块可以是具有视频图像处理和信息分析能力的终端，所述的对比评价模块可以是具有视频图像处理和信息分析能力的终端，所述的具有视频图像处理和信息分析能力的终端可以是数字芯片或智能终端，所述的智能终端是指能够捕获外部信息，能进行计算、分析和处理，并在不同终端之间能够进行信息传输的设备，可以是各种台式电脑、笔记本电脑、移动智能终端等。所述的移动智能终端是指便携式的智能终端，可以是各种智能手机、平板电脑(如iPad等)、掌上电脑、智能掌上游戏机等。所述的数字芯片指经过设计，采用集成电子工艺，能够进行计算、分析和处理的芯片，并能够通过扩展控制其他设备，包括但不限于单片机，ARM, DSP, FPGA等。[0014]所述的信息显示模块选自显示器、显示屏、投影仪、智能终端的任意一种或任意多种。
[0015]所述的数据存储模块中，数据以用户名为标识进行存储，即不同的用户数据根据归属于不同的用户被存储在对应的用户名下。所述的用户数据包括用户信息、每次示教的示教匹配内容、样例口型视频、模仿口型视频、示教口型视频和对比评价结果。所述的数据存储模块的存储模式如图2所示。
[0016]作为优选，所述的口型示教系统为至少一台具有摄像功能的台式电脑、笔记本电脑或移动智能终端。所述的移动智能终端是指便携式的智能终端，可以是各种智能手机、平板电脑(如iPad等)、掌上电脑、智能掌上游戏机等。具体地，本发明的口型示教系统可以仅是一台具有摄像功能的台式电脑，或者一台具有摄像功能的笔记本电脑，或者一个具有摄像功能的移动智能终端。此时，电脑或移动智能终端的输入设备和通讯模块作为所述的口型示教系统的信息输入模块，摄像头作为系统的视频采集模块，处理器作为系统的口型变换模块和对比评价模块，显示屏作为系统的信息显示模块，存储单元作为系统的数据存储模块。本发明的口型视频重构系统也可以是具有摄像功能的台式电脑、笔记本电脑或移动智能终端的组合，例如，具有摄像功能的移动智能终端的摄像头和显示屏分别作为系统的视频采集模块和信息显示模块，笔记本电脑的输入设备和通讯模块、处理器和存储单元构成系统的其他模块。
[0017]更优选地，所述的口型示教系统为一台智能手机。此时，智能手机输入设备和通讯模块作为系统的信息输入模块，智能手机摄像头作为系统的视频采集模块，智能手机处理器作为系统的口型变换模块和对比评价模块，智能手机显示屏作为系统的信息显示模块，智能手机存储单元作为系统的数据存储模块。
[0018]本发明还提供一种口型示教方法，具体包括以下步骤:
(1)用户选择:根据用户名在数据存储模块中选择本次示教的对象，若本次示教的对象为数据存储模块中已经录入的用户，则直接进行选择；若本次示教的对象为数据存储模块中尚未录入的用户，则通过信息输入模块录入其用户信息再进行选择，所述的用户信息包括用户名和用户脸部照片；
(2)样例选取:若本次示教的样例口型视频和示教匹配内容已经存储在数据存储模块中该用户名下，则直接选取已存储的样例口型视频和示教匹配内容；若本次示教的样例口型视频和示教匹配内容没有包含在数据存储模块该用户名下，则通过视频采集模块采集本次示教的样例口型视频，通过信息输入模块读入本次示教的示教匹配内容，并且将本次示教的样例口型视频和示教匹配内容存入数据存储模块中该用户名下，然后选取存入的样例口型视频和示教匹配内容；
(3)口型变换:口型变换模块调用步骤(2)中选取的样例口型视频，基于用户脸部照片进行基于环形弹性空间的动力学时间演化，实现样例口型在用户脸部照片上的视频反演，生成示教口型视频；
(4)实时示教:信息显示模块实时显示步骤(3)生成的示教口型视频和步骤(2)选取的示教匹配内容进行示教，用户根据信息显示模块显示的内容进行模仿学习，同时，视频采集模块采集用户的模仿口型视频，直至示教结束；
(5)效果评估:对比评价模块根据示教口型视频和示教过程中录入的用户模仿口型视频，通过基于环形弹性空间的动力学时间分析得出对比评价结果反馈给用户，所述的对比评价结果包括用户学习效果评价和改进建议，可以是文字或图片或文字和图片的组合。
[0019]本发明方法流程框图如图3所示。
[0020]所述的步骤(2)中，所述的示教匹配内容为与待示教的口型图像信息相匹配的文字信息，用于在实时示教过程中显示给用户进行参照。例如针对一篇书面文档进行示教时，示教匹配内容即为该文档的文字信息。样例选取过程中，样例口型视频和示教匹配内容存在基于时间轴的一一对应关系，以保证示教的准确性。口型变换过程中，因为示教口型视频和样例口型视频在时间轴上是一一对应的，因此示教口型视频和示教匹配内容也存在基于时间轴的--对应关系。
[0021]所述的步骤(3)中，所述口型重构的方法是基于环形弹性空间的动力学时间演化。所述的环形弹性空间是一种定义了点的顺序和距离的平面空间，其具有以下4条性质:
1、环形弹性空间里的任意两点P1和P2，其间距离可变。
[0022]2、环形弹性空间里的任意两点P1和P2，其顺序严格不变，即:选取环形弹性空间里异于PpP2的任一点P3,这三点顺时针(或逆时针)的顺序在任意变换中都不会发生变化。
[0023]3、环形弹性空间里的任意一点P可以受与水平轴夹角为α、大小为f的力F的作用，并因此产生位置上的变化，表现为相对原始位置沿与水平轴夹角为α的方向产生一定的位移。
[0024]4、当环形弹性空间里的任意一点P受到一个力F的作用时，力F在影响P的同时也会影响到环形弹性空间中其他的点，使其等同于受到一个与水平轴夹角为^、大小为f‘的力的作用，称作关联作用。该点相对于P的空间位置决定了 ^的大小，该点和P的距离决定了 f,的大小，当该点和P的距离大于的影响范围R时，认为其不受力F的关联作用影响。
[0025]环形弹性空间示意图如图`4所示。
[0026]口型的变换是唇部的口轮匝肌由面神经颊支支配牵动产生，因此对于口型可以建立所述的环形弹性空间模型来研究。当t时刻口型发生变化，可以认为是此时该环形弹性空间上某η个点P1, P2,…，Pn分别受到了力F1, F2,…，Fn的作用，这η个力的共同作用使得该环形弹性空间发生局部的位移、旋转或拉伸，即产生口型的变换。
[0027]所述的步骤(3)中，基于环形弹性空间的动力学时间演化方法为关联反演法，即利用采集到的样例口型视频建立环形弹性空间模型，分析各个时间点上力的作用，再关联对应到用户脸部照片上进行基于时间序列的反演，从而实现示教口型视频的生成。具体地，口型变换模块将采集到的样例口型视频按照一定的帧数N平均分割为η帧(当所述的样例口型视频时长为T秒时，有η=ΤΝ)，分别对应时间t1; t2，…，tn，所述的帧数N可根据实际情况确定，要满足采样定理以保证分割后的图像能够反映出所需重构的口型信息；分割的频率越高，口型变换的复杂度越高，变换的精度也越高；分割的频率越低，口型变换的复杂度越低，变换的精度也越低。接着，定位每一帧的口型，并且把每一帧中口型对应到用户脸部照片上的对应位置。所述的对应位置可以通过口型的4条轮廓线及轮廓线上的特征点确定，为了保证变换的精度，实际操作中每条轮廓线上的特征点应大于等于3个，如图5所示。所述的确定对应位置的过程即为基于环形弹性空间的关联。对应完成后，在每一帧上建立环形弹性空间模型，提取出各个t时刻在该模型各个区域上产生的力的作用。同时，在所述的用户脸部照片上也构建环形弹性空间模型，将所提取出的力按照对应时间作用在用户脸部照片的环形弹性空间模型上的对应位置，即可完成该时间点的口型变换。例如，通过分析样例口型视频中第i帧到第(i+1)帧的口型在环形弹性空间模型下的变化，就得出了 t=(i/N)秒这一时刻对应的环形弹性空间模型中各个特征点受到的力的作用，将其作用在用户脸部照片的环形弹性空间上，即完成出t=(i/N)秒这一时刻示教口型视频的生成。当所有帧都变换完成，完整的示教口型视频生成。
[0028]所述的步骤(5)中，基于环形弹性空间的动力学时间分析方法为关联分析法，即对示教口型视频和模仿口型视频建立环形弹性空间模型，分析各个时间点上的力的作用，从大小和方向这两个参数给出对比结果，最后根据所有的对比结果给出学习效果评价和改进建议。具体地，对比评价模块将示教口型视频和模仿口型视频都按照一定的帧数N平均分割为η帧(当所述的样例口型视频时长为T秒时，有η=ΤΝ)，分别对应时间t1; t2，…，tn，所述的帧数N可根据实际情况确定，要满足采样定理以保证分割后的图像能够反映出所需重构的口型信息；分割的频率越高，口型变换的复杂度越高，变换的精度也越高；分割的频率越低，口型变换的复杂度越低，变换的精度也越低。接着，定位示教口型视频和模仿口型视频中每一帧的口型，并且对应同一时间的示教口型视频的帧和模仿口型视频的帧中的口型的对应位置。所述的对应位置可以通过口型的4条轮廓线及轮廓线上的特征点确定，为了保证变换的精度，实际操作中每条轮廓线上的特征点应大于等于3个，如图5所示。所述的确定对应位置的过程即为基于环形弹性空间的关联。对应完成后，在示教口型视频和模仿口型视频的每一帧上建立环形弹性空间模型，提取出各个t时刻在该模型各个区域上产生的力的作用，从大小和方向这两个参数上对其进行对比。例如，通过分析示教口型视频和模仿口型视频中第i帧到第(i+1)帧的口型在环形弹性空间模型下的变化，就得出了 t=(i/N)秒这一时刻示教口型视频和模仿口型视频对应的环形弹性空间模型中各个特征点受到的力的作用，对比这两个环形弹性空间中对应位置上力的大小和方向，即完成出t=(i/N)秒这一时刻的对比评价。完成了所有帧的对比评价之后，对比评价模块统计每一帧对比评价的情况，给出整体的学习效果评价和改进建议。
[0029] 具体的口型示教流程示意图如图6所示。
[0030]作为优选，针对由一台智能手机构成的口型示教系统，本发明还提供一种口型示教方法，具体包括以下五个步骤
(1)用户选择:根据用户名在智能手机存储单元中选择本次示教的对象，若本次示教的对象为智能手机存储单元中已经录入的用户，则直接进行选择；若本次示教的对象为智能手机存储单元中尚未录入的用户，则通过智能手机触摸屏和摄像头录入其用户信息再进行选择，所述的用户信息包括用户名和用户脸部照片；
(2)样例选取:若本次示教的样例口型视频和示教匹配内容已经存储在智能手机存储单元中该用户名下，则直接选取已存储的样例口型视频和示教匹配内容；若本次示教的样例口型视频和示教匹配内容没有包含在智能手机存储单元该用户名下，则通过智能手机摄像头采集本次示教的样例口型视频，通过智能手机触摸屏或其他输入设备读入本次示教的示教匹配内容，并且将本次示教的样例口型视频和示教匹配内容存入智能手机存储单元中该用户名下，然后选取存入的样例口型视频和示教匹配内容；
(3)口型变换:智能手机处理器调用步骤(2)中选取的样例口型视频，基于用户脸部照片进行基于环形弹性空间的动力学时间演化，实现样例口型在用户脸部照片上的视频反演，生成示教口型视频；
(4)实时示教:智能手机显示屏实时显示步骤(3)生成的示教口型视频和步骤(2)选取的示教匹配内容进行示教，用户根据智能手机显示屏显示的内容进行模仿学习，同时，智能手机摄像头采集用户的模仿口型视频，直至示教结束；
(5)效果评估:智能手机处理器根据示教口型视频和示教过程中录入的用户模仿口型视频，通过基于环形弹性空间的动力学时间分析得出对比评价结果反馈给用户，所述的对比评价结果包括用户学习效果评价和改进建议，为文字或图片或文字和图片的组合。
[0031]本发明的有益效果是:
(I)本发明利用人体口型视频重构技术，可以将其他人的口型准确反演到用户的脸部照片上，为用户提供生动形象的参照，相比传统的口型示教有明显的优越性。
[0032](2)本发明通过分析样例口型视频和模仿口型视频，引入了对示教效果的评价系统，进一步优化了示教的效果。
[0033](3)本发明在系统硬件方面配置简单，成本低廉；软件方面也仅需普通的视频、图像处理软件，不涉及额外的软件部署。
[0034](4)更优选地，本发明的系统的所有单元可以集成在一个智能终端上，包括移动智能终端，因此还具有很高的可移植性。
【专利附图】

【附图说明】
[0035]图1为本发明系统结构图。
[0036]图2为本发明数据存储 模块存储结构图。
[0037]图3为本发明方法流程框图。
[0038]图4为环形弹性空间示意图，其中图4(a)表明环形弹性空间的顺序不变性，图4(b)表明环形弹性空间中力的关联作用。
[0039]图5为本发明方法中口型位置对应时轮廓线和特征点的示意图，图中LI至L4和LI’至L4’分别是两个口型的轮廓线，Pl至P6和Ρ至P6’分别是两个口型轮廓线上的关键点，需要保证每条轮廓线上有至少3个对应点以保证变换的准确性。
[0040]图6为本发明方法流程示意图。
【具体实施方式】
[0041]以下结合附图详细说明本发明。
[0042]如图1所示，本发明的口型示教系统，包括信息输入模块、视频采集模块、口型变换模块、对比评价模块、信息显示模块和数据存储模块，其中:
所述的信息输入模块用于录入用户信息和每次示教的示教匹配内容，所述的用户信息包括用户名和用户脸部照片；
所述的视频采集模块用于在示教前采集样例口型视频以及在示教过程中采集用户的模仿口型视频；
所述的口型变换模块用于根据用户脸部照片对每次采集到的样例口型视频进行基于环形弹性空间的动力学时间演化，生成示教口型视频； 所述的对比评价模块用于将示教过程中用户的模仿口型视频和样例口型视频进行基于环形弹性空间的动力学时间分析，得出对比评价结果，所述的对比评价结果包括用户学习效果评价和改进建议，可以是文字或图片或文字和图片的组合；
所述的信息显示模块用于实时显示示教过程中的所有信息，包括用户信息、每次示教的示教匹配内容、示教口型视频和对比评价结果；
所述的数据存储模块用于存储用户数据，所述的用户数据包括用户信息、每次示教的示教匹配内容、样例口型视频、模仿口型视频、示教口型视频和对比评价结果。
[0043]所述的视频采集模块为具有摄像功能的终端。作为优选，所述的具有摄像功能的终端选自摄像机、照相机、摄像头、数字化图像设备、智能终端的任意一种或任意多种。
[0044]所述的口型变换模块为具有视频图像处理和信息分析能力的终端。
[0045]所述的对比评价模块为具有视频图像处理和信息分析能力的终端。
[0046]所述的信息显示模块选自显示器、显示屏、投影仪、智能终端的任意一种或任意多种。
[0047]作为优选，所述的口型示教系统为至少一台具有摄像功能的台式电脑、笔记本电脑或移动智能终端。更优选地，所述的口型示教系统为一台智能手机。
[0048]实施例1:
为了更详细地说明本发明的口型示教方法，下面以一名用户甲通过本发明的示教系统来示教英语课上英语老师乙所教授的英语单词发音(时长15分钟)为例，结合附图6具体说明本发明的口型示教方法。本实施例中以一台智能手机作为口型示教系统，其中:智能手机的输入设备和通讯模块作为所述的口型示教系统的信息输入模块，智能手机摄像头作为系统的视频采集模块，智能手机处理器作为系统的口型变换模块和对比评价模块，智能手机显示屏作为系统的信息显示模块，智能手机存储单元作为系统的数据存储模块。
[0049](I)用户选择:甲在手机存储单元中选择自己作为本次示教的对象，若用户名甲已经录入在为智能手机存储单元中，则直接进行选择；若用户名甲尚未录入在智能手机存储单元中，则甲需要通过智能手机触摸屏键入自己的用户名甲，并通过摄像头采集自己的用户脸部照片以录入自己的用户信息，再进行选择。
[0050](2)样例选取:由于本次是针对英语课上英语老师乙所教授的英语单词发音进行示教，示教的样例口型视频和示教匹配内容没有包含在智能手机存储单元该用户名下。甲在英语课上英语老师乙教授英语单词发音时，通过智能手机摄像头采集乙的脸部视频作为本次示教的样例口型视频，通过智能手机触摸屏键入或通过智能手机通讯模块导入乙所教授的英语单词文本信息作为本次示教的示教匹配内容，并且将本次示教的样例口型视频和示教匹配内容存入智能手机存储单元中该用户名甲下，然后选取存入的样例口型视频和示教匹配内容。
[0051](3) 口型变换:智能手机处理器调用步骤(2)中选取的乙的样例口型视频，基于甲的用户脸部照片进行基于环形弹性空间的动力学时间演化，实现样例口型在甲的用户脸部照片上的视频反演，生成示教口型视频。所述的基于环形弹性空间的动力学时间演化方法为关联反演法，即利用采集到的乙的样例口型视频建立环形弹性空间模型，分析各个时间点上力的作用，再关联对应到甲的用户脸部照片上进行基于时间序列的反演，从而实现示教口型视频的生成。具体地，智能手机处理器将采集到的乙的样例口型视频按30帧/秒的帧数平均分割，这样15分钟的样例口型视频被均分为27000帧，分别对应时间t1; t2，…，t27000。接着，定位每一帧的口型，并且把每一帧中口型对应到甲的用户脸部照片上的对应位置。所述的对应位置可以通过口型的4条轮廓线及轮廓线上的特征点确定，为了保证变换的精度，实际操作中每条轮廓线上的特征点应大于等于3个，如图5所示。所述的确定对应位置的过程即为基于环形弹性空间的关联。对应完成后，在每一帧上建立环形弹性空间模型，提取出各个t时刻在该模型各个区域上产生的力的作用。同时，在甲的用户脸部照片上也构建环形弹性空间模型，将所提取出的力按照对应时间作用在甲的用户脸部照片的环形弹性空间模型上的对应位置，即可完成该时间点的口型变换。例如，通过分析乙的样例口型视频中第1帧到第2帧的口型在环形弹性空间模型下的变化，就得出了 t=(l/30)秒这一时刻对应的环形弹性空间模型中各个特征点受到的力的作用，将其作用在甲脸部照片的环形弹性空间上，即完成出t=(l/30)秒这一时刻示教口型视频的生成。当所有帧都变换完成，完整的示教口型视频生成。
[0052](4)实时示教:智能手机显示屏实时显示步骤(3)生成的示教口型视频和步骤
(2)选取的示教匹配内容进行示教，甲根据智能手机显示屏显示的内容进行模仿学习，同时，智能手机摄像头采集甲学习过程中的视频作为模仿口型视频，直至示教结束；
(5)效果评估:智能手机处理器根据示教口型视频和示教过程中录入的甲的模仿口型视频，通过基于环形弹性空间的动力学时间分析得出对比评价结果，反馈给甲，以便甲改进。所述的对比评价结果为文字和图片的组合，包括对甲的学习效果评价和改进建议，例如:指出甲模仿某个口型的时候嘴型偏小，需要进一步张大。所述的基于环形弹性空间的动力学时间分析方法为关联分析法，即对示教口型视频和模仿口型视频建立环形弹性空间模型，分析各个时间点上的力的作用，从大小和方向这两个参数给出对比结果，最后根据所有的对比结果给出学习效果评价和改进建议。具体地，对比评价模块将示教口型视频和模仿口型视频按30帧/秒的帧数平均分割，这样15分钟的样例口型视频被均分为27000帧，分别对应时间t1;t2，…，t27_。接着，定位示教口型视频和模仿口型视频中每一帧的口型，并且对应同一时间的示教口型视频的帧和模仿口型视频的帧中的口型的对应位置。所述的对应位置可以通过口型的4条轮廓线及轮廓线上的特征点确定，为了保证变换的精度，实际操作中每条轮廓线上的特征点应大于等于3个，如图5所示。所述的确定对应位置的过程即为基于环形弹性空间的关联。对应完成后，在示教口型视频和模仿口型视频的每一帧上建立环形弹性空间模型，提取出各个t时刻在该模型各个区域上产生的力的作用，从大小和方向这两个参数上对其进行对比。例如，通过分析示教口型视频和模仿口型视频中第I帧到第2帧的口型在环形弹性空间模型下的变化，就得出了 t=(l/30)秒这一时刻示教口型视频和模仿口型视频对应的环形弹性空间模型中各个特征点受到的力的作用，对比这两个环形弹性空间中对应位置上力的大小和方向，即完成出t=(l/30)秒这一时刻的对比评价。完成了所有帧的对比评价之后，对比评价模块统计每一帧对比评价的情况，给出甲本次示教整体的学习效果评价和改进建议。
[0053]实施例2:
为了更详细地说明本发明的口型示教方法，下面再以一名用户丙通过本发明的示教系统来第二次示教丁朗读一篇文章的口型(系统中已有此示教记录，时长2分钟)为例，具体说明本发明的口型示教方法。本实施例中以一台笔记本电脑作为口型示教系统，其中:笔记本电脑的输入设备和通讯模块作为所述的口型示教系统的信息输入模块，笔记本电脑摄像头作为系统的视频采集模块，笔记本电脑处理器作为系统的口型变换模块和对比评价模块，笔记本电脑显示屏作为系统的信息显示模块，笔记本电脑存储单元作为系统的数据存储模块。
[0054](1)用户选择:丙在笔记本电脑存储单元中选择自己作为本次示教的对象，若用户名丙已经录入在为笔记本电脑存储单元中，则直接进行选择；若用户名丙尚未录入在笔记本电脑存储单元中，则丙需要通过笔记本电脑键盘键入自己的用户名丙，并通过摄像头采集自己的用户脸部照片以录入自己的用户信息，再进行选择。
[0055](2)样例选取:由于本次是针对丁朗读一篇文章的口型进行示教，示教的样例口型视频和示教匹配内容已经包含在笔记本电脑存储单元用户名丙下，丙直接选取样例口型视频和示教匹配内容。
[0056](3) 口型变换:笔记本电脑处理器调用步骤(2)中选取的丁的样例口型视频，基于丙的用户脸部照片进行基于环形弹性空间的动力学时间演化，实现样例口型在丙的用户脸部照片上的视频反演，生成示教口型视频。所述的基于环形弹性空间的动力学时间演化方法为关联反演法，即利用采集到的丁的样例口型视频建立环形弹性空间模型，分析各个时间点上力的作用，再关联对应到丙的用户脸部照片上进行基于时间序列的反演，从而实现示教口型视频的生成。具体地，笔记本电脑处理器将采集到的丁的样例口型视频按30帧/秒的帧数平均分割，这样2分钟的样例口型视频被均分为3600帧，分别对应时间t1;t2,…，t3_。接着，定位每一帧的口型，并且把每一帧中口型对应到丙的用户脸部照片上的对应位置。所述的对应位置可以通过口型的4条轮廓线及轮廓线上的特征点确定，为了保证变换的精度，实际操作中每条轮廓线上的特征点应大于等于3个，如图5所示。所述的确定对应位置的过程即为基于环形弹性空间的关联。对应完成后，在每一帧上建立环形弹性空间模型，提取出各个t时刻在该模型各个区域上产生的力的作用。同时，在丙的用户脸部照片上也构建环形弹性空间模型，将所提取出的力按照对应时间作用在丙的用户脸部照片的环形弹性空间模型上的对应位置，即可完成该时间点的口型变换。例如，通过分析丁的样例口型视频中第I帧到第2帧的口型在环形弹性空间模型下的变化，就得出了 t=(l/30)秒这一时刻对应的环形弹性空间模型中各个特征点受到的力的作用，将其作用在丙脸部照片的环形弹性空间上，即完成出t=(l/30)秒这一时刻示教口型视频的生成。当所有帧都变换完成，完整的不教口型视频生成。
[0057](4)实时示教:笔记本电脑显示屏实时显示步骤(3)生成的示教口型视频和步骤
(2)选取的示教匹配内容进行示教，丙根据笔记本电脑显示屏显示的内容进行模仿学习，同时，笔记本电脑摄像头采集丙学习过程中的视频作为模仿口型视频，直至示教结束；
(5)效果评估:笔记本电脑处理器根据示教口型视频和示教过程中录入的丙的模仿口型视频，通过基于环形弹性空间的动力学时间分析得出对比评价结果，反馈给丙，以便丙改进。所述的对比评价结果为文字和图片的组合，包括对丙的学习效果评价和改进建议，例如:指出丙模仿某个口型的时候嘴型偏小，需要进一步张大。所述的基于环形弹性空间的动力学时间分析方法为关联分析法，即对示教口型视频和模仿口型视频建立环形弹性空间模型，分析各个时间点上的力的作用，从大小和方向这两个参数给出对比结果，最后根据所有的对比结果给出学习效果评价和改进建议。具体地，对比评价模块将示教口型视频和模仿口型视频按30帧/秒的帧数平均分割，这样2分钟的样例口型视频被均分为3600帧，分别对应时间t1;t2，..., t3600O接着，定位示教口型视频和模仿口型视频中每一帧的口型，并且对应同一时间的示教口型视频的帧和模仿口型视频的帧中的口型的对应位置。所述的对应位置可以通过口型的4条轮廓线及轮廓线上的特征点确定，为了保证变换的精度，实际操作中每条轮廓线上的特征点应大于等于3个，如图5所示。所述的确定对应位置的过程即为基于环形弹性空间的关联。对应完成后，在示教口型视频和模仿口型视频的每一帧上建立环形弹性空间模型，提取出各个t时刻在该模型各个区域上产生的力的作用，从大小和方向这两个参数上对其进行对比。例如，通过分析示教口型视频和模仿口型视频中第I帧到第2帧的口型在环形弹性空间模型下的变化，就得出了 t=(l/30)秒这一时刻示教口型视频和模仿口型视频对应的环形弹性空间模型中各个特征点受到的力的作用，对比这两个环形弹性空间中对应位置上力的大小和方向，即完成出t=(l/30)秒这一时刻的对比评价。完成了所有帧的对比评价之后，对比评价模块统计每一帧对比评价的情况，给出丙本次示教整体的学习效果评价和改进建议。
[0058]实施例3: 为了更详细地说明本发明的口型示教方法，下面再以一名聋哑人用户戊通过本发明的示教系统来模仿学习示教者己所说的一句话(时长10秒)的口型为例，具体说明本发明的口型示教方法。本实施例中以一台智能手机作为口型示教系统，其中:智能手机的输入设备和通讯模块作为所述的口型示教系统的信息输入模块，智能手机摄像头作为系统的视频采集模块，智能手机处理器作为系统的口型变换模块和对比评价模块，智能手机显示屏作为系统的信息显示模块，智能手机存储单元作为系统的数据存储模块。
[0059](I)用户选择:戊在手机存储单元中选择自己作为本次示教的对象，若用户名戊已经录入在为智能手机存储单元中，则直接进行选择；若用户名戊尚未录入在智能手机存储单元中，则戊需要通过智能手机触摸屏键入自己的用户名戊，并通过摄像头采集自己的用户脸部照片以录入自己的用户信息，再进行选择。
[0060](2)样例选取:本次示教的内容为示教者己所说的一句话的口型，样例口型视频和示教匹配内容没有包含在智能手机存储单元该用户名下。因此，在示教者己说这句话的时候，戊通过智能手机摄像头采集示教者己的脸部视频作为本次示教的样例口型视频，通过智能手机触摸屏键入或通过智能手机通讯模块导入示教者己所教授的这句话的文本信息作为本次示教的示教匹配内容，并且将本次示教的样例口型视频和示教匹配内容存入智能手机存储单元中该用户名戊下，然后选取存入的样例口型视频和示教匹配内容。
[0061](3) 口型变换:智能手机处理器调用步骤(2)中选取的示教者己的样例口型视频，基于戊的用户脸部照片进行基于环形弹性空间的动力学时间演化，实现样例口型在戊的用户脸部照片上的视频反演，生成示教口型视频。所述的基于环形弹性空间的动力学时间演化方法为关联反演法，即利用采集到的示教者己的样例口型视频建立环形弹性空间模型，分析各个时间点上力的作用，再关联对应到戊的用户脸部照片上进行基于时间序列的反演，从而实现示教口型视频的生成。具体地，智能手机处理器将采集到的示教者己的样例口型视频按30帧/秒的帧数平均分割，这样10秒的样例口型视频被均分为300帧，分别对应时间t1;t2，…，t.。接着，定位每一帧的口型，并且把每一帧中口型对应到戊的用户脸部照片上的对应位置。所述的对应位置可以通过口型的4条轮廓线及轮廓线上的特征点确定，为了保证变换的精度，实际操作中每条轮廓线上的特征点应大于等于3个，如图5所示。所述的确定对应位置的过程即为基于环形弹性空间的关联。对应完成后，在每一帧上建立环形弹性空间模型，提取出各个t时刻在该模型各个区域上产生的力的作用。同时，在戊的用户脸部照片上也构建环形弹性空间模型，将所提取出的力按照对应时间作用在戊的用户脸部照片的环形弹性空间模型上的对应位置，即可完成该时间点的口型变换。例如，通过分析示教者己的样例口型视频中第I帧到第2帧的口型在环形弹性空间模型下的变化，就得出了 t=(l/30)秒这一时刻对应的环形弹性空间模型中各个特征点受到的力的作用，将其作用在戊脸部照片的环形弹性空间上，即完成出t=(l/30)秒这一时刻示教口型视频的生成。当所有帧都变换完成，完整的示教口型视频生成。
[0062](4)实时示教:智能手机显示屏实时显示步骤(3)生成的示教口型视频和步骤
(2)选取的示教匹配内容进行示教，戊根据智能手机显示屏显示的内容进行模仿学习，同时，智能手机摄像头采集戊学习过程中的视频作为模仿口型视频，直至示教结束；
(5)效果评估:智能手机处理器根据示教口型视频和示教过程中录入的戊的模仿口型视频，通过基于环形弹性空间的动力学时间分析得出对比评价结果，反馈给戊，以便戊改进。所述的对比评价结果为文字，包括对戊的学习效果评价和改进建议，例如:指出戊模仿某个口型的时候嘴型偏大，应该嘴型缩小一点。所述的基于环形弹性空间的动力学时间分析方法为关联分析法，即对示教口型视频和模仿口型视频建立环形弹性空间模型，分析各个时间点上的力的作用，从大小和方向这两个参数给出对比结果，最后根据所有的对比结果给出学习效果评价和改进建议。具体地，对比评价模块将示教口型视频和模仿口型视频按30帧/秒的帧数平均分割，这样10秒的样例口型视频被均分为300帧，分别对应时间t1;t2,…，t.。接着，定位示教口型视频和模仿口型视频中每一帧的口型，并且对应同一时间的示教口型视频的帧和模仿口型视频的帧中的口型的对应位置。所述的对应位置可以通过口型的4条轮廓线及轮廓线上的特征点确定，为了保证变换的精度，实际操作中每条轮廓线上的特征点应大于等于3个，如图5所示。所述的确定对应位置的过程即为基于环形弹性空间的关联。对应完成后，在示教口型视频和模仿口型视频的每一帧上建立环形弹性空间模型，提取出各个t时刻在该模型各个区域上产生的力的作用，从大小和方向这两个参数上对其进行对比。例如，通过分析示教口型视频和模仿口型视频中第I帧到第2帧的口型在环形弹性空间模型下的变化，就得出了 t=(l/30)秒这一时刻示教口型视频和模仿口型视频对应的环形弹性空间模型中各个特征点受到的力的作用，对比这两个环形弹性空间中对应位置上力的大小和方向，即完成出t=(l/30)秒这一时刻的对比评价。完成了所有帧的对比评价之后，对比评价模块统计每一帧对比评价的情况，给出戊本次示教整体的学习效果评价和改进建议。
[0063]对本领域的技术人员来说应理解，根据设计要求和其他因素可以进行各种修改、组合、自组合和变化，只要它们都落于所附权利要求及其等效方案所限定的范围内。
【权利要求】
1.一种口型示教系统，其特征在于:所示的口型示教系统包括信息输入模块、视频采集模块、口型变换模块、对比评价模块、信息显示模块和数据存储模块，其中: 所述的信息输入模块用于录入用户信息和每次示教的示教匹配内容，所述的用户信息包括用户名和用户脸部照片； 所述的视频采集模块用于在示教前采集样例口型视频以及在示教过程中采集用户的模仿口型视频； 所述的口型变换模块用于根据用户脸部照片对每次采集到的样例口型视频进行基于环形弹性空间的动力学时间演化，生成示教口型视频； 所述的对比评价模块用于将示教过程中用户的模仿口型视频和样例口型视频进行基于环形弹性空间的动力学时间分析，得出对比评价结果，所述的对比评价结果包括用户学习效果评价和改进建议，为文字或图片或文字和图片的组合； 所述的信息显示模块用于实时显示示教过程中的所有信息，包括用户信息、每次示教的示教匹配内容、示教口型视频和对比评价结果； 所述的数据存储模块用于存储用户数据，所述的用户数据包括用户信息、每次示教的示教匹配内容、样例口型视频、模仿口型视频、示教口型视频和对比评价结果。
2.根据权利要求1所述的口型示教系统，其特征在于:所述的视频采集模块为具有摄像功能的终端。
3.根据权利要求2所述的口型示教系统，其特征在于:所述的具有摄像功能的终端选自摄像机、照相机、摄像头、数字化图像设备、智能终端的任意一种或任意多种。
4.根据权利要求1所述的口型示教系统，其特征在于:所述的口型变换模块为具有视频图像处理和信息分析能力的终端。`
5.根据权利要求1所述的口型示教系统，其特征在于:所述的对比评价模块为具有视频图像处理和信息分析能力的终端。
6.根据权利要求1所述的人体口型视频重构系统，其特征在于:所述的信息显示模块选自显示器、显示屏、投影仪、智能终端的任意一种或任意多种。
7.根据权利要求1所述的口型示教系统，其特征在于:所述的口型示教系统为至少一台具有摄像功能的台式电脑、笔记本电脑或移动智能终端。
8.根据权利要求1所述的口型示教系统，其特征在于:所述的口型示教系统为一台智能手机。
9.根据权利要求1所述的口型示教系统的示教方法，其特征在于包括以下步骤: (1)用户选择:根据用户名在数据存储模块中选择本次示教的对象，若本次示教的对象为数据存储模块中已经录入的用户，则直接进行选择；若本次示教的对象为数据存储模块中尚未录入的用户，则通过信息输入模块录入其用户信息再进行选择，所述的用户信息包括用户名和用户脸部照片； (2)样例选取:若本次示教的样例口型视频和示教匹配内容已经存储在数据存储模块中该用户名下，则直接选取已存储的样例口型视频和示教匹配内容；若本次示教的样例口型视频和示教匹配内容没有包含在数据存储模块该用户名下，则通过视频采集模块采集本次示教的样例口型视频，通过信息输入模块读入本次示教的示教匹配内容，并且将本次示教的样例口型视频和示教匹配内容存入数据存储模块中该用户名下，然后选取存入的样例口型视频和示教匹配内容； (3)口型变换:口型变换模块调用步骤(2)中选取的样例口型视频，基于用户脸部照片进行基于环形弹性空间的动力学时间演化，实现样例口型在用户脸部照片上的视频反演，生成示教口型视频； (4)实时示教:信息显示模块实时显示步骤(3)生成的示教口型视频和步骤(2)选取的示教匹配内容进行示教，用户根据信息显示模块显示的内容进行模仿学习，同时，视频采集模块采集用户的模仿口型视频，直至示教结束； (5)效果评估:对比评价模块根据示教口型视频和示教过程中录入的用户模仿口型视频，通过基于环形弹性空间的动力学时间分析得出对比评价结果反馈给用户，所述的对比评价结果包括用户学习效果评价和改进建议，为文字或图片或文字和图片的组合。
10.根据权利要求8所述的口型示教系统的示教方法，其特征在于包括以下步骤: (1)用户选择:根据用户名在智能手机存储单元中选择本次示教的对象，若本次示教的对象为智能手机存 储单元中已经录入的用户，则直接进行选择；若本次示教的对象为智能手机存储单元中尚未录入的用户，则通过智能手机触摸屏和摄像头录入其用户信息再进行选择，所述的用户信息包括用户名和用户脸部照片； (2)样例选取:若本次示教的样例口型视频和示教匹配内容已经存储在智能手机存储单元中该用户名下，则直接选取已存储的样例口型视频和示教匹配内容；若本次示教的样例口型视频和示教匹配内容没有包含在智能手机存储单元该用户名下，则通过智能手机摄像头采集本次示教的样例口型视频，通过智能手机触摸屏或其他输入设备读入本次示教的示教匹配内容，并且将本次示教的样例口型视频和示教匹配内容存入智能手机存储单元中该用户名下，然后选取存入的样例口型视频和示教匹配内容； (3)口型变换:智能手机处理器调用步骤(2)中选取的样例口型视频，基于用户脸部照片进行基于环形弹性空间的动力学时间演化，实现样例口型在用户脸部照片上的视频反演，生成示教口型视频； (4)实时示教:智能手机显示屏实时显示步骤(3)生成的示教口型视频和步骤(2)选取的示教匹配内容进行示教，用户根据智能手机显示屏显示的内容进行模仿学习，同时，智能手机摄像头采集用户的模仿口型视频，直至示教结束； (5)效果评估:智能手机处理器根据示教口型视频和示教过程中录入的用户模仿口型视频，通过基于环形弹性空间的动力学时间分析得出对比评价结果反馈给用户，所述的对比评价结果包括用户学习效果评价和改进建议，为文字或图片或文字和图片的组合。
【文档编号】G09B5/02GK103745423SQ201310742813
【公开日】2014年4月23日 申请日期:2013年12月27日 优先权日:2013年12月27日
【发明者】孟濬, 黄吉羊, 刘琼 申请人:浙江大学