音频与文本同步录制方法及装置与流程

本发明涉及一种音频与文本同步录制方法和装置，属于电子数据录制领域。

背景技术：

在外语教学中，学生经常需要练习口语。当前技术条件下，学生可以通过用手机、电脑等多媒体设备方便的录音，然后把录音文件和对应的文本发给老师的手机、电脑等设备，供老师播放并给出评语。假若学生没有发给老师对应语音的文本，当前技术下，也可以对学生提交的口语进行语音识别，将语音转换成相应的文本供老师参考。

现有技术存在以下问题：1.学生提交了录音和对应的文本，老师在电脑或手机播放录音时，并不能方便的看到文本，不能像听歌曲时可以看到同步的歌词那样来听学生录音。老师的注意力会在音频播放器和文本之间转换，浪费了精力。这对老师评价造成以下困难：(1)老师不能快速直观的知道学生当前的录音在文本中的位置，例如，学生口语发音非常差，老师听不懂学生读到哪里了，再如，老师因给评语而多次暂停和继续播放后，记不得播放到哪里了；(2)语音识别技术尚不能百分之百识别出学生所欲读出的文本，例如，英语中的“I’ve finished”和“I finished”的读音是完全一样的，语音识别出任何一个结果都是正确的，但老师需要知道学生真正使用的是哪一个，来判断时态是否正确。2.老师在电脑或手机给出的口语反馈，特别是老师录制自己的声音以纠正学生，很难准确到放置到学生音频或文本中有问题的时间点。目前老师只能在学生音频之外，另外再录制一个音频，统一指出学生整篇口语中的错误，学生还要在自己的录音或文本中去寻找有问题的时间点，这样不够直观方便，效率低下。

技术实现要素：

发明目的：针对现有技术的不足和缺陷，本发明提出一种同步录制语音和对应文本并按时间点添加语音反馈的方法及装置，解决了在电脑或手机端的语音和文本不能同步录制并同步回放的问题，同时解决了在电脑或手机端老师不能把自己的语音反馈放置到学生录音的某个时间点的问题。

技术方案：一种音频与文本同步录制方法，包括：同步录制步骤：通过用户滑动光标，边录音边标记文本的方式来录制音频和文本的同步数据，并存储在数据库中；同步回放步骤：从数据库中按时间点查找并标记文本，达到语音和文本标记同步回放的效果；添加语音反馈步骤：在录音文本中选择需要反馈的位置，录制反馈音频，并将音频文件图标放置在此位置。

具体地，同步录制步骤包括：

(11)用户将准备朗读的文本提交到装置，文本以段落形式显示在装置屏幕上；

(12)文本区域开始处显示一个光标指针，指针可以滑动以标记文本；

(13)用户点击“开始录音”按钮，同步录制模块开始录制语音音频，录制计时器从0开始计时；

(14)用户边读文本边滑动光标指针，使得指针滑过正在读的文本，并将滑过的文本加以标记，同时，光标每滑过一个文本单位，同步录制模块记录此文本单位和当前的时刻，并保存到数据库中，其中文本标记形式包括背景色改变、字体颜色改变、加下划线、字体改变、字号改变；

(15)用户点击“结束录音”按钮，同步录制模块停止录制语音音频，录制计时器停止计时。

同步回放步骤包括：

(21)装置屏幕上显示用户提交上来的文本段落，文本区域开始处显示一个可移动的光标指针，用于指示当前正在播放的位置；

(22)用户点击“开始回放”按钮，同步回放模块播放用户录制并提交的音频，回放计时器从0开始计时；

(23)同步回放模块每隔指定周期检查数据库，把小于当前时刻的被记录的文本单位进行标记；

(24)用户点击“结束回放”按钮，回放结束。

其中，当用户点击“暂停”按钮时，同步回放模块暂停播放音频，回放计时器暂停计时；当用户点击“继续”按钮时，同步回放模块继续播放音频，回放计时器继续计时；当用户点击文本中某一文本单位时，同步回放模块在数据库中寻找被点击的文本单位所对应的时间点，回放计时器从该时间点重新开始计时，并且在此文本单位之后被标记的文本全部还原为未标记状态，音频播放时间点回到此时间点。

添加语音反馈步骤包括：

(31)用户点击文本中待添加语音反馈的位置，语音反馈模块在数据库中寻找被点击的文本单位所对应的时间点；

(32)用户点击“录制反馈”按钮，开始录音，语音反馈模块将该反馈音频和步骤31)中的时间点一起存储到数据库中；

(33)用户完成录音后，语音反馈模块在数据库中搜索所有反馈音频和与其对应的时间点的文本单位，在每个文本单位旁显示一个音频信息的图标。

一种音频与文本同步录制装置，包括同步录制模块、同步回放模块、语音反馈模块、数据存储模块，其中，同步录制模块通过用户滑动光标，边录音边标记文本的方式来录制同步数据；同步回放模块从数据库中按时刻查找并标记文本，达到语音和文本标记同步回放的效果；语音反馈模块在录音文本中选择需要反馈的位置，在此位置录制反馈音频，并将音频文件图标放置在此位置；数据存储模块用于存储所述音频、文本以及数据对应关系。

有益效果：本发明使学生录制口语的同时，同步录制正在朗读的文本；使老师在批改学生的口语音频时，可以同步听取音频并看到音频中正在朗读的文本。同时，本发明使老师在听取学生录音的同时，可以随时录制老师的语音反馈，放置在学生录音中有问题的时间点，使学生在查看老师批改反馈的时候，准确地在有问题的时间点听取老师给出的语音反馈。本发明因此能够提高老师批改口语时定位学生问题的精准度和效率。

附图说明

图1为本发明方法的流程图；

图2为本发明装置的功能框图；

图3为根据本发明实施例的同步录制模块示意图；

图4为为根据本发明实施例的同步录制数据库存储示意图；

图5为根据本发明实施例的同步回放模块示意图；

图6为为根据本发明实施例的同步回放数据库存储示意图；

图7为根据本发明实施例的语音反馈模块示意图；

图8为为根据本发明实施例的语音反馈数据库存储示意图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

参照图1，本发明公开的一种音频与文本同步录制方法，包括：音频和文本同步录制步骤、同步回放步骤和添加语音反馈步骤，同步录制步骤通过用户滑动光标，边录音边标记文本的方式来录制同步数据并存储在数据库中；同步回放步骤从数据库中按时刻查找并标记文本，达到语音和文本标记同步回放的效果；添加语音反馈步骤在录音文本中选择需要反馈的位置，录制反馈音频，并将音频文件图标放置在此位置。参照图2，本发明公开的一种音频与文本同步录制装置包括同步录制模块、同步回放模块、语音反馈模块、数据存储模块，其中，同步录制模块通过用户滑动光标，边录音边标记文本的方式来录制同步数据；同步回放模块从数据库中按时刻查找并标记文本，达到语音和文本标记同步回放的效果；语音反馈模块在录音文本中选择需要反馈的位置，在此位置录制反馈音频，并将音频文件图标放置在此位置；数据存储模块用于存储所述音频、文本以及数据对应关系。本发明适用于口语教学，使老师在批改学生口语音频时，可以同步听取音频并看到音频中正在朗读的文本，可以让老师在学生提交音频的某一个时间点给出语音反馈音频。下面以老师批改学生音频为例，详细描述本发明的具体实现过程。

步骤10、音频和文本同步录制

该步骤主要通过用户滑动光标，边录音边标记文本的方式来录制音频和文本的同步数据，并存储在数据库中。具体包括以下步骤：

第101步：学生将准备朗读的文本提交到装置，装置可以是电脑或手机等设备的形式，文本以段落形式显示在的设备屏幕上。

第102步：文本区域开始处显示一个光标指针，指针可以滑动以标记文本。

第103步：学生开始录制语音音频。

第104步：同步录制模块计时器从0开始计时，同时，同步录制模块将音频数据写入数据存储模块中。

第105步：学生边读文本，边滑动光标指针，控制指针滑过正在读的文本。

第106步：光标每滑过一个文本单位(字符或单词)，同步录制模块记录此文本单位和当前的时刻，并保存到数据库中。被滑过的文本被标记，例如，但不限于：背景色改变、字体颜色改变、加下划线、字体改变、字号改变等。被多次滑过的文本可被重叠标记，例如，但不限于：多重加深背景色、字体多重颜色加深、多重下划线、字号改变多级等。

如图3所示，学生开始录音后，边用手指(或鼠标)滑过文本，边读取正在滑过的文本；本实施例中使用了下划线来标记文本的方式，但本发明不限于此种标记方式；滑过并读过的文本下面多了下划线，若学生重复滑过并朗读了文本，文本下划线会叠加，如图3所示，“becoming bigger and”被滑过并朗读两次，则文本下方有2层下划线，同理，若滑过朗读n次，则有n层下划线。

第107步：若屏幕显示不全所有文本，每当一行文本被全部标记后，文本段落自动向下滚动一行。

第108步：学生结束录制语音音频。

第109步：录制模块计时器停止计时。

数据库中记录的文本单位和时间点如图4所示，Index一列是数据库的索引，文本单位编号列记录的是文本中被滑过的文本单位的编号；本实施例以单词为单位，但本发明不限于此种单位，例如，也可以以单个字母为文本单位；文本内容列记录此文本单位的内容，光标滑过时间点一列记录滑过此文本单位时的时间点。“becoming bigger and”被滑过两次，所以数据库中先后记录了两次。

步骤20、同步回放

本步骤主要实现从数据库中按时间点查找并标记文本，达到语音和文本标记同步回放的效果。向老师提供回放学生的语音并同步显示当前正在读的文本的功能。具体包括以下步骤：

第201步：电脑或手机等设备的屏幕上显示学生提交上来的文本段落。

第202步：文本区域开始处显示一个可移动的光标指针，指针可移动，用于指示当前正在播放的位置。

第203步：同步回放模块计时器从0开始计时。

第204步：播放学生录制并提交的语音，同步回放模块每隔n毫秒检查数据库，把小于当前时刻的被记录的文本单位进行标记，例如，但不限于：背景色改变、字体颜色改变、加下划线、字体改变、字号改变等。被多次滑过的文本可被重叠标记，例如，但不限于：多重加深背景色、字体多重颜色加深、多重下划线、字号改变多级等。

如图5和图6所示，同步回放计时开始后，同步回放模块在数据库中搜索，把小于当前时刻点的所有文本单位进行标记。例如，假设此刻时间点是00:00:13.30，则在数据库中，Index从1～21的文本单位都被标记过了，且“Becoming”和“bigger”被标记了两次，如图所示，标记一次和标记两次的文本显示了不同颜色的字体背景颜色；此时刻“and”只被标记过一次，还尚未被标记第二次；本实施例中使用了改变字体背景颜色的方式来标记文本，但本发明不限于此种标记方式。

第205步：若屏幕显示不全所有文本，每当一行文本被全部标记后，文本段落自动向下滚动一行。

第206步：若用户选择暂停回放，则音频播放暂停，暂停计时。

第207步：当用户选择继续回放时，继续计时。转到第204步。

第208步：若用户选择点击文本中的某一点，同步回放模块在数据库中寻找被点击的文本单位的所对应的时间点，若此文本单位对应多个时间点，选择最早的一个时间点。

第209步：同步回放模块计时器从这个时间点重新开始计时。

第210步：文本中，在此文本单位之后的被标记的文本，全部还原为未标记状态。

第211步：音频播放时间点回到此时间点。转到第204步。

第212步：用户选择结束回放。

第213步：回放结束。

步骤30、添加语音反馈

本步骤主要完成在录音文本中选择需要反馈的位置，录制反馈音频，并将音频文件图标放置在此位置。可供老师在学生提交的语音和文本的某一个时间点(例如，学生犯错误的时刻)放置自己的语音留言，供学生参考。具体包括以下步骤：

第301步：老师选择点击文本中的某一点。

第302步：若同步回放模块正在同步回放，暂停同步回放。

第303步：语音反馈模块在数据库中寻找被点击的文本单位的所对应的时间点。

第304步：若此文本单位对应多个时间点，选择最早的一个时间点。

第305步：老师开始录音。

第306步：老师结束录音。

第307步：语音反馈模块将此反馈音频和第304步中的时间点一起存储到数据库中。

第308步：语音反馈模块在数据库中搜索所有反馈音频和其对应的时间点的文本单位，在有反馈音频的每个文本单位附近显示一个音频信息的图标。

第309步：点击音频信息的图标，则开始播放对应的反馈音频信息。

第310步：反馈音频播放过程中，点击此音频图标，暂停播放此反馈音频。

如图7和图8所示，老师用户在“number”和“held”两个文本单位处录制了反馈音频，数据库中记录了这两处文本单位的编号、对应的时间点和老师在此处录制的反馈音频文件。文本段落中在录制有反馈音频的文本单位旁边显示了音频信息图标，点击此图标可以播放或暂停老师的反馈音频。