基于语音和数字板书同步回放的习题解答教学方法与流程

本发明涉及一种基于语音、数字板书的教学方法，尤其能提升理科课后习题的解答效果。

背景技术：

目前，老师对于习题的解答方式主要有两种：一种是给出答案，复杂点的题目给出解题步骤，让学生自己去消化；还有一种是老师占用课堂时间给学生解答。这两种方式都存在一些弊端，对于第一种形式，即使有解题步骤，也不能达到思路引导的目的，而对于难题来说解题思路至关重要。另外一种形式虽然解答效果明显高于前一种，但是需要消耗课堂时间。

技术实现要素：

本发明要解决的问题是针对课后习题，老师在不占用课堂教学时间的情况下无法给出解题思路引导。

本发明解决实际问题所采用的技术方案是：一种基于语音和数字板书同步回放的习题解答教学方法，包括：同步记录老师解题时的语音和其在手写板上的板书数据，所述板书数据包括轨迹坐标值和时间；将语音和板书数据压缩打包成录制文件后上传到web服务器，生成回放链接；学生访问回放链接，请求并解压录制文件，回放录制文件中的语音，板书数据根据语音时间轴进行同步显示，重现老师带语音引导的解题过程。整个录制过程只需要记录语音和老师在手写板上的板书数据，语音的码率可以压制得非常小，而板书数据记录的是轨迹坐标值和时间，压缩率更有保障，把语音和板书数据打包成文件后非常有利于网络传输。

进一步地，记录语音和板书数据的平台为支持语音输入及手写笔的平板电脑，或者普通Windows/Mac台式机+可视化手写板(如Wacom Cintiq 13HD)+外置麦克风。

进一步地，录制文件支持跨平台回放，通过帧更新事件或计时器(不支持帧更新事件的平台上使用)读取语音的时间轴来判断当前时间点上是否有板书数据需要被展示。

进一步地，根据轨迹坐标值和时间生成包括笔迹绘制开始时间和绘制时长的笔迹路径，在回放过程中，当接收学生的暂停操作时中断当前路径的绘制，继续播放时恢复当前路径剩余部分的绘制。

进一步地，在手写板的书写区域按需在垂直方向上进行扩展，空间上不受限制，并通过滚动显示书写区域的操作来保持板书的连续性，书写区域的扩展和滚动操作均在录制时记录，回放时在记录的时间点上重现这些操作。

本发明的有益效果是：本发明采用高效的数据采集方式，记录语音、板书数据及操作指令，打包压缩传输，基于语音时间轴回放板书数据及其操作指令，回放过程可在多终端实现。老师不必占用课堂教学时间就可以将带思路引导的习题解答过程展示给学生，这个解答过程的书写空间比教室的黑板更加连续且不受限制，这个解答过程的录制比视频的录制编码占用更小的系统资源，录制的文件也远小于视频文件，能够提高网络传输的效率。本发明习题解答的形式能达到思路引导的良好效果。

附图说明

图1是本方法的数据采集实现流程图；

图2是本方法中基于语音时间轴的笔迹路径同步回放流程图；

图3是本方法的PC端平台采集和回放实施例；

图4是本方法的移动端平台采集和回放实施例；

图5是本方法的数据采集原型示例图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明，本发明的目的和效果将更加明显。

本发明提供的一种基于语音和数字板书同步回放的习题解答教学方法，包括：同步记录老师解题时的语音和其在手写板上的板书数据，所述板书数据包括轨迹坐标值和时间；将语音和板书数据压缩打包成录制文件后上传到web服务器，生成回放链接；学生访问回放链接，请求并解压录制文件，回放录制文件中的语音，板书数据根据语音时间轴进行同步显示，重现老师带语音引导的解题过程。整个录制过程只需要记录语音和老师在手写板上的板书数据，语音的码率可以压制得非常小，而板书数据记录的是轨迹坐标值和时间，压缩率更有保障，把语音和板书数据打包成文件后非常有利于网络传输。

进一步地，记录语音和板书数据的平台为支持语音输入及手写笔的平板电脑，或者普通Windows/Mac台式机+可视化手写板(如Wacom Cintiq 13HD)+外置麦克风。

进一步地，录制文件支持跨平台回放，通过帧更新事件或计时器(不支持帧更新事件的平台上使用)读取语音的时间轴来判断当前时间点上是否有板书数据需要被展示。

进一步地，根据轨迹坐标值和时间生成包括笔迹绘制开始时间和绘制时长的笔迹路径，在回放过程中，当接收学生的暂停操作时中断当前路径的绘制，继续播放时恢复当前路径剩余部分的绘制。

进一步地，在手写板的书写区域按需在垂直方向上进行扩展，空间上不受限制，并通过滚动显示书写区域的操作来保持板书的连续性，书写区域的扩展和滚动操作均在录制时记录，回放时在记录的时间点上重现这些操作。

在图1中板书的操作与语音的记录时间同步，所有操作都有时间点，包括笔迹路径的绘制、撤销绘制、扩展和滚动画布。笔迹路径的记录还包括单条路径的绘制耗时。解题步骤书写区域的画布可在垂直方向上进行按需扩展，并用滚动条控制显示的形式保证了板书的连续性，相对于黑板上的板书，本方法中的数字板书不受物理空间的限制。相对于传统视频录制来说，本方法中数据的编码和压缩过程对录制机器的性能损耗更低，录制的数据体积更小，提高了在各种网络环境中的可传输性。

图2是整个回放流程中的关键部分，为了保证同步性，数字板书回放的时间轴直接使用语音播放的时间轴，这样无论用户如何控制播放进程(暂停、快进、回退)，板书进度都是准确的，当然精确度依赖于frame update(帧更新)的时间，通常支持帧更新的运行环境都能保证60Hz的刷新率,也就是60帧/秒，按照流程图中的步骤，每条路径绘制的时间误差都小于1000/60(约等于16.7)毫秒，并且误差不会累加，肉眼无法感知这个误差，看起来就是同步的。

图3所示的实施例中，采集硬件平台为Surface Pro4，采集软件环境为Chrome浏览器，使用HTML5标准下的SVG元素作为画布，用Surface Pen触控笔代替鼠标执行板书操作指令，通过navigator.getUserMedia获取麦克风输入的语音数据并编码，当开始录制指令触发时，录音就开始执行，绘制笔迹路径示例：当Surface Pen接触SVG画布时通过mouseDown事件记下起始坐标点和时间(距离开始录制时的偏移时间)，按住并移动时通过mouseMove事件记录经过的点并用Path标签进行绘制，释放时通过mouseUp事件记录终止时间，单条路径就绘制完成了，存入指令队列。当单屏幕区域画布无法满足板书书写空间时，通过点击扩展画布按钮执行画布扩展指令并创建滚动条，垂直方向上拖动滚动条就有了连续的更多的板书空间。结束录制时通过对录音和板书的数据以zip格式进行打包和压缩，然后上传到用node.js创建的http服务器中，生成可访问的超链接，将这个超链接共享出去，学生在跨平台的Chrome浏览器中打开包含回放程序的页面链接就可以观看，观看的初始操作包含了数据请求和解压的过程，播放过程可参考图2的流程。对于PC端采集的硬件平台也可换成普通Windows/Mac台式机+可视化高灵敏度手写板(如Wacom Cintiq 13HD)+外置麦克风。

图4是本方法的第二个实施例，软硬件平台换成了移动端，这里以Android平台为例，采集硬件平台为三星Note Pro,用三星S Pen触控笔代替手指触控执行板书操作指令，采集软件环境为Android原生开发的应用，区别于图3的实施例，本实施例生成的数据跨平台回放兼容性更好，因为移动端原生应用的音频编码的兼容性更好，回放环境可以是所有平台下支持HTML5的浏览器或移动端原生开发的回放应用(包括iOS平台下的回放)；本实施例的采集平台也可以换成Android阵营，如采集硬件平台可换成iPad Pro，触控笔为Apple Pencil，采集软件环境换成iOS原生开发的应用。

图5是本方法的数据采集原型示例图，图中画布上的板书为手写笔绘制，实际保存的是路径数据，当板书空间不足时点击【扩展画布】按钮扩展画布，实现空间的可扩展性，并在垂直方向上按需滚动显示画布保持板书的连续性。