素数据从帧缓存拷贝到预先分配的内存缓存中。然后插入到截屏图片缓存队列中，接着根据录制视频格式由后续的编码模块将像素数据转换为对应的可编码数据格式。同时截屏周期控制器(计时器)开始计时，当达到下一次接预定周期截屏时间时由截屏器进行再次截屏操作。
[0038]如图2所示，语音录制器与录制控制器通信，其包括音频采集器和音频样本缓存器，语音录制器首先周期性地从麦克风采集声音信号，并传输到系统声卡，声卡中的模数转换器以44.1KHz的采样频率，8位或16位量化位，将声音模拟数据转换为计算机处理的数字数据，转换得到的音频样本放入音频样本缓存中以作进一步处理。再经过音频视频同步操作，调用音频编码器进行音频编码后，与视频编码的帧交叉写入到最终的视频文件中。
[0039]时钟同步器分别与所述界面录制器和所述语音录制器通信，实现录制时钟与真实外部时钟的同步，即录制生成的视频画面与录制开始后的屏幕图片一致，视频中的声音与录制开始后的音频输入一致。参阅图3，为保证录制视频中的声音和视频画面同步，在进行每次编码操作前需要进行音视频同步，即根据图像样本的时间戳和音频样本的时间戳对其进行排列，使得音频样本的时间戳不早于对应的图像样本的时间戳。具体同步过程如下:截屏屏幕获取一帧图像样本，输出该图像样本及其时间戳，该时间戳作为编码的PTS (解码时间戳)。在截取屏幕的同时，利用语音录制器录制一帧音频样本，输出该音频样本的时间戳作为编码的PTS。假设将音频编码后的帧序列(即音频样本的序列)和视频编码后的帧序列(即图像样本的序列)看作音频流和视频流，流中最新编码一帧的时间戳为流的时间戳。编码过程中音视频同步是在音频编码时以视频流为参考，保证当前音频流时间戳(即音频样本的时间戳)不超过当前视频流时间戳(即对应图像样本的时间戳)，如果当前音频流程超过视频流，则需等待视频编码过程，直到视频流时间戳超过音频流时间戳。如此保证编码后的音视频数据是根据实际时间戳交错写入视频文件中的。
[0040]文件流管理器与时钟同步器通信，其设有视频编码器和音频编码器，用于将截取的视频数据和采集的音频数据序列压缩成视频流格式。参阅图4，首先初始化视频编码器和音频编码器，在多线程临界区同步控制下，音频编码线程从全局音频样本的队列中获取音频样本用以生成音频数据，采集过程中对样本队列的写操作需要使用锁同步，并在写完一次采集的样本后解锁，避免出现死锁；视频编码的处理方法类似，在音频编码的同时从全局图像样本的队列中获取一帧图像样本用以生成视频数据。
[0041]视频编码先将截屏得到的图像数据转换为编码器对应的可编码格式，准备好输出缓冲区存放编码后的包数据，然后调用编码器编码单张图像数据，缓存该帧，循环执行编码过程，直到所有剩余的图像帧被编码。将采集到的声音样本数据，在同步控制下，使用ffmpeg的音频编码器压缩音频样本，生成音频数据，再将编码输出缓冲区内的音频数据写入视频数据中，从而获得用于微视频教学的视频音频文件。
[0042]本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。
【主权项】
1.一种微视频课程制作系统，用于实施录制教学板书演示和语音讲解，其特征在于，包括: 板书工具，其用于提供用户操作的输入接口 ； 录制控制器，其与所述板书工具通信，接收并在屏幕中实时显示用户操作，同时控制截取屏幕的时间及参数； 界面录制器，其与所述录制控制器通信，根据设置的参数截取在教学板书演示时屏幕中的用户操作和/或程序运行状态，从而获取一帧以上图像样本； 语音录制器，其与所述录制控制器通信，用于获取语音讲解时的一帧以上音频样本；时钟同步器，其分别与所述界面录制器和所述语音录制器通信，用于使每一帧图像样本与每一帧音频样本保持时间同步； 文件流管理器，其与所述时钟同步器通信，用于根据所述图像样本编码生成视频数据，根据所述音频样本生成音频数据，通过保存及整合视频数据和音频数据，从而生成用于微视频课程教学的视频音频文件。
2.如权利要求1所述的微视频课程制作系统，其特征在于，所述录制控制器包括屏幕截取单元、录制交互单元和录制参数配置单元；其中，所述屏幕截取单元用于抓取屏幕图片，所述录制交互单元用于录制用户操作，所述录制参数配置单元用于修改生成由所述图像样本所生成的视频的帧率、比特和格式。
3.如权利要求1所述的微视频课程制作系统，其特征在于，所述界面录制器包括截屏周期控制器、截屏器和截屏图片缓存器；所述截屏周期控制器、所述截屏器和所述截屏图片缓存器依次通信，所述截屏周期控制器用于设置所述截屏器的截屏时间周期，截取的多帧连续的图像样本缓存于所述截屏图片缓存器中。
4.如权利要求1所述的微视频课程制作系统，其特征在于，所述语音录制器包括音频采集器和音频样本缓存器，所述音频采集器采集语音讲解时的音频样本，所述音频样本缓存器用于缓存所述音频样本。
5.如权利要求1所述的微视频课程制作系统，其特征在于，所述文件流管理器采用ffmpeg的音视频处理框架编码生成所述视频音频文件。
6.一种微视频课程制作方法，其特征在于，包括如下步骤: 步骤一:周期性地截取教学板书演示时的屏幕获取一帧以上图像样本，及获取语音讲解时的一帧以上音频样本； 步骤二:配置所述图像样本和所述音频样本的时间戳； 步骤三:按所述时间戳的顺序使所述图像样本和所述音频样本保持时间同步； 步骤四:对所述图像样本进行编码生成视频数据，对所述音频样本进行编码生成音频数据； 步骤五:将所述视频数据和所述音频数据整合，生成用于微视频课程教学的视频音频文件。
7.如权利要求6所述的制作方法，其特征在于，步骤三中，按所述时间戳的顺序组合所述视频数据和所述音频数据，其包括如下步骤: 步骤Ia:获取当前经过编码生成的一帧视频数据和一帧音频数据的时间戳； 步骤Ib:若所述图像样本的时间戳早于或等于所述音频样本的时间戳，则将所述图像样本和所述音频样本根据所述时间戳先后进行排列；若所述图像样本的时间戳晚于所述音频样本的时间戳，则获取下一帧图像样本的时间戳直到时间戳不晚于所述音频视频的时间戳时，将所述图像样本和所述音频样本根据所述时间戳先后进行排列； 步骤Ic:重复上述步骤Ia与步骤lb，直至所述图像样本和所述音频样本保持时间同步为止。
【专利摘要】本发明公开了一种微视频课程制作系统，用于实施录制教学板书演示和语音讲解，包括：板书工具，其用于提供用户操作的输入接口；录制控制器，其接收并在屏幕中实时显示用户操作，同时控制截取屏幕的时间及参数；界面录制器，其根据设置的参数截取在教学板书演示时屏幕中的用户操作和/或程序运行状态获取图像样本；语音录制器，其用于获取语音讲解时的音频样本；时钟同步器，其用于使图像样本与音频样本保持时间同步；及文件流管理器，其用于生成视频数据和音频数据，从而生成用于微视频课程教学的视频音频文件。本发明提供了一种集成度高、可单人操作且视频音频同步的制作系统。本发明同时还公开了一种微视频课程制作方法。
【IPC分类】H04N21-431, H04N21-8547, H04N21-43
【公开号】CN104581346
【申请号】CN201510019106
【发明人】钱冬明, 王新华, 祝智庭
【申请人】华东师范大学, 上海华师智慧信息技术有限公司
【公开日】2015年4月29日
【申请日】2015年1月14日