视频帧同步时嵌入音频的处理系统及处理方法
【技术领域】
[0001]本发明涉及音视频数据处理技术领域，更具体地，涉及一种视频帧同步时嵌入音频的处理系统及处理方法。
【背景技术】
[0002]数字视频的行逆程或者场逆程会放置嵌入音频数据包，视频从发送时钟域(clk_tx)进入参考时钟域(clk_ref)，由于时钟不同，需要进行帧同步操作，视频帧同步的基本操作方法是，用clk_tx时钟将视频数据写入缓冲区buf，再用clk_ref时钟把视频数据从缓冲区buf读出，按照clk_ref时钟域重新形成视频流。由于发送时钟clk_tx和参考时钟clk_ref之间必然会存在偏差，为了视频画面不出现撕裂，跳帧等现象，必然要对视频数据进行整帧抛帧，或者整帧重复输出的操作。物体在快速运动时，当人眼所看到的影像消失后，人眼仍能继续保留其影像0.1-0.4秒左右的图像，这种现象被称为视觉暂留现象。视频刷新率主要有 23.98HZ，24HZ，，25HZ，29.97HZ, 30Hz, 50HZ, 59.94HZ，60HZ 等，刷新率最低的23.98HZ的视频，它一帧视频的时间是0.0417秒，远低于人眼的视觉暂留时间0.1-0.4秒，所以，偶尔丢失一帧或者重复一帧视频，人眼一般不会察觉。
[0003]数字音频是我们保存声音信号，传输声音信号的一种方式，它的特点是信号不容易损失。而模拟信号是我们最后可以听到的东西。采样频率就是采用一段音频，作为样本，因为wav使用的是数码信号，它是用一堆数字来描述原来的模拟信号，所以它要对原来的模拟信号进行分析，我们知道所有的声音都有其波形，数码信号就是在原有的模拟信号波形上每隔一段时间进行一次取点，赋予每一个点以一个数值，这就是采样，然后把所有的点连起来就可以描述模拟信号了，很明显，在一定时间内取的点越多，描述出来的波形就越精确，这个尺度我们就称为“采样频率”。
[0004]经过采样得到的数字音频样点，封装起来放到视频的逆程中，随着视频数据进行传输，这就是音频的嵌入过程。音频的嵌入遵循标准SMPTE272M。
[0005]帧同步的操作中，视频可以整帧进行抛弃或者重复，但是该帧进行抛弃或者重复的视频中嵌入的音频数据却不能简单抛弃或者重复，否则会造成音频出现爆音，频率不对，或者其他不可忽视的问题，因此对嵌入的音频数据要进行专门的处理。现有的嵌入音频同步操作方法:如图1所示，先用视音频数据分离模块把嵌入音频从视频数据中解嵌出来，再把解嵌出来的数字音频数据进行数模转换，恢复为模拟音频信号，然后用参考时钟对该模拟信号进行重采样，对采样后的模拟信号进行模数转换，最后把采样得到的音频样点由视音频嵌入模块重新嵌入到已做完帧同步的视频信号中。这种方法使嵌入音频的处理设备复杂，增大了电路面积，增加了开发资金和开发时间，同时，也扩大了音频在视频帧同步处理过程中所受的影响。
【发明内容】
[0006]有鉴于此，本发明的主要目的在于提供一种视频帧同步时嵌入音频的处理系统及处理方法，能够解决现有技术中存在的处理设备复杂、音频所受影响大的问题。
[0007]为达到上述目的，本发明的技术方案是这样实现的:
[0008]一方面，本发明提供了一种视频帧同步时嵌入音频的处理系统，包括视音频数据分离模块、视频帧同步模块、音频重采样模块和视音频数据嵌入模块，其中，视音频数据分离模块，用于将带有嵌入音频的视频信号分离成同步的视频数据和音频数据，并将视频数据和音频数据分别输出给视频帧同步模块和音频重采样模块；视频帧同步模块，用于对视频数据进行处理，输出帧同步的状态信号给音频重采样模块，同时输出帧同步完成后的视频数据给视音频数据嵌入模块；帧同步的状态信号包括:抛帧信号和加帧信号；音频重采样模块，用于对音频数据进行重采样，同时，基于接收到的抛帧信号或者加帧信号，进行相应的减少音频样点或者增加音频样点的操作，并将完成重采样后的音频数据输出给视音频数据嵌入模块；视音频数据嵌入模块，用于将帧同步完成后的视频数据和完成重采样后的音频数据重新组合成带有嵌入音频的视频信号并输出。
[0009]优选地，视频帧同步模块包括:第一接收单元、第一处理单元和第一存储单元，其中，第一接收单元，用于接收视频数据并将视频数据缓存于第一存储单元；第一处理单元，用于读取缓存于第一存储单元中的视频数据并对视频数据进行帧同步处理，将处理后的视频数据缓存于第一存储单元，同时，输出抛帧信号或者加帧信号给音频重采样模块。
[0010]优选地，音频重采样模块包括:第二接收单元、检测单元、第二处理单元和第二存储单元，其中，第二接收单元，用于接收音频数据并将音频数据缓存于第二存储单元；检测单元，用于检测是否有来自于视频帧同步模块输出的抛帧信号或者加帧信号，并将抛帧信号或者加帧信号发送给第二处理单元；第二处理单元，用于读取缓存于第二存储单元中的音频数据并对音频数据进行重采样，同时，基于接收到的抛帧信号或者加帧信号，进行相应的减少音频样点或者增加音频样点的操作，并将完成重采样后的音频数据缓存于第二存储单元。
[0011]优选地，基于接收到的抛帧信号进行相应的减少音频样点的操作包括:每帧的任意点抛弃一个音频样点，这个操作一直进行到处理的帧数等于所需减少的音频样点的总数。
[0012]优选地，基于接收到的加帧信号进行相应的增加音频样点的操作包括:每帧的任意点增加一个音频样点，增加的音频样点的值等于所要插入地方的前一个样点的值，这个操作一直进行到处理的帧数等于所需加的音频样点的总数。
[0013]另一方面，本发明还提供了一种视频帧同步时嵌入音频的处理方法，包括:视音频数据分离模块将带有嵌入音频的视频信号分离成同步的视频数据和音频数据，并将视频数据和音频数据分别输出给视频帧同步模块和音频重采样模块；视频帧同步模块对视频数据进行处理，输出帧同步的状态信号给音频重采样模块，同时输出帧同步完成后的视频数据给视音频数据嵌入模块；其中，帧同步的状态信号包括:抛帧信号和加帧信号；音频重采样模块对音频数据进行重采样，同时，基于接收到的抛帧信号或者加帧信号，进行相应的减少音频样点或者增加音频样点的操作，并将完成重采样后的音频数据输出给视音频数据嵌入模块；视音频数据嵌入模块将帧同步完成后的视频数据和完成重采样后的音频数据重新组合成带有嵌入音频的视频信号并输出。
[0014]优选地，视频帧同步模块对视频数据进行处理，输出帧同步的状态信号给音频重采样模块的步骤包括:第一接收单元接收视频数据并将视频数据缓存于第一存储单元；第一处理单元读取缓存于第一存储单元中的视频数据并对视频数据进行帧同步处理，将处理后的视频数据缓存于第一存储单元，同时，输出抛帧信号或者加帧信号给音频重采样模块。
[0015]优选地，音频重采样模块对音频数据进行重采样，同时，基于接收到的抛帧信号或者加帧信号，进行相应的减少音频样点或者增加音频样点的操作的步骤包括:第二接收单元接收音频数据并将音频数据缓存于第二存储单元；检测单元检测是否有来自于视频帧同步模块输出的抛帧信号或者加帧信号，并将抛帧信号或者加帧信号发送给第二处理单元；第二处理单元读取缓存于第二存储单元中的音频数据并对音频数据进行重采样，同时，基于接收到的抛帧信号或者加帧信号，进行相应的减少音频样点或者增加音频样点的操作，