一种多屏联动音视频同步系统的制作方法
【技术领域】
[0001]本发明涉及流媒体领域，特别涉及一种多屏联动音视频同步系统。
【背景技术】
[0002]随着网络电视，通信技术及多媒体产品的迅速发展，流媒体技术成为近年来兴起的一种在线播放技术，即边下载边播放，播放器并不用等到多媒体文件全部下载到本地存储后再播放，而是下载的同时进行播放。视频和音频的同步是媒体服务器提供视频功能的重要环节，通常情况下，音频和视频数据存放在一个媒体文件中，并通过时间戳进行同步，音视频同步采用PTS来实现音视频同步，音频同步视频PTS，视频同步音频PTS或者音视频同步STC。目前，多屏联动技术已经相对成熟，广泛用于各个终端产品之间交互，一个智能终端作为主机，主机终端可以是手机或平板电脑，另一个终端作为从机，从机终端可以是电视或者手机，可以通过主机来控制从机显示的内容，所以多屏联动的音视频同步是一个非常重要的问题，在现有技术中也主要通过时间戳来控制音视频的同步，所以一般流媒体播放系统中音视频数据同步需要打包封装及写入时间戳等步骤。
【发明内容】
[0003]为了克服现有技术的不足，本发明提供了一种多屏联动音视频同步系统，通过该系统，无需对原始音视频数据进行打包，插入时间戳等步骤，只要将编码后的每一帧音视频数据发送即可，同时对于接收端来说，直接将音视频数据立即解码播放即可，所以该系统很大程度上简化了信源端编码的流程，同时也保证了视频数据与音频数据的同步性。
[0004]本发明提供的技术方案为:
[0005]一种多屏联动音视频同步系统，包括信源编码端和接收端；
[0006]所述信源编码端包括:
[0007]视频编码模块，其用以对原始视频数据进行编码；
[0008]音频编码模块，其用以对原始音频数据进行编码；
[0009]视频数据TCP发送模块，其通过TCP协议将编码后的视频数据发送至所述接收端;
[0010]音频数据UDP发送模块，其通过UDP协议将编码后的音频数据发送至所述接收端;
[0011]其中，对原始视频数据的编码与对原始音频数据的编码同时进行，编码后的视频数据的发送时间与编码后的音频数据的发送时间的间隔小于40ms，所述接收端用于接收并播放编码后的视频数据以及编码后的音频数据。
[0012]优选的是，所述的多屏联动音视频同步系统，其特征在于，所述接收端包括:
[0013]视频解码模块，用以对编码后的视频数据进行解码；
[0014]音频解码模块，用以对编码后的音频数据进行解码。
[0015]优选的是，所述的多屏联动音视频同步系统，其特征在于，所述接收端包括:
[0016]视频数据编码帧数反馈调节模块，其用于计算编码后的视频数据的帧数以及解码后的视频数据的帧数的差值，当所述差值超出预定区间时，则调节所述视频编码模块的码率参数，降低码率，所述预定区间为6?8帧。
[0017]优选的是，所述的多屏联动音视频同步系统，其特征在于，所述信源编码端包括:
[0018]编码帧率反馈调节模块，其用来计算所述视频编码模块编码的帧率，通过调节所述视频编码模块的码率参数，降低或提高码率，使帧率稳定在24fps。
[0019]优选的是，所述的多屏联动音视频同步系统，其特征在于，所述视频编码模块采用H.264RP编码时只输出I帧和P帧。
[0020]优选的是，所述的多屏联动音视频同步系统，其特征在于，所述音频编码模块为AAC编码器。
[0021]优选的是，述的多屏联动音视频同步系统，其特征在于，所述接收端包括一显示屏，所述显示屏用于播放解码后的视频数据与解码后的音频数据。
[0022]本发明所述的多屏联动音视频同步系统，与现有技术相比，采用不同网络协议发送音视频数据，视频数据采用TCP协议发送，TCP的可靠传输保证了视频数据的完整准确，避免了因丢帧引起的马赛克。音频数据采用UDP发送，保证了在网络带宽被视频数据大量占用的情况下数据仍能快速传输，保证音视频数据的同步。音视频数据采用不同网络协议分通道发送，最大程度的利用了网络带宽，保证了音频数据和视频数据的实时性，同步性。采用该系统简化了信源端的编码流程及接收端的解码流程，去除了一般流媒体播放系统中音视频数据打包封装及写入时间戳等步骤，有效降低了系统开销。
【附图说明】
[0023]图1为本发明所述的多屏联动音视频同步系统的组成示意图。
【具体实施方式】
[0024]下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
[0025]如图1所示，本发明提供了一种多屏联动音视频同步系统，包括:
[0026]一种多屏联动音视频同步系统，包括信源编码端和接收端；
[0027]所述信源编码端包括:
[0028]视频编码模块，其用以对原始视频数据进行编码，所述视频编码模块采用H.264RP进行编码，编码时只输出I帧和P帧；
[0029]音频编码模块，其用以对原始音频数据进行编码，所述音频编码模块为AAC编码器；
[0030]视频数据TCP发送模块，其通过TCP协议将编码后的视频数据发送至所述接收端;
[0031]音频数据UDP发送模块，其通过UDP协议将编码后的音频数据发送至所述接收端;
[0032]编码帧率反馈调节模块，其用来计算所述视频编码模块编码的帧率，通过调节所述视频编码模块的码率参数，降低或提高码率，使帧率稳定在24fps，这样编码器在系统中被设计成编码帧率跟随视频帧数据发送节拍动态调节，因此网络传输状况通过帧率实时反映出来，当帧率不等于24fps时，对视频编码器码率参数进行调节，以降低或提高码率，保证帧率稳定在24fps。
[0033]所述接收端，可以为多个，每个接收端均包括:
[0034]视频解码模块，用以对编码后的视频数据进行解码；
[0035]音频解码模块，用以对编码后的音频数据进行解码。
[0036]视频数据编码帧数反馈调节模块，其用于计算编码后的视频数据的帧数以及解码后的视频数据的帧数的差值，当所述差值超出预定区间时，则调节所述视频编码模块的码率参数，以降低码率，所述预定区间为6?8帧，也就是因网络数据时延为180?240ms。
[0037]显示屏，所述显示屏用于播放解码后的视频数据与解码后的音频数据。
[0038]其中，对原始视频数据的编码与对原始音频数据的编码同时进行，可以通过一控制开关来控制，由于对原始视频数据的编码率与对原始音频数据的编码率不一样，但是控制编码后的视频数据的发送时间与编码后的音频数据的发送时间的间隔小于40ms，所述接收端用于接收并播放解码后的视频数据以及解码后的音频数据，通过编码帧率反馈调节模块和视频数据编码帧数反馈调节模块的调控，显示屏播放视频数据与音频数据的时间间隔不超过160ms，人们看和听是感觉不出来这个时间间隔的，所以保证了视频数据和音频数据的同步。
[0039]由于视频数据量远远大于音频数据量，为了避免视频占用大量网络带宽导致音频传输延时的问题，采用不同网络协议发送音视频数据，视频数据采用TCP协议发送，TCP的可靠传输保证了视频数据的完整准确，避免了因丢帧引起的马塞克；音频数据采用UDP发送，保证了在网络带宽被视频数据大量占用的情况下数据仍能快速传输，保证音视频数据的同步。
[0040]尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。
【主权项】
1.一种多屏联动音视频同步系统，其特征在于，包括信源编码端和接收端； 所述信源编码端包括: 视频编码模块，其用以对原始视频数据进行编码； 音频编码模块，其用以对原始音频数据进行编码； 视频数据TCP发送模块，其通过TCP协议将编码后的视频数据发送至所述接收端； 音频数据UDP发送模块，其通过UDP协议将编码后的音频数据发送至所述接收端；其中，对原始视频数据的编码与对原始音频数据的编码同时进行，编码后的视频数据的发送时间与编码后的音频数据的发送时间的间隔小于40ms，所述接收端用于接收并播放编码后的视频数据以及编码后的音频数据。
2.如权利要求1所述的多屏联动音视频同步系统，其特征在于，所述接收端包括: 视频解码模块，用以对编码后的视频数据进行解码； 音频解码模块，用以对编码后的音频数据进行解码。
3.如权利要求2所述的多屏联动音视频同步系统，其特征在于，所述接收端包括: 视频数据编码帧数反馈调节模块，其用于计算编码后的视频数据的帧数以及解码后的视频数据的帧数的差值，当所述差值超出预定区间时，则调节所述视频编码模块的码率参数，降低码率，所述预定区间为6?8帧。
4.如权利要求2或3所述的多屏联动音视频同步系统，其特征在于，所述信源编码端包括: 编码帧率反馈调节模块，其用来计算所述视频编码模块编码的帧率，通过调节所述视频编码模块的码率参数，降低或提高码率，使帧率稳定在24fps。
5.如权利要求2所述的多屏联动音视频同步系统，其特征在于，所述视频编码模块采用H.264RP编码时只输出I帧和P帧。
6.如权利要求3所述的多屏联动音视频同步系统，其特征在于，所述音频编码模块为AAC编码器。
7.如权利要求2所述的多屏联动音视频同步系统，其特征在于，所述接收端包括一显示屏，所述显示屏用于播放解码后的视频数据与解码后的音频数据。
【专利摘要】本发明公开了一种多屏联动音视频同步系统，包括：信源编码端和接收端；所述信源编码端包括：视频编码模块，其用以对原始视频数据进行编码；音频编码模块，其用以对原始音频数据进行编码；视频数据TCP发送模块，其通过TCP协议将编码后的视频数据发送至所述接收端；音频数据UDP发送模块，其通过UDP协议将编码后的音频数据发送至所述接收端；其中，对原始视频数据的编码与对原始音频数据的编码同时进行，编码后的视频数据的发送时间与编码后的音频数据的发送时间的间隔小于40ms，所述接收端用于接收并播放编码后的视频数据以及编码后的音频数据。通过该系统很大程度上简化了信源端编码的流程，也保证了视频数据与音频数据同步性。
【IPC分类】H04N21-2343, H04N21-4402, H04N21-8547, H04N21-6437
【公开号】CN104683823
【申请号】CN201310631832
【发明人】庞潼川, 张擎, 苏小智, 王永辉, 赵挺
【申请人】红板凳科技股份有限公司
【公开日】2015年6月3日
【申请日】2013年11月29日