专利名称：融合数据、语音、视频的多码率编解码及其等时传输方法
技术领域：
本发明涉及信息传输技术领域，尤其是涉及一种融合了数据、语音、视频的多码率编解码及其等时传输方法。
背景技术：
一些新的应用如直播课堂，视频会议等等、不仅仅需要发送语音、视频，而且还需要传送数据，同时又要求很强的实时性，有等时传输的需求。
传统上的一些直播应用只涉及到语音和视频，因此用于它们的编码方法也只混合了语音和视频，不能满足同时传输数据的需求。另外一方面，传统上的直播应用发送出视音频流后在遇到不同的用户接入带宽时都是以相同的速率向不同的用户传输，但是由于用户的接入带宽不一致，当预定的传输速率超过可用的带宽时，就会造成抖动，从而不能保证等时传输。
发明内容
为了同时传输语音，视频和数据以及面对不同的用户接入带宽提供等时传输，本发明提供了一种新型的融合了数据、语音、视频的多码率编解码及其等时传输方法。
本发明解决其技术问题所采用的技术方案是一种融合了数据、语音、视频的多码率编解码及其等时传输方法，采用下列步骤对视频进行分层编码；对需要和视频帧同时显示的数据单元进行逻辑联系；对语音进行分层编码；将数据按照显示的要求打成一个一个的数据单元包，在数据单元包的头部加上数据单元号；将数据、语音和音频进行多路复合一个传输流；传输流进入转发网关，该网关具有实时转码功能和探知各个用户的接入带宽；
转发网关根据各个用户的不同的接入带宽选择一定视音频层次的内容进行发送；进一步，转发网关如果没有一定数量的层次内容的码率之和匹配用户的接入带宽，就进行不同码率的转码以匹配用户的接入带宽；对于接收到的视音频帧进入相应的输入缓冲区，然后进入解码缓冲区；对于接收到的数据单元包先进入相应的输入缓冲区，然后存入大容量存储器的临时存储空间中，从临时存储空间读取即将用到的若干个单元的数据到显示缓冲区中；语音按照传统的方法解码；视频解码的时候如果遇到头部有数据单元号的帧时，调用数据显示控制器从显示缓冲区中按照数据单元号读取所需要的数据单元，如果显示缓冲区没有所需的数据单元时则从大容量存储器中读入；更进一步，所述的解码方法以时钟控制视频和语音解码，对于数据显示没有时钟控制，而是在有数据单元关联的视频访问单元被解码时再显示关联的数据单元。
本发明所述的一种融合数据、语音、视频的多码率编解码及其等时传输方法的有益效果主要表现在1、本发明编码融合了数据、语音、视频，更好地支持新的应用的需求；2、本发明采取了多码率编码，对于不同的用户接入带宽采用了选取不同数量的编码层次来匹配用户的接入带宽，能够适应不同带宽的需求；3、本发明利用了分层编码和实时转码有效匹配不同用户接入带宽，以实现等时传输；4、本发明对接收到的数据现存入大容量存储器，使具有突发性的数据可以预传；5、本发明在编解码时对视频和数据进行关联，使得其在播放时能保证同步性。
图1是本发明的总体流程示意图；图2是本发明所述的编码部分的示意图；图3是视频PES包格式的示意图；图4是数据PES包格式的示意图；图5是本发明所述的转发网关的示意图；图6是本发明所述的解码部分的示意图。
具体实施例方式
参考附图1，一种融合了数据、语音、视频的多码率编解码及其等时传输方法的总体流程从视频源(1)获取视频原始流，从音频源(2)获取音频原始流，从数据源(3)获取数据原始流；三路流被送入多码率混合编码器(4)进行多码率混合编码，输出一路传输流；传输流被送入转发网关(5)，转发网关根据不同的用户接入带宽对传输流进行处理；经过处理后的传输流经过网络(6)传送到用户端；用户端接收到传输流后，用户端上的多码率解码器(7)进行多码率解码。
参考附图2，一种融合了数据、语音、视频的多码率编码方法语音从语音源(11)输入到语音分层编码器(12)进行分层编码得到ES流，然后经过分组器(13)分组打成PES包；视频从视频源(14)输入到视频分层编码器(15)进行分层编码得到ES流，然后经过分组器(16)分组打成PES包，同时分组器(16)和数据源(17)相连，当分组器(16)打包的分组的净荷包含视频访问单元的第一单元而且该视频访问单元和某数据单元相联系的话，那么在该分组的头部需要包含该数据单元号信息；数据从数据源(17)输入到分组器(18)分组打成PES包；数据、语音、视频分别打成PES包后经过多路复用器(MUX)(19)进行多路复合后成为一个单一的TS流在网上传输；附图3和附图4，为视频PES包和数据PES包格式的示意图。如图所示，在视频PES包头部包含了DU_flag和数据单元号两个字段。如果该PES包净荷包含视频访问单元的第一个字节而且该视频访问单元和某数据单元相联系的话，那么DU_flag置为“1”，否则置为“0”。数据单元号字段为可选字段，如果DU_flag被置为“1”，那么数据单元号字段中应包含和视频访问单元相联系的数据单元号，否则不选数据单元号字段；在数据单元PES包头部也包含了DU_flag和数据单元号两个字段。如果该PES包净荷包含数据单元的第一个字节时，那么DU_flag置为“1”，否则置为“0”。数据单元号字段为可选字段，如果DU_flag被置为“1”，那么数据单元号字段中应包含相应的数据单元号，否则不选数据单元号字段；参考附图5，一种融合了数据、语音、视频的多码率码流的等时传输方法利用转发网关保障对于用户不同的接入带宽都能有与之匹配的传输码率，从而保证能够等时传输；经过编码和多路复合后产生的TS流输入到复制器(21)，复制器(21)根据接入的用户数将输入的TS流复制成若干流，每一流对于一个用户；例如，某一流被送到转发网关，经过复制器(21)被复制成若干路流然后这些流由选择控制器(22)根据该用户的接入带宽，从视频分层编码中选择一定层次和从语音分层编码中选择一定层次再加上数据来传输以匹配用户的接入带宽，这时在选择开关处选择的是上支路，分支选择功能也由选择控制器(22)来完成；如果由上述方法还不能匹配用户的接入带宽的话，则由选择控制器(22)选择下支路，然后流进入实时转码器(23)，进行不同码率的转码。
参考附图6，一种融合了数据、语音、视频的多码率解码方法传输流从通道特殊解码器(31)出来到传送流多路解调和解码器(32)进行多路解调，经过多路解调恢复原来的数据流、语音流和视频流；语音流进入输入缓冲(33)；视频流进入输入缓冲(37)；数据流进入输入缓冲(36)，再存入大容量存储器(39)，接着将即将需要用到的数据单元调入显示缓冲(40)；音频解码器(34)和视频解码器(38)在时钟(35)的控制下进行解码；视频解码器(38)在解码时如果当前被解码的视频访问单元有某个数据单元和其相联系，那么视频解码器(38)通知数据显示控制器(41)需要将某个数据单元显示出来；数据显示控制器(41)接到通知后，根据数据单元号从显示缓冲(40)获取需要显示的数据单元，如果在显示缓冲(40)中不存在，则从大容量存储器(39)调入到显示缓冲(40)，再从显示缓冲(40)取出。
权利要求
1.一种融合数据、语音、视频的多码率编解码及其等时传输方法，采用下列步骤对视频进行分层编码；另外和需要和视频帧同时显示的数据单元进行逻辑联系；对语音进行分层编码；将数据按照显示的要求打成一个一个的数据单元包，在数据单元包的头部加上数据单元号；将数据、语音和音频进行多路复合一个传输流；传输流进入转发网关处理；用户端进行解码；所述的编码方法融合了数据、语音、视频。
2.如权利要求1所述的一种融合数据、语音、视频的多码率编解码及其等时传输方法，其特征在于所述的编码方法将视频访问单元和数据单元进行关联。
3.如权利要求1所述一种融合数据、语音、视频的多码率编解码及其等时传输方法，其特征在于所述的转发网关处理的传输方法包括传输流进入转发网关，该网关具有实时转码功能和探知各个用户的接入带宽；转发网关根据各个用户的不同的接入带宽选择一定视音频层次的内容进行发送。
4.如权利要求3所述的一种融合数据、语音、视频的多码率编解码及其等时传输方法，其特征在于在所述的转发网关通过选择不同数量的编码层次还不能匹配用户的接入带宽时，就进行不同码率的转码。
5.如权利要求1所述一种融合数据、语音、视频的多码率编解码及其等时传输方法，其特征在于所述的用户端进行解码的解码方法包括对于接收到的视音频帧进入相应的输入缓冲区，然后进入解码缓存区；对于接收到的数据单元包先进入相应的输入缓冲区，然后存入大容量存储器的临时存储空间中，从临时存储空间读取即将用到的若干个单元的数据到显示缓冲区中；语音按照传统的方法解码；视频解码的时候如果遇到头部有数据单元号的帧时，调用数据显示控制器从显示缓冲区中按照数据单元号读取所需要的数据单元，如果显示缓冲区没有所需的数据单元时则从大容量存储器中读入。
6.如权利要求5所述的一种融合数据、语音、视频的多码率编解码及其等时传输方法，其特征在于所述的解码方法以时钟控制视频和语音解码。
7.如权利要求5所述的一种融合数据、语音、视频的多码率编解码及其等时传输方法，其特征在于所述的解码方法对于数据显示是在有数据单元关联的视频访问单元被解码时再显示关联的数据单元。
全文摘要
本发明公开了一种融合数据、语音、视频的多码率编解码及其等时传输方法，采用下列步骤对视频进行分层编码；另外和需要和视频帧同时显示的数据单元进行逻辑联系；对语音进行分层编码；对数据按照显示的要求打成一个一个的数据单元包，在数据单元包的头部加上数据单元号；将数据、语音和音频进行多路复合成一个传输流；传输流进入转发网关处理；在用户端进行解码；所述的编码方法融合了数据、语音和视频。本发明可以等时地传输融合了数据、语音、视频的传输流，并且在解码时保证数据和视音频的同步播放。
文档编号H04L12/56GK1668025SQ20041001682
公开日2005年9月14日 申请日期2004年3月10日 优先权日2004年3月10日
发明者鲁东明, 邢卫, 管国辰 申请人:浙江大学