专利名称：一种互联网流媒体格式音视频同步的方法及其系统的制作方法
一种互联网流媒体格式音视频同步的方法及其系统技术领域夸发明涉及宽带流媒体领域，尤其涉及一种互联网流媒体格式音视频 同步的方法及其系统。
背景技术：
阵着互联网络和宽带接入网络的迅速发展，宽带互联网上的视频直播 业务得到了迅速发展。目前，在互联网上传输直播电视业务一般釆用互联网流媒体联盟(Internet Streaming Media Alliance, ISMA)传输格式，这种 格式把音频流和^^L频流分开传输，带来了多音轨、多字幕支持的便利。目前，电视业务接收端一般以接收到的第一个音频帧的时间戳和第一 个视频帧的时间戳作为基准时间，后续音频帧和视频帧的时间戳分别减去 相应的基准时间后就可以作为相对的播;故时间，送入解码器解码。可看出， 这种方法最重要就是选择音频帧和视频帧的基准时间。然而，在电视直播 时，各个用户接入时间各不相同，瞬间的网络状况也不一样，同时加上IP 网络的"尽力而为"的特性，就经常会导致所得的第一个音频帧和视频帧的步 调不同步，从而使得ISMA流中经常出现音视频不同步问题。因此，现有技术还有待于完善和发展。发明内容本发明的目的在于提供一种可以实现网络电视直播时ISMA流的音视 频同步的方法；为此，本发明还提供了一种互联网流^^某体格式音视频同步 的系统。为了解决上述目的，本发明提供一种互联网流媒体格式音视频同步的方法，包括如下步骤A、 设定媒体终端接收音频帧和视频帧的时间段，分别计算出该时间段内音频帧以及视频帧各自所对应的新基准时间； 6、 将所述音频帧以及视频帧各自所对应的新基准时间写入到所述媒体终端内的解码器； C、 所述々某体终端将后续接收到的音频帧以及视频帧各自所对应的时戳分别减去各自所对应的新基准时间，计算出音频帧和视频帧的相对播放时间后，将所述音频帧和视频帧输送至解码器进行解码。其中，步骤A中，所述时间段可根据需求任意设置。 其中，步骤A还包括Al、对所述新基准时间设定方差，并实时监控设定时间段内音频帧和 视频帧的数量；A2 、当发现该设定时间段内音频帧或视频帧数量丢失达到偏离所述设 定的方差范围时，重新设定一个时间段，并计算出该新设定时间段内音频 帧和视频帧分别所对应的新基准时间；且步骤B还包括Bl 、将所述新i殳定时间段内的新基准时间再次写入所述解码器。 其中，步骤C进一步包括计算出音频帧和^L频帧的相对播放时间后，根据所述相对播放时间的 大小对所述音频帧和-現频帧统一排序，将其中相对播;改时间小的音频帧或 视频帧先送入解码器进行解码，而将相对播放时间大的音频帧或视频帧后 送入解码器进行解码。其中，所述方法中，所述音频帧的新基准时间为相应时间段内所有音 频帧所对应的时戳的平均值；所述视频帧的新基准时间为相应时间段内所 有视频帧所对应的时戳的平均值。
本发明提供的一种互联网流媒体格式音视频同步的系统，包括角于计算设定时间段内音频帧及视频帧各自所对应的新基准时间，及音频帧和视频帧各自所对应相对播放时间的计算模块；及用于将所述音频帧以及视频帧各自所对应的新基准时间写入到媒体终端内解码器上的写入模块。其中，所述系统还包括一用于接收音频帧和视频帧并输出至所述计算模块的接收模块。其中，所述系统还包括一用于接收音频帧和视频帧并输出至所述计算 模块的接收模块。，其中，所述系统还包括一用于接收音频帧和视频帧并输出至所述计算 模块的接收模块。与现有技术相比，本发明采用 一设定时间段内音频帧和视频帧各自所 对应时戳的平均值作为新基准时间，从而无需〗'务改音频源和一见频源端，也 不需要增加接收端与源端的交互流程，实现了网络电^L直播时ISMA流的 音视频同步，具有简单易行的特点；此外，在音频源和视频源同步的情况 下，且在一个相对较长的时间段内，少量音频帧或视频帧的丟包现象，也 不会影响到媒体终端接收到的音频帧和视频帧的同步性。
图1为本发明方法的实现流程图；图2为本发明方法的音频和视频新基准时间计算示意图；图3为本发明方法的音频帧和视频帧相对播出时间的排序示意图；图4为本发明系统的方框图。
具体实施方式
下面结合附图，对本发明的较佳实施例作进一步详细说明。
本发明提供了 一种互联网流媒体格式音S见频同步的方法，请参阅附图1，其实现流程包括如下步骤110、设定媒体终端接收音频帧和视频帧的时间段，分别计算出该时间 段内音频帧以及视频帧各自所对应的新基准时间；120、将所述音频帧以及视频帧各自所对应的新基准时间写入到所述媒 体终端内的解码器130、所述纟某体终端将后续接收到的音频帧以及^L频帧各自所对应的时 戳分別减去各自所对应的新基准时间，计算出音频帧和-现频帧的相对播放 时间后，输送至解码器解码。其中，步骤110中，所述时间段可根据需求任意设置，且该时间段内 的音频帧和视频帧各自的数量越多越好，这样，选取的时间段越长，音频 帧和视频帧的同步性也越好，从而可以消除网络瞬间的差异，或者即使少 量丟包，也不会影响所设定时间段内音频帧和视频帧输出的一致性，即同 步性。本发明方法中，所述音频帧的新基准时间的计算方式是.采用设定时 间段内，计算出所有音频帧所对应的时戳的平均值；类似，可以计算出设 定时间段内所述视频帧的新基准时间。这样，在音频源和视频源同步的情 况下，在一个相对较长的时间段内，媒体终端接收到的音频帧和视频帧的 数量越多，在算术平均意义上的方差越小，音频帧和视频帧就能更好的保 持同步。本发明还提供一种互联网流媒体格式音视频同步的系统，如图4所示， 包括计算模块210、写入模块220、接收模块230及时段设置模块240;在 媒体终端接收音频帧和视频帧之前，由所述时段设置模块240根据需要， 设定一个相对较长一点的接收音频帧和视频帧的时间段，该时间段可以根 据需要任意设置。这样，在该时间段内就可以包含相对较多的音频帧和视 频帧，在该时间段内即使出现少量音频帧或斗见频帧丟包，也不会影响所设 定时间段内音频帧和^f见频帧输出的一致性，即同步性。时间段设置完成后，所述接收模块230将在设定时间段内接收到的音 频帧和视频帧输送至所述计算模块210,所述计算模块210应用算术平均的 方法计算出设定时间段内所有音频帧和所有视频帧各自所对应的新基准时 间，如图2所示，新基准时间的计算流程假设在时间段t (t-l， 2, 3，......)内，媒体终端接收到n (n=l,2, 3，......)个音频帧，各音频帧所对应的时戳分别为TS1, TS2,......，TSn，则时间t内n个音频帧所对应时戳的平均值为TS0 = (TS1+TS2 + ...+TSn)/n， TS0即为媒体终端接收音频帧的新基准时间；同样，假设在该时间段t内，士某体终端接收到m (m=l, 2， 3,......)个视频帧，各视频帧所对应的时戳分别为TV1， TV2, ......， TVm,则时间t内m个朝L频帧所对应时戳的平均值为TV0= (TVl+TV2+…+TVm) /m, TV0即 为媒体终端收视频帧的新基准时间。所述计算模块210计算出音频帧和视频帧各自所对应的新基准时间后， 该计算模块210将所述的新基准时间输送至写入模块220，由该写入模块 220将所述新基准时间写入到所述媒体终端的解码器260内。所述媒体终端继续接收后续的音频帧和#见频帧，再由所述计算模块210 调用出写入到所述解码器260内的音频帧和碎见频帧各自所对应的新基准时 间，并计算出音频帧和视频帧的相对播放时间，其计算方式是后续接收 到的音频帧以及视频帧各自所对应的时戳分别减去各自所对应的新基准时 间，计算出音频帧和-见频帧的相对播放时间。如图3所示，相对播放时间 的计算流程 .媒体终端接收到的后续每个音频帧所对应的时戳减去新基准音频时间 TS0，得出各音频帧所对应的相对播放时间，比如，(TS1-TS0), (TS2 -TSO) , ......， (TSn-TS0);同样，后续每个视频帧所对应的时戳减去新基准视频时间TVO，得到各视频帧所对应的相对播放时间，比如，(TV1 _TV0) , (TV2-TV0) , ......, (TVm-TVO)。然后，根据相对播放时间对音频帧和视频帧统一排序，所述音频巾贞和 视频帧按相对播;故时间的大小顺序送入解码器260解码，相对播放时间小 的先送入解码器260解码，相对播放时间大的后送入解码器260解码，这 样就可以基本保证音视频同步。音频帧和视频帧同步期间，如果发生丢包现象，比如，丢了一个音频 帧i,贝寸新基准时间TSO= (TS1+TS2+...+TSi—1+TSi+1 +…+TSn) /(n-l)，且n足够大，则丟包不会影响TSO的计算结果。同理，如果同步期 间丢失一个视频帧也是一样计算。但是，音频帧和视频帧同步期间，如果发生丟包现象比较严重时，将 影响到音频帧与视频帧的同步性。为了解决这一问题，本发明系统提供一 种改进方案，所述系统还包括一校正模块250,如图4所示，该校正模块 250用于校正音频帧或一见频帧并确保音频帧和浮见频帧同步。该校正才莫块250 通过音频帧和视频帧各自所对应的新基准时间的设定方差，实时监控设定 时间段内音频帧和视频帧的数量，当发现该设定时间段内音频帧或视频帧 数量丢失较为严重，偏离设定方差范围时，所述校正模块250将输出一个 调整信号给所述时段设置模块240,由所述时l殳设置模块240重新设定一个 时间段，并由所述计算模块210计算出该新设定时间段内音频帧和视频帧 分别所对应的新基准时间并再次写入所述解码器，进而确保音频帧和-现频 帧同步。综上所述，本发明方法采用一设定时间l史内音频帧和视频帧各自所对 应的时戳的平均值作为新基准时间，采用新基准时间具有如下优点1、 在音频源和4^L频源同步的情况下，且在一个相对较长的时间段内， 少量音频帧或视频帧的丢包现象，不会影响到媒体终端接收到的音频帧和 视频帧的同步性；2、 无需^f务改音频源和视频源端，也不需要增加接收端与源端的交互流
程，具有简单易行的特点。总之，本发明并不限于上述实施方式，一f壬何熟悉此技术者，在不脱离 本发明的精神和范围内，都应该落在本发明的保护范围之内。
权利要求
1、 一种互联网流媒体格式音视频同步的方法，包括如下步骤A、设定媒体终端接收音频帧和视频帧的时间段，分别计算出该时间段内音频帧以及视频帧各自所对应的新基准时间；B、将所述音频帧以及视频帧各自所对应的新基准时间写入到所述媒体终端内的解码器；C、所述媒体终端将后续接收到的音频帧以及视频帧各自所对应的时戳分别减去各自所对应的新基准时间，计算出音频帧和视频帧的相对播放时间后，将所述音频帧和视频帧输送至解码器进行解码。
2、 根据权利要求1所述的方法，其特征在于，步骤A中，所述时间 段可根据需求任意设置。
3、 根据权利要求1所述的方法，其特征在于，步骤A还包括Al、对所述新基准时间设定方差，并实时监控设定时间段内音频帧和 视频帧的数量；A2、当发现该设定时间段内音频帧或视频帧数量丟失达到偏离所述设 定的方差范围时，重新设定一个时间段，并计算出该新设定时间段内音频 帧和视频帧分别所对应的新基准时间；且步骤B还包括Bl、将所述新设定时间段内的新基准时间再次写入所述解码器。
4、 根据权利要求1所述的方法，其特征在于，步骤C进一步包括 计算出音频帧和视频帧的相对播放时间后，根据所述相对播放时间的大小对所述音频帧和视频帧统一排序，将其中相对播放时间小的音频帧 或视频帧先送入解码器进行解码，而将相对l番放时间大的音频帧或视频帧 后送入解码器进行解码。
5、 根据权利要求1至4中任一项所述的方法，其特征在于，所述音 频帧的新基准时间为相应时间段内所有音频帧所对应的时戳的平均值；所值。
6、 一种互联网流媒体格式音视频同步的系统，其特征在于，所述系 统包括:.用于计算设定时间段内音频帧及视频帧各自所对应的新基准时间，及 音频帧和视频帧各自所对应相对播放时间的计算模块；及用于将所述音频帧以及视频帧各自所对应的新基准时间写入到媒体终 端内解码器上的写入模块。
7、 根据权利要求6所述的系统，其特征在于，所述系统还包括一用 于接收音频帧和视频帧并输出至所述计算模块的接收模块。
8、 根据权利要求6所述的系统，其特征在于，所述系统还包括一用 于任意设置时间段的时段设置模块。
9、 根据权利要求6、 7或8所述的系统，其特征在于，所述系统还 包括一用于校正音频帧或视频帧并确保音频帧和视频帧同步的校正模块。
全文摘要
本发明公开了一种互联网流媒体格式音视频同步的方法及系统，该方法包括设定时间段，分别计算出该时间段内媒体终端接收的音视频帧各自所对应的新基准时间；将所述新基准时间写入到解码器；媒体终端将后续接收到的音视频帧各自所对应的时戳分别减去对应的新基准时间，计算出音视频帧各自的相对播放时间后，将所述音视频帧输送至解码器解码；该系统包括用于计算新基准时间及相对播放时间的计算模块，及用于将新基准时间写入到解码器的写入模块。本发明无需修改音频源和视频源端，也不需要增加接收端与源端的交互流程，实现了网络电视直播时ISMA流的音视频同步，具有简单易行的特点。
文档编号H04N7/52GK101127917SQ20071007695
公开日2008年2月20日 申请日期2007年9月6日 优先权日2007年9月6日
发明者田洪亮 申请人:中兴通讯股份有限公司