专利名称：传输流音视频同步及防抖动方法
技术领域：
本发明涉及到音视频同步技术，特别涉及到传输流音视频同步及防抖动方法。
背景技术：
传输流是针对可能出现显著错误的环境中，进行节目传输和存储而定义。因此，当 信号差或外部干扰引起传输流网络抖动时，为了能够保证其正常工作，需要提供特殊的机 制减轻或消除网络抖动的影响，该特殊机制即为传输流防抖动机制。例如当一个移动数字 接收终端，从一个网络信号强的区域进入信号弱的区域再回到信号强的区域，该过程中就 会产生网路的波动，在信号弱的区域，移动数字接收终端接收不到数据或接收到的数据有 误，使其播放不出节目或播放马赛克；当重新回到信号强的区域时，移动数字接收终端要求 能够立刻恢复正常播放，而不能出现静帧、音视频不同步等现象。另外，传输流作为一种复合流，其能包含一个或多个节目数据，并且各节目数据都 可分开独立传输，客户端能够从传输流中抽取出独立的节目内容并生成该包含该节目数据 的节目流；当网络抖动数据出错时，同一节目的音视频数据由于丢失或数据出错，很可能会 导致最终的音视频播放不同步。当前通用的音视频同步处理机制如下系统时钟恢复通过提供一个外部时钟来实 现，音频、视频单元的时间信息PTS(Presentation Time stamp，展现时间戳)可以从解析 PES (Packet Elementary Stream，分组基本流)包得到，具体实现如下(1)选择一个外部时钟作为系统参考时钟；(2)设置音频、视频共同的一个时间基准；(3)以当前解析出的音频、视频的PTS时间与时间基准的差值作为其呈现时间；(4)在音频、视频呈现端(显示端)，根据系统时钟及相应的呈现时间信息依次呈 现；若音频或视频的呈现时间大于系统当前时间，则立即呈现；否则，缓存该音频或视频直 到指定的时间到来时才呈现。或者，上述方法的一种简化版本，如下(1)以音频时钟作为系统参考时钟；(2)设置音频、视频共同的一个时间基准；(3)以当前解析出的音频、视频的PTS时间与时间基准的差值作为其呈现时间；(4)在音频、视频呈现端(显示端)，比较音频、视频的呈现时间信息来呈现；若视 频的呈现时间小于等于音频的呈现时间，则立即呈现；否则，缓存该视频直到指定的时间到 来时才呈现。上述两种方法在传输流网络发生抖动的时候，由于没有一个很好的预测网络抖动 及消除网络抖动的方法，都会导致一个音频或视频的停顿，或者是音频、视频的不同步。
发明内容
本发明的目的之一为提供传输流音视频同步及防抖动方法，可确保传输流音视频的同步。本发明提出一种传输流音视频同步及防抖动方法，应用于传输流解析过程中，所述传输流包括节目时钟参考、音频展现时间戳以及视频展现时间戳，所述方法包括步骤将获取的第一次节目时钟参考设置为基准时间；判断网络是否发生抖动；如是，更新基准时间；否则，进行下一步骤；根据基准时间以及音频展现时间戳或者视频展现时间戳计算音频有效时间戳或 者视频有效时间戳。优选地，所述判断网络是否发生抖动的步骤进一步包括步骤设置节目时钟参考的突变阈值；判断当前节目时钟参考与上次节目时钟参考之差的绝对值是否大于其与突变阈 值的乘积；如是，则发生抖动；否则，未发生抖动。优选地，所述更新基准时间的步骤进一步包括步骤将当前节目时钟参考与上次节目时钟参考之差与当前的基准时间相加；设定两者之和为更新的基准时间。优选地，所述音频有效时间戳的计算方式为将音频展现时间戳减去基准时间。优选地，所述视频有效时间戳的计算方式为将视频展现时间戳减去基准时间。本发明的传输流音视频同步及防抖动方法，通过在网络出现抖动时，对基准时间 进行调整，实现对音视频有效时间戳的突变，获取线性增大的音视频有效时间戳，以保证视 频平滑流畅以及音视频同步，提升网络传输的可靠性。
图1是本发明一实施例中传输流的复用端操作示意图；图2是本发明一实施例中传输流的解复用端操作示意图；图3是本发明一实施例中传输流的复用及解复用示意图；图4是本发明一实施例中传输流音视频同步及防抖动方法的步骤流程图；图5是本发明一实施例的一实施方式中传输流音视频同步及防抖动方法的步骤 流程图；图6是本发明一实施例中音视频有效时间戳计算示意图；图7是本发明另一实施例中更新基准时间的步骤流程图。本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施例方式本发明通过在传输流的解析过程中，将第一次获取的节目时钟参考设置为基准时 间，并可在网络出现抖动时，对该基准时间进行调整，并利用该基准时间计算音、视频有效 时间戳，以此实现音视频的同步，提升网络传输的可靠性。由于传输流(Transport Stream, TS流)中各节目的音频、视频以及PSI (Program Specifically Information，节目特定信息)数据等都是独立传输的；因此，在传输流的复用及解复用过程中，需要加入特定的信息来表征各节目任意一部分何时呈现；即在复用的 时候实时的加入一定的时间信息，待解复用时再根据该时间信息呈现音视频内容，以此保 证同一节目的音频、视频能够同步呈现。在传输流的形成中加入相应的时间信息，比如PTS (Presentation TimeStamp，展 现时间戳)、DTS(Decoding Time Stamp，解码时间戳)以及PCR(Program Clock Reference, 节目时钟参考)等。该加入时间信息的具体的操作如下
(1)在传输流复用端，主要进行注入时间信息及多节目的复合操作，其中时间信息 的注入如下所示(参照图1)I、在将 ES 流(Elementary Stream,基本流)打包为 PES 流(PacketElementary Stream，分组基本流)时，根据STC (System Time Clock，系统时钟)作参考将PTS以及DTS 时钟信息注入PES包中；II、在将PES流打包为传输流时，将PID以及PCR时间信息注入到TS包中；(2)在传输流解复用端，解复用即是将同一信道中不同时序进行传输的节目分离 出来；音视频同步由DTS、PTS以及PCR三者协调完成，并且PCR是重建系统时间基准的绝 对时标，而DTS和PTS是解码和重现时刻的相对时标，但在实际应用中可以忽略DTS时间信 息，通过应用PTS与PCR信息来实现音视频的同步(参照图2)。音视频的同步主要是恢复系统时钟，比较系统时钟与当前音视频上的时间信息， 以此控制音频、视频的呈现。在传输流复用端，音频、视频流通过共同的节目参考时钟，产生 指示音频和视频的正确显示和解码时序的时间信息，同时可用来指示在抽样瞬间系统时钟 的瞬时值；在传输流解复用端，通过恢复当前的系统时钟及正确使用音视频的时间信息，实 现音视频同步(参照图3)。参照图4，提出本发明一实施例的一种传输流音视频同步及防抖动方法，应用于传 输流解析过程中，所述传输流包括节目时钟参考、音频展现时间戳以及视频展现时间戳，所 述方法包括步骤S10、将获取的第一次节目时钟参考设置为基准时间；步骤S11、判断网络是否发生抖动；如是，更新基准时间(步骤S110)；否则，进行 下一步骤；步骤S12、根据基准时间以及音频展现时间戳或者视频展现时间戳计算音频有效 时间戳或者视频有效时间戳。如步骤SlO所述，在传输流解析中，取第一次解析获得的PCR(节目时钟参考)时 间PCR_TIME为基准时间PCR_BASE_0，当前PCR时间CUR_PCR等于PCR_TIME，上次PCR时间 LAST_PCR等于0 ；若基准时间PCR_BASE_0不为0，即已经获取了基准时间值，则LAST_PCR等 于 CUR_PCR，CUR_PCR 等于 PCR_TIME。如步骤Sll所述，若网络发生抖动引发了数据流的损失，此时由于传输流中PCR出 现时钟周期远小于音频PTS及视频PTS出现时钟周期；因此，PCR时间信息的突变能够最先 表征出传输流的抖动。而且，如需保证视频平滑流畅以及音视频同步，就需要一个线性增大 的音视频有效时间戳，为此可通过对音视频有效时间戳的突变实现。因此，通过PCR的时钟周期判断出网络发生抖动后，可通过更新基准时间(步骤 S110)，实现对音视频有效时间戳的突变。
参照图5，在本实施例的一实施方式中，上述步骤Sll进一步包括步骤S111、设置节目时钟参考的突变阈值；步骤S112、判断当前节目时钟参考(当前PCR)与上次节目时钟参 考(上次PCR) 之差的绝对值是否大于其与突变阈值的乘积；如是，则发生抖动；否则，未发生抖动。如步骤Slll所述，将解析的当前PCR时间与上次解析获取的上次PCR时间的差值 记为DELTA_PCR ；当第一次解析获取PCR时间的时候DELTA_PCR为0，以后每次解析完PCR 时间后DELTA_PCR等于CUR_PCR减去LAST_PCR ；并设置一个PCR时间突变阈值VALUE。如步骤S112所述，若解析的当前PCR时间与上次PCR时间差值的绝对值(| PCR-LAST_PCR |)大于VALUE与DELTA_PCR的乘积，就认为当前传输流发生了网络抖动。否 贝U，进行步骤S12。如步骤S12所述，在传输流解析中，取解析获得的当前音频PTS时间为OTR_PTS_ AUDIO，将当前音频PTS时间与基准时间的差值(CUR_PTS_AUDI0_PCR_BASE_0)作为当前的 音频有效时间戳AUDIO_TIMESTAMP。且，取解析获得的当前视频PTS时间为OTR_PTS_VIDE0，将当前视频PTS时间 与基准时间的差值(CUR_PTS_VIDE0_PCR_BASE_0)作为当前的视频有效时间戳VIDE0_ TIMESTAMP。(参照图 6)参照图7，提出本发明另一实施例的一种传输流音视频同步及防抖动方法，上述步 骤SllO进一步包括步骤S1101、将当前节目时钟参考与上次节目时钟参考之差与当前的基准时间相 加；步骤S1102、设定两者之和为更新的基准时间。若当前传输流发生了网络抖动，DELTA_PCR值保持最近一次计算获得的有效值不 变，基准时间PCR_BASE_0为通过调整PCR基准时间PCR_BASE_0，通过将PCR_BASE_0加上当 前PCR时间与上次PCR时间的差值(PCR_BASE_0+ (CRU_PCR-LAST_PCR))，实现对基准时间的 调整，以平衡音视频的抖动，达到音视频同步。以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用 本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关 的技术领域，均同理包括在本发明的专利保护范围内。
权利要求
一种传输流音视频同步及防抖动方法，应用于传输流解析过程中，所述传输流包括节目时钟参考、音频展现时间戳以及视频展现时间戳，其特征在于，所述方法包括步骤将获取的第一次节目时钟参考设置为基准时间；判断网络是否发生抖动；如是，更新基准时间；否则，进行下一步骤；根据基准时间以及音频展现时间戳或者视频展现时间戳计算音频有效时间戳或者视频有效时间戳。
2.根据权利要求1所述的传输流音视频同步及防抖动方法，其特征在于，所述判断网 络是否发生抖动的步骤进一步包括步骤设置节目时钟参考的突变阈值；判断当前节目时钟参考与上次节目时钟参考之差的绝对值是否大于其与突变阈值的 乘积；如是，则发生抖动；否则，未发生抖动。
3.根据权利要求1所述的传输流音视频同步及防抖动方法，其特征在于，所述更新基 准时间的步骤进一步包括步骤将当前节目时钟参考与上次节目时钟参考之差与当前的基准时间相加；设定两者之和为更新的基准时间。
4.根据权利要求1至3中任意一项所述的传输流音视频同步及防抖动方法，其特征在 于，所述音频有效时间戳的计算方式为将音频展现时间戳减去基准时间。
5.根据权利要求1至3中任意一项所述的传输流音视频同步及防抖动方法，其特征在 于，所述视频有效时间戳的计算方式为将视频展现时间戳减去基准时间。
全文摘要
本发明揭示了一种传输流音视频同步及防抖动方法，应用于传输流解析过程中，所述传输流包括节目时钟参考、音频展现时间戳以及视频展现时间戳，所述方法包括步骤将获取的第一次节目时钟参考设置为基准时间；判断网络是否发生抖动；如是，更新基准时间；否则，进行下一步骤；根据基准时间以及音频展现时间戳或者视频展现时间戳计算音频有效时间戳或者视频有效时间戳。本发明的传输流音视频同步及防抖动方法，通过在网络出现抖动时，对基准时间进行调整，实现对音视频有效时间戳的突变，获取线性增大的音视频有效时间戳，以保证视频平滑流畅以及音视频同步，提升网络传输的可靠性。
文档编号H04N7/62GK101848396SQ20091018850
公开日2010年9月29日 申请日期2009年11月30日 优先权日2009年11月30日
发明者胡小华 申请人:深圳市致芯微电子股份有限公司