专利名称：基于mpeg-2系统实现视、音频同步的方法及系统的制作方法
技术领域：
本发明涉及多媒体技术领域，尤其涉及一种基于MPEG-2 ((MovingPicture E邓erts Group :动态图像专家组)系统实现视、音频同步的方法及系统。
背景技术：
IPTV(Internet Protocol Television :交互式网络电视)系统一般采用MPEG-2 系统对视、音频媒体信息进行传输，如图l所示，IPTV系统通常利用宽带网络的基础设施， 将来自节目源的数据在节目处理单元采集和编码后，经过内容分发模块进行内容分发，再 通过Internet协议(IP)在城域网或接入网中传输，最后到达用户终端进行播放；经过处理 的节目还可通过EPG(Electronic Program Guide :电子节目菜单)管理模块和EPG服务器 进行节目菜单的管理。现有IPTV系统中的视、音频媒体数据采用MPEG-2系统层中进行数 据传送时，系统层编码一般具有两种方法传输流(TS :Transport Stream)和程序流(PES : Paketized Elementary Stream,或称为打包程序流)，分别适用于不同的应用。如图2所示 现有MPEG-2系统中系统层的数据传输方式实现了单个的音频和视频原始数据流的基本多 路复用，视频数据或音频数据分别进入视频编码器或音频编码器进行编码后，通过打包器 进行数据分组，并分别形成对应的音频PES和视频PES， 二者同时输入节目流和传输流进行 输出。 现有所述MPEG-2系统层的数据传输方式通过图3所示的时间模型图实现了编、 解码的同步，其具体方式为视频信号和音频信号经过采样(A/D变换)到达编码器进行编 码，再经过编码缓冲区、系统编码和多路复用器、存储与传输、系统解复用和多路解码器器、 解码缓冲区以及解码器等多个环节后，会产生以一定的延迟，因此MPEG-2在解码端定义了 系统时钟STC(其频率是27MHz)，编码器的工作时钟经过恒定延时后在解码端恢复出该系 统时钟STC，用于实现视、音频的同步编、解码和播放。 在PES层，PES头信息会设置显示时间标签PTS(指示音视频显示时间的时间标 签，表示此分组中第一个访问单元在系统目标解码器中的预定显示时间)和解码时间标签 DTS(指示音视频解码时间的时间标签，表示此分组中第一个访问单元在系统目标解码器中 的预定解码时间)，二者的频率都为90KHz ;在TS层中，TS头信息包含了频率为27MHz的节 目参考时钟PCR(指示系统时钟本身瞬时值的时间标签)，现有技术中，解码端采用节目参 考时钟PCR恢复出与编码端一致的系统时钟STC，并采用该系统时钟STC对视、音频信号进 行解码和播放。如图4所示为现有技术采用锁相环恢复系统时钟STC的示意图，即视频或音 频信号经过编码后，传输流解码后将节目参考时钟PCR作为锁相环的参考时钟，如图5所示 对系统时钟STC进行恢复的流程图包括如下步骤首先从传输流中提取节目参考时钟PCR， 接着对其进行判断，如果该节目参考时钟PCR为节目的第一个节目参考时钟PCR直接将其 直接置入STC，否则对PCR和STC进行比较，使差值e经过低通滤波器转化成电压信号f控 制压控振荡器(VC0)的瞬时频率，压控振荡器再输出频率为27MHz的振荡信号作为解码器 的系统时钟STC。
图6为采用图4恢复的系统时钟STC实现视、音频同步播放的流程图，包括以下 步骤读取当前音频帧或者视频帧对应的PTS/DTS，对PTS/DTS与经过300分频后频率为 90KHz的STC进行比较，如果当前的PTS/DTS大于STC，表明此时播放或解码较快，需要重放 当前帧或减缓解码；如果STC与PTS/DTS之差大于1/2帧，表明此时播放或解码过慢，需要 跳过当前帧或者加快解码；如果STC与PTS/DTS之差小于1/2帧，表明此时延时可接受，因 此正常播放或解码。 由此可见，现有技术中音频和视频的解码和播放都基于节目参考时钟PCR进行同 步，因此，当节目参考时钟PCR出现抖动时，音频信号和视频信号可能同时产生跳跃或重放 帧的情况，导致视、音频播放不连续，对回放质量造成一定影响，尤其是人的听觉灵敏度很 高，音频轻微断续就很容易被察觉，因此降低了用户体验质量。
发明内容
本发明所要解决的技术问题是，提供一种避免视频和音频信号同时跳跃或重放、 使视频与音频同步播放的基于MPEG-2系统实现视、音频同步的方法及系统。
本发明解决其技术问题所采用的技术方案是 —种基于MPEG-2系统实现视、音频同步的方法，包括以下步骤设置本地系统时 钟STC，所述本地系统时钟STC以本地参考时钟作为基准时钟，并采用当前音频信号对应的 音频播放时间标签PTS作为校准时钟；对当前视频信号对应的视频播放时间标签PTS与所 述本地系统时钟STC进行比较，并根据比较结果处理当前视频信号。 —种本地系统时钟STC以本地参考时钟作为基准时钟的具体方法为对本地晶振 信号进行累加计数而产生本地参考时钟，将所述本地参考时钟作为所述本地系统时钟STC 的基准时钟。 —种实施方式中，所述本地晶振信号的频率为27MHz ;对当前视频信号对应的视 频播放时间标签PTS与所述本地系统时钟STC进行比较的具体方法为对所述本地系统时 钟STC进行300分频后，与当前视频信号对应的视频播放时间标签PTS进行比较。
—种采用当前音频信号对应的音频播放时间标签PTS作为校准时钟的具体方法 为从传输流获取当前音频帧对应的音频播放时间标签PTS后，判断是否为节目的第一个 音频播放时间标签PTS，是则将所述音频播放时间标签PTS置为所述本地系统时钟STC，否 则使用所述音频播放时间标签PTS对所述本地系统时钟STC进行校准。
根据比较结果处理当前视频信号的具体方法为预设可接受的时间阀值S ;如果 当前视频帧对应的视频播放时间标签PTS大于所述本地系统时钟STC，则重放当前视频帧； 如果所述本地系统时钟STC与当前视频帧对应的视频播放时间标签PTS之差小于或等于所 述时间阀值S，则立即显示当前视频帧；如果所述本地系统时钟STC与当前视频帧对应的视 频播放时间标签PTS之差大于所述时间阀值S，则跳过当前视频帧。
所述时间阀值S为播放1/2个视频帧对应的时间。 —种基于MPEG-2系统实现视、音频同步的系统，包括STC模块、音频PTS输出模 块、视频PTS输出模块、判决器和视频播放模块；音频PTS输出模块用于输出当前音频信号 对应的音频播放时间标签PTS至所述STC模块；STC模块用于设置本地系统时钟STC，所述 本地系统时钟STC以本地参考时钟作为基准时钟，并采用所述当前音频信号对应的音频播
5放时间标签PTS作为校准时钟；还用于将所述本地系统时钟STC输入所述判决器；视频PTS 输出模块用于输出当前视频信号对应的视频播放时间标签PTS至所述判决器；判决器用于 对所述当前视频信号对应的视频播放时间标签PTS与所述本地系统时钟STC进行比较，并 输出比较结果至视频播放模块；视频播放模块用于根据所述比较结果对当前视频信号进行 处理。 —种实施方式中，系统还包括本地晶振，所述STC模块为STC计数器；本地晶振用 于输出本地晶振信号至STC模块；STC计数器用于对所述本地晶振信号进行累加计数而产 生本地参考时钟。 所述STC模块用于从传输流获取当前音频帧对应的音频播放时间标签PTS后，判 断是否为节目的第一个音频播放时间标签PTS，是则将所述音频播放时间标签PTS置为所 述本地系统时钟STC，否则使用所述音频播放时间标签PTS对所述本地系统时钟STC进行校 准。 所述判决器中预设可接受的时间阀值S ;所述判决器用于在当前视频帧对应的视 频播放时间标签PTS大于所述本地系统时钟STC时，向所述视频播放模块输出重放当前视 频帧的比较结果；还用于在所述本地系统时钟STC与当前视频帧对应的视频播放时间标签 PTS之差小于或等于所述时间阀值S时，向所述视频播放模块输出立即显示当前视频帧的 比较结果；还用于在所述本地系统时钟STC与当前视频帧对应的视频播放时间标签PTS之 差大于所述时间阀值S时，向所述视频播放模块输出跳过当前视频帧的比较结果。
本发明的有益效果是本发明基于MPEG-2系统实现视、音频同步的方法以本地参 考时钟为基准时钟、以音频播放时间标签PTS为校准时钟恢复出本地系统时钟STC，并通过 本地系统时钟STC对视频信号的播放状况进行调整，在音频信号正常解码和播放的基础上 实现了视频与音频的同步播放，避免了节目参考时钟PCR的抖动而造成视频和音频信号同 时跳跃或重放的情况。 本发明提供的技术方案保证了音频播放的连续性，因此显著提高了用户体验度。
本发明基于MPEG-2系统实现视、音频同步的系统不需要压控振荡器实现时钟的 同步调节，因此显著降低了硬件成本。
图1为现有IPTV系统的基本构架图； 图2为现有MPEG-2系统中系统层的数据传输方式示意图； 图3为现有MPEG-2系统进行编、解码同步处理的时间模型图； 图4为现有MPEG-2系统中采用锁相环恢复系统时钟STC的示意图； 图5为采用图4所示对系统时钟STC进行恢复的流程图； 图6为现有技术采用图4恢复的系统时钟STC实现视、音频同步的流程图； 图7为本发明基于MPEG-2系统实现视、音频同步的方法第一种具体实施方式
流程
图； 图8为本发明基于MPEG-2系统实现视、音频同步的方法第二种具体实施方式
流程 图； 图9为本发明基于MPEG-2系统实现视、音频同步的系统一种具体实施方式
示意
6图； 图10为图9所示实施方式的一种数据队列处理方式示意图。
具体实施例方式
本发明在MPEG-2系统中设置了以本地参考时钟作为基准时钟、以音频播放时间 标签PTS为校准时钟的本地系统时钟STC，对当前视频信号对应的视频播放时间标签PTS与 该本地系统时钟STC进行比较后，根据比较结果对视频信号进行播放以实现视频与音频的 同步，以下结合附图对本发明的具体实施方式
进行说明。 如图7所示，本发明基于MPEG-2系统实现视、音频同步的方法第一种具体实施方 式流程图包括以下步骤 步骤S100 :设置本地系统时钟STC，该本地系统时钟STC以本地参考时钟作为基准 时钟，并采用当前音频信号对应的音频播放时间标签PTS作为校准时钟。
本地参考时钟可通过计数器对频率为27MHz的本地晶振信号进行累加计数而产 生，或者可选用其他时钟源。根据MPEG-2标准，在传输流中，一般每秒钟至少应该发送10 个音频播放时间标签PTS和10个视频播放时间标签PTS，本地系统时钟STC平时采用本地 参考时钟；当音频信号到达解码器时，解码器对其进行解码并播放，同时从传输流中获取当 前音频帧对应的音频播放时间标签PTS并对其进行判断，如果当前音频帧对应的音频播放 时间标签PTS为节目的第一个音频播放时间标签PTS，表明该节目为新节目，则将该音频播 放时间标签PTS置为本地系统时钟STC，如果当前音频帧对应的音频播放时间标签PTS不是 节目的第一个音频播放时间标签PTS，则使用该音频播放时间标签PTS对本地系统时钟STC 进行校准。 步骤S101 :对当前视频信号对应的视频播放时间标签PTS与本地系统时钟STC进 行比较，并根据比较结果处理当前视频信号。采用27MHz本地晶振信号产生本地参考时钟 时，还需对本地系统时钟STC进行300分频后，对当前视频信号对应的视频播放时间标签 PTS与分频后的本地系统时钟STC进行比较，并根据比较结果处理当前视频信号。
本发明以本地参考时钟为基准时钟、以音频播放时间标签PTS为校准时钟恢复出 本地系统时钟STC，并通过本地系统时钟STC对视频信号的播放状况进行调整，在音频信号 正常解码和播放的基础上实现了视频与音频的同步播放，与现有技术中采用节目参考时钟 PCR对视、音频信号的解码和播放进行同时调整的技术方案相比，避免了节目参考时钟PCR 的抖动而造成视频和音频信号同时跳跃或重放的情况。 —般情况下，视频在PAL制式和NTSC制式下播放频率分别为25帧/秒和30帧/ 秒，由于人眼的残留效应，每秒跳跃或重放几帧不易被察觉，而人的听觉灵敏度很高，音频 轻微断续就很容易被察觉，因此本发明提供的技术方案保证了音频播放的连续性，在对视 觉效果影响不大的情况下，显著提高了用户体验度。 如图8所示，本发明基于MPEG-2系统实现视、音频同步的方法第一种具体实施方 式流程图包括以下步骤 步骤S200 :流程开始，视、音频信号正常传输。 步骤S201 :获取当前音频帧对应的音频播放时间标签PTS。该步骤中，音频数据按 照正常的采样率解码输出，从传输流中读取当前音频帧对应的音频播放时间标签PTS。
步骤S202 :判断步骤S201获取的音频播放时间标签PTS是否为节目的第一个音 频播放时间标签PTS，是，则进入步骤S204，否则进入步骤S203。 步骤S203 :当前音频帧对应的音频播放时间标签PTS不是节目的第一个音频播放 时间标签PTS，则使用当前音频帧对应的音频播放时间标签PTS对本地系统时钟STC进行校 准。 步骤S204 :当前音频帧对应的音频播放时间标签PTS为节目的第一个音频播放时 间标签PTS，表明该节目为新节目，则将当前音频帧对应的音频播放时间标签PTS置为本地 系统时钟STC。 步骤S205 :从传输流中读取当前视频帧对应的视频播放时间标签PTS。 步骤S206 :对视频播放时间标签PTS和本地系统时钟STC进行比较，比较时预设
可接受的时间阀值S，例如该时间阀值S可为播放1/2个视频帧对应的时间。 步骤S207 :判断视频播放时间标签PTS是否小于本地系统时钟STC 是则进入步
骤S210，否则进入步骤S208。 步骤S208 :视频播放时间标签PTS大于本地系统时钟STC，表明视频播放较快，因 此重放当前视频帧等待音频信号的同步播放。 步骤S209 :判断本地系统时钟STC与视频播放时间标签PTS之差是否小于预设的 时间阀值S，是则进入步骤S211，否则进入步骤S210。 步骤S210 :本地系统时钟STC与当前视频帧对应的视频播放时间标签PTS之差小 于或等于所述时间阀值S，表明音频与视频信号的播放时间间隔在可接受的范围之内，则立 即显示当前视频帧。 步骤S211 :本地系统时钟STC与当前视频帧对应的视频播放时间标签PTS之差大 于所述时间阀值S，表明视频信号播放较慢，则跳过该视频帧播放下一视频帧。
步骤S212:结束。 如图9所示，本发明基于MPEG-2系统实现视、音频同步的系统一种具体实施方式
示意图包括STC模块20、音频PTS输出模块10、视频PTS输出模块30、判决器40和视频播 放模块50。 其中，音频PTS输出模块10用于输出当前音频信号对应的音频播放时间标签PTS 至STC模块20。 STC模块20用于设置本地系统时钟STC，其中，本地系统时钟STC以本地参考时钟 作为基准时钟，并采用当前音频信号对应的音频播放时间标签PTS作为校准时钟。STC模块 20还用于将本地系统时钟STC输入判决器40。 —种实施方式中，STC模块20可为STC计数器，系统可进一步包括本地晶振，该本 地晶振用于输出27MHz的本地晶振信号至STC模块20， STC计数器对本地晶振信号进行累 加计数而产生本地参考时钟，本地系统时钟STC平时采用本地参考时钟。
从音频PTS输出模块10提供的传输流中获取音频播放时间标签PTS后，STC模块 20还用于判断该音频播放时间标签PTS是否为节目的第一个音频播放时间标签PTS，是则 表明该节目为新节目，因此将该音频播放时间标签PTS置为本地系统时钟STC，例如将STC 计数器的计数值直接置为PTS值，否则使用该音频播放时间标签PTS对本地系统时钟STC 进行校准。
8
视频PTS输出模块30用于输出当前视频信号对应的视频播放时间标签PTS至判决器40。 判决器40用于对当前视频信号对应的视频播放时间标签PTS与本地系统时钟STC进行比较，并输出比较结果至视频播放模块对播放速度进行控制。 判决器40中预设了可接受的时间阀值S，例如等于播放1/2个视频帧所对应的时间。 如果当前视频帧对应的视频播放时间标签PTS大于所述本地系统时钟STC，判决器40向视频播放模块50输出重放当前帧的比较结果；如果本地系统时钟STC与当前视频帧对应的视频播放时间标签PTS之差小于或等于所述时间阀值S，判决器40向视频播放模块50输出立即显示当前视频帧的比较结果；如果本地系统时钟STC与当前视频帧对应的视频播放时间标签PTS之差大于时间阀值S，判决器40向视频播放模块50输出跳过该视频帧的比较结果。 视频播放模块50用于根据比较结果对视频信息进行处理，实现了视频信号与音频信号的同步播放。 可见，本发明基于MPEG-2系统实现视、音频同步的系统不需要压控振荡器实现时钟的同步调节，因此显著降低了硬件成本。 图9所示实施方式的一种数据队列处理方式如图10，传输流进入音、视频预处理模块进行解复用处理后，音频编码帧、音频PTS、视频编码帧、视频PTS分别进入相应的队列进行传输。 其中，音频编码帧队列经过解码后输出音频帧队列，音频帧队列被音频信号输出模块发送至音箱等终端设备进行播放。 音频PTS队列被音频PTS输出模块10输出至STC模块20对本地系统时钟STC进行校准。 视频PTS队列被视频PTS输出模块30输出至判决器40，判决器40对当前视频信
号对应的视频播放时间标签PTS和本地系统时钟STC进行比较并输出比较结果。 视频编码帧队列进入解码器后输出视频帧队列，视频信号输出模块向显示器、电
视机等终端设备传送视频帧，使其根据判决器40的比较结果对视频信号进行播放。 以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定
本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在
不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的
保护范围。
权利要求
一种基于MPEG-2系统实现视、音频同步的方法，其特征在于，包括以下步骤设置本地系统时钟STC，所述本地系统时钟STC以本地参考时钟作为基准时钟，并采用当前音频信号对应的音频播放时间标签PTS作为校准时钟；对当前视频信号对应的视频播放时间标签PTS与所述本地系统时钟STC进行比较，并根据比较结果处理当前视频信号。
2. 根据权利要求1所述的方法，其特征在于所述本地系统时钟STC以本地参考时钟 作为基准时钟的具体方法为对本地晶振信号进行累加计数而产生本地参考时钟，将所述 本地参考时钟作为所述本地系统时钟STC的基准时钟。
3. 根据权利要求2所述的方法，其特征在于所述本地晶振信号的频率为27MHz ;对当 前视频信号对应的视频播放时间标签PTS与所述本地系统时钟STC进行比较的具体方法 为对所述本地系统时钟STC进行300分频后，与当前视频信号对应的视频播放时间标签 PTS进行比较。
4. 根据权利要求1所述的方法，其特征在于采用当前音频信号对应的音频播放时间 标签PTS作为校准时钟的具体方法为从传输流获取当前音频帧对应的音频播放时间标签PTS后，判断是否为节目的第一个音频播放时间标签PTS，是则将所述音频播放时间标签 PTS置为所述本地系统时钟STC，否则使用所述音频播放时间标签PTS对所述本地系统时钟 STC进行校准。
5. 根据权利要求1至4中任一项所述的方法，其特征在于根据比较结果处理当前视频信号的具体方法为预设可接受的时间阀值S ;如果当前视频帧对应的视频播放时间标签PTS大于所述本地系统时钟STC，则重放当 前视频帧；如果所述本地系统时钟STC与当前视频帧对应的视频播放时间标签PTS之差小于或等 于所述时间阀值S，则立即显示当前视频帧；如果所述本地系统时钟STC与当前视频帧对应的视频播放时间标签PTS之差大于所述 时间阀值S，则跳过当前视频帧。
6. 根据权利要求5所述的方法，其特征在于所述时间阀值S为播放1/2个视频帧对 应的时间。
7 . —种基于MPEG-2系统实现视、音频同步的系统，其特征在于包括STC模块、音频 PTS输出模块、视频PTS输出模块、判决器和视频播放模块；音频PTS输出模块用于输出当前音频信号对应的音频播放时间标签PTS至所述STC模块；STC模块用于设置本地系统时钟STC，所述本地系统时钟STC以本地参考时钟作为基准 时钟，并采用所述当前音频信号对应的音频播放时间标签PTS作为校准时钟；还用于将所 述本地系统时钟STC输入所述判决器；视频PTS输出模块用于输出当前视频信号对应的视频播放时间标签PTS至所述判决器；判决器用于对所述当前视频信号对应的视频播放时间标签PTS与所述本地系统时钟 STC进行比较，并输出比较结果至视频播放模块；视频播放模块用于根据所述比较结果对当前视频信号进行处理。
8. 根据权利要求7所述的系统，其特征在于还包括本地晶振，所述STC模块为STC计 数器；本地晶振用于输出本地晶振信号至STC模块；STC计数器用于对所述本地晶振信号进 行累加计数而产生本地参考时钟。
9. 根据权利要求6所述的系统，其特征在于所述STC模块用于从传输流获取当前音 频帧对应的音频播放时间标签PTS后，判断是否为节目的第一个音频播放时间标签PTS，是 则将所述音频播放时间标签PTS置为所述本地系统时钟STC，否则使用所述音频播放时间 标签PTS对所述本地系统时钟STC进行校准。
10. 根据权利要求7至9中任一项所述的系统，其特征在于所述判决器中预设可接受 的时间阀值S ;所述判决器用于在当前视频帧对应的视频播放时间标签PTS大于所述本地系统时钟 STC时，向所述视频播放模块输出重放当前视频帧的比较结果；还用于在所述本地系统时钟STC与当前视频帧对应的视频播放时间标签PTS之差小于 或等于所述时间阀值S时，向所述视频播放模块输出立即显示当前视频帧的比较结果；还用于在所述本地系统时钟STC与当前视频帧对应的视频播放时间标签PTS之差大于 所述时间阀值S时，向所述视频播放模块输出跳过当前视频帧的比较结果。
全文摘要
本发明公开了一种基于MPEG-2系统实现视、音频同步的方法及系统，方法包括以下步骤设置本地系统时钟STC，所述本地系统时钟STC以本地参考时钟作为基准时钟，并采用当前音频信号对应的音频播放时间标签PTS作为校准时钟；对当前视频信号对应的视频播放时间标签PTS与所述本地系统时钟STC进行比较，并根据比较结果处理当前视频信号。本发明提供的技术方案以本地参考时钟为基准时钟、以音频播放时间标签PTS为校准时钟恢复出本地系统时钟STC，并通过本地系统时钟STC对视频信号的播放状况进行调整，实现了视频与音频的同步播放，且避免了节目参考时钟PCR的抖动而造成视频和音频信号同时跳跃或重放的情况。
文档编号H04N7/26GK101710997SQ20091011005
公开日2010年5月19日 申请日期2009年11月4日 优先权日2009年11月4日
发明者刘成刚 申请人:中兴通讯股份有限公司