一种音视频同步方法、装置及一种数字电视芯片的制作方法

专利名称：一种音视频同步方法、装置及一种数字电视芯片的制作方法
技术领域：
本发明涉及移动多媒体广播技术领域，特别是涉及一种移动多媒体广播 系统的音视频同步方法、装置和一种提供移动多媒体广播接收的数字电视芯 片。
背景技术：
移动多媒体广播是新兴的一种多媒体播放技术，近年来，这种技术和标
准发展迅速，例如欧洲的数字视频广播手持式接收(DVB-H, Digital Video Broadcast Handheld)、美国的々某体单 一前向链路(MediaFLO, Media Forward Link Only )和中国的移动多媒体广播系统(CMMB, China Mobile Multimedia Broadcast)等。移动多媒体广播可以为其终端用户提供许多服务内容，如广 告、天气预报、新闻、体育节目、综艺、多媒体广播剧、电影等节目，用户 可以根据自己的爱好选择移动多媒体广播的业务。
使用移动多媒体广播业务的用户可以通过'手持的终端，在高速移动的 情况下，用移动终端观看电视。用户接收到节目单，可以选择自己有权利 收看的频道，接收选择频道的多媒体数据，从而实现在移动终端上看自己 选择的电视节目。在电视节目播放过程中，解决媒体播放音视频同步是关键 技术之一，通常的媒体播放解决方案是在生成数据流时要打上时间戳，在 播放时基于时间戳，对数据流进行控制，即早到的或晚到的数据块进行等待 或快速处理。但是,这些技术方案有其应用的范围，有的适用于文件播放，有 的适用于网络环境中的流媒体播放，它们在各自的领域内有其优异的性能， 但不一定适合应用在广播传输的领域内。例如微软的DirectShow对于音视 频同步的解决方案是引入一个反馈机制，就是要将当前数据流速度太快或太 慢的状态反馈给"源"，让源去放慢或加快数据流的速度。可是，广播的数据 是不可控的，接收终端只能被动的接收数据，而不能够反过来控制广播数据
的速度和内容，因此，类似于将当前数据流速度太快或太慢的状态反馈给 "源"，让源去放慢或加快数据流的速度的方法是不适用的。
此外，在数字电视播放过程中，广播信道传输中存在着误码问题，尤其 在信号弱，或多径等恶劣条件下，误码会明显增多，这严重影响了电视节目 的播放质量。通常在文件媒体播放中，几乎不用考虑误码的问题，而在网络 媒体信息传输中，又具有错误重传的机制。显然，以上两种方式都不适用在 移动多^某体广播系统中，无法解决其误码问题。
总之，需要本领域技术人员迫切解决的一个技术问题就是如何能够有
效解决移动多媒体广播系统的音-见频同步和误码问题，以实时、准确地播力丈 数字电浮见节目，提升移动终端用户的感官感受。

发明内容
本发明所要解决的技术问题是提供 一种移动多媒体广播系统的音视频同 步方法和装置，能够有效解决移动多媒体广播系统的音视频同步和误码问题， 以实时、准确地播放数字电视节目，提升移动终端用户的感官感受。
本发明的另一个目的是提供一种接收移动多媒体广播的数字电视芯片， 所述数字电视芯片包括上述音视频同步装置，以实现本发明的具体应用。
为了解决上述问题，本发明实施例提供了 一种移动多媒体广播系统的音
视频同步方法，包括以下步骤
建立解码后的音频数据存放地址与时间戳的映射关系表；
根据当前播放的音频数据所指向的存放地址查询所述映射关系表获取音 频数据的时间戳，并且获取当前正在播放的视频数据的时间戳；
根据所述音频数据的时间戳和视频数据的时间戳，对视频播放进行调整， 调整至音视频同步状态。
优选的，所述根据音频数据的时间戳和视频数据的时间戳，对视频播放 进行调整包括以下步骤
比较所述音频数据的时间戳和视频数据的时间戳；
计算所述音频数据的时间戳和视频数据的时间戳的差距；
当所述差距达到调整条件时，对视频播放进行调整。
优选的，在比较音视频时间戳之前，还包括
判断所述音频数据的时间戳和视频数据的时间戳是否可信，如果可信， 则计算差距，如果不可信，则放弃当前帧。
优选的，通过以下方式确定时间戳是否可信
判断已播放的预置次数内的时间戳的值是否保持一定距离范围内的增 长；若是，则将当前时间戳确认为可信数据；若否，则为不可信数据。 优选的，所述对视频播放进行调整的步骤包括 如果音频时间戳晚于视频时间戳，则视频播放暂停一定数量的帧； 如果音频时间戳早于视频时间戳，则判断视频数据緩冲区中是否有视频 帧数据，若有，则视频跳过一定数量的帧；若无，则记录跳帧需求，待视频 数据緩沖区准备好视频数据后再跳帧。
优选的，所述映射关系表为先进先出结构。
优选的，所述建立解码后的音频数据存放地址与时间戳的映射关系表包 括以下步骤
记录每帧音频解码后的音频数据起始地址和终止地址； 记录每帧音频的时间戳；
建立所述每帧音频解码后的音频数据起始地址和终止地址与每帧音频的 时间戳的映射关系表。
优选的，所述获取音频数据的时间戳还包括
每隔一段时间检查当前播放的音频数据地址是否在所述映射关系表的当 前表项的音频凝:据起始地址和终止地址范围内； 如果是，则继续读取当前表项的时间戳； 如果否，则跳转到下一表项，读取该表项的时间戳。 优选的，所述调整条件为一阈值范围。
相应的，本发明实施例还提供了一种移动多媒体广播系统的音视频同步
装置，包括
映射关系表建立模块，用于建立解码后的音频数据存放地址与时间戳的
映射关系表；
时间戳获取模块，用于根据当前播放的音频数据所指向的存放地址查询 所述映射关系表获取音频数据的时间戳，并且获取当前正在播放的视频数据 的时间戳；
播放调整模块，用于根据所述音频数据的时间戳和视频数据的时间戳， 对视频播放进行调整，调整至音视频同步状态。
优选的，所述播放调整模块进一步包括
时间戳比较子模块，用于比较所述音频数据的时间戳和视频数据的时间
戳；
差距计算子模块，用于计算所述音频数据的时间戳和视频数据的时间戳 的差距；
视频调整子模块，用于当所述差距达到调整条件时，对视频播放进行调整。
优选的，所述音视频同步装置还包括
时间戳确认模块，用于在比较音视频时间戳之前，判断所述音频数据的 时间戳和视频数据的时间戳是否可信，如果可信，则计算差距，如果不可信， 则i文弃当前帧。
优选的，所述时间戳确认模块进一步包括
判断子模块，用于判断已播放的预置次数内的时间戳的值是否保持一定 距离范围内的增长；
确认子模块，用于当判断子模块结果为是时，将当前时间戳确认为可信 数据；
否定子模块，用于当判断子模块结果为否时，认定当前时间戳为不可信 数据。
优选的，所述视频调整子模块进一步包括
暂停单元，用于当音频时间戳晚于视频时间戳时，视频播放暂停一定数
量的帧；
跳进单元，包括
緩存判断子单元，用于当音频时间戳早于视频时间戳时，判断视频数据 緩沖区中是否有视频帧数据；
跳帧子单元，用于当緩存判断单元结果为是时，则视频跳过一定数量的
帧；
緩跳子单元，用于当缓存判断单元结果为否时，则记录跳帧需求，待视 频数据緩沖区准备好视频数据后再跳帧。
优选的，所述映射关系表为先进先出结构。 优选的，所述映射关系表建立模块进一步包括 地址记录子模块，用于记录每帧音频解码后的音频数据起始地址和终止 地址；
时间戳记录子模块，用于记录每帧音频的时间戳； 关系表建立子模块，用于建立所述每帧音频解码后的音频数据起始地址 和终止地址与每帧音频的时间戳的映射关系表。 优选的，所述时间戳获取模块还包括
更新子模块，用于每隔一段时间检查当前播放的音频数据地址是否在所 述映射关系表的当前表项的音频数据起始地址和终止地址范围内；如果是， 则继续读耳又当前表项的时间戳；如果否，则跳转到下一表项，读取该表项的 时间戳。
优选的，所述调整条件为一阈值范围。
本发明实施例还提供了 一种数字电视芯片，包括 信道解码模块，用于将射频前端处理后的基带信号解码为复用码流； 解复用模块，用于将复用码流解复用为视频码流和音频码流； 视频解码器，用于视频解码； 音频解码器，用于音频解码；
视频输出模块，用于输出视频数据；
音频输出模块，用于输出音频数据； 以及，
包括以下子模块的音视频同步模块
映射关系表建立子模块，用于建立解码后的音频邀:据存放地址与时间戳 的映射关系表；
时间戳获取子模块，用于根据当前播放的音频数据所指向的存放地址查 询所述映射关系表获取音频数据的时间戳，并且获取当前正在播放的视频数 据的时间戳；
播放调整子模块，用于根据所述音频数据的时间戳和视频数据的时间戳， 对视频播放进行调整，调整至音视频同步状态。
优选的，所述播放调整子模块进一步包括
时间戳比较单元，用于比较所述音频数据的时间戳和视频数据的时间戳； 差距计算单元，用于计算所述音频数据的时间戳和视频数据的时间戳的 差距；
视频调整单元，用于当所述差距达到调整条件时，对视频播放进行调整。 优选的，所述音视频同步模块还包括
时间戳确认子模块，用于在比较音视频时间戳之前，判断所述音频数据 的时间戳和-现频数据的时间戳是否可信，如果可信，则计算差距，如果不可 信，则;改弃当前帧。
优选的，所述时间戳确认子模块进一步包括
判断单元，用于判断已播放的预置次数内的时间戳的值是否保持一定距 离范围内的增长；
确认单元，用于当判断子模块结果为是时，将当前时间戳确认为可信数
据；
否定单元，用于当判断子模块结果为否时，认定当前时间戳为不可信数据。
与现有技术相比，本发明具有以下优点
首先，本发明针对广播数据不可控的特点，先让音视频数据自由播放， 然后使用监视程序实时比较音视频的播放进度，给出相应的调整意见，如视 频暂停一帧或向前跳一帧等，在最大限度地提高了每次开机时或切换频道后 节目播放速度的同时，保证了在终端不能控制"源"的条件下，音视频播放的 同步。
其次，本发明针对广播信道传输存在误码，而且在信号弱或多径等恶劣 条件下，误码会明显增多的情况，使用了音视频数据时间戳确认机制，在每 次要做音视频播放时间比对前，先对音视频的时间戳作确认。只有时间戳数 据可信时，才根据情况对音视频播放做相应调整。采用时间戳数据确认机制， 有效地克服了由于误码造成的音视频同步的误调整，抑制了广播信道的传输 误码导致的对音视频调节的干扰。


图1是本发明的一种移动多媒体广播系统的音视频同步方法实施例1的 步骤流程图2是本发明的一种移动多媒体广播系统的音视频同步方法实施例2的 步骤流程图3是本发明的一种移动多媒体广播系统的音视频同步装置实施例的结 构框图4是本发明应用图2所示的装置实施例进行音视频同步的步骤流程图； 图5是本发明的一种数字电视芯片的结构框图。
具体实施例方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图 和具体实施方式
对本发明作进一步详细的说明。
本发明的核心构思之一在于，通过建立解码后的音视频数据存放地址与
时间戳的映射关系表，以及音视频播放监控中的时间戳确认机制，解决移动 多媒体广播系统的音视频同步和误码问题，以实时、准确地播放数字电视节
目，提升移动终端用户的感官感受。
参照图1,示出了本发明一种移动多々某体广播系统的音视频同步方法实
施例1的步骤流程图，具体可以包括以下步骤
步骤101:建立解码后的音频数据存放地址与时间戳的映射关系表；
根据解复用时每一帧音频与时间戳的——映射关系，以及每一帧音频和 解码后的音频数据存放地址的——映射关系建立一个音频数据存放地址和 时间戳的映射关系表。所述映射关系表可以采用先进先出(FIFO , First In First Out)结构，也可采用链表结构等其它结构。本领域技术人员可以根据 需要采用适合的表结构，本发明无须对此作出限制。
在建立映射关系表时，记录每一帧音频解码后的音频数据在緩存中的起 始地址和终止地址，并记录该帧音频的时间戳，将音频数据在緩存中的起始 地址和终止地址以及音频时间戳写入映射关系表。在音频播;故时，可以依据 当前的播放数据所指向的存放地址通过查询所述映射关系表从而获得当前音 频播-;故所对应的时间。
步骤102:根据当前播放的音频数据所指向的存放地址查询所述映射关 系表获取音频数据的时间戳，并且获取当前正在播放的视频数据的时间戳；
根据当前播放的音频数据所指向的存放地址查询映射关系表获取音频数 据的时间戳；根据解复用时每一帧视频与时间戳的一一映射关系获得当前播 放的视频帧所对应的时间戳。
映射关系表每隔一段时间检查当前播放的音频数据地址是否在当前表项 的音频数据起始地址和终止地址范围内，如果是，则继续读取当前表项的时 间戳；如果否，则跳转到下一表项，读取该表项的时间戳。
步骤103:根据所述音频数据的时间戳和视频数据的时间戳，对视频播 放进行调整，调整至音视频同步状态。
根据所述音频数据的时间戳和视频数据的时间戳，对视频播放进行调整，是解决音视频同步的最佳方案。实现这一方案有多种途径，例如可以通过
比较音视频时间戳的差距来调整，当时间戳的差距超出一定范围，达到需要 调整的条件，就根据时间戳的差距情况对视频播放进行调整，使视频暂停播
放或向前跳进一定数量的帧，以达到音视频同步；也可以通过设置时间线性 递增的参考时钟来调整，在播放时，读取音视频数据的时间戳，同时参考当 前参考时钟上的时间来安排播放。如果音视频数据的时间戳的时间早于当前 参考时钟上的时间，则不急于播放该音视频数据，直到参考时钟达到所述音 视频数据的时间戳的时间；如果音视频数据的时间戳的时间晚于当前参考时 钟上的时间，则"尽快，，播放该数据或者索性将此数据"丢弃，，，以使播放进 度追上参考时钟。总之，本领域技术人员在应用中可采用任意适合的方法， 依据音视频时间戳对音视频播放进行同步调整，本发明无须对此作出限制。
参照图2,示出了本发明一种移动多媒体广播系统的音视频同步方法实 施例2的步骤流程图，具体可以包括以下步骤
步骤201:建立解码后的音频数据存放地址与时间戳的映射关系表； 根据解复用时每一帧音频与时间戳的一一映射关系，以及每一帧音频和 解码后的脉码调制(PCM, Pulse Code Modulation)数据存放地址的——映 射关系建立一个PCM数据存》文地址和时间戳的映射关系表。所述映射关系 表采用先进先出(FIFO ， First In First Out)结构。在建立映射关系表时，记 录每一帧音频解码后的PCM数据在緩存中的起始地址和终止地址，并记录 该帧音频的时间戳，将PCM数据在緩存中的起始地址和终止地址以及音频 时间戳顺序写入映射关系表。在音频播放时，可以依据当前的播放数据所指 向的存放地址通过查询所述映射关系表从而获得当前音频播放所对应的时 间。
需要说明的是，本实施中解码后的音频数据采用PCM格式，在实际应 用中，本领域技术人员也可根据需要使用其它数据格式，本发明无需对此作 出限制。
步骤202:根据当前播放的音频数据所指向的存放地址查询所述映射关
系表获取音频数据的时间戳，并且获取当前正在播放的视频数据的时间戳；
根据当前播放的音频数据所指向的存放地址查询映射关系表获取音频数
据的时间戳；根据解复用时每一帧视频与时间戳的一一映射关系获得当前播 放的视频帧所对应的时间戳。
映射关系表每隔一段时间检查当前播放的音频数据地址是否在当前表项 的音频数据起始地址和终止地址范围内，如果是，则继续读取当前表项的时 间戳；如果否，则跳转到下一表项，读取该表项的时间戳。
步骤203:判断所述音频数据的时间戳和视频数据的时间戳是否可信， 如果可信，则执行步骤204;如果不可信，则不作任何干预；
在音视频播放时，可以依据当前播放的音视频数据而获得时间戳，如果 已播放的预置次数内的音视频的时间戳的值保持一定距离范围内的增长规 律，则认为当前音视频时间戳可信，将当前时间戳确认为可信数据，比较当 前音视频时间戳；否则，则认为是不可信数据，放弃比较当前帧，不作任何 干预。
步骤204:比较当前正在播放的音频数据的时间戳和视频数据的时间戳， 计算音频数据的时间戳和视频数据的时间戳的差距；
当时间戳数据可信时，每隔一段时间比较当前正在播放的音频数据的时 间戳和视频数据的时间戳，计算二者之间的差距。
步骤205:判断所述差距是否达到调整条件，如果是，则向下执行；如 果否，则不作任何干预；
判断所述音视频时间戳差距是否达到调整条件，本实施例中，所述调整 条件为一阈值范围。当音^L频时间戳的差距在此阈值范围内，即达到调整条 件，则对音视频播放进行调整；如果不在此阈值范围内，则不作调整。如 当音视频时间戳的的差距在正常范围内时，无须对音视播放进行调整；但是， 当音视频时间戳的差距超过了一定阈值的时候，也同样不作调整，这是因为 误码或时间戳的编码回头会造成两个时间戳相差过大，而超过一定阈值，有 可能导致误调整的发生。综上所述，只有当音视频时间戳的差距超出正常范 围的上边界且没有超过一定阈值这样的一个阈值范围内时，才对音视频播放
进行干预。例如0-3的范围为正常范围，音视频时间戳的差距在此范围内 时，不作音视频播放调整；同样的，当时间戳的差距超过一定阈值，如8时， 也不对音视频播放进行调整。只有当时间戳差距在超过3且不大于8这样的 一个阈值范围时，才作音视频纟番;故调整。
需要说明的是，在应用中，本领域技术人员可根据实际情况设置适合的 调整条件，本发明无需对此作出限制。
步骤206:如果音频时间戳晚于视频时间戳，则视频播放暂停一定数量 的帧；
音频时间戳晚于视频时间戳，即音频播放慢于视频播放，根据音视频时 间戳差距情况，暂停播放一定数量的视频帧。
步骤207:如果音频时间戳早于视频时间戳，则先判断视频数据緩冲区 中是否有视频帧数据，若有，则执行步骤208;若无，则执行步骤209;
音频时间戳早于视频时间戳，即音频播放快于视频播放，先判断视频数 据緩冲区中有无视频帧可跳。
步骤208:视频跳过一定数量的帧；
根据音视频时间戳差距情况，视频播放向前跳过一定数量的帧。 步骤209:记录跳帧需求，待视频数据緩冲区准备好视频数据后再跳帧。 需要说明的是，对于上述的方法实施例，为了筒单描述，故将其都表 述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所 描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或 者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施 例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
参照图3,示出了本发明的一种移动多媒体广播系统的音视频同步装置 实施例的结构框图，可以包括以下模块
映射关系表建立模块301,用于建立解码后的音频数据存放地址与时间 戳的映射关系表；其中，所述映射关系表为FIFO结构；
时间戳获取模块302,用于根据当前播放的音频数据所指向的存放地址
查询所述映射关系表获取音频数据的时间戳，并且获取当前正在播放的视频
数据的时间戳；
播放调整模块303，用于根据所述音频数据的时间戳和视频数据的时间
戳，对视频播放进行调整，调整至音视频同步状态。
优选的是，所述播放调整模块303还可以进一步包括
时间戳比较子模块3031,用于比较所述音频数据的时间戳和视频数据的
时间戳；
差距计算子模块3032,用于计算所述音频数据的时间戳和视频数据的时 间戳的差距；
视频调整子模块3033，用于当所述差距达到调整条件时，对视频播放进 行调整。
其中，所述调整条件为一阈值范围。 优选的是，所述视频调整子模块3033还可以进一步包括 暂停单元30331,用于当音频时间戳晚于视频时间戳时， 一见频播放暂停 一定数量的帧；
跳进单元30332，进一步包括
緩存判断子单元303321,用于当音频时间戳早于视频时间戳时，判断视 频数据緩冲区中是否有视频帧数据；
跳帧子单元303322,用于当緩存判断单元结果为是时，则视频跳过一定 数量的帧；
緩跳子单元303323，用于当緩存判断单元结果为否时，则记录跳帧需求， 待视频数据緩冲区准备好视频数据后再跳帧。 优选的是，本实施例的装置还可以包括
时间戳确认模块304,用于在比较音视频时间戳之前，判断所述音频数 据的时间戳和视频数据的时间戳是否可信，如果可信，则计算差距，如果不 可信，则》文弃当前帧。
优选的是，所述时间戳确认模块304还可以进一步包括
判断子模块3041,用于判断已播放的预置次数内的时间戳的值是否保持
一定距离范围内的增长；
确认子模块3042,用于当判断子模块结果为是时，将当前时间戳确认为 可信数据；
否定子模块3043,用于当判断子模块结果为否时，认定当前时间戳为不 可信数据。
时间戳确认模块304在每次要做音视频播放时间比对前，先对音视频的 时间戳作确认。只有时间戳数据可信时，才根据情况对音视频播放做相应调 整。采用这样的时间戳数据确认机制，可以有效克服由于误码造成的音视频 同步的误调整，抑制了广播信道的传输误码导致的对音视频调节的干扰。 优选的是，所述映射关系表建立模块301还可以进一步包括 地址记录子模块3011 ，用于记录每帧音频解码后的音频数据起始地址和 终止地址；
时间戳记录子模块3012,用于记录每帧音频的时间戳； 关系表建立子模块3013，用于建立所述每帧音频解码后的音频数据起始
地址和终止地址与每帧音频的时间戳的映射关系表。
优选的是，所述时间戳获取模块302还可以进一步包括
更新子模块3021,用于每隔一段时间检查当前播放的音频数据地址是否
在所述映射关系表的当前表项的音频数据起始地址和终止地址范围内；如果
是，则继续读取当前表项的时间戳；如果否，则跳转到下一表项，读取该表
项的时间戳。
参照图4，示出了本发明应用图3所示的装置实施例进行音视频同步的 步骤流程图，具体可以包括以下步骤
步骤401:映射关系表建立模块建立解码后的音频数据存放地址与时间 戳的映射关系表；
其中，所述映射关系表为FIFO结构。在本步骤中，映射关系表建立模 块的地址记录子模块记录每帧音频解码后的音频数据起始地址和终止地址； 时间戳记录子模块记录每帧音频的时间戳；关系表建立子模块建立映射关系
表，顺序将所述每帧音频解码后的音频数据起始地址和终止地址与每帧音频 的时间戳写入表中。
步骤402:时间戳获取模块获取解码后的音、视频数据的时间戳；
时间戳获取模块根据当前播放的音频数据所指向的存放地址查询映射关 系表获取音频数据的时间戳，根据解复用时每一帧视频与时间戳的——映射 关系获得当前播放的视频帧所对应的时间戳。
优选的是，时间戳获取模块的更新子模块每隔一段时间检查当前播放的 音频数据地址是否在所述映射关系表的当前表项的音频数据起始地址和终止 地址范围内；如果是，则继续读取当前表项的时间戳；如果否，则跳转到下 一表项，读取该表项的时间戳。
步骤403:时间戳确认模块的判断子模块判断已播放的预置次数内的时 间戳的值是否保持一定距离范围内的增长，如果是，执行步骤404;如果否， 执行步骤405;
步骤404:当判断子模块的判断结果为是时，时间戳确认模块的确认子 模块将当前时间戳确认为可信数据，执行步骤406;
步骤405:当判断子模块的判断结果为否时，否定子模块认定当前时间 戳为不可信数据，不作任何干预；
步骤406:当时间戳数据可信时，播放调整模块的时间戳比较子模块每 隔 一段时间比较当前正在播放的音频数据的时间戳和视频数据的时间戳；
步骤407:播放调整模块的差距计算子模块计算音频数据的时间戳和视 频数据的时间戳的差距，并判断所述差距是否达到调整条件；如果达到调整 条件，则向下执行；如果没有达到调整条件，则不作任何干预。
优选的是，所述调整条件为一阈值范围。
步骤408:当音频时间戳晚于视频时间戳时，播放调整模块的视频调整 子模块的暂停单元暂停播放一定数量的视频帧；
步骤409:当音频时间戳早于视频时间戳时，首先由视频调整子模块的 跳进单元的緩存判断子单元判断视频数据緩冲区中是否有视频帧数据；若有， 执行步骤410;若无，执行步骤411;
步骤410:当视频数据緩冲区中有视频帧数据时，视频调整子模块的跳 进单元的跳帧子单元使视频播放跳过一定数量的帧；
步骤411:当视频数据緩冲区中没有视频帧数据时，跳进单元的緩跳子 单元记录跳帧需求，待视频数据緩沖区准备好视频数据后再跳帧。
由于图4所示的实施例都可以对应适用于前述的方法实施例中，所以 描述4交为简略，未详尽之处可以参见本说明书前面相应部分的描述。
参照图5，示出了本发明的一种数字电视芯片，可以包括 信道解码模块501,用于将射频前端处理后的基带信号解码为复用码流； 解复用模块502，用于将复用码流解复用为视频码流和音频码流； ^见频解码器503,用于^L频解码； 音频解码器504，用于音频解码； 视频输出模块505,用于输出视频数据； 音频输出模块506，用于输出音频数据； 以及，
包括以下子模块的音视频同步模块507:
映射关系表建立子模块5071 ，用于建立解码后的音频数据存放地址与时 间戳的映射关系表；
时间戳获取子模块5072,用于根据当前播放的音频数据所指向的存放地 址查询所述映射关系表获取音频数据的时间戳，并且获取当前正在播放的视 频数据的时间戳；
播放调整子模块5073，用于根据所述音频数据的时间戳和视频数据的时 间戳，对视频播放进行调整，调整至音视频同步状态。
优选的，所述播放调整子模块5073进一步包括
时间戳比较单元，用于比较所述音频数据的时间戳和视频数据的时间戳； 差距计算单元，用于计算所述音频数据的时间戳和视频数据的时间戳的 差距；
视频调整单元，用于当所述差距达到调整条件时，对视频播放进行调整。
优选的，所述音视频同步模块还包括
时间戳确认子模块，用于在比较音视频时间戳之前，判断所述音频数据 的时间戳和视频数据的时间戳是否可信，如果可信，则计算差距，如果不可
寸言，则放弃当前帧。
优选的，所述时间戳确认子模块进一步包括
判断单元，用于判断已播放的预置次数内的时间戳的值是否保持一定距 离范围内的增长；
确认单元，用于当判断子模块结果为是时，将当前时间戳确认为可信数
据；
否定单元，用于当判断子模块结果为否时，认定当前时间戳为不可信数据。
此外，所述数字电视芯片还包括一定数量的数据緩存模块，用于緩存各 功能模块的数据。
在多媒体移动广播接收终端，终端数字电视芯片对接收到的音视频数据 进行处理。由射频前端处理后的基带信号送入信道解码模块，信道解码模块 工作时的中间数据存储在信道解码緩存，信道解码送出复用码流数据，緩存 在信道解码输出緩存；然后解复用模块将信道解码输出缓存中的复用码流解 复用，提取出音频码比特流緩存在音频比特流緩存、提取出视频码比特流緩 存在视频比特流緩存；接下来音频解码器和视频解码器分别进行音、视频解 码，并交给音视频同步模块处理，此过程中使用音、视频解码緩存分别緩存 音、视频解码的中间数据；音视频同步模块的映射关系表建立子模块根据每 一帧音频与时间戳的——映射关系，以及每一帧音频和解码后的音频数据存 放地址的——映射关系建立音频数据存放地址与时间戳的映射关系表；时间 戳获取子模块获取当前播放的音、视频数据的时间戳；在时间戳确认子模块 确认时间戳数据可信的情况下，播放调整子模块的时间戳比较单元比较当前 正在播放的音频数据的时间戳和视频数据的时间戳；播放调整子模块的差距 计算单元计算音频数据的时间戳和视频数据的时间戳的差距，并根据差距是
否达到调整条件情况，由视频调整单元对视频播放进行相应处理；将经过同 步后的音、视频分别緩存在音、视频输出緩存；最后视频输出缓存中的视频 帧按照一定帧率由视频输出模块播放，音频输出緩存中的音频帧按照一定采 样率由音频输出播放。
由于数字电视芯片实施例中音视频同步相关部分与方法实施例基本相 似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例提供的数字电视芯片可广泛用于移动多媒体广播终端，方 便用户收听收看移动多媒体节目，如可作为接收中国移动多媒体广播CMMB 的终端数字电视芯片，为用户提供各种CMMB的移动多媒体广播业务。
以上对本发明所提供的 一种移动多媒体广播系统的音视频同步方法、 装置和系统进行了详细介绍，本文中应用了具体个例对本发明的核心构思 及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方 法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想， 在具体实施方式
及应用范围上均会有改变之处，综上所述，本说明书内容 不应理解为对本发明的限制。
权利要求
1、一种移动多媒体广播系统的音视频同步方法，其特征在于，包括以下步骤建立解码后的音频数据存放地址与时间戳的映射关系表；根据当前播放的音频数据所指向的存放地址查询所述映射关系表获取音频数据的时间戳，并且获取当前正在播放的视频数据的时间戳；根据所述音频数据的时间戳和视频数据的时间戳，对视频播放进行调整，调整至音视频同步状态。
2、 根据权利要求l所述的方法，其特征在于，所述根据音频数据的时间 戳和视频数据的时间戳，对视频播放进行调整包括以下步骤比较所述音频数据的时间戳和视频数据的时间戳； 计算所述音频数据的时间戳和视频数据的时间戳的差距；当所述差距达到调整条件时，对视频播放进行调整。
3、 根据权利要求2所述的方法，其特征在于，在比较音视频时间戳之前， 还包括判断所述音频数据的时间戳和视频数据的时间戳是否可信，如果可信， 则计算差距，如果不可信，则放弃当前帧。
4、 根据权利要求3所述的方法，其特征在于，通过以下方式确定时间 戳是否可信判断已播放的预置次数内的时间戳的值是否保持一定距离范围内的增长；若是，则将当前时间戳确认为可信数据；若否，则为不可信数据。
5、 根据权利要求2或4所述的方法，其特征在于，所述对视频播放进行 调整的步骤包括如果音频时间戳晚于视频时间戳，则视频播放暂停一定数量的帧； 如果音频时间戳早于视频时间戳，则判断视频数据緩冲区中是否有视频帧数据，若有，则视频跳过一定数量的帧；若无，则记录跳帧需求，待视频数据缓冲区准备好视频数据后再跳帧。
6、 根据权利要求1或2所述的方法，其特征在于，所述映射关系表为先 进先出结构。
7、 根据权利要求6所述的方法，其特征在于，所述建立解码后的音频数 据存放地址与时间戳的映射关系表包括以下步骤记录每帧音频解码后的音频数据起始地址和终止地址； 记录每帧音频的时间戳；建立所述每帧音频解码后的音频it据起始地址和终止地址与每帧音频的 时间戳的映射关系表。
8、 根据权利要求7所述的方法，其特征在于，所述获取音频数据的时间 戳还包括每隔一段时间检查当前播放的音频数据地址是否在所述映射关系表的当 前表项的音频数据起始地址和终止地址范围内； 如果是，则继续读取当前表项的时间戳； 如果否，则跳转到下一表项，读取该表项的时间戳。
9、 根据权利要求2所述的方法，其特征在于，所述调整条件为一阈值范围。
10、 一种移动多媒体广播系统的音视频同步装置，其特征在于，包括 映射关系表建立模块，用于建立解码后的音频数据存放地址与时间戳的映射关系表；时间戳获取模块，用于根据当前播放的音频数据所指向的存放地址查询 所述映射关系表获取音频数据的时间戳，并且获取当前正在播放的视频数据 的时间戳；播放调整模块，用于根据所述音频数据的时间戳和视频数据的时间戳， 对视频播放进行调整，调整至音视频同步状态。
11、 根据权利要求IO所述的装置，其特征在于，所述播放调整模块进一 步包括时间戳比较子模块，用于比较所述音频数据的时间戳和视频数据的时间戳； 差距计算子模块，用于计算所述音频数据的时间戳和视频数据的时间戳的差距；视频调整子模块，用于当所述差距达到调整条件时，对视频播放进行调整。
12、 根据权利要求10或11所述的装置，其特征在于，还包括时间戳确认模块，用于在比较音视频时间戳之前，判断所述音频数据的 时间戳和视频数据的时间戳是否可信，如果可信，则计算差距，如果不可信， 则;故弃当前帧。
13、 根据权利要求12所述的装置，其特征在于，所述时间戳确认模块进 一步包括判断子模块，用于判断已播放的预置次数内的时间戳的值是否保持一定 距离范围内的增长；确认子模块，用于当判断子模块结果为是时，将当前时间戳确认为可信 数据；否定子模块，用于当判断子模块结果为否时，认定当前时间戳为不可信数据。
14、 根据权利要求13所述的装置，其特征在于，所述视频调整子模块进 一步包括暂停单元，用于当音频时间戳晚于视频时间戳时，视频播放暂停一定数 量的帧；跳进单元，包括緩存判断子单元，用于当音频时间戳早于视频时间戳时，判断视频数据 緩冲区中是否有视频帧数据；跳帧子单元，用于当緩存判断单元结果为是时，则视频跳过一定数量的帧；緩跳子单元，用于当緩存判断单元结果为否时，则记录跳帧需求，待视 频数据緩冲区准备好视频数据后再跳帧。
15、 根据权利要求10或11所述的装置，其特征在于，所述映射关系表为先进先出结构。
16、 根据权利要求15所述的装置，其特征在于，所述映射关系表建立模 块进一步包括地址记录子模块，用于记录每帧音频解码后的音频数据起始地址和终止 地址；时间戳记录子模块，用于记录每帧音频的时间戳；关系表建立子模块，用于建立所述每帧音频解码后的音频数据起始地址 和终止地址与每帧音频的时间戳的映射关系表。
17、 根据权利要求16所述的装置，其特征在于，所述时间戳获取模块还 包括更新子模块，用于每隔一段时间检查当前播放的音频数据地址是否在所 述映射关系表的当前表项的音频数据起始地址和终止地址范围内；如果是， 则继续读取当前表项的时间戳；如果否，则跳转到下一表项，读取该表项的 时间戳。
18、 根据权利要求11所述的装置，其特征在于，所述调整条件为一阈值 范围。
19、 一种数字电视芯片，其特征在于，包括信道解码模块，用于将射频前端处理后的基带信号解码为复用码流；解复用^^莫块，用于将复用码流解复用为^L频码流和音频码流；视频解码器，用于视频解码；音频解码器，用于音频解码；视频输出模块，用于输出视频数据；音频输出模块，用于输出音频数据；以及，包括以下子模块的音视频同步模块映射关系表建立子模块，用于建立解码后的音频数据存放地址与时间戳 的映射关系表；时间戳获取子模块，用于根据当前播放的音频数据所指向的存放地址查 询所述映射关系表获取音频数据的时间戳，并且获取当前正在播放的视频数据的时间戳；播放调整子模块，用于根据所述音频数据的时间戳和视频数据的时间戳， 对视频播放进行调整，调整至音视频同步状态。
20、 根据权利要求19所述的数字电视芯片，其特征在于，所述播放调整 子模块进一步包括时间戳比较单元，用于比较所述音频数据的时间戳和视频数据的时间戳； 差距计算单元，用于计算所述音频数据的时间戳和视频数据的时间戳的 差距；视频调整单元，用于当所述差距达到调整条件时，对视频播放进行调整。
21、 根据权利要求19或20所述的数字电视芯片，其特征在于，所述音 视频同步模块还包括时间戳确认子模块，用于在比较音视频时间戳之前，判断所述音频数据 的时间戳和视频数据的时间戳是否可信，如果可信，则计算差距，如果不可 信，则放弃当前帧。
22、 根据权利要求21所述的数字电视芯片，其特征在于，所述时间戳确 认子模块进一步包括判断单元，用于判断已播放的预置次数内的时间戳的值是否保持一定距 离范围内的增长；确认单元，用于当判断子模块结果为是时，将当前时间戳确认为可信数据；否定单元，用于当判断子模块结果为否时，认定当前时间戳为不可信数据。
全文摘要
本发明提供了一种移动多媒体广播系统的音视频同步方法，包括建立解码后的音频数据存放地址与时间戳的映射关系表；根据当前播放的音频数据所指向的存放地址查询所述映射关系表获取音频数据的时间戳，并且获取当前正在播放的视频数据的时间戳；根据所述音频数据的时间戳和视频数据的时间戳，对视频播放进行调整，调整至音视频同步状态。本发明针对广播数据不可控的特点，实时比较音视频的播放进度，给出相应调整意见，保证了在终端不能控制“源”的条件下音视频播放的同步；针对广播信道传输存在误码的情况，使用音视频数据时间戳确认机制，克服了由于误码造成的音视频同步的误调整，抑制了广播信道的传输误码导致的对音视频调节的干扰。
文档编号H04N5/04GK101394469SQ200810225160
公开日2009年3月25日 申请日期2008年10月29日 优先权日2008年10月29日
发明者岩 张, 辉 张, 曹晋宇, 王洪仁, 王西强, 伟 胡 申请人:北京创毅视讯科技有限公司