移动终端的音频及视频同步装置和方法

专利名称：移动终端的音频及视频同步装置和方法
技术领域：
本发明涉及一种支持视频点播(VOD: Video On Demand)的移动终 端，尤其涉及到能够使实时接收的音频及视频信号同步的装置和方法。
背景技术：
一般来说，视频信号编码技术主要用于视频信号的传输、存储及 播放。例如它包括ITU-T Recommendation H.263(以下简称'H.263')， ISO/IEC International Standard 14496-2(MPEG-4 Visual,以下简称 'MPEG-4')等国际标准-观频解码方法。另外，新的编码系统是为实现 ITU-T和ISO/IEC.即ITU-T Recommendation H.264和ISO/IEC International Standard 14496-10联合视频说明书的联合正式委员会草案 (Joint Final Committee Draft,以下简称'H.26L')的联合国际标准化而计 划推出的视频编码方法，它包括用于上述视频编码方法的普通编码技 术。
随着视频信号压缩技术的发展和最近移动终端技术的发展，终端 设备具备了 VOD功能。视频点播功能不是指终端设备将因特网VOD月良 务器上的VOD内容下载后进行播放的功能，而是指VOD服务器在对实 时传输的流动(步骤treading)数据进行传输处理的同时，将相关内容向 用户显示的功能。在这里，VOD内容是指VOD服务器的内容中可以通过 VOD功能向终端设备传输的内容。
另夕卜，利用视频点播功能不仅可以欣赏电影预告片、音乐视频、以及新闻等，而且现在还可以收听TV广播。另外，随着终端设备的存储 媒介容量的不断增大，终端设备不仅可以对VOD内容进行播放，同时 还可以进4于录^f象。


图1是依据现有技术R26L标准的VOD终端设备结构示意图。
参照图l可以看出，移动终端100大致包括如下两个部分调制解 调器(MSM: Mobile Station Modem)芯片110及信号处理芯片120，调制 解调器芯片110包括对发射的信号进行编码和调制的发射器；对接收 的信号进行解调和解密的接收器，协议处理模块lll。在这里，协议处 理模块111可以对接收的多媒体数据包进行处理。
在这里，多媒体(RTP)数据包数据的首标信息包含点对点协议 (PPP: Pointto Point Protocol),因特网协议(IP: Internet Protocol),传输 控制协议/用户数据报协议(TCP/UDP: Transport Control Protocol/User Datagram Protocol),实时协i义(RTP: Real Time Protocol)/实时流:樣体协 议(RTSP: Real Time Streaming Protocol)/超文体传输协议(HTTP: Hypertext Transfer Protocol)等信息，RTP有效负荷可以传输多力某体数据 (H.264)。
因此，当接收到RTP数据包以后，就可以通过协议处理模块lll并 根据下层的PPP、 IP，、 TCP/UDP协议进行处理，同时可以将与RTP 数据包相应的多々某体数据向信号处理芯片120传输。
另外，调制解调器芯片110包括可以对数码音响(MIDI)标准的音 频及语音数据进行解码的编译码器。
所述信号处理芯片120包括文件系统存储部122,编译码器 (CODEC)123，播放部124。 文件系统存储部122可以存储多媒体数据
包，编译码器123为了能够实现视频播放而将所述多々某体数据包进行解 码处理，播放部124为了提供实时动态影像服务而将所述解码的多媒体 数据的输出显示过程进行控制。
在这里，对于所述调制解调器芯片110和信号处理芯片120的接口 方式可以通过如进禾呈间通信(IPCInter Process Communication) 112进4亍 连接。
所述信号处理芯片120能够对所有11.264标准的比特流进行处理。 也就是说，视频点播或者是实时动态影像服务大多根据视频编译码器 (Video codec)123采用R264标准。
这种信号处理芯片120对于与除了数码音响标准以外的音频编译 码器相应的MP3、 AAC(Advanced Audio Coder)和与语音编译码器(步骤 speech codec)相应的QCELP、 EVRC等都可以进行解码处理。
这种移动终端在对音频/视频同时进行播放时，由于音频的优先顺 序比视频要高。因此，即使视频播放断断续续，用户也仍然可以听清 声音。也就是说，当视频和音频数据同时共存时，首先处理音频,当音 频数据处理结束之后，就可以对视频数据进行处理。如果音频频率(步 骤amplingfr叫uency)为高数据，就需要频繁进行处理。因此，相对来说 视频占用CPU，即占用信号处理芯片的机会就会越来越少。
因此，依据现有技术的移动终端同时进行音频和视频播放时,由于 音频具有较高的比特率。因此，音频数据对信号处理芯片120的占用率 就相对要高。如果^f见频对所有比特流进行解码处理，由于解码需要一 定的时间，从而就会导致音频和视频不能同步。
另外，H,264与运动图像专家组4(MPEG 4)相比相对要复杂一些。
也就是"i兌，H.264可以将与当前宏块(Macro block)最相似的部分前后合 并，从而对32张(forward 16张，backward 16张)范围内的全部数据进行检 索。为此，不仅在进行编码的过程中，即使在进行解码的过程中也需 要具有完全一样的帧緩冲器。与此相比，MPEG 4为了实现B-画面而 将前后部分合并，与处理2张的情况相比，R264具有更高的复杂度。根 据这种R264的复杂度和音频的优先顺序，大量的负荷就会对信号处理 芯片发生作用，这种负荷对于实时广播来说其危害更是致命性的。
因此，依据现有技术同时播放音频信号和视频信号时，当由于音频 的比特率的原因而导致视频占用视频信号处理芯片的机会相对减少 时，音频及视频之间就会产生时间差。

发明内容
本发明正是为解决上述问题而提出的，本发明的第l个目的在于 提供一种能够提供H,264标准的实时动态影像服务的音频/视频同步装 置及方法。
本发明的第2个目的在于在没有音频W见频同步附加存储器或处理 器开销(Overhead)的情况下也能够实现音频/视频同步。
本发明的第3个目的在于当同步检查的音频及视频的时间差超过 一定范围的情况下，为了实现同步而将比特强制性地附加于NAL (Network Abstraction Layer,网络抽象层)的 一定信息中。
本发明的第4个目的在于编译码器通过利用所述附加的比特信息 执行错误处理或取消程序，不对插入所述比特信息的帧数据进行解码， 而是跳读到下一帧数据跳读，从而实现音频和视频同步。
为了实现上述目的，本发明的移动终端的音频和^L频同步装置， 其特征在于，它包括如下几个部分
接收多媒体数据包的接收部；
利用所述接收的多媒体数据播放的音频及视频印时戳的时间差对 同步情况进行检查，如果所述时间差超过阈值，就向所述数据帧附加 规定的信息的同步检查模块；
为了对所述数据帧进行播放而进行解码处理，在进行解码时根据 附加于所述凄t据帧上的信息对当前帧进行跳读，并从下一帧开始进行 解码的编译码器；
对通过所述编译码器解码的数据进行播放的播放部。
比较理想的情况是，所述同步检查模块可以利用从所述播放部传 输的当前音频及视频印时戳。具体地说，就是当音频及视频的时间差 超过阈值时，所述同步检查模块就会将规定的比特信息附加于NAL的 FZB(Forbidden Zero Bit)信息中。
比较理想的情况是，当音频及视频的时间差超过比NAL帧的周期 小的特定阈值时，所述同步检查模块就会将规定的信息附加于下一数 据帧。
比较理想的情况是，所述编译码器为R264标准。
依据本发明的另一实施例的移动终端的音频和视频同步装置，其特 征在于，它包括如下几个部分
接收多士某体数据包的调制解调器芯片；
包含有为使所述接收的数据包进行播放时的音频及视频数据能够 同步，将同步用比特信息附加于任意一个数据帧上的设备，和当对所 述数据帧进行解码时将所述同步用比特信息进行检查之后，对附加同 步用比特信息的数据帧进行跳读，并从下一帧开始进行解码的设备的 信号处理芯片。
本发明的移动终端的音频和^L频同步方法，其特征在于，它包括 如下几个步骤
接收多媒体数据包的步骤；对所述接收的数据包进行播放时的音 频及视频印时戳进行检测的步骤；当确认所述音频及视频印时戳的差 值是否超过阈值以后，根据上述确认结果，如果确认其差值超过了阈 值，就将比特信息附加于NAL帧的FZB信息中的步骤；
在对所述数据包进行解码时，对NAL帧的FZB信息进行检查。然 后，4艮据附加于所述NAL帧的FZB信息中的比特信息而对相应数据帧 进行跳读，并从下一数据帧开始进行解码的步骤。
综上所述，本发明的移动终端的音频及视频同步装置和方法，如果 音频和一见频的时间差超过预设的时间差，就将预设的指令附加于NAL 单元的特定信息位中。这样，当编译码器在对上述信息进行解码时就 根据相应的指令对当前帧进行跳读，并从下一帧开始进行解码，从而 就可以使音频及视频同步。
另外，无需设置使音频及视频同步的其它存储器或者处理器，通 过编译码器就可以顺利地对音频及视频进行播放。
附困说明
困l是依据现有技术的移动终端结构示意图2是依据本发明实施例的移动终端的音频和视频同步装置结构 示意图3是依据本发明实施例的信号处理芯片的详细结构示意图4是依据本发明的NAL单元句法示意图5是依据本发明的移动终端的音频和视频同步方法流程图6是依据本发明的移动终端信号处理芯片的错误处理程序流程
附图标记
100...移动终端
lll...协议处理模块
117...RTP处理部
120...信号处理芯片
121a...帧緩冲器
123...编译码器
具体实施例方式
IIO...调制解调器芯片
112...接口
118...数据包复原模块
121...同步检查模块 122...文件系统存储部
124...播放部
下面将参照附图对本发明的实施例进行详细说明。
图2是依据本发明实施例的移动终端的音频和视频同步装置结构 示意图。
参照图2可以看出，移动终端100由如下几个部分构成接收数据 包的调制解调器芯片110,为了使对数据进行播放的音频和视频同步而 将同步用比特信息强制性地附加于任意一帧上，然后对插入所迷比特 信息的相应帧进行处理(跳读或通过)，从而使音频和视频同步的信号处 理芯片120。
所述调制解调器芯片U0包括协议处理^t块111,信号处理芯片120 包括同步检查模块121,文件系统存储部122，编译码器123，播放部 124。
所述同步检查模块121可以对音频和视频印时戳进行检查，当其差 值超过阈值时，就将相关信息通报给编译码器123，编译码器123就会 判断输入的比特流具有较高的复杂性，从而对当前帧进行跳读，并从 下一帧开始进行解码。
在这里，同步检查模块121作为将相关信息向编译码器123通报的 实例，无需强制性地将所述帧向NAL单元的FZB信息附加。因此，为 了实现"跳读"就附加比特信息，编译码器123就继续对所述NAL的FZB 信息进行检查，然后根据附加的比特信息对当前帧进行跳读，并从下 一帧开始进行解码。
下面，将参照附图对依据本发明的实施例具有上述构成的移动终 端的音频和视频同步装置进行详细的说明。
如图2所示，如果移动终端IOO接收到多媒体数据包,即RTP数据包， 调制解调器芯片1 IO就根据内部的协议处理模块111对各种协议进行处 理。在这里，RTP数据包作为首标信息的下层，它可以同时对PPP、 IP,、 TCP/UDP协议进行接收，作为实际的首标它包括RTP/RTSP/HTTP,有
效负荷可以对多媒体数据进行传输。
经过所述调制解调器芯片11 o进行协议处理的多士某体数据可以通 过接口 112向信号处理芯片120传输，信号处理芯片120将所述多媒体数 据进行解码并存储，然后再将其播放，并使音频及视频数据实现同步。
为此，信号处理芯片120包括如下几个部分同步检查模块121， 文件系统存储部122，编译码器123，播放部124。同步检查模块121可以 利用音频及视频的印时戳对音频和视频的时间差进行检测，当所述音 频及视频的时间差超过阈值时，就强制性地将比特信息附加于NAL信 息中。然后，同步检查^^莫块121可以继续进行同步检查，也可以每隔一 定的周期再进行同步检查。当音频和视频的印时戳超过阈值时，就将 是否对数据包帧进行跳读或者将其删除的信息附加于相应数据帧上。 另外，当将比特信息附加于当前帧上时，也可以请求对下一数据帧进 行跳读。
在这里，H.26L(例如，R264)的NAL单元句法如图4所示。在本实施 例中，对传输按照R26L编码的数据的单元，即对传输NAL信息的NAL 单元句法进行了规定。具体地说，就是对NAL单元句法包含的NAL单 元类型进行了规定。
如图4所示，NAL单元句法140的1个字节可以显示是否按照与各个 NAL单元类型(NAL—unit—type)143相应的NAL标准(NAL—ref—idc)142使 用的信息进行显示。在这里，与第1个字节相应的FZB信息141在IS0 14496-10中并不固定为'O(zero)'进行使用。
但是，在数据网中，与无比特差错(biterror free)相应的FZB信息141 是无任何意义的位，本发明的目的就是要有效地利用接收的RTP数据包
中的NAL单元的FZB信息141。即，利用所述NAL单元的FZB信息l41 有效地将信道端的错误(例如数据包的损失等)向编译码器123传输。
所述编译码器123采用R26L标准，它可以对通过同步检查模块121 的多媒体数据进行解码，解码数据可以通过播放部124进行播放。在这 里，通过所述播放部124播放的音频及视频印时戳可以向所述同步检查 模块121反馈。
在这种情况下，所述编译码器123可以对通过同步检查模块121的 多媒体数据的NAL单元的FZB信息进行检查。当NAL单元的FZB被附加 ('T')并构成NAL单元的情况下，所述编译码器123就会在当前的NAL单 元到达之前确认至少有一个以上的数据包损失，这样就不会对相应即 时解码器更新(Instantaneous Decoder Refresh: IDR) NAL单元帧进行解 码而是进行跳读，并从下一个IDR NAL单元帧开始进行解码。也就是 说，可以通过对帧进行跳读或者通过相应帧实现音频及视频的同步。
也就是说,信号处理芯片120具有错误处理程序(error Handling routine),当编译码器123通过错误处理程序将预约的信息附加于所述 NAL单元的FZB信息中时，可以进行解码的下一个NAL,即在IDRNAL 到达之前以凝固(freezing)为原则。例如对于H.26L来说，在可以进行 解码的下一帧，即当IDR图像到达时或者是进行解码之前，不对附加 NAL单元的FZB的当前IDR图像帧进行解码而是进行跳读。
另外，所述文件系统存储部122可以对通过所述同步检查模块121 的多媒体数据进行存储，当想要重新对其进行播放时，就可以通过编 译码器123进行解码并通过播放部124进行播放。
图3是依据本发明实施例的信号处理芯片的详细结构示意图。
参照图3可以看出，当RTP数据包向RTP处理部117传输之后，RTP 处理部117就将RTP首标分离，数据包复原模块l 18就将数据包的有效负 荷及首标复原。同步检查模块121就利用音频及视频印时戳计算出时间 差，如果计算出的时间差在阈值以下，则无需附加NAL单元的FZB信息 就可以通过。
但是，如果音频及视频印时戳的时间差超过阈值，则就需要将相 关信息强制性地附加于NAL单元的FZB信息中。在这里，对于阈值来 说，例如将其定义为1000ms,这对于VOD内容规格来说，就意味着 至少每2秒要插入一个IDRNAL帧，通过强制性地插入的FZB信息就可 以进行跳读。因此，编译码器123就可以获得比所述IDRNAL帧插入周 期小的值(例如1000ms)以上的解码时间，从而就可以从下一帧开始顺 利播放了。
另外，帧緩沖器121a可以对通过数据包复原模块118重新构成的 NAL帧进行存储。在这里， 一个NAL帧由一个以上的RTP有效负荷构成。
另夕卜，编译码器123为了对NAL帧进行解码，就通过帧緩冲器121a 请求下一NAL帧，并对请求的NAL帧进行解码。在这种情况下，当对 NAL帧进行解码时，就对是否附加了NAL单元的FZB信息的情况进行 确认，并决定是要进行解码，还是要进行跳读。例如当附加NAL单 元的FZB信息之后，就可以判断向编译码器123输入的比特流具有较高 的复杂性，如果继续对其进行解码，则音频/视频间的同步就不能够实 现，在到达下一个IDR NAL帧之前都进行跳读，然后对下一个IDR NAL帧进行解码。
因此，显示信道错误(packet loss)的存储器就不会被使用，基本上 使用的错误处理程序就仍然被使用。因此，就不需要其它的模块。
图5是依据本发明的音频及视频同步方法的流程图。
参照图5可以看出，移动终端可以对RTP数据包进行接收，如果要 对所接收的画面进行播放(S101),就对音频及视频的印时戳进行检查 (S103)。
在这种情况下，就确认音频及视频的印时戳的差值是否超过了阈 值(S105),根据上述确认结果，如果确认其差值未达到阈值，就继续执 行解码及播放动作。
根据上述确认结果，如果确认印时戳的差值超过了阈值，就将同
步信息附加于NAL单元的FZB信息之中(S107)。在这里，同步信息既可
以是单纯地对相应NAL帧进行跳读的信息，也可以是将其进行删除的 牧自
这样，编译码器就进行解码(S109)。在这种情况下，确认进行解 码时是否附加了所述NAL单元的FZB信息(Slll)。根据上述确认结果， 如果确认附加了NAL单元的FZB信息，则在下一个IDR NAL帧到达之 前进行跳读，并从下一帧开始进行解码(S113)。
图6是依据本发明的音频及视频同步的全部流程图。
参照图6可以看出，在初始化的状态(S121)下可以对帧緩沖器的帧 进行修补(fatch)(S123)，然后对NAL单元进行分析(S131)。在所述步骤 131中，对NAL单元进行分析之后，就确认是否附加了NAL单元的FZB 信息(S131)。然后根据上述确认结果，如果确认附加了FZB信息，就对下一个IDR NAL帧进行跳读(S 133)。如果确认没有附加所述FZB信息， 或者对下一个IDRNAL帧进行跳读时，就对首标进行解析(S135)，然后 对数据(Motion信息，Residual信息)进行解码并进行播放(S137)。
在这种情况下，通过同步检查模块从帧緩冲器开始对时间信息和 对解码的帧进行播放的音频及视频时间同步情况进行检查，并对音频 及视频间的延迟时间差进行4企查(S125)。
根据所述步骤125的检查结果，判断视频时间比音频时间延迟的时 间是否超过了阈值(S127),根据上述判断结果，如果确认其超过阈值， 就附加下一帧的NAL单元FZB信息，然后进入步骤123。根据上述判断 结果，如果确认其未达到阈值，就无需经过将相关信息附加于NAL单 元的FZB信息中的过程，而直接执行步骤123(S 129)。
为了通过这种错误处理程序使音频/视频的时间同步，利用NAL 单元的FZB信息决定是否对NAL帧进行跳读(或者通过)，并通过编译码 器对其进行确认。然后对相应帧进行跳读(或者通过)，这样在进行播放 时就可以使音频及视频信号同步。
也就是说，强制性地将同步用比特信息附加于任意一个数据帧上， 然后通过编译码器对其进行处理，这样就可以视频与音频同步。
通过上述的说明，本领域熟练技术人员完全可以在不偏离本发明 技术思想的范围内，进行多样的变更以及修改。
因此，本项发明的技术性范围并不局限于说明书的内容，必须要 根据权利范围来确定其技术范围。
权利要求
1、一种移动终端的音频及视频同步装置，其特征在于，包括如下几个部分接收多媒体数据包的接收部；根据对所述接收的数据包进行播放的情况，利用音频及视频印时戳的时间差对同步情况进行检查，当所述时间差超过阈值时，就将规定的信息附加于所述数据帧上的同步检查模块；为了对所述数据帧进行播放对其进行解码，在进行解码时根据附加于所述数据帧上的信息对当前帧进行跳读，并从下一帧开始进行解码的编译码器；将经过所述编译码器解码的数据进行播放的播放部。
2、 如权利要求l所述的移动终端的音频及视频同步装置，其特征 在于，所述同步检查模块利用通过播放部传输的当前音频及视频印时戳。
3、 如权利要求l所述的移动终端的音频及视频同步装置，其特征 在于，当音频及视频的时间差超过阈值时，所述同步检查模块将规定的 比特信息附加于NAL的FZB信息中。
4、 如权利要求l所述的移动终端的音频及视频同步装置，其特征 在于，当音频及^f见频的时间差超过比NAL帧插入周期小的特定阈值时， 所述同步检查模块就将规定的信息附加于下一数据帧上。
5、 如;K利要求1所述的移动终端的音频及^L频同步装置，其特征 在于，所述编译码器采用R264标准。
6、 一种移动终端的音频及视频同步装置，其特征在于，包括如下 几个部分接收多々某体数据包的调制解调器芯片；包含有为使所述接收的数据包进行播放时的音频及视频数据能够 同步，将同步用比特信息附加于任意一个数据帧上的设备，和当对所 述数据帧进行解码时将所述同步用比特信息进行检查之后，对附加同 步用比特信息的数据帧进行跳读，并从下一帧开始进行解码的设备的 信号处理芯片。
7、 一种移动终端的音频及视频同步方法，其特征在于，它包括如 下几个步骤接收多媒体数据包的步骤；对所述接收的数据包进行播放时的音频及视频印时戳进行检测的 步骤；当确认所述音频及视频印时戳的差值是否超过阈值以后，根据上 述确认结果，如果确认其差值超过了阈值，则将相关信息附加于NAL 帧的FZB信息中的步骤；在对所述数据包进行解码时，对NAL帧的FZB信息进行检查，根 据附加于所迷NAL帧的FZB信息中的信息而对相应数据帧进行跳读，
全文摘要
本发明涉及一种支持VOD的移动终端，尤其涉及到为了使实时接收的音频信号及视频信号同步而将比特信息强制性地附加于接收的数据帧上，从而实现同步的移动终端。本发明的移动终端的音频和视频同步装置，其特征在于，包括如下部分接收多媒体数据包的接收部；根据对所述接收的数据包进行播放的情况，利用音频及视频印时戳的时间差对同步情况进行检查，当所述时间差超过阈值时，就将规定的信息附加于所述数据帧上的同步检查模块；为了对所述数据帧进行播放对其进行解码，在进行解码时根据附加于所述数据帧上的信息对当前帧进行跳读，并从下一帧开始进行解码的编译码器；将经过所述编译码器解码的数据进行播放的播放部。
文档编号H04N7/173GK101102485SQ20061008633
公开日2008年1月9日 申请日期2006年7月7日 优先权日2006年7月7日
发明者朴智浩 申请人:乐金电子(昆山)电脑有限公司