专利名称：保持视频框及音频框同步播放的系统及方法
技术领域：
本发明是关于一种影音播放系统(Audio/video player system),特别是 关于一种用以保持视频框(Video frame)及音频框(Audio frame)同步播放的 影音播放系统及其方法。
背景技术：
一个影音播放系统必须可以播放存放于存储装置中的影音文件，若是该 影音文件的影音数据有经过编码处理，影音播放系统也必须使用适当的音频 或视频解码器解码音频及视频数据后，再播放音频及视频数据。对一个影音 播放系统来说，维持视频与音频间的同步是一个很大的挑战。通常维持视频与音频间的同步是根据记录于影音文件中的音频框预定播 放时间及视频框预定播放时间与目前时间作比较以及计算之后，在适当时间 播出音频框或视频框来保持视频与音频间的同步。 一般来说，音频的播放不 能早于视频超过15毫秒且音频的播放不能晚于视频超过45毫秒。若此条件 不满足时，观看者便可以很明显地感受到视频与音频间的不同步。传统影音播放系统是以单一整合程序从存储装置中读取并且播放视频以 及音频，此程序可维持视频轨与音频轨的同步。然而，随着多工或多绪的计 算环境的成熟，大多数的计算机使用者希望能在观看数字图像的同时，也能 够于计算机中执行其它程序或功能，所以上述单一序列播放技术已逐渐被淘 汰，取而代之的是将视频数据以及音频数据分离别且独立地将两者解码、处 理并播放以符合多工环境的需求。然而，这样的功能却导致额外的多媒体同步问题发生。特别是将视频数 据以及音频数据分离别且独立地将两者解码、处理并播放时，便会很容易地 使得视频数据以及音频数据无法同步播放。于已知技术中，有提出用以保持视频框及音频框同步播放的方法，如美 国专利公告第6， 510， 279号('279号专利)、美国专利公告第6, 262， 776号
('776号专利)以及美国专利公告第6， 016， 166号('166号专利)。但是这些 已知技术却无法解决下述问题。一般说来，会导致视频数据以及音频数据无法同步播放的原因有下列两 种(1)当显示器(Monitor)播放视频框(Video frame)时，所造成的显示延迟 时间(Display Delay Time); (2)音频输出装置输出采样率的不精确 (Inaccuracy of Output Sample Rate)， 详如下述。请参阅图l,图1为显示器播放视频框时，造成显示延迟时间的示意图。 如图1所示，当显示器于时间T、(Tv。、 TV1、 Tv》播放视频框V(V',、 V" V》时， 视频框V(Vi,、 V,、 V》真正显示于显示器屏幕上的时间为T/ (Tv'Z、 T、/、 Tv/)， 亦即显示器需经过一段时间处理，才会将视频框V'(V/、 V/、 V/)显示于屏 幕上。此播放时间差即为显示延迟时间(Display Delay Time) DUD，如图1 所示。请参阅图2A以及图2B,图2A为理想状况下的音频框播放示意图。图2B 为实际状况下的音频框播放示意图。图2A以及图2B中的tAll(n=l， 2，…)代 表记录于文件中音频框An应播放的时间，T,。代表音频框AJ至由音频播放装置 实际播放的时间。于理想状况下，当音频框An随时间播放时，记录于文件中 音频框An应播放的时间Un会刚好等于实际播放的时间TA ,如图2A所示。然而，由于音频输出釆样率的不精确，当音频播放装置播放一段时间之后，记录于文件中音频框An预定播放时间U,与实际播放时间T,、,'便会开始产生差异，如图2B所示。以AMR为例，每个AMR音频框包含160个音频样本(Sample),播放的音 频输出采样率(0utput Sample Rate)为8000赫兹(Hz)。但是由于采用的音频 输出装置的时钟不精确，实际的输出采样率可能是7999赫兹。正常每秒钟所 能播放的音频样本个数便由8000个减少为7999个。所以在播放1000秒后， 实际播放的音频样本数便较理论上应播放的音频样本数少了 1000 * (8000 -7999) = 1 000个。由此推得经过1000秒之后，音频框A。应播放的时间U与 实际播放的时间T化便差了 1 000 * (1 / 8000 * 1 00) = 125毫秒。由之前提 到的视频与音频间不同步的条件，使用者将会察觉音频与视频间的不同步。已知技术中，'279号专利以及'166号专利皆无针对显示延迟时间以及 音频输出采样率的不确定性作改善。'776号专利虽然改善了显示延迟时间， 却仍然没有考虑到音频输出采样率的不确定性。
因此，本发明的主要目的在于提供一种影音播放系统及其方法，以解决 上述问题。发明内容本发明的一目的在于提供一种影音播放系统及其方法，用以保持视频框 及音频框的同步播放，进而增进影音播放质量。根据本发明的一较佳具体实施例，影音播放系统(Audio/video player system)包含存储器(Memory)、处理器(Processor)、音频解码器(Audio decoder)、视频解码器(Video decoder),总线(Bus)、存储接口 (Storage interface)、存储装置(Storage device)、音频输出接口、音频输出装置 (Audio output device)、 一见频！命出4妻口以及^L频專lT出装置(Video output device)。于上述的实施例中，存储器用以存储软件程序代码(Software program) 以及暂存音频框和视频框数据。总线用以供各接口与存储器、处理器、音频 解码器及视频解码器之间的沟通。存储装置用以存放压缩的影音文件，包含 音频框压缩数据及预定音频播放时间以及纟见频框压缩数据及预定视频播放时 间且利用存储接口与其它总线上的元件沟通。音频解码器及视频解码器用以 解码编码过后的音频框及视频框。音频输出接口及视频输出接口用以将解码 过后的音频框与视频框送交音频输出装置及视频输出装置播放。处理器用以 执行存储于存储器中的软件程序代码，并且控制各元件，于适当的时间播放 音频及视频数据。处理器将编码过后的音频框及视频框数据经由存储接口从存储装置中取 出暂存于存储器中，同时并取得该音频框及视频框的预定音频播放时间及视 频播放时间，并且控制音频解码器及视频解码器解码暂存于存储器中的音频 框及视频框数据。其后处理器将解码过后的音频框及视频框数据分别经由音 频输出接口及视频输出接口送交音频输出装置与视频播放装置播放，并且取 得真实音频播放时间。根据该音频框的预定音频播放时间以及该真实音频播 放时间，处理器计算同步偏移时间(Synchronization offset tirae)。根据该 同步偏移时间、该视频框的预定视频播放时间以及显示延迟时间(Display Delay Time),处理器计算对应于该视频框的调整视频播放时间。根据该调整 视频播放时间以及目前时间，处理器选择性地将该视频框送交视频播放装置
播放。藉此，视频框及音频框即可保持同步4番放。本发明还提供了 一种于影音播放系统中保持视频框及音频框同步播放的方法，该方法包含下列步骤(a)读取该等音频框中音频框，取得预定音频播 放时间，并且解码该音频框，播放该音频框，取得该音频框的真实音频播放 时间；(b)根据该音频框的该预定音频播放时间以及该真实音频播放时间，计 算同步偏移时间；(c)读取该等视频框中视频框，取得预定视频播放时间；(d) 根据该同步偏移时间、该视频框的该预定视频播放时间以及显示延迟时间， 计算对应于该视频框的调整视频播放时间；以及(e)解码该视频框，根据该调因此，通过本发明的影音播放系统及其方法，不仅考虑了显示器造成的 显示延迟时间，并且进一步考虑了音频输出采样率的不精确，因而可随时保 持视频框及音频框的同步播放，进而增进影音播放质量。关于本发明的优点与精神可以通过以下的发明详述及所附图式得到进一 步的了解。
图l为显示器播放视频框时，造成显示延迟时间的示意图。 图2A为理想状况下的音频框播放示意图。 图2B为实际状况下的音频框播放示意图。图3为根据本发明第一较佳具体实施例的影音播放系统的功能方块图。图4为根据本发明第一较佳具体实施例的视频框播放示意图。图5为根据本发明第一较佳具体实施例的影音同步播放方法的流程图。[主要元件标号说明]10:影音播放系统12存储器14:处理器16音频解码器18:视频解码器20总线22:存储接口24音频输出接口26:浮见频输出接口28存储装置30:音频输出装置32视频输出装置All:音频框 Vi:视频框U:预定音频播放时间 "预定视频播放时间 乙真实音频播放时间 tadj:调整视频播放时间 T:目前时间Ds，同步偏移时间 DlcD:显示延迟时间 S100 S128:流程步骤具体实施方式
请参阅图3,图3为根据本发明第一较佳具体实施例的影音播放系统10 的功能方块图。影音播放系统(Audio/video player system) 10用以保持所 有视频框(Video frame)及音频框(Audio frame)的同步播放。如图3所示, 影音播放系统10包含存储器12、处理器14、音频解码器16、视频解码器18、 总线20、存储接口 22、存储装置28、音频输出接口 24、音频输出装置30、 视频输出接口 26、视频输出装置32。音频输出装置30可为扬声器或其它类 似装置，且视频输出装置32可为液晶显示器(Liquid crystal display, LCD) 或其它类似装置。值得注意的是，处理器14、存储器12、音频解码器16、 视频解码器18、存储接口 28、音频输出接口 24、视频输出接口 26、与总线 20可整合于系统单芯片(System on a Chip, SoC)中。若处理器14的效能高， 可替代音频解码器12的功能，由处理器14执行解码已压缩的音频框。若处 理器14的效能极高，甚至也可替代视频解码器18，由处理器14执行解码已 压缩的纟见频框。请再一并参阅图2B以及图4，图4为根据本发明第一较佳具体实施例的 视频框播放示意图。于上述的实施例中，处理器14用以从存储装置28读取 压缩的音频框及其预定播放时间或是视频框及其预定播放时间。若先取得压 缩音频框Au及其预定音频播放时间tAn,处理器14利用音频解码器16将该音 频框An解码再经由音频输出接口 24从音频输出装置30播出，在此同时并取 得该音频框A,、,的真实音频播放时间TA 。根据该音频框An的预定音频播放时间 U以及真实音频播放时间乙，处理器14计算同步偏移时间(Synchronization offset time)D，(U-TJ ，如图2B所示。若先取得压缩视频框Vi (i = l, 2,…) 及其预定视频播放时间tvi,根据同步偏移时间D，以及显示延迟时间D咖，处 理器14计算对应于该视频框Vi的调整视频播放时间t;ldi(tVi-Du。+D，)，如图4 所示。根据该调整视频播放时间t一以及目前时间T,处理器14选择性地将 视频框Vi经由视频输出接口 26送交视频输出装置32播放。藉此，视频框及 音频框即可保持同步播放。于此实施例中，预定视频播放偏移时间D咖是指当#见频#^文装置纟番^^见频框时，所造成的显示延迟时间。目前时间T是指目前 的系统显示时间。于上述的实施例中，处理器14依据进阶延迟及丢弃策略(Advanced Delay and Drop Pol icy)选4奪性地播放#见频框。若该调整一见频播放时间t叫在该目前 时间T之后，亦即目前的系统显示时间尚未达到该调整视频播放时间tad」，处 理器14会延迟(Delay)该目前时间T到该调整视频播放时间t一时，才播放该 视频框V,。若该调整视频播放时间t一在该目前时间T之前，亦即目前的系统 显示时间已经超过该调整视频播放时间tadj,处理器14则会进一步判断该调 整视频播放时间t一与该目前时间T的差值是否大于预定临界值(Threshold)。 若该调整视频播放时间tw与该目前时间T的差值大于该预定临界值时，处理 器14会丢弃(Drop)视频框Vi,亦即该视频框V,不会被播放，否则处理器14 会于目前时间T播放该视频框Vi。藉此，不仅视频框及音频框可保持同步播 放，而且可在不影响同步播放的原则下，将已解码的视频框尽量播放出来， 以增进视频播放质量。于此实施例中，预定临界值可依据不同的需求而设计 之。例如，于一较佳具体实施例中，预定临界值可设定为t、,i-2D^。请参阅图5,图5为根据本发明第一较佳具体实施例的影音同步播放方 法的流程图。根据上述的较佳具体实施例，本发明的方法用以于影音播放系 统中保持视频框及音频框的同步播放。该方法包含下列步骤步骤S100:开始；步骤S102:从存储装置中读取影音数据，取得音频框及音频预定播放时 间或是视频框及预定视频播放时间；步骤S104:若于步骤S102所读取的是音频框，则进行步骤S106;若否， 进行步骤S112;步骤S106:控制音频解码器解码已压缩的音频框；步骤S108:将已解码的音频框数据，传送至音频输出接口，由音频输出 装置播放；步骤S110:根据真实音频播放时间及音频预定播放时间计算同步偏移时间；步骤S112:于步骤S102所读取的是视频框，则控制视频解码器解码已 压缩的纟见频才匡；步骤S114:根据同步偏移时间、以及该视频框的预定视频播出时间、以
及显示延迟时间(Display Delay Time)，计算出调整^L频4番i文时间；步骤S116:确认调整视频播放时间是否在目前时间之前；若否，进行步 骤S120;若是，进行步骤S118;步骤S118:确认调整视频播放时间是否大于临界值；若是，则进行步骤 S122;若否，则进行步骤S124;步骤S120:延迟于调整视频播放时间时播放视频框；步骤S122:丢弃视频框，不播放；步骤S124:于目前时间立即播放视频框；步骤S126:是否所有音频框及视频框都已被处理；若是，进行步骤S128; 若否，进行步骤S102; 步骤S128:结束。相较于已知技术，本发明的影音播放系统及其方法不仅考虑了显示器造 成的显示延迟时间，并且进一步考虑了音频输出采样率的不精确，因而可随 时保持视频框及音频框的同步播放，进而增进影音播放质量。此外，通过本 发明的进阶延迟及丢弃策略，不仅视频框及音频框可保持同步播放，而且可 在不影响同步播放的原则下，将已解码的视频框尽量播放出来，以增进视频 播放质量。通过以上较佳具体实施例的详述，是希望能更加清楚描述本发明的特征 与精神，而并非以上述所揭露的较佳具体实施例来对本发明的范畴加以限制。 相反地，其目的是希望能涵盖各种改变及具相等性的安排于本发明所欲申请 的权利要求范围的范畴内。
权利要求
1.一种于影音播放系统中保持视频框及音频框同步播放的方法，该方法包含下列步骤(a)读取该等音频框中音频框，取得预定音频播放时间，并且解码该音频框，播放该音频框，取得该音频框的真实音频播放时间；(b)根据该音频框的该预定音频播放时间以及该真实音频播放时间，计算同步偏移时间；(c)读取该等视频框中视频框，取得预定视频播放时间；(d)根据该同步偏移时间、该视频框的该预定视频播放时间以及显示延迟时间，计算对应于该视频框的调整视频播放时间；以及(e)解码该视频框，根据该调整视频播放时间播放该视频框。
2. 根据权利要求1所述的方法，其中步骤(e)可还包含下列步骤 (el)判断该调整视频播放时间是否在该目前时间之前；若否，则执行步骤(e2);若是，则执行步骤(e3);(e2)延迟于该调整视频播放时间时，播放该视频框；以及(e3)判断该调整视频播放时间与该目前时间的差值是否大于临界值；若是，则丟弃该视频框；若否，则立即于目前时间播放该视频框。
3. —种影音播放系统，用以保持视频框及音频框的同步播放，该影音播 放系统包含存储器，用以存储软件程序代码以及暂存音频框和视频框数据； 音频解码器，用以解码已压缩的音频框； 视频解码器，用以解码已压缩的视频框；存储装置，用以存储压缩的音频框及预定音频播放时间信息与压缩的视 频框及预定视频播放时间信息；存储接口 ，用以存取存储装置的数据； 音频输出装置，用以播放音频框； 音频输出接口，用以输出音频数据至音频输出装置； 视频输出接口，用以输出视频数据至视频输出装置； 视频输出装置，用以播放视频框；总线，用以供各接口与存储器、处理器、音频解码器及视频解码器之间 的沟通；处理器，执行存放于存储器中的软件程序代码，该软件程序代码包含下列步骤(a) 控制存储接口读取该等音频框中音频框，取得预定音频播放时间， 并且控制音频解码器解码该音频框，控制音频输出接口播放该音频框，取得 该音频框的真实音频播放时间；(b) 根据该音频框的该预定音频播放时间以及该真实音频播放时间，计 算同步偏移时间；(c) 控制存储接口读取该等视频框中视频框，取得预定视频播放时间；(d) 根据该同步偏移时间、该视频框的预定视频播放时间以及显示延迟 时间，计算对应于该视频框的调整视频播放时间；以及(e) 控制视频解码器解码该视频框，根据该调整视频播放时间，控制视 频输出4妻口播放该视频框。
4. 根据权利要求3所述的系统，其中处理器的步骤(e)可还包含下列子 步骤(el)判断该调整视频播放时间是否在该目前时间之前；若否，则执行步骤(e2);若是，则执行步骤(e3);(e2)延迟于该调整视频播放时间时，播放该视频框；以及(e3)判断该调整视频播放时间与该目前时间的差值是否大于临界值；若是，则丢弃该视频框；若否，则立即于目前时间播放该视频框。
5. 根据权利要求3所述的系统，其中处理器、存储器、音频解码器、视 频解码器、存储接口、音频输出接口、视频输出接口、总线可整合于系统单芯片。
6. 根据权利要求3所述的系统，其中处理器可替代音频解码器，执行解 码已压缩的音频框。
7. 根据权利要求3所述的系统，其中处理器可替代视频解码器，执行解 码已压缩的视频框。
全文摘要
本发明揭露一种于影音播放系统中保持视频框及音频框同步播放的方法，包含下列步骤(a)读取音频框的预定音频播放时间，并且取得该音频框的真实音频播放时间；(b)根据该音频框的预定音频播放时间以及真实音频播放时间，计算同步偏移时间；(c)根据同步偏移时间、视频框的预定视频播放时间以及预定视频播放偏移时间，计算对应于该视频框的调整视频播放时间；以及(d)根据调整视频播放时间以及目前时间，选择性地播放视频框。藉此，视频框及音频框即可保持同步播放。
文档编号H04N5/928GK101119461SQ200610108410
公开日2008年2月6日 申请日期2006年8月2日 优先权日2006年8月2日
发明者于明桂, 蔡宪明 申请人:广达电脑股份有限公司