利用影音链接处理多媒体数据的系统及方法

专利名称：利用影音链接处理多媒体数据的系统及方法
技术领域：
本发明是关于多媒体处理，尤其关于使用影音键结处理多媒体数据的系统及方 法。
背景技术：
多媒体为文字、动画图案、图像及音频的组合。多媒体信息和文字相比可以更容易 被了解且更能引起注意。多媒体已被广泛地使用在各年龄的教育、在职训练、或是应用在休 闲产业的电动玩具中。多媒体技术的发展已带给消费者各种的显示系统，例如电视显示系 统(例如电缆电视或数字电视)以及计算机屏幕。目前虽已有各种增进多媒体显示系统的图像质量的技术。然而，传统的多媒体显 示系统仅将音频数据及图像数据视作分别独立的数据，故而需使用分别独立的音频处理器 及图像处理器。而音频数据与图像数据仅存在着同步化的关系。

发明内容
本发明揭露一种可分享音频及图像处理器之间信息的系统及方法，以提供多媒体 处理更好的图像/音频质量。在某些实施例中，是揭露一种多媒体处理器。此多媒体处理器包含音频处理器， 其配置为处理音频输入信号以产生音频输出信号及辅助信号；及与此音频处理器耦合的一 图像处理器，其中此图像处理器被配置为处理图像输入信号及此辅助信号以依据此图像输 入信号及此辅助信号同步地产生图像输出信号。在其它的实施例中是揭露一种多媒体的处理方法。此方法包含处理音频输入信 号；自此处理的音频输入信号产生辅助信号及音频输出信号；处理图像输入信号及此辅助 信号；且依据此图像输入信号及该辅助信号同步地产生图像输出信号。本发明其它的特征及实施例是在详细说明的段落中有详细的介绍。





本发明的技术特征、目的及实施例是使用以下的图示一并描述，其中 图1为依据本发明的一实施例所载多媒体处理器的方块图标。 图2A及2B为图1的多媒体处理器的二种不同实施例的方块图。 图3为依据本发明的另一实施例所载多媒体处理器的方块图。 图4A及4B为图3的多媒体处理器的两个不同实施例的方块图。。 [主要元件标号说明]
100 多媒体处理器110 音频处理器
120 图像处理器10 音频-图像键结
201 源极装置202 显示装置
212 音频解码器214 音频处理单元
216 音频线索信息撷取器310:音频处理器30 音频-图像键结402:显示装置414 音频处理单元
300 多媒体处理器 320 图像处理器 401 源极装置 412 音频解码器
416 音频线索信息撷取器
具体实施例方式传统的多媒体显示系统是将音频数据及图像数据视作分别独立的数据，故而分别 使用独立的音频处理器及图像处理器进行处理。然而，这和实际上情况是大不相同的。实 际上，生物可以通过听觉接收并预测周遭发生的事物。声音通常会附有和图像相关的数据， 因此可以提供线索来预测图像。传统的多媒体技术忽略了音频数据所能提供的线索，且从 未利用这些线索来处理图像数据，进而失去了让图像内容更逼真的机会。图1为依据本发明的一实施例的多媒体处理器100的方块图。如同在此所示，多 媒体处理器100包含音频处理器110、图像处理器120以及音频-图像(AV)键结10。音 频_图像键结10可为任一种可以耦合音频处理器110及图像处理器120的数据路径。音频处理器110用来接收音频的输入信号Sai并处理此音频输入信号Sai以产生音 频输出信号Sm以提供给输出装置(在此未显示)，例如一个扩音器来播放。另外，音频处理 器110亦可配置为通过音频输入信号Sai撷取音频线索信息，并通过音频_图像键结10传 输一个带有此音频线索信息的协助信号Sass至图像处理器120。音频线索信息可包含隐藏在音频输入信号Sai中且和图像处理相关的信息。例如， 在某些实施例中，音频输入信号Sai及图像输入信号Sn可分别记录一个声音产生源(例如 一物体)的声音及图像。在这样的情况下，此声音产生源的图像特征可能与其音频特征存 在着关联性。这些特征的任何信息皆可被撷取来提供音频线索信息。在某些特定的实施例 中，此音频线索信息可包含至少一种类型的信息，例如，可为内容类型信息(例如为人们说 话的内容、音乐等等)、频率信息、强度信息(例如音量信息)、节奏信息以及音调信息。图像处理器120通过音频-图像键结10耦合音频处理器110。图像处理器120被 配置为接收并处理图像输入信号Svi以及辅助信号Sass以依据图像输入信号Svi以及辅助信 号Sass同步地产生图像输出信号SVQ。图像处理器120可接着提供图像输出信号Svq给一个 图像输出装置，例如用于显示的显示平面(在此未显示)。由于此图像处理器120接收了由音频处理器110分享的音频线索信息，图像处理 器120可以获得由音频输入信号Sai所载的额外的图像处理相关信息以及由图像输入信号 Svi所载的图像内容。音频线索信息提供了额外的「线索」，而图像处理器120可利用此线索 让图像内容更逼真。故而，和传统技术相比可提供更好的图像质量。另外，由于音频处理器 110及图像处理器120之间的耦合并不需要额外的接脚、封包及布局成本，在此所述的实施 例可用很低的成本来实施。图2A为图1的多媒体处理器100的二种可能的不同实施例的方块图示。请参考 图2A，多媒体处理器100可和源极装置201及显示装置202 (例如一个IXD面板)耦合。多 媒体处理器100可以使用单一个集成电路实施，亦可和显示装置202共同运作或耦合在一 起。多媒体处理器100可包含一个音频处理器110，其配置为转换音频输入信号Sai为音频输出信号Sm，以及音频处理器120，其配置为转换图像输入信号Svi为图像输出信号SVQ。多媒体处理器100自源极装置201接收输入信号S1,其中源极装置201可以是模 拟或是数字的信号源极装置。当源极装置201为模拟的源极装置(例如，模拟的电视广播 器、模拟的VCR、DVD播放器、摄录像机、激光唱片播放器、电视调节器、视频转换器(使用卫 星DSS或电缆信号)或是类似的装置时，输入信号S1可为模拟信号。在此情况下，可将一 个模拟转数字转换器(在此未显示)和多媒体处理器100 —起使用或耦合在一起，以将模 拟输入信号S1转换为适用于数字处理的数字图像输入信号Svi及数字音频输入信号SAI。当源极装置201为数字源极装置(例如，数字电视广播器(DTV)、数字图像摄影机 等等装置，其使用常见的数字格式例如SMPTE 274M-1995、SMPTE296M-1997以及标准480 先进扫描图像)时，此输入信号S1可以为数字信号。在此状况下、解多工器或是剖析器 (parser)(在此未显示)可和多媒体处理器100 —起运作或耦合在一起以将数字输入信号 S1解析为图像输入信号Svi以及音频输入信号Sai。在某一实施例中，音频处理器110可包含一个音频解码器212、一个音频处理单元 214以及一个音频线索信息撷取器216。音频解码器212被配置为读取音频输入信号Sai、定 义编码系统、并依据音频输入信号Sai内的音频线头(header)检测同步信息以撷取音频参 数，例如取样频率或通道数目等等。音频解码器212可接着利用这些音频参数来解码此编 码的音频数据的音频封包，以获得一个解码的音频信号Sad并传输此解码的音频信号Sad到 音频处理单元214中。音频处理单元214被配置为转换此解码的音频信号Sad为模拟的音频输出信号 SM。音频处理单元214可接着通过音频放大器(在此未显示)传输音频输出信号Sm到一 个输出装置(在此未显示)，例如为扩音器播放。音频线索信息撷取器216被配置为撷取音频线索信息，并传输带有此音频线索信 息的辅助信号Sass到图像处理器120中。由于音频输入信号Sai的取样速率远低于图像输 入信号Sn的取样速率，音频线索信息撷取器216可以很容易地自音频输入信号Sai中撷取 音频线索信息。不像由此编码的音频数据流的音频线头所获得的同步信息，音频线索信息可以由 此音频数据流中各个部位中撷取(例如，音频线头或音频数据)，且可被用来提升图像质 量，其中此撷取的信息可包含控制信息、时序信息且/或数据内容等等。在某些实施例中，音频线索信息撷取器216可自音频解码器212的状态/标签获 得此音频线索信息，而在处理解码的音频信号Sad时且当音频处理单元214的状态/标签及 /或音频数据被解码时，音频解码器212的状态/标签将被重设。在某些其它的实施例中， 音频线索信息撷取器216可从自此音频线头所撷取的音频参数获得此音频线索信息。如同 于图2A所示，音频线索信息撷取器216可依据至少一个的输入信号来产生此辅助信号Sass， 其中输入信号可以包含此音频输入信号Sai来自音频解码器212的信号且/或来自音频处 理单元214的信号。如同图1所示的实施例，图像处理器120被配置为处理此图像输入信号Svi及此辅 助信号Sass以依据图像输入信号Sn及此辅助信号Sass同步地产生图像输出信号STO。由于 可获得更多用来处理的图像处理相关信息，即，由辅助信号Sass所载的音频线索信息外加由 图像输入信号Svi所载的图像信息，图像处理器120和传统的技术相比可以产生具有更高画
6质(例如，更加逼真的画质)的图像数据。在某些实施例中，图像处理器120在处理图像输入信号Svi及辅助信号Sass时可解 码此输入图像信号SVI。又，图像处理器120可控制在显示装置202上图像显示的尺寸及位 置。又，图像处理器120可以通过参考辅助信号Sass改变显示装置202的显示特性，例如亮 度、对比、饱和度、色调、色温、肤色及锐利度。图2B为依据另一实施例的多媒体处理器的方块图，在此实施例中音频输入信号 Sai为模拟信号。不同于图2A的实施例，在图2B的实施例中并无音频解码器212。音频处 理单元214可将音频输入信号Sai转换为模拟音频输出信号Sm，而模拟音频输出信号Sm又 可通过例如为扩音器的输出装置(在此未显示)播放。又，音频线索信息撷取器216可依 据音频输入信号Sai撷取音频线索信息。如同图2B所示，音频线索信息撷取器216可依据 至少一个输入信号，包含音频输入信号Sai及来自音频处理单元214的信号获得此音频线索 信息。图2B的实施例其它的特征则类似于先前所述图2A的实施例。以下是用多个实施例来描述图像处理器222如何使用音频线索信息来产生图像 输出信号STO。第一实施例在某一实施例中，由音频线索信息撷取器212撷取的音频线索信息可包含强度信 息，最好是多个通道的强度信息，例如左通道或右通道的强度信息。依据不同通道的强度信 息以及此强度的变化，图像处理器120可存取一对象(例如声音源)实际的移动方向。例 如，当左通道的强度逐渐变弱而右通道的强度逐渐变强，可知此对象是由左移到右，反之亦 然。依据此额外的信息，图像处理器120可产生更准确的移动向量，进而显示装置202可以 有更好的画质。第二实施例在其它实施例中，由音频线索信息撷取器212撷取的音频线索信息可包含一条通 道的强度信息。其于此通道强度的变化，图像处理器120亦可决定此图像内容是否包含爆 炸图片(例如，烟火的爆炸)。一旦图像处理器120检测到指示此爆炸图片的音频线索信 息，图像处理器120可暂时地停止产生位移向量(motion vectors) 0不同于传统的技术在 处理爆炸图片时往往会有不良的位移检测，多媒体处理器100可在处理爆炸图片时暂时停 止产生位移向量。如此，爆炸图片可以有更逼真的图像。为了更能预测爆炸图片的发生，在 其它的实施例中音频线索信息亦可包含额外的信息，例如内容信息、频率信息、节奏信息且 /或音调信息。第三实施例然而在其它的实施例中，由音频线索信息撷取器212撷取的音频线索信息可包含 某些内容类型的信息，其指示在音频输入信号Sai内存在着人类声音。依据这些信息，图像 处理器120可接着存取图像内容内的人物特征。例如，当图像处理器120检测到辅助信号 Sass载有人类声音类型的信息时，图像处理器120可调整图像的参数以让图像更舒适。在某 些实施例中，此调整的图像参数可包含肤色，而肤色可由图像处理器120调整以产生更接 近人类皮肤的色泽及颜色。接着，在显示装置202上产生的图像画面可变得更加逼真。虽然，在图2A及图2B所示的实施例中音频-图像键结10是用于自音频处理器 110传输辅助信号Sass到图像处理器120的单向通道。在其它的实施例中，图像处理器120亦可发布由音频处理器110所使用另外的辅助信号S’ ASS来处理音频输入信号。图3为依据另一实施例的多媒体处理器300的方块图示，不同于图1的多媒体处 理器100，此单向的音频-图像键结10已被一双向的音频-图像键结30取代。在图3中， 图像处理器320可依据图像输入信号Sn撷取图像线索信息，并通过音频_图像键结30传 输带有图像线索信息的一个辅助信号S’ ASS到音频处理器310。图像线索信息可包含藏在 图像输入信号Sn内部的音频处理相关信息。音频处理器310被配置为处理音频输入信号 Sai及辅助信号S’ass并依据音频输入信号Sai及辅助信号S’ass同步地产生一音频输出信号 Saoo由于可获得更多的音频处理相关信息，即，由辅助信号s’ ASS所载的图像线索信息 外加由音频输入信号S’ AI所载的音频信息，音频处理器310和传统的技术相比可以产生具 有更高质量(例如，更加逼真的音质)的音频内容。其它的特征则类同于先前在图1所示 的实施例。图4A及图4B为图3的多媒体处理器300可能的二种不同实施例的方块图示。请 参考图4A，多媒体处理器300可和源极装置401及显示装置402 (例如一个IXD面板)耦 合。多媒体处理器300可包含一个音频处理器310以及经由音频-图像键结30和音频处 理器310耦合在一起的图像处理器320。音频处理器310可包含一个音频解码器412、一个 音频处理单元414以及一个音频线索信息撷取器416。如同先前所述，音频线索信息撷取 器416被配置为自音频解码器412所解码的音频输入信号Sai且/或音频处理单元414所 处理的信号撷取音频线索信息，然后传输辅助信号Sass至图像处理器320以产生图像内容。 另外，图像处理器320可自图像输入信号Svi撷取图像线索信息，然后通过音频_图像键结 30传输带有图像线索信息的辅助信号S’ ASS至音频处理单元414。音频处理单元414可接 着处理辅助信号S’ ASS以及由一个音频解码器412所发送解码的音频信号Sad，以产生模拟 的音频输出信号SM。音频输出信号Sm可接着由例如为扩音器的输出装置(在此未显示) 播放。图4B描述一个不同的实施例，其不需使用图4A所示的音频解码器412。图4B所 示的实施例可应用于不需要解码输入音频信号的装置。在此状况下，音频线索信息撷取器 416可自音频输入信号Sai且/或由音频处理单元414所处理的信号来撷取音频线索信息， 并接着依此传输带有此线索信息的辅助信息Sass到图像处理器320以产生图像内容。又， 音频处理器414可处理由图像处理器320所提供的辅助信号S’ass以及音频输入信号Sai以 产生模拟的音频输出信号SM。其它的特征是类似于先前于图4A及图2A-B所示的实施例。最后，在不脱离本发明的精神及范围内，如同以下上述的权利要求范围，本领域技 术人员应能轻易地应用本发明揭露的概念及实施例，以用于设计或改良其它架构，并用以 达成与本发明的目的相同的功用。
8
权利要求
一种多媒体处理器，包含一音频处理器，其配置为处理一音频输入信号以产生一音频输出信号及一辅助信号；及与该音频处理器耦合的一图像处理器，其中该图像处理器被配置为处理一图像输入信号及该辅助信号以依据该图像输入信号及该辅助信号同步地产生一图像输出信号。
2.根据权利要求1所述的多媒体处理器，其中该辅助信号包含依据该音频输入信号所 撷取的音频线索信息。
3.根据权利要求2所述的多媒体处理器，其中该音频处理器依据由该音频输入信号内 至少之一音频线头及音频封包所载的信息撷取该音频线索信息。
4.根据权利要求1所述的多媒体处理器，该音频处理器产生该辅助信号依据在处理该 音频输入信号以产生该音频输出信号时设置的状态及标签。
5.根据权利要求1所述的多媒体处理器，其中该音频处理器包含一音频解码器，其配置为解码该音频输入信号以产生一解码的音频信号；一音频处理单元，其配置为将该解码的音频信号转换为该音频输出信号；及一音频线索信息撷取器，其配置为通过撷取在该音频输入信号内的音频线索信息以产 生该辅助信号。
6.根据权利要求1所述的多媒体处理器，其中该音频处理器包含一音频处理单元，其配置为将该音频输入信号转换为该音频输出信号；及一音频线索信息撷取器，其配置为通过自该音频输入信号内撷取的音频线索信息产生 该辅助信号。
7.根据权利要求1所述的多媒体处理器，其中该图像处理器还产生一第二辅助信号， 且该音频处理器还接收并处理该第二辅助信号以依据该音频输出信号及该第二辅助信号 同步地产生该音频输出信号。
8.根据权利要求1所述的多媒体处理器，其中该辅助信号包含至少一种选自该音频输 入信号所载的内容类型信息、频率信息、强度信息、节奏信息以及音调信息所组成的群的信息。
9.根据权利要求1所述的多媒体处理器，其中该辅助信号包含内容类型信息且该图像 处理器依据该内容类型信息调整该图像输出信号的肤色。
10.根据权利要求1所述的多媒体处理器，其中该辅助信号包含不同通道的强度信息， 且该图像处理器依据该不同通道的强度信息产生位移向量。
11.根据权利要求1所述的多媒体处理器，其中在该接收的辅助信息指示爆炸画面的 发生时，该图像处理器暂时地停止产生位移向量信息。
12.—种多媒体处理方法，其包含处理一音频输入信号；自该处理的音频输入信号产生一辅助信号及一音频输出信号；处理一图像输入信号及该辅助信号；且依据该图像输入信号及该辅助信号同步地产生一图像输出信号。
13.根据权利要求12所述的多媒体处理方法，其中该产生该辅助信号的步骤包含依据 音频输入信号撷取音频线索信息。
14.根据权利要求13所述的多媒体处理方法，其中该撷取该音频线索信息的步骤是依 据该音频输入信号内至少之一音频线头及音频封包所载的信息。
15.根据权利要求12所述的多媒体处理方法，其中该辅助信号的产生是依据在处理该 音频输入信号时设置的状态或标签。
16.根据权利要求12所述的多媒体处理方法，其中该处理该音频输入信号的步骤包含解码该音频输入信号以产生一解码的音频信号； 将该解码的音频信号转换为该音频输出信号；且 自该音频输入信号撷取音频线索信息。
17.根据权利要求12所述的媒体处理方法，其中处理该音频输入信号的步骤包含 将该音频输入信号转换为该音频输出信号；且自该音频输入信号撷取音频线索信息。
18.根据权利要求12所述的多媒体处理方法，还包含产生一第二辅助信号，且其中产 生该音频输出信号的步骤是依据该音频输出信号及该第二辅助信号同步地执行。
19.根据权利要求12所述的多媒体处理方法，其中该辅助信号包含至少一种选自由该 音频输入信号所载的内容类型信息、频率信息、强度信息、节奏信息以及音调信息所组成的 群的信息。
20.根据权利要求12所述的多媒体处理器，其中该辅助信号包含内容类型信息且产生 该图像输出信号包含依据该内容类型信息调整该图像输出信号的肤色。
全文摘要
本发明揭露一种利用影音链接处理多媒体数据的系统及方法。本发明的多媒体处理器包含一音频处理器，其配置为处理一音频输入信号以产生一音频输出信号及一辅助信号；及与此音频处理器耦合的一图像处理器，其中此图像处理器被配置为处理一图像输入信号及此辅助信号以依据此图像输入信号及此辅助信号同步地产生一图像输出信号。通过此辅助信号，此图像处理器可获得更多图像处理相关的信息使得图像的内容可以更逼真。不良的位移检测亦可被避免，故可提升图像的质量。
文档编号G09G5/00GK101887709SQ20101018338
公开日2010年11月17日 申请日期2010年5月12日 优先权日2009年5月12日
发明者王宗仁 申请人:奇景光电股份有限公司