专利名称：视频/音频输出设备和视频/音频输出方法
技术领域：
本发明涉及一种视频/音频输出设备和一见频/音频输出方 法，尤其涉及一种用于使重放音频和重放视频相匹配的优选技 术。
背景技术：
在能够同时重放多条视频数据和音频数据的视频/音频输 出设备中，有时一个画面的部分画面被另 一画面遮蔽。在这种 情况下，为了输出音频，需要使用某种方法来合成每个画面的音频数据。例如，日本特开平05-19729号爿>才艮7>开了关于用于 进行这种处理的设备的技术。在曰本特开平05-19729号公报中所公开的"图像设备"参考 包括与输入视频信号相对应的图像的尺寸和重叠的位置关系或 特定视频的选择信息。将与大尺寸图像、位于其它图像前面的 图像或所选择的特定图像同步的音频信号设置为标准值，然后， 自动进行处理以降低与其它图像同步的音频信号的幅度。当同时输出多个画面时，这种技术使得能够基于画面的配 置自动进行与各画面相对应的音频数据的音量控制。然而，该 技术仅用于控制与各画面相对应的音频数据的音量，而不能进 行对各画面上的单独对象的音频管理。因此，例如，如图3所示，存在这样的情况，其中，在CH.l 画面上存在两个对象A和B，并且CH.2画面新重叠了对象B。在 这种情况下，利用使用传统方法的技术不可能进行单独对象的 音频管理。因此，如图3所示，当实际输出与一皮CH.2遮蔽而未显示的 对象B相对应的音频源B时，存在诸多不便。因此，在同时输出多个画面的视频/音频输出设备中已合成了多个画面后，传统技 术不能使输出音频与输出视频的配置相匹配。发明内容考虑到上述问题设计了本发明，并且本发明的目的是在合 成了多个画面后使得输出音频能够与输出视频的配置相匹配。 根据本发明的一个方面，提供一种视频/音频输出设备，该视频/音频输出设备包括控制单元，用于进行输出视频的画面管理，并为每个输入 视频数据生成位置关系信息；提取单元，用于根据所述每个输入视频数据生成部分图像 数据；输入单元，用于输入音频源不同的音频数据；以及 片生成单元，用于基于由所述控制单元生成的所述位置关 系信息，通过编辑由所述提取单元生成的所述部分图像数据和 所述音频源不同的音频数据，来为画面上的每个绘制区域配置 片数据。根据本发明的另一方面，提供一种视频/音频输出方法，该 视频/音频输出方法包括以下步骤控制步骤，用于进行输出视频的画面管理，并为每个输入 视频数据生成位置关系信息；提取步骤，用于根据所述每个输入视频数据生成部分图像 数据；输入步骤，用于输入音频源不同的音频数据；以及 片生成步骤，用于基于在所述控制步骤中生成的所述位置 关系信息，通过编辑在所述提取步骤中生成的所述部分图像数
据和所述音频源不同的音频数据，来为画面上的每个绘制区域 配置片数据。通过以下参考附图对典型实施例的说明，本发明的其它特 征将变得明显。
图l示出了优选实施例的典型效果的特定示例； 图2示出了在一般显示中的典型操作；图3示出了当不应用优选实施例的视频/音频输出设备时的 效果；图4示出了优选实施例的片数据(tile data)中的绘制位置信 息、部分图傳_婆t据以及音频源不同的參据(audio source differentiated data)之间的关系；图5示出了优选实施例的片数据中的绘制位置信息、部分图 像数据、音频源不同的数据以及音量信息之间的关系；图6是示出根据第 一 实施例的视频/音频输出设备的典型配 置的框图；图7是示出根据第二实施例的视频/音频输出设备的典型配 置的框图；以及图8是示出根据第三实施例的视频/音频输出设备的典型配 置的框图。
具体实施方式
第一实施例以下，将参考附图详细说明本发明的实施例。 图6是示出本发明第一实施例的框图。如图6所示，视频/ 音频输出设备700将多个输入流的视频数据730和732以及与各
视频数据同步的音频数据(普通音频数据)7 31作为单个视频流 输出到视频输出单元740。视频/音频输出设备700还合成音频数 据并将音频数据输出到音频输出单元750。在该例子中，假定输入音频包括与视频凄t据730(第一一见频 数据)和732(第二^L频数据)同步的普通音频^:据731以及对牙见 频数据中的每个对象分离了音频源的音频源不同的音频数据 733。首先，将视频数据730和732输入到图像提取单元701。图像 提取单元701将视频数据730和732的各帧分割为任意大小的块， 并将这些块作为部分图像数据722输出。将普通音频数据731输入到音频源分离单元702。音频源分 离单元7 0 2除了对包括在输入音频数据中的各音频源分离音频 数据以外，还在画面上指定音频源的坐标，并将音频源不同的 音频数据与音频源坐标信息相关联作为音频源不同的数据723输出。尽管可以使用采用对象识别的分析方法来进行音频源分离 和坐标指定，^旦也可以4吏用以下的简单方法，该方法包括将 左右立体声输出分离为两条音频源不同的音频数据，并将其坐 标设置为画面左半面和右半面的任意坐标。注意，当将已经被 分离成音频源不同的数据的音频源不同的音频数据733输入到 视频/音频输出设备700时，不将其输入到音频源分离单元702。管理输出图像中的视频数据的画面配置的画面控制单元 703生成画面位置关系信息721,并将所生成的画面位置关系信 息721输出到片生成单元705，其中画面位置关系信息721包括每 个画面(输入视频)的输出位置和垂直位置关系以及例如不透明 合成/半透明合成等的合成处理的类型。画面位置关系信息721 示出了输出画面的最终配置。 片生成单元705接收通过上述单元输出的部分图像数据 722、音频源不同的数据723和画面位置关系信息721、以及在输 入视频/音频输出设备700时已被分离为音频源不同的数据的音 频源不同的音频数据733作为输入。片生成单元705为各画面上 的每个绘制区域生成作为是数据单位的片数据710的数据，并输 出该数据。即，片生成单元705基于画面位置关系信息721，通 过编辑部分图像数据722 、音频源不同的数据723和音频源不同 的音频数据733 ,从而为画面上的每个绘制区域配置片数据。如图4所示，作为例子将说明在输出图像数据500的单个帧 中包括两个音频源的情况。在图4的情况下，在CH.1中包括音 频源A和B,音频源A和B的音频源坐标分别与第 一部分图像数 据5 01和第二部分图 <象数据5 0 2相对应。在这种情况下，第一部分图像数据501、 CH.1音频源A以及 第一部分图像数据501的绘制位置信息形成一个片数据。类似 地，第二部分图像数据502、 CH.1音频源B以及第二部分图像数 据5 0 2的绘制位置信息形成 一 个片数据。由于不存在与其它部分 相对应的音频源不同的数据，因而仅由部分图像数据和绘制位 置信息来配置这些部分的片数据。在片数据包括音量信息的情况下，如图5中的示例所示，部 分图像数据601 606形成具有部分图像数据、绘制位置信息、 音频源不同的数据以及音量信息的片数据。仅由部分图像数据 和绘制位置信息来配置其它部分的片数据。将这样配置的片数据710输入到图像处理单元708。图像处 理单元708在对输入的每个片数据进行处理以改善部分图像数 据713的图片质量等并更新部分图像数据713后，输出片数据。将从图像处理单元708输出的片数据输入到画面合成单元 706。画面合成单元706参考输入的多个片数据的绘制位置信息
712来处理部分图像数据713，并输出输出画面数据。将从画面合成单元706输出的输出画面数据(输出视频)输 入到视频输出单元740。视频输出单元740在任意显示器上输出 所输入的输出画面数据。结果，在—见频输出单元740中，输入的 多个视频流-陂作为单个视频流输出。另一方面，关于音频输出，音频合成单元707接收片数据作 为输入，并参考片数据中的音频源不同的数据714和音量信息 711合成音频。具体地，音频合成单元707通过音量信息711的比 率合成包括在片数据中的音频源不同的数据714,并为音频输出 单元750的每个通道生成一个画面的输出音频。即，音频合成单 元707用作音频数据生成单元，该音频数据生成单元生成包括作 为音量信息的音频源不同的数据相对于整个音量的比例的音频 数据。由于片生成单元7 0 5仅将音频源不同的数据714和音量信息 711添加到音频要被输出的片数据710,因而仅对要输出的音频 源不同的数据714合成输出音频数据。例如，这里要输出的音频 源不同的数据714是与显示在输出图像数据500上的部分图像数 据713相对应的音频源不同的数据714。此外，画面选择单元704提供能够使用户选择输出画面上的 任意范围或画面的用户界面，并向画面控制单元703输入指定的 画面信息作为画面控制信息720。结果，这样输入的画面控制信 息72(M吏用户可以通过改变由画面控制单元703所管理的画面配 置，来改变画面配置。如上所述，在接收多个视频流及与各视频流相对应的多个 音频流作为输入的视频/音频输出设备中，可以实现视频输出单 元7 4 0的输出图像数据5 0 0和音频输出单元7 5 0的输出音频数据 的兼容性。因此，输出音频数据可以与输出图像数据相匹配。
第二实施例图7是示出本发明第二实施例的典型配置的框图。类似于根据第 一 实施例的视频/音频输出设备7 0 0,根据本实施例的视频/ 音频输出设备800包括图像提取单元801(其输入第 一视频数据 840和第二—见频数据842，并输出部分图像数据832)、音频源分 离单元802(其输入普通音频数据841，并输出音频源不同的数据 833)、画面控制单元803 、画面选择单元804以及片生成单元 805(其输入部分图像数据832、音频源不同的数据833以及音频 源不同的音频数据843)。该配置与图6所示的第一实施例的区别 在于该配置包括多个—见频输出单元850和851以及多个音频输 出单元860和861。此外，该配置包括多个图Y象处理单元808和 811。注意，在本实施例中，々i定第一^L频输出单元850和第二 视频输出单元851的各画面配置是独立的。在本实施例中，画面控制单元803基于来自画面选择单元 804的画面控制信息830对第 一视频输出单元850和第二视频输 出单元851两者进行画面管理。画面控制单元803将画面位置关 系信息831输入到第 一画面合成单元806、第 一音频合成单元 807、第二画面合成单元809以及第二音频合成单元810。因此， 在本实施例中，不同于第一实施例，在片数据820中不包括绘制 位置信息。第 一画面合成单元806和第二画面合成单元809参考分别从 画面控制单元803输入的画面位置关系信息831以及分别经第一 图像处理单元808和第二图像处理单元811的片数据820(包括音 量信息821、部分图像数据823、和/或音频源不同的数据824)， 以指定的位置关系合成要在视频输出单元中播放的视频流，并 输出合成的—见频流。类似地，第 一音频合成单元807和第二音频合成单元810参
考分别从画面控制单元803输入的画面位置关系信息831 ，选捐: 并合成要在音频输出单元中播放的音频流，并输出合成的音频、'云因此，即使存在多个具有独立画面配置的视频输出单元和 音频输出单元，也可以使视频输出单元和音频输出单元的视频 输出和音频l俞出相匹配。图l示出本实施例的典型效果。在单个—见频输出单元上输出 两个画面CH.l 100和CH.2 110,其中，在CH.1上存在对象A 101 和对象B 102。因此，图l示出了在CH.l IOO的对象B 102被CH.2 IIO遮蔽 的情况下，^UlT出对应于对象A 101的CH.1音频源A 103,并乂人 音频输出单元12 0的输出音频中去除对应于对象B 10 2的C H. 1 音频源B 104。注意，为了简化，在本示例中示出了不存在与 CH.2 IIO相对应的音频源的情况。图2示出了显示器的 一般使用情况。在单个视频输出单元上 输出单个画面CH.l 200,其中，在CH.l 200上存在对象A201和 对象B 202。在这种情况下，图2示出了从音频输出单元220的输出音频 输出分别与对象A 201和对象B 202相对应的CH.1音频源A 203 和CH.1音频源B 204。在这种情况下，由于输出了与CH.l 200 相对应的音频数据，因而输出音频与现有技术和本发明均相同。图3示出了不应用本发明的视频/音频输出设备时的效果。 在这种情况下，在单个视频输出单元上输出两个画面CH.l 300 和CH.2 310,其中，在CH.l 300上存在对象A301和对象B 302， 并且CH.2 310遮蔽了 CH.l 300的对象B 302。在这种情况下，传统技术仅能一并控制对应于CH.l 300的 音频数据，而不能对每个对象进行音频管理。因此，不仅对应
于对象A 301的音频数据(即CH.1音频源A 303)而且对应于对象 B 302的音频数据(即CH.1音频源B 304)都/人音频输出单元320 的输出音频输出，而不管CH.2 310是否遮蔽了对象B 302。此外，有时可能不输出对应于对象A301的音频数据，而不 管在输出画面上是否出现对象A301。无论哪种情况，输出图像 和输出音频都不能匹配。图4示出了本实施例的片数据中的绘制位置信息、部分图像 数据和音频源不同的数据之间的关系。在该示例中，将输出图 像数据500分割成16块，其中，CH.1音频源A对应于第 一部分图 像数据5 01,类似地C H. 1音频源B对应于第二部分图像数据5 0 2 。图5示出了本实施例的片数据中的音量信息、绘制位置信 息、部分图像数据以及音频源不同的数据之间的关系。在该示 例中，将输出图像数据600分割成16块，其中，CH.1音频源A以 100%的音量对应于部分图像数据601。类似地，CH.l音频源B以60。/。的音量对应于部分图像数据 602。类似地，CH.1音频源B以分别10%的音量对应于部分图像 数据603 ~ 606。因此，即使在音频源位于输出画面上的宽区域 上的情况下，也可以通过增加音量信息来表示音频源的分配。第三实施例接着，将参考图8说明本发明的第三实施例。 类似于根据第 一 实施例的视频/音频输出设备700,根据本 实施例的视频音频输出设备900包括图像提取单元901 (其输入 第 一视频数据930和第二视频数据932,并输出部分图像数据 922)、音频源分离单元902(其输入普通音频数据931，并输出音 频源不同的数据923)、画面控制单元903(其输入画面控制信息 920)、画面选择单元904、片生成单元905(其输入部分图像数据 922、音频源不同的数据923和音频源不同的音频数据933,并输
出包括音量信息911、部分图像数据913和/或音频源不同的数据 914的片数据)、画面合成单元906以及音频合成单元907。在图8 中，画面控制单元903向画面合成单元906和音频合成单元907 输出画面位置关系信息921。分别通过画面合成单元906(其向朝L 频输出单元940输出合成的画面)和音频合成单元907(其向音频 输出单元950输出合成的音频)对要绘制的部分图像数据913和 要播放的音频源不同的数据914进行选择。由于特定功能和操作 与第 一 实施例和第二实施例相似，因而将省略对其的详细i兌明。 本发明的附加实施例尽管以上详细说明了本发明的实施例，然而本发明可以采 取系统、设备、计算机程序或存储介质的形式。更具体地，本 发明可应用于包括多个装置的系统或包括单个装置的设备。应该注意，存在这样的情况还可以通过直接或远程地向 系统或设备提供实现上述实施例的功能的程序，并利用系统或 设备的计算机读取所提供的程序代码，然后执行该程序代码来 达到本发明的目的。因此，由于通过计算机实现了本发明的功能，因而本身安说，本发明还涵盖了用于实现本发明的功能的计算机程序本身。 在这种情况下，只要系统或设备具有程序的功能，例如目标代码、由解释程序执行的程序或提供给操作系统的脚本数据等的程序的形式没有关系。可用于提供程序的存储介质的示例包括软(floppy，注册商标)盘、硬盘、光盘、磁光盘、CD-ROM、 CD-R、 CD-RW、磁带、非易失型存储卡、ROM、 DVD(DVD-ROM、 DVD-R)等。 关于提供程序的方法，客户计算机可以使用由客户计算机所拥有的浏览器与因特网上的网站相连接，并且可以将本发明
的计算机程序本身或包含自动安装功能的压缩文件下载到硬盘 等记录介质上。此外，本发明的程序可以通过将构成该程序的 程序代码分割成多个文件并从不同的网站下载这些文件来提 供。换句话说，本发明还覆盖将通过计算机来实现本发明的功 能的程序文件下载到多个用户的WWW服务器。此外，还可以将本发明的程序进行加密并存储在CD-ROM 等存储介质上，将该存储介质分配给用户，允许满足特定要求 的用户通过因特网从网站下载解密密钥信息，并且允许这些用 户通过使用密钥信息运行加密的程序，从而将程序安装在用户 计算机上。此外，除通过由计算机执行所读取的程序来实现根 据实施例的前述功能的情况外，运行在计算机上的操作系统等 还可以进行全部或部分的实际处理，/人而可以通过该处理来实 现前述实施例的功能。此外，在将从存储介质读取的程序写入插入计算机中的功 能扩展板或者连接于计算机的功能扩展单元中所提供的存储器 之后，安装在功能扩展板或功能扩展单元上的CPU等进行全部或部分的实际处理，/人而可以通过该处理来实现前述实施例的功能。因此，根据本发明，如上所述，可以提供一种即使在诸如 中断电源的情况下也能维持打印数据的机密性的技术。如上所述，4艮据本发明可以配置输出音频与显示在输出画 面上的音频源对象相匹配的片数据。特别地，在同时输出多个 画面的视频/音频输出设备中合成了多个画面后，输出音频可以 与输出视频的配置相匹配。尽管参考典型实施例说明了本发明，但应该理解，本发明 不局限于所公开的典型实施例。所附权利要求书的范围符合最 宽的解释，以包含所有这类修改、等同结构和功能。
权利要求
1.一种视频/音频输出设备，包括控制单元，用于进行输出视频的画面管理，并为每个输入视频数据生成位置关系信息；提取单元，用于根据所述每个输入视频数据生成部分图像数据；输入单元，用于输入音频源不同的音频数据；以及片生成单元，用于基于由所述控制单元生成的所述位置关系信息，通过编辑由所述提取单元生成的所述部分图像数据和所述音频源不同的音频数据，来为画面上的每个绘制区域配置片数据。
2. 根据权利要求l所述的视频/音频输出设备，其特征在于， 所述控制单元生成表示要输出的画面的最终配置的画面位置关 系信息，并向所述片生成单元提供所生成的信息。
3. 根据权利要求l所述的视频/音频输出设备，其特征在于， 还包括画面合成单元，用于通过合成由所述片生成单元配置的所 述片数据来配置 一 个画面数据；输出单元，用于在显示装置上显示由所述画面合成单元配 置的所述画面数据；以及音频数据合成单元，用于通过合成由所述片生成单元配置 的所述片数据中的音频源不同的音频数据，来生成一个画面的 音频数据，其中，所述控制单元生成表示要输出的画面的最终配置的 画面位置关系信息，并向所述画面合成单元和所述音频数据合 成单元提供所生成的画面位置关系信息。
4.根据权利要求l所述的视频/音频输出设备，其特征在 于，还包括选择单元，用于使用户从由所述片生成单元配置 的所述片数据中选择要输出到显示装置的片。
5. 根据权利要求l所述的视频/音频输出设备，其特征在 于，由所述片生成单元配置的所述片数据包括所述音频源不同 的音频数据相对于整个音量的比例作为音量信息。
6. —种视频/音频输出方法，包括以下步骤控制步骤，用于进行输出视频的画面管理，并为每个输入视频数据生成位置关系信息；提取步骤，用于根据所述每个输入视频数据生成部分图像 数据；输入步骤，用于输入音频源不同的音频数据；以及片生成步骤，用于基于在所述控制步骤中生成的所述位置据和所述音频源不同的音频数据，来为画面上的每个绘制区域配置片数据。
7. 根据权利要求6所述的视频/音频输出方法，其特征在 于，在所述控制步骤中，生成表示要输出的画面的最终配置的 画面位置关系信息，并将所生成的信息提供给所述片生成步骤。
8. 根据权利要求6所述的视频/音频输出方法，其特征在 于，还包括画面合成步骤，用于通过合成在所述片生成步骤中配置 的所述片数据来配置 一 个画面数据；输出步骤，用于在显示装置上显示在所述画面合成步骤 中配置的所述画面数据；以及音频数据合成步骤，用于通过合成在所述片生成步骤中 配置的所述片数据中的音频源不同的音频数据，来生成 一 个画 面的音频数据， 其中，在所述控制步骤中，生成表示要输出的画面的最 终配置的画面位置关系信息，并将所生成的画面位置关系信息 提供给所述画面合成步骤和所述音频数据合成步骤。
9. 根据权利要求6所述的视频/音频输出方法，其特征在于，还包括选择步骤，用于使用户从在所述片生成步骤中配 置的所述片数据中选择要输出到显示装置的片。
10. 根据权利要求6所述的视频/音频输出方法，其特征在 于，在所述片生成步骤中配置的所述片数据包括所述音频源不 同的音频数据相对于整个音量的比例作为音量信息。
全文摘要
本发明提供一种视频/音频输出设备和视频/音频输出方法。该视频/音频输出设备包括控制单元，用于进行输出视频的画面管理，并为每个输入视频数据生成位置关系信息；提取单元，用于根据所述每个输入视频数据生成部分图像数据；输入单元，用于输入音频源不同的音频数据；以及片生成单元，用于基于由所述控制单元生成的所述位置关系信息，通过编辑由所述提取单元生成的所述部分图像数据和所述音频源不同的音频数据，来为画面上的每个绘制区域配置片数据。
文档编号H04N5/262GK101212577SQ20071030600
公开日2008年7月2日 申请日期2007年12月27日 优先权日2006年12月27日
发明者北庄哲郎 申请人:佳能株式会社