信息处理设备和方法,以及程序的制作方法

专利名称：信息处理设备和方法,以及程序的制作方法
技术领域：
本发明涉及信息处理设备和方法以及程序，并且具体而言，涉及可以 在较短的延迟下执行更复杂的图像合成处理的信息处理设备和方法以及程 序。
背景技术：
迄今为止，存在各种类型的图像处理(例如，日本专利No. 3117097 和3503168)。例如，日本专利No. 3117097公开了一种用于将输入图像 映射在诸如多角柱(polygonal column)等的三维形状中的方法。日本专利 No. 3503168公开了一种用于对图像应用特殊效果，例如放大、縮小、移 动、变形等的方法。而且，已经构想出了使用多个图像的各种类型的图像 处理(例如，日本专利No. 3480648、 3700871和4003508)。日本专利No. 3503168 、 3480648和4003508公开了一种所谓的画中画(picture-in-picture)方法，用于在一种状态中显示两个图像，在该状态中，将一个图 像适合到(fitinto)另一图像的一部份中。而且，日本专利No. 3700871公 开了用于混合两个图像的比率控制方法。

发明内容
然而，上述文献未描述更复杂的图像处理方法，例如，从大量(多个 系统)输入图像中每个输入图像修剪出的部份图像被填入由自由形式曲线 围绕的框中，并且例如通过以下处理生成输出图像使修剪出的图像经受 诸如縮小等处理，将修剪出的图像彼此组合，或者将CG (计算机图形) 图像叠加在修剪出的图像上或者进一步将另一图像叠加在修剪出的图像 上。
迄今为止，记录和存储的图像数据已经过了这种更复杂的图像处理(在离线(off-line)状态中)，然而近年来，在图像以实时的方式被广播 (例如，实况体育广播)的所谓的实况广播(live broadcasting)中也要求 这种复杂的图像处理。即，存在以更短延迟执行更复杂图像处理的需求。
然而，在使用根据相关技术的离线状态中的编辑处理的方法中，图像 数据必须被存储，因此，可能难以满足这种需求。
而且，在日本专利No. 3503168、 3480648和4003508公开的设备以及 所谓的切换器设备(switcher device)中，仅仅简单的合成处理被执行以使 得另一图像嵌入在图像的一部分的矩形区域中。在日本专利No. 3700871 中公开的设备仅仅控制要叠加的两个图像之间的混合比。因此，如上所 述，难以实现更复杂的图像处理。
此外，还可以想到将在日本专利No. 3117097、 3503168、 3480648、 3700871和4003508中公开的方法组合，但是在这种情况中，图像处理的 阶段数目增加，从而使由图像处理引起的延迟也增加。因此，认为利用相 关技术难以对于实况广播实现更复杂的图像处理。
通过提供一种能够在较少延迟下执行更复杂的图像合成处理的方法来 满足这种需求。
根据本发明的实施例， 一种信息处理设备包括修剪单元，被配置来 对多个图像进行用于将图像的一部分作为部份图像而修剪出来的修剪处 理，以便从所述多个图像的每一个中修剪出部份图像；尺寸校正单元，被 配置来校正与由所述修剪单元修剪出的多个所述部份图像的每个有关的图 像尺寸；以及合成单元，被配置来将由所述尺寸校正单元校正了图像尺寸 的所述部份图像相连接(connect)，以生成合成图像。
所述修剪单元可以利用由第一控制信息指定的修剪方法来对所述部份 图像执行修剪，并且，所述尺寸校正单元校正所述部份图像以使之具有由 所述第一控制信息指定的图像尺寸，并且，所述合成单元利用由所述第一 控制信息指定的连接方法来连接所述部份图像。
所述信息处理设备还可以包括CG信息合成单元，被配置来根据由 第二控制信息指定的叠加方法将CG (计算机图形)信息叠加在由所述合 成单元生成的所述合成图像上，所述第二控制信息用于指定多个图像的叠加方法。
所述信息处理设备还可以包括存储单元，被配置来存储所述第一控 制信息和所述第二控制信息；以及读出单元，被配置来从所述存储单元中 读出所述第一控制信息和所述第二控制信息，以将所述第一控制信息提供 给所述修剪单元、所述尺寸校正单元和所述合成单元，并将所述第二控制 信息提供给所述CG信息合成单元。
所述读出单元可以根据从所述存储单元读出的所述第一控制信息生成 部份控制信息，以将多个所生成的部份控制信息提供给所述修剪单元和所 述尺寸校正单元，所述部份控制信息是对于所述多个图像的每一个的控制 信息，并且，所述修剪单元针对每个图像利用由与每个图像相对应的部份 控制信息指定的修剪方法来执行对所述部份图像的修剪，并且，所述尺寸 校正单元校正每个部份图像，以使之具有由与每个部份图像相对应的部份 控制信息指定的图像尺寸。
存储在所述存储单元中的所述第一控制信息和所述第二控制信息可以 分别利用预定方法被压縮，并且，所述读出单元利用与压縮方法相对应的 方法对从所述存储单元读出的所述第一控制信息和所述第二控制信息进行 解码，然后提供所述第一控制信息和所述第二控制信息。
所述存储单元可以针对每个合成模式来管理所述第一控制信息和所述 第二控制信息，并且，所述读出单元从所述存储单元读出具有指定合成模 式的所述第一控制信息和所述第二控制信息，然后提供所述第一控制信息 和所述第二控制信息。
所述信息处理设备还可以包括前进(progress)控制指令接受单元， 被配置来接受用于控制所述合成模式的前进的前进控制指令，并且，所述 读出单元基于由所述前进控制指令接受单元所接受的所述前进控制指令确 定对于所述合成模式要处理的位置，并且读出与所述要处理的位置相对应 的所述第一控制信息和所述第二控制信息，然后提供所述第一控制信息和 所述第二控制信息。
所述信息处理设备还可以包括修改指令接受单元，被配置来接受具
有所述CG信息的配置的修改指令，并且，所述读出单元基于由所述修改指令接受单元接受的所述修改指令更新所述第一控制信息和所述第二控制
{曰息。
所述信息处理设备还可以包括预处理单元，被配置来对所述多个图 像进行预处理，并且，所述修剪单元修剪来自经过所述预处理单元的预处 理的所述多个图像的所述部份图像。
所述预处理单元可以将隔行扫描形式的所述多个图像转换为逐行扫描 形式的所述多个图像。
所述预处理单元可以从所述多个图像的每个检测面部图像，以确定由 所述修剪单元修剪出的所述部份图像的中心坐标。
根据本发明的实施例， 一种用于信息处理设备的信息处理方法，包括 以下步骤对多个图像进行用于将图像的一部分作为部份图像修剪出来的 修剪处理，以从所述多个图像的每个修剪出部份图像；校正与多个所述修 剪出的部份图像的每个有关的图像尺寸；以及连接已校正了图像尺寸的所 述部份图像以生成合成图像。
根据本发明的实施例， 一种使处理信息的计算机执行以下步骤的程 序对多个图像进行用于将图像的一部分作为部份图像修剪出来的修剪处 理，以从所述多个图像的每个修剪出部份图像；校正与多个所述修剪出的 部份图像的每个有关的图像尺寸；以及连接已校正了图像尺寸的所述部份 图像以生成合成图像。
利用上述配置，对多个图像进行用于将图像的一部分作为部份图像修 剪出来的修剪处理，以从多个图像的每个修剪出部份图像，校正与多个修 剪出的部份图像的每个有关的图像尺寸，以及连接已校正了图像尺寸的部 份图像以生成合成图像。
根据本发明的实施例，图像可以被处理。具体而言，可以在较少延迟 下执行更复杂的图像合成处理。


图1是图示出应用了本发明实施例的图像处理系统的配置示例的框
图；图2是图示出应用了本发明实施例的图像合成设备的主要配置示例的
框图3是描述控制信息的示图4是图示出输入图像合成的示图5是描述图像合成处理流程的示例的流程图6是掩模信息中的时间变化的示例的示图7是描述控制信息读出处理流程的示例的流程图8 A至8G是描述合成模式前进方法的示例的示图9是图示出信息读出控制单元的配置示例的框图IO是描述图像合成处理流程的另一示例的流程图11是描述控制信息创建工作流程的示例的示图12A和12B是描述控制信息更新的示例的示图13是图示出信息读出控制单元的另一配置示例的框图14是描述图像合成处理流程的又一示例的流程图15是描述图像合成处理流程的又一示例的图14之后的流程图16是图示出应用了本发明实施例的图像合成设备的另一配置示例 的框图17是描述图像合成处理流程的又一示例的流程图； 图18是图示出编码设备的配置示例的框图； 图19是示意性地描述小波变换的示意图20A至20C是示意性地图示出小波变换和逆小波变换的流程的示意
图21是图示出画面的结构示例的示意图22是图示出解码单元的配置示例的框图；以及
图23是图示出应用了本发明实施例的信息处理信息的配置示例的框
具体实施例方式
图1是图示出应用了本发明实施例的图像处理系统的配置示例的框图。在图1中，图像处理系统100是这样的系统，该系统在较少的延迟下 执行更复杂的图像合成处理，并且通过例如由因特网代表的网络110与图
像合成设备111、切换器112以及切换器控制板113相互连接。
图像合成设备111是在较少的延迟下执行更复杂的图像合成处理的设 备。由图像信息和音频信息组成的图像音频信息(第一输入图像音频信息 至第四输入图像音频信息)被输入到图像合成设备111的多个输入系统的 各个中。图像合成设备111根据控制信息从每条输入图像音频信息的图像
信息中修剪出由自由形式曲线(任意曲线)所创建的框(frame)中的部份 图像，以将其縮小(或放大)到预定尺寸。图像合成设备111将这些部份 图像组合来创建合成图像，并且将其合成图像作为图像信息通过预定的专 用线缆等提供给切换器112。图像合成设备111除了图像信息之外，还将 与其图像信息相对应的信息(例如，作为用于在切换器112处的图像合成 的控制信息的键信息，或者音频信息)通过预定的专用线缆等提供给切换 器112。
切换器112采用第五输入图像音频信息的图像作为背景图像，并且根 据键信息将从图像合成设备111提供来的图像(合成图像)叠加在背景图 像上。切换器112将合成结果输出为输出图像信息和输出音频信息。
注意，图像合成设备111的输入系统的数目可以是任何数目，只要该 数目是两个或更多个。而且，输出系统的数目也是可选的。类似地，切换 器112的输入系统的数目可以是任何数目，只要该数目是两个或更多个， 并且输出系统的数目也是可选的。为了方便说明，下面将对这样的情况进 行描述图像合成设备111包括四个输入系统和一个输出系统，而切换器 112包括两个输入系统和一个输出系统。而且，图像合成设备111和切换 器112可以输入或输出除了上述的与图像信息相对应的信息之外的信息。
切换器控制板113是用户接口设备，其包括开关、控制杆等，并且接 受来自用户的指令，例如合成模式指定、合成开始指令等等，并且将其信 息提供给图像合成设备111或切换器112。图像合成设备111或切换器 112根据上述用户指令来执行各种类型的处理。
图2是图示出应用了本发明实施例的图像合成设备111的主要配置示
10例的框图。图2所示的图像合成设备111是组成图1中的图像处理系统 100的设备，并且如图2所示，包括信息读出控制单元131、存储单元
132、输入单元133、预处理单元134、输入图像处理单元135、合成处理 单元136以及键生成单元137。
信息读出控制单元131读出存储在存储单元132中的信息以对其进行 处理，并且在预定定时处将预定信息提供给输入图像处理单元135、合成 处理单元136或键生成单元137。例如，信息读出控制单元131将第一部 份掩模(mask)信息至第四部份掩模信息提供给输入图像处理单元135的 图像修剪单元151-1至151-4以及尺寸校正单元152-1至152-4。而且，例 如，信息读出控制单元131将整体掩模信息提供给合成处理单元136的图 像合成单元161。此外，信息读出控制单元131例如将具有键信息的CG (计算机图形)信息提供给合成处理单元136的CG合成单元162。而 且，信息读出控制单元131例如将音频信息或音频合成信息提供给合成处 理单元136的音频合成单元163。此外，例如，信息读出控制单元131将 键信息和整体掩模信息提供给键生成单元137。后面将描述每种信息。
存储单元132例如包括诸如硬盘驱动器、闪存等的存储介质，并且预 先存储与合成处理有关的控制信息。输入单元133例如包括诸如开关、按 钮等的用户接口，连接到网络110的网络接口，等等。输入单元133接受 例如通过用户的输入或网络110从连接到它的另一设备提供来的信息，以 将其提供给信息读出控制单元131。
预处理单元134使每个输入系统的输入图像在合成之前经受适当的处 理。预处理单元134包括IP转换单元141-1至141-4。当第一输入图像音 频信息的图像信息遵循隔行扫描(interlace)形式时，IP转换单元141-1就 将其转换为逐行扫描(progressive)形式(执行IP转换)。类似地，IP转 换单元141-2使第二输入图像音频信息的图像信息经受IP转换，IP转换单 元141-3使第三输入图像音频信息的图像信息经受IP转换，IP转换单元 141 -4使第四输入图像音频信息的图像信息经受IP转换。
经过IP转换处理的输入图像音频信息的每一个都被提供给输入图像处 理单元135。即，要输入输入图像处理单元135的第一输入图像音频信息至第四输入图像音频信息的图像信息遵循逐行扫描形式。注意，在预处理 单元的输入图像遵循逐行扫描形式的情况下，省略这种IP转换处理。
如上所述IP转换在预处理中被执行，因此，在输入图像处理单元
135、合成处理单元136和键生成单元137中对图像信息执行的每个处理
是按帧来执行的。注意，可以进行这样的布置遵循隔行扫描形式的输入
图像不经受IP转换，而经受在输入图像处理单元135、合成处理单元136 和键生成单元137中针对每场的每个处理。此后，在不必区分帧和场的情 况中，这些将总称为画面。g卩，在输入图像处理单元135、合成处理单元 136和键生成单元137中的每个处理以画面(帧或场)为单位来执行。
输入图像处理单元135包括图像修剪单元151和尺寸校正单元152。 图像修剪单元151从输入图像信息中修剪出利用掩模信息指定的部分。图 像修剪单元151包括图像修剪单元151-1至151-4。
图像修剪单元151-1从第一输入图像音频信息的图像信息的每个画面 中，修剪出由从信息读出控制单元131提供来的第一部份掩模信息指定的 范围，并将其修剪出的部份图像提供给尺寸校正单元152-1。图像修剪单 元151-2从第二输入图像音频信息的图像信息的每个画面中，修剪出由从 信息读出控制单元131提供来的第二部份掩模信息所指定的范围，并将其 修剪出的部份图像提供给尺寸校正单元152-2。图像修剪单元151-3从第三 输入图像音频信息的图像信息的每个画面中，修剪出由从信息读出控制单 元131提供来的第三部份掩模信息所指定的范围，并将其修剪出的部份图 像提供给尺寸校正单元152-3。图像修剪单元151-4从第四输入图像音频信 息的图像信息的每个画面中，修剪出由从信息读出控制单元131提供来的 第四部份掩模信息所指定的范围，并将其修剪出的部份图像提供给尺寸校 正单元152-4。
尺寸校正单元152对在图像修剪单元151中修剪出的部份图像的图像 尺寸进行校正。更具体而言，尺寸校正单元152校正(縮小或放大)每个 部份图像的图像尺寸，以使得由连接起来的部份图像组成的合成图像的图 像尺寸变为预定尺寸。
尺寸校正单元152包括尺寸校正单元152-1至152-4。尺寸校正单元152-1利用由从信息读出控制单元131提供来的第一部份掩模信息所指定 的縮小比率(或放大比率)对在图像修剪单元151-1中修剪出的部份图像
的图像尺寸进行校正。尺寸校正单元152-2利用由从信息读出控制单元 131提供来的第二部份掩模信息所指定的縮小比率(或放大比率)对在图 像修剪单元151-2中修剪出的部份图像的图像尺寸进行校正。尺寸校正单 元152-3利用由从信息读出控制单元131提供来的第三部份掩模信息所指 定的縮小比率(或放大比率)对在图像修剪单元151-3中修剪出的部份图 像的图像尺寸进行校正。尺寸校正单元152-4利用由从信息读出控制单元 131提供来的第四部份掩模信息所指定的縮小比率(或放大比率)对在图 像修剪单元151-4中修剪出的部份图像的图像尺寸进行校正。
尺寸校正单元152-1将经过尺寸校正的部份图像提供给合成处理单元 136的图像合成单元161。而且，尺寸校正单元152-1将第一输入图像音频 信息的音频信息(与要处理的画面相对应部分的音频信息)提供给音频合 成单元163。类似地，尺寸校正单元152-2将经过尺寸校正的部份图像提 供给合成处理单元136的图像合成单元161，并且将第二输入图像音频信 息的音频信息(与要处理的画面相对应部分的音频信息)提供给音频合成 单元163。
类似地，尺寸校正单元152-3将经过尺寸校正的部份图像提供给合成 处理单元136的图像合成单元161，并且将第三输入图像音频信息的音频 信息(与要处理的画面相对应部分的音频信息)提供给音频合成单元 163。类似地，尺寸校正单元152-4将经过尺寸校正的部份图像提供给合成 处理单元136的图像合成单元161，并且将第四输入图像音频信息的音频 信息(与要处理的画面相对应部分的音频信息)提供给音频合成单元 163。
合成处理单元136执行图像和音频的合成处理。合成处理单元136包 括图像合成单元161、 CG合成单元162以及音频合成单元163。图像合成 单元161根据从信息读出控制单元131提供来的整体掩模信息连接从尺寸 校正单元152-1至152-4提供来的部份图像以生成合成图像，并将该合成 图像提供给CG合成单元162。 CG合成单元162将从信息读出控制单元131提供来的具有键信息的CG信息叠加在从图像合成单元161提供来的 合成图像上，并将其合成图像输出作为输出图像信息。音频合成单元163 基于从信息读出控制单元131提供来的音频合成信息对从尺寸校正单元 152-1至152-4提供来的音频信息，以及从信息读出控制单元131提供来的 音频信息进行合成或选择，以生成输出音频信息，并且将其输出。
键生成单元137根据从信息读出控制单元131提供来的整体掩模信息 更新从信息读出控制单元131提供来的键信息，并且生成用于输出的键信 息，即与输出图像信息相对应的键信息，并且将其输出。
如参考图l所描述的，从图像合成设备111输出的输出音频信息、输 出图像信息和输出键信息分别通过专用线缆等被提供给切换器112。
接下来，将描述每种信息。首先，将参考图3描述控制信息。如图3 所示，整体掩模信息171、具有键信息的CG信息174、音频信息176和音 频合成信息177被预先存储在图像合成设备111的存储单元132中。
掩模信息是指示诸如修剪方法、连接方法等的合成方法的控制信息。 整体掩模信息171是指示关于整个图像(整个画面)的合成方法的掩模信 息。如图3所示，整体掩模信息171包括掩模图像信息172和掩模元信息 173。
掩模图像信息172是指示作为合成结果的合成图像的结构的信息。 即，掩模图像信息172关于合成图像的所有像素来指定是否选择哪个输入 系统的图像作为合成结果。换言之，掩模图像信息172指定部份图像的形 状，以及对修剪出的部份图像的连接方法。以像素为单位来执行这种指 定，并且掩模图像信息172被构成为位图信息。
图3示意性地图示出了上述指定的情形(位图)。在图3的示例的情 况中，整个图像被分为四个区域，其中，指定第一输入图像音频信息的部 份图像的值(例如"1")被指派到左上区域(区域"1")中的各个像 素，指定第二输入图像音频信息的部份图像的值(例如"2")被指派到 右上区域(区域"2")中的各个像素，指定第三输入图像音频信息的部 份图像的值(例如"3")被指派到左下区域(区域"3")中的各个像 素。这些值可以是数字字符，或者可以是文本字符或符号等。注意，另一")，并且指示未指派 部份图像的值(例如"5")被指派到该区域的各个像素。该值可以是数 字字符，或者可以是文本字符或符号等。
这种指定以像素为单位来执行，由此掩模图像信息172可以容易地被
指定来修剪具有任意形状的部份图像，并且还可以容易地被指定用于连接
复杂形状的部份图像的方法。例如，掩模图像信息172可以容易地被指定
来将用作修剪框的区域的边界线设置为自由形式曲线(任意曲线)，并且 还可以容易地被指定用于连接按上述自由形式曲线形状修剪出的部份图像 的方法。
掩模元信息173是掩模图像信息172的附加信息，并且包括掩模图像 信息172未指示的信息，例如，修剪的圆心角、旋转角、縮小比率等等。
整体掩模信息171被预先存储在存储单元132中，然而，为了有效使 用存储单元132的存储区域(区域确保)，或者为了在读出时有效使用总 线带宽(带宽确保)，整体掩模信息171利用预定方法被压縮并以信息量 被减少的状态被存储。压縮方法是任意的，例如用行程编码(run length coding)进行压縮。
如图3所示，信息读出控制单元131包括解码单元181、划分单元 182以及保存单元183。当从存储单元132读出整体掩模信息171时，信息 读出控制单元131在解码单元181对其进行解码，并在划分单元182为每 个输入系统生成掩模信息。第一部份掩模信息171-1是关于第一输入系统 的、仅由与从整体掩模信息171提取的第一输入图像音频信息有关的信息 生成的掩模信息(部份掩模信息)。第二部份掩模信息171-2是关于第二 输入系统的、仅由与从整体掩模信息171提取的第二输入图像音频信息有 关的信息生成的掩模信息(部份掩模信息)。第三部份掩模信息171-3是 关于第三输入系统的、仅由与从整体掩模信息171提取的第三输入图像音 频信息有关的信息生成的掩模信息(部份掩模信息)。第四部份掩模信息 171-4是关于第四输入系统的、仅由与从整体掩模信息171提取的第四输 入图像音频信息有关的信息生成的掩模信息(部份掩模信息)。
划分单元182在划分之前使包括诸如RAM (随机存取存储器)等的存储区域的保存单元183保存所生成的第一部份掩模信息171-1至第四部 份掩模信息171-4，以及整体掩模信息。
信息读出控制单元131在预定的定时处将第一部份掩模信息171-1至 第四部份掩模信息171-4分别提供给输入图像处理单元135的相应输入系 统。这样，仅适当的信息被提供给每个输入系统，因此图像修剪单元151 和尺寸校正单元152不必处理不必要的控制信息，因此能够有效地执行每 个处理。而且，利用存储单元132，这种部份掩模信息被存储为单个整体 掩模信息171，由此可以减少信息量，例如省略冗余信息等。而且，部份 掩模信息被存储为单个整体掩模信息171，由此可以提高处理吞吐量，例 如减少读出处理和解码处理的次数。
而且，信息读出控制单元131在预定的定时处将保存在保存单元183 中的整体掩模信息分别提供给图像合成单元161和键生成单元137。
具有键信息的CG信息174是这样的信息作为在将一个图像叠加在 另一图像上时所使用的控制信息的键信息被添加到作为图像信息的CG信 息。CG信息是例如RGB等的三色的位图。键信息是用于以像素为单位指 定是否将另一图像叠加(合成)在哪个部分上的单色(灰阶)位图。键信 息是可以用在切换器112中的普通控制信息。
图3中的图像174A示意性地表示该具有键信息的CG信息174，其 中，实心部份是键信息，而另外的阴影图案部份(包括文本"Catch You!")是CG信息。
具有键信息的CG信息174也被预先存储在存储单元132中，然而， 为了有效使用存储单元132的存储区域(区域确保)，或者为了在读出时 有效使用总线带宽(带宽确保)，具有键信息的CG信息174利用预定方 法被压縮并以信息量被减少的状态被存储。例如，具有键信息的CG信息 174被转换为4:2:2:4的YCbCrA信号，然后被压縮。该压縮方法是可选 的。
如图3所示，信息读出控制单元131包括解码单元184和提取单元 185。当从存储单元132读出具有键信息的CG信息174时，信息读出控制 单元131在解码单元184对其进行解码，并在提取单元185中从具有键信息的CG信息174提取键信息175。图像175A示意性地图示出了键信息 175。如与图像174A相比较可以明白的，仅实心部分(g卩，键信息)被提 取出来。
提取单元185使保存单元183保存所提取的键信息175和作为提取源 的具有键信息的CG信息174。
信息读出控制单元131在预定定时处将保存在保存单元183中的键信 息提供给键生成单元137。而且，信息读出控制单元131在预定定时处将 保存在保存单元183中的具有键信息的CG信息17提供给CG合成单元 162。
如上所述，仅键信息175从具有键信息的CG信息中被提取出来以提 供给键生成单元137，因此，键生成单元137不必处理不必要的控制信息 (CG信息)，由此，可以有效地生成用于输出的键信息。而且，键信息 175是通过从具有键信息的CG信息174中提取出来而生成的，g口，仅具 有键信息的CG信息174被存储在存储单元132中，因此，可以减少信息 量(可以有效地使用存储区域和总线带宽)。而且，可以通过减少读出处 理和解码处理的次数来提高处理吞吐量。
音频信息176是未包括在输入图像音频信息的每一个中的音频信息， 例如是将CG信息叠加在输入图像上时的声音效果等等。音频合成信息 177是用于指定每个输入图像音频信息的音频信息的音频合成方法的控制 信息。例如，音频合成信息177包括使得各个输入系统的音频信息之一被 选择，并且进一步与音频信息176合成等等的指令信息。
当从存储单元132读出音频信息176和音频合成信息177时，信息读 出控制单元131使保存单元183保存音频信息176和音频合成信息177， 并在预定定时处将它们提供给音频合成单元163。
如上所述的控制信息被用在图像合成设备111中。注意，这样的控制 信息是针对每种合成模式而准备的。合成模式指对输入图像的合成方法。 例如，如何处理输入图像、如何连接输入图像，以及怎样叠加何种CG信 息以生成合成图像，这些都是可选的。而且，在图像合成设备111中执行 的合成处理的长度是任意的，并且可以被应用于一个画面或多个画面(预定时间段)。而且，在对多个画面执行合成处理的情况中，对于从其合成 时间段的开始到结束的所有画面，可以利用彼此完全一样的结构(设计) 来合成每个图像，或者可以利用针对每个画面进行了改变的结构来合成每 个图像。而且，其改变的方式也是可选的。
这种合成方法的差异将被称作合成模式。利用用于控制合成方法的控 制信息(例如，掩模信息、具有键信息的CG信息，等等)的内容之间的 差异来指示这种合成方法的差异。因此，这种控制信息是针对每种合成模 式而准备的。而且，在对多个画面执行合成处理，并且使用针对每个画面 而改变结构(设计)的合成模式(动态合成模式)的情况中，各个控制信 息是针对各个画面而准备的(控制信息的内容针对每个画面而改变，因 此，合成图像的结构(设计)是动态改变的)。
存储单元132总地管理这种用于每种合成模式的多个控制信息。
接下来，将参考图4描述各个输入系统的图像被合成的方法。在图4 中，图像191-1指示第一输入图像音频信息的图像信息，图像191-2指示 第二输入图像音频信息的图像信息，图像191-3指示第三输入图像音频信 息的图像信息，图像191-4指示第四输入图像音频信息的图像信息。
图像修剪单元151-1根据包括在第一部份掩模信息171-1中的诸如修 剪形状、中心坐标等等的信息从图像191-1修剪出部份图像192-1。在图4 中，在图像191-1和部份图像192-1之间所指示的在图像191-1内部的黑线 指示了部份图像192-1的轮廓，即修剪形状，并且x标记指示其中心点。
尺寸校正单元152-1根据包括在第一部份掩模信息171-1中的信息对 这样修剪出的部份图像192-1的尺寸进行校正(縮小或放大)，以生成图 像193-1。在图4的示例中，图像193-1是部份图像192-1的縮小图像。图 像193-1被提供给合成处理单元136。
图像修剪单元151-2根据包括在第二部份掩模信息171-2中的诸如修 剪形状、中心坐标等等的信息从图像191-2修剪出部份图像192-2。尺寸校 正单元152-2根据包括在第一部份掩模信息171-2中的信息对修剪出的部 份图像192-2的尺寸进行校正(縮小或放大)，以生成图像193-2。在图4 的示例中，图像193-2是部份图像192-2的縮小图像。图像193-2被提供给合成处理单元136。
图像修剪单元151-3根据包括在第三部份掩模信息171-3中的诸如修 剪形状、中心坐标等等的信息从图像191-3修剪出部份图像192-3。尺寸校 正单元152-3根据包括在第一部份掩模信息171-3中的信息对修剪出的部 份图像192-3的尺寸进行校正(縮小或放大)，以生成图像193-3。在图4 的示例中，图像193-3是部份图像192-3的縮小图像。图像193-3被提供给 合成处理单元136。
图像修剪单元151-4也根据包括在第四部份掩模信息171-4中的诸如 修剪形状、中心坐标等等的信息执行从图像191-4修剪出一图像，但是在 图4的示例中，不命令第四部份掩模信息171-4修剪部份图像(见图3中 的掩模图像信息172)。因此，图像修剪单元151-4不生成部份图像，并 且尺寸校正单元152-4也不执行尺寸校正。
合成处理单元136合成如此提供的图像193-1至193-3以及来自信息 读出控制单元131的具有键信息的CG信息，以生成合成图像194。该合 成图像194是这样获得的如整体掩模信息171的掩模图像信息172所指 示的那样连接图像193-1至193-3，并且进一歩将具有键信息的CG信息叠 加在其上。合成图像194中以实心填充的那部分是键信息。
如上所述，合成图像194是基于诸如掩模信息等的控制信息从输入图 像等生成的。而且，响应于这种合成处理，键生成单元137从整体掩模信 息171和键信息175生成用于输出的键信息195。键生成单元137基于整 体掩模信息171从键信息175移除部份图像和CG信息部分，以生成用于 输出的键信息195。即，键信息195对应于合成图像194。
将参考图5中的流程图描述这种图像合成处理的流程的示例。
当开启图像合成设备111的电源或取消其暂停(suspend)状态后，就 开始图像合成处理。当开始图像合成处理后，在步骤S101，信息读出控制 单元131执行控制信息读出处理，以从存储单元132读出所有合成模式的 控制信息，例如整体掩模信息、具有键信息的CG信息174、音频信息 176、音频合成信息177等。
在步骤S102，信息读出控制单元131等待直到合成开始指令被接收到为止。在步骤S103,当输入单元133接收到由用户操作图像合成设备111 而输入的或通过网络110从切换器控制板113提供来的合成模式指定或合 成开始指令时，信息读出控制单元131将处理推进到步骤S104。在步骤 S104，信息读出控制单元131向各个单元提供将利用保存在保存单元183 中的指定合成模式进行处理的画面的控制信息。
在步骤S105，预处理单元134 (IP转换单元141-1至141-4)使每个 输入图像经受IP转换。在步骤S106，图像修剪单元151 (图像修剪单元 151-1至151-4)根据各个部份掩模信息对各个输入图像执行修剪。在步骤 S107，尺寸校正单元152 (尺寸校正单元152-1至152-4)根据各个部份掩 模信息对各个修剪出的图像(修剪出的部份图像)执行尺寸校正。
在步骤S108，图像合成单元161通过基于整体掩模信息171连接各个 修剪出的图像(修剪出的部份图像)而生成合成图像。在步骤S109， CG 合成单元162对于合成图像合成具有键信息的CG信息。在步骤SllO，音 频合成单元163根据所指定的合成模式的音频合成信息177执行音频信息 的合成。
在步骤Slll，基于所指定的合成模式的整体掩模信息171从键信总 175生成用于输出的键信息195。
在步骤S112，信息读出控制单元131判定指定合成模式的所有画面是 否都已被处理，并在判断出存在未经处理的画面的情况下，更新要处理的 画面为下一画面，将处理返回步骤S104，并执行步骤S104中及其后的处 理。即，图像合成设备111针对每个画面重复步骤S104至S112的每一个 中的处理。
在步骤S112中判断出指定合成模式的所有画面都已被处理的情况 下，信息读出控制单元131将处理推进到步骤S113，并判定是否结束该图 像合成处理。在判断出不结束图像合成处理的情况下，信息读出控制单元 131将处理返回到步骤S102，并执行步骤S102中及其后的处理。而且， 在步骤S113中判断出由于某种原因(例如图像输入被停止、接收用户的 指令等)而结束图像处理的情况下，信息读出控制单元131结束该图像合 成处理。图6图示出了合成模式示例。在图6中，从顶部开始依次示意性地示 出了某种合成模式的整体掩模信息，以及从整体掩模信息生成的第一部份 掩模信息、第二部份掩模信息、第三部份掩模信息和第四部份掩模信息。 注意，在图6中，时间序列从左向右前进。
如整体掩模信息所示，首先，背景图像显示在整个合成图像上。随着 时间的前进，第一输入系统的图像信息从左侧向右侧逐渐插入合成图像的 左上区域。随着时间进一步前进，第二输入系统的图像信息从右侧向左侧 逐渐插入合成图像的右上区域。随着时间进一步前进，第三输入系统的图 像信息从左侧向右侧逐渐插入合成图像的左下区域。
对于第一部份掩模信息至第四部份掩模信息，阴影部分是不被提取为 部份图像的区域，而白色部分是要被提取为部份图像的区域。而且，X标 记指示了要提取的部份图像的中心点。
首先，对于整体掩模信息，当背景图像被指派到整个图像时，对于第 一部份掩模信息至第四部份掩模信息中的任一个没有部份图像修剪指令。 随后，对于整体掩模信息，当第一输入系统的图像信息从左侧向右侧逐渐 插入时，对于第一部份掩模信息，根据其移动，要修剪的区域从右向左扩 展。随后，对于整体掩模信息，当第二输入系统的图像信息从右侧向左侧 逐渐插入时，对于第二部份掩模信息，根据其移动，要修剪的区域从左向 右扩展。然后，对于整体掩模信息，当第三输入系统的图像信息从左侧向 右侧逐渐插入时，对于第三部份掩模信息，根据其移动，要修剪的区域从 右向左扩展。
注意，对于整体掩模信息，没有关于第四系统图像的合成指令，因此 对于第四部份掩模信息，没有修剪指令。
如上所述，每条控制信息是针对每个画面而准备的，因此，图像合成 设备111还可以容易地实现动态合成模式，以使得合成方法针对每个画面 而改变。
接下来，将参考图7中的流程图描述在图5的步骤S101中执行的控 制信息读出处理的流程的示例。
当开始控制信息读出处理后，在步骤S131，信息读出控制单元131选择要处理的合成模式。利用存储单元132，针对每种合成模式来管理控制
信息，因此，信息读出控制单元131读出针对每种合成模式的控制信息。
当选择要处理的合成模式时，在步骤S132，信息读出控制单元131从 存储单元132读出要处理的合成模式的所有整体掩模信息171 (关于合成 模式的所有画面)。在步骤S133，解码单元181通过预定方法对所有读出 的整体掩模信息171进行解码。在步骤S134，划分单元182根据所有整体 掩模信息为每个输入系统生成部份掩模信息。在步骤S135，保存单元183 保存每条部份掩模信息，以及所有整体掩模信息171。
在步骤S136，信息读出控制单元131从存储单元132读出要处理的合 成模式的所有具有键信息的CG信息174 (合成模式的所有画面)。在步 骤S137，解码单元184按照预定方法对所有读出的具有键信息的CG信息 进行解码。在步骤S138，提取单元185从所有具有键信息的CG信息中的 每条信息中提取键信息175。在步骤SB9，保存单元183保存键信息以及 所有具有键信息的CG信息。
在步骤S140，信息读出控制单元131从存储单元132读出要处理的合 成模式的所有音频信息176和音频合成信息177 (关于合成模式的所有画 面)。在步骤S141，保存单元183保存所有读出的音频信息176和音频合 成信息177。
在步骤S142，信息读出控制单元131判定是否已读出了所有合成模式 的控制信息，并且在判断出存在未处理的合成模式的情况下，经处理推进 到步骤S143，选择一个未处理的合成模式作为将处理的合成模式。当结束 步骤S143中的处理时，信息读出控制单元131将处理返回步骤S132，并 重复步骤S132中及其后的处理。即，针对每种处理模式重复执行步骤 S132至S143的每个中的处理。
然后，在判断出所有合成模式的信息都已读出的情况下，信息读出控 制单元131结束该信息读出处理，将处理返回图5中的步骤SlOl，并执行 步骤SIOI中及其后的处理。
如上所述，所有控制信息被预先读出，因此图像合成设备111在图像 合成时可以减少对存储单元132的访问次数，并且因此可以提高合成处理吞吐量。
如上所述，图像合成设备111利用部份掩模信息对每个输入系统的输 入图像执行修剪或尺寸校正以生成部份图像，并且利用整体掩模信息、具 有键信息的CG信息、音频合成信息等来合成这些部份图像。因此，利用
图像合成设备111，例如如图2所示，可以在较少处理阶段的情况下实现 诸如利用自由形式曲线的修剪和连接等的高级图像合成处理，以及动态改 变合成模式的结构的复杂合成模式。§卩，图像合成设备111可以在较短延 迟的情况下执行更复杂的图像合成处理。
将返回图1进行描述。图像处理系统100的用户操作诸如切换器控制 板113的开关或滑块等的用户接口来输入各种类型的控制指令，例如，针 对更复杂图像合成处理的执行开始指令、合成模式指令等，如上所述。切 换器控制板113适当地通过网络110将其接受的指令提供给图像合成设备 111或切换器112。图像合成设备lll在输入单元133接受上述指令，并根 据上述指令执行图像合成处理。类似地，切换器112也基于从切换器控制 板113提供来的用户指令执行第五输入图像音频信息(背景图像信息)、 图像信息、音频信息，和从图像合成设备111提供来的键信息之间的合 成。
因此，图像处理系统100利用图像合成设备111，由此与根据相关技 术通过布置多个切换器来执行合成处理的情况相比，可以利用较少的处理 阶段数来执行更复杂的合成处理。即，图像处理系统100可以在较短延迟
下执行更复杂的图像合成处理。
这种图像处理系统100例如可以应用于在利用电视广播等进行所谓实
况广播时的实时编辑。实况广播利用在尽可能短的延迟下广播所拍摄的图 像的技术，其中，拍摄和广播一般同时执行(实时广播)。这种技术例如
应用于来自诸如棒球、足球、网球、高尔夫球、排球等的各种类型的体
育比赛的节目广播现场、来自诸如音乐会、节日等的各种类型的活动的节 目广播现场、事件或事故的新闻节目广播现场，等等。
然而，对于实况广播，所拍摄的图像必须在尽可能小的延迟下被广 播，因此用于执行编辑的时间受到极大的限制。因此，对于实况广播，一般执行用于实时地执行简单编辑的实时编辑，例如图像的切换、预定模式 的图像处理，等等。
然而，利用这种简单编辑，难以对所拍摄的图像进行有效的制作。例 如，对于足球比赛，当进球得分时，这是比赛令人激动的时刻。因此，对 于广播足球比赛的节目(所谓的实况足球广播)，也需要对所拍摄的图像 进行制作以调动观众的情感投入。
迄今为止，例如，通过利用画中画将多个图像集成在一个屏幕中来广 播这些图像，多个图像例如是得分的运动员或感兴趣的运动员的特写图 像、得分时经理或教练的场面，或者群众的场面等等。
然而，这种作品必须在较小延迟的情况下来完成，而画中画只是将具 有诸如正方形、圆形等简单形状的图像叠加，因此，难以完成更精细的作 品，例如，利用自由形式曲线修剪图像、将其修剪出的部份图像连接、合 成复杂的CG信息、结构(设计)的动态改变，等等。
如上所述，图像处理系统100 (图像合成设备111)可以在例如大约 几幅画面的极小延迟下执行更复杂的图像合成处理，因此，通过利用这种 实时编辑可以实现具有好的视觉效果和优秀的设计特征的作品。即，例 如，对于广播足球比赛的节目，可以利用图像处理系统100 (图像合成设 备111)来执行实时编辑，由此，例如可以在得分等之后立即完成较高吸 引力的作品，并且因此，可以对所拍摄的图像进行制作以调动观众的情感 投入。
注意，到此为止虽然描述了图像合成设备111对修剪出的部份图像执 行尺寸校正，但是可以进行代替这种尺寸校正而执行或除了这种尺寸校正 之外还执行另外的处理(例如，旋转部份图像等)的布置。例如，可以进 行这样的布置其中，旋转角度信息被登记在整体掩模信息171的掩模元
信息173中，并且输入图像处理单元135在二维方向或三维方向上根据所 述掩模元信息173旋转修剪出的部份图像。因此，图像合成设备lll可以 生成视觉效果被进一步增强的合成图像。
而且，输入图像处理单元135可以对部份图像进行除了旋转和尺寸校 正之外的其它可选图像处理，例如，对比度调节、降噪、变形、色度调节、特殊效果，等等。
此外，图像合成设备111还可以用作简单编辑设备。在这种情况中， 基本上只对输入到输入系统的图像进行合成来完成合成处理(不执行图像 合成设备111的后续阶段中的合成处理)，因而可以省略键生成单元 137。
到此为止描述了根据用户等从预先准备的多种合成模式选出的合成模 式来执行图像合成处理。即，在这种情况下，用户仅仅指定所希望的合成 模式来指示开始执行处理，而图像合成设备111根据所述指示实现对所指 定合成模式的图像的合成。然而，本实施例不限于这种布置，例如，可以 进行这样的布置其中，在合成处理的执行期间，用户控制合成模式的前 进速度和前进方向。
图8A至8G图示出了合成模式前进示例。在图8A至8G中，水平轴 表示合成模式(画面)的前进，垂直方向表示时间序列。如图8A所示， 将在时间点0到时间点t期间从编号为"0"的画面向编号为"p"的画面 前进的合成模式作为基础。
例如，可以进行这样的布置其中，当用户指示将合成模式的前进速 度加速为两倍时，如图8B所示，合成模式在时间点t/2处前进到编号为 "p"的画面。在这种情况中，例如， 一次选择相当于一个画面的控制信 息，例如针对每个画面而准备的掩模信息等，并且该控制信息被指派给输 入图像的连续的各个画面。而且，可以进行这样的布置其中，当用户指 示将合成模式的前进速度延迟为1/2时，如图8C所示，合成模式在时间点 t处前进到编号为"p/2"的画面。在这种情况中，例如，相当于一个画面 的诸如掩模信息等的控制信息被指派给输入图像的连续两个画面。
此外，例如，可以进行这样的布置其中，当用户指示将合成模式的 前进方向反向时，如图8D所示，随着时间序列的前进，合成模式从编号 为"p"的画面返回到编号为"0"的画面。在这种情况中，例如，对为每 个画面准备的诸如掩模信息之类的控制信息的选择顺序被反转。
而且，例如，可以进行这样的布置其中，当用户指示在合成模式的
前进中跳跃时，如图8E所示，合成模式的前进从编号为"pl"的画面跳到编号为"p2"的画面(忽略了它们之间的画面)。在这种情况中，例 如，编号为"p2"的画面的控制信息被指派给编号为"pl"的画面的控制 信息所指派的输入图像的画面之后的画面。
此外，例如，可以进行这样的布置其中，当用户指示重复合成模式 的前进时，如图8F所示，同一画面的合成处理被重复执行。在这种情况 中，例如，同一掩模信息等的控制信息被指派给输入图像的多个画面。
而且，例如，可以进行这样的布置其中，当用户指示合成模式任意 地前进时，如图8G所示，执行使得合成模式的前进变成自由形式曲线 (任意曲线)的合成处理。
在这种情况中，如图9所示，信息读出控制单元131包括再现画面识 别单元301和控制信息提供单元302以及保存单元183。当用户操作切换 器控制板113以输入诸如慢速、快进等的速度指定、诸如反向返回、重复 等的再现模式制定、诸如跳跃目的地指定等的再现画面指定时，上述指定 通过输入单元133被提供给再现画面识别单元301 。
再现画面识别单元301将输入速度指定、再现模式指定或再现画面指 定转换为用于指定具有接下来将要处理的合成模式的画面(即，对于合成 模式将要处理的位置(画面))的再现画面指定，并且将该再现画面指定 提供给控制信息提供单元302。控制信息提供单元302从保存单元183读 出由该再现画面指定所指定的画面的控制信息(掩模信息、具有键信息的 CG信息，等等)，并且将其提供给输入图像处理单元135和合成处理单 元136。 gp，控制信息是根据用户指定的前进模式来选择并读出的，并且 被应用在各个单元中。因此，合成模式根据用户所指定的前进模式前进。 即，用户可以实时地自由控制合成模式的前进。
将参考图10中的流程图描述这种情况中的图像合成处理的流程示 例。图10所示的图像合成处理是与图5中的图像合成处理相对应的处 理。步骤S301至S303的每个中的处理按照与步骤S101至S103的每个中 的处理相同的方式来执行。
在图10的步骤S304中，输入单元133接受来自用户或切换器控制板 113的再现控制指令。在步骤S305，再现画面识别单元301根据再现控制指令来识别再现画面。在步骤S306，控制信息提供单元302将所指定合成
模式的再现画面的控制信息提供给各个单元。
步骤S307至S315的每个中的处理按照与图5中歩骤S105至S113的
每个中的处理相同的方式来执行。
如上所述，图像处理单元100 (图像合成设备111)可以根据用户指 令实时地控制合成模式的前进。
注意，上述各种类型的控制信息在图像合成处理之前被预先生成。图 11示出了该生成。
首先，利用预定工具等来执行CG信息的生成(处理331)。根据该 处理331，生成CG信息351、键信息352和掩模图像信息353。当结束处 理331后，接着执行掩模信息的生成(处理332)。利用该处理332，上 述掩模图像信息353以及包括縮小比率361、旋转角度362、中心坐标363 等在内的掩模元信息354被合成，由此生成掩模信息355。
这样生成的CG信息351、键信息352和掩模信息355被记录在图像 合成设备111中(处理333)。此时，CG信息351和键信息352被压縮并 作为具有键信息的CG信息而存储。而且，通过预定方法将掩模信息355 压縮，并存储掩模信息355。
随后，试探性地采用这种控制信息来执行合成处理，并执行对合成结 果的确认(处理334)。在合成结果不令人满意的情况下，执行对参数等 的校正(处理335 )。当结束校正后，将处理返回到处理331或处理 332，并执行该处及其后的处理。
根据上述的工作流程预先生成这样的控制信息。注意，可以进行这样 的布置其中，用户可以实时地更新这样的控制信息。例如，如图12A和 12B所示，可以进行这样的布置其中，具有键信息的CG信息显示在监 视器等上，用户通过操作鼠标或触控笔等对所显示的具有键信息的CG信 息进行变形，由此可以更新诸如CG信息等的结构(设计)(即，可以更 新合成图像的结构)。例如，当例如如图12A所示那样显示的具有键信息 的CG信息371被变形以便像图12B所示的具有键信息的CG信息381那 样移动中心部分的位置时，键信息372和掩模信息373 (图12A)的结构也像键信息382和掩模信息383 (图12B)那样根据具有键信息的CG信 息的改变而改变。
在这种情况中，为了辅助更新控制信息，具有键信息的CG信息和掩 模图像信息不是作为位图而是作为顶点坐标和纹理信息而存储在存储单元 132中。随后，当从保存单元183读出这种信息时，信息读出控制单元 131实时地对该信息进行渲染(render)以将该信息转换为位图，并将其提 供给各个单元。
艮P，如图13所示，用于具有键信息的CG信息的渲染信息401、整体 掩模信息402、音频信息176和音频合成信息177被存储在存储单元132 中。用于具有键信息的CG信息的渲染信息401由定点坐标信息411和纹 理信息412构成，并通过后面所述的渲染处理被转换为位图式的具有键信 息的CG信息。
整体掩模信息402包括用于掩模图像信息的渲染信息421和掩模元信 息173。用于掩模图像信息的渲染信息421由顶点坐标信息431和纹理信 息432构成，并且通过后面描述的渲染处理被转换为位图式的掩模图像信
艮P,在顶点坐标和纹理信息的情况中，除了这些信息的格式不同之 外，所述信息的内容与位图情况中的相同。这种信息被提供给保存单元 183并保存在其中。
用户操作切换器控制板113以输入CG设计修改指令，例如参考图 12A和12B所描述的。当获得上述CG设计修改指令时，输入单元133将 该CG设计修改指令提供给用于CG修改的坐标信息生成单元451 。
信息读出控制单元131包括用于CG修改的坐标信息生成单元451和 实时渲染单元452以及保存单元183。用于CG修改的坐标信息生成单元 451基于从输入单元133输入的CG设计修改指令生成对于要处理的画面 的设计修改后的坐标信息，并将其提供给实时渲染单元452。当从保存单 元183获得要处理的画面的具有键信息的CG信息时，实时渲染单元452 根据从用于CG修改的坐标信息生成单元451获得的修改后的坐标信息来 执行渲染，以生成位图式的具有键信息的CG信息和键信息。类似地，实时渲染单元452从保存单元183获取要处理的画面的用于掩模图像信息的
渲染信息421，基于从用于CG修改的坐标信息生成单元451获得的修改 后的坐标信息来生成位图式的掩模图像信息。实时渲染单元452利用该掩 模图像信息来生成整体掩模信息和部份掩模信息。实时渲染单元452将这 种所生成的信息提供给各个单元。
将参考图14和图15描述这种情况中的图像合成处理的流程示例。注 意，该流程图与图5中的图像合成处理的流程图相对应。
图14中的步骤S401至S403的每个中的处理按照与图5中的歩骤 S101至S103的每个中的处理相同的方式来执行。但是，对于步骤S401中 的控制信息读出处理，省略了诸如生成部份掩模信息、提取键信息等处 理。
在图14的步骤S404中，输入单元133接受CG设计修改指令。在步 骤S405，用于CG修改的坐标信息生成单元451基于该CG设计修改指令 计算要处理的画面的用于CG修改的坐标信息。
在步骤S406，实时渲染单元452从保存单元183获取用于所指定合成 模式的要处理的画面的具有键信息的CG信息的渲染信息。在步骤S407， 实时渲染单元452基于各种类型的坐标信息和纹理信息执行渲染以生成位 图式的具有键信息的CG信息。另外，实时渲染单元452从所生成的位图 式的具有键信息的CG信息提取键信息(位图)。在步骤S408，实时渲染 单元452将具有键信息的CG信息和键信息(两者都是位图)提供给各个 单元。
在步骤S409，实时渲染单元452从保存单元183获取用于所指定合成 模式的要处理的画面的掩模图像信息421的渲染信息。在步骤S410，实时 渲染单元452基于各种坐标信息和纹理信息执行渲染以生成位图式的掩模 图像信息。在歩骤S411，实时渲染单元452从上述掩模图像信息生成整体 掩模信息和部份掩模信息，并且还将各条部份掩模信息以及整体掩模信息 适当地提供给各个单元。
在步骤S412，信息读出控制单元131从保存单元183读出所指定合成
模式的要处理画面的音频信息和音频合成信息，以将它们提供给音频合成单元163。
图15中的步骤S421至S429的每个中的处理按照与图5中的步骤 S105至S113的每个中的处理相同的方式来执行。
如上所述，图像处理系统100 (图像合成设备111)可以更新控制信 息以使得用户在图像的合成期间修改合成图像的结构。
注意，到此为止描述了将IP转换作为预处理来执行的情况，然而，该 预处理可以是任意处理，只要该处理是对输入图像执行的。例如，如图16 所示，可以进行这样的布置其中，对每个输入图像执行面部检测而非IP 转换，并且将检测到的面部图像作为中心来执行图像的修剪。
在图16中，对于预处理单元141，代替IP转换单元141-1至141-4而 设置了面部检测单元501-1至501-4。
面部检测单元501-1对第一输入图像音频信息的图像信息执行面部检 测，并基于检测到的面部图像的位置设置用于修剪的中心坐标。面部检测 单元501-1将所设置的中心坐标与第一输入图像音频信息一起提供给图像 修剪单元151-1。图像修剪单元151-1利用所述中心坐标来更新从信息读出 控制单元131提供来的第一部份掩模信息的中心坐标，并基于更新后的第 一部份掩模信息执行部份图像的修剪。
面部检测单元501-2对第二输入图像音频信息的图像信息执行面部检 测，并基于检测到的面部图像的位置设置用于修剪的中心坐标。面部检测 单元501-2将所设置的中心坐标与第二输入图像音频信息一起提供给图像 修剪单元151-2。图像修剪单元151-2利用所述中心坐标来更新从信息读出 控制单元131提供来的第二部份掩模信息的中心坐标，并基于更新后的第 二部份掩模信息执行部份图像的修剪。
面部检测单元501-3对第三输入图像音频信息的图像信息执行面部检 测，并基于检测到的面部图像的位置设置用于修剪的中心坐标。面部检测 单元501-3将所设置的中心坐标与第三输入图像音频信息一起提供给图像 修剪单元151-3。图像修剪单元151-3利用所述中心坐标来更新从信息读出 控制单元131提供来的第三部份掩模信息的中心坐标，并基于更新后的第 三部份掩模信息执行部份图像的修剪。面部检测单元501-4对第四输入图像音频信息的图像信息执行面部检 测，并基于检测到的面部图像的位置设置用于修剪的中心坐标。面部检测
单元501-4将所设置的中心坐标与第四输入图像音频信息一起提供给图像 修剪单元151-4。图像修剪单元151-4利用所述中心坐标来更新从信息读出 控制单元131提供来的第四部份掩模信息的中心坐标，并基于更新后的第 四部份掩模信息执行部份图像的修剪。
将参考图17中的流程图描述这种情况中的图像合成处理的流程示 例。注意，该流程图与图5中的图像合成处理的流程图相对应。
图17的步骤S501至S504的每个中的处理按照与图5中的步骤S101 至S104的每个中的处理相同的方式来执行。
在图17的步骤S505中，预处理单元134的面部检测单元501-1至 501-4对每个输入图像执行面部检测。在步骤S506，面部检测单元501-1 至501-4基于检测结果确定用于修剪的中心坐标。在步骤S507，图像修剪 单元151 (图像修剪单元151-1至151-4)利用在步骤S506所确定的值来 更新每条部份掩模信息(的中心坐标)。
步骤S508至S515的每个中的处理按照与图5中的步骤S106至S113 的每个中的处理相同的方式来执行。
如上所述，对于预处理单元134，从输入图像检测出面部图像，并且 基于所述面部的位置来确定修剪位置，由此输入图像处理单元135可以修 剪出具有更合适画面的部份图像。即，图像合成设备111可以进一步提高 合成结果(合成图像)的视觉效果。
注意，到此为止描述了诸如掩模图像信息172或具有键信息的CG信 息174之类的位图数据按照预定方法被压縮并存储在存储单元132中。下 面将描述这种压縮方法的具体示例。
首先，描述掩模图像信息172。如在图3中示意性地示出的，掩模图 像信息172以像素为单位来指定是否将哪个输入系统的图像选择作为合成 结果。各个像素的指定顺序可是任意顺序，但是为了简化处理使用光栅扫 描方法。即，如图3中示意性地示出的，掩模图像信息172具有使具有相 同值的数据更有可能连续(存在许多重复)的特征。因此，例如可以通过使掩模图像信息172以字节为单位经受行程编码 来有效地对其进行压縮。即，掩模图像信息172通过行程编码而被编码， 由此图像合成设备111可以提高存储区域和总线区域的使用效率。
注意，在行程编码的情况中，指定值和该值继续的长度已足够，因
此，压縮后的数据结构变得相对简单。因此，信息读出控制单元131可以 高速容易地对掩模图像信息172执行解码处理。
接下来，描述具有键信息的CG信息174 (键信息和CG信息)。CG 信息是用于显示的信息，因此一般地，与掩模图像信息172相比所述画面 变得复杂。而且，对于合成模式，CG信息频繁地被当作移动图像，并且 具有信息更有可能在画面之间改变较大的特征。
在例如通过利用离散余弦变换或运动向量的压縮编码来对拥有这样的 特征的具有键信息的CG信息进行编码的情况中，存在这样的可能性在 合成图像中可能出现诸如所谓的蚊式(mosquito)噪声之类的明显可见的 噪声。即，可能降低合成图像的感官(somesthetic)图像质量。
另一方面，例如，在利用小波变换的压縮编码的情况中，对于合成图 像，即使发生信息丢失等，合成图像的分辨率可能下降(所谓的模糊)， 这也是难以察觉的。即，不大可能降低合成图像的感官图像质量。
而且，具有键信息的CG信息174是以画面为单位来处理的，因此帧 内编码(intracoding)有助于解码处理，这是合适的。
因此，对于对具有键信息的CG信息174的编码，希望使用利用小波 变换的帧内编码方法的压縮编码。然而，在JPEG 2000 (联合图像专家组 2000)方法的情况中，处理负荷较大。
因此，利用小波变换来以比画面更小的数据为单位执行处理的压縮编 码方法被应用于对具有键信息的CG信息174的编码。下面将描述这种压 縮编码方法。
图18是图示出根据该压縮编码的编码设备的配置示例的框图。在图 18中，编码系统600包括小波变换单元610、用于中间计算的缓冲器单元 611、用于系数排序的缓冲器单元612、系数排序单元613、速率控制单元 614和熵编码单元615。输入到编码设备600的图像数据临时在用于中间计算的缓冲器单元
611中缓存。小波变换单元610对缓存在用于中间计算的缓冲器单元611 中的图像数据进行小波变换。具体而言，小波变换单元610从用于中间计 算的缓冲器单元611中读出图像数据，对其进行分析滤波器的滤波器处理 以生成低频分量系数数据和高频分量系数数据，并将生成的系数数据存储 在用于中间计算的缓冲器单元611中。小波变换单元610包括水平分析滤 波器和垂直分析滤波器，并使图像数据组相对于屏幕的水平方向和垂直方 向两者经受分析滤波器处理。小波变换单元610再读出存储在用于中间计 算的缓冲器单元611中的低频分量系数数据，并使读出的系数数据经受分 析滤波器的滤波器处理，以进一步生成高频分量系数数据和低频分量系数 数据。生成的系数数据存储在用于中间计算的缓冲器单元611中。
小波变换单元610对水平方向和垂直方向的低频分量递归地重复这种 处理。对于小波变换，例如如图19中示意性地示出的，将图像数据划分 为高空间频带数据和低空间频带(low-spatial-frequency band)数据的处理 对于作为划分结果而获取的低空间频带数据被递归地执行。因此，低空间 频带数据被縮减到较小区域，由此能够进行有效的压縮编码。
注意，图19是这样的情况中的示例将用于将图像数据的最低频分
量区域划分为低频分量区域L和高频分量区域H的处理重复三次，并且用 于指示经划分的层级的总数的划分级别设为3。在图19中，"L"和 "H"分别表示低频分量和高频分量，并且对于"L"和"H"的顺序，在 前面的指示水平方向上的划分得到的频带，而在后面的指示垂直方向上的 划分得到的频带。而且，"L"和"H"前面的数字指示该区域的层级，其 中，低频分量的层级级别越低，则该值越小。
而且，从图19的示例可以明白，从屏幕的左下区域到左上区域经过 了逐步的处理，因此，低频分量被縮减。具体而言，对于图19的示例， 屏幕的右下区域被当作包括了最少低频分量(包括最多高频分量)的区域 3HH，将屏幕划分为四个区域而获得的左上区域进一步被划分为四个区 域，并且在所述四个被划分的区域中，左上区域进一步被划分为四个区 域。在最左上角的区域被当作是包括最多低频分量的区域0LL。对低频分量重复执行转换和划分的原因在于图像的能量集中在低频分量中。
小波变换单元610如上所述重复小波变换，并在划分级别达到预定级 别时，从用于中间计算的缓冲器单元611读出系数数据，并将读出的系数
数据写入用于系数排序的缓冲器单元612。
系数排序单元613按解码时执行逆小波变换的顺序读出写在用于系数 排序的缓冲器单元612中的系数数据，并将其提供给熵编码单元615。熵 编码单元615利用预定熵编码方法(例如，Huffman编码或算术编码)对 提供来的系数数据进行编码。
熵编码单元615与速率控制单元614同时操作，并被控制以使得输出 的压縮编码数据的比特率通常变为某个值。具体而言，速率控制单元614 将控制信号提供给熵编码单元615，该控制信号基于来自熵编码单元615 的编码数据信息执行控制，以使得在由熵编码单元615压縮和编码的数据 的比特率达到目标值时或紧接在达到目标值之前结束熵编码单元615的编 码处理。熵编码单元615在根据从速率控制单元614提供来的控制信号结 束编码处理后，输出编码数据。
注意，熵编码单元615对从系数排序单元613读出的系数数据进行第 一次量化，并对所获得的量化系数进行信息源编码处理，例如Huffman编 码或算术编码等，由此可以预期压縮效率的进一歩提高。任何方法可以用 作这种量化方法，例如，可以使用一种普通方法，即例如下式(1)所示 的，将系数数据W除以量化步长大小A的方法。 量化系数二W/A…(1)
例如在速率控制单元614中计算此时的量化步长大小△。
注意，小波变换单元610通过将利用小波变换的滤波器处理划分为关 于屏幕的垂直方向的每几行中的处理来以逐步方式执行利用小波变换的滤 波器处理。行数是基于在图像数据被递归地划分为高频分量和低频分量之 后用于生成相当于一行的最低频分量的行数的。
注意，在下文中，将包括其它子频带在内的用于生成相当于一行的最 低频分量(最低频分量的子频带的相当于一行的系数数据)的行的集合称 作"分区(或行块)"。这里提及的术语"行"(line)指与小波变换之前的图像数据相对应的画面或场内，或者在每个子频带内形成的相当于一 行的像素数据或系数数据。即，分区(或行块)指对于小波变换之前的原 始图像数据，相当于如下行数的像素数据组，所述行数是用于生成小波变 换后的最低频分量的子频带的相当于一行的系数数据的，或者指通过对所 述像素数据组进行小波变换而获得的每个子频带的系数数据组。
图20A至20C是这样的示例其中，通过利用5X3滤波器来对输入 图像数据进行利用小波变换的滤波器处理直到划分级别=2为止。在小波变 换单元610中，如图20A中的示例所示，输入图像数据的第一行至第七行 在水平方向和垂直方向的每个方向上经受第一滤波器处理(图20A中的 In-l)。
在第一滤波器处理的划分级别=1的处理中，生成了相当于三行的系数 数据，并且如图20B中的示例所示，所述系数数据被排列在在划分级别=1 时形成的区域HH、 HL和LH的每个区域中(图20B中的WT-1)。而 且，在划分级别=1时形成的区域LL在划分级别2时的水平方向和垂直方 向上的滤波器处理中被进一步划分为四个区域。
在小波变换单元610的第二滤波器处理以及此后的滤波器处理中，滤 波器处理按每四行来执行(图20A中的In-2)，生成划分级别=1时的每两 行的系数数据(图20B中的WT-2)，生成划分级别=2时的每一行的系数 数据。如图20B中的示例所示，该系数数据被排列在在划分级别=1时形成 的区域HH、 HL和LH的第一滤波器处理中生成的系数数据之后。类似 地，在划分级别^时的区域LL中，在划分级别=2的滤波器处理中生成的 相当于一行的系数被排列在区域LL中，相当于一行的系数被排列在区域 HH、 HL和LH的每个中。
当如图20B所示经过小波变换的数据被解码时，如图20C所示，响应 于编码侧的第一至第七行的第一滤波器处理，解码侧的第一合成处理的第 一行被输出(图20C中的Out-l)。此后，响应于编码侧的从第二滤波器 处理起的第二到最后一次滤波器处理，每四行被输出(图20C中的Out-2 等)。接着，响应于编码侧的最后一次滤波器处理，在解码侧输出八行。
在小波变换单元610中从高频分量侧到低频分量侧生成的系数数据顺序地存储在用于系数排序的缓冲器单元612中。当在用于系数排序的缓冲 器单元612中累积系数数据直到能够对系数数据排序时，系数存储单元
613按照用于解码(逆小波变换处理)时的合成处理的顺序对系数数据排 序，并从用于系数排序的缓冲器单元612将其读出。读出的系数数据顺序 地被提供给熵编码单元615。
如上所述，编码设备600将一个画面的图像数据划分为多个分区，并 且对每个分区执行编码，这在图21中示出。
图22图示出了在通过这样的方法对具有键信息的CG信息174编码并 存储在存储单元132中的情况中的解码单元184的配置示例。
从存储单元132读出的具有键信息的CG信息174被提供给图22中的 解码单元184，其中，熵代码被解码以获取系数数据。系数数据存储在系 数缓冲器单元622中。逆小波变换单元623利用存储在系数缓冲器单元 622中的系数数据来执行合成滤波器的合成滤波器处理，并将合成滤波器 处理的结果再次存储在系数缓冲器单元622中。逆小波变换单元623根据 划分级别重复该处理以获得解码图像数据，即基带(未压縮的)具有键信 息的CG信息174。
如上所述，在这种压縮编码方法的情况中，与JPEG 2000的情况相比 可以容易地执行解码，由此可以减少解码处理负荷。注意，在这种压縮编 码方法的情况中，如上所述在编码时执行对系数的排序，由此进一步减少 了解码时的处理负荷。
注意，例如从压縮效率的角度来看，MPEG (运动图像专家组)更有 效。因此，例如在运动小并且数据量大以包括例如100或更多类型的图像 的CG信息的情况中，希望利用MPEG执行压縮。然而，在这种情况中， 解码单元184也必须处理MPEG。此外，可以将上述各种类型的编码方法 按适当方式组合使用。在这种情况中，解码单元184必须处理所有所使用 的方法。
上述处理序列不但可以用硬件来执行还可以用软件来执行。在这种情 况中，例如，上述处理序列可以被配置为如图23所示的信息处理系统。 图23是图示出利用程序执行上述处理序列的信息处理系统的配置示例的框图。如图23所示，信息处理系统800是用于执行图像编码处理、 图像解码处理等、由以下设备构成的系统信息处理设备801、存储设备
803、多个录像机(VTR) VTR804-1至VTR804-S，用户利用如下设备对 上述设备执行操作输入鼠标805、键盘806和操作控制器807，它们都 通过PCI (外围部件互连)总线802连接到信息处理设备801。
例如，信息处理系统800的信息处理设备801允许用户对存储在由 RAID (独立磁盘冗余阵列)构成的大容量存储设备803中的运动图像内容 进行编码以将所获得的编码数据存储在存储设备803中，从而对存储在存 储设备803中的编码数据进行解码以将所获得的解码图像数据(运动图像 内容)存储在存储设备803中，或者经由VTR804-1至VTR804-S将编码 数据或解码图像数据记录在视频磁带中。而且，信息处理设备801还被布 置来将记录在安装在VTR804-1至VTR804-S中的视频磁带中的运动图像 内容取出来存储在存储设备803中。此时，信息处理设备801可以对运动 图像内容进行编码。
信息处理设备801包括GPU (图形处理单元)902、 XDR-RAM (极 速数据率随机存取存储器)903、南桥904、 HDD (硬盘驱动器)905、 USB (通用串行总线)接口 (USB I/F) 906和声音输入/输出编解码器 907。
GPU 902经由专用总线911连接到微处理器901 。 XDR-RAM 903经由 专用总线912连接到微处理器901。南桥904经由专用总线连接到微处理 器901的I/O控制器944。南桥904还与HDD 905、 USB接口 906和声音 输入/输出编解码器907相连。声音输入/输出编解码器907与扬声器921 相连。而且，GPU902与显示装置922相连。
而且，南桥904还经由PCI总线802与鼠标805、键盘806、 VTR804-1至VTR804-S、存储设备803及操作控制器807相连。
鼠标805和键盘806接受用户的操作输入，并且经由PCI总线802和 南桥904将指示用户的操作输入的信号提供给微处理器901。存储设备 803和VTR804-1至VTR804-S被布置来记录或再现预定数据。
PCI总线802还适当地与驱动器808相连，诸如磁带、光盘、磁光盘、半导体存储器等的可移除介质811被装载在驱动器808中，并且从其 读出的计算机程序适当地被安装在HDD 905中。
微处理器901由多核配置组成，其中，执行诸如OS (操作系统)等 的基础程序的通用主CPU (中央处理单元)核941、作为经由内部总线 945连接到主CPU核941的多个(在此情况中为8个)RISC (精简指令集 计算机)类型信号处理处理器的副CPU核942-1至942-8、对例如具有 256兆字节的存储器容量的XDR-RAM 903执行存储器控制的存储器控制 器943，以及对南桥904的数据的输入/输出进行管理的I/O (输入/输出) 控制器944被集成在一个芯片中，并且例如实现4 GHz的操作频率。
微处理器901在启动时基于存储在HDD 905中的控制程序读出存储在 HDD 905中的适当的应用程序并将其装载在XDR-RAM 903中，然后基于 该应用程序和操作员(operator)操作执行适当的控制处理。
例如，在图2所示的图像合成设备111的配置中，由包括在虚线围绕 的部份中的处理单元121执行的处理，即诸如IP转换等、信息读出控制处 理等的预处理由微处理器901执行，由包括在虚线围绕的部份中的处理单 元122执行的处理，即与图像有关的处理(例如，图像的修剪、尺寸校 正、各种类型的合成等)由GPU902执行。
注意，存储单元132例如由HDD 905、存储设备803、安装了可移除 介质811的驱动器808等来实现，并且输入单元133例如由鼠标805、键 盘806、 USBI/F 906、未示出的网络接口等来实现。而且，在信息读出控 制单元131中，由解码单元181、划分单元182、解码单元184和提取单 元185执行的每个处理由微处理器901来执行，并且保存单元183由 XDR-RAM 903来实现。
注意，微处理器901包括多个核，因此处理的执行是按适当方式并行 化的，由此还可以并行地同时进行多个处理。而且，针对各个处理的核的 指定也是可选的。
在上述处理序列由软件执行的情况中，从网络或记录介质来安装构成 所述软件的程序。
例如如图23所示，这种记录介质不仅由用于将程序与设备主单元分开地分发给用户而发行的存储所述程序的可移除介质811构成，而且由以
嵌入在设备主单元中的状态发行的存储所述程序的HDD 905、存储设备 803等构成，其中，可移除介质811由磁盘(包括软盘)、光盘(包括 CD-ROM和DVD)、磁光盘(包括MD)、半导体存储器等构成。不用 说，记录介质可以是诸如ROM、闪存等的半导体存储器。
到此为止描述了在微处理器901中设置八个副CPU核，然而本发明不 限于此，并且CPU核的数目是可选的。而且，微处理器901不一定由诸如 主CPU核和副CPU核之类的多个核构成，而是或者可以由单核(一个 核)构成。而且，可以应用多个CPU或者可以应用多个信息处理设备来代 替微处理器901 (即，用于执行本发明的处理的程序可以在以协同方式操 作的多个设备中执行)。
注意，根据本说明书的各个步骤不仅包括以根据所述顺序的时间顺序 执行的处理，而且包括不必以时间顺序执行而是并行或单独执行的处理。
而且，在本说明书中，术语"系统"表示由多个设备构成的装备设备 的整体。
注意，在上述描述中，可以进行这样的布置其中，被描述为单个设 备的配置被分割，并被配置为多个设备。反之，被描述为多个设备的配置 可以被集成为单个设备。而且，不用说，除了上述配置之外的配置可以附 加到每个设备的配置中。此外，在作为整个系统的配置和操作基本上相同 的情况中，某个设备的配置的一部份可以包括在另一设备的配置中。艮口， 本发明的实施例不限于上述实施例，并且在不脱离本发明的实质的情况下 可以执行各种修改。
本发明包含与在2008年4月11日向日本专利局提交的日本优先权专 利申请JP 2008-103390中公开的主题有关的主题，该申请的全部内容通过 引用结合于此。
本领域技术人员应当明白，可以根据设计要求和其它因素进行各种修 改、组合、子组合和变更，只要它们在所附权利要求和其等同物的范围之 内。
权利要求
1.一种信息处理设备，包括修剪装置，被配置来对多个图像进行用于将图像的一部分修剪出来作为部份图像的修剪处理，以便从所述多个图像的每一个中修剪出部份图像；尺寸校正装置，被配置来校正与由所述修剪装置修剪出的多个所述部份图像的每个有关的图像尺寸；以及合成装置，被配置来将由所述尺寸校正装置校正了图像尺寸的所述部份图像相连接，以生成合成图像。
2. 根据权利要求1所述的信息处理设备，其中，所述修剪装置利用由 第一控制信息指定的修剪方法来对所述部份图像执行修剪；并且其中，所述尺寸校正装置校正所述部份图像以使之具有由所述第 一控制信息指定的图像尺寸；并且其中，所述合成装置利用由所述第一控制信息指定的连接方法来 连接所述部份图像。
3. 根据权利要求1所述的信息处理设备，还包括计算机图形信息合成装置，被配置来根据由第二控制信息指定的叠加 方法将计算机图形信息叠加在由所述合成装置生成的所述合成图像上，所 述第二控制信息用于指定多个图像的叠加方法。
4. 根据权利要求3所述的信息处理设备，还包括存储装置，被配置来存储所述第一控制信息和所述第二控制信息；以及读出装置，被配置来从所述存储装置中读出所述第一控制信息和所述 第二控制信息，以将所述第一控制信息提供给所述修剪装置、所述尺寸校 正装置和所述合成装置，并将所述第二控制信息提供给所述计算机图形信 息合成装置。
5. 根据权利要求4所述的信息处理设备，其中，所述读出装置根据从 所述存储装置读出的所述第一控制信息生成部份控制信息，以将多个所生成的部份控制信息提供给所述修剪装置和所述尺寸校正装置，所述部份控 制信息是对于所述多个图像的每一个的控制信息；并且其中，所述修剪装置针对每个图像利用由与每个图像相对应的部份控制信息指定的修剪方法来执行对所述部份图像的修剪；并且其中，所述尺寸校正装置校正每个部份图像，以使之具有由与每 个部份图像相对应的部份控制信息指定的图像尺寸。
6. 根据权利要求4所述的信息处理设备，其中，存储在所述存储装置 中的所述第一控制信息和所述第二控制信息分别利用预定方法被压縮；并且其中，所述读出装置利用与压縮方法相对应的方法对从所述存储 装置读出的所述第一控制信息和所述第二控制信息进行解码，然后提供所 述第一控制信息和所述第二控制信息。
7. 根据权利要求4所述的信息处理设备，其中，所述存储装置针对各 个合成模式来管理所述第一控制信息和所述第二控制信息；并且其中，所述读出装置从所述存储装置读出具有所指定的合成模式 的所述第一控制信息和所述第二控制信息，然后提供所述第一控制信息和 所述第二控制信息。
8. 根据权利要求7所述的信息处理设备，还包括 前进控制指令接受装置，被配置来接受用于控制所述合成模式的前进的前进控制指令；其中，所述读出装置基于由所述前进控制指令接受装置接受的所述前 进控制指令确定对于所述合成模式要处理的位置，并且读出与所述要处理 的位置相对应的所述第一控制信息和所述第二控制信息，然后提供所述第 一控制信息和所述第二控制信息。
9. 根据权利要求4所述的信息处理设备，还包括 修改指令接受装置，被配置来接受具有所述计算机图形信息的配置的修改指令；其中，所述读出装置基于由所述修改指令接受装置接受的所述修改指 令更新所述第一控制信息和所述第二控制信息。
10. 根据权利要求1所述的信息处理设备，还包括预处理装置，被配置来对所述多个图像进行预处理；其中，所述修剪装置从经过所述预处理装置的预处理的所述多个图像 中修剪出所述部份图像。
11. 根据权利要求IO所述的信息处理设备，其中，所述预处理装置将 隔行扫描形式的所述多个图像转换为逐行扫描形式的所述多个图像。
12. 根据权利要求IO所述的信息处理设备，其中，所述预处理装置从 所述多个图像的每个检测面部图像，以确定由所述修剪装置修剪出的所述 部份图像的中心坐标。
13. —种用于信息处理设备的信息处理方法，包括以下步骤 对多个图像进行用于将图像的一部分修剪出来作为部份图像的修剪处理，以从所述多个图像的每个修剪出部份图像；校正与多个所述修剪出的部份图像的每个有关的图像尺寸；以及连接已校正了图像尺寸的所述部份图像以生成合成图像。
14. 一种使处理信息的计算机执行以下步骤的程序对多个图像进行用于将图像的一部分修剪出来作为部份图像的修剪处理，以从所述多个图像的每个修剪出部份图像；校正与多个所述经修剪的部份图像的每个有关的图像尺寸；以及 连接已校正了图像尺寸的所述部份图像以生成合成图像。
15. —种信息处理设备，包括修剪单元，被配置来对多个图像进行用于将图像的一部分修剪出来作 为部份图像的修剪处理，以便从所述多个图像的每一个中修剪出部份图尺寸校正单元，被配置来校正与由所述修剪单元修剪出的多个所述部份图像的每个有关的图像尺寸；以及合成单元，被配置来将由所述尺寸校正单元校正了图像尺寸的所述部 份图像相连接，以生成合成图像。
全文摘要
本发明公开了信息处理设备和方法，以及程序。一种信息处理设备包括修剪单元，被配置来对多个图像进行用于将图像的一部分修剪出来作为部分图像的修剪处理，以便从所述多个图像的每一个中修剪出部分图像；尺寸校正单元，被配置来校正与由所述修剪单元修剪出的多个部分图像的每个有关的图像尺寸；以及合成单元，被配置来将由所述尺寸校正单元校正了图像尺寸的所述部分图像相连接，以生成合成图像。
文档编号H04N5/262GK101557475SQ20091013377
公开日2009年10月14日 申请日期2009年4月13日 优先权日2008年4月11日
发明者大贯淳, 尾崎典雅, 白根庆太, 荻窪纯一 申请人:索尼株式会社