专利名称：图像合成装置、记录媒体及程序的制作方法
技术领域：
本发明涉及合成多个图像后输出的图像显示装置。
背景技术：
近年来，开始数字发送，在数字电视中，实现这样一种技术根据从广播台发送的数据，生成静止图像，将它与广播节目中的动态图像重合起来进行显示。
数字电视在其内部备有图像合成装置，作为实现该技术的机构。
图像合成装置关于图像F和图像G，使用图像F的像素f(x，y)和对应于该像素的图像G中的像素g(x，y)，进行规定的像素间运算，输出具有像素h(x，y)的图像H。
在该像素间运算的方法之一中有α合成运算。α合成运算是将像素f(x，y)和像素g(x，y)的加权平均作为像素h(x，y)的运算，设像素g(x，y)的权重系数为α时，表示成(数学式1)h(x，y)＝α*g(x，y)+(1-α)*f(x，y)在(数学式1)中，*表示乘号。权重系数α称为α值、透明度、或混合系数等，取0～1的值。
α值为0时，像素g(x，y)完全透明，像素f(x，y)仍为合成结果的像素h。另外α值为1时，像素g(x，y)完全不透明，像素g(x，y)仍为合成结果的像素h(x，y)。另外α值为0.5时，像素h(x，y)为像素g(x，y)和像素f(x，y)分别用一半的比例混合后的值。这样通过α值的加减，能表现图像的权重。在实际的硬件结构中，所采用的方法是用彩色显示中的RGB(红绿蓝)分量表现各像素，所以对每个分量进行上式的运算。
图像合成装置为了实时地合成静止图像和动态图像，而有作为将静止图像展开用的存储区的OSD平面；以及作为以帧为单元将动态图像展开用的存储区的视频平面，每当更新视频平面的帧时，通过α合成运算而将这两个区域的图像合成后输出。图1(a)是表示OSD平面2502和视频平面2501的图像合成后，输出合成图像2503的情况的示意图。
可是，在最近的数字广播中，要求多种多样的表现形式，例如，如图1(b)所示，一边再生作为广播节目的动态图像2512，一边将广播节目的字幕或电视栏等多个静止图像2511、2513、2515重叠在该同一画面上进行显示。
将动态图像和多个静止图像合成时，在理论上从低位层开始依次进行(数学式1)的α合成运算即可。可是实际上，由于多个图像与合成有关的α合成运算的运算量非常大，所以每次更新动态图像的帧时，实时地进行合成极其困难。
虽然通过准备对应于各图像的平面、以及进行α合成运算的多个硬件，能高速地进行合成处理，但硬件需要花费成本，另外，还存在需要图像展开用的多个平面的问题。
发明的公开为了达到上述的目的，本发明的第一个目的是提供一种与动态图像的再生速率一致地、实时地进行合成的、即高速地进行合成处理的图像合成装置、记录媒体及程序。另外本发明的第二个目的是提供一种使图像展开用的存储器少的图像合成装置、记录媒体及程序。
为了达到目的，本发明的图像合成装置是一种将动态图像和多个静止图像合成而生成合成图像的图像合成装置，其特征在于备有取得包括图像合成顺序的合成信息、即求出合成前各图像对上述合成图像的合成比率用的上述合成信息、以及上述多个静止图像的第一取得装置；根据上述合成信息合成上述多个静止图像，生成一个合成静止图像的第一合成装置；根据上述合成信息，求出上述动态图像对上述合成图像的合成比率的计算装置；取得构成上述动态图像的各帧的第二取得装置；以及用上述动态图像的合成比率，合成上述各帧和上述合成静止图像的第二合成装置。
如果采用该结构，则由于先进行多个静止图像的合成和动态图像的合成比率的计算，虽然进行与动态图像的各帧的合成，所以不需要象以往那样对每个帧每次都进行多个静止图像和动态图像的合成，能减轻与计算有关的负荷，处理速度也快。另外处理速度加快的结果，能与动态图像的再生速率一致地、实时地合成图像进行显示。
特征在于上述合成信息还包括对应于上述各图像的系数、以及表示使用该系数的合成运算的运算信息。
如果采用该结构，则除了上述的效果以外，还能合成由系数和运算信息规定的多个静止图像和动态图像。
上述图像合成装置有存储图像用的第一帧缓冲器；以及存储构成上述动态图像的各帧用的第二帧缓冲器，上述第一合成装置按照上述图像合成顺序，读出由上述第一取得装置取得的多个静止图像，用上述系数和上述运算信息，进行上述第一帧缓冲器的存储内容和读出的各图像的合成，用该合成的结果置换上述第一帧缓冲器的存储内容，上述第二取得装置将取得的上述各帧存储在上述第二帧缓冲器中，上述第二合成装置用上述动态图像的合成比率，对存储在上述第二帧缓冲器中的各帧和上述第一帧缓冲器的存储内容进行合成、存储在上述第2帧缓冲器。
如果采用该结构，则图像合成装置只用第一帧缓冲器和第二帧缓冲器这两个帧缓冲器，就能进行多个静止图像及动态图像的合成。
上述第一合成装置在上述图像合成顺序中，在一个上述动态图像之前的静止图像的合成后、而且在一个动态图像之后的静止图像的合成之前，用对应于上述动态图像的系数及运算信息，进行上述第一帧缓冲器中存储的图像的合成运算，用上述合成运算的结果置换上述第一帧缓冲器的内容。
如果采用该结构，则能利用准确的合成比率，进行瞬间输入了动态图像的多个静止图像及动态图像的合成。
上述图像合成装置有图像显示用的画面，并行地进行由上述第一合成装置进行的合成、由上述第二取得装置进行的取得、以及由上述第二合成装置进行的合成、上述第2帧缓冲器存储所述第2合成装置的合成结果的同时向上述画面进行输出。
如果采用该结构，则由于合成过程中的状态被显示在画面上，所以在合成结束之前能没有不进行任何显示的状态。
特征在于上述合成信息还包括关于上述多个图像的表示该图像和该图像以外的图像的合成结果的合成比率的合成系数。
如果采用该结构，则图像合成装置能对规定了多个图像分别与另一图像的合成比率和重合顺序的多个静止图像及动态图像进行合成。
上述图像合成顺序表示使图像重合的顺序，上述合成系数是关于上述多个图像的表示从上述图像合成顺序中的最背面的图像至该图像的合成结果的该图像的合成比率的α值，上述计算装置根据对应于上述动态图像和位于上述动态图像前面的全部图像的α值，算出上述动态图像对上述合成图像的合成比率。
如果采用该结构，则图像合成装置能对规定了α值和重合顺序的静止图像及动态图像进行合成。规定了α值的图像与预先规定了全体图像的合成比率的图像相比，具有能柔和地变更布局的优点。因此，用α值进行图像合成的图像合成装置具有能对应于多种布局的EPG显示的效果。
上述图像合成装置还备有在上述重合顺序中改换相邻的两个图像的顺序的改换装置；以及求出并更新改换后和改换前进行了合成时的合成结果互相相同的改换后的两个图像对应的α值的更新装置，上述第一合成装置、上述计算装置及上述第二合成装置利用由上述改换装置进行改换后的顺序和由上述更新装置更新后的α值，进行各种处理。
如果采用该结构，则即使改换多个图像的顺序，也能按照准确的合成比率进行图像的合成。
另外利用该结构，如果将位于中层的动态图像改换成位于上层，则变成按照从最下层开始的顺序先合成多个静止图像，最后合成动态图像的顺序进行合成，计算量少，负荷轻。
上述图像合成装置有存储上述第一取得装置取得的上述多个静止图像用的存储部，上述多个静止图像分别由与上述合成图像相同或较少的像素数的图像数据、以及表示该像素数据在上述合成图像上的布局的布局信息构成，上述第一合成装置、上述计算装置及上述第二合成装置分别处理由上述布局信息规定的上述各图像之间的重合部分。
上述图像合成装置有存储上述第一取得装置取得的上述多个静止图像用的存储部，上述多个静止图像分别用矢量数据形式表示，上述第一合成装置将矢量数据变换成图像数据后进行合成。
如果采用该结构，则由于使静止图像的数据成为比像素数据的数据量还少的矢量数据，所以存储器的容量变得更小。
本发明的图像合成装置是一种将多个动态图像和多个静止图像合成而生成合成图像的图像合成装置，备有取得包括图像合成顺序的合成信息、即求出合成前各图像对上述合成图像的合成比率用的上述合成信息、以及上述多个静止图像的第一取得装置；根据上述合成信息合成上述多个静止图像，生成一个合成静止图像的第一合成装置；根据上述合成信息，求出上述多个动态图像分别对上述合成图像的合成比率的计算装置；取得分别构成上述多个动态图像的各帧的第二取得装置；以及用上述多个动态图像各自的合成比率，合成上述多个动态图像各自的各帧和上述合成静止图像的第二合成装置。
如果采用该结构，则能使减少合成多个动态图像和多个静止图像时的计算量。
另外，本发明的图像合成装置是一种将动态图像和多个静止图像合成而生成合成图像的图像合成装置，备有取得上述多个静止图像的第一取得装置；合成上述多个静止图像后，生成一个合成静止图像的第一合成装置；取得构成上述动态图像的各帧的第二取得装置；以及合成构成上述动态图像的各帧和上述合成静止图像的第二合成装置。
如果采用该结构，则由于不需要按照静止图像的个数准备相当于与显示画面相同的像素数的静止图像用的存储器，所以能减少存储器容量。
另外如果采用该结构，则由于先合成多个静止图像，后合成动态图像，所以不需要每次对动态图像的帧单元进行多个静止图像和动态图像的合成，减少了计算量。
附图的简单说明图1(a)是表示OSD平面2502和视频平面2501的图像合成后，输出合成图像2503的情况的示意图。
图1(b)表示静止图像及动态图像局部重叠的情况。
图2是表示本发明的实施形态1的图像合成装置的结构的框图。
图3(a)表示合成图像201。
图3(b)表示构成合成图像201的组成部分。
图4是说明图像文件的结构用的图。
图5表示索引文件的一例。
图6表示动态图像数据的结构。
图7形象地表示动态图像数据501的像素数据。
图8表示第一合成图像数据的结构。
图9是表示第一合成处理的顺序的流程图。
图10是表示第二合成处理程序的流程图。
图11是说明本实施形态的图像合成装置100的EPG显示时的工作的流程图。
图12表示由N+1个动态图像组成部分或静止图像组成部分构成的组成部分群。
图13是将本发明的运算方法记述在C语言形式中的程序。
图14表示图13变形后的程序。
图15是表示本发明的第二实施形态的图像合成装置的结构框图。
图16是表示第四合成处理的顺序的流程图。
图17是说明本实施形态的图像合成装置200的EPG显示时的工作流程图。
图18是说明改换相邻的两个组成部分的重叠顺序的图。
图19表示动态图像组成部分与静止图像组成部分改换的情况，以使前者位于最上层。
图20是表示本发明的第三实施形态的图像合成装置的结构框图。
图21是表示第七合成处理程序的流程图。
图22是表示本发明的第四实施形态的图像合成装置的结构框图。
图23(a)表示索引文件的一例。
图23(b)表示运算种类和编号的对应关系。
图24是表示第九合成部4108的合成顺序的流程图。
图25表示对应于运算种类的Porter·Duff α合成运算方法。
图26表示对应于运算种类的Porter·Duff α合成运算方法。
图27表示对应于运算种类的Porter·Duff α合成运算方法。
图28是表示第十合成部4109的合成顺序的流程图。
图29表示对应于运算种类的Porter·Duff α合成运算方法。
图30表示对应于运算种类的Porter·Duff α合成运算方法。
图31是将本实施形态的运算方法记述在C语言风中的程序。
实施发明用的最佳形态以下，用
本发明的实施形态。
<实施形态1>
<结构>
图2是表示本发明的实施形态1的图像合成装置的结构框图。
该图中，图像合成装置100由输入部101、控制部102、EPG生成部103、图像保存部104、视频再生部105、视频平面106、OSD平面107、第一合成部108、第二合成部109、第三合成部110、输出部111构成。
输入部101有遥控器和前面板按钮等，通过操作它们，受理来自使用者的指示。作为具体的指示，有图像合成装置100的通/断指示、频道切换指示、EPG(Electronic Program Guide、电子节目引导)显示的通/断指示等。这里所谓图像合成装置100的通/断指示，表示接通时图像合成装置100的电源接通，断开时电源切断，所谓EPG显示的通/断，表示接通时进行EPG画面的显示，断开时EPG画面不显示。
这里所谓EPG，是指在电视画面上显示关于广播节目的节目表和广播节目的内容的信息等的系统。所谓EPG显示，是指在电视画面上显示广播节目表等的状态而言。作为EPG的应用例，例如使用者在EPG显示画面上按照节目的种类或演出者的姓名进行检索，另外还能通过EPG对应的盒式录象座简单地进行录象预约。
图像合成装置100在EPG显示接通时，作为一例，显示图3(a)所示的合成图像201。
如图3(b)所示，图3(a)中的合成图像201由组成部分202、203、204构成。组成部分202是表示节目表的静止图像，组成部分203是表示一个频道的广播节目的内容本身的动态图像。组成部分204是表示组成部分203的节目名称的静止图像。由EPG生成部103根据从广播台发送的EPG信息，生成组成部分202及204。
这样图像合成装置100EPG在显示接通期间，显示组成部分202，在组成部分202的右下方位置以每秒数十帧的速率显示组成部分203，在组成部分203的左上方位置显示组成部分204。
这样本实施形态的图像合成装置100具有将由多个静止图像和一个动态图像构成的多个组成部分组合起来生成合成图像进行显示的功能。
以后，根据需要，用图3(a)(b)进行说明。另外，在不需要特别区分静止图像组成部分及动态图像组成部分的情况下，只称组成部分。
控制部102控制图像合成装置100的全部结构要素。更具体地说，如果指示图像合成装置100接通，则在视频再生部105中再生广播节目。如果指示频道切换，则在视频再生部105中再生与现在正在再生的节目不同的另一广播节目。如果指示EPG显示接通，则控制EPG生成部103、视频再生部105、第一合成部108、第二合成部109及第三合成部110等，生成合成图像201。后面将说明关于该EPG显示的处理。
EPG生成部103取得并保存从广播台广播的EPG信息。EPG信息包括组成部分的显示尺寸、显示位置、组成部分的重合顺序等布局信息及静止图像组成部分的静止图像信息等。静止图像信息相当于静止图像组成部分的图像内容，包括文件和图像数据等。EPG生成部103根据EPG信息，生成多个图像文件和一个索引文件，存储在图像保存部104中。另外EPG生成部103从EPG信息中抽出构成EPG显示画面的动态图像组成部分的显示尺寸及显示位置，输出给视频再生部105。
对应于图3(b)中的组成部分202、203、204，由组成部分的显示尺寸、显示位置及图像数据构成图像文件。在静止图像组成部分的情况下，根据静止图像信息生成图像数据。
索引文件是管理多个图像文件用的文件，由多个图像信息构成。一个图像信息对应于一个图像文件。多个图像信息在索引文件内按照与图3(a)中的组成部分重叠顺序相同的顺序排列。图像信息由图像种类和存储位置构成。图像种类表示图像文件的图像是静止图像还是动态图像。存储位置表示图像保存部104中的图像文件的开头位置。
其次，用图4及图5表示图像文件及索引文件的具体例。
图4是说明图像文件的结构用的图。
该图中的图像文件301的第一行表示显示位置，第二行表示尺寸，第三行以后表示图像数据。图像数据由对应于组成部分的全部像素的像素数据的集合构成，像素数据由表示像素的颜色的RGB分量及表示像素的透明度的α值构成。即α值表示该图像相对于从最背面的图像到该图像的合成结果的合成比率。在图像文件301的左侧标记的存储位置302表示将图像文件301的开头位置为“0000”的情况作为基准的各数据的存储位置。
在图像文件301中，第三行是对应于坐标位置(0，0)的像素的像素数据，第四行是对应于坐标位置(1，0)的像素的像素数据，第五行是对应于坐标位置(2，0)的像素的像素数据。这里坐标位置(0，0)指示该组成部分的左上角的坐标位置。这样像素数据按照组成部分的从左至右、从上至下的顺序与像素对应。
显示位置是合成图像201上的组成部分的坐标位置，将合成图像201的左上角作为原点，用组成部分的左上角的X、Y坐标表示显示位置。
显示尺寸由组成部分的矩形的高度H及宽度W构成，用像素单元表示高度H及宽度W。
RGB分量分别取0～255的值，在3个分量都为0的情况下，像素的颜色呈黑色，都为255的情况下呈白色。
α值取0～255的值，表示将该像素重叠在另一像素上时的透明度，即表示下层的像素以多大的比例透过上层的像素。
更具体地说，用α值对像素B合成像素A时，合成结果的像素C变为C＝(α+(255-α)B)/255。α值取0～255的值，α值为0时像素A透明，使像素B透过100％。另外α值为255时像素A不透明，不使像素B透过，100％地涂满像素A。另外α值为128时像素A使像素B透过约50％，即成为像素A和像素B各约50％的混合色。
实际上像素A、B及C用RGB分量表示，按照不同的分量算出合成结果。
EPG生成部103如下设定组成部分202、203、204各自的图像文件的α值。即EPG生成部103将组成部分202中的全部像素的α值设定为255。这是因为在合成图像201中组成部分202成为最下层的组成部分。另外EPG生成部103将组成部分203中的全部像素的α值设定为192。另外关于组成部分204的α值，将文字部分设定为255，将除此以外的部分设定为64。
另外，关于RGB分量及α值的详细确定方法，因为是众所周知的技术，不是本发明的特征部分，所以说明从略。
图4中示出了图像数据的内容和一个组成部分的对应关系。如该图所示，将组成部分303的左上方作为开始点，从左至右、而且从上至下一个像素一个像素地与像素数据对应。
EPG生成部103生成以上所示的图像文件。但是，关于动态图像的组成部分，将全部RGB分量设为0，生成图像文件。就是说关于动态图像组成部分的图像文件，EPG生成部103确定显示位置、显示尺寸及α值，关于RGB分量生成未确定的图像文件。这是因为动态图像的组成部分相当于广播节目，从广播台实时地发送，所以生成图像文件时不能确定RGB分量。动态图像的组成部分的图像文件的RGB分量由后面所述的视频再生部105确定。
图5表示索引文件的一例。该图中的索引文件410由图像信息421、422及423构成，表示按照该顺序进行重合。即图像信息421对应于图3(b)所示的最下层的组成部分202，图像信息422对应于其下一层的组成部分203，图像信息423对应于最上层的组成部分204。列411一侧的值表示组成部分的图像种类，“0”表示静止图像，“1”表示动态图像。列412一侧的值表示图像文件的存储位置。
另外图像430、440、450分别对应于组成部分202、203、204，形象地表示各图像文件中的图像数据。这里图像440表示对应于组成部分203的全部图像数据的RGB分量为0。
图像保存部104由存储器和硬盘等构成，保存EPG生成部103生成的图像文件及索引文件。
视频再生部105接收来自广播台的广播节目，进行译码等，每秒再生数十帧动态图像，逐次将该动态图像收据存储在视频平面106中。存储时，视频再生部105根据从EPG再生部103输入的显示位置及显示尺寸，确定合成图像201的图像布局，将视频R、G、B分量存储在视频平面106上对应于该配置的区域。
视频平面106由存储器等构成，保存由视频再生部105存储的动态图像收据、以及由后面所述的第二合成部109存储的合成α值。合成α值表示将多个像素之间重合合成时全体像素中的一个像素的透明度，能用各像素的α值算出。就是说，视频再生部105保存的合成α值表示将所有的组成部分重合合成时重合的全部像素中动态图像组成部分的像素透明度。
图6表示动态图像收据的结构。如该图所示，动态图像收据501是像素数据的集合，像素数据由RGB分量和合成α值构成。图像502是表示像素数据和画面上的像素位置的对应关系用的图。
图7形象地表示动态图像收据501的像素数据。如该图所示，相当于动态图像收据501的图像600由对应于组成部分203的区域601、以及除此以外的区域602构成。图像600具有与合成图像201相同的高度及宽度。从视频再生部105将区域601的RGB供给视频平面106，从第二合成部109将合成α值供给视频平面106。另外视频平面106预先保存0作为区域602的RGB分量及合成α值。区域601的RGB分量与视频再生部105的再生速率一致地每秒更新数十帧。
OSD平面107由存储器等构成，保存由第一合成部108输出的第一合成图像数据。
图8表示第一合成图像数据的结构。第一合成图像数据701由RGB分量的集合构成，组成部分202和204合成的结果、即相当于静止图像的组成部分之间合成的结果。后面将说明有关合成的问题。
图像702表示第一合成图像数据701的RGB分量和画面上的像素位置的对应关系。如该图所示，第一合成图像数据701的RGB分量按照图像702的从左至右、而且从上至下的方向排列。图像702具有与合成图像201相同的像素单元的高度及宽度。
第一合成部108将图像保存部104中保存的多个图像文件的图像数据合成后，生成第一合成图像数据，存储在OSD平面107中。将该处理称为第一合成处理。
图9是表示第一合成处理的顺序的流程图。
首先，第一合成部108使OSD平面107初始化(步骤S800)。具体地说，将OSD平面107的RGB分量的区域全部设定为0。
其次，第一合成部108反复进行步骤S801～S807的处理，按照顺序对从下层至上层的组成部分，进行将静止图像的组成部分之间合成起来的处理。
首先第一合成部108从图像保存部104的索引文件中读出图像信息i(步骤S801)。这里i是表示按照上升的顺序分配给组成部分的编号的变数，以便在本流程中方便地对从下层至上层的组成部分按顺序称为0、1、2、…，将对应于组成部分i的图像信息及图像文件分别称为图像信息i及图像文件i。在本流程中i的初始值为0，增量为1。
其次第一合成部108从图像保存部104取出存储在图像信息i所示的存储位置的图像文件i(步骤S802)。
第一合成部108读出图像文件i的显示尺寸及显示位置，设定该图像文件的组成部分i的画面上的重合范围(步骤S803)。
第一合成部108判断图像信息i所示的图像种类是动态图像还是静止图像(步骤S804)。
在判断的结果是静止图像的情况下，第一合成部108进行图像文件i的RGB分量和OSD平面107的重合范围的RGB分量的α合成运算(步骤S805)。该α合成运算式如下。
(数学式2)R(x，y)＝αi(x，y)*Ri(x，y)+(1-αi(x，y))*R(x，y)G(x，y)＝αi(x，y)*Gi(x，y)+(1-αi(x，y))*G(x，y)B(x，y)＝αi(x，y)*Bi(x，y)+(1-αi(x，y))*B(x，y)该式中左边的R(x，y)、G(x，y)、B(x，y)是新求得的RGB分量，Ri(x，y)、Gi(x，y)、Bi(x，y)及αi(x，y)是图像文件i的RGB分量及α值，右边的R(x，y)、G(x，y)、B(x，y)是OSD平面107的重合范围内保存的RGB分量。就是说，将用αi对Ri(x，y)加权后的值和用1-αi对OSD平面107中保存的R(x，y)加权后的值相加，获得左边的R(x，y)。关于G(x，y)、B(x，y)也一样。第一合成部108将新获得的R(x，y)、G(x，y)、B(x，y)存储在OSD平面107中。
另一方面，在步骤S804中，在断定了图像信息i所示的图像种类是动态图像的情况下，第一合成部108用图像文件i的α值和OSD平面107的重合范围的RGB分量，进行以下的运算(步骤S806)。该式如下所示。
(数学式3)R(x，y)＝(1-αi(x，y))*R(x，y)G(x，y)＝(1-αi(x，y))*G(x，y)B(x，y)＝(1-αi(x，y))*B(x，y)该式中左边的R(x，y)、G(x，y)、B(x，y)是新求得的RGB分量，αi(x，y)是图像文件i的α值，右边的R(x，y)、G(x，y)、B(x，y)是OSD平面107的重合范围内保存的RGB分量。就是说，用1-αi(x，y)对R(x，y)加权，能获得新求得的R(x，y)。关于G(x，y)、B(x，y)也一样。
(数学式3)与将(数学式2)右边的第一项取0所得的结果相同。
步骤S805中各式的右边第一项是对图像文件的RGB分量进行α加权的结果，所以在S806中各式的情况下，意味着不动态图像的RGB分量进行α加权。
第一合成部108将在步骤S805或步骤S806中算出的R(x，y)、G(x，y)、B(x，y)存储在OSD平面107中。
这样处理后，如果第一合成部108对所有的图像文件都进行了处理，则第一合成处理结束(步骤S807)。
通过以上的处理，将静止图像的组成部分合成后的结果被保存在OSD平面107中。
第二合成部109进行第二合成处理，即算出动态图像组成部分用的合成α值，存储在视频平面106中。
图10是表示第二合成处理的顺序的流程图。
首先，第二合成部109使视频平面106的合成α值的区域初始化(步骤S900)。具体地说，将视频平面106的全部像素的合成α值用的区域设定为0。该合成α值的区域是保存图10中的处理结果、动态图像组成部分用的合成α值的区域。
其次，第二合成部109反复进行从步骤S901至S907的处理。
首先第二合成部109从图像保存部104的索引文件中读出图像信息i(步骤S901)。这里i是表示按照上升的顺序分配给组成部分的编号的变数，以便在本流程中方便地对从下层至上层的组成部分按顺序称为0、1、2、…，将对应于组成部分i的图像信息及图像文件分别称为图像信息i及图像文件i。在本流程中i的初始值为0，增量为1。
其次第二合成部109从图像保存部104取出存储在图像信息i所示的存储位置的图像文件i(步骤S902)。
第二合成部109读出图像文件i的显示尺寸及显示位置，设定该图像文件的组成部分i的画面上的重合范围(步骤S903)。
第二合成部109判断图像信息i所示的图像种类是动态图像还是静止图像(步骤S904)。
在判断的结果是静止图像的情况下，第二合成部109用图像文件i的αi和视频平面106的重合范围的合成α值，算出新的合成α值(步骤S905)。该式如下所示。
(数学式4)α(x，y)＝(1-αi(x，y))*α(x，y)该式中左边的α(x，y)是新求得的合成α值，αi(x，y)是图像文件i的α值，右边的α(x，y)是视频平面106的重合范围内保存的合成α值。
第二合成部109将新获得的α(x，y)存储在视频平面104中。
另一方面，在步骤S904中，在断定了图像信息i所示的图像种类是动态图像的情况下，第二合成部109进行以下的运算(步骤S906)。
(数学式5)α(x，y)＝αi(x，y)该式中左边的α(x，y)是新求得的合成α值，右边的αi(x，y)图像文件i的α值。就是说αi(x，y)仍然作为新求得的α(x，y)。
第二合成部109将在步骤S905或步骤S906中算出的α(x，y)存储在视频平面106中。
这样处理后，如果第二合成部109对所有的图像文件都进行了处理，则第二合成处理结束(步骤S907)。其结果，最后动态图像组成部分用的合成α值被存储在视频平面106中。
第三合成部110如果从控制部102接收到通常的再生指示，便将视频平面106中保存的R、G、B分量输出给输出部111。另外第三合成部110如果从控制部102接收到EPG显示的指示，便进行将视频平面106中存储的动态图像收据的R、G、B分量和OSD平面107中存储的第一合成图像数据的RGB分量合成起来的第三合成，将合成结果的合成图像输出给输出部111。
第三合成处理用下式表示。
(数学式6)R(x，y)＝α(x，y)*Rv(x，y)+Ro(x，y)G(x，y)＝α(x，y)*Gv(x，y)+Go(x，y)B(x，y)＝α(x，y)*Bv(x，y)+Bo(x，y)式中R(x，y)、G(x，y)、B(x，y)是第三合成的结果，是输出给输出部111的各像素的R、G、B分量，α(x，y)、Rv(x，y)、Gv(x，y)、Bv(x，y)是存储在视频平面106中的动态图像收据的合成α值及R、G、B分量，Ro(x，y)、Go(x，y)、Bo(x，y)是第一合成图像数据的R、G、B分量。
就是说第三合成部110对视频再生的每一帧进行如下的加法运算处理，即，将视频平面106中保存的动态图像收据的R、G、B分量乘以合成α值后所得的值和OSD平面107中保存的第一合成图像数据的R、G、B分量相加。
输出部111由CRT等构成，接收第三合成部110输出的R、G、B分量，并显示在画面上。
<工作>
以下说明如上构成的图像合成装置100的工作。
图11是说明本实施形态的图像合成装置100的EPG显示时的工作流程的图。
该图中，矩形中的内容表示各构成部分的工作，箭头表示数据流。
输入部101一旦受理EPG显示的指示(步骤S1001)，便通过控制部102将该指示传递给各部。收到了该指示的EPG生成部103根据广播的EPG信息，生成图像文件及索引文件，并存储在图像保存部104中。另外，EPG生成部103将生成图像文件时取得的动态图像组成部分的显示位置及显示尺寸通知视频再生部105(步骤S1002)。
第一合成部108对图像保存部104中保存的静止图像组成部分之间的重合范围内的RGB分量进行合成，并存储在OSD平面107中(步骤S1003)。
第二合成部109根据图像保存部104中保存的图像文件的α值，算出动态图像组成部分用的合成α值，并存储在视频平面106中(步骤S1004)。
视频再生部105再生动态图像，用由EPG生成部103通知的显示尺寸及显示位置表示的布局，将动态图像收据存储在视频平面106中(步骤S1005)。
第三合成部110用合成α值对动态图像组成部分的RGB分量进行加权，将第一合成图像数据的RGB分量加在其中，将加法运算后获得的合成图像的RGB分量输出给输出部111(步骤S1006)。
输出部111显示来自第三合成部110的合成图像的RGB分量(步骤S1007)。
在该图中并行地进行步骤S1003、步骤S1004、步骤S1005和步骤S1006的处理。另外按照与步骤S1005中的动态图像的再生相同的速率，进行步骤S1006的处理。
<补充说明>
以下，补充说明作为本发明的特征部分的动态图像和静止图像的合成方法。
图12表示由N+1个动态图像组成部分或静止图像组成部分构成的组成部分群，各组成部分具有该图所示的R、G、B分量及α值。但是最下层的组成部分的α值为α0＝1.0。用下式(数学式7)给出将这些组成部分群重合起来的结果获得的图像的R、G、B分量。
(数学式7)R=Σi=0toN(βi*Ri)]]>G=Σi=0toN(βi*Gi)]]>B=Σi=0toN(βi*Bi)]]> 式中βi表示作为最后的合成结果的图像的组成部分i的合成比率，也称为贡献度。即βi是合成α值。
本发明在这些组成部分中的一个是动态图像的情况下，用α值对动态图像的组成部分以外的静止图像的组成部分之间进行合成，实现将动态图像的组成部分加在该结果中的运算。静止图像组成部分作为具有显示尺寸及显示位置的图像文件而存在，进行合成时由于在OSD平面上进行合成，所以能用一个OSD平面107这样少的存储器容量有效地合成静止图像组成部分。
因此能用静止图像用的一个OSD平面和动态图像用的一个视频平面这样少的存储器有效地进行处理。如果按照包含动态图像和静止图像重合的顺序依次进行这些组成部分的合成，则有必要计算关于全部组成部分的各像素的合成比率，保存在存储器中。这是因为需要非常多的存储器是低效率的。
另外合成比率的计算式如果一个一个独立地进行，也需要进行多次乘法运算。在N+1的组成部分中，需要进行N*(N-1)/2次的乘法运算，变成N^2阶的计算。
在本发明中，解决这些问题，实现不需要存储器的逐次计算，以及乘法运算的次数为N阶即可。本实施形态的结构要素和运算的关系是第一合成部108负责动态图像以外的组成部分的项的加法运算，第二合成部109负责动态图像的贡献度的计算，第三合成部110负责最后的动态图像的加法运算。
图13是将本发明的运算方法记述在C语言风中的程序。该程序将焦点放在一个像素上。R、G、B表示OSD平面上的一个像素的RGB分量，α表示对应于该像素的动态图像的合成α值。Ri、Gi、Bi、αi是在OSD平面上进行加法运算的第i个组成部分的RGB分量及α值。Rv、Gv、Bv是动态图像的RGB分量。
从第1行到第4行表示初始化处理。从第5行到第17行是静止图像的加法运算，其余的是动态图像的加法运算。第7、8、9、12、13、14行表示由第一合成部108进行的运算。这里，动态图像的合成式与使动态图像的RGB分量为0进行计算相同。第10、15行是由第二合成部109进行的运算，计算动态图像的合成α值。第5、6、11、16、17行是第一合成部108和第二合成部109共同进行的处理。第18、19、20行是由第三合成部110进行的运算。这里第18、19、20行沿着另一条线并行地进行，也可以是永久环。
图14表示实现它的程序。程序1和程序2分割图13中的程序，程序2使输出为永久环。能使这两个程序并行处理。在并行处理的情况下，能显示重合过程中的状态、进行重合的过程。
<实施形态2>
<结构>
图15是表示本发明的实施形态2的图像合成装置的结构框图。
该图中，图像合成装置200由输入部101、控制部1500、EPG生成部103、图像保存部104、视频再生部105、视频平面106、OSD平面1501、第四合成部1502、第五合成部1503、输出部111构成。这些结构中，与图像合成装置100符号相同者具有相同的功能，其说明从略，以下以与图像合成装置100符号不同的结构为中心进行说明。
控制部1500控制图像合成装置200的全部结构要素。更具体地说，如果指示图像合成装置200接通，则在视频再生部105中再生广播节目。如果指示频道切换，则在视频再生部105中再生与现在正在再生的节目不同的另一广播节目。如果指示EPG显示接通，则控制EPG生成部103、视频再生部105、第四合成部1502及第五合成部1503等，生成合成图像。
OSD平面1501由存储器等构成，保存由第四合成部1502输出的RGB分量及α值。OSD平面1501保存对应于画面上的像素的RGB分量及α值。
第四合成部1502如果从控制部1500接收到指示，便对图像保存部104中保存的多个图像文件的图像数据进行合成，最后生成第四合成图像数据，存储在OSD平面1501中。将该处理第四合成处理。
图16是表示第四合成处理的顺序的流程图。
首先，第四合成部1502将OSD平面1501的RGB分量的区域全部设定为0，将视频平面106的合成α值的区域全部设定为0(步骤S1600、步骤S1601)。
其次，第四合成部1502反复进行步骤S1602～S1612的处理，按照顺序对从下层至上层的组成部分进行以下处理将静止图像的组成部分之间合成起来，存储在OSD平面1501中，另外算出动态图像组成部分用的合成α值，存储在视频平面106中。
首先第四合成部1502从图像保存部104的索引文件中读出图像信息i(步骤S1602)。这里i是表示按照上升的顺序分配给组成部分的编号的变数，以便在本流程中方便地对从下层至上层的组成部分按顺序称为0、1、2、…，将对应于组成部分i的图像信息及图像文件分别称为图像信息i及图像文件i。在本流程中i的初始值为0，增量为1.
然后第四合成部1502从图像保存部104取出存储在图像信息i所示的存储位置的图像文件i(步骤S1603)。
第四合成部1502读出图像文件i的显示尺寸及显示位置，设定该图像文件的组成部分i的画面上的重合范围(步骤S1604)。
第四合成部1502判断图像信息i所示的图像种类是动态图像还是静止图像(步骤S1605)。
判断的结果，在断定了图像信息i所示的图像种类是动态图像的情况下，第四合成部1502将图像文件i的α值复制在视频平面106上(步骤S1611)。
步骤S1605中的判断结果，在断定了图像信息i所示的图像种类是静止图像的情况下，第四合成部1502判断视频平面106中保存的合成α值是否全部为0(步骤S1606)。即这里根据在该静止图像的下层是否有动态图像而分成不同的处理。
步骤S1606中的判断结果，在断定了视频平面106中保存的合成α值全部为0的情况下，第四合成部1502将图像文件i的α值复制在OSD平面1501上(步骤S1609)。
步骤S1606中的判断结果，在断定了视频平面106中保存的合成α值不是全部为0的情况下，即至少一个不为0时，第四合成部1502用视频平面106中保存的合成α值和图像文件i的α值，通过(数学式8)的计算，求新的α值，存储在OSD平面1501中(步骤S1607)。
(数学式8)αosd(x,y)=αi(x,y)1-αv(x,y)*(1-αi(x,y))]]>该式中左边的αosd(x，y)是新求的α值，右边的αi(x，y)是图像文件i的α值，αv(x，y)是保存在视频平面106中的合成α值。
另外第四合成部1502利用(数学式9)算出动态图像用的合成α值，存储在视频平面106的合成α值的区域中(步骤S1608)。
(数学式9)αv(x，y)＝αv(x，y)*(1-αi(x，y))该式中左边的αv(x，y)是新存储在视频平面106中的合成α值，右边的αv(x，y)是在该存储前保存在视频平面106中的合成α值，αi(x，y)是图像文件i的α值。
第四合成部1502在步骤S1607或步骤S1609中，用OSD平面1501中设定的α值，进行图像文件i的RGB分量和OSD平面1501的重合范围的RGB分量的α合成运算，将结果存储在OSD平面1501中(步骤S1610)。该运算式如(数学式10)所示。
(数学式10)R(x，y)＝αosd(x，y)*Ri(x，y)+(1-αosd(x，y))*R(x，y)G(x，y)＝αosd(x，y)*Gi(x，y)+(1-αosd(x，y))*G(x，y)B(x，y)＝αosd(x，y)*Bi(x，y)+(1-αosd(x，y))*B(x，y)该式中左边的R(x，y)、G(x，y)、B(x，y)是新求得的RGB分量，右边的R(x，y)、G(x，y)、B(x，y)及αosd是保存在OSD平面1501中的RGB分量及α值，Ri(x，y)、Gi(x，y)、Bi(x，y)是图像文件i的RGB分量。
这样处理后，第四合成部1502对所有的图像文件进行从步骤S1602开始至步骤S1612的处理，结束第四合成处理(步骤S1612)。第四合成处理结束后，将静止图像的组成部分全部合成的结果被保存在OSD平面1501中，动态图像的组成部分的合成α值保存在视频平面106的合成α值的区域中。
如果第五合成部1503从控制部1500接收到通常的再生指示，便将视频平面106中保存的R、G、B分量输出给输出部111。
另外如果第五合成部1503从控制部1500接收到EPG显示的指示，便进行下述的第五合成对视频平面106中存储的动态图像收据的R、G、B分量及合成α值和OSD平面1501中存储的第四合成图像数据的RGB分量进行合成，将结果的合成图像输出给输出部111。
用下式表示第五合成处理。
(数学式11)R(x，y)＝α(x，y)*Rv(x，y)+Ro(x，y)G(x，y)＝α(x，y)*Gv(x，y)+Go(x，y)B(x，y)＝α(x，y)*Bv(x，y)+Bo(x，y)式中R(x，y)、G(x，y)、B(x，y)是第五合成的结果，是输出给输出部111的各像素的R、G、B分量，α(x，y)、Rv(x，y)、Gv(x，y)、Bv(x，y)是存储在视频平面106中的动态图像收据的合成α值及R、G、B分量，Ro(x，y)、Go(x，y)、Bo(x，y)是第四合成图像数据的R、G、B分量。
这样第五合成部1503在每次更新帧时，进行与第四合成图形数据的合成。
<工作>
以下说明如上构成的图像合成装置200的工作。
图17是说明本实施形态的图像合成装置200的EPG显示时的工作流程的图。该图中，矩形中的内容表示各构成部分的工作，箭头表示数据流。另外，该图中与图11中相同的步骤编号中的工作，意味着是与图11中相同的工作。
输入部101一旦受理EPG显示的指示(步骤S1001)，便通过控制部1500将该指示传递给各部。收到了该指示的EPG生成部103根据广播的EPG信息，生成图像文件及索引文件，并存储在图像保存部104中。另外EPG生成部103将生成图像文件时取得的动态图像组成部分的显示位置及显示尺寸通知视频再生部105(步骤S1002)。
第四合成部1502对图像保存部104中保存的静止图像组成部分之间的重合范围内的RGB分量进行合成，并存储在OSD平面1501中。另外第四合成部1502算出动态图像用的合成α值，存储在视频平面106中(步骤S1701)。
视频再生部105再生动态图像，用由EPG生成部103通知的显示尺寸及显示位置表示的布局，将动态图像收据存储在视频平面106中(步骤S1005)。
第五合成部1503用合成α值对动态图像组成部分的RGB分量进行加权，将第四合成图像数据的RGB分量加在其中，将加法运算后获得的合成图像的RGB分量输出给输出部111(步骤S1702)。
输出部111显示来自第五合成部1503的合成图像的RGB分量(步骤S1007)。
在该图中步骤S1702中的处理与步骤S1005、步骤S1701并行地进行。
<补充说明>
如图18所示，本实施形态中所示的合成方法是改换相邻的两个组成部分的重合顺序进行合成。这时用图16中的步骤S1607、S1608中所示的式，更新改换后的两个组成部分的α值，以便改换前的合成结果和改换后的合成结果相同。
即，假设改换后的两个组成部分中下层的组成部分i的α值为αi+1’，上层的组成部分i+1的α值为αi’，则用下面的(数学式12)表示各自的α值。
(数学式12)αi+1′=αi+11-αi(1-αi+1)]]>αi′＝αi(1-αi+1)
这里(数学式12)如下求得。
假设改换前的组成部分i及组成部分i+1的α值分别为αi、αi+1，组成部分i及组成部分i+1分别对最后的合成图像的贡献度βi及βi+1由(数学式7)变为(数学式13) 另一方面，如果用(数学式7)表示改换后的组成部分i+1及组成部分i分别对最后的合成图像的贡献度βi+1’及βI’，则变为(数学式14) 为了在改换前和改换后合成结果相同，在(数学式13)和(数学式14)中，使①和④、②和③分别为相同的值即可。即(数学式15)αiΠj=i+1toN(1-αj)=αi′*Πj=i+2toN(1-αj)]]>αi+1*Πj=i+2toN(1-αj)=αi+1′*(1-αi′)Πj=i+2toN(1-αj)]]>如果对αi’、αi+1’求解这些式，能获得(数学式12)。
如图19所示，利用这些法则，通过与静止图像的组成部分进行改换，以便动态图像的组成部分到达最上层，在动态图像组成部分之前先合成所有的静止图像组成部分，最后实现合成动态图像。
如图16中的流程所示，第四合成部1502有效地进行相邻的组成部分改换时必要的α值的计算和在OSD平面1502上的合成。第五合成部1503进行OSD平面1501和视频平面106的合成。
<实施形态3>
<结构>
图20是表示本发明的实施形态3的图像合成装置的结构框图。
该图中，图像合成装置300由输入部101、控制部2000、EPG生成部2003、图像保存部104、视频再生部2001、视频平面2002、OSD平面107、第六合成部2004、第七合成部2005、第八合成部2006及输出部111构成。图像合成装置300利用该结构，进行多个动态图像组成部分和多个静止图像组成部分的合成。这些结构要素中，与图像合成装置100及图像合成装置200符号相同者具有相同的功能，其说明从略，以下以符号不同的结构为中心进行说明。
控制部2000控制图像合成装置300的全部结构要素。更具体地说，如果指示图像合成装置300接通，则在视频再生部2001中再生广播节目。如果指示频道切换，则在视频再生部2001中再生与现在正在再生的节目不同的另一广播节目。如果指示EPG显示接通，则控制EPG生成部2003、视频再生部2001、第六合成部2004、第七合成部2005及第八合成部2006等，生成合成图像。
视频再生部2001内部有多个再生部，即有第一再生部、第二再生部、…、第N再生部，各再生部分别接收来自广播台的广播节目后进行译码等，每秒再生数十帧动态图像，以帧为单元，一边对该动态图像收据进行写入和更新，一边存储在视频平面2002中。存储时，视频再生部2001根据从EPG再生部2003输入的显示位置及显示尺寸，确定最后的动态图像相对于合成图像的布局，将视频R、G、B分量存储在视频平面2002上对应于该配置的区域。
视频平面2002内部有多个平面，即有第一平面、第二平面、…、第N平面，各平面由存储前等构成，分别与视频再生部2001的多个再生部对应，保存由再生部存储的动态图像收据、以及由第七合成部2005存储的合成α值。
EPG再生部2003从广播台取得由多个动态图像组成部分和静止图像组成部分构成的EPG显示用的EPG信息，根据EPG信息生成多个图像文件和一个索引文件，存储在图像保存部104中。另外从EPG信息中抽出构成EPG显示画面的多个动态图像组成部分的显示尺寸及显示位置，输出给视频再生部2001。
EPG生成部2003除了对应于多个动态图像组成部分以外，还与EPG生成部103相同。
第六合成部2004对图像保存部104中保存的多个图像文件的图像数据进行合成，生成第六合成图像数据，存储在OSD平面107中。将该处理第六合成处理。该处理与实施形态1的图9所示的第一合成处理大致相同，但是，对应于多个动态图像多次进行步骤S806中的处理，这一点与实施形态1不同。
第七合成部2005如果从控制部2000接收到指示，便进行第七合成处理算出多个动态图像组成部分各自用的合成α值，存储在视频平面2002的分别对应的平面中图21是表示第七合成处理的顺序的流程图。
首先，第七合成部2005使视频平面2002的合成α值的区域初始化(步骤S2100)。具体地说，在视频平面2002的各平面中的全部像素的合成α值用的区域中设定0。该合成α值的区域最后保存合成α值。
其次，第七合成部2005反复进行步骤S2101～S2107的处理。
首先第七合成部2005从图像保存部104的索引文件中读出图像信息i(步骤S2101)。这里i是表示按照上升的顺序分配给组成部分的编号的变数，以便在本流程中方便地对从下层至上层的组成部分按顺序称为0、1、2、…，将对应于组成部分i的图像信息及图像文件分别称为图像信息i及图像文件i。在本流程中i的初始值为0，增量为1.
其次第七合成部2005从图像保存部104取出存储在图像信息i所示的存储位置的图像文件i(步骤S2102)。
第七合成部2005读出图像文件i的显示尺寸及显示位置，设定该图像文件的组成部分i的画面上的重合范围(步骤S2103)。
第七合成部2005判断图像信息i所示的图像种类是动态图像还是静止图像(步骤S2104)。
判断的结果，在断定了是动态图像的情况下，第七合成部2005将图像文件i的α值复制在视频平面2002的第k平面的α值的区域中(步骤S2105)。将它表示成数学式如下(数学式16)βk(x，y)＝αi(x，y)(数学式16)中βk(x，y)表示存储在视频平面2002的第k平面的合成α值的区域中的值，αi(x，y)是图像文件i的α值。该k值取1至N的值，反复进行步骤S2105中的处理时，每一次增加1。
此后，第七合成部2005对第k平面以外的第m平面的合成α值的区域进行下面的计算(数学式17)βm(x，y)＝(1-αi(x，y))*βm(x，y)更新βm(x，y)的值。式中βm(x，y)表示存储在第m平面的合成α值的区域中的值，m取除了k以外的1至N的值(步骤S2106)。
即步骤S2105及步骤S2106的运算与(数学式7)中的①的运算相同，算出各动态图像组成部分对最后的合成结果的图像的合成比率、即合成α值。
这样处理后，第七合成部2005如果对所有的图像文件进行了处理，则结束第七合成处理(步骤S2107)。其结果，各个动态图像组成部分用的合成α值被存储在视频平面2002的各平面中。
如果第八合成部2006从控制部2000接收到EPG显示的指示，便进行第八合成处理对视频平面2002的各平面和OSD平面107的RGB分量进行合成，将结果的合成图像输出给输出部111。
在动态图像组成部分为N个的情况下，用下式表示第八合成部2006进行的合成。
(数学式18)R(x，y)＝β1(x，y)*Rv1(x，y)+β2(x，y)*Rv2(x，y)+…+βN(x，y)*RvN(x，y)+Ro(x，y)G(x，y)＝β1(x，y)*Gv1(x，y)+β2(x，y)*Gv2(x，y)+…+βN(x，y)*GvN(x，y)+Go(x，y)B(x，y)＝β1(x，y)*Bv1(x，y)+β2(x，y)*Bv2(x，y)+…+βN(x，y)*BvN(x，y)+Bo(x，y)式中R(x，y)、G(x，y)、B(x，y)是输出给输出部111的各像素的R、G、B分量，β1(x，y)、Rv1(x，y)、Gv1(x，y)、Bv1(x，y)是存储在视频平面2002的第一平面中的动态图像收据的合成α值及RGB分量，β2(x，y)、Rv2(x，y)、Gv2(x，y)、Bv2(x，y)是存储在视频平面2002的第二平面中的动态图像收据的合成α值及RGB分量，βN(x，y)、RvN(x，y)、GvN(x，y)、BvN(x，y)是存储在视频平面2002的第N平面中的动态图像收据的合成α值及RGB分量，Ro(x，y)、Go(x，y)、Bo(x，y)是存储在OSD平面107中的RGB分量。
<工作>
如上构成的图像合成装置300与图11所示的图像合成装置100的工作流程大致相同。
但以下方面不同。
即EPG生成部2003进行步骤S1002中的处理，EPG生成部2003不是将一个动态图像组成部分、而是将多个动态图像组成部分的显示位置及显示尺寸通知视频再生部2001。
另外第六合成部2004进行步骤S1003中的处理。
另外第七合成部2005进行步骤S1004中的处理，第七合成部2005算出分别对应于多个动态图像组成部分的合成α值，存储在视频平面2002中。
另外视频再生部2001进行步骤S1005中的处理，再生多个动态图像，存储在视频平面2002中。
另外第八合成部2006进行步骤S1006中的处理，第八合成部2006将用各自的合成α值对多个动态图像组成部分的RGB分量进行加权后的值、以及第六合成图形数据的RGB分量相加，将相加后获得的合成图像的RGB分量输出给输出部111(步骤S1006)。
这样处理后，第八合成部2006在出现停止的指示之前，一边对视频平面2002的各平面和OSD平面107进行合成并输出，一边与视频再生部2001、第六合成部2004及第七合成部2005的处理并行地进行处理。
<实施形态4>
<结构>
图22是表示本发明的实施形态4的图像合成装置的结构框图。
该图中，图像合成装置400由输入部101、控制部4102、EPG生成部4103、图像保存部4104、视频再生部105、视频平面106、OSD平面107、第九合成部4108、第十合成部4109、第三合成部110、输出部111构成。用Porter·Duff运算方法进行图像合成。关于Porter·Duff运算，例如在T.Porter及T.Duff合著的“Compositing DigitalLmages”(SIGGRAPH 84，253～259)中进行了说明。另外，在本实施形态中根据需要，使用图3(a)(b)进行说明。
这里简单地说明Porter·Duff运算。
Porter·Duff运算是一种规定将原来的像素和目的像素结合起来用的12种运算规则的运算方法。原来的像素和目的像素具有RGB分量和α值。但是该α值的定义与实施形态1～3的α值不同。实施形态1～3中使用的α值是在两个图像之间定义的，与此不同，本实施形态的Porter·Duff运算中使用的α值是对各图像定义α值。在Porter·Duff运算中，对具有α值的两个图像进行合成运算的结果的图像也具有α值。实际上在将该合成结果的图像显示在画面上的情况下，输出将该图像的RGB分量乘以α值后所得的值。
本实施形态的图像合成装置400用12种运算规则中有用的8种运算方法，进行图像合成。8种运算规则是“CLEAR”、“SRC”、“SRC_OVER”、“DST_OVER”、“SRC_IN”、“DST_IN”、“SRC_OUT”及“DST_OUT”。
“CLEAR”将目的的RGB分量及α值两者清除。原来的像素和目的像素都不作为输入使用。在本实施形态中目的像素相当于保存在OSD平面107中的图像，原来的像素相当于图像文件I的图像。
“SRC”将原来的像素复制在目的像素上。
“SRC_OVER”将原来的像素重合在目的像素上。
“DST_OVER”将目的像素重合在原来的像素上，用其结果生成的RGB分量置换目的像素。
“SRC_IN”利用与目的像素重合的原来的像素部分置换目的像素。
“DST_IN”利用与原来的像素重合的目的像素部分置换目的像素。
“SRC_OUT”利用不与目的像素重合的原来的像素部分置换目的像素。
“DST_OUT”利用不与原来的像素重合的目的像素部分置换目的像素。
以下，说明与其他实施形态不同的符号结构要素。
控制部4102控制图像合成装置400的全部结构要素。更具体地说，如果指示图像合成装置接通，则视频再生部105再生广播节目。如果指示切换频道，则在视频再生部105中再生与现在正在再生的节目不同的另一广播节目。如果指示EPG显示接通，则控制EPG生成部4103、视频再生部105、第九合成部4108、第十合成部4109及第三合成部110等，生成合成图像。
EPG生成部4103与实施形态1相同，取得并保存从广播台广播的EPG信息，根据EPG信息生成多个图像文件和一个索引文件，存储在图像保存部4104中。另外EPG生成部4103从EPG信息中抽出构成EPG显示画面的动态图像的组成部分的显示尺寸及显示位置，输出给视频再生部105。
图像保存部4104保存多个图像文件和一个索引文件。
索引文件是管理多个图像文件用的，由多个图像信息构成。一个图像信息对应于一个图像文件。多个图像信息在索引文件内按照与组成部分的重合顺序相同的顺序排列。图像信息由图像种类、运算种类和存储位置构成。图像种类表示图像文件的图像是静止图像还是动态图像。运算种类表示Porter·Duff中规定的12种运算方法中使用哪一种运算方法。存储位置表示图像保存部4104中的图像文件的开头位置。
图23(a)表示索引文件的一例。该图中的索引文件4410由图像信息4421、4422及4423构成，表示按照该顺序组成部分的重合顺序。即图像信息4421对应于最下层的组成部分，图像信息4422对应于其次一层的组成部分，图像信息4423对应于最上层的组成部分。列411一侧的值表示组成部分的图像种类，“0”表示静止图像，“1”表示动态图像。列413的值表示运算种类。图23(b)中示出了能取入列413中的值和运算种类的关系。例如存储在行4422列413中的“3”表示运算“SRC OVER”，存储在行4423列413、行4421列413中的“2”表示运算“SRC”。列412一侧的值表示图像文件的存储位置。
另外图像430、440、450分别对应于组成部分202、203、204，形象地表示各自的图像文件中的图形数据。这里图像440表示对应于组成部分203的图形数据的全部RGB分量为0。在Porter·Duff运算中，对全部图像设置α值，所以图像430是最下面的组成部分，但能对各像素设置任意的α值。
图像保存部4104保存多个图像文件和一个索引文件。
第九合成部4108如果从控制部4102接收到指示，便对图像保存部4104中保存的多个图像文件的图形数据进行合成，生成第九合成图形数据，存储在OSD平面107中。将该处理称为第九合成处理。
图24是表示第九合成部4108的合成顺序的流程图。
该图中，在与图9相同的步骤编号的步骤中进行相同的处理。以下，说明与图9不同的步骤编号的处理。
步骤S4802第九合成部4108读出存储在图像信息i表示的存储位置的图像文件i及图像信息i表示的运算种类。
步骤S4805根据在步骤S4802中读出的运算种类，以像素为单元进行图25所示的Porter·Duffα合成运算。
步骤S4806动态图像的RGB分量取0时，根据运算种类，以像素为单元进行图26所示的运算。
步骤S4807根据运算种类，以像素为单元进行图27所示的α值的计算。
另外，图25、图26、图27表示Porter·Duff运算中有意义的8种运算。
第十合成部4109如果从控制部4102接收到指示，便根据存储在图像保存部4104中的图形数据，生成对应于OSD平面107的视频平面106的α值，存储在视频平面106中。
图28是表示第十合成部4109的合成顺序的流程图。
在该图中，在与图10相同的步骤编号的步骤中进行相同的处理。因此以下说明与图10不同的步骤编号的处理。
步骤S1202第十合成部4109读出存储在图像信息i表示的存储位置的图像文件i及图像信息i表示的运算种类。
步骤S4905第十合成部4109根据运算种类，以像素为单元进行图29所示的运算。由于静止图像基本上描绘在动态图像上，所以动态图像的分量变弱。图29的表中，α是视频平面106上的各像素的合成α值，αi是重合在取出的图像文件的视频平面106上的各像素的α值，这些α值在理论上取0到1之间的值。实际上的实现方法是用0～255或0～15等的值表示α值。
步骤S4906第十合成部4109根据运算种类，以像素为单元进行图30所示的运算。另外，第九合成部4108和第十合成部4109同步工作。步骤S1202、S903、S904、S907也可以直接利用步骤S4802、S803、S804、S807的处理结果取得同步。另外，步骤S4905及步骤S4906必须在步骤S807之前结束。
利用以上的结构，图像合成装置400能通过Porter·Duff运算进行图像合成，与实施形态1相同，能使存储器小，能减少乘法运算次数。
图31是将本实施形态的运算方法记述在C语言风中的程序。该程序将焦点放在一个像素上。R、G、B、α表示OSD平面上的一个像素的R、G、B、α值，αv表示对应于该像素的视频平面的合成α值。
从第一行到第五行是初始化处理。第8、11、14行是第九合成部4108负责的运算。第9、12行是第十合成部4109负责的运算，计算动态图像的贡献度(β值)、即合成α值。第16、17、18行是第三合成部110负责的运算。这里第16、17、18行按照另一条线平行地进行，也可以构成永久环。这里在图26中示出了第8行的具体的运算方法，在图25中示出了第11行的具体的运算方法。另外，在图30中示出了第9行的具体的运算方法，在图29中示出了第12行的具体的运算方法。这里图29中的α相当于图31中的αv。在图27中示出了第14行的具体的运算方法。
如上所述，实施形态4的图像合成装置400根据由各图像决定的Porter·Duff运算种类，进行多个静止图像的合成和动态图像的合成比率的计算，此后，根据运算种类，进行动态图像的各帧和合成的静止图像的合成。因此每次更新动态图像的帧时，不需要进行多个静止图像和动态图像的帧的合成，能减轻计算的负荷，处理速度也变快。处理速度变快的结果，能与动态图像的再生速率一致地实时地合成并显示图像。另外由于实时地进行合成，所以在帧缓冲器中每当展开1帧的图像时，便进行该帧的图像与合成的静止图像的合成，所以具有能减小动态图像的帧展开用的帧缓冲器的容量的效果。
以上，虽然根据实施形态说明了本发明的图像合成装置，但本发明不限于上述实施形态。即，(1)在实施形态1、2中，动态图像组成部分的合成α值虽然保存在视频平面106、1501中，但在一个动态图像组成部分的情况下，也可以保存在OSD平面107、1501中。
(2)在实施形态1～4中，虽然像素数据按照R、G、B、α的顺序存储在存储器等中，但不限于该顺序，例如也可以按照α、R、G、B的顺序存储。另外也可以不在每个像素中，而是在每个R、G、B、α各分量中存储对应于全部像素的值。
(3)R、G、B、α的数据长度各为一个字节，就是说R、G、B为从0至255的256种灰度，合计能表现约1670万种颜色。可是也可以用各4位表现R、G、B、α的数据长度，呈所谓的丰富色调。
(4)在实施形态1～4中，也可以用YUV代替RGB分量。
(5)图像保存部104、4104虽然保存像素数据作为静止图像组成部分的图形数据，但也可以保存矢量数据、即由数学式或直线、点、圆等图形要素构成的数据，第一合成部108进行图形数据之间的合成时展开成像素数据。利用该结构，能使图像保存部104、4104的存储器容量更小。
(6)编成能在通用的计算机或具有程序执行功能的机器等中执行图像合成装置100、200、300及400的各构成要素的工作程序用的计算机程序即可。
特别是对应于实施形态4的图像合成装置400的计算机程序，不需要对应于Porter·Duff的8种运算的8种运算器，具有能在执行该计算机程序的一个处理机中进行全部8种运算的效果。
另外记录在记录媒体上或通过各种通信线路等，能使该计算机程序流通而予以颁布。这样的记录媒体有IC卡、光盘、软盘、ROM等。
(7)第三合成部110虽然在视频再生的每一帧中进行上述的加法运算处理，即与帧的再生同步进行加法运算处理，但也可以不需要同步，而非同步地进行加法运算处理。第五合成部1503及第八合成部2006也一样。
工业上利用的可能性合成多个图像并输出的图像显示装置特别是被用于接收数字广播的电视中。
权利要求
1.一种将动态图像和多个静止图像合成而生成合成图像的图像合成装置，其特征在于备有取得包括图像合成顺序的合成信息、即求出合成前各图像对上述合成图像的合成比率用的上述合成信息、以及上述多个静止图像的第一取得装置；根据上述合成信息合成上述多个静止图像，生成一个合成静止图像的第一合成装置；根据上述合成信息，求出上述动态图像对上述合成图像的合成比率的计算装置；取得构成上述动态图像的各帧的第二取得装置；以及用上述动态图像的合成比率，合成上述各帧和上述合成静止图像的第二合成装置。
2.根据权利要求1所述的图像合成装置，其特征在于上述合成信息还包括对应于上述各图像的系数、以及表示使用该系数的合成运算的运算信息。
3.根据权利要求2所述的图像合成装置，其特征在于上述图像合成装置有存储图像用的第一帧缓冲器；以及存储构成上述动态图像的各帧用的第二帧缓冲器，上述第一合成装置按照上述图像合成顺序，读出由上述第一取得装置取得的多个静止图像，用上述系数和上述运算信息，进行上述第一帧缓冲器的存储内容和读出的各图像的合成，用该合成的结果置换上述第一帧缓冲器的存储内容，上述第二取得装置将取得的上述各帧存储在上述第二帧缓冲器中，上述第二合成装置用上述动态图像的合成比率，对存储在上述第二帧缓冲器中的各帧和上述第一帧缓冲器的存储内容进行合成、存储在上述第2帧缓冲器。
4.根据权利要求3所述的图像合成装置，其特征在于上述第一合成装置在上述图像合成顺序中，在一个上述动态图像之前的静止图像的合成后、而且在一个动态图像之后的静止图像的合成之前，用对应于上述动态图像的系数及运算信息，进行上述第一帧缓冲器中存储的图像的合成运算，用上述合成运算的结果置换上述第一帧缓冲器的内容。
5.根据权利要求3所述的图像合成装置，其特征在于上述图像合成装置有图像显示用的画面，并行地进行由上述第一合成装置进行的合成、由上述第二取得装置进行的取得、以及由上述第二合成装置进行的合成、上述第2帧缓冲器存储所述第2合成装置的合成结果的同时向上述画面进行输出。
6.根据权利要求1所述的图像合成装置，其特征在于上述合成信息还包括关于上述多个图像的表示该图像和该图像以外的图像的合成结果的合成比率的合成系数。
7.根据权利要求6所述的图像合成装置，其特征在于上述图像合成装置有存储图像用的第一帧缓冲器；以及存储构成上述动态图像的各帧用的第二帧缓冲器，上述第一合成装置按照上述图像合成顺序，读出由上述第一取得装置取得的多个静止图像，用上述合成系数，进行上述第一帧缓冲器的存储内容和读出的各图像的合成，用该合成的结果置换上述第一帧缓冲器的存储内容，上述第二取得装置将取得的上述各帧存储在上述第二帧缓冲器中，上述第二合成装置用上述动态图像的合成比率，对存储在上述第二帧缓冲器中的各帧和上述第一帧缓冲器的存储内容进行合成、存储在上述第2帧缓冲器。
8.根据权利要求7所述的图像合成装置，其特征在于上述第一合成装置在上述图像合成顺序中，在一个上述动态图像之前的静止图像的合成后、而且在一个动态图像之后的静止图像的合成之前，用对应于上述动态图像的合成系数，进行上述第一帧缓冲器中存储的图像的合成运算，用上述合成运算的结果置换上述第一帧缓冲器的内容。
9.根据权利要求7所述的图像合成装置，其特征在于上述图像合成装置有图像显示用的画面，并行地进行由上述第一合成装置进行的合成、由上述第二取得装置进行的取得、以及由上述第二合成装置进行的合成、上述第2帧缓冲器存储所述第2合成装置的合成结果的同时向上述画面进行输出。
10.根据权利要求6所述的图像合成装置，其特征在于上述图像合成顺序表示使图像重合的顺序，上述合成系数是关于上述多个图像的表示从上述图像合成顺序中的最背面的图像至该图像的合成结果的该图像的合成比率的α值，上述计算装置根据对应于上述动态图像和位于上述动态图像前面的全部图像的α值，算出上述动态图像对上述合成图像的合成比率。
11.根据权利要求10所述的图像合成装置，其特征在于上述图像合成装置有存储图像用的第一帧缓冲器；以及存储构成上述动态图像的各帧用的第二帧缓冲器，上述第一合成装置按照上述图像合成顺序表示的从最背面至最前面的方向的序号，从由上述第一取得装置取得的多个静止图像中读出一个静止图像，用上述α值，进行上述第一帧缓冲器的存储内容和读出的各图像的合成，用该合成的结果置换上述第一帧缓冲器的存储内容，上述第二取得装置将取得的上述各帧存储在上述第二帧缓冲器中，上述第二合成装置用上述动态图像的合成比率，对存储在上述第二帧缓冲器中的各帧和上述第一帧缓冲器的存储内容进行合成、存储在上述第2帧缓冲器。
12.根据权利要求11所述的图像合成装置，其特征在于上述第一合成装置在上述图像合成顺序中，在一个上述动态图像之前的静止图像的合成后、而且在一个动态图像之后的静止图像的合成之前，用上述动态图像的α值，进行上述第一帧缓冲器中存储的图像的合成运算，用上述合成运算的结果置换上述第一帧缓冲器的内容。
13.根据权利要求11所述的图像合成装置，其特征在于上述图像合成装置有图像显示用的画面，并行地进行由上述第一合成装置进行的合成、由上述第二取得装置进行的取得、以及由上述第二合成装置进行的合成、上述第2帧缓冲器存储所述第2合成装置的合成结果的同时向上述画面进行输出。
14.根据权利要求10所述的图像合成装置，其特征在于上述图像合成装置还备有在上述重合顺序中改换相邻的两个图像的顺序的改换装置；以及求出并更新改换后和改换前进行了合成时的合成结果互相相同的改换后的两个图像对应的α值的更新装置，上述第一合成装置、上述计算装置及上述第二合成装置利用由上述改换装置进行改换后的顺序和由上述更新装置更新后的α值，进行各种处理。
15.根据权利要求14所述的图像合成装置，其特征在于上述改换装置改换下述的顺序，即改换α值为α[i]时上述顺序从低位算起第i个像素i和α值为α[i+1]时上述顺序从低位算起第i+1个像素i+1的顺序，上述更新装置使改换后变成第i个的像素i+1的α值为α[i]*(1-α[i+1])，使改换后变成第i+1个的像素i的α值为α[i+1]/(1-α[i]*(1-α[i+1]))。
16.根据权利要求1所述的图像合成装置，其特征在于上述图像合成装置有存储上述第一取得装置取得的上述多个静止图像用的存储部，上述多个静止图像分别由与上述合成图像相同或较少的像素数的图像数据、以及表示该像素数据在上述合成图像上的布局的布局信息构成，上述第一合成装置、上述计算装置及上述第二合成装置分别处理由上述布局信息规定的上述各图像之间的重合部分。
17.根据权利要求1所述的图像合成装置，其特征在于上述图像合成装置有存储上述第一取得装置取得的上述多个静止图像用的存储部，上述多个静止图像分别用矢量数据形式表示，上述第一合成装置将矢量数据变换成图像数据后进行合成。
18.一种图像合成装置，它是将多个动态图像和多个静止图像合成而生成合成图像的图像合成装置，其特征在于备有取得包括图像合成顺序的合成信息、即求出合成前各图像对上述合成图像的合成比率用的上述合成信息、以及上述多个静止图像的第一取得装置；根据上述合成信息合成上述多个静止图像，生成一个合成静止图像的第一合成装置；根据上述合成信息，求出上述多个动态图像分别对上述合成图像的合成比率的计算装置；取得分别构成上述多个动态图像的各帧的第二取得装置；以及用上述多个动态图像各自的合成比率，合成上述多个动态图像各自的各帧和上述合成静止图像的第二合成装置。
19.一种图像合成装置，它是将动态图像和多个静止图像合成而生成合成图像的图像合成装置，其特征在于备有取得上述多个静止图像的第一取得装置；合成上述多个静止图像后，生成一个合成静止图像的第一合成装置；取得构成上述动态图像的各帧的第二取得装置；以及合成构成上述动态图像的各帧和上述合成静止图像的第二合成装置。
20.一种记录媒体，它是记录了计算机能读取的程序的记录媒体，上述程序用来在计算机中进行对动态图像和多个静止图像合成后生成合成图像的处理，其特征在于该程序在计算机中执行以下步骤取得包括图像合成顺序的合成信息、即求出合成前各图像对上述合成图像的合成比率用的上述合成信息、以及上述多个静止图像的第一取得步骤；根据上述合成信息合成上述多个静止图像，生成一个合成静止图像的第一合成步骤；根据上述合成信息，求出上述多个动态图像分别对上述合成图像的合成比率的计算步骤；取得构成上述动态图像的各帧的第二取得步骤；以及用上述动态图像的合成比率，合成上述各帧和上述合成静止图像的第二合成步骤。
21.一种程序，它是在计算机中进行对动态图像和多个静止图像合成后生成合成图像的处理用的程序，其特征在于由以下步骤构成取得包括图像合成顺序的合成信息、即求出合成前各图像对上述合成图像的合成比率用的上述合成信息、以及上述多个静止图像的第一取得步骤；根据上述合成信息合成上述多个静止图像，生成一个合成静止图像的第一合成步骤；根据上述合成信息，求出上述多个动态图像分别对上述合成图像的合成比率的计算步骤；取得构成上述动态图像的各帧的第二取得步骤；以及用上述动态图像的合成比率，合成上述各帧和上述合成静止图像的第二合成步骤。
全文摘要
一种合成动态图像和多个静止图像后生成合成图像的图像合成装置(100),备有:取得包括图像合成顺序的合成信息、即求出合成前各图像对上述合成图像的合成比率用的上述合成信息和上述多个静止图像的第一取得装置(103);根据上述合成信息合成上述多个静止图像,生成一个合成静止图像的第一合成装置(108);根据上述合成信息,求出上述多个动态图像分别对上述合成图像的合成比率的计算装置(109);取得分别构成上述多个动态图像的各帧的第二取得装置(105);以及用上述多个动态图像各自的合成比率,合成上述各帧和上述合成静止图像的第二合成装置(110)。因此能与动态图像的再生速率一致地、实时地生成合成图像。
文档编号H04N5/445GK1365571SQ01800667
公开日2002年8月21日 申请日期2001年1月24日 优先权日2000年1月24日
发明者胁康, 盐见隆一 申请人:松下电器产业株式会社