图像合成方法、图像合成装置、以及数据记录媒体的制作方法

专利名称：图像合成方法、图像合成装置、以及数据记录媒体的制作方法
技术领域：
本发明涉及图像合成装置、图像合成方法以及数据记录媒体，特别是涉及把具有形状的图像与其他图像进行合的处理，以及存储通过软件实现该合成处理的程序的记录媒体。
近年来，统一处理声音、图像、其它数据的多媒体时代来临了，把以往的信息媒体即报纸、杂志、电视、无线电、电话等的信息传达到人的手段都采纳为多媒体的对象。一般来说，所谓多媒体是把不仅是文字，还有图形、声音、特别是图像等进行同时相关表示，然而，当把上述已有的信息媒体作为多媒体的对象时，其必要条件是以数字形式表示该信息。
在把上述各信息媒体所具有的信息量作为数字信息量进行估计时，对于字符的情况，平均1字符的信息量是1～2字节；对于声音的情况，平均1秒是64kb(电话质量)；对于动画来说，平均1秒100Mb(现行电视接收质量)以上的信息量是必要的，但仍然用数字的形式处理电视等信息媒体的极大量信息是不现实的。目前，通过具有比方说64Kbps～1.5Mbps传送速度的服务综合数字网(ISDN:Integrated Services Digital Network)的电视电话已经实用化了，但是电视摄像机的图像不可能仍用ISDN传送。
必要的措施是信息压缩技术，例如，对于电视电话，在IUT-T(国际电气通信联合、电气通信标准化部门)的国际标准化H.261标准的动画压缩技术已经被采用了。当采用MPEGl标准的信息压缩技术时，即可在通常音乐用CD(光盘)上装入声音信息和图像信息。
所谓MPEG(Moving Picture Experts Group)是活动图像的数据压缩国际标准，在MPEG1，动画数据可达1.5Mbps，即电视信号信息被压缩到约100分之1。作为MPEG1标准的对象的传送速度，主要限制在约1.5Mbps，而满足高图像质量要求的标准化MPEG2，可压缩动画数据使其传送速度达2～15Mbps，实现当前的电视质量。
目前，按照以MPEG1、MPEG2进行标准化的操作组合(ISO/IEC JTC1/SC29/WG11)，可对单位物体进行图像信息的编码及操作，实现多媒体时代的必要的新功能的MPEG4正在被标准化。
MPEG4的特征之一是对于多个物体(目标)例如对表示图23所示的前景图像(目标)102及背景图像(目标)100的图像信号，可分别进行编码处理。与上述各物体对应的图像信号由表示各物体形状(shape)的形状信号和表示各物体图案(texture)的结构信号构成。在上述图像信号的编码处理时，对形状信号的编码处理和结构信号的编码处理，由各自的编码方法进行。
上述结构信号由表示物体图像亮度信息的亮度信号和表示物体图像颜色信息的色差信号构成。该色差信号其分辨率与亮度信号的分辨率是不同的。也就是说，构成由亮度信号得到的图像空间的各像素大小(在表示画面上占据的1像素面积)为在由色差信号得到的图像空间中1像素大小的1/4。该亮度信号及色差信号由对应于各图像空间中的各像素的像素值构成。
上述形状信号其分辨率与亮度信号的分辨率是一样的，也就是说，构成由上述形状信号得到的图像空间的1像素大小与构成由上述亮度信号得到的图像空间的1像素大小是一样的。该形状信号由对应于该图像空间的各像素的像素值构成。
对于包围画面上一个物体的领域(以下称为目标领域)的亮度信号和形状信号存在相同数量的像素值。
在以下的说明中，根据需要把由亮度信号、色差信号、以及形状信号得到的图像空间称为亮度空间、颜色空间、以及形状空间；把构成亮度空间、颜色空间、以及形状空间的像素称为亮度像素、颜色像素、以及形状像素、把亮度像素、颜色像素、以及形状像素的像素值称为亮度数据、色差数据、以及形状数据。对应于1个目标的图像信号，也就是由形状信号、亮度信号、以及色差信号形成的形状空间、亮度空间、以及颜色空间，其基准位置及尺寸的一致性是不言而喻的。
该形状信号的像素值由「0值」和「非0值」表示时，像素值具有「0值」的形状像素位于形状空间的物体的图像外，像素值具有「非0值」的形状像素位于形状空间的物体的图像内。
另一方面，在译码时，如图23所示，对与各物体(前景图像及背景图像)对应的编码信息(编码结构信号及编码形状信号)进行译码，用被译码的形状信号，在前景图像100和背景图象102间进行结构信号的合成处理，重现合成图像106。在图23中，104是由上述形状信号得到的物体的形状。该结构信号的合成处理，由亮度信号的合成处理和色差信号的合成处理来进行。
如上所述，由于色差信号的分辨率是亮度信号和形状信号分辨率的1/4，因此色差信号的合成处理不能仍使用已译码的形状信号(以下称为变换前形状信号)，必须变换该形状信号的分辨率，生成对应于色差信号分辨率的形状信号(以下称为变换后形状信号)。
在MPEG4中，该形状信号的分辨率变换方法，采用MPEG-4Video VerificationModel Ver8.0(ISO/IEC JTC1/SC29/WG11 N1796.pp17)中记载的方法。
从以下的详述可知，由于如上所述的色差信号分辨率是形状信号分辨率的1/4，则颜色空间的1像素对应于与由变换前形状信号得到的图像空间相邻接的4像素。由于译码的形状信号的分辨率进行了对应于色差信号分辨率的变换，则上述颜色空间1像素将对应于由变换后形状信号得到的图像空间的1像素。
采用上述分辨率变换方法，当与1个颜色像素对应的4个形状像素中的1个具有非「0值」像素值。换句话说，当与某个颜色像素对应的4个形状像素中的1个，其像素值是「非0值」的形状像素时，与由上述变换后形状信号得到的图像空间上的上述某个颜色像素对应的1个形状像素的像素值也是「非0值」。
下面用图23具体说明上述图像合成方法。
首先说明取像素值为「0值」或「非0值」的2值信号的合成处理。
在参照该形状信号将上述前景图像102的亮度信号与背景图像100的亮度信号进行合成的情况下，对于与像素值是「非0值」的形状像素(即位于形状空间104中涂黑表示部分之内的像素)对应的亮度像素，可把前景图像的像素值作为合成像素的像素值。对于与像素值具有「0值」的形状像素(即位于形状空间104中涂黑表示部分之外的像素)对应的亮度像素，可把背景图像的像素值作为合成图像的像素值。这样的合成处理，对于色差信号来说，同样可用上述变换后形状信号来进行。
下面说明上述形状信号其像素值是具有0、1,2,3,……255之一值的多值信号情况下的合成处理。
在参照该形状信号将上述前景图像102的亮度信号与背景图像100的亮度信号进行合成的情况下，对应于具有将上述多值信号的最小值作为像素值的形状像素的合成图像的亮度像素，其像素值具有背景图像的像素值；对应于具有将上述多值信号的最大值作为像素值的形状像素的合成图像的亮度像素，其像素值具有前景图像的像素值。
在形状信号是多值信号情况下的色差信号的合成处理也可按上述亮度信号的合成处理同样进行，对应于具有将进行了分辨率变换后形状信号的最大值或最小值作为像素值的形状像素的合成图像的颜色像素，其像素值具有前景图像或背景图像的像素值。这种情况下，可把与某1个颜色像素对应的4个形状像素的像素值平均值。作为与由变换后的形状信号得到的图像空间上的上述某1个颜色像素对应的1个形状像素的像素值。
形状信号是多值信号的情况应进行与形状信号是2值信号的情况不同的分辨率变换处理。也就是说，对于上述形状信号其像素值为上述多值信号，具有最大值和最小值的中间值的情况，把形状数据(形状信号的像素值)作为加权系数，在前景图像和与其对应的背景图像之间，取结构信号(亮度信号，色差信号)像素值的加权平均值，求出合成像素的像素值。这样，即可透过前景图像表示背景图像。
下面表示出进行上述加权平均的演算式的例子。
Pel=(alpha×fgpel+(MAX-alpha)×bgpel)/MAX…(公式1)其中，公式1各要素如下所示。
Pel合成后的像素值Alpha相对于前景图像像素值的合成比率(形状数据)Fgpel前景图像的像素值(亮度数据或者色差数据)bgpel背景图像的像素值(亮度数据或者色差数据)MAX形状信号的最大值在alpha具有0到255的值时，MAX为255。这里，从上述公式1求得加权平均值的演算包含整理演算结果的处理，公式1的演算可把演算结果中小数点以下部分舍去。
求得上述加权平均值的演算，使预定的前景图像的像素值(亮度数据或色差数据)乘以与其对应的形状信号的像素值(形状数据)，也是削减公式1中乘法的方法。这时，公式1由下述公式2表达，pel=fgpel’+(1-alpha’)×bgpel…(公式2)alpha’相对于前景图像像素值的合成比率(形状数据)
fgpel’乘alpha’后的前景图像像素值(亮度数据或色差数据)把alpha’取为0/255到255/255值。
若上述公式2为fgpel’=fgpel×alph’，可得到与上述公式1的MAX=1情况下相同的演算结果。
然而，在用2值形状信号进行前景图像和背景图像的合成处理时，在合成图像的前景图像和背景图像的边界部分，若像素的像素值(亮度数据和色差数据)取为相差悬殊的值时，则边界存在不自然的问题。
用图24的示例说明这个问题。
在图24(a)表示合成上述前景图像和背景图像得到的合成图像106，图24(b)是电视摄像机提高后表示包含在该合成图像中的前景图像和背景图像边界的所定尺寸(8×8像素)的领域200，特别表示上述领域200包含的各像素。
如图24(b)所示，在合成图像106的前景图像和背景图像的边界部分，例如在像素204和像素206之间，若两像素的像素值取为相差悬殊的值时，可看到边界是不自然的。
图25(a)是由前景图像的形状信号得到的图像，用像素单位表示相当于上述合成图像106内的边界一部分200的部分300。在图25(b)上，该部分300中的1像素行302包含的各像素像素值(形状数据)，表示在以横轴为像素位置、纵轴为形状数据值的座标平面上。这里，各像素的形状数据的取值为0到255。
根据该形状信号，进行该形状像素对应的前景及背景像素的像素值的合成处理时，可得到对应于构成合成图像的各像素(合成像素)的像素值。这时，像素值不是0的形状像素对应的合成像素，其像素值具有对应的前景像素的像素值或者上述前景及背景像素值的加权平均值。另一方面，像素值是0的形状像素对应的合成像素，其像素值具有对应的背景像素的像素值。
这时，在边界部分306，前景像素和背景像素的像素值具有不连续值时，例如在上述边界部分，前景像素的像素值(亮度数据和色差数据)和背景像素的像素值(亮度数据和色差数据)为极端不同值时，则在合成图像的表示画面上，可以看到在上述边界部分的前景图像和背景图像的表示是不自然的。
因此，适当处理边界部分的像素的像素值或者合成时使用的合成比率，使其看不到合成图像的不自然的边界部分是必要的。
当形状信号和结构信号的分辨率不同时，采用形状信号在前景图像和背景图像之间进行结构信号的合成，再把由上述结构信号的合成得到的合成图像变换为必要的画面尺寸(分辨率)，图像质量将出现劣化。
下面用图26、27说明这种图像劣化产生的情况。
图26是用4×4像素的像素值构成的形状信号，对由2×2像素的像素值构成的前景图像及背景图像进行合成处理的概念表示图，图27是表示上述合成处理以及对合成处理得到的图成图像的结构信号进行分辨率变换处理的方框图。
已往的处理中，第1输入端子2600输入前景图像的形状信号2500，第2、第3输入端子2602、2604输入前景图像的色差信号2504、背景图像的色差信号2506。
MPEG4使用的图像格式，其色差信号的分辨率是亮度信号或形状信号分辨率的1/4，形状信号2500其分辨率可由与色差信号对应的分辨率变换部件2606进行分辨率变换。
用经分辨率变换的形状信号2502，输入的前景图像的色差信号2504和背景图像的色差信号2506的合成处理由像素合成部件2608进行。由于合成的色差信号2508与上述亮度信号的分辨率不同，则在表示时，已合成的色差信号2508通过分辨率变换部件2610，其分辨率变换为与对应的亮度信号相同的分辨率，分辨率变换后的合成色差信号2510从输出端子2620输出。
通常，通过分辩率变换而追加的素值，可以根据与具有该追加像素值的像素相邻接的像素的像素值算出来，然而，将经分辨率变换的合成色差信号2510的各个像素值与分辨率变换前的形状信号2500的物体内部分(黑色)以外的像素的像素值进行比较可见，对于上述合成色差信号2510，物体外的像素也具有物体内像素的像素值。
其结果是根据上述色差信号表示的图像变得模糊了。
由于上述结构信号的合成产生的图像质量的劣化，不仅是色差信号，在进行亮度信号合成处理，分辨率变换时，因同样的理由，重放图像在边界部分也存在图像质量劣化的问题。
本发明是为了解决上述问题而研制的，其目的在于提供了可提高合成图像边界部分图像质量的图像合成装置和图像合成方法，以及存储通过软件实现用该合成方法的图像合成处理的程序的数据记录媒体。
本发明(方案1)的图像合成方法是合成包含形成含有任意形状物体的第1图像空间的表示上述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2图像信号，生成形成第3图像空间的合成图像信号的一种方法，包括在上述第1图像空间，通过对位于包含被处理像素的对象领域内的像素形状信号的演算处理，算出对于上述被处理像素的结构信号合成比率的合成比率算出步骤；根据该算出的合成比率，在上述被处理像素和与其对应的第2图像空间的对应像素之间，进行这些像素的结构信号的合成处理的像素合成步骤，把该合成的结构信号作为在上述第3图像空间对应于上述被处理像素的像素结构信号而使用。
本发明(方案2)是在方案1记载的图象合成方法中，根据上述第1图像空间的各像素的形状信号，包含判定该各像素是否位于上述物体内的形状判定步骤，在上述合成比率算出步骤，当上述判定结果是上述被处理像素位于物体内时，用上述对象领域的像素形状信号算出上述合成比率。
本发明(方案3)是在方案1记载的图像合成方法中，根据上述第1图像空间的各像素的形状信号，包含判定该各像素是否位于上述物体内部的形状判定步骤，在上述合成比率算出步骤，当上述判定结果是上述被处理像素位于物体内时，按照上述对象领域的像素形状信号的加法平均值算出上述合成比率。
本发明(方案4)是在方案1记载的图像合成方法中，在上述合成比率算出步骤，对上述形状信号的演算处理，应根据在该演算处理中乘数或除数为2的乘方数的变形演算式来进行。
本发明(方案5)的图像合成方法是合成包含形成含有任意形状物体的第1图像空间的表示上述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2图像信号，生成形成第3图像空间的合成图像信号的一种方法，包括根据上述第1图像空间的各像素的形状信号，判定该各像素是否位于上述物体内部的形状判定步骤；当上述判定结果是上述对象像素位于物体内时，根据上述对象领域的像素位于物体内的个数，算出对上述被处理像素的结构信号的合成比率的合成比率算出步骤；根据该算出的合成比率，在上述被处理像素和与其对应的第2图像空间的对应像素间，进行这些像素的结构信号合成处理的像素合成步骤，把该合成的结构信号作为在上述第3图像空间的与上述被处理像素对应的像素结构信号而使用。
本发明(方案6)的图像合成方法是合成包含形成含有任意形状物体的第1图像空间的表示上述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2图像信号，生成形成第3图像空间的合成图像信号的一种方法，包含根据上述第1图像空间的各像素的形状信号，判定该各像素是否位于上述物体内部的形状判定步骤；在上述第1图像空间，根据位于含有被处理像素的对象领域内的像素形状信号，算出对于上述被处理像素的结构信号的合成比率的合成比率算出步骤；当上述形状判定结果是上述被处理像素位于物体外时，则将上述被处理像素的结构信号置换为根据上述对象领域内像素结构信号的加法平均值得到的结构信号的像素信息生成步骤；根据该算出的合成比率，在上述被处理像素和与其对应的第2图像空间的对应像素间，进行这些像素的结构信号的合成处理的像素合成步骤，把该合成的结构信号作为在上述第3图像空间的与上述被处理像素对应的像素结构信号而使用。
本发明(方案7)是在方案6记载的图像合成方法中，在上述合成比率生成步骤，算出上述对象领域包含的像素的形状信号平均值作为上述合成比率。
本发明(方案8)是在方案6记载的图像合成方法中，在上述像素信息生成步骤，将上述被处理像素的结构信号置换为上述对象领域所包含的像素中位于物体内的像素结构信号的平均值。
本发明(方案9)是在方案5或方案6记载的图像合成方法中，在上述合成比率算出步骤，预先根据上述对象领域内的像素中位于物体内的像素个数进行计算，再根据从位于该对象领域内的像素形状信号得到的物体内的像素个数，从上述表格求出已存储在表格中的合成比率。
本发明(方案10)是在方案1或方案6记载的图像合成方法中，在上述像素合成步骤，参照存储了上述合成比率值和结构信号值的所有组合的该两者相乘结果的表格，求出上述第3图像空间的与上述被处理像素对应的像素结构信号。
本发明(方案11)是在方案5或方案6记载的图像合成方法中，在上述像素合成步骤，参照存储了位于上述对象领域的物体内的像素数和结构信号值的所有细合的该两者相乘结果的表格，求出上述第3图像空间的与上述被处理像素对应的像素结构信号。
本发明(方案12)的图像合成方法是合成包含形成含有任意形状物体的第1图像空间的表示上述物体形状的形状信号和表示物体图案的结构信号的第1译码图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2译码图像信号，生成形成第3图像空间的合成图像信号的一种方法，包括在上述第1图像空间，通过对位于包含被处理像素的对象领域内的像素形状信号的演算处理，算出对上述被处理像素的结构信号合成比率的合成比率算出步骤；以及根据该算出的合成比率，在上述被处理像素和与其对应的第2图像空间的对应像素之间，进行这些像素的结构信号的合成处理的像素合成步骤，在该像素合成步骤，当与上述第1译码图像信号对应的编码图像信号生成时，参照该编码图像信号所付加的付加信息，转换上述合成处理的结构信号的合成方法。
本发明(方案13)是在方案12记载的图像合成方法中，把上述付加信息作为表示上述对象领域尺寸的信息。
本发明(方案14)的图像合成方法是合成包含形成含有任意形状物体的第1图像空间的表示上述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2图像信号，生成形成第3图像空间的合成图像信号的一种方法，包含根据上述第1图像空间的各像素的形状信号，检出上述物体的边界位置的边界检出步骤；在上述第1图像空间，根据位于包含被处理像素的对象领域内的像素形状信号，仅对位于上述物体边界附近的该物体内及物体外的像素，进行上述被处理像素的结构信号合成比率的算出处理的合成比率算出步骤；对于上述边界附近的像素，根据该算出的合成比率，在上述被处理像素和其对应的第2图像空间的对应像素间进行这些像素的结构信号的合成处理，对于上述边界附近以外的像素，根据这些像素的形状数据，在上述被处理像素和与其对应的第2图像空间的对应像素间进行这些像素的结构信号的合成处理的像素合成步骤，将该合成的结构信号作为上述第3图像空间的与上述被处理像素对应的像素的结构信号。
本发明(方案15)的图像合成方法是合成包含形成含有任意形状物体的第1图像空间的表示上述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2图像信号，生成形成第3图像空间的合成图像信号的一种方法，包括根据表示上述物体的尺寸以及在第1图像空间的该物体的位置的附加信息，对位于物体内或物体外的物体边界附近的特定像素，在上述第1图像空间的被处理像素和与其对应的第2图像空间的对应像素间进行这些像素的结构信号的合成处理，并对上述第1图像空间的特定像素以外的周边像素，把这些周边像素对应的第2图像空间的像素的结构信号，作为在上述第3图像空间的与上述周边像素对应的像素的结构信号的像素合成步骤，在上述第3图像空间，采用由上述像素合成步骤的合成处理得到的结构信号，作为对应于上述特定像素的像素的结构信号。
本发明(方案16)的图像合成方法是合成包含形成含有任意形状物体的第1图像空间的表示上述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2图像信号，生成形成第3图像空间的合成图像信号的一种方法，包括当构成上述第1图像信号的结构信号和形状信号的分辨率不相等时，对该结构信号进行分辨率变换处理，以使其分辨率与该形状信息的分辨率相等的分辨率变换步骤；用进行了上述分辨率变换处理的结构信号和上述形状信号，进行上述第1图像信号和第2图像信号的合成处理的图像合成步骤。
本发明(方案17)的图像合成方法合成包含形成含有任意形状物体的第1图像空间的表示上述物体形状的形状信号和表示物体图像的结构信号的第1图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2图像信号，生成形成第3图像空间的合成图像信号的一种方法，包括当构成上述第1图像信号的结构信号的分辨率、构成第2图像信号的结构信号的分辨率、图像表示构成合成图像信号的结构信号的表示分辨率不相同时，对上述第1、第2图像信号的结构信号进行分辨率变换处理，以使其分辨率与上述表示分辨率相等的分辨率变化步骤；用进行了上述分辨率变换处理的上述第1、第2图像信号的结构信号，进行上述第1图像信号和第2图像信号的合成处理的图像合成步骤。
本发明(方案18)的图像合成方法是合成包含形成含有任意形状物体的第1图像空间的表示上述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图象空间的表示图象图案的结构信号的第2图象信号，生成形成第3图像空间的合成图像信号的一种方法，包括第1图象合成处理，含有在上述第1图象空间，根据位于含有被处理像素的对象领域内的像素的形状信号，算出对于上述被处理像素的结构信号的合成比率的合成比率算出步骤、和根据该算出的合成比率，在上述被处理像素和与其对应的第2图像空间的对应像素间，进行这些像素的结构信号的合成处理的像素合成步骤，把该合成的结构信号，在上述第3图像空间，作为与上述被处理像素对应的像素的结构信号而使用；第2图象合成处理，含有在上述第1图像空间的被处理像素和与其对应的第2图像空间的对应像素间，以与上述第1图像合成处理的合成比率不同的比率，进行这些像素的结构信号的合成处理的像素合成步骤，把该合成的结构信号，在上述第3图像空间，作为与上述被处理像素对应的像素的结构信号而使用，在上述第1图像空间，根据位于含有被处理像素的对象领域内的像素形状信号，转换上述第1及第2图像合成处理本发明(方案19)是在方案18记载的图像合成方法中，上述第2图像合成处理在上述像素合成步骤，把上述第1图像空间的物体内被处理像素的结构信号，在上述第3图像空间，作为与上述被处理像素对应的像素的结构信号而用，与上述第1图象空间的物体外被处理像素相对应，把第2图像空间的对应像素的结构信号，在上述第3图像空间，作为与上述被处理像素对应的像素的结构信号而用。
本发明(方案20)的图像合成装置是合成包含形成含有任意形状物体的第1图像空间的表示上述物体形状的形状信号和表示物体图案的结构信号的第1译码图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2译码图像信号，生成形成第3图像空间的合成图像信号的一种装置，包括在上述第1图像空间，通过对位于含有被处理像素的对象领域内的像素形状信号的演算处理，对上述被处理像素的结构信号算出合成比率的合成比率算出部件；根据该算出的合成比率，在上述被处理像素和与其对应的第2图像空间的对应像素间，进行这些像素的结构信号的合成处理的像素合成部件，该像素合成部件在上述第1译码图像信号对应的编码图像信号生成时，参照该编码图像信号所附加的附加信息，转换上述合成处理的结构信号的合成方法。
本发明(方案21)的图像合成装装置是合成包含形成含有任意形状物体的第1图像空间的表示上述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2图像信号，生成形成第3图像空间的合成图像信号的一种装置，包括根据上述第1图像空间的各像素的形状信号，检出上述物体的边界位置的边界检出部件；在上述第1图像空间，根据位于含有被处理像素的对象领域内的像素形状信号，仅对位于上述物体边界附近的物体内及物体外的像素，进行上述被处理像素的结构信号合成比率算出处理的合成比率算出部件；对上述边界附近的像素，根据该算出的合成比率，在上述被处理像素和与其对应的第2图像空间的对应像素间，进行这些像素的结构信号的合成处理，对上述边界附近以外的像素，根据这些像素的形状数据，在上述被处理像素和与其对应的第2图像空间的对应像素间，进行这些像素的结构信号的合成处理的像素合成部件，把该合成的结构信号，在上述第3图像空间，作为与上述被处理像素对应的像素的结构信号而用。
本发明(方案22)的图像合成装置是合成包含形成含有任意形状物体的第1图像空间的表示上述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2图像信号，生成形成第3图像空间的合成图像信号的一种装置，包括像素合成部件，能根据表示上述物体的尺寸和在第1图像空间的该物体的位置的付加信息，对位于物体内或物体外的物体边界附近的特定像素，在上述第1图像空间的被处理像素和与其对应的第2图像空间的对应像素间，进行这些像素的结构信号的合成处理，并对上述第1图像空间的特定像素以外的周边像素，把这些周边像素对应的第2图像空间的像素的结构信号，在上述第3图像空间，作为上述周边像素对应的像素的结构信号，在上述第3图像空间，把通过上述像素合成步骤的合成处理得到的结构信号，作为与上述特定像素对应的像素的结构信号而用。
本发明(方案23)的图像合成装置是合成包含形成含有任意形状物体的第1图像空间的表示上述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2图像信号，生成形成第3图像空间的合成图像信号的一种装置，包括当构成上述第1图像信号的结构信号和形状信号的分辨率不相等时，对该结构信号进行像清晰度变换处理，以使其分辨率与该形状信息的分辨率相等的分辨率变换部件；用进行了上述分辨率变换处理的结构信号和上述形状信号，进行上述第1图像信号和第2图像信号的合成处理的图像合成部件。
本发明(方案24)的图像合成装置是合成表示形成含有任意形状物体的第1图像空间的包含上述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2图像信号，生成形成第3图像空间的合成图像信号的一种装置，包括当构成上述第1图像信号的结构信号的分辨率、构成第2图像信号的结构信号的分辨率、图像表示构成合成图像信号的结构信号的表示分辨率不同时，对上述第1、第2图像信号的结构信号，进行分辨率变换处理，以使其分辨率与上述表示分辨率相等的分辨率变化部件；用进行了上述分辨率变换处理的上述第1、第2图像信号的结构信号，进行上述第1图像信号和第2图像信号的合成处理的图像合成部件。
本发明(方案25)的图像合成装置是合成包含形成含有任意形状物体的第1图像空间的表示上述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2图像信号，生成形成第3图像空间的合成图像信号的一种装置，包括第1图象合成处理部和第2图象合成处理部，第1图象处理部有根据上述第1图像空间的位于含有被处理像素的对象领域内的像素形状信号，算出上述被处理像素的结构信号的合成比率的合成比率算出部件；以及根据该算出的合成比率，在上述被处理像素和与其对应的第2图像空间的对应像素间，进行这些像素的结构信号的合成处理的第1像素合成部件，把该合成的结构信号，在上述第3图像空间，作为与上述被处理像素对应的像素的结构信号输出，第2图象合成处理部有在上述第1图像空间的被处理像素和与其对应的第2图像空间的对应像素间，以与上述第1图像合成处理的合成比率不同的比率，进行这些像素的结构信号的合成处理的第2像素合成部件，把该合成的结构信号，在上述第3图像空间，作为与上述被处理像素对应的像素的结构信号输出，并根据上述第1图像空间的位于含有被处理像素的对象领域内的像素的形状信号，转换上述第1及第2图像合成处理。
本发明(方案26)的数据存储媒体是存储由计算机进行图像合成处理的程序的数据存储媒体，上述程序是存储了根据方案1到方案19任一项记载的图像合成方法，由计算机进行图像合成处理的图像合成程序。


图1是说明本发明实施例1的图像合成方法的处理流程图。
图2是说明上述实施例1的图像合成方法的概念图。
图3是说明本发明实施例2的图像合成方法的概念图。
图4是说明本发明实施例3的图像合成方法的处理流程图。
图5是说明上述实施例3的图像合成方法的概念图。
图6是说明本发明实施例4的图像合成方法的模式图。
图7是说明本发明实施例5的图像合成方法的图。
图8是说明上述实施例5的变形例的图像合成方法的图。
图9是表示本发明实施例6的图像合成方法中使用的位流的数据构造的图。
图10是表示存储了由计算机系统实现用本发明各实施例的图像合成方法的处理程序的数据存储媒体的图。
图11是表示上述实施例6变形例的图像合成装置的构成方框图。
图12是说明本发明实施例7的图像合成方法的概念性模式图。
图13是表示上述实施例7的图像合成装置的方框图。
图14是说明上述实施例7的图像合成方法的变形例的概念图。
图15是表示上述实施例7的变形例的图像合成装置方框图。
图16是说明本发明实施例8的图像合成方法的概念图。
图17是说明上述实施例8的图像合成方法的概念图。
图18是表示上述实施例8的图像合成装置的方框图。
图19是说明本发明实施例9的图像合成方法的模式图。
图20是说明上述实施例9的图像合成方法的模式图。
图21是表示上述实施例9的图像合成装置的方框图。
图22是表示本发明实施例6的图像合成装置的构成方框图。
图23是说明在已有的图像合成处理中合成多个图像的处理图。
图24是说明由图23所示的图像合成处理方法合成的图像。
图25是表示与图24所示合成图像对应的形状数据的模式图。
图26是说明在已有的图像合成方法中合成图像并进行分辨率变换的处理图。
图27是表示进行图26所示分辨率变换处理的装置的方框图。
图28是表示本发明实施例8的图像合成装置的方框图。
下面对本发明的实施例进行说明。实施例1本发明实施例1的图像合成方法是接受与多个物体图像对应的图像信号，参照与各图像对应的形状信号，进行图像信号的合成处理的一种方法，对各物体图像的边界内侧，也就是对在物体内与图像边界相邻的像素的形状数据(形状信号像素值)进行平滑处理后，对上述各物体的图像信号进行合成处理，即可提高合成图像的质量。
图1是本发明实施例1的图像合成方法的处理流程图。图2是表示图1所示步骤110的具体处理的模式图。
在图2(a)中，302是以在图25所示物体边界部分的1行的像素300对应的形状数据是把横轴作为图像的像素位置、把纵轴作为像素的形状数据值在座标上表示的。这里，形状数据取0～255的任一值作为多值数据。
下面，对在形状数据302内的与物体内的物体边界相邻接的边界像素(被处理像素)的形状数据500，说明进行像素值变换处理的情况。
首先，在未处理图像判定步骤402，判定是否有剩余的未处理像素，在有剩余的情况下，则在形状数据输入步骤404，输入作为处理对象的前景像素(被处理像素)的形状数据。如果没有剩余未处理像素，则终止合成处理(步骤S414)。
其次，在形状数据判定步骤406，判定作为处理对象的前景像素的形状数据500是否为0值。当其判定结果的形状数据是0值时，则在背景像素输出步骤408，把对应于作为对象的前景的像素位置的背景像素的像素值(结构数据)，作为合成像素的结构数据输出，对作为对象的前景像素，终止合成处理。
当合成像素的结构数据的输出目的地是背景像素的结构数据的存储部时，上述步骤408的处理为无处理。
当在上述步骤406的判定结果是作为对象的前景像素的形状数据500为非0值时，则在形状数据算出步骤(合成比率算出步骤)410，用在规定领域。也就是用在包含作为处理对象的对象像素的规定尺寸领域(对象领域)内的所有像素的形状数据，使用规定的方法算出作为处理对象的前景像素的形状数据。上述对象领域如图2(b)所示，是包含物体的图像边界部500的黑粗线包围的领域，是上述对象像素位于中心的是由3×3像素组成的领域502。
在该对象领域包含的像素的配置，不限于3×3像素，也可以是用M×N(M、N是自然数)表示的像素配置，还可以根据进行合成的前景图像变更上述对象领域的像素配置(纵横尺寸、像素数等)。对构成结构数据的亮度数据及色差数据分别处理时，也可以改变对象领域的像素配置。
算出上述形状数据的具体方法是对对象领域502内的9像素具有的形状数据进行加法平均，把该加法平均值作为被处理像素的形状数据。这样，被处理像素506的形状数据504如图2(a)所示，电平504变小了。
采用这种方法，考虑对象领域500内的像素的形状数据，算出被处理像素的形状数据，可以使在物体的图像边界两侧并列的多个像素的形状数据的变化缓慢。
最后，在图像合成步骤412，把如上所述算出的形状数据504，作为结构数据合成时使用的合成比率，对作为对象的前景像素和背景像素的结构数据，用上述式1进行加权平均处理，把在前景图像和背景图像间的合成的结构数据，作为与对象像素对应的合成图像的像素的结构数据输出。
根据本实施例1，仅用在物体图像内侧与其边界相邻的像素的形状数据，进行使该边界附近的像素的形状数据的分布平滑的形状数据平滑处理，把由该平滑化得到的形状数据作为合成比率，在位于边界内侧附近的前景像素和与其对应的背景像素间，进行结构数据的合成。可以提高合成图像的前景图像和背景图像边界部分的图像质量。
在上述实施例1中，形状数据可以是随机选取的0～255中的任一个值的多值数据，也可以是具有0值、非0值中任一个值的2值数据。
例如，在该形状数据具有0值、非0值中的任一个值的2值数据时，如图2(c)的表508所示，上述对象领域502内的像素的形状数据求出非0值的像素数，在用该对象领域502内的像素数(range-count)除具有非0值的像素数(count)得到的值(count/range-count)上，乘以非0值的形状数据(alpha value)，则可算出被处理像素的形状数据。这里，对于表508的式中使用的alpha-value，在图2的例子中为255，但不限于此，也可以取0～255范围内的中间值的值。
当上述形状数据是上述多值数据时，也可以把对象领域内的各像素的形状数据的加法平均值作为被处理像素的形状数据。实施例2图3是说明实施例2的图像合成方法的附图，以模式图表示该合成方法的合成比率算出步骤410的处理。
实施例2的图像合成方法是在上述实施例1的图像合成方法的合成比率算出步骤410的形状数据算出时，进行追加处理，以使位于边界部分附近的像素的合成比率分布更平滑。其他的处理与实施例1所述的处理顺序完全一样，省略说明。
在图3(a)中，300、302、500、502分别与图25及图2所示的相同。
在实施例2的合成比率算出步骤410，进行变更位于物体边界内的像素的合成比率(形成数据)的处理。在含有被处理像素的对象领域(3×3像素组成的领域)的像素排列图形，除了图3(a)所示3×3像素组成的对象领域502的图形外，大部分是图3(d)所示的像素排列610、612、614的图形。
对于具有这种像素排列图形的对象领域。算出形状数据是非0值的像素的个数，在该算出的个数取一定数以下值的情况下，把被处理像素的形状数据作为0，在除此以外的情况下(算出的个数超过一定数)，被处理像素的形状数据取从0到形状数据的最大值(图3(b)的255)的中间值进行变换。
具体地说，用图3(c)的表608所示的条件式，进行被处理像素的合成比率(形状数据)的计算。
根据表608所示的条件式，在包含被处理像素的对象领域内的具有非0值的形状数据的像素的像素数在表示阈值以下值的情况下，使被处理像素的合成比率(形状数据)为0值，在除此以外的情况下，用具有包含在对象领域内的非0值形状数据的像素个数，以及包含在对象领域内的所有像素的个数，进行使被处理像素的形状数据从0值到非0值(图3(b)的255)的中间值的合成比率的计算。根据该条件式，可以变更与位于物体图像边界的像素对应的合成比率值，可以提高使前景图像和背景图像叠加的合成图像的前景图像边界部分的图像质量。
在表608所示条件式中使用的阈值threshold根据上述对象领域的大小而变更。
在上述表608的条件式中使用的alpha-value，在图3的例子中为255，但也可以取0～255的中间值。
在本实施例2，在包含物体边界的对象领域内，判定形状数据为非0值的像素数，对位于物体边界部分的像素的形状数据进行处理，以使其值(即合成比率的值)的变化更平滑，用得到的合成比率进行前景和背景的合成。可进一步提高合成图像的前景图像和背景图像的边界部分的图像质量。实施例3图4是说明本发明实施例3的图像合成方法的附图，表示该实施例3的图像合成方法的处理流程。图5(a)～5(e)是模式地表示图4所示形状信息生成步骤710以及像素信息生成步骤714的处理图。
本实施例3的图像合成方法是接受多个物体的图像信号，进行图像信号的合成处理的方法，参照边界像素的形状数据，通过平滑化处理，对前景图像边界部分的像素求出合成比率，用到的合成比率，在前景图像和背景图像间进行结构信号的合成。这时，用边界内像素的结构数据，生成上述前景图像的边界外像素的结构数据，以达到合成图像质量的提高。
在图5中，302是包含图25所示领域300的边界部分的1行的像素，对位于该1行像素302内的物体边界外侧的边界像素306，说明进行形状数据变换处理的情况。将上述领域300，即在包含形状空间的物体边界的领域对应的结构空间的领域800，表示在图5(d)。
首先，在未处理像素判定步骤702，判定未处理像素是否存在。存在时，在像素输入步骤704，输入将作为对象的前景像素为中心的对象领域(在图4中记述为所定领域)内的像素的结构数据及形状数据。这里，306是作为处理对象的形状像素(被处理像素)，804是该形状像素对应的结构像素(在结构空间的像素)。所谓对象领域是在以上述像素306、804为中心的形状空间及结构空间中所定尺寸的领域。
在图5(b)、(d)，这些领域802、806表示由相域围成的3×3像素组成的领域。该领域不限于由3×3像素组成。也可以由M×N(M、N是自然数)像素组成。还可以随进行合成的前景图像，变更大小(领域的纵横尺寸、像素数等)。在构成上述结构数据的亮度数据及色差数据分别处理时，也可以根据情况使上述所定领域的尺寸有所不同。
其次，在形状信息判定步骤706，判定将作为处理对象的前景像素为中心的对象领域802内的任一像素是否具有非0值的形状数据。当任一像素不具有非0值的形状信息时，在背景像素输出步骤708，把作为处理对象的前景像素804对应的背景像素的结构数据，作为合成像素的结构数据输出。这里，当合成像素的结构数据的输出目的地是存储背景像素的结构数据的某部分时，步骤708的处理为无处理。
另一方面，当上述对象领域802内的任一像素具有非0值的形状数据时，在合成比率算出步骤710，将输入的对象领域802内的像素的所有形状数据相加，用该对象领域802内的像素数(图5中是9)除该相加值。相除结果的合成比率(图5(c)的形状数据808)，在后述的像素合成步骤716，用在前景图像和背景图像间进行结构数据合成时的加权系数。
在形状信息判定步骤712，判定被处理像素306的形状数据是否是0值。当形状空间的被处理像素306的形状数据是0值时，该被处理像素对应的结构空间的像素(对应结构像素)804的结构数据是不定的，则在像素信息生成步骤714，相加结构空间的所定领域(与上述形状空间的对象领域对应的领域)806内的形状数据是非0值的形状像素对应的结构像素的结构数据。用对应的形状像素的形状数据是非0非值的结构数据像素的个数，使上述结构数据的相加值平均化，将上述平均化的平均值作为上述结构像素804的结构数据。这里，对应的形状像素的形状数据是非0值的结构像素是图5(d)所示的所定领域806内形式的2像素，把除上述结构数据相加值得到的值，作为对应结构像素804的结构数据。图5(c)表示该对应结构像素804的结构数据的值(上述平均值)820。
另一方面，当作为处理对象的形状像素(被处理像素)306的形状数据是非0值时，由于在对应的对象结构素中存在结构数据，所以不进行步骤714的处理。当对应结构像素的结构数据预先填补了任何值时，也不进行步骤714的处理。例如，当保持了在被译码的结构信号中含有的编码畸变值，而且与该值相邻的像素值也不是相离很远的值时，也可以不进行步骤714的处理。
最后，在像素合成步骤716，把在步骤710算出的合成比率(图5(c)所示的被处理像素的形状数据808)作为加权系数，在作为处理对象的前景像素和背景像素间，合成结构数据。用上面的公式(公式1)进行合成。
在图5，作为对象的像素的形状信息算出步骤710后，通过被处理像素的形状数据的判定步骤712进行处理，这些处理可以是并列进行的。
在本实施例3中，由于对位于物体边界部分的物体外像素，进行结构数据和形状数据的平滑化，因此图像边界部的图像质量模糊了，如实施例1和2所述，由于不能使物体内边界附近的像素具有的形状数据值变小，则在物体的大小(纵横尺寸、像素数等)非常小时，一方面要避免其缩小，也可以使前景物体的图像与背景图像合成。因此，可按照输入的图像，转换使用实施例1、2的合成处理和实施例3的合成处理。由于结构数据是由亮度数据和色差数据构成的，则对于亮度数据和色差数据可独立进行实施例1、2的合成处理和实施例3的合成处理的转换。
在上述实施例3中，形状数据是随机取0～255中的任一值的多值数据，也可以是具有0值、非0值中任一值的2值数据。
上述实施例1～3的合成方法全部用公式1进行，但在上述合成处理中也可以用式2。这种情况下，将算出的合成比率(即用位于包含被处理像素的对象领域内的像素形状数据求出)作为β，使β/alpha’与前景值fgpel’相乘，进行同样的处理。实施例4本发明实施例4的图像合成方法是使实施例1～3所示的合成比率算出步骤的处理高速化的方法，其他处理的顺序与实施例1～3所述的处理顺序相同。
上述实施例1～3的合成方法是通过演算求出合成比率，在被处理像素的形状数据是0值和非0值的2值情况下，根据图2(c)所示表508的变换式、图3(c)所示表608的变换式，算出形状数据具有非0值的形状像素数后求出。由于该计算涉及除法、乘法，因此对各个像素进行处理时，计算量是非常大的。
本实施例4中，把由图6的黑粗线围成的3×3像素组成的领域作为对象领域(所定的领域)，预先分别计算形状数据具有非0值的像素数(0～9)对应的合成比率，保存在表900中。
在实际计算时，首先算出在上述对象领域的形状数据是非0值的像素数，根据该像素数，从上表中参照其对应的合成比率(适用的)，可减少除法、乘法。这里，以选取与实施例1、3的合成方法对应的值的表格为例，对于实施例2也可以进行同样的处理。实施例5本实施例5的图像合成方法，不仅是合成比率，还把合成比率与像素信息相乘的值保存在表中，这样，可使根据上述公式1求出合成像素的结构数据的计算简化。
一般来说，在物体的边界部分，像素大多取相同合成比率(形状数据)的值，对于结构数据也是同样的。
通过计算预先求出合成比率与结构数据的相乘值并保存在表中，再根据合成比率和结构数据的值参照上述表中的值，即可削减冗长的除法、乘法处理。
对于上述公式1，进行图7所示的展开，将该展开式的乘法处理换成参照表1000的处理，可削减计算量。
在根据具有非0值形状数据的像素个数求出被处理像素合成比率的情况下，展开图8的上述式1，把该展开式中乘法部分的结果存储在表1100中，根据在对象领域具有的非0值形状数据的像素个数和结构数据值，可算出被处理像素的合成比率。这里，也可以削减预先准备的表中索引的个数。
例如，作为上述表中的索引，与用「像素的结构值」和「合成比率」的配置相比较，用「像素的结构值」和「位于包含被处理像素的对象领域的物体内的像素的像素数」的配置，但索引的配置个数少了。具体地说，在像素的结构值和合成比率(形状数据)取0到255值的情况下，当用「像素的结构值」和「合成比率」的配置时，必须是256×256=65536个索引的配置，而用「像素的结构值」和「像素数」的配置时，即使像素的结构数据取256个值，由于物体内像素的像素数是0～9的10个，则索引的配置个数是256×10=2560个就可以了。
上述图7、8中像素信息或像素的像素值意味着结构数据，形状信息意味着形状数据。
对于上述公式2，在乘背景像素值(结构数据)的项的部分，参照表格，与上述公式1一样可削减计算量。
不言而喻，使用上述实施例4、5的表格的合成处理，对于实施例2的合成方法也是适用的。实施例6图10是说明本发明实施例6的译码合成装置的方框图。该译码合成装置如实施例1～5所示，付加了表示是否对边界像素的形状数据等进行了平滑处理的付加信息，对各物体对应的图像信号进行编码得到的编码数据进行译码。
图9表示付加了上述付加信息1250的编码数据的位流的数据构造。
在具有这种构造的位流1200中，开始是记载了包含数据构造的数据个数等的标题信息1204，下面是付加信息1250，再下面是每个物体的单位时间按顺序配置的编码数据1206、1208、1210、1214。
编码数据1206分为记述对数据进行译码的信息的标题信息1218、编码过的形状数据(形状信息)1220、编码过的结构数据(像素信息)1222。这里，形状数据用JBIG等的算术编码方法编码并进一步进行可变长编码，结构数据用DCT等的编码方法编码并进一步进行可变长编码。
在具有该数据构造的位流1200中，当进行上述实施例1～5说明的合成时，则在标题信息1204部分付加1位表示是否在边界部分进行结构数据或形状数据的平滑化的付加信息(Blend flag)1250。这样，对各物体就可以实现是否进行实施例1-5所示的图像合成处理的转换。上述标题信息表示上述各实施例所述对象领域(所定的领域)的纵横尺寸(例如3×3像素)和像素数等。
通过付加多位上述附加信息，则很容易实现上述平滑处理的方法以及处理中必要信息的转换。例如，如实施便1～5所示，根据付加的对象领域的平面图形的付加信息，即可变更进行合成的各图像的对象领域的平面图形(领域的纵横尺寸、像素数等)。
付加信息(Blend-flag)1250插入在标题信息1204和编码数据1206之间，但当插入在各编码数据1206、1208、1210、1214中途时，可根据中途数据转换处理。
在包含各单位时间的编码数据1206、1208、1210、1214的各标题信息1218中，也付加同样的付加信息(Blend flag)1250，则仅对特定时间的编码数据进行实施例1～5所示的合成处理。
上述付加信息记述在结构数据的位流1200中，所谓上述位流1200可作为另一个副信息提供。
下面说明本实施例6的译码合成装置。
本实施例6的译码合装置1400接受上述位流1200，它具有分离包含在该位流1200中的标题信息、形状数据及结构数据的编码数据的数据分离部件1402；对由该分离部件输出的编码数据进行译码的图像译码部件1404；有多个合成部件，根据标题信息包含的付加信息，通过所定的合成部件，对上述编码数据进行合成的合成处理部1408。
上述合成处理部1408具有根据上述付加信息，从上述多个合成部件中选择供给上述图像译码部件1404的输出的合成部件的第1选择开关1412；根据上述付加信息，选择上述多个合成部件的一个输出并予以输出的第2开关1414。在该合成处理部1408中的多个合成部件的至少一个，可按照上述实施例1～5中的任一个的图像合成方法进行合成处理。
下面说明其操作过程。
当从输入端子1400a输入位流1200时，该位流1200由数据分离部件1402分割为形状数据、像素数据等各编码数据。被分割的各编码数据由译码部件1404译码。另一方面，上述位流1200包含的付加信息1250输入到合成处理部1408，由开关1412、1414选择对应的合成方法的合成部件。
这里，设置了多个译码部件1404，可对输入的多个物体的位流，并列进行译码处理。
已经译码、生成或保持的背景像素信息从第2输入端子1406输入，送到合成处理部1408。在合成处理部1408，用与由上述图像译码部件1404译码的各像素数据、形状数据对应的合成方法，进行前景图像和背景图像的合成处理。被合成的合成数据从输出端子1410输出。
下面用图11说明上述实施例6的变形例的译码合成装置。
该变形例的译码合成装置1500，对于上述付加信息1250，采用上述各实施例的合成方法，表示对象领域的平面图形，对增加了合成时必要的其他付加数据的位流进行译码，再进行图像的合成。
也就是，该译码合成装置1500具有接受与前景图像对应的第1位流，从该位流分离出已经编码的形状数据和结构数据的编码数据，同时，分离出用该合成方法以及合成时的必要付加信息的数据分离部件1502；对由该分离部件输出的编码数据进行译码的图像译码部件1504。
上述译码合成装置1500具有用上述付加信息，算出合成时必要的信息的合成方法决定部件1506；根据上述已译码的形状数据及结构数据、从合成方法决定部件1506输入的合成方法信，对由第2输入端子1512输入的已译码、生成或保持的背景的结构数据和上述前景图像的结构数据进行合成的图像合成部件1508。
上述图像合成部件1508在进行上述图像合成处理时，可按照上述实施例1～5中任一个的图像合成方法进行合成处理。
下面说明其操作过程。
从输入端子1500a输入上述位流1200时，用数据分离部件1502从该位流中分割出已编码的形状数据及结构数据的编码数据，同时，分离出用该合成方法以及进行合成时必要的付加信息。该付加信输入到合成方法决定部件1506。另一方面，被分割出的编码数据由图像译码部件1504译码。
合成方法决定部件1506用输入的付加信息，算出合成时必要的信息。像素合成部件1508用已译码的形状数据及结构数据、从合成方法决定部件1506输入的合成方法、以及从第2输入端子1512输入的已译码、生成或保持的背景的结构数据进行合成处理。合成的数据从输出端子1510输出。实施例7图12～图15说明本发明实施例7的图象合成方法。
本实施例7的图像合成方法是在合成前景图像和背景图像间的结构信号时，参照表示前景物体形状的付加信息进行合成的，因此削减了冗长的演算处理。
图12是概念性表示背景图像和前景图像的合成处理，图中，1600是背景的结构信号产生的背景图像画面(背景结构空间)，1602是前景的结构信号产生的前景图像画面(前景结构空间)，1604是前景的形状信号产生的前景形状画面(前景形状空间)，与图23中的背景图像画面100、前景图像画面102、前景形状画面104是一样的。
在图12中，前景图像画面1602内的物体所占比例是全体的一半以下。这时，合成处理的判定的必要之处是包含包围物体的领域(以下称物体领域)1606内的像素，或仅是与该物体领域1606相邻的物体外像素，对于除此以外的像素仍然可用背景图像1600的结构数据(对应于结构信号的各像素的值)。
在合成处理时，把表示从形成前景图像画面1604的形状信号得到的物体领域1606的纵、横尺寸1608、1610，以及表示距该物体领域1606的前景形状画面1604的左上的距离的纵、横变位1612、1614等的信息，作为付加信息接受，参照该付加信息，仅对包含前景图像画面1602内的物体的矩形领域1606周边，进行是否有必要进行合成处理的判定。
图13、15是用实施例7的合成方法进行图像合成处理的装置的方框图。
图13所示的实施例7的图像合成装置1700具有；接受前景图像对应的第1位流，从该位流中分离出已编码的形状数据及结构数据的编码数据，同时分离出进行合成时必要的上述付加信息的数据分离部件1702；对从该分离部件输出的编码数据进行译码的图像译码部件1704；取得并输出上述分离出的付加信息的付加信息取得部件1706。
上述译码合成装置1700含有进行与背景图像和前景图像间的上述物体领域内像素对应的结构信号的合成的矩形领域内像素合成部件1710，具有根据来自上述付加信息取得部件1706的付加信息，进行上述前景图像和背景图像合成的合成处理部1708。
上述图像合成部件1710在进行上述图像合成处理时，可按照上述实施例1～5中任一个的图像合成方法进行合成处理。上述合成处理部1708具有根据来自上述付加信息取得部件1706的付加信息，把上述图像译码部件1701的译码数据向上述合成部件1710的供给进行开关的开闭开关1716；根据该付加信息，选择背景图像的结构信号和上述合成部件1710的输出数据其中之一的选择开关1718。
下面说明其操作过程。
在该图像合成装置1700的输入端子1700a，输入对结构信号及形状信号进行编码的具有位流1200的数据构造的编码数据。输入的编码数据由数据分离部件1702分离为各编码数据。另一方面，表示物体形状大小及画面内位置的信息，输入到付加信息取得部件1706。
结构信号及形状信号对应的各编码数据，在图像译码部件1704译码。设置了多个译码部件1704，也可并列进行多个编码数据的译码处理。
已译码的形状信号及结构信号通过开关1716输入到像素合成部件1708，背景图像的结构信号通过第2输入端子1714输入到合成处理部1708，在背景图像和前景图像间进行结构信号的合成。
在合成处理部1708，用输入的物体形状大小等的信息，通过开关1716、1718，对矩形领域(物体领域)内的像素，在背景图像和前景图像间进行结构信号的合成并输出，对矩形领域外的像素，仍然输出背景图像的结构信号。
背景图像的结构信号是已经译码或生成并被保持在存储器中的信号，也可以用与译码部件1704同样的部件，对编码数据进行译码。
在上述合成处理部1708，根据输入的背景和前景的结构信号以及前景的形状信号，参照表示从其他途径输入的前景画面的物体的位置及大小的付加信息，对构成前景画面的像素进行上述矩形领域内外的判定，用开关1716、1718，通过像素合成部件1710进行转换矩形领域内的合成处理和该矩形领域外的合成处理的合成处理。对于矩形领域外的像素也可以用背景的结构数据。
图15表示上述实施例7的变形例的图像合成装置的构成。该图像合成装置1701是在图13所示的图像合成装置的结构中，追加保持已译码的前景画面的结构信号和形状信号以及前景画面中物体大小信息的存储器1802。
具有该存储器1802的图像合成装置1701，在合成静止的图像时，用已译码的数据，可削减处理量。在存储器1802中，除了已译码的形状信号及结构信号外，还保持表示译码时得到的形状画面的矩形领域(物体领域)的大小、位置、或该矩形领域边界位置的付加信息。当进行图像合成时，把这些信息输入到像素合成部件1710，进行与图13所示图像合成装置1700同样的处理。由于把矩形领域的边界位置等信息送到了合成处理部1708，则可以削减判定处理对象的像素是否位于边界部分的处理。
另外，在进行上述图像合成时参照的矩形领域的位置和尺寸等信息，也可以不用付加信息取得部件1706，直接从译码部件1704送到合成处理部1708。
按照这种合成处理，有必受进行在前景和背景间是否实行结构数据合成处理的判定仅限定在某个前景画面内的领域。这样，即可削减在该判定中必要的冗长的演算处理。
在付加信息中，也可以记述在背景画面上合成并表示的前景画面的尺寸及位置等信息。
用图14对此予以说明。
图14中，与图12相同的符号与上述实施例7的说明是一样的。
用背景结构信号(画面1600)、前景结构信号(画面1602)及前景形状信号(画面1604)，在前景图像和背景图像合成时，可扩大地表示合成的图像也可以把合成的图像表示在其他合成用画面上。
这时，可同样输入合成图像1600a在其他合成画面2700a上的位置2704、2702以及图像尺寸2708、2706，即可根据合成图像变更表示位置及表示的尺寸。实施例8图16及图17是说明本发明实施例8的图像合成方法的附图。本实施例8的图像合成方法是在进行合成处理时，预先调查物体内及物体外的像素的位置，可削减是否进行合成处理的冗长的判定处理。
图16及图17表示由所定图像的形状信号得到的形状画面。图中一个小框相当一个像素，有颜色的像素(例如像素1902等)表示在物体内，没有颜色的像素(例如1904等)表示在物体外。
本发明实施例1、2、3所述的图像合成方法是用以作为合成处理对象的被处理像素为中心的对象领域1910、1910内的像素信息，算出被处理像素的合成比率以及结构数据。
如实施例1～3所述，对前景和背景的边界部分的像素的形状数据的处理是必要的部分，例如，仅对物体内像素的处理，即为图16中白色箭头1906所示部分，或者与白色箭头1906所示部分相邻接的像素。
然而，对于如图17中白色箭头2002所示不与边界相邻的物体内像素，或者如黑色箭头2004所示位于物体外像素，可不必用实施例1～3的图像合成方法，对边界部分的像素进行处理。
如图16及图17所示，预先检索形状信号(从该形状信号得到的形状画面1900、2000)，检索对边界部分的像素处理的必要部分的始点和终点，以及对边界部分的像素处理的不必要像素位置的始点和终点。用检素到的像素位置信息，对边界部分和此外的地方分别进行处理。这样，与每一个像素都进行判定处理比较，可以削减冗长的处理。
图18是说明对图16及图17所示的形状信号进行检索处理并进行图像合成的图像合成装置的方框图。
该图像合成装置2100具有根据从输入端子2100a输入的形状信号，判定物体的边界位置的边界位置判定部件2104；根据在边界位置判定部件2104的边界位置判定结果，算出作为合成处理对象的被处理像素的合成比率的合成比率生成部件2106。该图像合成装置2100还有合成处理部件2110，根据由合成比率生成部件2106算出的合成比率，对由第2输入端子2102输入的作为处理对象的前景图像的结构数据(结构信号的像素值)，以及由第3输入端子2116输入的背景图像的结构数据(结构信号的像素值)，进行合成以求出合成图像的结构数据。
上述合成处理部2110具有进行位于边界附近的像素的合成处理的边界附近像素合成部件2112；进行位于边界附近以外的像素的合成处理的边界内像素合成部件2114；根据来自边界位置判定部件2108的边界位置信息，把第2输入端子2102输入的作为处理对象的前景图像的结构数据，供给像素合成部件2112和像素合成部件2114其中之一的开关2122；根据边界位置信息，选择上述像素合成部件2112的输出、上述像素合成部件2114的输出、以及从上述第3输入端子2116输入的背景图象的结构数据的其中之一的开关2124。
首先，当从该合成装置2100的输入端子2100a输入形状信号时，输入的形状信号通过边界位置判定部件2104，判定物体的边界位置。当边界位置判定部件2104判定是边界位置的像素时，则由合成比率生成部件2106算出作为合成处理对象的被处理像素的合成比率。合成处理部2110用从第2输入端子2102输入的作为处理对象的前景图像的结构数据(结构信号的像素值)、从第3输入端子2116输入的背景图像的结构数据(结构信号的像素值)、由合成比率生成部件2106算出的合成比率，求出合成图像的结构数据。
在上述合成处理时，根据从边界位置判定部件2108输入的边界位置信息，通过开关2122、2124，进行由合成部件2112对位于边界附近的像素的合成处理和由合成部件2114对边界附近以外的合成处理的转换。
由于仅对边界附近像素的必要像素进行必要的合成比率算出处理，则可削减处理量。
由合成比率生成部件2106进行的合成比率算出处理，不仅是合成比率生成部件，也可以用边界附近的像素合成部件2112算出上述合成比率，进行合成处理。
可进一步把本实施例8的图像合成方法与实施例7的图像合成方法进行组合，也就是说，采用实施例8的图像合成方法，用表示物体形状大小等的付加信息，在包含物体形状的矩形领域内，进行检素本实施例8的形状信号的处理，即可进一步削减物体内外判定所必要的冗长的演算处理。实施例9图19是说明本发明实施例9的图像合成方法的附图。本实施例9的图像合成方法是在把结构信号与形状信号的分辨率不同的前景图像的图像信号与背景图像的图像信号进行合成时，与形状信号的分辨率相配合，对作为上述结构信号的色差信号进行分辨率变换，在前景图像和背景图像间进行色差信号的合成处理。
图19概念性表示在分辨率变换后，对前景图像和背景图像的色差信号进行的合成处理图19中的2200、2204、2206分别与图26中的前景图像的形状像素2500、背景图像的颜色像素2504、背景图像的颜色像素2506相同。
以下用图19进行说明。
首先，参照前景的形状像素2200的像素值(形状数据)，对对应的颜色像素2204的像素值(色差数据)进行与形状数据相同尺寸(分辨率)的变换，得到色差像素2202。分辨率变换的方法采用MPEG4中规定的方法(MPEG4 Video VerificationModel Ver8.8(ISO/IEC JTCI/SC29/WG11 N1796)中的2.2.2 filteringprocess)。同样，对于背景的颜色像素2206的像素值(色差数据)，在合成时尺寸不同的情况下，通过分辨率变换，由上述2×2尺寸的颜色像素2206求出4×4尺寸的颜色像素2204。
用经分辨率变换的前景、背景的颜色像素2202、2204以及形状像素2202的像素值，在前景和背景间进行色差数据的合成。通过该合成，得到合成颜色像素2210。
上述合成颜色像素2210与已合成后进行了分辨率变换的合成颜色像素2510相比较时，上述合成颜色像素2210中物体内像素的像素值。不会影响物体外像素。
使如图26所示的分辨率高的形状信号降低其分辨率，用降低了分辨率的形状信号进行色差信号的合成。再通过提高合成后的色差信号的分辨率的处理，与图19所示高分辨率(这时是形状信号)相配合，则进行了色差信号合成的其图像劣化的情况变少了。
图20是对每个像素表示构成形状信号的形状数据，以及构成作为结构信号的亮度信号的亮度数据的概念图。图20中的8×8形状像素800、8×8亮度像素300与图25所示的形状像素300和图5所示的结构像素800相同。
图20中的2302、2304表示与亮度像素800对应的2个颜色像素。图20所示形状像素800是与亮度像素300相同的像素数，但是由于颜色像素2302、2304的像素数是形状像素800和亮度像素300的像素数的1/4，这样，在色差信号和亮度信号以及形状信号间，不能达到像素的对应。
因此，在前景图像和背景图像合成时，进行使色差信号与形状信号的像素数一致的分辨率变换，得到8×8的颜色像素2306、2308。该分辨率变换方法也可以使用MPEG4规定的方法(MPEG-4 Video Verification Model Ver8.0(ISO/IECJTCI/SC29WG11 N1796)中2.2.2 filtering process)。具体地说，对相邻像素进行加权平均，插入像素，进行分辨率变换。
在进行物体内外边界部分的像素的分辨率变换时，由于物体外像素的色差数据具有不定值，则可用物体内像素的色差数据作为对应的色差数据，进行分辨率变换。
对于已进行了分辨率变换的色差数据，参照对应的形状数据，在前景图像和背景图像间进行合成处理，合成的方法可使用本发明实施例的合成方法。
在本实施例中，在色差信号和形状信号的析像清析度不同时，已经叙述了通过分辨率变换进行合成的合成方法，但也可以在分别表示结构信号(亮度信号、色差信号)和形状信号的画面上，以适当大小进行分辨率变换后，合成并表示前景和背景。这时的结构信号的分辨率变换方法也可以用前述的方法。对于形状信号的分辨率变换方法，可以使用MPEG-4记载的方法(MPEG-4 Video Verification ModelVer 8.0(ISO/IEC JTCI/SC29/WG11 N1796)中3.2.5 Size Conversion)。
以下用图21说明在分辨率变换后进行合成处理的合成装置。
该图像合成装置2400具有对从上述第1输入端子2400输入的形状信号，进行分辨率变换，使其与表示画面的尺寸(分辨率)一致的第1分辨率变换部件(形状信息分辨率变换部件)2406；对从第2输入端子2402输入的结构信号，进行分辨率变换，使其与形状信号的尺寸(分辨率)一致的第2分辨率变换部件(像素信息分辨率变换部件)2408；对从第3输入端子2404输入的背景的结构信号进行分辨率变换的第3分辨率变换部件(像素信息分辨率变换部件)2410。
上述图像合成装置2400具有接受上述第1、第2、第3分辨率变换部件2406、2408、2410的输出，在前景图像和背景图像间进行结构信号的合成处理的像素合成部件2414，在输出端子2420输出合成的结构信号。
下面说明其工作过程首先，从该装置2400的第1输入端子2400a输入表示物体形状的前景图像的形状信号，从第2输入端子2402输入与形状信号对应的前景图像的结构信号。从第3输入端子2404输入背景图像的结构信号。
从上述第1输入端子2400输入的形状信号，如果有必要，由第1分辨率变换部件2406进行分辨率变换处理，使其与表示画面的尺寸(分辨)一致。从第2输入端子2402输入的结构信号，由第2分辨率变换部件2408进行分辨率变换处理，使其与形状信号的尺寸(分辨)一致。对于由第3输入端子2404输入的背景的结构信号，如果有必要，由第3分辨率变换部件2410进行分辨率变换处理。
上述第1、第2、第3分辨率变换部件2406、2408、2410的输出，输入到像素合成部件2412，在前景图像和背景图像间进行结构信号的合成处理。合成的结构信号从输出端子2420输出。
分辨率变换不仅是如上所述的扩大处理，在表示画面的尺寸小时，可以在使输入的形状信号及结构信号进行适当的图像尺寸缩小处理后，再进行合成处理。
必要时可仅进行扩大、缩小前景或背景的合成处理。可用构成结构信号的亮度信号和色差信号，独立进行扩大和缩小处理。
在上述实施例9已经说明了色差信号的分辨率是亮度信号的分辨率的1/4的情况，即色差信号的分辨率在水平方向及垂直方向都是亮度信号的分辨率的1/2的情况，但如上述实施例9所述，在对色差信号进行分辨率变换后，在前景图像和背景图像间进行色差信号的合成处理的图像合成方法，相对于亮度信号分辨率的色差信号分辨率的比例不仅限于以上的记述。例如，色差信号水平方向的分辨率是亮度信号的分辨率的1/2，色差信号垂直方向的分辨率与亮度信号的分辨率相同时，即可进行与上述实施9同样的图像合成处理。实施例10
由于用上述各实施例所示的图像合成方法实现合成处理的图像合成程序，都记录在软盘等数据存储媒体上，因此可以由独立的计算机系统简单实施上述各实施例所示的处理。
图22是用存储了上述编码或译码程序的软盘，由计算机系统实施上述实施例1-9的图像合成处理的说明图。
图22(a)表示从软盘正面看到的外观、断面结构及软盘，图22(b)表示记录媒体本身的软盘D的物理格式。软盘D装于盒F内，在该盘的表面，从外周向内周形成同心园状的多条磁道Tr，各磁道在角度方向被分割为15个扇形区Se。存储了上述程序的软盘，在上述软盘D上分配的领域记录上述程序的数据。
图22(c)表示在软盘D上进行上述程序的记录重放的构成。在软盘FD上记录上述程序的情况是通过软盘驱动器FDD，写入来自计算机系统Cs的上述程序数据。根据软盘FD内的程序，在计算机系统中构建上述编码或译码装置的情况是通过软盘驱动器FDD，从软盘FD中读出程序，再转送到计算机系统。
在上述说明中，用软盘说明数据记录媒体，用光盘同样也是可以的。记录媒体不仅限于这些，还有IC插件、ROM盒式磁带等，凡是能记录程序的装置，都同样能使用。
在上述实施例的图像合成方法中，对位于边界部分的像素，对横跨边界部分并列像素的形状数据或结构数据，进行平滑后，再进行合成。然而，不对每一像素判定是否是位于边界部分的像素，对于预先进行的边界部分的判定后的边界部分适用本发明的合成方法，除此以外的物体内像素进行已有的处理，则可削减冗长的判定处理。
由于结构信号是由亮度信号和色差信号构成的，因此，可独立设定亮度信号合成处理时包含被处理像素的对象领域的大小，也可独立设定色差信号合成处理时包含被处理像素的对象领域的大小，再对亮度信号和色差信号进行不同的合成处理。
在上述各实施例中，根据(公式1)定义的演算处理，在前景图像和背景图像间进行亮度数据或色差数据的合成处理，但作为该演算式，由于使用了该演算处理中的乘数或除数为2的乘方数的变形式，使上述演算处理简单了。也就是说通过演算器的被乘数或被除数的移位处理，可简单求得被乘数与乘数的积或被除数与除数的商。
具体地说，上述(公式1)在alpha是0＜alpha＜255范围的值的情况下，可进行如下公式3的变形。
pel=(alpha×fgpel+(256-alpha)×bgpel)/256…(公式3)但是，在公式3中，当alpha=0时，pel=bgpel，alpha=255时，pel=fgpel。
在alpha是alpha＜0范围的值的情况下，上述(公式1)可变形为以下公式4。
pel=((alpha+1)×fgpel+(255-alpha)×bgpel)/256…(公式4)但是，在公式4中，当alpha=0时，pel=bgpel。
求图2(c)、图3(c)、图7、图8所示合成后的像素值pel的公式，可进行与上述同样的变形，因此也可实现演算处理的简化。实施例11图28是说明本发明实施例11的图像合成方法及图像合成装置的附图。
本实施例11的图像合成方法与上述实施例1的图像合成方法相同合成包含形成含有意形状物体的表示第1图像空间的上述物体形状的形状信号以及表示物体图案的结构信号的第1图像信号和合成包含形成第2图像空间的表示图像图案的结构信号的第2图像信号，生成形成第3图像空间的合成图像信号。
本实施例11的图像合成方法，在上述第1图像空间，根据位于包含被处理像素的对象领域内的像素的形状信号，转换合成方法不同的第1及第2图像合成处理。
第1图像合成处理与上述实施例1的图像合成方法一样，包含合成比率算出步骤及像素合成步骤，把合成的结构信号，作为上述第3图像空间的与上述被处理像素对应的像素的结构信号。
在上述合成比率算出步骤，在上述第1图像空间，根据位于包含被处理像素的对象领域内的像素的形状信号，对上述被处理像素的结构信号算出合成比率。在像素合成步骤，根据上述算出的合成比率，在上述被处理像素和与其对应的第2图像空间的对应像素间，进行这些像素的结构信号的合成处理。
上述第2图像合成处理在上述像素合成步骤，把上述第1图像空间的物体内被处理像素的结构信号，在上述第3图像空间，作为与上述被处理像素对应的像素的结构信号，进行合成处理。
图28是用上述实施例11的图像合成方法进行合成处理的图像合成装置构成的方框图。
该图像合成装置3500具有边界区域判定部件3510，能根据从前景图像信号得到的形状类型信号，在实施例1的所定领域。也就是包含作为处理对象的对象像素的所定尺寸的领域(对象领域)，判定其全部像素位于物体之外的领域(下称物体外区域)、其全部像素位于物体之内的领域(下称物体内区域)、以及包含位于物体之外的像素和位于物体之内的像素的领域(下称边界区域)中任一种情况。这里，物体外像素的形状数据其值为[O2]，物体内像素的形状数据其值为[255]。
上述图像合成装置3500具有接受前景的形状信号，根据上述边界区域判定部件3510的判定结果，进行上述边界区域内各像素是否是物体内像素的判定的边界像素判定部件3520；根据该边界像素判定部件3520的判定结果，算出上述边界区域内的物体内像素数，根据物体内像素数是否在所定阈值以上，输出合成控制信号3506的合成方法判定部件3530。
上述图像合成装置3500还具有在背景图像和前景图像间，进行各个结构信号(色彩信号)的合成的第1、第2像素合成部件3540、3550。
第1像素合成部件3540根据实施例1的图像合成方法，实现合成处理。
该第1像素合成部件3540具有根据前景的形状信号，对前景被处理像素的结构信号，算出合成比率的合成比率算出部件；根据该算出的合成比率，在上述前景的被处理像素和与其对应的背景的对应像素间，进行这些像素的结构信号的合成处理的像素合成部件，把该合成的结构信号，在合成图像中，作为与上述被处理像素对应的像素的结构信号并输出。
上述第2像素合成部件3550，把上述前景图像的物体内的被处理像素的结构信号，在上述合成图像中，作为与上述被处理像素对应的像素的结构信号用，与上述前景图像的物体外的被处理像素相对应，把背景图像的对应像素的结构信号，在上述合成图像中，作为与上述被处理像素对应的像素的结构信号用。
上述图像合成装置3500还具有根据来自上述合成方法判定部件3530的合成控制信号3506，把前景的色彩信号供给上述第1及第2像素合成部件3540及3550其中之一的前段开关3560a；根据来自上述合成方法判定部件3530的合成控制信号3506，选择上述第1及第2像素合成部件3540及3550其中之一的输出信号，把选择的输出信号作为合成图像的色彩信号并在输出端子3500e输出的后段开关3560b。
3500a～3500d分别为第1～第4输入端子。第1输入端子3500a输入形状类型信号，第2输入端子3500b输入前景的形状信号，第3输入端子3500c输入前景的色彩信号，第4输入端子3500d输入背景的色彩信号。
下面说明其工作过程。
在该图像合成装置3500的第1输入端子3500a输入由前景的图像信号得到的形状类型信号3501时，边界区域判定部件3510进行判定；包含作为处理对象的对象像素的所定尺寸的领域(这里是由3×3像素组成的区域)是其全部像素位于物体外的领域(物体外区域)、其全部像素位于物体内的领域(物体内区域)、以及包含位于物体外的像素和位于物体内的像素的领域(边界区域)中哪一种情况。
上述图像合成装置3500的边界像素判定部件3520，接受在第2输入端子3500b输入的前景的形状信号3502，根据上述边界区域判定部件3510的判定结果，进行上述边界区域内各像素是否是物体内像素的判定。
上述图像合成装置3500的合成方法判定部件3530，根据该边界像素判定部件3520的判定结果，仅对上述边界区域。算出该区域内的物体内像素数，根据物体内像素数是否在所定阈值以上，输出合成控制信号3506。
这时，上述图像合成装置3500的前段开关3560a，根据上述合成控制信号3506，控制第3输入端子3500c输入的前景的色彩信号，将其供给上述第1及第2合成部件3540及3550其中之一；上述图象合成装置3500的后段开关3560b，根据上述合成控制信号3506，选择地控制上述第1及第2合成部件3540及3550其中之一的输出。
例如，当上述合成方法判定部件3530的判定结果是上述边界区域的物体内像素数在所定阈值以上时，上述前景的色彩信号3503通过上述前段开关3560a供给第1像素合成部件3540，该像素合成部件3540的输出通过后段开关3560b，作为合成色彩信号3505，在输出端子3500e输出。该第1像素合成部件3540与实施例1的图像合成方法一样，根据前景的形状信号，对前景的被处理像素的结构信号算出合成比率，根据该算出的合成比率，在上述前景的被处理像素和与其对应的背景的对应像素间，进行这些像素的结构信号的合成处理。
另一方面，在上述合成方法判定部件3530的判定结果是上述边界区域的物体内像素数不在所定阈值以上时，上述前景的色彩信号3503通过上述前段开关3560a供给第2像素合成部件3550，该像素合成部件3550的输出通过后段开关3560b，作为合成色彩信号3505，在输出端子3500e输出。在第2像素合成部附3550，上述前景图像的物体内被处理像素的结构信号，在上述合成图像中，作为与上述被处理像素对应的像素的结构信号输出，与上述前景图像的物体外的被处理像素相对应，背景图像的对应像素的结构信号，在上述合成图像中，作为与上述被处理像素对应的像素的结构信号输出。
在本结构的实施例11中，根据前景的形状信号，进行以下合成处理的转换对跨越前景图像和背景图像的边界部分的并列像素，在对作为处理对象的被处理像素的结构数据进行平滑化后，在前景图像和背景图像间进行结构数据的合成的第1合成处理；把上述前景图像的物体内被处理像素的结构数据，作为上述合成图像的对应像素的结构信号输出，与上述前景图像的物体外被处理像素对应，把背景图像的对应像素的结构信号，作为上述合成图像的对应像素的结构信号输出的第2合成处理，这样，就抑制了在合成图像的前景图像和背景图像的边界部的不自然表示，具有避免边界部分模糊的效果。
在本实施例11中，作为上述第1像素合成部件，已经说明了用实施例1的图像合成方法进行合成处理的情况，但上述第1像素合成部件，还有实施例1以外的实施例，例如，可用实施例2～8中任一个图像合成方法进行合成处理。
由于把用上述实施例11的图像合成方法实现合成处理的图像合成程序记录在软盘等数据存储媒体上，则与上述实施例1～9的图像合成处理同样，也可在独立的计算机系统中简单实施上述实施例11的图像合成处理。
如上所述，用本发明的图像合成方法，对跨越前景图像和背景图像的边界部的并列像素，在对作为处理对象的被处理像素的结构数据或形状数据进行平滑化处理后，再在前景图像和背景图像间进行结构数据的合成。即可实现在合成后的前景和背景的边界部分的图像质量的提高。
由于在本发明的数据存储媒体上存储了可由计算机根据上述图像合成方法进行图像合成处理的程序，则通过装入该程序的计算机，能实现提高合成图像质量的图像合成处理。
权利要求
1.一种图像合成方法，用于合成包含形成含有任意形状物体的第1图像空间的表示上述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2图像信号；生成形成第3图像空间的合成图像信号，其特征在于通过对在上述第1图像空间的位于包含被处理像素的对象领域内的像素形状信号的演算处理，算出对上述被处理像素的结构信号合成比率的合成比率算出步骤，根据该算出的合成比率，在上述被处理像素和与其对应的第2图像空间的对应像素之间，进行这些像素的结构信号的合成处理的像素合成步骤，将该合成的结构信号作为与上述第3图像空间的上述被处理像素对应的像素的结构信号用。
2.如权利要求1记载的图像合成方法，其特征在于，包含根据上述第1图象空间的各像素的形状信号，判定该各像素是否位于上述物体内的形状判定步骤，在上述合成比率算出步骤，当上述判定结果是上述被处理像素位于物体内时，用上述对象领域的像素形状信号算出上述合成比率。
3.如权利要求1记载的图像合成方法，其特征在于，包含根据上述第1图像空间的各像素的形状信号，判定该各像素是否位于上述物体内部的形状判定步骤，在上述合成比率算出步骤，当上述判定结果是上述被处理像素位于物体内时，按照上述对象领域的像素形状信号的加法平均值算出上述合成比率。
4.如权利要求1记载的图像合成方法，其特征在于，在上述合成比率算出步骤，对上述形状信号的演算处理，应根据在该演算处理中乘数或除数为2的乘方数的变形演算式来进行。
5.一种图像合成方法，用于合成包含形成含有任意形状物体的第1图像空间的表示上述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2图像信号；生成形成第3图像空间的合成图像信号，其特征在于根据上述第1图像空间的各像素的形状信号，判定该各像素是否位于上述物体内部的形状判定步骤，当上述判定结果是上述对象像素位于物体内时，根据上述象领域的像素位于物体内的个数，算出对上述被处理像素的结构信号的合成比率的合成比率算出步骤，根据该算出的合成比率，在上述被处理像素和与其对应的第2图像空间的对应像素间，进行这些像素的结构信号合成处理的像素合成步骤，将该合成的结构信号作为上述第3图像空间的与上述被处理像素对应的像素的结构信号用。
6.一种图像合成方法，用于合成包含形成含有任意形状物体的第1图像空间的表示上述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2图像信号；生成形成第3图像空间的合成图像信号，其特征在于根据上述第1图像空间的各像素的形状信号，判定该各像素是否位于上述物体内部的形状判定步骤，根据上述第1图像空间的位于含有被处理像素的对象领域内的像素形状信号，算出对上述被处理像素的结构信号的合成比率的合成比率算出步骤，当上述形状判定结果是上述被处理像素位于物体外时，则将上述被处理像素的结构信号置换为由上述对象领域内像素结构信号的加法平均值得到的结构信号的像素信息生成步骤，根据该算出的合成比率，在上述被处理像素和与其对应的第2图像空间的对应像素间，进行这些像素的结构信号的合成处理的像素合成步骤，将该合成的结构信号作为上述第3图像空间的与上述被处理像素对应的像素的结构信号。
7.如权利要求6记载的图像合成方法，其特征在于，在上述合成比率生成步骤，算出上述对象领域包含的像素的形状信号平均值作为上述合成比率。
8.如权利要求6记载的图像合成方法，其特征在于，在上述像素信息生成步骤，将上述被处理像素的结构信号置换为上述对象领域所包含的像素中位于物体内的像素的结构信号的平均值。
9.如权利要求5或权利要求6记载的图像合成方法，其特征在于，在上述合成比率算出步骤，预先根据上述对象领域内的像素中位于物体内的像素个数进行计算，再根据从位于该对象领域内的像素形状信号得到的物体内的像素个数，从上述表格求出已存储在表格中的合成比率。
10.如权利要求1或权利要求6记载的图像合成方法，其特征在于，在上述像素合成步骤，参照存储了上述合成比率值和结构信号值的所有组合的该两者相乘结果的表格，求出上述第3图像空间的与上述被处理像素对应的像素结构信号。
11.如权利要求5或权利要求6记载的图像合成方法，其特征在于，在上述像素合成步骤，参照存储了位于上述对象领域的物体内的像素数和结构信号值的所有组合的该两者相乘结果的表格，求出上述第3图像空间的与上述被处理像素对应的像素结构信号。
12.一种图像合成方法，用于合成包含形成含有任意形状物体的第1图像空间表示的上述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2图像信号；生成形成第3图像空间的合成图像信号，其特征在于通过对在上述第1图像空间的位于包含被处理像素的对象领域内的像素形状信号的演算处理，算出对上述被处理像素的结构信号合成比率的合成比率算出步骤，根据该算出的合成比率，在上述被处理像素和与其对应的第2图象空间的对应像素之间，进行这些像素的结构信号的合成处理的像素合成步骤，在该像素合成步骤，当与上述第1译码图像信号对应的编码图像信号生成时，参照该编码图像信号所付加的付加信息，转换上述合成处理的构信号的合成方法。
13.如权利要求12记载的图像合成方法，其特征在于，上述付加信息是表示上述对象领域尺寸的信息。
14.一种图像合成方法，用于合成包含形成含有任意形状物体的第1图像空间表示的上述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2图像信号；生成形成第3图像空间的合成图像信号，其特征在于根据上述第1图像空间的各像素的形状信号，检出上述物体的边界位置的边界检出步骤，根据在上述第1图像空间的位于包含被处理像素的对象领域内的像素形状信号，仅对位于上述物体边界附近的该物体内及物体外的像素，进行上述被处理像素的结构信号合成比率的算出处理的合成比率算出步骤，对于上述边界附近的像素，根据该算出的合成比率，在上述被处理像素和与其对应的第2图像空间的对应像素间进行这些像素的结构信号的合成处理，对于上述边界附近以外的像素，根据这些像素的形状数据，在上述被处理像素和与其对应的第2图像空间的对应像素间进行这些像素的结构信号的合成处理的像素合成步骤，将该合成的结构信号作为上述第3图像空间的与上述被处理像素对应的像素的结构信号用。
15.一种图像合成方法，用于合成包含形成含有任意形状物体的第1图像空间的表示上述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2图像信号；生成形成第3图像空间的合成图像信号，其特征在于根据表示上述物体的尺寸以及在第1图像空间的该物体的位置的付加信息，对位于物体内或物体外的物体边界附近的特定像素，在上述第1图像空间的被处理像素和与其对应的第2图像空间的对应像素间进行这些像素的结构信号的合成处理，并对上述第1图像空间的特定像素以外的周边像素，把这些周边像素对应的第2图像空间的像素的结构信号，作为在上述第3图像空间的与上述周边像素对应的像素的结构信号的像素合成步骤，采用由上述像素合成步骤的合成处理得到的结构信号，作为在上述第3图像空间的对应于上述特定像素的像素结构信号。
16.一种图像合成方法，用于合成包含形成含有任意形状物体的第1图像空间的表示上述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2图像信号；生成形成第3图像空间的合成图像信号，其特征在于当构成上述第1图像信号的结构信号和形状信号的分辨率不相等时，对该结构信号进行分辨率变换处理，以使其分辨率与该形状信号的分辨率相等的分辨率变换步骤，用进行了上述分辨率变换处理的结构信号和上述形状信号，进行上述第1图像信号和第2图像信号的合成处理的图像合成步骤。
17.一种图像合成方法，用于合成包含形成含有任意形状物体的第1图像空间的表示上述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2图像信号；生成形成第3图像空间的合成图像信号，其特征在于当构成上述第1图像信号的结构信号的分辨率、构成第2图像信号的结构信号的分辨率、图像表示构成合成图像信号的结构信号的表示分辨率不相同时，对上述第1、第2图像信号的结构信号进行分辨率变换处理，以使其分辨率与上述表示分辨率相等的分辨率变化步骤，用进行了上述分辨率变换处理的上述第1、第2图像信号的结构信号，进行上述第1图像信号和第2图像信号的合成处理的图像合成步骤。
18.一种图像合成方法，用于合成包含形成含有任意形状物体的第1图像空间的表示上述述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2图像信号；生成形成第3图像空间的合成图像信号，其特征在于第1图像合成处理，含有根据在上述第1图像空间的位于含有被处理像素的对象领域内的像素的形状信号，算出对于上述被处理像素的结构信号的合成比率的合成比率算出步骤，和根据该算出的合成比率，在上述被处理像素和与其对应的第2图像空间的对应像素间，进行这些像素的结构信号的合成处理的像素合成步骤，将该合成的结构信号作为上述第3图像空间的与上述被处理像素对应的像素的结构信号，第2图像合成处理，含有在上述第1图像空间的被处理像素和与其对应的第2图像空间的对应像素间，以与上述第1图像合成处理的合成比率不同的比率，进行这些像素的结构信号的合成处理的像素合成步骤，将该合成的结构信号作为上述第3图像空间的与上述被处理像素对应的像素的结构信号，根据在上述第1图像空间的位于含有被处理像素的对象领域内的像素形状信号，转换上述第1及第2图像合成处理。
19.如权利要求18记载的图像合成方法，其特征在于，上述第2图像合成处理在上述像素合成步骤，把上述第1图像空间的物体内被处理像素的结构信号，作为上述第3图像空间的与上述被处理像素对应的像素的结构信号用，与上述第1图像空间的物体外被处理像素相对应，把第2图像空间的对应像素的结构信号，作为上述第3图像空间的与上述被处理像素对应的像素的结构信号用。
20.一种图像合成装置，用于合成包含形成含有任意形状物体的第1图像空间的表示上述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2图像信号；生成形成第3图像空间的合成图像信号，其特征在于通过对在上述第1图像空间的位于含有被处理像素的对象领域内的像素形状信号的演算处理，对上述被处理像素的结构信号算出合成比率的合成比率算出部件，根据该算出的合成比率，在上述被处理像素和与其对应的第2图像空间的对应像素间，进行这些像素的结构信号的合成处理的像素合成部件，该像素合成部件在上述第1译码图像信号对应的编码图像信号生成时，参照该编码图像信号付加的付加信息，转换上述合成处理的结构信号的合成方法。
21.一种图像合成装置，能合成包含形成含任意形状物体的第1图像空间的表示上述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图像空间表示的图像图案的结构信号的第2图像信号；生成形成第3图像空间的合成图像信号，其特征在于根据上述第1图像空间的各像素的形状信号，检出上述物体的边界位置的边界检出部件，根据上述第1图像空间的位于含有被处理像素的对象领域内的像素形状信号，仅对位于上述物体边界附近的物体内及物体外的像素，进行上述被处理像素的结构信号合成比率算出处理的合成比率算出部件，对上述边界附近的像素，根据该算出的合成比率，在上述被处理像素和与其对应的第2图像空间的对应像素间，进行这些像素的结构信号的合成处理，对上述边界附近以外的像素，根据这些像素的形状数据，在上述被处理像素和与其对应的第2图像空间的对应像素间，进行这些像素的结构信号的合成处理的像素合成部件，将该合成的结构信号作为上述第3图像空间的与上述被处理像素对应的像素的结构信号用。
22.一种图像合成装置，用于合成包含形成含有任意形状物体的第1图像空间的表示上述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2图像信号；生成形成第3图像空间的合成图像信号，其特征在于具有像素合成部件，能根据表示上述物体的尺寸和在第1图像空间的该物体的位置的付加信息，对位于物体内或物体外的物体边界附近的特定像素，在上述第1图像空间的被处理像素和与其对应的第2图像空间的对应像素间，进行这些像素的结构信号的合成处理，对上述第1图像空间的特定像素以外的周边像素，把这些周边像素对应的第2图像空间的像素的结构信号，作为上述第3图像空间的与上述周边像素对应的像素的结构信号，把通过上述像素合成步骤的合成处理得到的结构信号，作为上述第3图像空间的与上述特定像素对应的像素的结构信号。
23.一种图像合成装置，用于合成包含形成含有任意形状物体的第1图像空间表示的上述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2图像信号；生成形成第3图像空间的合成图像信号，其特征在于分辨率变换部件，当构成上述第1图像信号的结构信号和形状信号的分辨率不相等时，对该结构信号进行分辨率变换处理，以使其分辨率与该形状信息的分辨率相等，以及图像合成部件，用进行了上述分辨率变换处理的结构信号和上述形状信号，进行上述第1图像信号和第2图像信号的合成处理。
24.一种图像合成装置，用于合成包含形成含有任意形状物体的第1图像空间的表示上述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2图像信号；生成形成第3图像空间的合成图像信号，其特征在于分辨率变化部件，当构成上述第1图像信号的结构信号的分辨率、构成第2图像信号的结构信号的分辨率、图像表示构成合成图像信号的结构信号的表示分辨率不同时，对上述第1、第2图像信号的结构信号，进行分辨率变换处理，以使其分辨率与上述表示分辨率相等，以及图像合成部件，用进行了上述分辨率变换处理的上述第1、第2图像信号的结构信号，进行上述第1图像信号和第2图像信号的合成处理。
25.一种图像合成装置，用于合成包含形成含有任意形状物体的第1图像空间的表示上述物体形状的形状信号和表示物体图案的结构信号的第1图像信号、和包含形成第2图像空间的表示图像图案的结构信号的第2图像信号；生成形成第3图像空间的合成图像信号，其特征在于第1图像合成处理部和第2图象合成处理部，第1图象合成处理部具有根据在上述第1图像空间的位于含有被处理像素的对象领域内的像素形状信号，算出上述被处理像素的结构信号的合成比率的合成比率算出部件，以及根据该算出的合成比率，在上述被处理像素和与其对应的第2图像空间的对应像素间，进行这些像素的结构信号的合成处理的第1像素合成部件，把该合成的结构信号，作为上述第3图像空间的与上述被处理像素对应的像素的结构信号输出，第2图像合成处理部具有在上述第1图像空间的被处理像素和与其对应的第2图像空间的对应像素之间，以与上述第1图像合成处理的合成比率不同的比率，进行这些像素的结构信号的合成处理的第2像素合成部件，把该合成的结构信号，作为上述第3图像空间的与上述被处理像素对应的像素的结构信号输出，根据上述第1图像空间的位于含有被处理像素的对象领域内的像素的形状信号，转换第1及第2图像合成处理。
26.一种存储由计算机进行图像合成处理的程序的数据存储媒体，其特征在于上述程序是根据权利要求1到权利要求19任一项记载的图像合成方法，由计算机进行图像合成处理的图像合成程序。
全文摘要
本发明为一种在背景图像上合成具有任意形状物体的前景图像的图像合成方法,可提高合成图像的前景物体边界部分的图像质量。在本发明中,对跨越前景图像和背景图像边界部分的并列像素,在对作为处理对象的被处理像素的形状数据进行平滑化后(步骤410),在前景图像和背景图像间进行结构数据的合成(步骤412)。
文档编号G06T15/04GK1234570SQ99103339
公开日1999年11月10日 申请日期1999年2月2日 优先权日1998年2月2日
发明者高桥润, 文仲丞, 角野真也 申请人:松下电器产业株式会社