专利名称：产生合成图像的方法和设备,以及信息处理系统的制作方法
技术领域：
本发明涉及用于混合多个图像以产生一新图像的方法和设备，以及与该方法和设备相关联的信息处理系统。
在绘图计算机、游戏装置、视频装置等中，利用混合比信息混合多个图像以组成新的图像。
为从多个图像的混合中合成新图像，已经建议过，利用从多个图像分别提供的被称之为“α(alpha)信息”的信息来配备关键信号，并将包括在一图像中的特定像素值用作关键信号。
α信息是一两维信息，该两维信息具有与一图像相同的分辨率并具有从0至1的值。例如，当图像分辨率是640×480时，α信息具有640×480的分辨率。还有，当指明α信息的位的统计数是2时，例如，α信息可取0、0．33、0．66和1．0。
假设第一图像包括具有像素值(R1，G1，B1)的部分，和第二图像包括具有相应于第一图像部分的像素值(R2，G2，B2)的部分。还假设用于第一和第二图像的α信息取A值。然后，从第一和第二图像的混合中组成的图像的像素值被计算如下A*(R1，G1，B1)+(1-A)*(R2，G2，B2)={(A*R1+(1-A)*R2)，(A*G1+(1-A)*G2)，(A*B1+(1-A)*B2)}(1)A*(R1，G1，B1)+(R2，G2，B2)={(A*R1+R2)，(A*G1+G2)，(A*B1+B2)} (2)(R1，G1，B1)+(1-A)*(R2，G2，B2)={(R1+(1-A)*R2)，(G1+(1-A)*G2)，(B1+(1-A)*B2)} (3)下面将讨论，利用上述α信息混合两个图像以合成新图像的方法
图1示出如何利用从图像11和12分别提供的α信息13混合第一图像11和第二图像12以产生合成图像14。
在该举例中，组成α信息13的左边一半13a具有0．0值和右边一半13b具有1．0值。因此，利用α信息13作为关键(key)信号而通过混合第一和第二图像11和12所产生的合成图像14，由对应于第一图像11的左边一半的左边一半14a和对应于第二图像12的右边一半的右边一半14b所组成。
利用上述公式(1)计算合成图像14的像素值。左边一半14a的像素值由以下关系式(4a)表达，而右边一半14b的一个由以下关系式(4b)表达。
1*(R1，G1，B1)+0*(R2，G2，B2)=(R1，G1，B1)(4a)0*(R1，G1，B1)+1*(R2，G2，B2)=(R2，G2，B2)(4b)图2示出如何利用来自以上举例的α信息13的不同的α信息23来混合第一信息21和第二信息22，以产生合成图像24。
在该举例中，α信息23由具有0．0值的左1／3部分23a、具有1值的右1／3部分23b和具有0．5值的中间1／3部分23c组成。
利用作为α信息23作为关键信号而通过将第一图像21和第二图像22混合在一起所产生的合成图像24，由从第一图像21的左1／3部分得到的左1／3部分24a、从第二图像22的右1／3部分得到的右1／3部分24b、和从对第一图像的21的中间1／3部分及第二图像22的中间1／3部分进行叠加而得到的中间1／3部分部分24c组成。
利用上式(1)计算合成图像24的像素值。合成图像24的左1／3部分24a的像素值由下述关系式(5a)表示，右1／3部分24b的像素值由下述关系式(5b)表示，和中间1／3部分24c的像素值由下述关系式(5c)表示1*(R1，G1，B1)+0*(R2，G2，B2)=(R1，G1，B1)(5a)0*(R1，G1，B1)+1*(R2，G2，B2)=(R2，G2，B2)(5b)0．5*(R1，G1，B1)+0．5*(R2，G2，B2) (5c)图3是适用于利用α信息混合两个图像以合成一新图像的图像混合电路的配置举例。该图像混合电路用13序号表示。它被提供有第一图像和第二图像，和作为确定将被混合的第一和第二图像的各部分的和第一和第二图像被混合的比率的关键信号的α信息。依据α信息，第一和第二图像被混合在一起，以产生一合成图像。
稍后将进一步描述，在图像混合电路31中利用α信息混合这两个图像。
以下将描述如何从具有特定颜色的图像部分产生关键信号，以混合两个图像，以便从其中产生合成图像。
图4示意性地示出如何从包括在第一图像41中的特定颜色中产生关键信号43，并将其用于混合第一图像41和第二图像42，以便一起产生合成图像44。
第一图像41由具有特定颜色的三角形部分41a和环绕该三角形部分41a并具有特定颜色的部分41b组成，并将作为合成图像44的前景，而第二图像42形成合成图像44的背景。第二图像42包括具有特定颜色的正方形部分42b。关键信号43是通过从第一图像41中仅提取其像素值提供了特定颜色的部分41b的所获得的信号。
利用关键信号43从对第一和第二图像41和42的混合中形成的合成图像44是在第二图像42上叠加第一图像41的三角形部分41a。
图5所示是图像混合电路的配置举例，其中从包括在第一图像41中的特定颜色中提取的关键信号43被用于混合第一和第二图像41和42，以形成合成图像44。
在特定颜色识别电路51中，判断第一图像(原始图像)41的像素提供了特定颜色，和只有其像素值提供了特定颜色的图像部分被提取，以产生关键信号43。这样产生的关键信号43被提供给图像混合电路53。
在图像混合电路53中，在从特定颜色识别电路51提供的关键信号43的基础上，确定将被混合的第一图像(原始)41和第二图像42和混合比，以产生被传送输出的合成图像44。
通过上述任何图像合成方法，都能通过以原始图像的被处理为具有纯(clear)颜色的一部分而将两个图像叠加在另一个上，以产生所谓的“纯色中空图像(clear void image)”。
然而，该利用α信息的图像合成方法在应当附加使用来自原始图像的分别的信息中没有优点。还有，利用从具有特定颜色的纯颜色的图像中提取的关键信号的图像合成方法的缺点是，当原始图像经过了图像处理，例如低通滤波时，利用这样的关键信号混合多个图像而形成的合成图像的质量变坏。
相应地，本发明的一个目的就是通过提供用于通过将多个图像混合在一起而合成一新图像的方法和设备，以及包含该方法和设备的信息处理系统，来克服现有技术的上述缺点，本发明不需要例如α信息的附加信息，并且，即使用于合成图像的原始图像经过了图像处理，这样产生的合成图像的质量也不会变坏。
本发明的上述目的可通过提供一种图像合成方法来完成，其中，利用关键信息混合第一图像和第二图像，以合成一新图像，该方法包括从第一原始图像的特定颜色中产生关键信息的关键信息产生步骤；将第一原始图像经过一预定图像处理的第一图像处理步骤；所产生的关键信息经过图像处理的第二图像处理步骤；和利用处理的关键信息将已处理的第一图像和第二原始图像混合在一起的图像混合步骤。
上述目的还可以通过提供一图像合成设备来完成，在该设备中，利用关键信息混合第一图像和第二图像，以合成一新图像，该设备包括用于从第一原始图像的特定颜色中产生一关键信息的装置；使第一原始图像和所产生的关键信息经过一预定图像处理的装置；和利用所处理的关键信息将所处理的第一图像和第二原始图像混合在一起的装置。
上述目的还可以通过提供一种信息处理系统来完成，其中，在从输入装置提供的控制信息的基础上产生图像数据，并将该图像数据作为图像显示在显示单元上，该系统包括从第一原始图像的特定颜色中产生关键信息的装置；将第一原始图像和所产生的关键信息经过一预定图像处理的装置；和利用所处理的关键信息将已处理的第一原始图像和第二原始图像混合在一起的装置。
根据本发明提供的图像合成方法和设备以及包括该方法和设备的信息处理系统，不需要比如α信息的附加的专门信息，并且其中，即使原始图像经过图像处理，所合成图像的质量也不会变坏。
当结合附图对本发明进行详细描述之后，本发明的这些目的和其它目的、特点和优点将会更为明显图1示意性地示出如何利用从各图像分别提供的α信息混合第一图像和第二图像以合成一新图像；图2示意性地示出如何利用来自图1所示的不同的α信息混合第一图像和第二图像以产生一合成图像；图3是适用于利用一α信息混合两个图像以形成合成图像的图像混合电路的配置举例的示意方框图；图4示意性地示出如何利用从包括在第一图像中的特定颜色中提取的关键信号来混合第一图像和第二图像，以便合成一新图像；图5是图像混合电路的配置举例的示意方框图，其中，利用从包括在第一图像中的特定颜色中提取的关键信号去混合第一图像和第二图像，以形成合成图像；图6示意性地示出如何利用纯颜色作特定颜色以产生“纯色中空图像”；图7示意性地示出如何利用从经图像处理的第一图像中提取的关键信号去混合第一图像和第二图像，以合成一新图像；图8是产生“纯色中空图像”的图像合成设备的基本配置的举例的示意方框图；图9示出根据本发明的图像合成方法的一实施例；图10A是根据本发明的图像合成设备的一实施例的示意方框图；图10B是根据本发明的信息处理系统(娱乐系统)的一实施例的示意方框图。
在描述本发明的实施例之前，将描述以纯颜色作为特定颜色来产生关键信号，这是根据本发明的图像合成方法和设备及信息处理系统的基础。
图6示意性地示出如何利用纯颜色作为特定颜色去产生“纯色中空图像”。为简化图示和描述，将利用一维图形图像给出以下描述，以方便解释。
示出了形成合成图像64的前景的第一图像61，并且还示出了作为合成图像64的背景的第二图像62。还示出了关键信号63，当具有特定颜色(例如，像素值是0的颜色)的第一图像61的一部分被作为纯颜色时，它提供合成图像61的前景图像和背景图像之间的移位。在具有特定颜色的第一图像64的部分中关键信号63具有0．0的值，和不具有特定颜色的第一图像61的其余部分中具有1．0的值，正如从图6所看到的。
利用关键信号63通过混合第一和第二图像61和62形成合成图像64。
然而，利用第一原始图像合成的图像质量(如果经过图像处理)可能会如前面所述的那样变坏。
图7示意性地示出，图6所示的第一原始图像61经过低通滤波(以后简称“滤波”)之后如何产生图6所示的合成图像。
在图7中，所示出的已处理的第一图像71形成合成图像74的前景，和还示出的第二图像72形成合成图像74的背景。
处理的第一图像71是已经经过滤波的第一原始图像61。还示出的关键信号73提供合成图像74的前景图像71和背景图像72之间的移位。从处理的第一图像71产生关键信号73。这样，关键信号73确定作为合成图像74的前景的处理的第一图像71的部分，并且其像素值提供一特定颜色，和由关键信号73确定的范围比直接从第一原始图像61产生的上述关键信号63所确定的范围要宽些。
合成图像74是通过利用关键信号73混合滤波的第一图像71和第二原始图像72而产生的图像。
由于该滤波，第一图像71具有的一部分有着与特定颜色几乎相同的中间像素值，但不是特定颜色的精确的任何像素值。这样，合成图像74的一部分会具有与前述合成图像64中所没有的该特定颜色(纯颜色)几乎相同的颜色。那就是说，从已经滤波的原始图像中产生的用于混合原始图像的关键信号会对将被一起混合的图像确定一错误的移位点，其结果是图像质量变坏，例如颜色泛出(bleeding)，等等。
图8是根据本发明的在其中产生“纯色中空图像”的图像合成设备的基本配置举例的示意方框图。该图像合成设备利用上述纯颜色作为特定颜色。
假定特定颜色是(R0，G0，B0)和第一原始图像具有另一颜色(R1，G1，B1)。然后，滤波的第一原始图像由下式表达p*(R0，G0，B0)+q*(R1，G1，B1)(p，q≠0)(6)从由公式(6)表示的处理的第一原始图像和具有颜色(R2，G2，B2)的第二原始图像的混合中产生的合成图像由下式表达s*{p*(R0，G0，B0)+q*(R1，G1，B1)}+t*(R2，G2，B2)=s*p*(R0，G0，B0)+s*q*(R1，G1，B1)+t*(R2，G2，B2)(st≠0) (7)如从关系式(7)所看到的，当特定颜色(R0，G0，B0)不是(0，0，0)，即当它不是黑时，特定颜色会泛入到合成图像的前景和背景中。
在前述图像合成方法和设备的基础上，接着将参照图9描述本发明的图像合成方法和设备的最佳实施例。
图9示出，在根据本发明的图像合成方法的最佳实施例中，如何产生“纯色中空图像”。
示出的第一图像(原始)91将被处理成处理的第一图像91a。对于该图像处理，滤波或类似处理被用于图像间的平滑接点。
还有，α信息93是在特定颜色的基础上从第一原始图像91中提取的关键信号。在具有特定颜色的第一原始图像91的一部分中，该α信息93的值是0，和在该第一图像91的另外部分中α信息93的值是1。该α信息93经过与对第一原始图像91所做的那样相同的图像处理，以提供处理的α信息93a。
还示出的合成图像94是利用处理的α信息43a通过混合处理的第一原始图像91和第二原始图像92形成的。该图像的合成是利用上述公式(3)进行的。
图10A是适用于执行根据本发明的上述图像合成方法的图像合成设备的实施例的示意方框图。应理解，本发明的图像合成设备可具体为使用半导体、集成电路、利用多个晶体管的分离器件电路，或CPU板。
第一图像(原始)91被提供到特定颜色识别电路101和图像处理电路102。
特定颜色识别电路101识别第一原始图像91的特定颜色，以产生关键信号93。
图像处理电路102对第一原始图像91和关键信号93进行相同的图像处理。这样处理的第一原始图像91被作为处理的第一图像91a，和这样经过信号处理的关键信号93被作为处理的关键信号93a。这里作用的图像处理是滤波或类似处理。
当第一原始图像91的像素颜色的每个成分R、G和B由8位表示时，处理的关键信号93也扩展为8位。还有，8位关键信号93作为α信息经过与对第一原始图像91的每个成分(R，G，B)相同的图像处理，以产生如上述的处理的关键信息(α信息)93a。该处理的第一图像91a和处理的关键信号93a被送到图像混合电路103。
图像混合电路103利用处理的关键信号93a，将处理的第一图像91a和第二原始图像92混合在一起，以形成一合成图像。在此时，如果像素值(R0，G0，B0)=(0，0，0)被选作为特定颜色，即，如果黑色被选作为特定颜色，则原先的上述关系式(4)能被表示为以下的形式(8)。进而，利用公式(3)，当假设s=1和t=1-q时，以下的关系式(8)能被表示为下式(9)。那就是说，只有前景和背景能被混合。
s*{p*(0，0，0)+q*(R1，G1，B1)}+t*(R2，G2，B2)=s*q*(R1，G1，B1)+t*(R2，G2，B2) (8)=q*(R1，G1，B1)+(1-q)*(R2，G2，B2) (9)
图10B是根据本发明的含有前述图像合成设备信息处理系统(娱乐系统)的一实施例的示意方框图。这样的娱乐系统能显示具有高精度和高速度的三维图像。
如图10B所示，该信息处理系统或娱乐系统包括一CPU(中央处理单元)101，它计算将被产生的可显示图像的三角形区域(多边形)的顶点坐标，和分别从目标的特性和光源数据中计算标准矢量和光源矢量的内积。三角形区域的顶点坐标和三个角的顶点的颜色信息(Rg，Gg，Bg，Ag)被从CPU101传送到作为图像合成设备的绘图处理器(GPU)106。
进而，CPU 101从一输入装置104，例如输入缓冲板(pad)、操纵杆等，经由接口(I／F)103和主总线109获得控制信息。在这样获得的控制信息的基础上，CPU 101将存储在主存储器102中的三维图像信息通过主总线109提供到绘图处理器(GPU)106。
被提供的绘图处理器(CPU)106将从CPU 101提供的三维图像信息变换成为图像数据。它包含前述图像合成设备。这样从产生自绘图处理器(GPU)106的图像数据中所产生的三维图像被写入视频存储器105。
写在视频存储器105中的三维图像数据在视频信号扫描期间被读出，并作为在TV监视器(未示出)或类似装置上作为三维图像被显示。
另一方面，对应于所显示、并包括在在由CPU 101提取的扫描信息中的三维图像的音频或声音信号被送到音频处理器107，处理器107在从CPU 101提供的音频信息的基础上，将存储在音频存储器108中的音频数据作为来自扬声器(未示出)的声音传送。
根据本发明提供了图像合成方法和设备，和信息处理系统，其中，具有纯颜色的原始图像的部分作为关键信号被提取，该关键信号还经过与对原始图像相同的图像处理，和该关键信号被用于混合原始图像，以形成合成图像，使得不再需要诸如α信息的附加特定信息，并且，即使在原始图像经过图像处理的情况下，这样获得的合成图像在质量上也不会变坏。
权利要求
1．一种图像合成方法，其中利用一关键信息混合第一图像和第二图像，以合成一新图像，该方法包括一关键信息产生步骤，从第一原始图像的特定颜色中产生一关键信息；一第一图像处理步骤，使第一原始图像经过一预定的图像处理；一第二图像处理步骤，使产生的关键信息经过该图像处理；和一图像混合步骤，利用处理的关键信息将处理的第一图像和第二原始图像混合在一起。
2．根据权利要求1所述的方法，其中所述特定颜色是黑色。
3．根据权利要求1所述的方法，其中所述图像处理是低通滤波。
4．一种图像合成设备，其中利用一关键信息混合第一图像和第二图像，以合成一新图像，该设备包括用于从第一原始图像的特定颜色中产生一关键信息的装置；用于使第一原始图像和产生的关键信息经过一预定的图像处理的装置；和用于利用处理的关键信息将处理的第一图像和第二原始图像混合在一起的装置。
5．根据权利要求4所述的设备，其中所述图像处理装置使第一原始图像和产生的关键信息经过低通滤波。
6．根据权利要求4所述的设备，其中所述关键信息产生装置取黑色作为特定颜色。
7．一种信息处理系统，其中在从一输入装置提供的一控制信息的基础上产生一图像数据，并将该图像数据作为一图像在一显示单元上显示，该信息处理系统包括用于从一第一原始图像的特定颜色中产生一关键信息的装置；用于使该第一原始图像和产生的关键信息经过一预定的图像处理的装置；和用于利用处理的关键信息将处理的第一原始图像和第二原始图像混合在一起的装置。
8．根据权利要求7所述的系统，其中所述图像处理装置使第一原始图像和产生的关键信息经过一低通滤波。
9．根据权利要求7所述的系统，其中所述关键信息产生装置取黑色作为特定颜色。
全文摘要
从第一原始图像中提取的关键信号和第一原始图像经过一图像处理,利用处理的关键信号混合已处理的第一原始图像和一第二原始图像,以提供一新的合成图像,能有效防止该新的合成图像的质量变坏。
文档编号G06T11/00GK1204100SQ98103128
公开日1999年1月6日 申请日期1998年6月16日 优先权日1997年6月16日
发明者冈正昭 申请人:索尼计算机娱乐公司