专利名称：生成复合图像的装置与方法
技术领域：
本发明涉及一种依据权利要求1的前序的装置，以及一种依据权利要求11的前序的方法。
由美国专利4,100,569已知有这样一种装置，它可以用所谓的“蓝屏幕”(Blue-Screen)方法将两幅图像复合在一起。
其中的一幅图像-以下也称前景图像-显示了一个物体或一个空间的场景，它由一个基本上单色的、最好是蓝色的背景衬托。
其中的另一幅图像-以下也称背景图像-则给出了一个任意的背景，在上面传进前景图像的物体或空间场景。例如，可以在演播室中将一个电视节目主持人先以蓝色背景(“Blue-Screen”)摄制下来，然后传到预先分开摄制的任意一个背景上。
在此，这个已知的装置对每一个扫描点，都由前景图像的色度值计算出两个控制参数。其中第一个控制参数(背景控制电压“Background ControlVoltage”)给出背景图像在结果图像-以下也称为复合图像-打出时的应有强度，而第二个控制参数(箝位电压“Clamping Voltage”)则确定了为了抑制蓝背景的色彩干扰，蓝背景的色调在复合图像中应减弱的程度。
然后，复合图像通过一个TV混合器将一方是由第一个控制参数加权的背景图像的色度值，另一方是前景图像的色度值混合在一起。其中前景图像中的蓝色分量按照第二个控制参数加以削减。
这里重要的是在复合图像混合中的每一个象素中考虑前景图像的彩色分量。这样，前景图像不是合成前景图像的色度值或背景图像的色度值的复合图像的一个切换过程。这样一方面可以在前景图像中重放出半透明的物体，它们可以在复合图像中使新的背景图像透过来，而不是蓝色背景，另一方面这种方式使前景图像的视觉分辨率完整地保留了下来。
近期的美国专利5 424 781,5 343 252,4 625 231,4 589 013和4 344 085对前述方法进行了改进，它们基本上通过考虑几个校正因子改进确定两个控制电压的公式，以便能够在前景图像有较复杂的颜色组合时，也能够获得视觉上较满意的复合图像。
采用从上述文献中已知的方法，可以用“Blue-Screen”方法将两幅图像生成一幅复合图像，但这样得出的复合图像，特别是在前景图像的某些光谱组合下，会在视觉上显得不自然。在专业应用中，例如电影工业中生成特殊效果，就往往需要对复合图像进行繁杂的人工修正。
从上述文献中，特别是美国专利4,589,013中，可进一步得知一种所谓“色度键(Chroma-Key)”方法。它同样可以由两幅图像来产生一幅复合图像，与前述方法不同的是色度键技术中复合图像的每一个扫描点是由或来自前景图像的彩色分量或来自背景图像的彩色分量复合，前景图像接受切换处理。由于模拟图像编码使得视觉分辨率相应地减小，同时也使重放半透明物体复杂。
本发明的目的是创造一个装置及一种方法，使得从一个前景图像和背景图像所产生的复合图像有更加自然的图像效果。在此，前景图像是在一个基本上是单色的背景前显示物体及场景的。
为达到此目的，从权利要求1的前序的装置开始，通过此权利要求给出其特征以及由权利要求11给出特征的方法来完成。
本发明的依据是当复合图像由前景图像的内容或背景图像的内容组成时，如果图像处理是数字处理的而且对于前景图像物体和单色背景两方面的分离是逐个象素进行的，一般要产生的那种视觉分辨率减弱现象则不会出现。
因此，本发明所遵循的技术理论是，前景图像和背景图像都以数字形式给出，而且复合图像的任一象素都是由前景图像相应象素的色度值或背景图像相应象素的色度值组成的。然后还可通过图像处理单元对复合图像进行再处理，例如可以再造出透明的效果。
色度值的术语在这里以及在下文中只是一般地表示可以从它的色度值计算出的相应象素的图像状态(appearance)。但在本发明优选实施例中，则是根据已知的RGB彩色模型色度值表示红(R)、绿(G)、蓝(B)三种基色的强度，并以数值0到255来表示，大的数值表示所属彩色分量的强度高。
同样，也应这样一般化地理解衬托前景图像中物体和场景的单色背景概念，单色在这里不意叶着背景部分的每一个象素都只包含一个彩色分量，而另外两个彩色分量等于零。关键在于一个彩色分量-较好用蓝色-相对于其它两个彩色分量占有优势，并且构成背景部分的彩色组合变化尽可能小。
对前景图像中的物体及场景与单色背景图像的分离是由第一处理单元来完成的，它对每一个象素都根据前景图像的色度值和表示单色背景的彩色配比的预定色度值计算出一个控制信号，该控制信号给出了每个象素对于物体及场景或单色背景的隶属度。
然后，复合图像的合成则是通过一个选择单元来完成的。它对每个象素都从相应的前景图像象素的色度值或者从相应的背景图像象素的色度值计算出色度值来。
在从前景图像中分离出物体和/或场景和背景时，很重要的一点是表示单色背景的彩色构成的预定色度值尽可能准确地反映地与实际的彩色构成。然而，做到这一点很困难，因为前景图像通常是已数字化了的图像。用户无法得到关于用于摄像中的单色背景的彩色构成信息。
因此，在本发明的一个实施例中，将通过计算整个前景图像中单个彩色分量的平均值来确定单色背景的彩色配比。特别是当前景图像中物体及场景占得比例较少，大部分前景图像由单色背景占据时，用这种方式取得的数值可以得到与实际上的单色背景色度值较好的一致。因这些平均值始终或多或少地偏离实际上的单色背景色度值，所以根据实施例设有一个输入单元，用户可通过它并根据以上所述的平均值来改变预定的色度值，从而能在从单色背景中分离物体及场景时取得更好的效果。
在本发明的一个优先实施例中，由第一处理单元计算出一个控制信号，由该控制信号可区分出物体及场景和背景，它被存入一个存储矩阵。以便下一步可对复合图像中的物体和/或场景和新的背景分别进行加工处理。该存储矩阵中的每个存储单元都明确对应着一个象素。例如，当该象素属于单色背景时存储单元的内容为“1”，当该象素属于物体及场景的一部分时，存储单元的内容为“0”。
依照本发明在计算了复合图像单个象素的色度值之后，还要对复合图像进行再处理，以便能达到尽可能自然的复合图像的图像状态。为此，本发明的装置设有一个第二处理单元，它根据前景图像的相应象素的色度值和/或背景图像的相应象素的色度值来计算出复合图像的每个象素的校正值。实质性的处理则是通过一个与第二处理单元相连接的图像处理单元来完成的。该图像处理单元根据从第二处理单元得出的校正值来改变复合图像单个象素的彩色值，以便能取得自然的图像状态。
在本发明的一种有专利保护意义的改进形式中，还考虑到了背景图像对物体及场景的色度影响。例如，当一个物体在很强的红色背景中打出时，假使该物体的彩色不变，它在新的背景下就会由于过大的色对比度而显得不自然。所以为了达到自然的图像状态，一个有利的方法是使物体和/或场景的彩色配比适应于背景图像的彩色配比。在上述例子中，物体在红色背景下映出就意味着应提高由该物体在复合图像中所充填的图像区域内红色彩色分量的强度。
在本发明的这种形式中，第二处理单元对于复合图像中的由物体及场景所占有的图像区域中的每个象素都计算出一个校正值，该校正值反映了背景图像对该物体和/或场景的色度影响。
在本发明这种形式的一个优选实施例中，拟将所有校正值存入一个存储矩阵。存储矩阵的每一个存储单元都明确地对应着复合图像中的一个象素。当将该存储矩阵的内容作为单独图像显示时，用户可以获得有关背景图像对映出物体色度影响的总体印象，而无需详细观察复合图像。
在此，计算校正值时宜考虑到衬托前景图像物体或场景的背景图像的彩色的空间分布。例如，当物体在背景图像中部打出并且整个复合图像右边偏红而左边偏绿时，应将该物体的彩色配比相应地右边向红色而左边向绿色方向推移，以达到自然和谐的整体色度状态。
为此，第二处理单元将复合图像中由背景图像充填的区域分成许多小的图像区域，并且对每个这种图像区域，例如通过平均每一个图像区域所有象素的各分立彩色分量计算出有代表性的色度值。在对单个象素计算校正值时，是将各个图像区域的色度影响分别考虑的。在此，色度影响还应根据被观察象素与相应的图像区域的距离来加权。这意味着在对某个具体象素计算其校正值时，距离远的象素影响效果小而相临近的象素则影响效果相对地大。这样能使在背景图像下该物体及场景有一个自然的色度效果。
在本发明的另一个有专利保护意义的进一步变化形式中，拟在计算复合图像的校正值时考虑透明效果。例如，当观察一个在红色背景下映出的绿玻璃瓶子时。在复合图像中应将瓶子以浅黄色显示，因为红色的背景可以透过瓶子。
所以，为考虑透明效果，需要将复合图像在透明的图像区域与背景图像相混合。
也需要抑制由单色背景透过前景图像中透明物体时所产生的彩色失真干扰。
因此，在本发明的这种形式下，第二处理单元对前景图像的每一个象素都从它的色度值计算出一个透明值来，该数值给出了相应象素的透明度。这里依据的事实是，一个透明物体的彩色分量是随单色背景的彩色配比而变化的。
透明值接下来被送入一个TV混合器。该混合器一方面将在复合图像中前景图像有透明物体或场景的区域与背景图像的图像信息相混合，另一方面又抑制了由单色背景引起的彩色失真。为此根据单色背景的色彩配比减少在复合图像中有透明物体的图像区域的彩色分量值。
在这种形式的一个优先实施例中，透明值由单独的存储矩阵来存储，这样可以通过对存储矩阵的图像显示，迅速对透明效果产生一个总体印象。
在本发明的另一个有专利保护意义的进一步变化形式中，还考虑到了在复合图像中物体及场景在背景图像上有阴影的形式。当在单色背景下对一个物体摄像时，该物体通常会在背景上投下一道阴影。由于物体与单色背景分离因此在复合图像中没有重现该阴影。
因此，在本发明的这种形式下，拟对背景部分占据的区域中复合图像的每个象素都通过第二处理单元根据前景图像中的相应象素的色度值来确定出一个校正值，该校正值反映了复合图像中阴影的影响。
这一校正值接下来被送入图像处理单元，它根据校正值将复合图像部分地变暗以显示阴影。在这种形式的一个优选实施例中，拟设置一个输入单元，它与图像处理单元相连接并可以输入一个控制值。该控制值可控制阴影在复合图像中的强度。通过这种方式，用户可以对复合图像中由物体及场景投影在背景图像上影子的强弱进行连续调整。
在这种形式的一个优化实现方案中，拟将反映阴影形成强度的校正值存入一个存储矩阵。其中存储矩阵中每一个存储单元对应着复合图像中的一个象素。通过对存储矩阵内容的图像显示，可以使用户在不用描述复合图像的所有细节的情况下，得到阴影分布的概况。
然而，在单色背景下摄像时，一个物体不仅在背景上产生阴影，它还通过物体表面的反射产生亮区。特别应当考虑的是发光的物体。
因此，在本发明的另一个有专利保护意义的进一步变化形式中，还考虑了复合图像中物体及场景由于反射而产生于复合图像相应部位的亮区。
为达到这个目的，第二处理单元对于复合图像中背景区域的每一个象素都从相应前景图像象素的色度值中计算出一个校正值。该校正值反映由于物体反射在单色背景部分亮区。
这一校正值接下来被送入图像处理单元，它根据校正值将复合图像部分变亮以表示亮区。在这种形式的一个优先实现方案中，拟设置一个输入单元，它与图像处理单元相连接并可以输入一个控制值。该控制值可以控制复合图像的变亮程度。通过这种方式，用户可以对复合图像中前景图像物体的反射程度加以控制。
在这种形式的一个实施例中，拟将反映物体在前景图像的单色背景发亮的校正值存入一个存储矩阵。其中每一个存储单元对应着复合图像中的一个象素。通过对存储矩阵内容的图像显示，可以使用户在不用显示复合图像的所有细节的情况下，简单地了解由于前景图像的物体反射亮区的概况。
以上所述装置特别适合于在并行处理机构上实现。因为复合图像的各个象素的色度值是单独确定的，所有可以实现并行计算。
本发明并不限于在可编程的微处理机系统上实现以上所述运算。本发明也可以用纯硬件实现。
本发明其他有优势的实施例在独立权利要求中描述和/或在下面结合示意图和本发明的优选实施例一起加以更进一步的展示
图1作为本发明优选实施例，一个从前景图像和背景图像来产生复合图像的装置；图2是一个图1所示装置工作原理的示意框图；图3a-3d以流程图形式给出了用于从前景图像和背景图像产生复合图像的进一步方法。
图1中以框图形式给出的装置，用来将有一幅前景图像(FG-foreground)和一幅背景图像(BG-background)合成一幅复合图像。其中前景图像显示了将在背景图像上映出的物体。
这里的前提是，其前景图像中的物体是显示在一个基本上单色的背景(BS-blue screen蓝屏幕)之上的，以使该物体能脱离前景图像的其余部分，单独地映出在背景图像上。
为了存储这两幅图像，该装置设有两个存储矩阵1,2。存储矩阵1,2中每个存储单元都分别对应着前景图像和背景图像中的一个象素及含有按照RGB彩色模型，红、绿、蓝三基色在0到255之间的强度。这样，存储矩阵1,2分别表示前景及背景图像的数字图像。
为了能使前景图像中的物体在背景图像上映出，必须首先对每一个象素来作出判断，看它是属于物体的一部分还是属于单色背景。
为此控制单元3连续寻址存储矩阵1的所有存储单元，并将前景图像相应象素的色度值通过一个数据总线一方面送至处理单元R4，另一方面送至选择单元R5。
处理单元R4对前景图像的每一个象素都产生一个控制信号SEP。该信号反映该象素是物体(SEP=1)的一部分或是单色背景的一部分(SEP=0)。在此，处理单元R4对通过数据总线来自存储矩阵1的每一个象素的色度值都与预先给定的色度值进行比较。给定的色度值反映了单色背景的彩色配比并可由用户通过输入单元6设定。用这种方法也有利于使用那些不能确切知道其单色背景的彩色配比的前景图像。这时用户可以先给输入单元6一个关于单色背景彩色配比的估计值，然后对这种估计值进行迭代优化。优化时的判断准则是图像复合的视觉质量。
由处理单元R4产生的控制信号SEP被送入选择单元R5。选择单元R5的任务是将前景图像中的物体和单色背景图像分离，并将它合成为一个复合图像KB1。这幅复合图像或是来自于前景图像相应象素的色度值，或是来自于背景图像相应象素的色度值。选择单元R5的输出端续接了另一个存储矩阵7以用于缓冲复合图像，它的每一个存储单元都对应着复合图像中的一个象素，如此存储矩阵7就给出了一个复合图像的数字图像。
当内存单元R4产生的控制信号SEP=0时，选择单元R5就将从存储矩阵2中读出的色度值存入存储矩阵7中。而当控制信号SEP=1时，则将从存储矩阵1中读出的色度值存入存储矩阵7中。
这样，存储矩阵7就包含了一幅以数字化编码的复合图像。它的每一个象素都是由相应的前景图像的象素或背景图像的象素组合而成的。
除此之外，在选择单元R5之后还续接有3个存储矩阵8,9,10，这使得对于存储矩阵中的复合图像再进行视觉编辑成为可能。例如可以重现透明效果。
例如存储矩阵8中含有一幅前景图像中所含有的单色背景的数字编码图像。这里，如果控制信号指出该象素由于它的彩色配比是属于单色背景，选择单元就从存储矩阵1中读出前景图像中相应象素的色度值并将该色度值写入存储矩阵8的相应存储单元。相反，如果前景图像的该象素是属于要在单色背景前映出的物体，则选择单元将存储矩阵8中相应的象素的色度值置零，所以存储矩阵8中所存图像的这部分是黑的。
用这种方法产生的单色背景图像可以模仿前景图像在摄影时在单色背景上的物体产生的阴影和亮区。例如，当在单色背景下对一个物体摄影时通常在背景上投射一个阴影，这些阴影应该在复合图像中适当地显示出来。同样，在物体表面的反射会在单色背景上产生亮光，这些亮光也应作为新背景图像再现。
因此，在存储矩阵8后面又接有一个处理单元R11，它的任务是将从前景图像中“剪”下来并存于存储矩阵8中的单色背景的每一个象素的彩色配比与用户通过输入单元6设定的彩色配比值相比较，该预定彩色配比是描述单色背景的彩色配比的参考值。用这种方式处理单元R11可以辨认出彩色配比的局部变化或在单色背景前被摄像的物体所形成的阴影引起的暗区。因此，处理单元R11对由单色背景填充的图像区域的每一个象素都计算出校正值，此校正值给出了阴影在该象素上形成的强弱。处理单元R11将这些校正值存入一个存储矩阵22，从而可以在复合图像中考虑阴影的形成。
以上所述的处理单元R11的任务是考虑在单色背景上物体阴影的形成。而处理单元R12则模仿由物体上的反射而引起的单色背景部分或单色背景区域的彩色配比变化。为此，处理单元R12将从前景图像中“剪”下的单色背景的色度值与预先由用户通过输入单元6给定的单色背景彩色配比的预定参考值相比较。处理单元R12对每一个象素都计算出一个校正值。它给出了该象素通过物体反射所引起的色度值变化。处理单元R12将这些校正值作为数字编码图像存于存储矩阵13中。
除此之外，所示装置通过对缓存于存储矩阵中的复合图像的后续处理还可以模仿透明效果。为此，选择单元R5从前景图像中将物体所占的图像区域分离出来并将它们存入存储矩阵9。
接下来，处理单元R14将物体所占图像区域内的彩色配比与用户通过输入单元6给出的描述单色背景的彩色配比的参考值相比较，以便能够确定在前景图像中透明物体的那些象素致使单色背景透过该物体。从它们彩色配比的改变可以确认出来。在此处理单元R14对于前景图像中物体所占部分的每一个象素都计算出一个透明值。它给出了物体在该象素上的透明度。用这种方式求得的透明值接下来被送到图像处理单元R15，它对每个象素都计算出由于物体透明而产生的色度值变化。
图像处理单元R15一方面校正由于单色背景透出物体而在前景图像中产生的彩色失真，另一方面图像处理单元R15还考虑通过该物体透显出来的单色背景的图像效果。
为此，图像处理单元R15对复合图像中的每一个象素都计算出一个校正值，它给出了由于透明效果而引起的色度值的变化。
本装置还进一步考虑到了新背景对图像主观感受的影响。例如，当新背景图像呈较强的红色时，则前景图像中所包含的物体当在复合图像中其彩色不变的情况下就显得不自然。因此，为了达到自然的彩色感受，应将物体所占图像区域复合图像的色度值针对新背景图像的色度值加以适应。
为此，特别设置了处理单元R17，其输入端与存储矩阵10相连接。它先将新的背景图像分成许多子区域并对每个子区域都计算出其单个彩色分量的平均值。然后，处理单元R17对每个象素的红、绿、蓝三种基色计算出校正值。它们确定了为达到自然的彩色感受物体彩色相有的改变。在此，处理单元R17先分别独立考虑单个图像子区域效果，并对每个子区域都计算出一个校正值，该校正值与被考虑的象素和该子区域的距离有关。例如当一个子区域离物体的象素相对较近时，则该子区域对这一象素在彩色感受上的影响也就远小于邻近的子区域的影响。处理单元R17对每一个象素都将各子区域的校正值求和而得到一个单一的校正值，它给出在新背景上得到自然的彩色感受该象素所应有的变化。这些校正值继而被写入存储矩阵18中。
所以，本装置从前景图像和背景图像中计算出存储矩阵13,16,18,22的内容。每个矩阵中含有复合图像中每个象素对红、绿、蓝三种基色的校正值。由此可以考虑到透明效果，亮区与阴影以及通过新背景所导致的彩色视觉影响。
所示的装置还带有一个图像处理单元R19，它的输入端一方面与含有复合图像的存储矩阵7相连接，另一方面又与存有校正值的存储矩阵13,16,18,22相连接。图像处理单元R19对复合图像KB1的每一个象素都根据存在矩阵7中该象素的色度值和相应的各校正值进行计算新图像KB2的色度值，新图像KB2存入接于其后的存储矩阵21中。
图像处理单元R19可以对前述各种效果的强度进行连续调整并为此设有一个输入单元20，通过它用户可以对多个控制参数CL,CS,CT,CR进行调节。调节这些参数的作用是变化存于存储矩阵13,16,18,22中校正值的权重。例如，可以连续地调节结果图像中阴影的形成。
以上所述装置的工作过程可通过图2中所示的流程图更清楚地展示出来。
本装置首先由前景图像FG和背景图像BG计算出复合图像KB1，它的每一个象素是由前景图像FG相应象素的色度值或是由背景图像BG相应象素的色度值结合而成的。
本装置接下来计算出四个存储矩阵T,S,L,R内容，它们是对于复合图像KB1每个象素红、绿、蓝三种基色的校正值。它们可以生成自然的图像效果的复合图像。
存储矩阵T中所存的校正值给出了复合图像的色度值的变化。这种变化是由于前景图像中所含物体透明产生，从而使得背景图像BG在这个区域内也部分可见。
存储矩阵S则定义了复合图像的色度值的变化。这种变化可以使物体在前景图像中的单色背景上形成的阴影能够在复合图像中新的背景上也能再现出来。
存储矩阵L相应地再现了由物体反射而在前景图像的FB单色背景上产生的可见亮区。
存储矩阵R则是用来适应复合图像中的物体在新背景下产生的图像效果，以使物体在新背景下，如很红的背景下，也不显得不自然。
从上述存储矩阵中的内容与初始复合图像KB1一起计算得到最终的复合图像KB2，它可以给观察者以自然的图像感受。
图3a到图3d以流程图的形式示出了这类图像构成的一个进一步的方法。图中单个的处理步骤描述于中间，左边是各步骤所需的输入数据，而右边是产生的结果数据。处理步骤两侧所示的方框分别给出了用于存放该步骤所需的输入和/或输出数据的存储块。其中有几个存储块是以存储矩阵的形式出现的，这由画在相应方框右上角的栅格来表示。如此，这些存储块含有许多存储单元，它们分别存有对应于图像区域的一个象素并且确定例如红、绿、蓝三种基色的强度。
在第一个处理步骤23中，用户首先通过输入单元输入控制图像处理方法的控制参数，例如透明效果在要生成的复合图像中要加以考虑的程度有多大。这些控制参数被存入存储块24中并可以在以后的处理步骤中按需调用。
在下一个处理步骤25中，则是首先计算前景图像(FG-foreground)中蓝色背景(“Blue-Screen”)的彩色配比。以便在后面可以在前景图像中将物体及场景从蓝色背景中分离出来。为此，所有前景图像象素红、绿、蓝三种基色的彩色分量都被从存储矩阵26中读出。存储矩阵26以数字形式存有前景图像。接下来对前景图像的所有象素都将蓝色分量的强度与其他两个彩色分量的强度相比较，从中找出前景图像中蓝色彩色分量占优势的象素，并由此估计它们是属于蓝色背景而不属于前景图像中所显示的一个物体。然后对用这种方法找出的象素来求出红、绿、蓝三个彩色分量的平均值，并将其做为比较值存入存储块27中，供图像分离时用。这种自动确定蓝色背景彩色配比的方法也很有利于应用到不知道蓝色背景的彩色配比的前景图像情况。此外，蓝色背景的彩色配比可以有较大范围的浮动而不会影响其功能，例如蓝屏幕的褪色只对要产生的复合图像有很小的影响。
接下来的处理步骤28对背景图像(BG-backgurnd)根据事先给出的存于存储块24中的控制参数进行校正。为此先将背景图像所有象素的红、绿、蓝三种基色的强度从存储矩阵29中读出。存储矩阵29存有数字形式的背景图像。
对背景图像的彩色校正包括在保持图像感受不变的情况下，一方面对其亮度进行调整，即对单个象素的三个基色的强度等量地增强或减弱。这里加亮或变暗的程度是由控制参数“亮度”给定的。重要的一点是明暗的调节对背景图像的所有象素一致完成的。
另一方面，对背景图像的彩色校正也包括对单个象素彩色配比的变动，以得到对背景图像的不同彩色感受。为此，在存储块24中存有对应于红、绿、蓝三种基色的彩色校正值。背景图像的彩色配比则根据每个象素相应的彩色校正值变化。值得指出的是，彩色配比的变化对整个背景图像是一致地进行的。
由单个象素对于红、绿、蓝三种基色的彩色校正产生的强度值被写入另一个存储矩阵30，它由此含有修正后的背景图像(CC_BG-colour correctedbackground image)。
接下来的处理步骤31是分离前景图像中的物体的蓝色背景。这是分别对前景图像中的每个象素进行的。在此，对于前景图像的每个象素都从存储矩阵26中读出其三个彩色分量的强度值，并将它们与事先已确定的并存于存储块27中的蓝色背景的彩色配比相比较。在对蓝色背景的彩色配比与前景图像单个象素的彩色配比进行比较时，考虑到了在第一处理步骤23中所给出的控制参数“分离极限值”，该参数可以由用户来加以改变以优化视觉效果，特别是在图像内容较复杂的情况下。在比较过程中，根据当前象素是属于蓝色背景部分还是属于前景图像物体部分计算出一个关键值并将其存入存储矩阵32中。存储矩阵32的每一个存储单元都对照着前景图像的一个象素。当前景图像的一个象素属于蓝色背景时，关键值在存储矩阵32中相应的存储单元取值为“0”而当一个象素属于前景图像的一个物体时，则存入“2”作为关键值。上述分离之后，存储矩阵32指出了前景图像中单个象素是蓝色背景部分还是前景图像中的物体部分。
接下来的步骤33计算每一个象素前景图像的物体的透光性，它指出了蓝色背景能透过物体的程度。这可以使生成的复合图像在图像感受上得以优化，在此前景图像中物体的透光性在插入背景图像上时得以重现，是通过使所产生的复合图像中的新背景在从前景图像中分离出来的物体上透出来实现的。
为了节省运算时间，透明度计算只对前景图像中不属于蓝色背景而属于前景图像一个物体的那些象素来进行。这可以根据从存储矩阵32中所存的关键值来确定。
为了确定前景图像中物体的透光度，每一个象素的三个彩色分量的强度值从存储矩阵26中读出，并在考虑到作为控制参数存储于存储块24中的门限值的情况下，将它们与三个彩色参考值相比较，这三个参考值也是由用户在第一处理步骤23中给出并存入存储块24中的。在比较的过程中，对每一个象素都单独给出一个从2到255取值范围的透明值并将其存入存储矩阵32中相应的存储单元。其中透明值等于2表示物体在该象素处完全不透明，而透明值等于255则表示该物体几乎完全透明。通过33这个处理步骤，存储矩阵32不仅给出了一个象素对于蓝色背景或一个物体的从属性，而且还额外确定了属于一个物体的那些象素的透光性。
在进一步的处理步骤34中，可对图像的内容进行标记，例如这样可以做到将前景图像中特定的物体从复合图像中掩去。为此可将存储于存储矩阵32中对于单个象素的关键值按照所需的图像掩模更改。其中掩模是通过相应地关键值(“Key In”)在另外一个存储矩阵35中给定。存储矩阵35的每一个存储单元对应着图像内容的一个象素并且含有一个关键值，它指出前景图像的一个物体在此象素上是否应显示在复合图像中。此外，在本处理步骤34中还对各个象素计算出一组关键值(“Key Out”)。这是将存储矩阵32中所存的关键值与通过存储矩阵35给出的外部关键值(“Key In”)相关联而得到的。这种关联的形式(例如，加法或减法)是通过控制参数“外部掩模”给定的，它是在第一处理步骤23中给出并存入存储块24中的。用这种方法计算出的关键值(“Key Out”)被存入存储矩阵36中。
在下一个处理步骤37中，确定了所谓反射区域，它在前景图像中环绕着物体。反射区域的大小取决于控制参数“反射区域大小”，它被存放于存储块24中，是由用户先前给出的。该控制参数通过给出一定的象素数目来确定反射区域的宽度。为了确定反射区域首先要找出前景图像中物体与蓝色背景之间的分界。为此先对每一个象素从存储矩阵32中读出所存的关键值。然后对于每个落在反射区域内的象素都将存于存储矩阵32中的关键值置成“1”，用以标记该象素是属于反射区域的。
在下一个处理步骤38中，计算了落于反射区域内的背景图像对相应前景图像中物体的影响。本处理步骤的认识出发点是，当一个物体在其彩色不改变的情况下，例如打在较强的红色背景上时，会显得不自然。因此，一种有利的做法是就前景图像中欲打在背景图像上的单个象素的彩色配比按照位于相应反射区域内象素的彩色配比进行更改，以使其能达到尽可能自然的图像效果。在此，图像区域被分成许多长方块，对于每个长方块都分别计算出其象素彩色配比的平均值。这些平均值属于前景图像中的物体部分或反射区域部分，对于每个属于前景图像的物体部分或反射区域的象素都在考虑了可能透明度的情况下计算出一个色度值。这些步骤多次执行，每次长方块的大小减半，直至它小于一个预先给定的最小尺寸为止。这样产生的结果是一幅修正了的前景图像(“AS2”)。它考虑到了背景图像所产生的色度影响。该图像被存于存储矩阵39中，以供进一步处理之用。
接下来的处理步骤40对经修正的前景图像(“AS2”)再进行边缘平滑处理。它是经过对单个象素每次求其周围象素的平均值来得到的。所产生的结果图像(“AS3”)被存入另一个存储矩阵41中。
为准备最终合成复合图像，在进一步的处理步骤42中计算了多个叠化参数并存入存储块43中。这些计算与在第一处理步骤23中给出的并驻存于存储块24中的控制参数有关。
复合图像的合成在下一个处理步骤44中，由来自修正后的前景图像(“AS3”)和背景图像(“BG”)并结合存储矩阵32中所存的关键值来完成的。用这种方法首先生成了一个初始的复合图像(“PAW”)。它被暂时存入存储矩阵45，以供继续处理，如重现透明效果。
在此又设了一个在处理步骤46，它对初始复合图像中单个象素的彩色配比，根据存储块43中所存的叠化参数和存储块24中所存的控制值大小来逐个象素地进行修改。所得的复合图像(“Out”)则存入另一个存储矩阵47中并最终在最后一个处理步骤48中通过一个显示单元显出。
本发明不局限于以上所给的优选实施例。在不同的实施例中呈现的解决方案中可以有许多变化形式。
权利要求
1．用于从一个把物体或场景显示在基本单色背景上的前景图像(FG)和一个背景图像(BG)来产生复合图像的装置，它包括第一处理单元(R4)，用于对前景图像(FG)的每一个象素，依据象素的色度值和给定的描述单色背景彩色配比的色度值，来产生一个标定前景图像(FG)象素是属于物体部分或单色背景部分的控制信号(SEP)，和选择单元(R5)，其输入端与第一处理单元(R4)相连接，用于依据控制信号(SEP)，从前景图像(FG)相应象素的色度值或从背景图像(BG)相应象素的色度值来计算复合图像的单个象素的色度值，其特征在于第二处理单元(R11,R12,R14,R17)，用于依据前景图像(FG)及/或背景图像(BG)相应象素的色度值来对复合图像单个象素的色度值计算其校正值，以达到自然的图像效果，图像处理单元(R19)，其输入端与第二处理单元(R11,R12,R14,R17)相连接的，用于根据由第二处理单元对该象素计算出的校正值来改变复合图像单个象素的色度值。
2．如权利要求1的所述装置，其特征在于，第一处理单元(R4)与第一输入单元(6)相连接，用于调整表示前景图像(FG)的单色背景的彩色配比。
3．如权利要求1或2的所述装置，其特征在于，有用于装入前景图像(FG)和背景图像(BG)单个象素色度值的输入设备和用于输出相应复合图像(KB2)象素的色度值的输出设备。
4．如权利要求1或2的所还装置，其特征在于，输入设备，用来装入代表前景图像(FG)的第一数据项，其内容是前景图像(FG)单个象素的色度值，和装入代表背景图像的第二数据项，其内容是背景图像(BG)的单个象素的色度值，输出设备，用于输出代表复合图像(KB2)的第三数据项，其内容是复合图像(KB2)的单个象素的色度值。
5．如权利要求4的所述装置，其特征在于，第一存储矩阵(1)，用于存储第一数据项，和/或第二存储矩阵(2)，用于存储第二数据项，和/或第三存储矩阵(21)，用于存储第三数据项。
6．如权利要求5的所述装置，其特征在于，第三处理单元，其输入端与第一存储矩阵相连接且输出端与第一处理单元(R4)相连接，用于计算标记前景图像(FG)的单色背景的预定色度值，作为前景图像(FG)色度值的平均值。
7．如权利要求5或6的所述装置，其特征在于，第二处理单元(R11,R12,R14,R17)在输出端与一个第四存储矩阵(18)相连接，用于存储第四个数据项，其中第四数据项的每个分量含有经第二处理单元(R11,R12,Ri4,R17)计算而得的、复合图像单个象素的校正值。
8．如上述权利要求之一的所述装置，其特征在于，第二输入单元(20)，其输出端与图像处理单元(R19)相连接，用于输入由第二处理单元(R11,R12,R14,R17)计算而得的校正值的加权因子。
9．如上述权利要求之一的所述装置，其特征在于，基色是红、绿、蓝三色。
10．如上述权利要求之一的所述装置，其特征在于，色度值的取值范围是0到255。
11．用于从一个将物体在基本上单色的背景上显出来的前景图像(FG)和一个背景图像(BG)来产生复合图像的方法，其中对前景图像(FG)的每一个象素，根据此象素的色度值，和从预定的反映单色背景的彩色配比的色度值，来计算出一个标定象素是物体部分或单色背景部分的控制信号(SEP)，并且复合图像(KB1)每个象素的色度值是依据控制信号(SEP)从前景图像(FG)或背景图像(BG)相应象素的色度值得出的，其特征在于，对复合图像(KB1)的每一个象素都根据前景图像(FG)和/或背景图像(BG)的相应象素的色度值计算出校正值，并且为了达到自然的图像效果，对复合图像(KB1)每个象素的色度值都依据其校正值做了相应的改变。
12．如权利要求11的所述方法，其特征在于，对于在前景图像(FG)中显示物体的象素，根据标定单色背景彩色配比的预定色度值和该象素的色度值计算出一个透明值，该值给出物体在该象素处的透明度，复合图像中显示物体象素的校正值，依据透明值根据前景图像(FG)和背景图像(BG)的色度值计算出来的。
13．如权利要求11或12的所述方法，其特征在于，对于在前景图像(FG)中显示单色背景的象素，根据标定单色背景彩色配比的色度值，和该象素的色度值计算出第一亮度值，该值给出了物体在单色背景上造成阴影的强度，为了重建由物体在背景图像(BG)上所投下的阴影，复合图像中显示背景图像(BG)象素的校正值是根据第一亮度值计算出来的。
14．如权利要求11至13之一的所述方法，其特征在于，对于在前景图像(FG)中显示单色背景的象素，根据标定单色背景彩色配比的色度值和该象素的色度值计算出第二亮度值，该值给出了由于物体反射而导致在单色背景上产生亮区的强度，为了再现在复合图像中的反射，复合图像中显示背景图像(BG)象素的校正值是根据第二亮度值计算出来的。
15．如上述各项权利要求之一的所述方法，其特征在于，背景图像(BG)被分成多个子区域并且对每个子区域都计算出象素色度值的平均值，复合图像中显示物体象素的校正值是根据所有子区域的平均值计算出来的。
全文摘要
用于从把物体显示在单色背景上的一个前景图像(FG+BS)和一个背景图像(BG)来产生复合图像的处理,对前景图像(FG)的每个象素从该象素的色度值和单色背景彩色配比的预定色度值来计算出一个控制信号,该控制信号反映了该象素是属于物体或单色背景,并且复合图像(KB
文档编号H04N9/75GK1217126SQ97194205
公开日1999年5月19日 申请日期1997年4月30日 优先权日1996年4月30日
发明者兹比格纽·赖布齐尼斯基 申请人:Cfb(新图象设计中心)有限公司