专利名称：图像信号编码方法、图像信号编码设备和存储媒体的制作方法
技术领域：
本发明涉及图像信号编码方法以及从移动图像产生子画面(sprite)图像的设备。
背景技术：
近年来，在游戏或互联网上已经使用子画面图像作为得到交互图形显示的一种技术。在JP2000-148130中描述了从移动图像产生子画面图像的传统技术之一。
根据描述，产生子画面图像如图1所示。首先，在步骤(此后称之为ST)1中，输入包括通过摄像机操作(如摄全景或变焦距)拍摄的部分的移动图像。在ST2中，从移动图像提取全局运动参数(表示整个图像的运动的参数)。在ST3中，在移动图像中确定产生子画面的基本帧。
在ST4中，通过在除了基本帧之外的帧上操作全局运动参数而产生预测图像。在ST5中，使用在多个其它帧中的的像素值计算在取样点处的像素值。最后，在ST6中，使用在ST6中计算的取样点处的像素值，在基本帧背景上安排每个都包括预测图像的多个其它帧图像，以致使图像连续地连接。
然而，在上述方法中，当前景具有的运动与背景不同时，不可能正确地估计图像之间的全局运动参数。结果，发生这样的问题，即，所产生的背景子画面图像是模糊的。
发明内容
本发明的目的是提供一种方法和设备，用于即使前景的运动与背景不同时，也产生不模糊的背景子画面图像。
从输入图像中的相同观察点捕获深度图像，并使用深度信息，把输入图像分离成作为分层图像的前景图像和背景图像而实现本目的。
此后，从结合附图的下述描述的考虑中，对本发明的上述和其它目的和特征将更为明了，其中，通过实例说明一个例子，其中图1是流程图，示出传统子画面产生方法的处理过程；图2是方框图，示出在本发明的实施例1中的图像信号编码方法的配置；图3是方框图，示出测距器的配置；图4A是说明彩色图像的图；图4B是说明深度图像的图；图5A是示出通过使用深度信息得到前景图像的图；图5B是示出通过使用深度信息得到屏蔽图像的图；图5C是示出通过使用深度信息得到背景图像的图；图6是方框图，示出子画面产生部分的配置；图7是说明背景子画面的产生的图；图8是示出解码设备的方框图；图9是方框图，示出在本发明的实施例2中的图像信号编码设备的配置；图10是说明背景子画面图像的展开处理的图；图11是方框图，示出在本发明的实施例3中的图像信号编码设备的配置；图12A是示出区域边界校正之前的前景图像的图；图12B是示出区域边界校正之前的背景图像的图；图12C是示出经受区域边界校正的前景图像的图；图12D是示出经受区域边界校正的背景图像的图；图13是方框图，示出具有区域边界校正部分和子画面展开部分两者的图像信号编码设备的配置；以及图14是方框图，示出在本发明的实施例4中的图像信号编码设备。
具体实施例方式
下面将参考附图描述本发明的实施例。
(实施例1)图2示出在本发明的实施例1中的图像信号编码设备的配置。在图像信号编码设备1中，把通过彩色摄像机2拍摄的输入彩色图像输入到分层部分4，同时把通过测距器3拍摄的深度图像输入到分层部分4。
测距器3输出来自彩色图像中相同观察点的深度图像(通过映射摄像机中以像素灰度等级为单位的深度值而得到的图像)。图3示出测距器3的配置的一个例子。在测距器3中，光源部分3A用近红外激光狭缝光照射物体H，同时使光在水平方向上扫描，并且通过狭带滤光器(干扰滤光器)3E和透镜3B，在近红外摄像机3C处拾取来自物体H的反射光。
把近红外摄像机3C的输出输入到深度计算部分3D。通过控制对应于扫描角的光源光功率，或控制对应于扫描角(具有恒定的光源光功率)的扫描速度，使狭缝光的扫描投射出一个图案。在用梯度法执行两个光图案图像的深度计算的情况下，通过轮流地切换每个场(field)的投射图案光，有可能从过去场和当前场的图像中计算出当前场上的深度图像。
深度计算部分3D分析在近红外摄像机3C的输出图像中的图案光，并且当光到达每个像素时检测狭缝光的投射方向θ。然后，使用投射方向和像素的位置，从三角形原理计算物体H的三维位置。根据三维位置，得到深度图像(通过映射摄像机中以像素灰度等级为单位的深度值而得到的图像)。
分层部分4使用来自测距器3的深度信息把彩色图像分离成作为分层图像的前景和背景图像。图4示出从相同观察点拍摄的彩色图像(图4A)和深度图像的例子。在图4B中的深度图像表示，较暗的区域与摄像机较接近，而较亮的区域离摄像机较远。在图4B中，接近摄像机的前景区域是暗的，而远离摄像机的背景区域是亮的。
分层部分4形成如图5所示的图像作为使用深度图像进行分层的结果。换言之，图5A示出通过提取深度值小于门限值的区域而得到的前景图像。在图5A中，以黑色来表示深度值不小于门限值的区域。图5B是屏蔽图像。在图5B中，以白色表示深度值小于门限值的区域，而以黑色表示深度值不小于门限值的另一区域。图5C示出通过提取深度值不小于门限值的区域而得到的背景图像。在图5C中，以黑色来表示深度值小于门限值的一个区域。
因此，分层部分4对从彩色摄像机2得到的输入图像和根据深度信息的门限值进行比较，从而把输入图像分离成作为分层图像的前景图像和背景图像。如此，图像信号编码设备1估计在背景区域中正确的全局运动参数，如下所述。
VOP(视频物体平面)编码部分6接收时序前景图像作为它的输入，在前景图像上执行VOP编码，并输出前景流。换言之，VOP编码部分6对于每个视频物体平面的形状信息和纹理信息执行编码。通过写入表示在前景中背景的特定的像素值(例如，(R，G，B)＝(0，0，0))，或在VOP编码部分6中接收如图5B所示的二进制屏蔽图像和前景图像两者，可以执行在VOP编码部分6中对前景和背景的识别。
子画面产生部分5接收时序背景图像作为它的输入，并产生背景子画面流。配置子画面产生部分6，如在图6中所示。将参考图6和7描述子画面产生部分5的配置。在子画面产生部分5中，当把背景图像输入到场间对应点提取部分5A时，部分5A提取场间对应点。场间运动参数计算部分5B根据相邻场之间的对应性(correspondence)确定相邻场之间的运动参数(如图7的仿射参数所示)。
运动参数计算部分5C根据基本场和背景子画面图像之间的关系以及基本场和每个场之间的关系确定每个场和背景子画面之间的关系，并根据每个场确定子画面图像中的映射。像素值计算部分5D从映射中多次写入背景子画面图像中的值来计算在背景子画面图像中的每个像素值。
换言之，在子画面产生部分5中，场间对应点提取部分5A通过块匹配等搜索背景图像序列的相邻场的背景区域之间的对应点。从基于较早或较晚时间方向的序列中所设置的基本场执行对应点的搜索。在用于产生背景子画面图像的序列中，一般可以选择基于时间的中心场作为基本场。通过下面表示的SSD对图像之间的对应性进行估算。
公式(1)SSD(u,v)=Σi=-W/2W/2Σj=-H/2H/2(I2(x+i,y+j)-I1(x+i+u,y+j+v))2]]>在公式(1)中，I1是基本图像的强度、I2是参考图像的强度、W和H分别表示在对应点的搜索中所使用的块(窗口区域)的宽度和高度、而X和Y表示在基本图像中设置的块的中心位置处的像素坐标值。设置在基本图像中的块，使在块中包括预定数目或更多数目的背景像素。作为在基本图像中的(x，y)处的运动矢量，计算SSD，同时改变每个像素基础的搜索区域中的u，v，并且得到使SSD最小的一对u，v(像素精度的运动矢量)。其次，为了计算子像素精度的运动矢量，在一个像素间隔处所计算的SSD最小值附近使用下列公式校正u和v。在(x，y)附近SSD值的空间分布的泰勒(Taylor)展开式得到下列公式。
公式(2)∂SSD(u+Δu,v+Δv)∂u=∂SSD(u,v)∂u+Δx∂2SSD(u,v)∂u2+Δy∂2SSD(u,v)∂u∂v]]>∂SSD(u+Δu,v+Δv)∂v=∂SSD(u,v)∂v+Δx∂2SSD(u,v)∂v∂u+Δy∂2SSD(u,v)∂v2]]>在对应点处的SSD值具有极限的情况下，得到下列公式。
公式(3)ΔuΔv=-∂2SSD(u,v)∂u2∂2SSD(u,v)∂u∂v∂2SSD(u,v)∂v∂u∂2SSD(u,v)∂v2-1∂SSD(u,v)∂u∂SSD(u,v)∂v]]>因此，计算在基本图像中(x，y)处的子像素精度的运动矢量(u+Δu，v+Δv)。根据上述过程，计算相邻场之间的多个对应点。
场间运动参数计算部分5B使用最小二乘法，使全局运动模型拟合场间对应点提取部分5A提取的多个对应点对。这里，为了简化说明，将描述当全局运动模型是仿射变换时，在部分5B中的处理。
假定在基本图像中的坐标是(x，y)，而在参考图像中的坐标是(x’，y’)，把仿射参数施加到n对对应点(x0，y0)，(x’0，y’0)，…，(xn-1，yn-1)，(x’n-1，y’n-1)。换言之，确定最符合下列公式(4)的仿射参数a到f。
公式(4)x0′···xn-1′y0′···yn-1′=abcdefx0···xn-1y0···yn-11···1]]>使用下列公式(5)估算仿射参数的拟合。
公式(5)J=Σk=0n-1[{xk′-(axk+byk+c)}2+{yk′-(dxk+eyk+f)}2]]]>通过在公式(6)的条件下解公式(7)而得到使公式(5)最小的仿射参数a到f。
公式(6)∂J∂a=-2Σk=0n-1xk{xk′-(axk+byk+c)}=0]]>∂J∂b=-2Σk=0n-1yk{xk′-(axk+byk+c)}=0]]>∂J∂c=-2Σk=0n-1{xk′-(axk+byk+c)}=0]]>∂J∂d=-2Σk=0n-1xk{xk′-(dxk+eyk+f)}=0]]>∂J∂e=-2Σk=0n-1yk{xk′-(dxk+eyk+f)}=0]]>∂J∂f=-2Σk=0n-1{xk′-(dxk+eyk+f)}=0]]>公式(7) 当场间对应点提取部分5A中对应点搜索的结果包括出错的对应点时，仿射参数的估计误差变得较大。为了改进误差，除去对应点的界外值。在除去对应点界外值的步骤中，使用从多个对应点(x0，y0)，(x’0，y’0)到(xn-1，yn-1)，(x’n-1，y’n-1)计算的估算仿射参数值a到f和公式(7)，使用公式(8)和(9)计算在每个对应点处的仿射参数拟合精度公式(8)Δxi′Δyi′=xi′yi′-abcdefxy1]]>公式(9)ri=Δx′2+Δy′2]]>然后，使用作为门限值的rAVE+σr除去界外值，并且再次用仿射参数拟合余留的对应点对。这里，rAVE是ri的平均值，而σr是ri的标准偏差。
运动参数计算部分5C使用场间运动参数计算部分5B计算的相邻背景场之间的仿射参数以及基本场和子画面图像(如在图7中所示，使子画面图像扩大两倍，因为假定子画面图像是帧图像)之间的仿射参数进行合成，从而计算每个背景场和子画面图像之间的仿射参数。
像素值计算部分5D使用每个背景场和背景子画面图像之间的仿射参数映射在背景子画面图像中的每个背景场图像。如在图7中所示，由于在背景子画面图像中映射背景场而同时相互重叠，所以确定背景子画面图像的像素值作为考虑重叠的平均值或中间值。
通过执行这种处理，子画面产生部分5从背景图像序列产生背景子画面图像。
子画面编码部分7通过子画面编码对背景子画面图像中每个帧的称为子画面点的取出坐标以及背景子画面图像进行编码，并产生背景流。
图8示出解码设备10的配置，所述解码设备对在图像信号编码设备1中产生的前景流和背景流进行解码。在VOP解码部分1中对前景流解码，同时在子画面解码部分12中对子画面流解码。在组合部分13中组合每个经解码的数据，以形成再现图像。
在上述配置中，在图像信号编码设备1中，当把来自彩色摄像机2的输入图像输入到分层部分4时，根据从测距器3得到的深度信息，使输入图像分离成前景图像和背景图像，以产生分层图像。
然后，在图像信号编码设备1中，子画面产生部分5使用分离的背景图像产生背景子画面图像。此时，子画面产生部分5使全局运动模型拟合背景图像，以计算每个参数。
如此，图像信号编码设备1根据深度信息，通过使全局运动模型拟合通过分离输入图像得到的背景图像而计算参数，代替直接使全局运动模型拟合输入图像而计算参数。
结果，在图像信号编码设备1中，即使前景所具有的运动不同于背景时，也有可能在背景区域中正确地估算全局运动参数。在图像信号编码设备1中，因此像素值计算部分5D使用正确的全局运动参数，映射在背景子画面图像中的背景场图像。
如此，在图像信号编码设备1中，由于根据只对背景图像正确计算的全局运动参数来产生背景子画面图像，所以即使前景所具有的运动不同于背景时，也可能制止尤其在前景和背景之间边界周围发生的图像模糊。
因此，根据上述配置，捕获来自与输入图像相同观察点的深度图像，并使用深度信息，使输入图像分离成作为分层图像的前景图像和背景图像，从而即使前景和背景中物体具有不同运动时，也可能正确地估算背景区域的全局运动参数，以及产生不模糊的背景子画面图像。
(实施例2)图9示出根据本发明的实施例2的图像信号编码设备30的配置，其中，与图2相似的部分给予与图2中相同的标号。除了在子画面产生部分5和子画面编码部分7之间提供子画面展开部分31之外，图像信号编码设备30与实施例1中的图像信号编码设备1具有相同的配置。
如在图10中所示，在背景子画面图像中，相对于由于前景的遮断而不写入像素值的区域，当在这种区域附近存在写入像素值的像素时(即，在图10中“A”表示的区域中存在目标像素时)，子画面展开部分31在像素值写入像素处外推像素值，从而展开背景子画面图像。
因此，通过将背景子画面图像展开一个或两个像素，当接收方组合通过子画面解码得到的背景和通过VOP解码得到的前景时，有可能防止在前景和背景之间的边界附近产生不写入像素值的像素。
换言之，在图8中示出的解码设备10的解码中，当子画面解码部分12变换背景子画面图像的部分坐标以产生在每个帧中的背景图像时，在背景图像上多路复用VOP解码部分11中解码的前景图像，从而产生经解码的图像，可能发生在前景和背景之间的边界附近产生由于在坐标变换中量化误差而不写入像素值的像素的情况。在这种情况下，图像信号编码设备30防止不写入像素值的像素的发生。
因此，根据上述配置，提供子画面展开部分31，所述子画面展开部分31外推外围区域，其中，把像素值写入由于前景的遮断而未写入像素值的区域中，以在背景子画面图像中写入像素值，当接收方组合子画面解码背景和VOP解码前景时，有可能在前景和背景之间的边界附近防止产生不写入像素值的像素。
(实施例3)图11示出根据本发明的实施例3的图像信号编码设备40的配置，其中，与图2相似的部分给予与图2中相同的标号。在图像信号编码设备40中，把在分层部分4中得到的前景图像和背景图像输入到区域边界校正部分41。
区域边界校正部分41通过如一般图像处理技术所执行的展开处理而展开前景边缘，以校正前景和背景之间的边界。图12是区域边界校正处理的说明图。图12A和12B分别示出区域边界校正之前的前景图像和背景图像，而图12C和12D分别示出经受区域边界校正的前景图像和背景图像。在图12A和12B中，把原先是前景的区域A错误地分离成背景子画面区域A。同时，把原先是背景的区域B错误地分离成前景子画面区域B。
当前景区域和背景区域具有不同的运动时，原先是前景但被错误地分离成背景的诸如区域A的区域导致背景子画面图像中的模糊。同时，原先是背景但被错误地分离成前景的诸如区域B的区域不会导致背景子画面图像中的模糊。
在前景区域上执行VOP编码中，诸如区域B的区域在某种程度上导致编码量增加，但是不影响图像质量。相应地，在区域边界校正部分41中的展开处理防止原先是前景的区域被错误地分离成背景，如在图12C和D中所示。
此外，可以对应于深度信息的精度(即，在图12中区域A和B的容量)来确定展开前景区域的数量(像素的数目)。
因此，根据上述配置，即使把原先是前景的区域错误地分离成背景时，通过展开前景区域以校正前景和背景之间的边界位置，有可能产生不模糊的背景子画面图像。
此外，当区域边界校正部分41先执行收缩处理然后执行展开处理时，有可能删除噪声状的细前景区域，并降低VOP层中的形式编码量。
此外，如图13中所示，具有在实施例3中说明的区域边界校正部分41和在实施例2中说明的子画面展开部分31两者的配置实现图像信号编码设备50，所述图像信号编码设备50能够防止解码中在前景和背景之间的边界附近的不写入像素值的像素的产生。
(实施例4)图14示出根据本发明的实施例4的图像信号编码设备60的配置，其中，与图2相似的部分给予与图2中相同的标号。
在图像信号编码设备60中，把VOP编码部分6产生的前景流和子画面编码部分7产生的背景流分别输入VOP解码部分61和子画面解码部分62。VOP解码部分61和子画面解码部分62分别在前景流和背景流上执行局部解码，并分布把局部解码数据输出到组合部分63。
把在组合部分63中组合的局部解码数据输出到剩余计算部分64。剩余计算部分64计算局部解码数据和彩色摄像机2输出的输入图像之间的剩余。作为剩余计算的例子是强度差的绝对值，强度差的平方值、RGB值之间的差的绝对值总和、RGB值之间的差的平方值总和、YUV值之间的差的绝对值总和以及YUV值之间的差的平方值总和。
前景校正部分65接收彩色摄像机2的输入图像、分层部分4的前景图像和剩余计算部分64的剩余作为它的输入，并把剩余大于或等于预定门限值的区域加到前景区域上。这里，门限值的降低增加了编码量，但是改进了发送图像质量，而门限值的增加在某种程度上使图像质量降低，但是压缩了编码量。
VOP编码部分66对前景校正部分65中校正的前景图像执行VOP编码，以输出作为前景流。
因此，根据上述配置，有可能实施图像信号编码设备60，它对应于分层编码导致的误差(剩余)，把具有较大误差的区域加到前景上，以此纠正前景区域以执行编码，因此改进了发送图像的图像质量。
(其它实施例)此外，上述实施例4描述的情况是把剩余与预定门限值进行比较，并把剩余大于或等于门限值的区域加到前景上，但是本发明不限于上述情况。代替把剩余大于或等于门限值的区域简单地加到前景区域上，有可能执行加到前景区域的众知技术，即，剩余压缩处理(细区域消除处理)。如此，不大大地降低主观图像质量，就可使由于前景校正引起的前景区域形状信息的增加(即，编码量的增加)受到压缩。
此外，当上述实施例描述在前景图像上执行VOP编码的情况时，本发明不限于上述情况。可能是这样一种情况，即，写入表示前景图像中的背景的特定像素值(例如，(R，G，B)＝(0，0，0))，执行编码和解码而无需使用在MPEG 2等中的形状信息，并在组合前景和背景中，根据特定像素值把前景和背景进行组合。这样，即使执行其它编码处理来代替VOP编码时，也有可能得到与上述实施例中相同的结果。
此外，虽然上述实施例描述了使用测距器作为深度图像获得装置的情况，但本发明不限于上述情况。可使用立体摄像机或多观察点摄像机，换言之，可以使用能够从相同观察点拍摄彩色图像和深度图像的任何摄像机。
更进一步，虽然上述实施例描述了在产生背景子画面中使用仿射变换的情况，但本发明不限于本发明。可执行诸如观察点投影变换或弱观察点投影变换之类的其它变换，以产生背景子画面。
此外，虽然上述实施例说明了作为设备和方法方面的本发明，但是可应用本发明作为存储媒体，将上述方法作为程序存储。
本发明的图像信号编码方法包括以下步骤输入待编码输入图像的图像输入步骤；从与输入图像中相同的观察点得到深度图像的深度图像获得步骤；使用在深度图像获得步骤中得到的深度图像的深度信息，把输入图像分离成作为分层图像的前景图像和背景图像的分层步骤；对前景图像进行编码的编码步骤；从背景图像产生背景子画面图像的背景子画面图像产生步骤；以及对背景子画面图像进行编码的子画面编码步骤。
根据本方法，即使前景所具有的运动不同于背景的运动，通过使用深度信息把输入图像分离成作为分层图像的前景区域和背景区域，也有可能在背景区域中正确地估算局部运动参数，并产生不模糊的背景子画面图像。
本发明的图像信号编码方法还包括背景子画面展开步骤，所述步骤展开在背景子画面产生步骤中产生的背景子画面图像的背景区域。
根据本方法，即使由于在背景子画面图像中的前景的遮断而存在不写入像素值的区域时，由于展开背景子画面图像中的背景区域，所以也有可能在解码图像中前景和背景之间的边界附近防止产生不写入像素值的像素。
本发明的图像信号编码方法还包括展开在分层步骤中产生的前景区域的区域边界校正步骤，从而纠正前景图像和背景图像之间的区域边界位置。
根据本方法，即使把原先是前景的区域错误地分离成背景时，通过展开前景区域以校正前景和背景之间的边界位置，也有可能产生不模糊的背景子画面图像。
本发明的图像信号编码方法还包括对编码步骤中产生的编码数据执行局部解码的第一局部解码步骤；对子画面编码步骤中产生的编码数据执行局部解码的第二局部解码步骤；获得输入图像与解码图像之间剩余的剩余计算步骤，解码图像通过第一解码步骤和第二解码步骤产生；以及把剩余较大的像素加到前景从而校正前景的前景校正步骤。
根据本方法，通过加入剩余较大(由产生分层图像而引起的)的区域进行编码，有可能改进发送图像的图像质量。
本发明的图像信号编码方法还包括剩余压缩步骤，所述步骤不把剩余(来自输入图像)大于第一门限值的区域中面积小于第二门限值的区域加到前景中。
根据本方法，无需大大地降低主观图像质量，有可能使由于前景校正引起的前景区域的形状信息中的增加(即，编码量的增加)得以减少。
在本发明的图像信号编码方法中，在编码步骤中对前景图像执行VOP编码。
本发明的图像信号编码设备具有输入待编码的输入图像的图像输入部分；从与输入图像相同的观察点得到深度图像的深度图像获得部分；使用深度图像把输入图像分离成作为分层图像的前景图像和背景图像的分层部分；对前景图像编码的编码部分；从背景图像产生背景子画面图像的背景子画面产生部分；以及对背景子画面图像进行编码的子画面编码部分。
本发明的存储媒体是存储图像信号编码程序的计算机可读出存储媒体，该程序包括输入待编码的输入图像的图像输入程序；从与输入图像相同的观察点得到深度图像的深度图像获得程序；使用深度图像的深度信息把输入图像分离成作为分层图像的前景图像和背景图像的分层程序；对前景图像进行编码的编码程序；从背景图像产生背景子画面图像的背景子画面产生程序；以及对背景子画面图像进行编码的子画面编码程序。
本发明的程序使计算机执行输入待编码的输入图像的图像输入程序；从与输入图像相同的观察点得到深度图像的深度图像获得程序；使用深度图像的深度信息把输入图像分离成作为分层图像的前景图像和背景图像的分层程序；对前景图像进行编码的编码程序；从背景图像产生背景子画面图像的背景子画面产生程序；以及对背景子画面图像进行编码的子画面编码程序。
本发明不限于上述实施例，各种改变和修改都是可能的，不偏离本发明的范围。
本申请是根据2001年7月4日提出的日本专利申请号2001-203830，这里特意引用该专利的全部内容作为参考。
权利要求
1.一种图像信号编码方法，其特征在于，包括图像输入步骤，输入待编码的输入图像；深度图像获得步骤，从与输入图像相同的观察点得到深度图像；分层步骤，使用在深度图像获得步骤中得到的深度图像的深度信息把输入图像分离成作为分层图像的前景图像和背景图像；编码步骤，对前景图像进行编码；背景子画面产生步骤，从背景图像产生背景子画面图像；以及子画面编码步骤，对背景子画面图像进行编码。
2.如权利要求1所述的图像信号编码方法，其特征在于，进一步包括背景子画面展开步骤，展开在背景子画面产生步骤中产生的背景子画面图像的背景区域。
3.如权利要求1所述的图像信号编码方法，其特征在于，进一步包括区域边界校正步骤，展开在分层步骤中产生的前景区域，从而校正前景图像和背景图像之间的区域边界位置。
4.如权利要求1所述的图像信号编码方法，其特征在于，进一步包括第一局部解码步骤，对编码步骤中产生的编码数据执行局部解码；第二局部解码步骤，对子画面编码步骤中产生的编码数据执行局部解码；剩余计算步骤，得到在输入图像与在第一解码步骤和第二解码步骤中产生的解码图像之间的剩余；以及前景校正步骤，把剩余较大的像素加到前景中，从而校正前景。
5.如权利要求4所述的图像信号编码方法，其特征在于，进一步包括剩余压缩步骤，不把剩余(来自输入图像)大于第一门限值的诸区域中面积小于第二门限值的区域加到前景中。
6.如权利要求1所述的图像信号编码方法，其特征在于，在编码步骤中对前景图像执行VOP编码。
7.一种图像信号编码设备，其特征在于，包括图像输入部分，输入待编码的输入图像；深度图像获得部分，从与输入图像相同的观察点得到深度图像；分层部分，使用深度图像的深度信息把输入图像分离成作为分层图像的前景图像和背景图像；编码部分，对前景图像进行编码；背景子画面产生部分，从背景图像产生背景子画面图像；以及子画面编码部分，对背景子画面图像进行编码。
8.一种存储图像信号编码程序的计算机可读存储媒体，其特征在于，所述程序包括图像输入程序，输入待编码的输入图像；深度图像获得程序，从与输入图像相同的观察点得到深度图像；分层程序，使用深度图像的深度信息把输入图像分离成作为分层图像的前景图像和背景图像；编码程序，对前景图像进行编码；背景子画面产生程序，从背景图像产生背景子画面图像；以及子画面编码程序，对背景子画面图像进行编码。
9.一种用于使计算机执行的程序，其特征在于，该程序包括图像输入程序，输入待编码的输入图像；深度图像获得程序，从与输入图像相同的观察点得到深度图像；分层程序，使用深度图像的深度信息把输入图像分离成作为分层图像的前景图像和背景图像；编码程序，对前景图像进行编码；背景子画面产生程序，从背景图像产生背景子画面图像；以及子画面编码程序，对背景子画面图像进行编码。
全文摘要
所提供的是深度图像获得部分，该部分从与输入图像相同的观察点得到深度图像；分层部分，该部分使用深度图像的深度信息把输入图像分离成作为分层图像的前景图像和背景图像；编码部分，该部分对前景图像进行编码；背景子画面产生部分，该部分从背景图像产生背景子画面图像；以及子画面编码部分，该部分对背景子画面图像进行编码。在深度图像获得部分中，从与输入图像相同的观察点得到深度图像；使用深度信息把输入图像分离成作为分层图像的前景图像和背景图像；并根据所分离的背景图像产生背景子画面图像。
文档编号H04N7/32GK1395231SQ0214057
公开日2003年2月5日 申请日期2002年7月4日 优先权日2001年7月4日
发明者吾妻健夫, 登一生, 鱼森谦也, 森村淳 申请人:松下电器产业株式会社