专利名称：用于分割的装置和方法
技术领域：
本发明涉及一种用于将图像序列的第一图像的第一像素指定给段的分割装置。
本发明进一步涉及一种将图像序列的第一图像的第一像素指定给一个段的方法。
本发明还涉及一种图像处理设备，它包括-用于接收图像序列的接收装置；-用于将图像序列的第一图像的第一像素指定给一个段的分割装置；和-由分割装置控制的图像处理单元。
在许多图像处理和图案识别工作中，分割是基本的步骤。分割是为图像中的像素决定与有限段集合中的一个段的从属关系的过程，其中一个段是像素的连接的集合。从属关系可以根据颜色、亮度、纹理或其它属性来确定。像素之间的对应性度量称为一致性。通常，段的意思是“对象在场景中的投射图像”。
为了压缩、深度或运动估计、对象跟踪、或视频分割的其它目的，分割处理理想地应当满足以下两个要求-分割应当至少是像素精确的；和-分割应当时间上稳定只要段在图像中可见，就应当能够被“跟踪”。事实上，段理想地应当沿场景“运动”，并且其形状的轮廓不应有很大变化。由噪声、遮挡、变焦和不同视角引起的图像中的小变化不应造成段形状的突然变化。这避免了例如视频流处理后闪烁这样的伪像。
可以考虑两种极端，其中每一种仅满足一个要求-每帧独立地精确的分割。该分割可以是像素精确的，但是由于噪声或其它原因，分割通常时间上不稳定，即连续图像之间没有一对一的对应关系。
-一个帧被分割，并且这些段在全部后续图像中不断地形成场景(例如通过移位或变形)。这保证了稳定性，但是不能处理后来进入场景的新对象。
在开始段落中说明的那种方法的实施例从J.G.Choi等人在1997年4月IEEE Transactions on Circuits and Systems for VideoTechnology，vol.7，no.2上的文章“ Spatio-Temporal VideoSegmentation Using a Joint Similarity Measure”可得知。该文章描述了形态时空分割算法。该算法同时合并了亮度和运动信息并使用例如形态滤波器之类的形态工具和分水岭算法。为了完成分割的程序由三个步骤组成联合标记提取、边界确定、和基于运动的区域融合。首先，联合标记提取识别运动和亮度中一致区域的出现，其中提出了一种简单的联合标记提取技术。第二，通过分水岭算法确定时空边界。为此，提出了一种联合相似性方法。最后，使用基于运动的区域融合进行多余区域的删除。该算法的核心是形态时空分割的联合相似性方法。时空分割的联合相似性方法是亮度差加运动差的加权和。它定义为相似性相似性＝β(亮度差)+(1-β)k运动差 (1)其中k是比例因数而β是加权因数。加权因数允许将更大的重要性给与亮度差或运动差。亮度差是所考虑像素和已经指定给区域的像素的平均之间的灰度差。运动差是像素(x，y)的估计运动矢量和由区域的运动模型在像素(x，y)产生的运动矢量之间的运动误差。通过同时合并空间和时间信息，能够获得视觉上有意义的分割结果。但是该算法在新对象进入场景时效果不好，即时间上不稳定。
本发明的目的是提供一种在开始段落描述的那种分割装置，它被安排为进行相对时间稳定的、像素精确的分割。
实现本发明在于用于将图像序列的第一图像的第一像素指定给段的分割装置包括-指定单元，用于根据第一图像将第一一致值指定给第一像素，并将第二一致值指定给图像序列的第二图像的第二像素，第一像素和第二像素通过运动矢量相关联；一平均单元，用于通过平均第一一致值和第二一致值计算第一像素的平均一致值；和-比较单元，用于比较平均一致值和阈值，以便将第一像素指定给段。
本发明的一个重要方面是第一像素是否属于一个段的确定是根据基于多个图像的像素计算的平均一致值进行的。所述多个图像的像素之间的关系由对于所述多个像素所属图像确定的运动矢量定义。运动矢量对应于在捕获可应用运动矢量的各图像的时间间隔中的一部分对象的移位。在按照现有技术的分割方法中，一致值根据一个图像的像素计算亮度差是所考虑像素和已经指定给区域的像素平均之间的灰度差。使用平均一致值的优点是具有时间稳定性，同时仍然能够进行像素精确的分割。通常，例如由噪声引起的、图像序列中从一个图像到下一图像的像素值中的波动，导致分割中的不稳定性。这主要由阈值化步骤(即比较步骤)造成。通过使用平均一致值，能够减少波动的影响。
已经计算平均一致值以后，比较单元比较该平均一致值和阈值。依照一致性的类型和分割的类型，如果平均一致值在阈值之上或之下，第一像素被指定给段。阈值可以是预定值。优选地，阈值根据要分割图像的特性来计算。
用于将第一一致值指定给第一像素的指定单元可以设计为根据比较第一像素附近像素的亮度值或色度值(例如方差值或最大算子或其它非线性算子)来计算该值。不过，像素的亮度值或色度值也可以用作一致值。
按照本发明的分割装置的一个实施例被安排为还通过考虑序列的另外图像的更多一致值来计算平均一致值。该实施例的优点是能够实现噪声的更多减少。优选地，分割装置被安排为执行平均一致值的递归计算。这是指根据与该当前图像有关的一致值和为先前计算的图像计算的平均一致值来计算当前图像(例如第一图像)的平均一致值。使用递归方法的分割装置的优点是只需相对很小的存储器来存储另外图像的更多一致值。
在按照本发明的分割装置的一个实施例中，平均单元被安排为计算加权平均一致性。为此，平均单元具有一个接口，通过它能够控制加权因子。该加权因子在加权平均一致值中确定第一一致值和另一一致值之间的比例。另一一致值是指例如第二一致值或更多的一致值。计算加权平均一致值的优点是它允许在一方面主要基于单个图像的像素精确分割和另一方面基于多个图像的时间稳定分割之间进行平衡。
按照本发明的分割装置的一个实施例的特征在于分割装置被安排为在像素基础上控制加权因子，加权因子影响对加权平均一致值的计算的加权。加权因子对于一整幅图像可以是固定的。但是，当具有有关所考虑图像之一中的像素一致值质量的知识时，优选地对平均做相应的适配。用质量指示符也能够指示没有有效的一致值。这会在例如场景中的对象遮挡时发生。例如，特定运动矢量的质量是相应像素一致值质量的良好指示。
按照本发明的分割装置的一个实施例包括运动估计单元，用于估计运动矢量，运动估计单元被比较单元控制。要求运动估计单元提供运动矢量。原理上，这可以是任何类型的运动估计单元，例如基于块的运动估计单元。但是，运动估计单元优选地是基于段的运动估计单元。在该实施例中，比较单元的输出(即段)被提供给运动估计单元，以便估计出相对良好的运动矢量。
按照本发明的分割装置的一个实施例的特征在于包括用于估计运动矢量的运动估计单元，并且特征在于运动估计单元被设计为控制加权因子。如上所述，运动矢量的质量是所指定的一致值质量的指示。通过向平均单元提供与运动矢量的质量有关的指示符，平均单元能够控制加权因子。
分割装置的修改及其变化可以与所描述的方法和图像处理设备的修改和变化相对应。
按照本发明的分割装置、方法和图像处理设备的这些和其它方面将就下文所述的执行方案和实施例并参考附图来说明和变得清楚，其中
图1示意性示出了按照本发明的分割装置的一个实施例，它被安排为计算加权平均一致值；图2示意性示出了分割装置的一个实施例，它包括被比较单元控制的运动估计单元；图3示意性示出了分割装置的一个实施例，它具有被运动估计单元控制的平均单元；和图4示意性示出了按照本发明的图像处理设备的一个实施例。
相应的参考号在所有附图中具有相同的意义。
图1示意性示出了按照本发明的分割装置100的一个实施例。用于将图像序列的第一图像的第一像素指定给段的分割装置100包括-指定单元102，用于根据第一图像将第一一致值指定给第一像素，并将第二一致值指定给图像序列的第二图像的第二像素；-运动补偿单元104，用于图像序列的第二图像的运动补偿；-平均单元103，用于通过平均第一一致值和第二一致值来计算第一像素的加权平均一致值；和-比较单元106，用于比较平均一致值和阈值，以便将第一像素指定给段。
运动估计单元108向运动补偿单元104提供运动矢量。任选地，分割装置100包括运动估计单元108。
首先，将提供分割装置的操作的数学描述。第二，通过由分割装置100连续进行的步骤简要描述各分离单元102-108的工作。
用Ht(x，y)表示像素位置(x，y)处标为t的图像的一致值。对比现有技术分割方法，分割不是根据Ht(x，y)，而是根据在公式2中定义的量 H^t(x,y)=αH~t-1(x,y)+(1-α)Ht(x,y)---(2)]]>其中 在公式3中定义H~t-1(x,y)=Ht-1(x+Δx,y+Δy)---(3)]]>这是指对于具有坐标(x，y)的特定像素，先前图像的运动补偿的一致值和当前图像的一致值通过计算加权平均来合并。
下面，将通过由分割装置100连续进行的步骤简要描述各分离单元102-108的工作。图像It-1，It，It+1，It+2，…在输入连接器116被提供给运动估计单元108，以便计算运动矢量。这为每个像素给出运动矢量(Δx，Δy)。图像It-1，It，It+1，It+2，…还提供给分割装置100的输入连接器110。指定单元102给It的每个像素指定一致值Ht(x，y)。然后，平均单元103通过平均一致值Ht(x，y)和先前确定的一致值 计算加权平均一致值 然后，将平均一致值 提供给比较单元106，用于比较平均一致值和阈值，以便将具有坐标(x，y)的像素指定给特定段。任选地，其它分割步骤由比较单元106执行例如生长、腐蚀、膨胀之类的形态运算。分割结果是指示相应像素属于哪个段的值的矩阵。该分割结果在输出连接器112提供。平均一致值 还提供给运动补偿单元104，以便计算 即 的用于以后图像分割的运动补偿的版本。
平均单元103包括具有连接器114的控制接口，通过它能够提供加权因子α的适当值。α的值在0到1之间。当α＝0时，对当前图像的分割不考虑其它图像的一致值。当α＝1时，对当前图像的分割仅考虑其它图像的一致值。任选地，在像素基础上控制该加权因子α(x，y)。参见图3。这是指公式2应重写为H~t(x,y)=α(x,y)H~t-1(x,y)+(1-α(x,y))Ht(x,y)---(4)]]>运动估计单元108任选地包括也提供运动矢量的输出连接器113。这是指通过该输出连接器，运动补偿单元104以外的其它单元能够访问运动矢量。连同图4，描述了这些运动矢量能够外部加到分割装置404。
图2示意性示出了分割装置200的一个实施例，它包括由比较单元106控制的运动估计单元108。在按照本发明的该实施例中，运动估计单元108被安排为由分割装置200定义的段计算运动矢量。反之亦然，分割装置200被安排为根据由运动估计单元108估计的运动矢量计算新的段。由于该相互依赖性，应当根据单个图像进行初始分割，而不用管运动。根据由该初始分割找到的段，能够估计运动矢量来处理随后的图像。剩下的是该分割装置200的工作，基本上和结合图1所描述的分割装置100的工作相同。
图3示意性示出了分割装置300的实施例，它具有由运动估计单元108控制的平均单元103。加权在像素基础上来控制，即该分割装置300能够应用方程式4。向运动补偿单元104和平均单元103提供运动矢量。此外，向平均单元103提供有关运动矢量的信息。所述信息是指有关运动矢量质量的指示，例如运动矢量的匹配误差。如果特定运动矢量的质量高，那么相应加权因子α(x，y)的值可以设置为高的值。但是，如果特定运动矢量的质量低，那么相应加权因子α(x，y)的值可以设置为低的值。
图4示意性示出了按照本发明的图像处理设备400的实施例。图像处理设备400包括-接收装置402，用于接收图像序列。接收的信号可以是经天线或电缆接收的广播信号，但也可以是来自例如VCR(录像机)或数字多用盘(DVD)的存储设备的信号。在输入连接器408提供信号。
-如结合图1、图2或图3所描述的分割装置404；和-由分割装置404控制的图像处理单元406。图像处理单元406可以是视频编码器，例如MPEG编码器。通过已经分割图像，能够用比其它段高的精确度编码一些段。这在例如视频会议系统中是有利的，在该系统中对人脸的编码方式不同于背景。
或者，图像处理单元406可以被安排为执行深度估计。已知，运动估计方法的步骤之后可以是计算步骤，以获得深度估计的方法。考虑以下的问题给定由具有已知运动的摄像机得到的静态场景的图像序列，应当恢复深度信息。图像序列中的所有明显运动由视差产生。一个段和另一个段之间运动的差表示深度差。实际上，通过分析两幅连续的图像，能够计算在时间t的给定图像段和在t+1的同一个段之间的视差。该视差对应于场景不同部分的运动。在摄像机平移的情况中，前景中的对象移动得比背景中的多。通过应用几何关系，可以从运动推出深度信息。此概念由P.Wilinski和C.van Overveld在1998年奥地利Alpbach的Proceedings of Image and MultidimensionalSignal Processing Workshop 159-162页中的文章“Depth frommotion using confidence based block matching”中说明。
注意，上述实施例是说明而不是限制本发明，本领域技术人员能够在不偏离所附权利要求书范围的前提下设计替代的实施例。在权利要求书中，置于括号中的参考符号不构成对权利要求的限制。单词‘包括’不排除存在权利要求中没有列出的元件或步骤。元件之前的单词‘一个’不排除存在多个这种元件。本发明能够通过包括几个不同元件的硬件和适当编程的计算机来实现。在列举几个装置的装置权利要求中，这几个装置能够由同一项硬件包含。
权利要求
1.一种用于将图像序列的第一图像的第一像素指定给一个段的分割装置(100，200，300)，包括-指定单元(102)，用于根据第一图像将第一一致值指定给第一像素，并将第二一致值指定给图像序列的第二图像的第二像素，第一像素和第二像素通过运动矢量相关联；-平均单元(103)，用于通过对第一一致值和第二一致值求平均来计算第一像素的平均一致值；和-比较单元(106)，用于将平均一致值和阈值进行比较，以便将第一像素指定给该段。
2.如权利要求1所述的分割装置(100，200，300)，其特征在于分割装置(100，200，300)被安排为还通过考虑序列的另外图像的另外的一致值来计算平均一致值。
3.如权利要求1所述的分割装置(100，200，300)，其特征在于平均单元(103)被安排为计算加权平均一致值。
4.如权利要求3所述的分割装置(200，300)，其特征在于分割装置(200，300)被安排为在像素的基础上控制加权因子，该加权因子影响用于计算加权平均一致值的加权。
5.如权利要求1所述的分割装置(200，300)，其特征在于包括用于估计运动矢量的运动估计单元(108)，并且运动估计单元(108)由比较单元(106)控制。
6.如权利要求3所述的分割装置(300)，其特征在于包括用于估计运动矢量的运动估计单元(108)，并且运动估计单元(108)被设计来控制加权因子。
7.一种将图像序列的第一图像的第一像素指定给一个段的方法，包括-指定步骤，用于根据第一图像将第一一致值指定给第一像素，并将第二一致值指定给图像序列的第二图像的第二像素，并且第一像素和第二像素通过运动矢量相关联；-平均步骤，用于通过对第一一致值和第二一致值求平均来计算第一像素的平均一致值；-用于比较步骤，将平均一致值和预定阈值进行比较，以便确定第一像素是否属于该段。
8.一种图像处理设备(400)，包括-接收装置(402)，用于接收图像序列，-分割装置(404)，用于将图像序列的第一图像的第一像素指定给一个段，该分割装置包括*指定单元(102)，用于根据第一图像将第一一致值指定给第一像素，并将第二一致值指定给图像序列的第二图像的第二像素，第一像素和第二像素通过运动矢量相关联；*平均单元(103)，用于通过对第一一致值和第二一致值求平均来计算第一像素的平均一致值；和*比较单元(106)，用于将平均一致值和预定阈值进行比较，以便确定第一像素是否属于该段；和-图像处理单元(406)，它由分割装置(100，200，300)控制。
9.如权利要求8所述的图像处理设备(400)，其特征在于图像处理单元(400)被设计用于解码图像。
10.如权利要求8所述的图像处理设备(400)，其特征在于图像处理单元(400)被设计用于执行深度估计。
全文摘要
用于将图像序列的第一图像的第一像素指定给段的分割装置(100，200，300)包括指定单元(102)，用于根据第一图像将第一一致值指定给第一像素；平均单元(103)，用于通过平均第一一致值和第二一致值计算第一像素的平均一致值，其中第二一致值是对图像序列的第二图像的第二像素确定的，第一像素和第二像素通过运动矢量相关联；和比较单元(106)，用于比较平均一致值和阈值，以便将第一像素指定给段。
文档编号G06T7/20GK1628323SQ03803327
公开日2005年6月15日 申请日期2003年1月23日 优先权日2002年2月6日
发明者F·E·埃恩斯特, C·瓦雷坎普 申请人:皇家飞利浦电子股份有限公司