专利名称：用于自适应编码一目标的轮廓的方法和装置的制作方法
技术领域：
本发明涉及一种用于对在一视频信号中表达的一目标的轮廓进行编码的方法和装置；而且，更具体地，涉及一种能够通过利用一轮廓运动估算技术而减少传送的数据量的方法和装置。
在诸如电视电话、电视会议和高分辩率电视系统的数字电视系统中，需要大量的数字数据来定义每一视频帧信号，因为在一视频帧信号中的一视频行信号包括一序列被称作象素值的数字数据。然而，由于传统发送信道的可用频率带宽有限，为了通过其传送大量的数字数据，就不可避免地要通过利用各种数据压缩技术来压缩或减少数据量，尤其是在诸如电视电话和电视会议系统低位率视频信号编码器中。
用于编码一低比特率编码系统的视频信号的技术之一是所谓的面向目标的分析-综合编码技术(见Michael Hotter的“Object-Oriented Analysis-Synthesis Coding Bosed On Moving Two-Dimensionl Objects”信号处理图象通信2，409-428页(1990年12月)。
根据面向对象的分析-综合编码技术，一输入视频图象被分成多个目标；用于定义每个目标的运动、轮廓和象素数据的三组参数通过不同的编码信道而进行处理。
在处理一目标的轮廓中，轮廓信息对于该目标形状的分析和合成至关重要。用于表示此轮廓信息的传统编码方法是链式编码法。然而虽然此轮廓信息不会受损，但此链式编码法需要大量的用于代表它的比特。
因此，为克服此缺陷，诸如多边形逼近和B样条逼近之类的编码轮廓信息的几种方法被设计出来。多边形逼近的不利之一是该轮廓表示的粗糙。另一方面，B样条逼近能够更精确地表示该轮廓，但是它需要高阶多项式来减少逼近误差。因此，B样条逼近技术可能导致该视频编码器的整体计算复杂性的增加。
为消除与上述逼近方法中的轮廓的粗糙表示和计算复杂性的增加相关的问题而引入的技术之一是使用了离散正弦变换(DST)的轮廓逼近技术。
即使可能改善粗糙表示和计算复杂性，且在某种程度上通过利用基于DST的轮廓逼近减少其传送的数据量，为了顺利实现一具有例如64kb/s传送信道带宽的低比特率编译码系统，仍期望进一步减少传送的数据量。
因此，本发明的主要目的是提供一种对轮廓信道信息进行帧间编码(inter-code)以由此进一步减少传送的数据量的改进的轮廓编码方法和装置。更具体地，本发明提供一种使用了基于当前轮廓和先前轮廓之间差的轮廓运动估算技术来进行轮廓编码的方法和装置。
根据本发明，提供了一种基于一个或多个先前重建的视频图像信号的轮廓对当前轮廓进行编码的方法，该方法包括下列步骤(a)选择先前重建的轮廓之一作为当前轮廓的预测轮廓；(b)将该预测轮廓和该当前轮廓重叠；(c)找到该预测轮廓和该当前轮廓之间的匹配段并设置每个匹配段的两个端点作为主顶点；(d)加宽该被重叠的预测轮廓并在当前轮廓上确定匹配部分；其中每段匹配部分均表示在两个主顶点之间与加宽了的轮廓相互重叠的当前轮廓上的一部分；(e)设置在每个匹配部分末端的两个主顶点为基本顶点；(f)多边逼近当前轮廓上的每段非匹配部分，由此在非匹配部分上确定次顶点；并且(g)通过用每段匹配部分基本顶点之间的一部分预测轮廓来表示每个匹配部分和用次顶点来表示非匹配部分的方法来对当前轮廓进行编码，由此提供经编码过的当前轮廓数据。
本发明的以上和其它目的及特征将由对以下随附图给出的优选实施例的描述而变得显而易见。
图1表示根据本发明的用来进行轮廓编码的一装置的框图；图2提供图1中所示的一运动估算单元的详细框图；图3表示图2中所示的最优轮廓检测单元的一详细框图；图4为图1中所示的帧间编码单元的一详细框图；图5A和5B举例说明了通过本发明的优选实施例来执行轮廓匹配的过程；并且图6描绘了通过本发明的优选实施例的被执行从而达到轮廓匹配的一种加宽处理。
参考图1，图中显示了用于在一帧信号中对轮廓进行编码的本发明装置10的框图。一个包含有一个或多个目标的一当前帧的轮廓图象信号以一分段掩码的形式被输入到一轮廓检测单元100和通过一线路L50输入到一运动估算单元300，在分段掩码中，每个象素均有一标志各所属区域的一标记。例如，在背景区域内的一象素，有一个“0”标记，而在目标区域内的每个象素均用一非零值标记。
轮廓检测单元100从输入分段掩码中进行轮廓检测并按照其处理顺序对在轮廓图象信号中包括的每个轮廓分配索引数据；并随后输出在当前帧中的每个轮廓的轮廓信息，其中该轮廓信息包括代表在一轮廓上的轮廓象素的位置的轮廓数据和它们的索引数据。在一线路L10上的来自轮廓检测单元100的轮廓信息被作为当前轮廓信息提供给帧间编码单元200和运动估算单元300。
运动估算单元300根据线路L50上的当前轮廓图象信号、线路L10上的当前轮廓信息及经线路L30从帧存储器700提供给其的一重建先前轮廓图象，检测与在线路L10上的当前轮廓最相似的轮廓。该先前轮廓图象信号也是以一种分段掩码的形式，其中每个象素均有一标志它所属区域的标记。运动估算单元300在线路L20和L40上的输出是最相似的轮廓的索引数据和代表当前轮廓和最相似轮廓之间的位移的运动信息。运动估算单元300将参考图2和图3进行详细描述。
参考图2，运动估算单元300包括一全局运动矢量检测单元310，一预测轮廓图象发生单元320和一最优轮廓检测单元330。
全局运动矢量检测单元310利用线路L30上的先前轮廓图象信号和线路L50上的当前轮廓图象信号，检测出产生一个最大数目互相重叠的目标象素的全局运动矢量(GMV)。GMV的检测是在一预先确定的搜索范围内进行的，如+/-16象素的范围内。在全局运动矢量检测单元310中检测到的GMV被送到预测轮廓图象发生单元320并用于供给到线路L22和L42上以使其能分别送到运动补偿单元400和一个多路复用器(MUX)800上。
在预测轮廓图像发生单元320里，通过线路L30被提供给其的先前轮廓图象被移位过GMV而产生了一预测轮廓图象。更进一步，如在图1中所示的轮廓检测单元100中，预测轮廓图象产生单元320对预测轮廓图象中的轮廓进行检测。在预测轮廓图象产生单元320检测到的每个预测轮廓的轮廓信息均被送到线路L60上。
在最优轮廓检测单元330中，根据线路L60上的预测轮廓信息和线路L10上的当前轮廓信息，一个最优轮廓，即与当前轮廓最相似的一预测轮廓将在所有预测轮廓之中被检测出来，这些预测轮廓存在于当前轮廓的一预定搜索范围之内，如+/-8象素的范围内；并且表示当前轮廓与最优轮廓之间位移的一局部运动矢量(LMV)和该最优轮廓的索引数据被输出到线路L20和L40上。在本发明中的优选实施例中，预测轮廓的索引数据和与此预测轮廓相应的目标象素的一标记具有相同的值。
参考图3，这里详示了最优轮廓检测单元330，它包括一候选轮廓确定部分331，一个匹配部分333和一个最优轮廓确定部分335。
候选轮廓确定部分331分别根据线路L10和L60上的当前轮廓信息和预测轮廓信息，检测出当前轮廓的预定搜索范围内的预测轮廓并计算该当前和检测出的长度。此后，当前轮廓的长度和每个在预定搜索范围内的预置轮廓的长度进行比较。如果当前和预测轮廓长度之差小于这两个轮廓之中较短者m倍时，该预测轮廓被确定为一候选轮廓，其中M为一预先确定的数字。当确定了当前轮廓的一个或多个候选轮廓后，标识那些候选轮廓的指示信号如这些候选轮廓的索引数据，将被送往匹配部分333。一轮廓的长度可以用如构成轮廓的轮廓象素的数目来定义。
在本发明的另一种优选实施例中，候选轮廓可以根据代替它们的的长度，位于各个轮廓内部的目标象素的数目来确定。
匹配部分333检索经线路L60来自预测轮廓图象发生单元320的每个候选轮廓的轮廓信息以响应输入给其的指示信号。随后，该当前轮廓和一候选轮廓信息根据线路L10上的当前轮廓信息和线路L60上的候选轮廓信息进行匹配。在当前轮廓和每个候选轮廓间的匹配处理被执行后，匹配部分333为最优轮廓确定部分335提供每个候选块的匹配信息。匹配信息包括一候选轮廓的索引数据，一运动位移和匹配长度。在对一候选轮廓的匹配处理期间，该候选轮廓被位移过预定搜索范围内的一象素基数，并且当前和候选轮廓在每个位移处的匹配段被确立下来。这以后，对于每个位移的匹配段的总长度进行计算。然后计算出的长度进行互相比较且它们中的最大值被确定为该候选轮廓的匹配长度而且产生最大长度的那个位移量被设置为该候选轮廓的运动位移量。参考图5A，它举例说明了一匹配段确定方案的细节。图5A描绘了一当前轮廓10和一候选轮廓20互相重叠的情况。在用20重叠于轮廓10之后，它们间的相交点如PV1至PV6，P1和P2将被检测出来并且对重叠段PV6-PV1，PV2-PV3，P1-P2及PV4-PV5的长度进行计算。如果一重叠段的长度大于一阈值TH1，则该重叠段被确定为一匹配段。在图5A中，假定P1和P2间的这个重叠段不大于该TH1；其余重叠段大于TH1。因此，其余重叠段，如PV2到PV3，PV4到PV5及PV6到PV1均被确定为匹配段。在本发明中的另一种优选实施例中，匹配段的确定可以基于代替其的长度的存在于一给定重叠段内的轮廓象素的数目而得到实施。
在上述匹配过程中，当一轮廓与一视频帧的一边相交时，相交点之间的那部分被视为轮廓的一部分。例如，如图5B所示，如果一当前轮廓50和一候选轮廓60与视频帧40的一条右边40-1相交于点50-1，50-2和60-1，60-2，在点50-1和50-2之间以及来60-1和60-2之间的边40-1的那部分将分别被认为是轮廓50和60上的一部分。
在最优轮廓确定部分355中，作为对各候选轮廓的匹配信息的应答，候选轮廓的匹配长度进行相互比较；与一最大值的匹配长度相对应的一候选轮廓被宣布为该当前轮廓的最优轮廓。与该最优轮廓相对应的运动位移被设置为局部运动矢量(LMV)。从最优轮廓确定部分335输出在线路L20和L40上的是LMV和最优轮廓的索引数据。
返回参照图1，根据线路L22上的GMV及线路L20上的LMV和最优轮廓的索引数据，通过经线路L30从帧存储器700检索其最优轮廓信息，运动补偿单元400产生一预测的当前轮廓，其中该预测的当前轮廓代表被移位过GMV和LMV的最优轮廓。从运动补偿单元400经由一线路L55输出到帧间编码单元200和一轮廓重建单元600的是该预测的当前轮廓信息，它代表该预测的当前轮廓的轮廓象素的位置数据和它的索引数据。
参考图4，它描绘了包括一匹配单元420，一加宽单元430和一编码单元440的帧间编码单元200的详细框图。
线路L55上的预测的当前轮廓信息和线路L10上的当前轮廓信息被送到匹配单元420。在该匹配单元420上，预测的当前轮廓与当前轮廓相匹配。在匹配单元420上执行的匹配过程与上面参照图5A和5B描述的在图3中的匹配部分333的匹配过程相类似。例如，如果在图5A中轮廓10和20分别是当前轮廓和预测的当前轮廓，每个点均构成一匹配段的一个端点的点PV1和PV6被确定为主顶点。相交点P1和P2因为它们之间的重叠段不是一匹配段，故不是主顶点。经匹配过的轮廓被送到加宽单元430，其中匹配轮廓信息包括预测的当前轮廓和该当前轮廓上的轮廓象素以及主顶点的位置信息。
加宽单元430，如图6中所论述的，用一事先确定的阈值Dmox来拓宽该预测的当前轮廓以产生一预测轮廓带20′。然后，加宽单元430将预测轮廓带20′与当前轮廓10相匹配以找到当前轮廓与包括的主顶点对之间的预测轮廓带20′相互重叠的那部分。在图6给定的例子中，找到当前轮廓10与预测轮廓带20′在顶点对PV6和PV3以及PV4和PV5之间互相重叠。当前轮廓10上的PV6到PV3以及PV4到PV5的重叠部分被设置为重叠区。这以后，每段重叠区的长度被与阈值TH2相比较；而且比阈值TH2长的一段重叠区被确定为一匹配区并且在匹配区端的主顶点被认为是基本顶点。在图6中所示的作为范例的经匹配过的轮廓里，PV6-PV3和PV4-PV5，如果它们之间的长度大于TH2，则这些对顶点就成为基本顶点。在后续的编码处理中，那些匹配区被视作为与每对基本顶点之间的预测的当前轮廓上的部分相匹配。
从加宽单元430输出到编码单元440的是包括这些基本顶点的位置信息和当前轮廓的轮廓象素的匹配数据。
在编码单元440中，根据预定阈值，通过利用常规的多边形逼近技术，顶点在当前轮廓的每段非匹配区，例如，在基本顶点PV6-PV5及PV4-PV3之间的当前轮廓10上的那一部分上被确定。这就是说，根据传统的多边形逼近，在任意轮廓段上距相应一直线段距离最远的一轮廓象素，如果该最远的距离大于Dmax，则该象素相应就被确定为一顶点。通过多边形逼近确定的那些顶点被设置为次顶点。该编码单元440对基本和次顶点的位置数据进行编码，并将编码过的顶点数据提供给多路复用器800和帧间解码单元500。
在多路复用器800上，编码过的顶点数据，GMV，LMV和最优轮廓的索引数据被多路复用以提供编码过的轮廓数据到一发送器(未显示出)从而发送。
同时，在帧间解码单元500上，编码过的顶点数据被解码成代表解码过的基本和次顶点的解码顶点数据，而且该解码顶点数据被提供给轮廓重建单元600。
从帧间解码单元500出来的解码顶点数据与经由线路L55送来的预测的当前轮廓信息一起，在轮廓重建单元600中被利用来重建当前图象信号。这就是说，为提供有被重建的当前轮廓的一重建的当前图象信号，与当前轮廓的非匹配区相对应的这部分重建的当前轮廓被基于解码顶点数据而重建，同时剩余部分通过预测的当前轮廓而被重建。该重建的当前图象信号被存储在帧存储器700上并被用来作为下一图象信号的重建的先前图象信号。
尽管本发明只涉及某些优选实施例而进行了描述，在不离开由所附权利要求定义的本发明的精神和范围的前提下，其它的修改和变动是可以实施的。
权利要求
1.一种用于基于视频图象信号的一个或多个先前重建的轮廓而对一当前轮廓进行编码的方法，它包括如下步骤(a)选择先前重建的轮廓之一作为当前轮廓的一预测轮廓；(b)将当前轮廓与该预测轮廓相重叠；(c)找到预测的和当前轮廓之间的匹配段并设置每个匹配段的两端点为主顶点；(d)加宽该被重叠的预测轮廓并在当前轮廓上确定匹配区，其中每个匹配区代表与两主顶点之间加宽了的轮廓相重叠的当前轮廓上的一部分；(e)设置在每个匹配区的端点上的两主顶点为基本顶点；(f)对当前轮廓上每个非匹配区进行多边形逼近，由此在非匹配区上确定次顶点；并且(g)通过用每个匹配区的两主顶点之间的预测轮廓的一部分来代表每个匹配区，并用次顶点来代表非匹配区而对当前轮廓进行编码，由此提供编码过的当前轮廓数据。
2.根据权利要求1的方法，其中所说的选择步骤(a)包括下列步骤(a1)计算当前和先前重建的轮廓的长度；(a2)将当前轮廓的长度与先前重建的各轮廓的长度进行比较，由此在先前重建的轮廓之间确定一个或多个候选轮廓，以及当前轮廓和每个候选轮廓的长度之间的一个比率在一预先确定的范围内；(a3)将每个候选轮廓位移过不同量，由此检测出被移动轮廓与当前轮廓的重叠段并计算出这些重叠段长度的一个总和；(a4)将与长度的最大总和相对应的一候选轮廓设为一最优轮廓并且提供产生最大总和的一位移作为一运动矢量；及(a5)将该最优轮廓移动过该运动矢量，由此产生该预测轮廓。
3.根据权利要求2的方法，其中所说的重叠段的长度比一预先确定的阈值TH1要大。
4.根据权利要求3的方法，其中在步骤(c)里所说的匹配段比一预先设置的阈值TH2要长些。
5.根据权利要求4的方法，其中所说的阈值TH1和TH2具有完全相同的值。
6.根据权利要求1的方法，其中在步骤(f)中所说的多边形逼近是基于一阈值Dmax而得到实施的。
7.根据权利要求6的方法，其中加宽的轮廓的宽度与该阈值Dmax相一致。
8.根据权利要求2的方法，其中所说的编码过的当前数据包括编码过的运动矢量和编码过的基本和次顶点。
9.根据权利要求1的方法，其中所说的视频图象信号包括许多帧，且该当前轮廓以及先前重建的轮廓属于不同的帧。
10.一种用于基于先前重建的轮廓而对一当前轮廓进行编码的方法，包括以下步骤(a)将当前和先前重建的轮廓中的任意一个向另一个轮廓方向移动不同量；(b)在每个位移处，找到当前和先前重建的轮廓间的重叠段；(c)将大于一预先确定的阈值TH1的重叠段设为匹配段；(d)取得在每个位移处匹配段的长度的一总和；及(e)确定产生一具有最大值的总和的一位移作为当前轮廓的一运动矢量。
11.根据权利要求10的方法，在所说的确定步骤(e)之后，还包括以下步骤(f)基于该运动矢量将当前和先前重建的轮廓重叠，由此产生一重叠的当前轮廓和一重叠的先前的轮廓；(g)检测该重叠的当前轮廓和重叠的发前的轮廓中的重叠部分；(h)将每个重叠部分的长度与一预置的阈值TH2相比较并设置比TH2更长些的每个重叠部分为一重叠区；(i)设置每个重叠区的两端点为主顶点；(j)加宽该重叠的先前的轮廓以产生一加宽了的轮廓；(k)确定一对主顶点之间的重叠的当前轮廓和加宽的轮廓上的重叠部分；(l)将每个重叠部分的长度与一预置的阈值TH2相比较并设置其长度大于TH2的每个重叠部分为该重叠的当前轮廓上的一匹配区；(m)设置在每个匹配区端上的两主顶点为基本顶点；(n)多边形逼近该重叠的当前轮廓上的每个非匹配区，由此提供在该重叠的当前轮廓上的次顶点；及(d)对基本和次顶点的运动矢量和位置信息进行编码，由此提供当前轮廓的编码数据。
12.根据权利要求11的方法，其中所说的阈值TH1和TH2具有一相同的值。
13.一种用于在基于一先前图象帧对一当前图象帧中的一目标的一轮廓进行编码的装置，其中该当前和先前的图象帧分别包括一个或多个目标，每个目标均有一轮廓，该装置包括用于产生一全局运动矢量的装置，该全局运动矢量表示当前和先前图象帧之间的一位移，该位移使在它们之间的重叠目标象素数目最大；用于检测在先前图象帧中的目标的轮廓并将检测到的轮廓设置为先前轮廓的装置；用于选择在当前图象帧中的这些轮廓中的一个作为一当前轮廓的装置；用于确定先前的轮廓之中的一最优轮廓并设置当前轮廓和该最优轮廓之间的一位移作为一局部运动矢量的装置；用于在全局和局部运动矢量的基础上，用当前轮廓与最优轮廓相重叠，由此产生一重叠轮廓的装置；用于决定重叠轮廓和当前轮廓的匹配段的装置；用于设置每个匹配段的两端点为主顶点的装置；用于加宽该重叠轮廓，由此提供一加宽了的轮廓的装置；用于寻找在当前轮廓上的匹配区并设置每个匹配区的两端点为基本顶点的装置，每个匹配区表示与在一对基顶点之间的加宽了的轮廓相重叠的当前轮廓上的一部分；用于确定在当前轮廓的非匹配区上的次顶点的装置；及用于对全局运动矢量，局部运动矢量，以及基本和次顶点进行编码，由此提供该当前轮廓的编码数据的装置。
14.根据权利要求13的装置，其中所说的用于确定最优轮廓的装置包括用于计算当前轮廓的长度以及定位于当前轮廓的一预先确定的搜索范围内的先前轮廓的长度的装置；用于在该预先确定的范围内的先前的轮廓之中确定候选轮廓的装置，当前轮廓和一候选轮廓的长度之间的一比率在一预先确定范围内；用于将每个候选轮廓进行不同量的移动，由此检测被移动的轮廓与当前轮廓间的重叠段并计算比一阈值TH1大的重叠段长度的一个总和的装置；及用于生成与长度的最大总和相对应的一候选轮廓作为最优轮廓并且将产生最大总和的一位移输出作为局部运动矢量的装置。
15.根据权利要求14的装置，其中所说的用于决定匹配段的装置包括用于寻找重叠轮廓和当前轮廓的重叠部分的装置；及用于设置比阈值TH1值大的重叠部分为匹配段的装置。
16.根据权利要求15的装置，其中每个匹配段均比一预置的阈值TH2要长些。
17.根据权利要求16的装置，其中所说的次顶点是通过使用基于一阈值Dmax的多边形逼近技术而被确定的。
全文摘要
一轮廓编码方法基于一预测的当前轮廓对一当前帧中的一当前轮廓进行编码。一旦与当前轮廓最相似的预测的当前轮廓被检测出来,将该预测的当前轮廓与当前轮廓进行匹配并加宽该预测的当前轮廓,由此检测该两轮廓之间的非匹配区和匹配区。随后,与非匹配区相应的当前轮廓上的那部分通过一多边形逼近技术进行编码。其结果以及预测的当前轮廓的信息被多路复用并作为编码轮廓数据被发送出去。
文档编号G06T7/60GK1196642SQ97112499
公开日1998年10月21日 申请日期1997年6月18日 优先权日1997年4月11日
发明者金镇宪 申请人:大宇电子株式会社