专利名称：对在视频信号中的目标轮廓进行编码的方法和装置的制作方法
技术领域：
本发明涉及对在视频信号中的目标轮廓进行编码的方法和装置，尤其涉及通过采用改进的轮廓移动补偿技术根据在先的轮廓来编码当前的目标轮廓的方法和装置在例如象视频电话和高清晰度电视系统的数字电视系统中，由于在视频帧信号中的一视频行信号包括一系列称之为象素值的数字数据，所以，需要大量的数字数据来确定每一个视频帧信号。但由于受到传统的发送信道的可用频带的带宽的限制，为了通过其发送这么大量的数据量，有必要通过使用各种数据压缩技术压缩或减少数据量，尤其是在象视频电话和电视会议系统的这种低速率的视频信号的情况中。
用于编码这种低速率的编码系统中的视频信号的一种技术是面向目标的分析-合成编码技术，其中输入视频图象被分成多个目标，有三组确定每一个目标的运动、轮廓和象素数据的参数要经过不同的编码信道处理。
在一个目标轮廓的处理过程中，对于目标形状的分析和合成来说，轮廓信息是重要的。对表示轮廓信息的数据进行编码的传统的方法是链式编码方法。然而，该链式编码方法虽然没有造成轮廓信息中的损失，但要求有表示该信息的大量的比特。
为了克服这一不足，已经提出了几种方法，例如多边逼近和B样条逼近以编码轮廓信息。多边逼近的一个缺点是表示轮廓的粗糙性。另一方面，虽然B样条逼近能够将轮廓表示的更精细，但它要求有高阶的多项式来降低逼近误差，从而导致视频编码器的总体计算复杂性的增加。
为了改善与上述近似方案中的轮廓表示粗糙性或增加的计算复杂性相关的问题，一种所采用的技术是采用了变换技术的轮廓近似技术。
在序列号为08/423，604的题为“A CONTOUR APPROXIMATION APPARATUS FORREPERSENTING A CONTOUR OF AN OBJECT”的共同拥有的待批美国申请中，公开了一种采用基于多边逼近和变换技术，例如离散正弦变换(DST)的轮廓逼近技术的装置，通过使用多边逼近确定若干个极点，并通过连接这些极点的线段来逼近目标的轮廓。随后，选择每一条线段的N个取样点并计算在N个取样点的每一个点处的近似误差，以便获得对于每一条线段的一组近似误差值。而后，通过执行对各组近似误差的一维DST运算而产生若干组DST系数。
即便是上述的基于DST轮廓近似技术能够减轻表现的粗糙性和计算的复杂性，并减少发送数据的量，但仍然希望进一步降低发送数据的量。
本发明的主要目的是提供一个改进的轮廓编码方法和装置，通过使用轮廓运动补偿技术能够进一步减少发送数据量。
根据本发明，提供了一种根据视频信号中一目标的先前轮廓而对其当前轮廓进行编码的方法，它包括以下步骤(a)将当前轮廓扩展覆盖其相邻象素，从而产生一个扩展的轮廓；(b)在一个预定的搜索区中将扩展的轮廓移位；(c)在每一次移位中计数在扩展的轮廓和先前的轮廓之间的所重叠的象素数目；(d)找到得出最大重叠象素数目的位移并将该位移设置成运动矢量；(e)根据该运动矢量重叠先前的和扩展的轮廓，从而提供提供一个重叠的先前轮廓和一个重叠的扩展轮廓；(f)检测这些重叠的轮廓之间的失配；(g)对该失配进行编码，从而产生编码的误差数据；和(h)提供当前轮廓的编码的轮廓数据，该编码的轮廓数据包括编码的误差数据和该运动矢量。
参照附图对本发明的优选实施例描述，本发明的上述和其它的目的和特征将会变得显见。
图1是根据本发明的用于编码一个轮廓图象的装置的框图；图2是说明根据本发明的的一匹配点确定过程的示意图；图3A和图3B是用于匹配线段的近似误差。
图1中，示出了根据本发明的编码一个轮廓图象的装置100的框图，其中，表示构成一个目标的当前轮廓的当前轮廓象素的位置信息的当前轮廓图象数据被送到一个转换器102。通过沿着水平和垂直方向将当前轮廓扩展±p个象素，转换器102将将当前轮廓转换成一个扩展轮廓，其中P是正整数。表示构成该扩展轮廓的扩展轮廓象素的位置的扩展轮廓数据经过线路L10被提供到一个匹配点检测器104和一个运动估算和补偿(ME&MC)单元120。在本发明的一个优选实施例中，P被假设为1。在这种情况下，扩展的轮廓象素可被确定为C′(i，j)＝C(i，j)‖C(i-1，j)‖C(i+1，j)‖C(i，j-1)‖C(i，j+1)其中的“‖”代表一个逻辑或(OR)算子；C′(i，j)和C(i，j)分别表示在位置(i，j)处的扩展的和当前的轮廓上的轮廓象素。
可以从上看出，扩展轮廓象素包括当前轮廓象素和沿着X方向和Y方向与当前轮廓象素相邻的象素。在本发明的另一个优选实施例中，扩展的轮廓象素可被确定为C′(i，j)＝C(i，j)‖C(i-1，j)‖C(i+1，j)‖C(i，j-1)‖C(i，j+1)‖C(i-1，j-1)‖C(i-1，j+1)‖C(i+1，j+1)‖C(i+1，j-1)换句话说，扩展的轮廓象素可由当前的轮廓象素和沿着X和Y方向以及两个对角线方向与当前轮廓象素相邻的象素构成。
ME&MC单元120从一个帧存储器118取出先前的轮廓图象数据；在一个预定的搜索范围内对照先前的轮廓对扩展的轮廓作运动估算，以便寻找当前轮廓的运动矢量。先前轮廓图象数据代表构成先前轮廓的先前轮廓象素的位置信息。具体地说，在ME&MC单元120，在例如沿着水平和垂直方向的±16个象素的搜索范围内，以逐个象素为基础对扩展轮廓进行位移；并计数在每一次位移处与先前轮廓象素重叠的扩展轮廓象素的数目。当前轮廓的运动矢量对应于得出重叠的扩展轮廓象素的最大数目的位移。随后，通过将先前轮廓向着扩展轮廓移过该运动矢量而获得一预测的轮廓。从ME&MC单元120输出的信号有经线路L120输出到多路器(MUX)112的运动矢量；经线路L30到匹配点检测器140和轮廓重建单元116的表示在预测轮廓上的预测轮廓象素位置的预测轮廓图象数据。
响应来自转换器102的扩展的轮廓图象数据和来自ME&MC单元120的预测轮廓图象数据，匹配点检测器104确定多个匹配点，每一个匹配点都表示在预测轮廓和扩展轮廓的一个内边侧轮廓界或外侧轮廓边界之间的一个插入点。内和外侧轮廓边界是由轮廓边界象素所组成，即分别在外侧和内侧周边的扩展轮廓象素所组成。
参考图2，示出了示例地描绘出重叠到一个扩展轮廓10上的一个预测轮廓20，其中的预测轮廓20在匹配点A，B和C，D分别与扩展轮廓10的外侧轮廓边界10A和内侧轮廓边界10B相遇合。扩展的和预测的轮廓重叠在一起，产生多个预测的轮廓线段，例如20-AB和20-CD，和它们的相应的扩展轮廓线段，例如相同数目的10A-AB和10B-CD。每一个预测的轮廓线段被定义为包括有在末端的一对匹配点以及处在匹配点之间且在扩展轮廓之外的预测轮廓象素的一部分预测轮廓；而且，每一个扩展轮廓的线段都属于与包括在末端的一对匹配点及这两点之间的轮廓边界象素的预测轮廓不重叠的扩展轮廓的一部分。一个预测轮廓的线段和一个相对应的扩展轮廓的线段相遇合在两个匹配点，并形成一个闭合回路。例如，预测的轮廓线段20-AB和它相对应的扩展轮廓线段10A-AB相遇合在匹配点A和B，而且线段20-AB和10A-AB形成一个闭合回路。相似地，预测轮廓线段20-CD和它的对应的扩展轮廓线段10B-CD共有匹配点C和D并形成一个完整的闭合回路。
再来参考图1，经过线路L50，匹配点检测器104将匹配点信息提供到MUX112、偏移检测器106和轮廓重建单元116，其中的匹配点信息表示对于每一个匹配的轮廓线段的一对匹配点的位置，匹配的轮廓线段表示一个预测轮廓线段和它相应的扩展轮廓线段。此外，匹配点检测器104经线路L60将匹配的轮廓线段数据提供到偏移检测器106。该匹配的轮廓线段数据表示在每一个匹配的轮廓线段上的轮廓象素的位置。
对于每一个匹配的轮廓线段，偏移检测器106在连接两个匹配点的直线段上选择M个取样点，并根据匹配点信息和匹配轮廓线段数据计算在M个取样点的每一个上近似的误差，其中M是正整数。在本发明的优选实施例中，该M个取样点是等距离的，以便使得两个相邻取样点之间的距离以及在一个取样点和相邻的匹配点之间的距离等于一个直线段的长度由(M+1)所除。
在低速率的编码系统中，在表示当前轮廓中的一个象素的误差可能是可以容忍的，因此在本发明的优选实施例中，在预测轮廓和替代当前轮廓本身的扩展轮廓之间的近似误差被检测。通过这样处理计算近似误差，计算的负担可大为降低，应该注意到，预测的轮廓对于扩展轮廓的失配应该比对于当前轮廓的失配的程度要低。在对近似误差进行确定的过程中，首先要对连接匹配轮廓线段的两个匹配点间的一直线段上的数目为M(例如8)的取样点进行确定。随后，在每一个取样点处作该直线段的法线；确定该匹配的轮廓线段的预测的轮廓线段和扩展的轮廓线段上的相交点，每一个相交点代表着一个点，在该点，每一条法线都和预测的轮廓线段或扩展的轮廓线段相交。通过各法线上的相交点间的位移确定一近似误差。
参考图3A和3B，示出了匹配轮廓线段AB，包括预测的轮廓线段20-AB和扩展的轮廓线段10A-AB，以及包括在图2中示出的预测轮廓线段20-CD和扩展轮廓线段10B-CD的匹配轮廓线段CD，其中为了简化起见将M假设为4。在该图中，M1-M4和M1′-M4′代表着在分别的线段AB和CD上确定的取样点；E1-E4和P1-P4代表着在扩展轮廓线段10A-AB和预测轮廓线段20-AB上的相交点；而E1′-E4′和P1′-P4′代表着在扩展轮廓线段10B-CD和预测轮廓线段20-CD上的相交点。
近似误差的获得是通过从取样点到在扩展轮廓线段上相交点的测量位移减去从取样点到在预测轮廓线段上相交点测量的位移实现的。例如，在取样点M1的近似误差是通过从位移M1E1减去M1P1而得到的，以此类推。该位移包括在取样点和相交点之间的距离和一个指示相交点与其上存在有取样点的直线段之间相对位置关系的符号。该位移符号是以预定的方式选择。例如，直线段AB假设是在具有较低标号的匹配点，比如说在左侧的点A，和具有较高标号的匹配点，例如在右侧的点B的X轴上。在设置了这样的线段之后，正符号被指定到沿着向上的方向的位移，而负符号被指定到沿着向下方向的位移。以这种方式，位移M1E1-M4E4被指定具有正符号，而其它位移M1P1-M4P4，M1′P1′-M4′P4′和M1′E1′-M4′E4′被指定具有负符号。
再来参考图1，偏移检测器106将每一个匹配的轮廓线段的一组近似误差提供到变换与量化(T&Q)单元108。T&Q单元108对于各近似误差执行一维变换，以便产生一组变换系数；并对该组变换系数进行量化以将一组量化的系数提供到统计编码器110和一个逆变换和逆量化(IT&IQ)单元114。在本发明的优选实施例中，近似误差的变换是利用DST(离散正弦变换)技术实现的。然而，本专业的技术人员应该明白其它的变换技术，例如DCT(离散余弦变换)也可被用来替代DST。
IT&IQ单元114对于每一组量化的系数执行IT和IQ运算，以便提供一组重建的误差到轮廓重建单元116。在轮廓重建单元116，根据来自IT&IQ单元114的每一组重建的误差、经线路L30而来自ME&MC单元120的预测轮廓图象数据和经线路L50来自匹配点检测器104的匹配点信息来重建当前的轮廓。具体地说，以与偏移检测器106相同的方式，根据在线路L50上的匹配点信息首先在每一条直线段上提供取样点。随后，根据在线路L30上的预测的图象数据在预测的轮廓线段上，例如图3A和3B所示的20-AB和20-CD上确定相交点，例如P1-P4和P1′-P4′。随后，分别的重建的误差被加到在预定轮廓线段上的对应的相交点，以便提供重建的扩展轮廓线段。以上述方式提供的重建的当前轮廓是由与扩展轮廓相重叠的预测轮廓部分(例如图2中的预测轮廓线段AD和CB)和基本上跟随扩展轮廓线段10A-AB和10B-CD的重建扩展轮廓线段所组成。重建的当前轮廓数据随即送到帧存储器118并作为先前的轮廓图象数据存储在其中而用于下一个轮廓。
在统计编码器110，每一组量化的系数都通过利用例如VLC(可变长度编码)技术被编码以便产生编码的误差数据。随后将编码的误差数据送到MUX112。MUX112将编码的误差数据在线路L50上的匹配点信息和在线路L20上的运动矢量进行多路复用，以便将编码的轮廓数据提供到发射机(没示出)从而由其发射。在接收端的解码器处，重建的当前轮廓以与在轮廓重建单元116的相同方式被提供。
应该注意到，尽管在本发明的优选实施例中是将近似误差描述成在预测轮廓和扩展轮廓之间被估算，但该方案也能用于当前轮廓而不是扩展轮廓。在此种情况中，近似误差是在预测的和当前的轮廓之间获得，并且以计算的复杂性为代价，能更精确地重建当前轮廓。
虽然本发明是参考特定的实施例加以描述，但本专业的技术人员显然能够在不背离所附的权利要求所限定的范围内作各种改变和修正。
权利要求
1.一种根据在视频信号中一目标的先前轮廓而对其当前轮廓进行编码的方法，它包括以下步骤(a)将当前轮廓扩展覆盖相邻象素，从而产生一个扩展的轮廓；(b)找出在扩展的和先前的轮廓之间的位移并设置该位移作为用于当前轮廓的运动矢量；和(c)根据该运动矢量对当前轮廓进行编码。
2.根据权利要求1的方法，其中在所说的步骤(b)中包括有步骤(b1)在预定的搜索范围内移动扩展的轮廓；(b2)计数在各位移处的扩展的轮廓和先前的轮廓之间重叠的象素数目；(b3)找到得出最大重叠象素的数目的位移并将该位移设置成运动矢量。
3.根据权利要求1的方法，其中所说的编码步骤(c)中包括有步骤(c1)根据该运动矢量重叠先前的和扩展的轮廓，从而提供提供一个重叠的先前轮廓和一个重叠的扩展轮廓；(c2)检测在该两重叠的轮廓之间的失配；(c3)对该失配进行编码，从而产生编码的误差数据；和(c4)提供用于当前轮廓的编码的轮廓数据，该编码的轮廓数据包括编码的误差数据和该运动矢量。
4.据权利要求3的方法，其中所说的步骤(c2)包括有步骤(c21)寻找匹配点，其中的每一个匹配点代表在重叠的先前的轮廓和重叠的扩展轮廓的一个轮廓边界之间的相交点，该重叠的先前轮廓和重叠的扩展轮廓分别具有预测和扩展的轮廓象素；(c22)确定匹配的轮廓线段，其中每一个匹配的轮廓线段包括一预测的轮廓线段和一扩展的轮廓线段，该预测的轮廓线段具有在其两端的一对匹配点及位在该两点之间的预测的轮廓象素，且不与重叠的扩展轮廓相重叠，该扩展的轮廓线段在该对匹配点处与预测的轮廓线段相遇合并具有置于其间的扩展轮廓的象素且处于轮廓边界上，每一个匹配的轮廓线段都是一个封闭的回路；(c23)检测包括在每一个匹配轮廓线段中的预测的和扩展的轮廓线段之间的一组近似误差；和(c24)设置用于该匹配的轮廓线段的一组近似误差作为该失配；
5.根据权利要求4的方法，其中所说的步骤(c23)包括有步骤(c231)在连接该对匹配点的一条直线段上取M个取样点，M是一个正整数；(c232)在每一个取样点处作出该直线段的法线；(c233)找出法线和预测的与扩展的轮廓线段的每一个之间的相交点从而提供在该法线上的两个相交点；以及(c234)获得针对每一个匹配轮廓线段的一组近似误差，每一个近似误差都表示在法线上的相交点之间的位移。
6.根据权利要求5的方法，其中所说的步骤(c3)包括有步骤(C31)对各组近似误差进行变换，以便提供一组变换系数；(c32)对该组变换系数进行量化，以便提供一组量化的系数；和(c33)对该组量化的系数进行统计编码，从而产生编码的误差数据。
7.根据权利要求5的方法，其中所说的已编码的轮廓数据还包括表示匹配点的位置的匹配点信息。
8.根据权利要求1的方法，其中所说的编码步骤(c)包括有步骤(c1′)根据该运动矢量重叠先前的和当前的轮廓，从而提供提供一个重叠的先前轮廓和一个重叠的当前轮廓；(c2′)寻找匹配点，每一个匹配点表示在重叠的先前轮廓和重叠的当前轮廓之间的一个相交点；(c3′)检测在该两重叠的轮廓之间的失配，从而产生编码的误差数据；(c4′)提供用于当前轮廓的编码的轮廓数据，该编码的轮廓数据包括编码的误差数据，该运动矢量以及表示匹配点位置的匹配点信息。
9.根据权利要求1的方法，其中所说的扩展轮廓是通过将当前轮廓沿着一个水平和一个垂直方向扩展P个象素而得到的，其中P是一个正整数。
10.根据权利要求9的方法，其中的P是1。
11.根据权利要求1的方法，其中在扩展轮廓上的象素被定义为C′(i，j)＝C(i，j)‖C(i-1，j)‖C(i+1，j)‖C(i，j-1)‖C(i，j+1)其中的“‖”代表一个逻辑或(OR)算子；C′(i，j)和C(i，j)分别表示在位置(i，j)处的扩展的和当前的轮廓上的象素。
12.根据权利要求1的方法，其中在扩展轮廓上的象素被定义为C′(i，j)＝C(i，j)‖C(i-1，j)‖C(i+1，j)‖C(i，j-1)‖C(i，j+1)‖C(i-1，j-1)‖C(i-1，j+1)‖C(i+1，j+1)‖C(i+1，j-1)其中的“‖”代表一个逻辑或(OR)算子；C′(i，j)和C(i，j)分别表示在位置(i，j)处的扩展的和当前的轮廓上的象素。
13.一种用于编码视频信号中的一个目标的当前轮廓的装置，该当前轮廓包括在其上的当前轮廓象素，该装置包括用于存储表示构成先前轮廓的先前轮廓象素的先前轮廓数据的装置；用于产生其上具有扩展轮廓象素的扩展轮廓的装置，该扩展轮廓象素包括当前轮廓象素和与之相邻的象素；用于检索先前轮廓数据，以便通过相对先前轮廓对扩展轮廓进行运动估算来提供用于当前轮廓的一个运动矢量的装置；用于根据该运动矢量检测在扩展轮廓和先前轮廓之间的失配的装置；用于对该失配进行编码，从而产生编码的误差数据的装置；和提供用于当前轮廓的编码的轮廓数据的装置，该编码的轮廓数据包括编码的误差数据和该运动矢量。
14.根据权利要求13的装置，其中所说的相邻象素的每一个被放置在相距一个当前轮廓象素P个象素远之内，P是一个正整数。
15.根据权利要求13的装置，其中在扩展轮廓上的象素被定义为C′(i，j)＝C(i，j)‖C(i-1，j)‖C(i+1，j)‖C(i，j-1)‖C(i，j+1)其中的“‖”代表一个逻辑或(OR)算子；C′(i，j)和C(i，j)分别表示在位置(i，j)处的扩展的和当前的轮廓上的象素。
16.根据权利要求13的装置，其中在扩展轮廓上的象素被定义为C′(i，j)＝C(i，j)‖C(i-1，j)‖C(i+1，j)‖C(i，j-1)‖C(i，j+1)‖C(i-1，j-1)‖C(i-1，j+1)‖C(i+1，j+1)‖C(i+1，j-1)其中的“‖”代表一个逻辑或(OR)算子；C′(i，j)和C(i，j)分别表示在位置(i，j)处在的扩展的和当前的轮廓上的象素。
17.根据权利要求13的装置，其中所说的检索装置包括用于在逐个象素的基础上在预定的搜索范围内移动该扩展的轮廓的装置；和用于在各位移处计数与先前轮廓象素重叠的扩展轮廓象素数的装置。用于设置获得重叠轮廓象素的最大数目的一个位移作为运动矢量的装置。
18.根据权利要求13的装置，其中所说的检测装置包括通过将先前的轮廓朝向扩展的轮廓移动过该运动矢量而产生一个预测的轮廓的装置，该预测的轮廓具有在其上的预测轮廓象素；用于确定匹配点的装置，这些匹配点是在预测的轮廓和扩展轮廓的轮廓边界之间的相交点；用于获得匹配轮廓线段的装置，其中的每一个匹配轮廓的线段都包括在一对匹配点处相遇合的一个预测的和一个扩展的轮廓线段。该预测的和扩展的线段形成一个闭合的回路，该预测的轮廓线段包括结合在一起的预测轮廓象素且存在于该扩展轮廓之外，而该扩展的轮廓线段包括位于轮廓边界之一上的扩展轮廓象素；用于计算出用于每一个匹配轮廓线段的一组误差的装置，每一个误差表示在预测轮廓线段上的一个点和在扩展轮廓线段上的它的对应点之间的位移；和用于设置用于这些匹配轮廓线段的多组误差作为该失配的装置。
19.根据权利要求18的装置，其中所说的编码装置包括用于将各组误差变换成一组变换系数的装置；用于对每一组变换系数进行量化以便提供一组量化的系数的装置；和用于对每一组量化的系数进行统计编码，以便提供编码的误差数据的装置。
20.根据权利要求19的装置，其中所说的已编码的轮廓数据还包括表示匹配点位置的匹配点数据。
全文摘要
根据一视频信号中一目标的先前的轮廓，通过采用将当前轮廓扩展到相邻象素之上而对其当前轮廓编码的方法。在该方法中，找出在扩展轮廓和先前轮廓之间的位移，以便将该位移设置成当前轮廓的一个运动矢量。根据该运动矢量，先前的轮廓被重叠到扩展的轮廓上，从而提供重叠的先前轮廓和扩展轮廓。检测出重叠的轮廓之间的失配并对其编码，从而产生编码的误差数据，其中，编码的轮廓数据包括编码的误差数据和运动矢量。
文档编号H04N7/32GK1168602SQ97100438
公开日1997年12月24日 申请日期1997年1月31日 优先权日1996年3月22日
发明者金镇宪 申请人:大宇电子株式会社