专利名称：用于对目标轮廓的视频信号进行编码的方法和装置的制作方法
技术领域：
本发明涉及一种用于对表示于视频信号中的目标的轮廓进行编码的方法和装置；而且，更具体地，涉及一种能够通过使用轮廓运动估计技术来减少发送数据量的方法和装置。
在诸如可视电话、电视会议和高清晰度电视系统的数字电视系统中，由于视频帧信号中的视频行信号包括一系列称为象素值的数字数据，需要大量的数字数据来定义每一视频行帧信号。但是由于传统发送信道可利用的频率带宽有限，为了通过其发送大量的数字数据，就需要通过使用各种数据压缩技术来压缩或减少数据量，在诸如可视电话和电视会议系统的低比特率视频信号编码器的情况下尤其如此。
用于为低比特率编码系统编码视频信号的这种技术之一是面向目标的分析一合成编码技术，其中输入视频图象被分为多个目标，且通过不同的编码信道来处理用于定义每个目标的运动、轮廓和象素数据的三组参数。
这种面向目标的编码方案的一个例子是所谓的MPEG(运动图象专家组)阶段4(MPEG-4)，它被设计用来提供一种用于在诸如低比特率通信、交互式多媒体(例如游戏、交互式电视等)和监视(例如，见MPEG-4视频验证模式版本2.0，国际标准化组织，ISO/IEC JTC1/SC29/WG11N1260，1996年3月)的应用中允许基于内容的交互，改进编码效率和/或通用可存取性的声频-视频编码标准。
根据MPEG-4，一输入视频图象被分为相应于用户可存取和操作的位流中的实体的多个视频目标平面(VOP’S)。一个VOP可称作一个目标并由其宽度和高度可被选择为包围每个目标的16象素(一个宏模块尺寸)的最小倍数的有界矩形来表示以便编码器在逐个VOP，即逐个目标的基础上处理输入视频图象。VOP包括由亮度元素(Y)和色度元素(Cr，Cb)组成的彩色信息和由例如二进制掩码表示的轮廓信息。
在处理目标轮廓时，轮廓信息对于目标形状的分析与合成是重要的。用于表示轮廓信息的一种传统编码方法是链式编码方法。链式编码方法虽然不会损失轮廓信息，但为了表示其需要大量的位。
因此，为了克服这个缺点，已经提出了几种方法，诸如多边形逼近和B-样条逼近，来编码轮廓信息。多边形逼近的一个缺点是轮廓表示的粗糙性。另一方面，B-样条逼近能更精确地表示轮廓；但是，它需要高次多项式来减小逼近误差，这就导致提高了视频编码器的整体运算复杂性。
为改进与上述逼近方法中的表示粗糙和计算复杂性提高有关的这类问题而引入的技术之一是利用离散正弦变换(DST)的轮廓逼近技术。
在一种采用了基于多边形逼近和DST的轮廓逼近技术的装置中，如在一共有未决申请，U.S.Ser.No.08/423,604，题为“用于表示目标轮廓的轮廓逼近装置”中所公开的，确定若干个顶点并通过使用通用线段来拟合轮廓的多边形逼近来逼近目标的轮廓。而且，为了得到每条线段的一组逼近误差，为每条线段选择N个采样点并在N个采样点中每一个采样点处计算一逼近误差。每条线段上的N个采样点是等距的且每个逼近误差表示N个采样点中的每一个与轮廓之间的距离或位移。然后，通过对每组逼近误差执行一维DST来产生多组DST系数。
虽然上述基于DST的轮廓逼近技术能够改善粗糙地表示和计算复杂性的问题，并在某种程度上减少了发送数据量，仍需要进一步减少发送数据量。
因此，本发明的主要目的是提供一种能通过使用轮廓运动估计技术进一步减少发送数据量的改进的轮廓编码方法和装置。
根据本发明，提供了一种用于在目标先前轮廓的基础上对其当前轮廓的视频信号进行编码的方法，包括步骤(a)在当前轮廓上确定一定数目的多个第一顶点；(b)将第一顶点标绘在先前轮廓上以由此在先前轮廓上提供所述数目个第二顶点。
(c)根据第一顶点逼近当前轮廓以由此提供第一逼近轮廓；(d)根据第二顶点逼近先前轮廓以由此提供第二逼近轮廓；
(e)获得当前轮廓与第一逼近轮廓之间的第一组逼近误差和先前轮廓与第二逼近轮廓之间的第二组逼近误差；(f)计算第一组与第二组逼近误差之间的差值；(g)对该差值进行编码以产生编码数据；以及(h)提供当前轮廓的编码视频信号，该编码视频信号包括编码数据和表示第一顶点位置的顶点信息。
根据下面结合附图时优选实施例的描述，本发明的上述及其它目的和特点将显而易见，附图中
图1表示根据本发明的一种用于对轮廓图象进行编码的装置的方块图；图2示出根据本发明的顶点标绘过程；图3A和3B分别示出根据本发明的第一和第二N点采样过程。
参看图1，其中示出了根据本发明的一种用于编码轮廓图象的装置200的方块图，其中表示目标当前轮廓的输入轮廓图象数据被送入多边形逼近块201，第一N点采样块210和运动估计与补偿(ME&MC)块280。多边形逼近块201通过使用用多条线段来拟合轮廓的传统逼近算法根据输入轮廓图象数据在当前轮廓上确定当前顶点，其中每条线段是通过将沿当前轮廓相邻设置的两个顶点相连接而获得的。表示当前顶点位置的当前顶点信息从多边形逼近块201经线路L10提供至第一N点采样块210，轮廓重建块260和多路复用器(MUX)290。
第一N点采样块210在每条线段上选择N个采样点并根据当前顶点信息和输入轮廓图象数据计算N个采样点中每一点处的第一逼近误差，N为一正整数。在本发明一优选实施例中，N个采样点是等距的，因此两个相邻采样点之间的距离和一个采样点与其相邻的当前顶点之间的距离等于线段的长度除以(N+1)。线段上一采样点处的第一逼近误差表示在该采样点处线段和与其相应的轮廓段之间的位移。第一逼近误差被提供至减法器235。
同时，ME&MC块280通过对目标当前轮廓和先前轮廓上所有象素的位置坐标取平均来找到两个轮廓的形心，并计算代表形心之间的空间位移的一运动矢量，即整体运动矢量(GMV)，其中当前轮廓的形心是根据输入轮廓图象数据计算的，而先前轮廓的形心是根据从存储器270检索到的先前轮廓图象数据获得的。然后，通过把先前轮廓移动GMV来将其叠加在当前轮廓上，而且将移动后的先前轮廓设定为预测轮廓。换句话说，在ME&MC块280中，通过将先前轮廓上的所有象素移动GMV使得预测轮廓的形心与当前轮廓的形心重合来获得目标的预测轮廓。ME&MC块280的输出是通过线路L20送往MUX290的GMV；以及送往顶点标绘块220和第二N点采样块230的表示预测轮廓的预测轮廓图象数据。
顶点标绘块220，响应于线路10上的来自多边形逼近块201的当前顶点信息和从ME&MC块280提供的预测轮廓图象数据，为当前轮廓的每一当前顶点确定一预测顶点，该预测顶点表示预测轮廓上离每一当前顶点最近的一个点。
参看图2，示出了在顶点标绘块220中执行的顶点标绘过程，其中PC表示预测轮廓而A至E代表当前轮廓的当前顶点。如图所示，当前顶点A至E分别标向预测顶点A’至E’，预测顶点A’至E’中的每一个是预测轮廓PC上距其相应的当前顶点最近的一个点。
然后，顶点标绘块220将预测顶点信息提供至第二N点采样块230。该预测顶点信息表示预测顶点的位置。
第二N点采样块230响应来自顶点标绘块220的预测顶点信息和来自ME&MC块280的预测轮廓图象数据，以与第一N点采样块210相似的方式在每一条由一对相邻的预测顶点形成的线段上选择N个采样点并在N个采样点中每一点处计算相对于预测轮廓的第二逼近误差。连结两个相邻预测顶点的预测线段上一采样点处的第二逼近误差表示在该采样点处预测线段与其相应的预测轮廓之间的位移。在第二N点采样块230计算出的第二逼近误差被提供至减法器235和加法器255。
减法器235从来自第一N点采样块的每个第一逼近误差中减去与其相应的第二逼近误差，并随即产生二者之间的差值送入变换与量化(T&G)块240。具体地，如图3A和3B所示，如果当前轮廓CC上的当前顶点A和B分别标向预测轮廓PC上的预测顶点A’和B’，且如果N等于4，且因而线段AB和A’B’上分别具有采样点S1至S4和S1’至S4’，则S1点处的第一逼近误差FE1减去S1’点处的第二逼近误差SE1；FE2减去SE2；等等。
T&Q块240对根据例如每对相邻的当前顶点而得到的一组预定数目N个差值进行一维离散正弦变换(DST)以产生一组与其相应的变换系数；并对每组变换系数进行量化以将一组量化变换系数提供至统计编码器245和逆变换与逆量化(IT&IQ)块250。虽然在本发明的优选实施例中使用了DST，但对本领域的技术人员来说，可以用其它类型的变换技术，例如离散余弦变换(DCT)来代替DST是显而易见的。
IT&IQ块250对每组量化变换系数执行IT和IQ操作以向加法器255提供一组重建差值。加法器255将来自IT&IQ块250的重建的差值与来自第二N点采样块230的第二逼近误差相结合以由此重建重建的第一逼近误差。在轮廓重建块260中，根据从加法器255接收的重建的第一逼近误差和经线路L10从多边形逼近块201施加的当前顶点信息来重建当前轮廓，然后，该重建的当前轮廓图象数据被存储在存储器270中，作为后一轮廓的先前轮廓图象数据。
在统计编码器245中，通过利用例如可变长度编码技术对每组量化变换系数进行编码以产生统计编码数据。然后将统计编码数据施加至MUX290。MUX290对统计编码数据，线路L10上的当前顶点信息和线路L20上的GMV进行多路转换以向发送器提供一多路复用的位流以便发送。
虽然根据具体实施例对本发明进行了描述，但对于本领域技术人员来说显然可以作出各种变动和修改，而不偏离下面权利要求中定义的本发明的范围。
权利要求
1.一种根据目标的先前轮廓对其当前轮廓的视频信号进行编码的方法，包括步骤(a)在当前轮廓上确定一定数目的多个第一顶点，(b)将第一顶点标绘到先前轮廓上以由此在先前轮廓上提供所述数目个第二顶点；(c)根据第一顶点逼近当前轮廓以由此提供第一逼近轮廓；(d)根据第二顶点逼近先前轮廓以由此提供第二逼近轮廓；(e)获得当前轮廓与第一逼近轮廓之间的第一组逼近误差和先前轮廓与第二逼近轮廓之间的第二组逼近误差；(f)计算第一组与第二组逼近误差之间的差值；(g)对该差值进行编码以产生编码数据；以及(h)提供当前轮廓的编码视频信号，该编码视频信号包括编码数据和表示第一顶点位置的顶点信息。
2.根据权利要求1的方法，其中用于确定第一顶点的所述步骤(a)通过利用多边形逼近技术来完成。
3.根据权利要求2的方法，其中用于标绘第一顶点的所述步骤(b)包括步骤(b1)获得当前和先前轮廓的形心，该形心是通过对各轮廓的象素位置进行平均而获得的；(b2)计算形心之间的位移；(b3)通过将一个轮廓向另一个轮廓移动该位移而把当前和先前轮廓互相重叠；(b4)在先前轮廓上找到距—第一顶点最近的一个象素并把该象素作为一第二顶点，以由此提供多个第二顶点。
4.根据权利要求3的方法，其中第一组与第二组逼近误差中的每一组包括预定数目个误差。
5.根据权利要求4的方法，其中对该差值进行编码的步骤(g)是通过使用包括变换、量化和统计编码技术的编码方案来完成的。
6.根据权利要求3的方法，其中该编码视频信号还包括表示形心之间位移的运动信息。
7.一种根据目标的先前轮廓对其当前轮廓的视频信号进行编码的方法，包括步骤(a)在当前轮廓上确定一定数目的多个第一顶点；(b)用连接两个第一顶点的第一线段来逼近由所述两个第一顶点建立的当前轮廓段，所述两个第一顶点沿当前轮廓彼此相邻；(c)将所述两上第一顶点标绘到先前轮廓上以由此在先前轮廓上产生两个相应的第二顶点；(d)用连接所述两个第二顶点的第二线段来逼近由所述两个第二顶点定义的先前轮廓段；(e)在第一和第二线段上分别设定N个采样点，N为一正整数；(f)提供在第一线段上的采样点处相对于当前轮廓段量测得的第一组逼近误差和在第二线段上的采样点处相对于先前轮廓段计算出的第二组逼近误差；(g)产生第一组与第二组逼近误差之间的一组差值；以及(h)对该组差值进行编码以由此提供编码数据。
8.根据权利要求7的方法，其中用于确定第一顶点的步骤(a)是通过利用多边形逼近技术来完成的。
9.根据权利要求8的方法，其中所述标绘步骤(c)是在当前和先前轮廓形心之间的位移的基础上完成的，表示一位置的每一形心是通过对每一轮廓的象素位置进行平均来定义的。
10.根据权利要求8的方法，其中用于对该组差值进行编码的步骤(h)是通过利用离散正弦变换来完成的。
11.根据权利要求8的方法，在所述编码步骤(h)之后还包括提供包括该编码数据、表示第一顶点位置的顶点信息和表示形心之间位移的运动信息的当前轮廓的编码视频信号的步骤(i)。
12.一种用于视频信号编码器的装置，用于根据目标的先前轮廓来压缩其当前轮廓的视频信号，包括用于在当前轮廓上确定一定数目的多个第一顶点的装置；用于根据第一顶点在先前轮廓上提供所述数目个第二顶点的装置，其中每个第二顶点对应于一个第一顶点。用于分别用第一组和第二组线段来逼近当前和先前轮廓的装置，其中通过连结当前轮廓上彼此相邻的两个第一顶点来形成第一组线段中的每一条线段，并通过连结先前轮廓上彼此相邻的两个第二顶点来形成第二组线段中的每一条线段；装置，用于产生一当前轮廓段与由两个相邻的第一顶点定义的第一组线段中的一条线段之间的第一组误差和一先前轮廓段与由相应于所述两个相邻的第一顶点的第二顶点确定的第二组线段中的一条线段之间的第二组误差；用于计算第一组与第二组误差之间差值的装置；以及用于对该差值进行编码的装置。
13.根据权利要求12的装置，其中通过利用多边形逼近技术来确定第一顶点。
14.根据权利要求13的装置，其中所述提供装置还包括用于计算当前和先前轮廓形心的装置。
15.根据权利要求14的装置，其中第一组和第二组误差中的每一组包括预定数目个误差。
16.根据权利要求15的装置，其中所述产生装置包括装置，用于在第一组线段上设定所述预定数目个第一采样点，并产生在各个第一采样点处计算出的当前轮廓段与第一组线段之间的位移，作为第一组误差；以及装置，用于在第二组线段上设定所述预定数目个第二采样点，并产生在各个第二采样点处计算出的先前轮廓段与第二组线段之间的位移，作为第二组误差。
17.根据权利要求16的装置，其中用于对该差值进行编码的所述装置包括用于通过一变换技术将该差值转换为一组变换系数的装置。
18.根据权利要求17的装置，其中用于对所述差值进行编码的所述装置还包括用于对该组系数进行量化以提供一组量化系数的装置。
19.根据权利要求18的装置，其中用于对该差值进行编码的所述装置还包括用于对该组量化系数进行统计编码的装置。
20.根据权利要求17的装置，其中所述变换技术为离散正弦变换。
全文摘要
一种用于根据目标的先前轮廓来对其当前轮廓的视频信号进行编码的方法在当前轮廓上确定第一顶点并将其标绘到先前轮廓上以在先前轮廓上提供第二顶点。在根据第一顶点近似当前轮廓和先前轮廓以提供第一、第二近似轮廓后,该方法获得当前轮廓与第一近似轮廓之间的第一组近似误差和先前轮廓与第二近似轮廓之间的第一、第二组近似误差。然后该方法计算这两组近似误差之间的差值并对该差值进行编码以产生编码数据。
文档编号G06T9/20GK1177258SQ9612059
公开日1998年3月25日 申请日期1996年11月14日 优先权日1996年9月19日
发明者金镇宪 申请人:大宇电子株式会社