专利名称：使用基于特征点的运动估算编码及解码视频信号的方法和装置的制作方法
技术领域：
本发明涉及一种编码视频信号的方法和装置；且更具体地，涉及一种使用改进的基于特征点的运动估算编码及解码数字视频信号，从而有效地降低数字视频信号的传输速率，提供良好的画面质量的方法和装置。
众所周知，数字视频信号的传输可获得比模拟信号传输质量高得多的视频图象。当包括有一序列图象“帧”的图象信号以数字形式表示时，将生成大量用于传输的数据，特别在高清晰度电视系统的情况中，然而，一常规传输信道的可用频带宽度是有限的，因此，为了发送大量的数字数据，必须压缩或减少传输数据的量，在各种视频压缩技术中，将时间及空间压缩技术与统计编码技术相结合的所谓的混合编码技术是所知最为有效的。
大多数混合编码技术采用运动补偿DPCM(差分脉冲码调制)，二维DCT(离散余弦变换)、DCT系数的量化及VLC(可变长度编码)。运动补偿DPCM是对在一当前帧和一先前帧或一将来帧，即一参考帧之间的目标的运动进行估算，并根据该目标的运动流预测当前帧以产生一个代表当前帧及其预测之间的差的误差信号的处理。这种方法在例如Staffan Ericsson的“用于混合预测/变换编码的固定及自适应预测器”，IEEE Transactions on Communications，COM-33，NO.12(1985年12月)；及在Ninomiya和Ohtsuka的“一种用于电视画面的运动补偿帧间编码方案”，IEEE Transactions on Communications，COM-30，NO.1(1982年1月)中被描述。
二维DCT减少或利用图象数据间的空间冗余，将一例如为8×8象素块的数字图象数据块变换成一组变换系数数据。这种技术在Chen和Pratt的“场景自适应编码器”IEEE Transactions on Communications，COM-32，NO.3，(1984年3月)中被描述。通过量化器、折线扫描及VLC对这些变换系数数据的处理，侍传输的数据量可被有效地压缩。
特别地，在运动补偿DPCM中，基于对当前帧及参考帧间的运动的估算，当前帧数据自相应的参考帧数据被预测。
该被估算的运动可用代表参考帧及当前帧间的象素的位移的二维运动矢量描述。
已有两种基本方法估算目标的象素的位移一种是逐块估算，另一种是逐象素的方法。
在逐块运动估算中，将一当前帧中的一块与其参考帧中的各块进行比较直至确定最佳匹配。自此，可以为被传输的当前帧估算整个块的帧间位移矢量(代表该象素块已在帧间移动了多少)。
如在“ITU Telecmmunication Standardization Sector Study Group15，Working Party15/1Expert’s Group on VeryLow Bit Rate Visual Telephony，”中的“视频编译码器测试模型，TMN4 Rev1”(1994年10月25日)中所公开的，这样的块匹配技术可在预测视频序列中包括的P及B帧中被采用，其中P即预测帧表示自其先前帧(作为参考帧)被预测的帧，而B即双向预测帧是自其先前及将来帧(作为参考帧)被预测的帧，在所谓的B帧编码中，具体地说，采用一双向运动估算技术以导出向前和向后位移矢量，其中该向前位移矢量是通过对一B帧及其先前在帧内(I)或预测(P)帧间一目标的运动进行估算而得到的，而向后位移矢量是根据其将来I或P帧(作为参考帧)而导出的。
然而，在逐块运动估算中，在运动补偿过程中可能会产生块边界处的成块效应，如果块中的所有象素不以一相同的方式运动，则可以导致差的估算，从而降低整体的画面质量。
采用逐象素的方法，在另一方面，可确定用于各个及每个象素的位移。这种技术可取得象素值的更精确的估算并能容易地处理标度改变(例如变焦、垂直于图象平面的运动)。然而，在逐象素的方法中，由于是确定各个及每个象素的运动矢量，因此几乎不可能将所有的运动矢量数据传输给一接收机。
引入的用于改善涉及由逐象素方法导致的剩余或多余的传输数据的问题的一种技术是基于特征点的运动估算方法。
在该基于特征点的运动估算技术中，用于一组被选取的象素，即特征点的运动矢量被传输给一接收机，其中各特征点被定义为能够代表其相邻象素的象素以便非特征点的运动矢量可从接收机中特征点的运动矢量中被还原或近似。在采用在美国流水号为08/367,520，题目为“利用逐象素运动估算编码视频信号的方法和装置”的共有未决申请中公开的基于特征点的运动估算技术的编码器中，首先从包含在先前帧中的全部象素中选取一些特征点。接着，确定被选取的特征点的运动矢量，其中各个运动矢量代表先前帧中的一特征点与当前帧中的一对应匹配点即最相似的象素间的空间位移。特别地，通过使用已知的块匹配算法，在当前帧内的一搜索区中搜索对于各个特征点的匹配点，其中特征点块被定义为包围了选取的特征点的块而搜索区被定义为包围对应的特征点的位置的一预定区域内的区。
尽管通过使用上述基于特征点的运动估算技术可能会大大地减少待被发送的数据量，如果使用网格或/和边缘技术仍要从不仅运动目标而且没有运动的静止目标选取大量的特征点。这么大量的特征点需要一相当复杂的电路来完成上述的编码方法，或仍要在用于检测这些运动矢量的电路上施加高强度的计算负担，并且，它还需要进一步减少待被发送的数据量以成功地实现具有例如64kb/s传输信道宽度的低比特率编译码器系统。
因此，本发明的一个目的是提供一种在图象信号编码装置中使用的，采用基于特征点的运动估算有效地编码数字视频信号的双向预测帧，从而有效地减少数字视频信号的传输率。提供良好的画面质量的装置和方法。
根据本发明的一个方面，提供了一种在图象信号编码系统中使用的方法，该方法通过使用基于特征点的运动估算，根据一数字视频信号的一双向预测帧(B帧)的两重建的相邻帧来编码该B帧，该方法包括有以下步骤a)指定一第一重建的相邻帧为一参考帧；b)根据重建的相邻帧间的差检测一表示该数字视频信号的一运动目标的运动的处理区，产生表示该被检测的处理区的区信息；c)根据该区信息从参考帧的该被检测的处理区内包含的象素中选取多个象素作为一组特征点；
d)确定该当前帧与参考帧间的一组运动矢量，该组运动矢量中的各个表示各特征点的运动；e)指定该组运动矢量为一第一组运动矢量并指定一第二重建的相邻帧为该参考帧；f)重复步骤(c)及(d)以指定自重复的步骤(d)得到的一组运动矢量为一第二组运动矢量；及g)自该第一及第二组运动矢量中选取该组特征点的该组运动矢量，从而产生选取的运动矢量组及表示该被选取组的选取信息作为被编码的B帧。
通过以下参照附图对优选实施例的描述中，本发明的以上及其它目的和特征将变得明显，附图中
图1为根据本发明的具有一基于特征点的运动估算(ME)的编码器的图象信号编码装置；图2示出了说明一输入帧序列的概略性示意图；图3示出了在图1中所示的运动补偿-离散余弦变换(MC-DCT)编码器的详细方框图；图4给出了图1中所示的ME编码器的详细方框图；图5给出了根据本发明的特征点选取操作中示例性图；图6给出了根据本发明的特征点运动估算操作的示例性图；图7示出了描述根据本发明的非准特征点运动矢量搜索过程的说明性图；图8示出了根据本发明的具有一基于特征点的运动估算(ME)的解码器的图象信号解码装置；图9示出了图8中所示的MC-DCT解码器的详细方框图；及图10示出了图9中所示的ME解码器的详细方框图；参照图1，示出了根据本发明的一图象信号编码装置的方框图。该图象编码系统包括一帧重排电路10，一运动补偿-离散余弦变换(MC-DCT)编码器20。一运动估算(ME)编码器30，一熵编码器40。
一输入数字视频信号包括一如图2所示的由一在内(I)帧I1、N个双向预测(B)帧B1、B2、B3……BN及N-1个预测(P)帧P1、P2、P3……PN-1提供的输入帧(或画面)序列。因此，该包括I1、B1、P1、B2、P2、B3、P3的输入帧序列被提供给帧重排电路10。在帧重排电路10，该输入的帧序列被重排成例如I1、P1、B1、P2、B2、P3、B3的序列以编码这些B帧。该被重排的帧序列然后被提供给MC-DCT编码器20和ME编码器30。也就是说，这些I及P帧信号被馈送给MC-DCT编码器20，及该B帧信号被提供给ME编码器30。
MC-DCT编码器20用于分别通过两种编码方式，例如帧内编码方式及一帧间编码方式，序列地编码这些I及P帧信号，以产生一帧内编码I及一帧间编码P帧信号，然后经一开关SW1被传送给熵编码器40。该MC-DCT编码器20还生成一重建的I及一重建的P帧信号，被传送给ME编码器30。
然后，该B帧信号被传送给ME编码器30，ME编码器30通过使用重建的I及重建的P帧信号对其进行编码，从而生成一被运动估算编码的B帧信号。然后该被运动估算编码的B帧信号经开关SW1被传送给熵编码器40，其中该开关SW1由来自一系统控制器(未示出)的控制信号CS1进行致动。
在熵编码器40，通过使用例如已知的可变长度编码技术分别对被帧内编码的I帧信号、被帧间编码的P帧信号及被运动估算编码的B帧信号进行编码；并作为被编码的视频信号发送给一发射机(未示出)，以进行发射。
参照图2，提供了上述输入帧序列的一示例性图。如图所示，当当前帧是一P帧P1时，在MC-DCT编码器20，通过使用重建的I帧I1作为参考帧，在逐块的基础上获得一组运动矢量SMV1，以相类似的方式，分别通过使用参考帧P1和P2获得当前帧P2和P3的运动矢量组SMV2和SMV3。
当当前帧为B帧B1时，在ME编码器30，通过根据改进的基于运动估算的特征点，使用自MC-DCT编码器20输出的一重建I帧I1作为一第一参考帧获得一组向前的运动矢量FMV1。以相类似的方式，通过使用来自MC-DCT编码器20的重建的P帧P1作为一第二参考帧获得该当前帧B1的该组向后运动矢量BMV1。然后，ME编码器30通过使用该组向前运动矢量FMV1及该组向后运动矢量BMV1，生成当前帧B1的一组运动矢量为被运动估算编码的B帧。
因此，根据本发明的优选实施例，通过使用基于预测编码方法的DCT对P帧P1、P2、P3进行编码。该预测编码方法采用基于块的运动估算；并通过使用基于特征点的运动估算编码方法对插入帧，即B帧B1、B2、B3进行编码。
参照图3，给出了图1中所示的MC-DCT编码器。该MC-DCT编码器20包括一图象信号编码器105、一图象信号解码器113、一当前帧预测电路150及两先前帧存储器，即一第一先前帧存储器124和一第二先前帧存储器125。
该MC-DCT编码器20还包括一开关SW2和一开关SW3，它们被用于选择性地执行两种帧编码方式帧内编码方式和帧间编码方式。该两开关SW2和SW3也如先前技术中已知的那样，由来自系统控制器的一编码方式控制信号CS2进行同时致动。
在帧内编码方式中，I帧I1作为一当前帧信号被直接传送给图象信号编码器105，其中例如通过使用一离散余弦变换(DCT)及任何已知的量化方法，该当前帧信号被编码成量化的变换系数组。然后，这些量化的变换系数作为被帧内编码的I帧信号被发送给图1中所示的熵编码器40和一图象信号解码器113。在熵编码器107，通过使用例如一可变长度编码技术，这些来自图象信号编码器105的量化的变换系数被一起编码，并将该被编码的视频信号发送给一发射机(未示出)，以用于发送。
另一方面，该图象信号解码器113通过采用一逆量化及一逆离散余弦变换将来自图象信号解码器105的该被量化的变换系数转换后成一重建的I帧信号。然后该来自图象信号解码器113的重建的帧信号被存储在第一先前帧存储器124中。
在帧间编码方式中，该P帧作为一当前帧信号被提供给减法器102和当前帧预测电路150。
在当前帧预测电路150中，通过使用普通的基于运动补偿技术的块；对该当前帧和来自帧存储器124的重建的I帧信号(该参考信号)进行处理以预测该当前帧；生成被预测的当前帧信号及运动矢量组。
在减法器102，从当前帧信号中减去该被预测的当前帧信号，而结果数据，即表示该差分象素值的一误差信号被传送给图象信号编码器105，其中例如通过使用一DCT及任何已知的量化方法，将该误差信号编码成一组量化的变换系数。也就是说，通过从该当前帧中减去该被预测的当前帧而获得的该误差信号被进行DCT编码。
然后，该被量化的变换系数连同该组运动矢量一起作为帧间编码的P帧信号经开关SW3被发送给一熵编码器107和图象信号解码器113。在熵编码器107，通过使用例如一可变长度编码技术，对自图象信号编码器105提供的被帧间编码的P帧信号及自当前帧预测电路150发送的运动矢量一起进行编码；并将该被编码的视频信号发送给一发射机(未示出)，用于发射。
在另一方面，通过采用逆量化和逆离散余弦变换，图象信号解码器113将来自图象信号解码器105的被量化的变换系数转换回成一重建的误差信号。
该来自图象信号解码器113的重建的误差信号及来自当前帧预测电路150的预测的当前帧信号经开关SW3在加法器115被组合，从而提供一重建的P帧信号存储于第一先前帧存储器124中。同时，预存在第一先前帧存储器124中的重建的I帧信号被转送入第二先前帧存储器125中。只要图象编码操作被执行，该过程就被序列地重复。
现在参照图4，给出了图1中所示的ME编码器30的详细方框图。如图所示，该ME编码器30包括一处理区检测电路310，一边缘检测电路312，一网格信息生成器314、一特征点选取电路315、一运动矢量估算器316和一运动矢量确定电路318。
当自图1中所示的重排电路10输出的B帧B1作为当前帧信号F(t)被提供给ME编码器30时，自第一及第二先前帧存储器124和125输出的重建的I帧和重建的P帧作为第一及第二参考帧信号F(t+1)和F(t-1)被提供给处理区检测电路310。
在处理区检测电路310，通过使用两参考帧信号F(t+1)和F(t-1)之间的差对表示输入数字视频信号的一运动目标的运动的处理区进行检测。也就是说，从相应的第二参考帧信号F(t-1)的各象素值中减去第一参考帧信号F(t+1)的各象素值。结果，将到一包含有多个象素差值的帧差信号。
然后将各象素差值与一预定的阈值进行比较。结果，确定一帧差信号的区域，其中该区域表示一包含有多个大于或等于预定阈值的象素差值的象素区域。该预定阈值可以通过反射包含在该数字视频信号中的噪声分量及摄像机记录(Penning)矢量而被预先选取。然后处理区检测电路310产生表示对应的帧差信号区的检测处理区的处理区信息。该处理区信息被传送给特征点选取电路315和运动矢量选取电路318。
该ME编码器30还包括一开关SW4，该开关SW4被用于序列地执行两种运动估算方式一向前运动估算方式和一向后运动估算方式，该开关SW4由来自系统控制器的一方式控制信号CS4进行序列地开关。
在向前运动估算方式中，重建的I帧作为第一参考帧信号F(t+1)被馈送给边缘检测电路312、运动矢量估算器316和运动矢量选取电路318。
在边缘检测电路312，通过使用例如已知Sobel边缘检测器，检测第一参考帧信号F(t+1)中的运动目标的边缘。表示该被检测的边缘的边缘信息被传送给了特征点选取电路315。网格点生成电路314用于生成一表示例如具有多个交叉点的一矩形网格的预选取的网格信息且该预选取的网格信息也被传送给特征点选取电路315。
在特征点选取电路315，通过使用处理区信息、边缘信息和预定的网格信息从包含在第一参考帧信号F(t+1)的处理区中的象素中选取多个特征点。也就是说，如图5所示，为各网格点，例如G4设置一非重叠的搜索范围，例如SR4，其中参考标志PR表示例如被选取的处理区。如果搜索范围SR4内的一边缘点，例如E1的值为最大，则该边缘点，例如E1变成该网格点，例如G4的一特征点。该网格与该边缘EL的一交叉点G5也被选取为一特征点。另一方面，在其搜索范围内不包含有边缘点的网格G1、G2和G3的节点不被选取为特征点。因此，由于通过使用网格和边缘技术选取了该组特征点，这些被选取的特征点被定义为可代表该数字视频信号的目标运动的象素。
在运动矢量搜索单元316，根据第一参考帧信号F(t+1)和当前帧信号检测所选取的特征点的第一组运动矢量。第一组中的各运动矢量表示第一参考帧中的一特征点与当前帧中与其最相似的一象素之间的一空间位移。有许多处理算法可用于在逐象素的基础上检测这些运动矢量。如图6中所示，在本发明的优选实施例中，使用了一块匹配算法也就是说，先形成在其中心有一特征点F1的第一参考帧的一特征点块K1。然后，在该特征点块K1和当前的一通常较大的P×Q，例如10×10象素的搜索区K2中包括的多个相同大小的候选块中的每一个，例如K3之间通过使用一误差函数，例如MAE(平均绝对误差)或MSE(均方误差)进行一相似性计算后，确定该特征点块的一运动矢量，该搜索范围K2被确定位于该搜索区PR2内，而运动矢量MV1是特征点块F1和候选块K3之间的产生一最小误差函数的一位移。然后将确定的运动矢量MV1设定为特征点F1的运动矢量以获得所有特征点的第一组运动矢量，并传送给运动矢量选取电路318。
在向后运动估算方式中，将重建的P帧作为第二参考帧信号F(t-1)经开关SW4馈送给边缘检测电路312、运动矢量估算器316和运动矢量选取电路318。通过使用与在上述向前运动估算中所用的方式相同的方式(除了是从第二参考帧F(t-1)中选取一组特征点及通过使用第二参考帧F(t-1)和当前帧获得第二组运动矢量外)确定第二组运动矢量。然后该第二组运动矢量被传送给运动矢量选取电路318。
在运动矢量选取电路318，通过使用第一组及第二组运动矢量，一组运动矢量被选取为被运动估算编码的B帧信号，其中被选取的该组运动矢量用于生成一产生一相对于噪声比的最小的峰值信号(PSNR)的被更相似预测的当前帧。因此，通过使用第一及第二组运动矢量初始地确定了两被预测的当前帧，例如向前和向后预测的当前帧。
首先，通过使用第一组运动矢量、当前帧及第一参考帧F(t+1)确定向前预测的当前帧。为了获得向前预测当前帧，通过使用第一组向前运动矢量及区信息确定包含在当前帧中的所有象素的第一群运动矢量。该第一群运动矢量包括两子群运动矢量，例如一用于准特征点的第一子群运动矢量，及一用于非准特征点的第二子群运动矢量，其中这些准特征点表示从包含在先前帧的处理区中的特征点移位了第一组运动矢量的当前帧的象素；及这些非准特征点表示包含在当前帧的处理区中的其余象素。通过使用第一组运动矢量确定这些准特征点，然后该第一组运动矢量被转换成用于确定的准特征点的第一子群运动矢量。然后通过使用第一子群运动矢量检测当前帧的处理区中包含的非准特征点的第二子群运动矢量。如图7中所示，为了获得各非准特征点，例如PM的各运动矢量，一运动搜索范围，例如QS被设定。位于该运动搜索范围内的准特征点QF1和QF2的运动矢量QMV1和QMV2被用于计算非准特征点PM的运动矢量。如上所述，当选取该运动搜索范围中包含的多个准特征点作为有影响的准特征点时，该非准特征点PM的运动矢量QMVPM由以下公式计算得到QMVPM=Σi=1N(QMViLi×Wi)Σj=1N(1Li×Wi)---(1)]]>其中QMVi是一第i个准特征点的运动矢量，N是当前帧中准特征点的数量，Li是第i个准特征点与非准特征点PM之间的距离；及Wi是第i个准特证点的加权因数。如果第i个准特征点包含在运动搜索范围QS中作为有影响的准特征点，加权因数为1，否则为0。以同样的方式，确定所有非准特征点的第二子群运动矢量。
准特征点的第一子群运动矢量及非准特征点的第二子群运动矢量被设定至包含在当前帧中的所有象素的第一群运动矢量，其中位于当前帧中处理区外侧的象素的运动矢量被设置成零。
然后在向前预测的当前帧的预测中使用当前帧中所有象素的第一群运动矢量。也就是说，通过使用第一群中包含的各运动矢量，从第一参考帧中抽取一待被包含在预测的当前帧中的各象素值，从而提供向前预测的当前帧信号。
以相同的方式，然后根据第二参考帧和当前帧，使用自第二组运动矢量导出的第二群运动矢量，确定向后预测的当前帧。
然后，根据向前及向后预测的帧从第一及第二组运动矢量选取这些特征点的一组运动矢量。也就是说，所选取的该组运动矢量用于生成一产生最小的对于噪声比的峰值信号(PSNR)的被更相似预测的当前帧。然后将自运动矢量选取电路318输出的选取的该组运动矢量及表示其的一选取信息作为运动估算编码的B帧信号经开关SW1传送给熵编码器40。
参照图8，根据有根据本发明的与图1中所示的图象信号编码装置相对应的一图象信号解码装置。该解码系统用于对包括被帧内编码I及帧间编码P帧信号和被运动估算编码的B帧信号的编码视频信号进行解码；并包括一熵解码器810，一MC-DCT解码器820，一ME解码器830和一帧重排电路840。
具有被帧内编码的I及被帧间编码的P帧信号和被运动估算编码的B帧信号的该编码视频信号经传输信道被传送给图象信号解码装置。被帧内编码的I帧信号及被帧间编码的P帧信号经熵编码器810和开关SW5被馈送给MC-DCT编码器820。该MC-DCT编码器820分别将它们转换成一重建的I帧信号和一重建的P帧信号。然后将这些重建的I及P帧信号传送给帧重排电路840。
另一方面，将被运动估算编码的B帧信号经熵编码器810和开关SW5传送给ME解码器830。解码器830将其转换成一重建的B帧信号。然后将该重建的B帧信号传送给帧重排电路840。
在帧重排电路840，将自MC-DCT及ME编码器820和830输出的一重建帧(或画面)序列，例如重建的帧I1、P1、B1、P2、B2、P3、B3……转换成一包括I1、B1、P1、B2、P2、B3、P3……的重排的重建帧序列。然后将该重排的重建帧序列提供给显示器屏幕(未示出)以在其上显示。
参照图9，说明了在图8中示出的一MC-DCT解码器820。为方便起见，出现在图3及图9中的相似部分用相同的参考数字表示。当以与编码器系统中使用的相似方式将帧内编码的I帧信号经一信息分配器910馈送给图象解码器113’，该图象信号解码器113’通过采用一逆量化和一逆离散余弦变换将帧内编码的I帧信号的量化的变换系数转换回成一重建的I帧信号。然后将来自图象信号解码器113’的该重建的I帧信号存储在第三先前帧存储器918中。
当将帧间编码的P帧信号传送给信息分配器910时，信息分配器910将帧间编码的P帧信号分为量化的变换系数和一组运动矢量，它们分别被提供给图象解码器113’和当前帧预测电路916。在当前帧预测电路916，通过使用该组运动矢量预测当前帧。另一方面，在图象解码器电路113’，通过采用逆量化和逆离散余弦变换将这些量化的变换系数转换回成一重建的误差信号。
然后，在加法器917中将重建的误差信号和预测的当前帧信号相组合，从而提供一重建的帧信号，存储在第三先前帧存储器918中。同时，将预存在第三先前帧存储器918中的重建的I帧信号转送入第四先前帧存储器920。只要图象解码操作被执行，该过程被序列地重复。
现在参照图10，说明了在图8中示出的一ME解码器830。以与图9中采用的相同的方式，在图4及10中出现的相似部分用相同的参考数字表示。当将运动估算编码的B帧传送给ME解码器830时，自第三及第四先前帧存储器918和920输出的重建的I帧和重建的P帧作为第一和第二参考帧信号F(t+1)和F(t-1)被提供给处理区检测电路310’。在处理区检测电路310’，以与ME编码器中采用的方式相同的方式，通过使用两参考帧信号F(t+1)和F(t-1)之间的差检测表示运动目标的运动的一处理区。
在另一方面，通过一由运动估算编码的B帧的选取信息致动的开关SW6来选取该参考帧信号。该选取的参考帧信号被馈送给边缘检测电路312’和运动补偿电路930。然后，以与ME编码器中使用的相同方式，通过根据处理区信息和选取的参考帧使用边缘检测电路312’，网格点生成电路314’和特征点检测电路315’，来选取一组特征点。
通过使用在图4中所示的运动矢量选取器318中所用的上述当前帧预测处理，运动补偿电路930接收该运动估算编码的B帧信号的该组运动矢量并生成一重建的B帧信号。
正如从上面可以看到的，可以容易地理解到由于本发明的图象信号编码装置采用基于特征点的运动估算的编码方法，对双向预测帧进行编码，它可能大大减少了待被发送的数据量而不使图象质量劣化。而且，在本发明的基于特征点的运动估算的编码方法中，自处理区选取的有限量的特征点被用于运动估算，从而进一步减少计算负担和待被发送的运动矢量的量，从而进一步提高了编码效率。
尽管已参照具体实施例对本发明进行了图示和描述，但在不超出由所附权利要求定义的本发明的范围和精神的前提下，本领域的熟练技术人员显然可以改进许多变化和改型。
权利要求
1.一种在图象信号编码系统中使用的方法，通过采用基于特征点的运动估算，根据数字视频信号的一双向预测帧(B帧)的两重建的相邻帧对该B帧进行编码以生成被编码的B帧信号，该方法包括有以下步骤(a)指定一第一重建的相邻帧为一参考帧；(b)根据这两重建的相邻帧间的差，检测表示该数字视频信号的一运动目标的一运动的一处理区，以生成表示该被检测的处理区的区信息；(c)根据该区信息，从该参考帧的被检测的处理区中包含的象素中选取多个象素作为一组特征点。(d)确定该当前帧和参考帧之间的一组运动矢量，该组中的各运动矢量表示各特征点的一运动；(e)指定该组运动矢量作为一第一组运动矢量并指定一第二重建的相邻帧为参考帧；(f)重复步骤(c)和(d)以将自重复的步骤(d)获得的该组运动矢量作为一第二组运动矢量；及(g)从第一及第二组运动矢量中选取该组特征点的运动矢量组，从而生成选取的运动矢量组及表示该选取组的选取信息为编码的B帧。
2.如权利要求1所述的方法，其中所述的步骤(b)包括有以下步骤(b1)从第二重建的相邻帧的相应各象素值中减去第一重建的相邻帧的各象素值，生成包含有多个象素差值的一帧差信号；及(b2)将各象素差值与一预定的阈值进行比较，生成该处理区信息，其中该区信息表示对应于包含多个象素差值的帧差信号的一区的被检测的处理区，各象素差值大于或等于预定的阈值。
3.如权利要求2所述的方法，其中所述的步骤(g)包括有以下步骤(g1)根据第一组运动矢量，确定包含在B帧的处理区中的所有象素的第一群运动矢量；(g2)根据第二组运动矢量，确定包含在B帧的处理区中的所有象素的第二群运动矢量；(g3)通过使用第一及第二群运动矢量，分别产生第一预测的B帧和第二预测的B帧；及(g4)从第一及第二组运动矢量中选取该组特征点的运动矢量组，其中选取的该运动矢量组生成一相对于该B帧被更相似预测的B帧。
4.如权利要求3所述的方法，其中所述的步骤(g1)包括有以下步骤(g11)将第一组运动矢量转换成B帧中包含的准特征点象素的第一子群运动矢量，其中这些准特征点象素表示从第一参考帧的特征点象素移位过第一组运动矢量的B帧的多个象素；及(g12)通过使用第一子群运动矢量为包含在B帧的处理区中的其余象素抽取一第二子群运动矢量，从而产生第一和第二子群运动矢量作为第一群运动矢量。
5.如权利要求4所述的方法，其中所述的步骤g (2)包括有以下步骤(g21)将第二组运动矢量转换成B帧中包含的准特征点象素的第一子群运动矢量，其中这些准特征点象素表示从第二参考帧的特征点象素移位过第二组运动矢量的B帧的多个象素；及(g22)通过使用第一子群运动矢量为包含在B帧的处理区中的其余象素抽取第二子群运动矢量，从而产生第一和第二子群运动矢量作为第二群运动矢量。
6.如权利要求5所述的方法，其中所述步骤(g12)和g(22)包括有以下步骤(g221)指定当前帧的各其余象素为一目标象素(g222)选取包围该目标象素的一预定区域中所包含的一个或多个准特证点象素；及(g223)通过使用选取的准特征点象素的运动矢量计算该目标象素的一运动矢量，从而生成所有其余象素的第二子群运动矢量。
7.如权利要求6所述的方法，其中所述的步骤(c)包括以下步骤通过使用网格和边缘检测方法从参考帧中选取该组特征点象素，该网格和边缘检测方法选取位于边缘上的象素作为特征点象素，其中各被选取的象素位于包围一相应的网格节点的预定的搜索范围内并具有包含在预定的搜索范围内的象素值中的一最大值。
8.如权利要求7所述的方法，其中该网格是一矩形网格。
9.一种用于图象信号编码系统中的装置，通过采用基于特征点的运动估算的方法，根据一数字视频信号的双向预测帧(B帧)的两重建的相邻帧对该B帧进行编码，以生成一被编码的B帧信号，该装置包括有用于提供一第一重建的相邻帧作为第一参考帧并提供一第二重建的相邻帧作为第二参考帧的装置；检测装置，用于根据该第一及第二重建的相邻帧间的差，对表示该数字视频信号的一运动目标的一运动的处理区进行检测，以生成表示该被检测的处理区的区信息；第一选取装置，用于根据该区信息，从该第一及第二参考帧的该被检测的处理区中包含的象素中选取两群象素分别作为第一及第二组特征点；运动估算装置，用于对当前及第一参考帧间的第一组运动矢量进行估算并确定当前及第二参考帧间的第二组运动矢量，各运动矢量表示各特征点的一运动；第二选取装置，用于从第一及第二组运动矢量中选取该组特征点的运动矢量组，从而生成选取的运动矢量组及表示该选取组的选取信息作为编码的B帧。
10.如权利要求9所述的装置，其中所述检测装置包括用于从第二重建的相邻帧的相应的各象素值中减去第一重建的相邻帧的各象素值，生成包含多个象素值的一帧差信号的装置；及用于将各象素差值与一预定阈值相比较，生成该处理区信息的装置，其中该区信息表示与包含多个象素差值的该帧差信号的一区相对应的被检测的处理区，各象素差值大于或等于该预定阈值。
11.如权利要求10所述的装置，其中所述第二选取装置包括第一确定装置，用于根据第一组运动矢量确定包含在B帧的处理区中的所有象素的第一群运动矢量；第二确定装置，用于根据第二组运动矢量确定包含在B帧的处理区中的所有象素的第二群运动矢量；用于通过使用第一及第二群运动矢量，分别产生一第一预测的B帧和一第二预测的B帧；及用于从第一及第二组运动矢量中选取该组特征点的运动矢量组的装置，其中该选取的运动矢量组生成一相对于B帧被更相似预测的B帧。
12.如权利要求11所述的装置，其中所述第一确定装置包括用于将第一组运动矢量转换成包含在B帧中的准特征点象素的第一子群运动矢量的装置，其中这些准特征点象素表示从第一参考值的特征点象素移位过第一组运动矢量的多个B帧的象素；及用于通过使用第一子群运动矢量，抽取包含在B帧的处理区中的其余象素的第二子群运动矢量，从而产生第一及第二子群运动矢量作为第一群运动矢量的装置。
13.如权利要求12所述的装置，其中所述第三确定装置包括用于将第二组运动矢量转换成包含在B帧中的准特征点象素的第一子群运动矢量的装置，其中这些准特征点象素表示从第二参考帧的特征点象素移位过第二组运动矢量的多个B帧的象素；及用于通过使用第一子群运动矢量，抽取包含在B帧的处理区中的其余象素的第二子群运动矢量，产生第一及第二子群运动矢量作为第二群运动矢量的装置。
14.如权利要求13所述的装置，其中所述抽取装置包括用于指定当前帧的各其余象素作为一目标象素的装置；用于选取在包围该目标象素的一预定区域中包含的一个或多个准特征点象素；及用于通过使用所选取的准特征点象素的运动矢量，计算该目标象素的一运动矢量，从而生成所有其余象素的第二子群运动矢量。
15.如权利要求14所述的装置，其中所述第一选取装置包括用于通过使用一网格及边缘检测方法从参考帧中选取该组特征点象素的装置，该网格及边缘检测方法选取位于边缘上的象素作为特征点象素，其中各选取的象素位于包围该网格的一相应节点的一预定搜索范围内并具有包含在该预定搜索范围内的象素值中的一最大值。
16.如权利要求15所述的装置，其中该网格是一矩形网格。
17.一种在图象信号解码系统中使用的方法，通过采用一基于特征点的运动估算的方法，根据一编码的数字视频信号的一编码的双向预测帧(编码的B帧)的两重建的相邻帧，对该编码的B帧进行解码，其中该B帧包括一组运动矢量和选取信息，该方法包括有以下步骤(a)根据该选取信息选取一个重建的相邻帧作为一参考帧；(b)根据该两重建的相邻帧间的差对表示该数字视频信号的一运动目标的一运动的处理区进行检测，生成表示该被检测的处理区的区信息；(c)根据该区信息，从包含在该参考帧的被检测的处理区中的象素中选取多个象素作为一组特征点；及(d)通过使用该组运动矢量、被选取的该组特征点及该参考帧，提供被重建的B帧；
18.如权利要求17所述的方法，其中所述步骤(b)包括以下步骤(b1)从第二重建的相邻帧的相应的各象素值中减去第一重建的相邻帧的各象素值，生成包含多个象素差值的一帧差信号；及(b2)将各象素差值与一预定阈值相比较，生成该处理区信息，其中该区信息表示与包含多个象素差值的该帧差信号的一区相对应的被检测的处理区，各象素差值大于或等于该预定的阈值。
19.如权利要求18所述的方法，其中所述的步骤(d)包括以下步骤(d1)根据该组运动矢量确定包含在B帧的处理区中的所有象素的一群运动矢量；及(d2)通过使用该群运动矢量及该参考帧，产生被重建的B帧和一第二预测的B帧。
20.如权利根据19所述的方法，其中步骤(c)包括有以下步骤通过使用一网格及边缘检测方法，从该参考帧中选取一组特征点象素，该网格及边缘检测方法选取位于边缘上的象素作为特征点象素，其中各选取的象素位于包围该网格的一相应节点的一预定的搜索范围内并具有该预定的搜索范围中包含的象素值中的一最大值。
21.一种用于在一象图信号解码系统中的装置，通过采用一基于特征点的运动估算的方法，根据一编码的数字视频信号的编码的双向预测帧(编码的B帧)的两重建的相邻帧，对该编码的B帧进行解码，生成一重建的B帧信号，其中该B帧包括一组运动矢量和选取信息，该装置包括第一选取装置，用于根据该选取信息，选取一重建的相邻帧作为一参考帧；检测装置，用于根据该两重建的相邻帧间的差，检测表示该数字视频信号的一运动目标的一运动的一处理区，生成表示该被检测的处理区的区信息；第二选取装置，用于根据该选取信息，从包含在该参考帧的被检测的处理区中的象素内选取多个象素作为一组特征点；及生成装置，用于通过使用该组运动矢量，被选取的该组特征点及该参考帧，提供该被重建的B帧。
22.如权利要求21所述的装置，其中所述检测装置包括用于从第二重建的相邻帧的相应的各象素值中减去第一重建的相邻帧的各象素值，生成包含多个象素差值的一帧差信号的装置；及用于将各象素差值与一预定阈值相比较，生成该处理区信息的装置，其中该区信息表示与包含多个象素差值的该帧差信号的一区相对应的被检测的处理区，各象素差值大于或等于该预定阈值。
23.如权利要求22所述的装置，其中所述的生成装置包括(d1)根据该组运动矢量，确定在B帧的处理区中包含的所有象素的一群运动矢量的装置；及(d2)通过使用该群运动矢量及该参考帧，产生该被重建的B帧及一第二预测的B帧的装置。
24.如权利要求23所述的装置，其中该第二选取装置包括有通过使用一网格及边缘测方法，从该参考帧中选取该组特征点象素的装置。该网格及边缘检测方法选取位于边缘上的象素作为特征点象素，其中各选取的象素位于包围该网络的一相应节点的一预定的搜索范围内并具有包含在该预定的搜索范围中的象素的一最大值。
全文摘要
一种用于在一图象信号编码系统中的装置，该装置通过使用一特征点选取电路，分别选取包含在第一及第二参考帧的一检测处理区中两群象素作为第一及第二组特征点；然后通过使用一特征点运动估算电路确定当前帧与第一参考帧之间的第一组运动矢量及当前帧与第二参考帧之间的第二组运动矢量。从该两组运动矢量中选取该组特征点的运动矢量组，从而生成该选取的运动矢量组及表示该选取组的选取信息作为编码的B帧。
文档编号H03M7/36GK1152844SQ9612029
公开日1997年6月25日 申请日期1996年10月28日 优先权日1995年10月28日
发明者李敏燮 申请人:大宇电子株式会社