专利名称：用在图象编码系统中的改进的运动补偿装置的制作方法
技术领域：
本发明涉及用在图象编码系统中的运动补偿装置；更具体地，涉及采用块形成转换技术为双向预测帧的输入数字视频信号提供预测帧信号的一种改进的装置。
众所周知，传输数字化视频信号能得到比传输模拟信号高得多的视频图象质量。当以数字形式表示包含一系列图象“帧”的一个图象信号时，便生成大量的数据供传输，尤其是在高清晰度电视系统的情况中。然而，由于一条传统的传输信道可资利用的频带宽度是有限的，为了通过它来传输大量的数字数据，不可避免地要压缩或减少传输的数据量。在各种视频压缩技术中，以统计编码技术将时间与空间压缩技术组合在一起的所谓混合编码技术是已知最高效的。
大多数混合编码技术采用自适应帧间/帧内模式编码、正交变换、变换系数的量化以及VLC(可变长度编码)。自适应帧间/帧内模式编码为诸如根据其方差自适应地从一个当前帧的PCM(脉冲码调制)数据或DPCM(差分脉冲码调制)数据中选择一个用于随后的正交变换的视频信号的过程。基于减少相邻的帧之间的冗余性的概念的也称作预测方法的帧间模式编码为确定一个目标在当前帧与其一个或两个相邻的帧之间的运动，并根据目标的运动流预测当前帧以生成表示当前帧与其预测之间的差的一个误差信号的过程。这一编码方法描述在诸如Staffan Ericsson的“用于混合预测/变换编码的固定与自适应预测器”，IEEE通信学报，COM-33，第12号(1985年12月)；以及在Ninomiya与Ohtsuka的“用于电视画面的一种运动补偿帧间编码方案”，IEEE通信学报，COM-30，第1号(1982年1月)，两者都引用在此。
利用诸如当前帧的PCM数据或运动补偿后的DPCM数据等图象数据与减少或消除了它们之间的空间冗余性的图象数据之间的空间相互关系的正交变换将一块数字图象数据转换成一组变换系数。这一技术描述在Chen与Pratt的“场景自适应编码器”，IEEE通信学报，COM-32，第3号(1984年3月)。通过用量化、折线扫描及VLC处理这些变换系数数据，能够有效地压缩要传输的数据量。
具体地，在运动补偿的DPCM中，根据当前帧与一或两个相邻的帧之间的运动估算，从其一或两个相邻的参照帧中预测当前帧。这种估算的运动可用表示参照与当前帧之间象素的位移的二维运动矢量来描述。
已提出过用于估算一个目标在一个目标在一个视频序列中的位移的若干种方法。通常，可将它们分成两种类型象素递归算法；及块匹配算法(见诸如J.R.Jain等人的“位移测定及其在帧间图象编码中的应用”，IEEE通信学报，COM-29，第12号(1981年12月)。
按照用途更广的块匹配算法，将一个当前帧分成多个搜索块。一个搜索块的大小通常在8×8与32×32个象素的范围内。为了确定当前帧中的一个搜索块的运动矢量，在当前帧的该搜索块与包含在参照帧内的通常较大的搜索区中的多个大小相等的各候选块之间执行相似性计算。采用诸如平均绝对误差或平均方差等误差函数来进行当前帧的搜索块与搜索区中的各候选块之间的相似性测定。而根据定义，一个运动矢量表示搜索块与得出最小误差函数的一个候选块之间的位移。
这种用于预测包含在视频序列中的P与B帧的块匹配技术公开在所谓MPEG(动画专家组)视频算法中，描述在ISO/IEC JTC1/SC29/WG11，“部分2，视频建议”，CD-11172-3(1991)，其中P(或预测)帧表示从其前一参照帧预测的一个帧，而B(或双向预测)帧则表示从其前面的与未来的参照帧中预测的一个帧。特别是在编码所谓的B帧时，为了得出向前与向后的运动矢量，采用了一种双向运动估算技术，其中向前的运动矢量是通过估算一个目标在一个B帧与其前面的帧内(I)或预测(P)帧之间的运动而得到的，而向后的运动矢量则是根据B帧及其未来的I或P帧推算的。由于在运动估算中采用了过去与未来的参照帧，该技术已知能提供最高度的压缩。
然而，由于在估算一个B帧的向前与向后运动中采用了同一种搜索块形成，采用这种运动估算技术的传统运动补偿装置可能在一块的边界上遇到分块效应，而劣化图象质量。
因此，本发明的主要目的为提供用在图象编码系统中的能通过采用块形成转换技术为一个双向预测帧的输入数字视频信号提供一个预测的帧信号的一种运动补偿装置，借此改进系统的总体图象质量。
按照本发明的一个方面，提供了用在图象编码系统中根据B帧的两个相邻的帧为一个双向预测帧(B帧)的输入数字视频信号提供一个预测的帧信号的一种装置，其中的B帧具有第一组搜索块而输入数字视频信号包含多个帧，该装置包括用于将B帧转换成具有第二组搜索块的一个转换后的帧的装置，其中B帧与转换后的帧具有一个重叠区；第一预测装置，用于估算表示B帧与B帧的第一邻帧之间的位移的一个第一位移矢量，以及用于根据第一估算位移矢量提供B帧的一个第一预测的帧信号；第二预测装置，用于估算表示转换后的帧与转换后的帧的第二邻帧之间的位移的一个第二位移矢量，以及用于根据第二估算的位移矢量提供转换后的帧的一个第二预测的帧信号；第三预测装置，用于通过求出位于对应于重叠区的一个区域中的第一与第二预测的帧信号的平均值，而生成一个第三预测的帧信号；以及响应对应于第一与第三预测的帧信号的帧类型的选择信号的装置，用于有选择地生成第一预测的帧信号或者第三预测的帧信号；以及按照本发明的另一方面，提供了用于根据B帧的两个邻帧编码一个双向预测帧(B帧)的一个输入数字视频信号的一种图象编码系统，其中的B帧具有第一组搜索块而输入数字视频信号包含多个帧，该系统包括用于将B帧转换成具有第二组搜索块的一个转换后的帧，其中B帧与转换后的帧有一个重叠区；第一预测装置，用于估算表示B帧与B帧的一个第一邻帧之间的位移的一个第一位移矢量，及用于根据第一估算的位移矢量提供B帧的一个第一预测的帧信号；
第二预测装置，用于估算表示转换后的帧与转换后的帧的一个第二邻帧之间的位移的一个第二位移矢量，及用于根据第二估算的位移矢量提供转换后的帧的一个第二预测的帧信号；第三预测装置，用于通过求出位于对应于重叠区的一个区域中的第一与第二预测的帧信号的平均值，而生成一个第三预测的帧信号；响应对应于第一与第三预测的帧信号的帧类型的选择信号的装置，用于有选择地生成第一预测的帧信号或者第三预测的帧信号；以及用于从对应的输入数字视频信号中减去第一与第三预测的帧信号中任何一个以提供一个差信号，及用于编码该差信号与估算的位移矢量，从而提供编码的数字视频信号的装置。
从以下结合附图给出的较佳实施例的描述中，本发明的上述与其他目的与特征将是显而易见的，附图中
图1提供采用本发明的运动补偿装置的图象编码系统的方框图；图2示出图1中所示的运动补偿装置的详细方框图；以及图3A与3B示出用于说明本创造性运动补偿装置中所执行的块形成转换过程的图。
参见图1，其中示出了采用本发明的运动补偿装置150的图象编码系统的方框图。
该图象编码系统包括一个帧重排电路101、一个减法器102、一个图象信号编码器105、一个图象信号解码器113、一个加法器115、一个开关电路118、一个帧存储器设备120、一个熵编码器107及该运动补偿装置150。
将一个输入数字视频信号作用在帧重排电路101上。该输入数字视频信号包括画面的组，其中各画面组为多个帧(或画面)的一个序列，例如，按序列I1、B1、P1、B2、P2、B3、P3、B4、P4的一个内部(I)帧I1、四个双向预测帧B1、B2、B3、B4及四个预测帧P1、P2、P3、P4。帧重排电路101适用于将输入视频序列转换成诸如I1、P1、B1、P2、B2、P3、B3、P4及B4帧的一个重排视频序列以得出B帧的预测的帧信号。然后将重排的数字视频信号提供给减法器102及运动补偿装置150。
本发明的运动补偿装置150为P与B帧估算运动矢量并使用估算的运动矢量为P与B帧确定预测的帧信号。将运动矢量与预测的帧信号输送给熵编码器107，并分别给减法器102与加法器115。为B帧的运动矢量的估算及预测的帧信号的确定是采用按照本发明的一种新颖的块形成转换方案进行的，这将参照图2、3A与3B详细描述。
随后，在减法器102上从来自帧重排电路101的一个对应的当前帧信号中减去来自运动补偿装置150的预测的帧信号；并将得到的数据，即表示它们之间的差分象素值的一个误差信号，提供给图象信号编码器105，其中诸如通过离散余弦变换(DCT)及任何一种已知的量化方法在逐块的基础上将误差信号编码成多组量化的变换系数。此后，经由下述两条信号路径传输量化的变换系数；一条通往熵编码器107，在其中采用诸如行程与可变长度编码的组合将量化的变换系数与来自运动补偿装置150的运动矢量一起编码，以便将它们分派给发送它们的发送机(未示出)；另一条通往图象信号解码器113，在其中采用逆量化与逆变换将量化的变换系数转换回重构的误差信号。为了使编码器跟踪对应的接收机中的解码器的表现从而防止编码器的重构信号偏离解码器的重构信号，误差信号的重构是必要的。
在加法器115上组合来自图象信号解码器113的重构的误差信号与来自运动补偿装置150的预测的帧信号来向开关电路118提供一个重构的帧信号。加法器115与帧存储装置120之间的连接是由开关电路118控制的。开关电路118响应装设在图象编码系统中的一个系统控制器(未示出)所提供的一个控制信号，诸如SC1，其中该控制信号SC1指示来自加法器115的重构的帧信号的帧类型。这便是，通过开关电路118的开关动作，将I与P帧的重构的帧信号接通到帧存储装置120将它们存储在其中，而将B帧的重构的帧信号从帧存储装置120上分离。因为B帧从不用作预测的参照帧。帧存储装置120包含诸如串连的两个帧存储器121与122。这便是，首先将来自加法器115的重构的帧信号存储在诸如第一帧存储器121中，然后从其中经由线L10提供给运动补偿装置150，并且如果来自加法器115的下一个重构的帧信号输入到第一帧存储器121时，还在逐帧的基础上将重构的帧信号移位到第二帧存储器122中。只要执行图象编码系统的操作，便顺序地重复这一过程。
参见图2，其中展示了图1中所示的运动补偿装置150的详细方框图。该运动补偿装置150包括一个开关电路152、第一与第二运动补偿单元151与153、一个公共预测信号发生器156及一个选择器158，其中该第一运动补偿单元151包含一个运动估算器151a与一个运动补偿器151b，而第二运动补偿单元153包含一个开关电路153a、一个块形成转换电路153b、一个运动估算器153c及一个运动补偿器153d。第一运动补偿单元151的作用为提供P与B帧的向前预测帧信号，而第二运动补偿单元153的作用为生成一个B帧的向后预测帧信号。
在来自帧重排电路101的一个视频信号对应于诸如I1帧的一个I帧的情况中，开关电路152是响应来自系统控制器的控制信号SC2而断开的；从而，在运动补偿装置150上不进行I帧的运动补偿。
如果对运动补偿装置150的输入为包含在重排的视频序列中的P帧之一，诸如P1帧，开关电路152闭合但开关电路153a断开，从而P1帧信号只输送给第一运动补偿单元151，其中的开关电路153a是由来自系统控制器的控制信号SC3控制的。运动估算器151a应用传统的块匹配技术执行P 1帧与存储在图1中所示的第二帧存储器122中的其前一参照帧(诸如I1)之间的输入P帧(诸如P1)的运动补偿，为包含在P1帧中的各搜索块确定一个运动矢量。然后将这些运动矢量输送给运动补偿器151b与图1中所示的熵编码器107。运动补偿器151b响应来自运动估算器151a的运动矢量经由线L11从第二存储器122中有选择地检索I1帧数据，借此将P1帧的一个预测帧信号提供给减法器102与加法器115。
在对开关电路152的输入信号为B帧之一，诸如B1帧的情况中，开关电路152与153a都是闭合的，而输入的B1帧同时连接到第一与第二运动补偿单元151与153上。第一运动补偿单元151以类似于在P1帧的情况中所描述的方式，为B1帧确定一个向前预测的帧信号。这便是，通过执行B1帧与其向前的参照帧(即I1帧)之间的B1帧的运动估算而确定B1帧内各搜索块的一个向前运动矢量。随后，将确定的运动矢量输送给运动补偿器151b，后者经由线L11检索与这些运动矢量对应的I1帧数据，将B1帧的向前预测帧信号提供给选择器158与公共预测信号发生器156。
同时，应用按照本发明的块形成转换方案从第二运动补偿单元153得到B1帧的向后预测帧信号。具体地，在块形成转换电路153b上，将来自帧重排电路101的具有H×V个大小相等的搜索块的输入的B1帧转换成具有(H－h)×(V－v)个大小相等的重构的搜索块的一个新的帧形成或一个经过转换的B1帧，所述H、V、h、v为正整数，而h与V分别小于H与V，其中的输入B1帧的搜索块与新的帧形成内的重构的搜索块具有相同的大小，并且没有任何重构的搜索块正好重叠在B1帧的任何一个搜索块上。例如，如果新的帧形成包含(H－1)×(V－1)个搜索块，则B1帧与新的帧形成之间水平与垂直方向上的位移大于或等于一个象素而小于一块的大小。
这便是，如果在图3A中总体上作为参照数字200描绘的B1帧示出为具有诸如5×5个搜索块(即S1至S25)，各搜索块包括R×C个象素而R与C为正整数，则块形成转换电路153b将B1帧转换成与包含在B1帧200中各搜索块大小相同的用虚线表示的诸如具有4×4个搜索块的经过转换的B1帧300，如图3B中所示。在本发明的一个较佳实施例，B1帧与转换后的B1帧之间在水平与垂直方向上的位移为半个搜索块。
在运动估算器153c上，为各重构的搜索块在来自块形成转换电路153b的转换后的B1帧与来自第一帧存储器121的其向后参照帧(即P1帧)之间用传统的块匹配算法估算一个向后运动矢量。然后将在运动估算器153c上估算的向后运动矢量输送给熵编码器107及运动补偿器153d。运动补偿器153d从存储在第一帧存储器121中的P1帧中检索与向后运动矢量对应的象素数据，借此向公共预测信号发生器156提供B1帧的向后预测帧信号。
随后，公共预测信号发生器156从来自运动补偿器151b的向前预测帧信号的公共预测帧信号及来自运动补偿器153d的向后预测帧信号中生成作为对选择器158的输出信号的一个公共预测帧信号。按照本发明，包含在公共预测帧信号中的各象素值能通过求出包含在两帧之间的重叠区中的向后预测帧内各象素与向前预测帧的一个象素的平均值而理想地得到，所述向后预测帧的各象素与所述向前预测帧的象素位于同一位置上。
响应来自系统控制器的一个控制信号，诸如SC4，选择器158通过为重叠区选择来自公共预测信号发生器156的后向预测帧信号并为非重叠区选择来自运动补偿器151b的向前预测帧信号，而后减法器102与加法器115提供B1帧的预测帧信号。包含在输入数字视频信号中的P2、B2、P3、B3、P4与B4帧的预测帧信号可以以相同的方式得出，只是它们的参照帧是与上述输入数字视频信号的P1与B1帧的的参照帧不同的。
在一个与本发明的图象编码器对应的图象解码系统中，除了由于从图象编码器传输的运动矢量是提供给对应的图象解码系统中的运动补偿器而没有运动估算器以外，运动补偿装置的结构是与图2中相似的。
虽然参照特定的实施例示出与描述了本发明，对于熟悉本技术的人员显而易见可以作出许多改变而修正而仍不脱离所附的权利要求书中所定义的本发明的精神与范围。
权利要求
1.用在图象编码系统中的一种装置，用于根据一个B帧的两个邻帧为一个双向预测帧(B帧)的一个输入数字视频信号提供一个预测的帧信号，其中该B帧具有第一组搜索块而输入数字视频信号包含多个帧，该装置包括用于将B帧转换成具有第二组搜索块的一个经过转换的帧的装置，其中B帧与经过转换的帧具有一个重叠区；第一预测装置，用于估算表示B帧与B帧的一个第一邻帧之间的位移的一个第一位移矢量，及用于根据该第一估算的位移矢量提供B帧的一个第一预测帧信号；第二预测装置，用于估算表示该经过转换的帧与该经过转换的帧的一个第二邻帧之间的位移的一个第二移位矢量，及用于根据该第二估算的位移矢量提供该经过转换的帧的一个第二预测的帧信号；第三预测装置，用于通过求出位于对应于重叠区的一个区域中的第一与第二预测的帧信号的平均值而生成一个第三预测的帧信号；以及响应与第一与第三预测的帧信号的帧类型对应的选择信号的装置，用于有选择地生成第一预测帧信号或第三预测帧信号。
2.权利要求1中所述的装置，其中使第一与第二搜索块分别具有H×V与(H－1)×(V－1)个块，以及第一与第二搜索块位于互相不同的位置中，各块的大小相等，并且其中H与V为正整数。
3.一种图象编码系统，用于根据一个B帧的两个邻帧，编码一个双向预测的帧(B帧)的一个输入数字视频信号，其中该B帧具有第一组搜索块而输入数字视频信号包含多个帧，该系统包括用于将B帧转换成具有第二组搜索块的一个经过转换的帧的装置，其中B帧与经过转换的帧具有一个重叠区；第一预测装置，用于估算表示B帧与B帧的一个第一邻帧之间的位移的一个第一位移矢量，及用于根据该第一估算的位移矢量提供B帧的一个第一预测的帧信号；第二预测装置，用于估算表示转换后的帧与该转换后的帧的一个第二邻帧之间的位移的一个第二位移矢量，及用于根据该第二估算的位移矢量提供该转换后的帧的一个第二预测的帧信号；第三预测装置，用于通过求出位于对应于重叠区的一个区域中的第一与第二预测的帧信号的平均值而生成一个第三预测的帧信号；响应与第一与第三预测的帧信号的帧类型相对应的选择信号的装置，用于有选择地生成第一预测的帧信号或者第三预测的帧信号；以及用于从对应的输入数字视频信号中减去第一与第三预测的帧信号中任何一个以提供一个差信号及用于编码该差信号与估算的位移矢量，借此提供编码数字视频信号的装置。
4.权利要求3中所述的系统，其中使第一与第二搜索块分别具有H×V与(H－1)×(V－1)个块，及第一与第二搜索块位于互相不同的位置中，各块具有相同的大小，并且其中H与V为正整数。
全文摘要
改进图象质量的装置，包括转换器，将B帧转换成具有第二组搜索块的帧，其中B帧与转换后的帧有重叠区；第一预测器，估算表示B帧与其第一邻帧间位移的第一位移矢量，及由此提供B帧的第一预测帧信号；第二预测器，估算表示转换后的帧与其第二邻帧间的位移的第二位移矢量，及由此提供转换后的帧的第二预测帧信号；第三预测器，生成第三预测帧信号；及一个电路，响应与第一与第三预测帧信号的帧类型对应的选择信号，生成第一预测帧信号或第三预测帧信号。
文档编号H04N7/36GK1134084SQ9510545
公开日1996年10月23日 申请日期1995年5月9日 优先权日1995年3月20日
发明者丁海默 申请人:大宇电子株式会社