运动图像编码方法以及运动图像解码方法

专利名称：运动图像编码方法以及运动图像解码方法
技术领域：
本发明涉及对运动图像进行编码的运动图像编码技术以及对运动图像进行解码 的运动图像解码技术。
背景技术：
作为将大容量的运动图像信息数字数据化而记录、传输的方法，制定有 MPEG (Moving Picture Experts Group 运动图像专家组)方式等编码方式，并作为MPEG-1 规格、MPEG-2 规格、MPEG-4 规格、H. 264/AVC (Advanced Video Coding 进阶视频编码)规 格等成为国际标准的编码方式。这些方式作为数字卫星广播、DVD、便携电话、数码照相机等 中的编码方式而被采用，当前利用范围越来越广泛，成为身边的技术。在这些规格中，通过利用完成了编码处理的图像信息以块为单位对编码对象图像 进行预测，对与原图像的预测差分进行编码，从而去除运动图像所具有的冗长性，减小编码 量。特别是，在参考与对象图像不同的图像的画面间预测中，通过从参考图像中搜索与编码 对象块的相关性高的块，能够进行高精度的预测。但是，在这种情况下，除了预测差分之外， 还需要将块搜索的结果作为运动向量而编码，产生编码量的开销。在H. 264/AVC规格中，为了减小上述运动向量的编码量，导入对运动向量的预测 技术。即、在对运动向量进行编码时，利用位于对象块周围的完成编码的块来预测对象块的 运动向量，对预测向量与运动向量的差分(差分向量)进行可变长度编码。

发明内容
但是，基于以往的H. 264/AVC规格的运动向量的预测精度不充分，依然有运动向 量需要很多编码量的问题。本发明的目的在于，减少运动向量的编码量而提高压缩效率。本发明的运动图像编码方法以及运动图像解码方法构成为例如权利要求所记载 的那样。根据本发明，能够减少运动向量的编码量而提高压缩效率。


图1是本发明的实施例1中的运动图像编码装置的框图。图2是本发明的实施例1中的运动图像编码装置的画面间预测部的框图。图3是本发明的实施例1中的运动图像解码装置的框图。图4是本发明的实施例1中的运动图像解码装置的画面间预测部的框图。图5是在H. 264/AVC规格中所使用的画面间预测的概念性说明图。图6是与在H. 264/AVC规格中所使用的运动向量的预测技术有关的概念性说明 图。图7是本发明的实施例1中的运动向量的预测技术的一例的概念性说明图。
图8是 本发明的实施例1中的运动向量的预测技术的一例的概念性说明图。图9是本发明的实施例1中的预测向量的编码方法的一例的说明图。图10是在本发明的实施例1中的运动向量的预测技术所使用的阈值的一例的说 明图。图11是本发明的实施例1中的编码表切换技术的一例的概念性说明图。图12是本发明的实施例1中的编码表切换技术的一例的概念性说明图。
图13是本发明的实施例1中的编码表的一例的说明图。图14是本发明的实施例1中的编码表的一例的说明图。图15是与本发明的实施例2中的运动向量的预测技术有关的概念性说明图。图16是本发明的实施例1中的运动图像编码方法的流程图。图17是本发明的实施例1中的运动图像编码方法中的差分向量计算处理的流程 图。图18是本发明的实施例1中的运动图像解码方法的流程图。图19是本发明的实施例1中的运动图像解码方法中的运动向量计算处理的流程 图。
具体实施例方式以下，参考附图对本发明的实施例进行说明。图5概念性地示出关于基于H. 264/AVC规格的画面间预测处理的动作。在H. 264/ AVC规格中，对编码对象图像按照光栅扫描的顺序进行基于块单位的编码。在进行画面间预 测时，将包含在与编码对象图像(503)相同的影像(501)中的完成编码的图像的解码图像 作为参考图像(502)，从参考图像中搜索与对象图像中的对象块(504)的关联性高的块(预 测图像)(505)。此时，除了作为两块的差分而计算出的预测差分之外，还将两块的座标值的 差分作为运动向量(506)而进行编码。另一方面，在解码时，进行与上述相反的步骤即可， 通过将解码了的预测差分加到参考图像中的块(预测图像)(505)上，能够得到解码图像。在H. 264/AVC规格中，为了降低在以上所说明了的基于运动向量的编码量的开 销，导入了针对运动向量的预测技术。即、在对运动向量进行编码时，利用位于对象块的周 围的完成编码的块来预测对象块的运动向量，并对预测向量与运动向量的差分(差分向 量)进行编码。此时，因为差分向量的大小统计性地大致集中到0，所以通过对此进行可变 长度编码能够削减编码量。图6是概念性地示出计算预测向量的方法的图。将邻接在对象 块(601)的左侧、上侧、右上侧的完成编码的块分别设为块A(602)、块B(603)、块C(604)，将 各块中的运动向量设为MVA、MVB、MVC0此时，在H. 264/AVC规格中，预测向量作为MVA、MVB、MVC的中央值而计算出。艮口， 使用针对作为自变量而被指定的向量的各分量返回中央值的函数Median，如(605)那样地 计算出预测向量PMV。另外，作为对象块的运动向量MV与预测向量PMV(预测向量)的差分 (606)而计算出差分向量DMV，然后，对DMV(差分向量)进行可变长度编码。在进行解码时 只要进行与上述相反的步骤即可，通过将解码出来的DMV(差分向量)加到通过与上述相同 的步骤计算出来的PMV (预测向量)上，对运动向量MV进行解码。如以上那样，在H. 264/AVC规格中，通过导入针对运动向量的预测技术，能够大幅度地削减运动向 量所需要的编码量。但是，在多个运动物体接近的情况下、在运动物体的边 界部分存在于对象区域的近傍的情况下等难以正确地预测运动向量的情况下，基于H. 264/ AVC规格的运动向量的预测精度是不充分的，运动向量依然需要很多的编码量。作为其原因 可以考虑以下情况。即、在如上述那样的运动复杂的状况下，在对象区域的近傍的运动向量 的相关性显著下降，成为预测向量的候补的向量间的差增大。即、在如上述那样的运动复杂 的状况下，对象区域的近傍的运动向量的相关性显著降低，成为预测向量的候补的向量间 的差增大。因此，如果错误地选择了预测向量，则与选择了正确的预测向量的情况相比差分 向量增大，其结果是，编码量也显著增大。在本发明的一个实施方式中，根据成为预测向量的候补的向量值的分布来切换预 测向量的确定方法。在候补向量的分布范围狭窄的情况下，判断为错误地选择预测向量的 风险小，实施如以往那样的预测方法。另一方面，在候补向量的分布范围宽的情况下，追加 表示将哪个候补向量作为预测向量利用的比特(以下称为附加比特)而指定将差分向量最 小化的候补向量。此时，如果进一步根据候补向量值的分布而动态地切换成为预测向量的候补的向 量的种类，则能够抑制由于附加比特导致的编码量的增加。由此，能够在抑制编码量的增加 的同时提高对运动向量的预测精度。另外，一般在运动复杂的状况下，运动向量的预测精度降低，所以即使选择了最优 的预测向量，差分向量也不会减小。因此，为了削减编码量，对于在运动不复杂的情况和运 动复杂的情况，改变差分向量的编码方法是有效的。例如，在参考文献1中，根据对象块的周围区域中的运动向量的方差的大小来判 定运动是否复杂，并基于该判定结果来切换对差分向量进行编码时的可变长度编码表。根 据该方法，能够粗略地判定运动是否复杂，但是不能进行反应图像的性质的编码表的精细 切换。另外，因为基于该方法的编码表的切换是基于对象块的周围区域中的运动向量的，所 以在对象区域的运动与周围区域不同的情况下，不能恰当地选择编码表。在本发明的一个实施方式中，在基于上述的附加比特的最佳向量的选择方法中， 通过调查选择了哪个候补向量，能够详细地推定对象区域中的运动的性质，通过基于该推 定信息而切换编码表，能够进行更详细的编码表的切换，其结果是能够进一步削减编码量。[参考文献1]日本特开2006-271001号公报以下，对本发明的运动向量的编码步骤以及解码步骤进行阐述。其中，预测向量 PMV (预测向量)的计算步骤在编码侧与解码侧相同，在编码侧进行计算出运动向量MV与 PMV(预测向量)的差分DMV而对此进行编码的处理。与此相对，在解码侧进行在所解码了 的DMV (差分向量)上加上PMV (预测向量)而对运动向量MV进行解码的处理。实施例1图7概念性地示出根据本实施例的预测向量计算方法的一例。在此，将成为预测 向量的候补的向量设为分别邻接对象块的左侧、上侧、右上侧的块A、块B、块C这3种。此 时，将各块中的运动向量设为MVA、MVB、MVC0首先，对运动向量MVA、MVB、MVC的x、y各分量进行排列，利用阈值Threl调查其 分布，划分为CASEl CASE4的4种情况。在本图中，箭头方向是运动向量的各分量的值增 大的方向。由此，用X符号表示的MVA、MVB、MVC的x、y各分量中越位于箭头方向的是最大值，越位于与箭头方向相反方向的是最小值。另外，位于两者之间的是中间值。在此，如果将所有的值的间隔设为比Threl还小(CASEl)，则不论选择哪个值都不 会在差分向量的大小上产生大的差值，所以，与H. 264/AVC规格同样地，将候补值的中央值 (a)选择为预测向量PMV。此时，不会发生附加比特。在这种情况下，特别地，即使不是中 央值，例如平均值、最大值、最小值等，使用什么样的计算方法选择预测向量都可以，例如也 可以利用在对象块的右上方邻接的块、处于与在时间上为前一帧中的对象块相同位置的块 等、块A、块B、块C以外的块中的运动向量来确定预测向量。另一方面，当候补值中最大的值与中央值的差为Threl以上、且中央值与最小值 的差比Threl小的情况下(CASE2)，例如，在作为预测向量选择最小值为最佳的情况下，即 使选择了中央值，在差分向量的大小上也不会产生大的差值，但是，如果在应该选择中央值 的情况下选择了最大值，则差分向量的大小显著增大。因此，在这种情况下，将预测值的选 择项设为最大值(b)和中央值(c)这2种，将其中的差分向量变得更小的一方作为预测向 量PMV选择，并通过1比特的信息来表现。在解码侧，根据该1比特的信息确定预测向量， 通过相加到差分向量上而对运动向量进行解码。同样地，如果最小值与中央值的差为Threl以上、中央值与最大值的差比Threl小 (CASE3)，则将中央值(d)与最小值(e)中的差分向量变得更小的一方选择为预测向量PMV， 并追加1比特的信息。另夕卜，如果所有的值的间隔都为Threl以上(CASE4)，则从最大值(f)、中央值(g)、 最小值(h)这3种类的候补值中选择差分向量变得最小的作为预测向量PMV，并附加1比特 或2比特的信息。上述预测向量的选择项的设定方法不特别限定。例如，因为在上述的例子中在 CASE4中将选择项数量设为3，所以存在追加比特需要2比特的情况，但是，例如通过将选择 项限定为MVA、MVB这2种，能够将追加比特总是抑制为1比特。根据以上的方法，能够仅在预测精度降低的可能性高的情况下，通过附加最低限 的附加比特量来表现预测向量，能够在抑制编码量的增加的同时提高运动向量的预测精度。另外，在上述的方法中，如果与利用图8说明的方法合用，则能进一步提高预测精 度。在此，利用设定为比Threl还大的值的其它阈值Thre2，除了 CASEl CASE4之外，还划 分CASE5 CASE7的3种情况。g卩、在CASE2中，如果b与c的差在Thre2以上(CASE5)，则在选择项中追加b与c 的中间值(i)，从b、c和i中选择差分向量变得最小的作为预测向量PMV，并追加1比特或 2比特的信息。同样地，在CASE3中，如果d与e 的差为Thre2以上(CASE6)，则在选择项中追加d 与e的中间值(j)，Wd、e* j中选择差分向量变得最小的作为预测向量PMV，并追加1比 特或2比特的信息。另外，在CASE4中，如果f与g的差、以及g与h的差为Thre2以上(CASE7)，则在 选择项中追加f与g的中间值(k)和g与h的中间值(i)，从f、g、h、k和i中选择差分向 量变得最小的作为预测向量PMV，并附加2比特或3比特的信息。如上述那样，在候补值的间隔大的情况下，差分向量增大的可能性高，所以，通过在新的选择项中加 入它们的中间值，能够使预测更容易准确，因为预测向量与真实向量的 差分变小，所以能够削减编码量。在上述的例子中，在新的选择项中追加有2种候补值的中间值，但是，例如使用多 个候补值的加权平均等，只要是使用候补值的计算方法，利用哪种方法都可以。另外，预测 向量的选择项的追加方法不特别限定。此外，在上述的例中将利用图7说明的方法和利用 图8说明的方法组合利用，但是也可以分别单独利用。图9示出上述预测向量的编码方法。在此，作为选择项的数为2、3、5的代表例，示 出分别在CASE2、CASE4、CASE5中对各自的值进行编码时的可变长度编码表。其中，该表为 一个例子，对编码表的制作方法不作特别限定。另外，对阈值Threl和Thre2的设定方法也不作特别限定。也可以分别为固定值， 但是，例如如图10所示的那样，根据量化参数等来确定则会更有效。在该例子中，以量化参 数的值越大这些阈值越大的方式进行设定。这是因为，由于如果量化参数变大则比特速率 变小，由附加比特造成的影响变大，所以通过将这些阈值增大，使附加比特难以发生，是有 效的。另外，在本发明的一个实施的方式中，通过根据候补向量的选择信息切换差分向 量的编码方法，实现进一步削减编码量。图11示出根据候补向量的选择信息推定图像的性 质的方法。例如，可知在对象块中对预测向量进行编码/解码时，在选择了候补向量的分量 a、c、d中的任意一个的情况下，对象区域中的运动向量与周围向量类似，能够推定对象区域 存在于大的物体的内侧。另外，可知在选择了候补向量的分量b、e中的某一个的情况下，在 对象区域的周围存在2种运动，能够推定为对象区域存在于大的物体的边界部分。另一方 面，当选择了候补向量的分量f、g、h、i、j、k、1中的任意一个的情况下，对象区域的周围中 的运动向量的相关性降低，例如能够推定为对象区域存在于如小物体大量集中那样的无相 关性的区域。图12示出根据如上述那样的图像性质的推定信息(候补向量的选择信息)而切 换差分向量的可变长度编码表的方法。一般，在运动复杂的状况下运动向量的预测精度 降低。在上述例子中，按照“物体的内部区域”、“物体的边界区域”、“无相关性区域”的顺 序，预测精度降低，差分向量变大(1201)。在本发明中，准备多个的可变长度编码表(表格 A(1202)、表格B (1203)、表格C(1204))，并根据其性质进行切换(1205)。例如在表格A中， 使用在差分向量的值小的期间编码长度短，但如果差分值变大则编码长度也急剧地变长那 样的表格。另一方面，在表格C中，使用在差分向量的值小的期间编码长度长，但即使差分 值变大编码长度的增加也比较平缓的那样的表格。另外，在表格B中，使用具有表格A和表 格C的中间的性质那样的表格。此时，在推定为物体的内部区域的情况下(在对预测向量进行编码/解码时选择 了候补向量的分量a、c、d中的任意一个的情况下)，利用在差分值小的情况下有利的表格A 对差分向量进行编码。另一方面，当推定为无相关性区域的情况下(在对预测向量进行编 码/解码时，选择了候补向量的分量f、g、h、i、j、k、1中的任意一个的情况下)，利用在差 分值大的情况下有利的表格C。另外，在推定为物体的边界区域的情况下(在对预测向量进 行编码/解码时选择了候补向量的分量b、e中的任意一个的情况下)，利用具有它们的中 间的性质的表格B。根据上述的方法，能够进行考虑了对象图像的性质的精密的编码表的切换，能够大幅度地 消减差分向量中需要的编码量。可变长度编码表无论利用什么样的都可以，但是，如果利用例如图13所示的表格 A (1301)、表格B (1302)、表格C (1303)则更有效。这样，既可以预先将表格A、表格B、表格C分别定义为固定表格，但如果例如如 图14那样地，预先准备多个表格(表格1 表格5) (1402)，并根据某些参数而动态地选 择表格则更有效。在此，将分配给表格A、表格B、表格C的表格号码的组合定义为表格 组合(a c) (1401)，根据在对象图像的紧前面编码/解码了的帧中的附加比特的累计 (PrevAddBits)值来切换所利用的表格组合(1403)。这是因为，在对象帧的运动激烈的情 况下，如果将表格A、表格B、表格C的编码长度的偏差增大，则特别地能够提高编码量的削 减效果，所以，基于反映前帧中的运动的大小的参数(PrevAddBits)来切换表格。在此，为 了进行切换的判定，设定有常数的阈值(Thre3、Thre4)，但是对判定方法不作特别限定。另 夕卜，在上述例子中，作为用于进行切换的参数而利用PrevAddBit，但是只要是例如运动向量 的平均值、方差值、预测误差的统计量等反应帧内的运动量的参数，利用什么样的参数都可 以。图1示出本实施例中的运动图像编码装置的一例子。运动图像编码装置具有 保持所输入的原图像(101)的输入图像存储器(102)；将输入图像分割成小区域的块分割 部(103)；以块为单位进行画面内预测的画面内预测部(105)；根据由运动搜索部(104)所 检测出的运动量以块为单位进行画面间预测的画面间预测部(106)；确定与图像的性质相 符的预测编码手段(预测方法以及块尺寸)的模式选择部(107)；用于生成预测差分的减 法部(108)；对预测差分进行编码的频率变换部(109)以及量化部(110)；用于进行基于 符号的发生概率的编码的可变长度编码部(111)；用于对进行了一次编码的预测差分进行 解码的逆量化处理部(112)以及逆频率变换部(113)；用于使用所解码的预测差分生成解 码图像的加法部(114)；以及用于保持解码图像以在后面的预测中活用的参考图像存储器 (115)。输入图像存储器(102)从原图像(101)中将一幅图像作为编码对象图像而保 持，并通过块分割部(103)将其分割为细小的块，并传送到运动搜索部(104)、画面内预测 部(105)、以及画面间预测部(107)。在运动搜索部(104)中，使用存储在参考图像存储 器(117)中的完成解码的图像来计算该块的运动量，并将运动向量传送到画面间预测部 (106)。在画面内预测部(105)以及画面间预测部(106)中以某个大小的块单位执行画面 内预测处理以及画面间预测处理，由模式选择部(107)选择某个最佳的预测方法。接下来， 在减法部(108)中生成基于最佳的预测编码手段的预测差分，并传送到频率变换部(109)。 在频率变换部(109)以及量化处理部(110)中，以所指定的大小的块单位对传送来的预测 差分分别进行DCT (Discrete Cosine Transformation 离散余弦变换)等频率变换以及量 化处理，并传送到可变长度编码处理部(111)以及逆量化处理部(112)。进而，在可变长度 编码处理部(111)中，根据符号的发生概率，对利用频率变换系数表示的预测差分信息、例 如在进行画面内预测时所利用的预测方向、在进行画面间预测时利用的运动向量等解码所 需的信息进行可变长度编码而生成编码流。在可变长度编码处理部(111)中的可变长度编 码处理中，进行例如图9、图11、图12、图13、图14所示的可变长度编码表以及其切换处理。 另外，在逆量化处理部(112)以及逆频率变换部(113)中，对量化后的频率变换系数分别实施逆量化以及IDCT (Inverse DCT 逆DCT)等逆频率变换，取得预测差分而传送到加法部 (114)。接着，通过加法部(114)生成解码图像而存储到参考图像存储器(115)中。图2针对画面间预测部(106)的详细情况示出其一个例子。画面间预测部具有 用于存储已编码区域的运动向量的运动向量存储用存储器(201)；利用已编码区域的运动 向量计算预测向量的预测向量计算部(202)；计算运动向量与预测向量的差而计算差分向 量的减法器(203)；生成预测图像的预测图像生成部(204)；根据预测向量的选择信息而选 择最佳的可变长度编码表的编码表切换部(205)。

预测向量计算部(202)根据存储在运动向量存储用存储器(201)中的已编码区域 的运动向量计算对象块的预测向量。该预测向量的计算处理如利用图7以及图8所说明的 那样。在减法器(203)中，计算由运动搜索部(104)所计算出的运动向量与预测向量的差 分，从而计算差分向量(207)。另外，在编码表切换部(205)中，选择最佳的可变长度编码表 而输出其编码表号码(206)，并传送到可变长度编码部(111)。在预测图像生成部(205)中 根据运动向量和参考图像生成预测图像(208)。而且，将运动向量存储到运动向量存储用存 储器(201)中。图3示出本实施例中的运动图像解码装置的一个例子。运动图像解码装置具有 对由例如图1所示的运动图像编码装置生成的编码流(301)进行可变长度编码的相反步 骤的可变长度解码部(302)；用于对预测差分进行解码的逆量化处理部(303)以及逆频率 变换部(304)；进行画面间预测的画面间预测部(305)；进行画面内预测的画面内预测部 (306)；用于取得解码图像的加法部(307)；以及用于暂时存储解码图像的参考图像存储器 (308)。在可变长度解码部(302)中，对编码流(301)进行可变长度解码，取得预测差分的 频率变换系数分量、块尺寸、运动向量等预测处理中所需的信息。在此，在该可变长度解码处理中，可变长度解码部(302)从后述的画面间预测部 (305)的运动向量存储用存储器(401)取得已解码了的周围块的运动向量，进行图7 图8所示的候补向量的排列。在此，计算各候补向量间的差，判别候补向量的分布状况 (CASE1 CASE7)。根据该分布状况(CASE1 CASE7)的判别结果，选择图9的可变长度编 码表。使用图9的编码表来判别表示包含在编码流中的附加比特的选择项。使用该附加比 特所表示的选择项，选择图12、图13、图14所示的可变长度编码表。进而，使用该选择的可 变长度编码表进行差分向量的可变长度解码处理。接下来，将前者的预测差分信息传送到逆量化处理部(303)，将后者的预测处理所 需的信息传送到画面间预测部(305)或画面内预测部(306)。然后，在逆量化处理部(303) 以及逆频率变换部(304)中，对预测差分信息分别实施逆量化和逆频率变换而进行解码。 然后，在画面间预测部(305)或画面内预测部(306)中，根据从可变长度解码部(302)传送 来的信息参考参考图像存储器(308)而执行预测处理，由加法部(307)生成解码图像并将 解码图像保存到参考图像存储器(308)中。图4针对画面间预测部(305)的详细情况示出其一例子。画面间预测部具有用 于存储已解码区域的运动向量的运动向量存储用存储器(401)；利用已解码区域的运动向 量计算预测向量的预测向量计算部(402)；计算差分向量与预测向量的和从而计算运动向 量的加法器(403)；以及生成预测图像的预测图像生成部(404)。
预测向 量计算部(402)根据存储在运动向量存储用存储器(401)中的已解码区域 的运动向量计算对象块的预测向量。该预测向量的计算处理如在图7、图8中所说明的那 样。在加法部(403)中，计算由可变长度解码部所解码了的差分向量与预测向量的和，从而 对运动向量进行解码。而且，将所解码了的运动向量存储到运动向量存储用存储器(401) 中，另一方面，在预测图像生成部(404)中根据运动向量和参考图像生成预测图像(405)。图16示出本实施例中的1帧的编码处理步骤。首先，对存在于成为编码对象的帧 内的所有的块(1601)进行以下的处理。即、针对该块，对所有编码模式(预测方法与块尺寸 的组合)(1602)执行一次预测。在此，根据预测的方法(1603)进行画面内预测(1604)或 者画面间预测(1605)，进行预测差分(差分图像)的计算。另外，在进行画面间预测时，除 了预测差分(差分图像)之外还对运动向量进行编码。在此，根据由图7以及图8示出的 方法所计算出的PMV (预测向量)来计算DMV (差分向量)(1606)。接下来，对预测差分进行 频率变换处理(1607)、量化处理(1608)。进而，进行使用图9、图11、图12、图13、图14所 示的可变长度编码表以及其切换处理的可变长度编码处理(1609)，计算各编码模式的图像 质量偏差和编码量。如果针对所有的编码模式都结束了以上的处理，则根据以上的结果选 择编码效率最好的模式(1610)。另外，在从多个编码模式中选择编码效率最高的模式时，通 过利用例如RD-Optimization方式，能够进行效率好的编码，其中RD-Optimization方式是 根据图像质量偏差与编码量的关系来确定最佳的编码模式。关于RD-Optimization方式的 详细情况，参考参考文献2。[参考文献2]G· Sullivan and Τ. Wiegand :"Rate-Distortion Optimization for Video Compression，，，IEEE Signal Processing Magazine, vol. 15, no. 6, pp. 74-90,1998.接下来，针对所选择的编码模式，对量化完成的频率变换系数实施逆量化处理 (1611)和逆频率变换处理(1612)从而对预测差分进行解码，生成解码图像并保存到参 考图像存储器(1613)。如果针对所有的块都完成了以上的处理，则结束1帧图像的编码 (1614)。图17示出图16中的DMV (差分向量)计算处理(1606)的详细的处理步骤。首先， 对对象块的周围块中的向量(候补向量)进行排列(1701)。在此，在本实施例所说的“排 列”是指，计算多个候补向量的规定方向的分量的值中的哪个候补向量的值为最大值、中央 值、最小值，从而分别确定最大值向量、中央值向量、最小值向量。以下所记载的“排列”都是 相同的意思。接下来，调查多个候补向量的规定方向的分量的值中是否有Threl以上的间 隔(1702)。如果没有Threl以上的间隔，则和以往方式同样地，进行基于候补向量的中央值 的PMV(预测向量)计算(1703)。另一方面，如果存在Threl以上的间隔，则继续调查是否 有Thre2以上的间隔(1704)。如果没有Thre2以上的间隔，则从成为选择项的候补值中选 择将差分向量最小化的候补值作为PMV(预测向量)(1705)，将选择信息作为附加比特而追 加(1706)。另一方面，如果存在Thre2以上的间隔，则计算候补值的中间值而生成进一步的 预测值的选择项(1707)。然后，从成为选择项的候补值中选择将差分向量最小化的候补值 作为PMV(预测向量)(1705)，并将选择信息作为附加比特追加(1706)。在通过以上的方法 计算了 PMV(预测向量)之后，计算运动向量MV与PMV(预测向量)的差分而作为DMV(差分 向量)(1710)，并根据PMV (预测向量)的选择状况选择DMV (差分向量)的编码表(1710)。 如果以上的处理结束了，则DMV(差分向量)计算结束(1711)。另外，上述处理中的预测向量的计算处理是与图7以及图8 所示的预测向量的计算处理对应的处理。图18示出本实施例中的1帧的解码处理步骤。首先，对1帧内的所有块进行以下 的处理(1801)。即、对输入流实施可变长度解码处理，并进行预测差分的频率变换系数分 量、差分向量的解码(1802)。在此，在该可变长度解码处理中，取得已解码了的周围块的运动向量，进行图7 图8所示的候补向量的排列。在此，计算各候补向量间的差，并判别候补向量的分布状况 (CASE1 CASE7)。基于该分布状况(CASE1 CASE7)的判别结果，选择图9的可变长度编 码表。使用图9的编码表判别包含在编码流中的附加比特表示的选择项。使用该附加比特 所表示的选择项选择图12、图13、图14所示的可变长度编码表。进而，使用该所选择的可 变长度编码表进行差分向量的可变长度解码处理。接下来，对在可变长度解码处理中所取得的预测差分的频率变换系数分量实施逆 量化处理(1803)以及逆频率变换处理(1804)，从而对预测差分(差分图像)进行解码。 然后，根据预测的方法(1805)进行画面内预测处理(1806)以及画面间预测处理(1808)。 另外，在进行画面间预测时，首先通过画面间预测处理进行运动向量MV的解码。差分向量 DMV先在可变长度解码处理(1802)中解码，在此，将通过图7 图8所示的方法所计算出的 PMV(预测向量)和差分向量DMV相加，计算MV(1807)。使用所计算的MV进行画面间预测 处理(1808)。如果对帧中的所有块都结束了以上的处理，则1帧图像的解码结束(1809)。图19示出图18中的MV计算(1807)的详细的处理步骤。首选，对对象块的周围块 中的向量(候补向量)进行排列(1901)，调查这些值中是否有Threl以上的间隔(1902)。 如果没有Threl以上的间隔，则和以往方式同样地，进行基于候补向量的中央值的PMV(预 测向量)的计算(1903)。另一方面，如果有Threl以上的间隔，则继续调查是否有Thre2以 上的间隔(1904)。如果没有Thre2以上的间隔，则读入附加比特而确定作为PMV(预测向 量)所选择的值，对PMV(预测向量)进行解码(1905)。另一方面，如果有Thre2以上的间 隔，则计算候补值的中间值而生成进一步的预测值的选择项(1906)，然后读入附加比特而 确定作为PMV (预测向量)所选择的值，从而对PMV (预测向量)进行解码(1907)。在通过 以上的方法计算了 PMV(预测向量)之后，计算PMV(预测向量)与差分向量DMV的和而作 为MV (1908)，并结束MV计算(1909)。在本实施例中，以块为单位进行了预测向量的计算，但是也可以以除此以外 的例如从图像的背景分离了的对象单位计算。另外，作为频率变换的一个例子而列举 了 DCT，但是只要是 DST(Discrete Sine Transformation 离散正弦变换)、WT(Wavelet Transformation 小波变换)、DFT(Discrete Fourier Transformation 离散傅立叶变 换)、KLT (Karhunen-Loeve Transformation 卡洛变换)等、在像素间相关性除去中所利用 的正交变换，则什么样的变换都可以，特别是也可以不实施频率变换而对预测差分本身进 行编码。另外，也可以不特别地进行可变长度编码。另外，在实施例1中，对作为对象块中的预测向量的候补值而利用3种周围向量的 例子进行了说明，但是对候补值的数量不作特别限定。即也可以将多于3种的周围向量作 为候补。利用以上说明的本发明的实施例1中的运动图像编码装置、运动图像编码方法、 运动图像解码装置以及运动图像解码方法，能够实现减小运动向量的编码量而提高压缩效率的运动图像编码方法以及运动图像解码方法。实施例2接下来，对本发明的实施例2进行说明。在实施例1中，设成为预测向量的候补的向量的数量为3。与此相对，在实施例2 中，作为更简单的方法，将该数量设为2。实施例2的运动图像编码装置与图1、图2所示的实施例1的运动图像编码装置相 比，仅预测向量PMV的计算方法不同。因此，关于其它的结构、动作的详细情况，由于已经进 行过说明，所以省略说明。另外，实施例2的运动图像解码装置与图3、图4所示的实施例1的运动图像解码 装置相比，仅预测向量PMV的计算方法不同。因此，关于其它的结构、动作的详细情况，由于 已经进行过说明，所以省略说明。另外，实施例2的运动图像编码方法与图16所示的实施例1的运动图像编码方法 相比，仅差分向量DMV的计算方法不同。因此，关于其它的结构、动作的详细情况，由于已经 进行过说明，所以省略说明。另外，实施例2的运动图像解码方法与图18所示的实施例1的运动图像解码方法 相比，仅运动向量MV的计算方法不同。因此，关于其它的结构、动作的详细情况，由于已经 进行过说明，所以省略说明。以下、利用图15对实施例2中的预测向量PMV的计算方法进行说明。图15概念 性地示出本实施例中的预测向量PMV的计算方法的一个例子。在此，将成为预测向量的候 补的向量设为分别在对象块的左侧、上侧邻接的块A、块B这2种。此时，将各块中的运动向 量设为MVA、MVB。其中，在计算预测向量时，也可以利用例如邻接对象块的右上的块C(运 动向量MVC)等其它的块。首先，分别对运动向量MVA、MVB的x、y各分量进行比较，如果其差为阈值Threl 以下，则认为不论选择哪个值都不会在差分向量的大小上产生大的差值，所以与H. 264/AVC 规格同样地，将MVA、MVB、MVC的中央值选择为预测向量PMV(1501)。此时，不会发生附加比 特。在这种情况下，特别即使不是中央值，例如平均值、最大值、最小值等，什么样的计算方 法都可以，例如也可以利用在对象块的右上方邻接的块、在与时间上处于前1帧中的对象 块相同位置的块等、块A、块B、块C以外的块中的运动向量。另一方面，如果其差在Thredl与Thred2之间，则将预测值的选择项设为MVA和 MVB这2种，将其中的差分向量变得更小的一方选择为预测向量PMV而附加1比特的信息。 另外，如果其差为Hired2以上，则将预测值的选择项设为MVA、MVB、(MVA+MVB) /2这3种，将 其中差分向量变为最小的选择为预测向量PMV而附加1比特或2比特的信息。在实施例2的运动图像编码装置以及运动图像编码方法中，根据通过画面间预测 计算的运动向量MV与如上述那样地计算的预测向量PMV的差，计算差分向量DMV而进行运 动图像编码处理。在实施例2的运动图像解码装置以及运动图像解码方法中，在所计算的预测向量 PMV上加上从编码流中解码的差分向量DMV而计算出运动向量MV，进行画面间预测处理，进 行运动图像解码处理。在本实施例中，以块为单位进行了预测向量的计算，但也可以以除此以外的例如从图像的背景分离的对象为单位进行计算。另外，作为频率变换的一个例子而列举 有 DCT，但是只要是 DST (Discrete Sine Transformation 离散正弦变换)、WT (Wavelet Transformation 小波变换)、DFT(Discrete Fourier Transformation 离散傅立叶变 换)、KLT (Karhunen-Loeve Transformation 卡洛变换)等、在像素间相关性除去中所利用 的正交变换，则什么样的方法都可以，特别是也可以不实施频率变换而对预测差分本身进 行编码。另外，也可以不特别地进行可变长度编码。利用以上说明的本发明的实施例2中的运动图像编码装置、运动图像编码方法、 运动图像解码装置以及运动图像解码方法，除了实施例1的效果之外，还能够进一步简化 处理而降低处理量。(符号说明)102...输入图像存储器、103...块分割部、104...运动搜索部、105...画面内 预测部、106...画面间预测部、107...模式选择部、108...减法部、109...频率变换部、 110...量化处理部、111...可变长度编码部、112...逆量化处理部、113...逆频率变换 部、114...加法部、115...参考图像存储器、302...可变长度解码部、303...逆量化处理 部、304···逆频率变换部、305...画面间预测部、306...画面内预测部、307...加法部、 308...参考图像存储器。
权利要求
1.一种运动图像解码方法，其特征在于，包括预测向量计算步骤；运动向量计算步骤，将在上述预测向量计算步骤中计算出的预测向量和从编码流中解 码出的差分向量相加，而计算出运动向量；以及画面间预测处理步骤，使用在上述运动向量计算步骤中计算出的运动向量进行画面间 预测处理，在上述预测向量计算步骤中，根据作为解码对象块的周边块的已经被解码了的块群的 多个运动向量中的规定运动向量间的差的大小来切换上述预测向量的计算方式。
2.根据权利要求1所述的运动图像解码方法，其特征在于，在上述预测向量计算步骤中，根据在作为解码对象块的周边块的已经被解码了的块群 的多个运动向量的关于规定方向的多个分量的值中，最大值与中央值之差的大小或者最小 值与中央值之差的大小和规定的阈值的比较结果来切换上述预测向量的计算方式。
3.根据权利要求1所述的运动图像解码方法，其特征在于，在上述预测向量计算步骤中，上述预测向量计算方式是选择在作为解码对象块的周 边块的已经被解码了的块群的多个运动向量的关于规定方向的多个分量的值中、包括最大 值、最小值或者中央值的多个候补值中的某一个的值，作为关于上述规定方向的预测向量 分量而计算出来。
4.根据权利要求3所述的运动图像解码方法，其特征在于，在上述预测向量计算步骤中，根据在作为解码对象块的周边块的已经被解码了的块群 的多个运动向量的关于规定方向的多个分量的值中的、最大值与中央值之差的大小或者最 小值与中央值之差的大小和规定的阈值的比较结果来变更上述多个候补值的数量。
5.根据权利要求3所述的运动图像解码方法，其特征在于，在上述预测向量计算步骤中，当上述最大值与上述中央值之差的大小或者上述最小值 与上述中央值之差的大小比规定的阈值还大的情况下，在上述多个候补值中包括以上述 最大值和上述中央值为变量的函数值、或者以上述最小值和上述中央值为变量的函数值。
6.根据权利要求3所述的运动图像解码方法，其特征在于，在上述预测向量计算步骤中，根据编码流中所包含的附加数据来进行选择上述多个候 补值中的某一个的值的处理。
7.根据权利要求1所述的运动图像解码方法，其特征在于，在上述预测向量计算步骤之前还包括对编码流进行可变长度解码处理的可变长度解 码步骤，在上述可变长度解码步骤中，取得已经被解码了的多个周边块的运动向量，根据多个 周边块的运动向量的分布和编码流中包含的附加数据，从多个可变长度编码表中选择一个 可变长度编码表，使用该选择的可变长度编码表进行差分向量的解码。
8.—种运动图像编码方法，其特征在于，包括画面间预测处理步骤，进行画面间预测处理；预测向量计算步骤，进行预测向量的计算；以及差分向量计算步骤，计算在上述画面间预测处理步骤中计算出的运动向量与在上述预 测向量计算步骤中计算出的预测向量的差分向量，在上述预测向量计算步骤中，根据在作为编码对象块的周边块的已经被编码了的块群 的多个运动向量中的规定运动向量间的差的大小切换上述预测向量的计算方式。
9.根据权利要求8所述的运动图像编码方法，其特征在于，在上述预测向量计算步骤中，根据在作为编码对象块的周边块的已经被编码了的块群 的多个运动向量的关于规定方向的多个分量的值中，最大值与中央值之差的大小或者最小 值与中央值之 差的大小和规定的阈值的比较结果来切换上述预测向量的计算方式。
10.根据权利要求8所述的运动图像编码方法，其特征在于，在上述预测向量计算步骤中，上述预测向量计算方式是选择在作为编码对象块的周 边块的已经被编码了的块群的多个运动向量的关于规定方向的多个分量的值中、包括最大 值、最小值或者中央值的多个候补值中的某一个的值，作为关于上述规定方向的预测向量 分量而计算出来。
11.根据权利要求10所述的运动图像编码方法，其特征在于，在上述预测向量计算步骤中，根据在作为编码对象块的周边块的已经被编码了的块群 的多个运动向量的关于规定方向的多个分量的值中的、最大值与中央值之差的大小或者最 小值与中央值之差的大小和规定的阈值的比较结果来变更上述多个候补值的数。
12.根据权利要求10所述的运动图像编码方法，其特征在于，在上述预测向量计算步骤中，当上述最大值与上述中央值之差的大小或者上述最小值 与上述中央值之差的大小比规定的阈值还大的情况下，在上述多个候补值中包括以上述 最大值和上述中央值为变量的函数值、或者以上述最小值和上述中央值为变量的函数值。
13.根据权利要求10所述的运动图像编码方法，其特征在于，在上述预测向量计算步骤中，根据上述多个候补值的选择的结果，变更包含于编码流 中、且表示上述选择结果的附加数据的比特数。
14.根据权利要求8所述的运动图像编码方法，其特征在于，还包括对在上述差分向量计算步骤中计算出的差分向量进行可变长度编码的可变长 度编码步骤，在上述可变长度编码步骤中，根据上述多个候补值的选择结果来变更在可变长度编码 处理中所使用的编码表。
全文摘要
本发明涉及减少运动向量的编码量而提高压缩效率的运动图像编码/解码技术。在运动图像的解码处理中，根据作为解码对象块的周围块的已经被解码了的块群中的多个运动向量中的规定的运动向量间的差的大小，切换上述预测向量的计算方式，并将所计算出的预测向量与从编码流中解码了的差分向量相加而计算出运动向量，并使用所计算出的运动向量进行画面间预测处理。
文档编号H04N7/32GK102047665SQ20098012908
公开日2011年5月4日 申请日期2009年6月2日 优先权日2008年9月29日
发明者山口宗明, 高桥昌史 申请人:株式会社日立制作所