运动图像解码方法和运动图像编码方法
【专利摘要】本发明通过较少的编码量，来提供图像质量高的影像。在进行画面间预测处理的运动图像解码方法，在所述画面间预测处理中，包括：统合已解码的多个块的运动矢量中，具有类似运动矢量的块而算出统合区域；使用所述统合区域的运动矢量来算出解码对象块的预测矢量；根据所述预测矢量与所输入的编码流中含有的差分矢量，来算出所述对象块的运动矢量；使用所述运动矢量来生成预测图像；相加所述编码流中含有的差分图像和所述预测图像来生成解码图像。
【专利说明】运动图像解码方法和运动图像编码方法
[0001]发明为下述申请的分案申请，原申请信息如下:
[0002]申请号:200980148524.2
[0003]申请日:2011年06月03日
[0004]国际申请号:PCT/JP2009/006438
[0005]发明名称:运动图像解码方法和运动图像编码方法
【技术领域】
[0006]本发明涉及解码运动图像的运动图像解码技术和编码运动图像的运动图像编码技术。
【背景技术】
[0007]现在公开有下述技术，即，利用编码处理完成后的图像信息，以块为单位预测编码对象图像，并通过编码与原始图像之间的预测差分，去除运动图像具有的冗余度而减少编码量。但是，除了编码预测差分之外，还需要将块搜索的结果作为运动矢量进行编码，产生了编码量的开销。
[0008]在H.264/AVC (非专利文献I)中，为了减少上述运动矢量的编码量而公开有针对运动矢量的预测技术。即，在编码运动矢量时，利用位于对象块的周围的已编码块来预测对象块的运动矢量，并对预测矢量和运动矢量的差分(差分矢量)进行可变长编码。但是，却不能说运动矢量的预测精度充分，尤其对于存在多个运动的物体等的运动复杂的图像，对运动矢量依然需要较多编码量。
[0009]现有技术文献
[0010]非专利文献
[0011]非专利文献1:1TU_T Recommendation H.264/AVC
【发明内容】
[0012]发明要解决的技术问题
[0013]上述技术由于运动矢量的预测精度不充分高，所以对于运动矢量依然需要较多编码量。
[0014]本发明鉴于上述问题而作出，其目的在于改善预测矢量的运算方法，减少运动矢量的编码量，且提高压缩效率。
[0015]解决技术问题的手段
[0016]为了解决上述技术问题，本发明的一实施方式例如可以如专利的权利要求书的范围所记载那样构成。
[0017]发明的效果
[0018]可以通过较少的编码量提供图像质量高的影像。【专利附图】
【附图说明】
[0019]图1是本发明的图像编码装置的框图；
[0020]图2是本发明的图像编码装置的框图；
[0021]图3是本发明的图像解码装置的框图；
[0022]图4是本发明的图像解码装置的框图；
[0023]图5是H.264/AVC中的画面间预测的示意说明图；
[0024]图6是与H.264/AVC的运动矢量预测技术有关的示意说明图；
[0025]图7是与实施例1，2，3的运动矢量预测技术有关的示意说明图；
[0026]图8是与实施例1，2，3的运动矢量预测技术有关的示意说明图；
[0027]图9是与实施例2的运动矢量预测技术有关的示意说明图；
[0028]图10是与实施例3的运动矢量预测技术有关的示意说明图；
[0029]图11是与实施例4的运动矢量预测技术有关的示意说明图； [0030]图12是本发明的图像编码方法的流程图；
[0031]图13是本发明的图像解码方法的流程图；
[0032]图14是本发明的图像编码方法的流程图；
[0033]图15是本发明的图像解码方法的流程图；
[0034]图16是本发明的图像编码方法的流程图；
[0035]图17是本发明的图像解码方法的流程图；
[0036]图18是本发明的图像编码方法的流程图；
[0037]图19是本发明的图像解码方法的流程图。
【具体实施方式】
[0038]下面，参考附图来说明本发明的实施例。
[0039]图5示意表示了基于H.264/AVC的画面间预测处理的动作。
[0040]H.264/AVC中，按照光栅扫描的顺序对编码对象图像进行基于块单位的编码。在进行画面间预测时，将包含在与编码对象图像(503)同一影像(501)中的已编码图像的解码图像作为参考图像(502)，从参考图像中搜索与对象图像中的对象块(504)相关度高的块预测图像(505)。这时，除了作为两块的差分加以计算的预测差分之外，还将两块的坐标值的差分作为运动矢量(506)进行编码。另一方面，在解码时，进行上述的相反顺序就可以了，可以通过将解码后的预测差分与参考图像中的块预测图像(505)相加，来取得解码图像。
[0041]H.264/AVC中，为了减少以上说明的运动矢量造成的编码量的开销，导入了对运动矢量的预测技术。即，在编码运动矢量时，利用位于对象块周围的已编码块来预测对象块的运动矢量，而对预测矢量和运动矢量的差分(差分矢量)进行编码。这时，由于差分矢量的大小大致趋于0，所以可以通过对其进行可变长编码来减少编码量。
[0042]图6示意表示了算出预测矢量的方法。将与对象块(601)的左侧、上侧、右上侧相邻的已编码块分别作为块A (602)、块B (603)、块C (604)，并将各块的运动矢量MV设作MVA、MVB,MVC0这时，预测矢量表示为MVA、MVB、MVC的中央值。即，预测矢量PMV是使用对作为自变量指定的矢量的各成分返回中央值的函数Median而如(605)那样算出的。进一步，算出差分矢量DMV作为对象块的运动矢量MV和预测矢量PMV之间的差分(606)，接着对差分矢量DMV进行可变长编码。在解码时进行上述的相反顺序就可以了，通过将解码出的差分矢量DMV相加到通过与上述相同的顺序算出的预测矢量PMV上，来解码运动矢量MV。
[0043]如上所述，通过在H.264/AVC中导入对运动矢量的预测技术，可以大幅度减少运动矢量所需的编码量。但是，在H.264/AVC的情况下，在算出预测矢量时仅考虑画面内的附近块，不能说必然可反映物体的运动。因此，尤其在附近区域中存在多个运动物体的情况下，不能说运动矢量的预测精度充分，对于运动矢量依然需要较多编码量。本发明中，通过统合已编码区域的运动矢量中值相近的运动矢量，来推定运动区域的存在及其范围，并根据对象区域的附近存在的运动区域的运动矢量来算出预测矢量，从而可提高对于运动矢量的预测精度。
[0044]下面，描述基于本发明的预测矢量PMV的算出方法。
[0045]预测矢量PMV的算出顺序在编码侧和解码侧相同，在编码侧进行处理，算出运动矢量MV和预测矢量PMV的差分矢量DMV并对其进行编码。在解码侧进行处理，通过在解码后的差分矢量DMV上加上预测矢量PMV来解码运动矢量MV。
[0046]实施例1
[0047]实施例1在算出对象块的预测矢量时，利用统合区域的信息。即，在对象块的周围存在统合区域的情况下，判断对象块也包含与统合区域中含有的物体相同的物体的一部分，并根据统合区域中含有的块的运动矢量来算出预测矢量。
[0048]由此，由于可根据对象区域的附近存在的运动区域的运动矢量来算出预测矢量，所以可以提高对运动矢量的预测精度。另外，可改善预测矢量的算出方法而减少运动矢量的编码量，从而可提高压缩效率。
[0049]图7是示意表示了本实施例的预测矢量PMV算出方法的一例的图。
[0050]例如，考虑在映有物体(702)的帧(701)中对包含物体(702)的一部分在内的块(703)进行画面间编码的情形。该情况下，首先，针对位于对象块(703)的左方或上方的已编码区域中的运动矢量MV (704)，将接近的运动矢量MV之间彼此统合。例如，在统合条件
V1-V2 I < Threshold成立的情况下，统合两个运动矢量Vl和V2，包含在同一区域中。
[0051]这里，将|A|设作矢量A的大小，将Threshold设作常数。可以将常数Threshold预先设置为唯一的值，也可以在编码侧自由设置值并包含在编码流中。此外，也可以根据运动矢量MV的方差值或平均值等的编码信息以及统合区域的大小等来动态决定。此外，特别是也可不基于该数式。进一步，也可以在统合时考虑彩色信息等运动矢量MV之外的信息。
[0052]一般由于包含同一物体的一部分在内的区域的运动矢量MV是有表示彼此接近的值的性质，所以可以通过取得统合区域(705)来确定物体(702)的存在及其范围。
[0053]本发明中，在算出对象块(703)的预测矢量PMV时，利用统合区域(705)的信息。即，在对象块(703)的周围存在统合区域(705)的情况下，判断为对象块(703)也包含与统合区域(705)中包含的物体(702)相同的物体的一部分，并根据统合区域(705)中含有的块的运动矢量MV来算出预测矢量PMV。预测矢量PMV的算出方法并不特别限定，但是例如也可如图7的式(706)那样，作为统合区域内的运动矢量MV的平均值AVE (C)算出，也可通过选择统合区域内的运动矢量MV的中间值等、统合区域内的代表性的运动矢量MV来算出预测矢量PMV。[0054]这里，将C设作统合区域中含有的运动矢量MV的集合、将|C|设作其个数。
[0055]接着，说明在对象块(703)的周围不存在统合区域(705)的情形。在对象块(703的周围不存在统合区域(705)的情况下，例如根据图8所示的顺序来算出预测矢量PMV。这里，考虑在映有与图7同样的物体(802)的帧(801)中，对与物体(802)分离的块(803)进行画面间编码的情形。该情况下，针对已编码区域的运动矢量MV(804)，通过与图7相同的顺序来进行统合，得到统合区域(805。并且，通过H.264等利用了对象块(803)的周围块的运动矢量MV的现有计算式(807)，来算出预测矢量PMV (806)。但是作为现有方式并不限于
H.264。
[0056]接着，说明本实施例中的运动图像编码装置的结构、动作。
[0057]图1表示本实施例中的运动图像编码装置的一例。
[0058]本实施例的运动图像编码装置具有保持所输入的原始图像(101)的输入图像存储器(102)、将从输入图像存储器(102)输入的图像数据分割为多个区域的块分割部(103)、以块为单位进行画面内预测的画面内预测部(105)、对从块分割部(103)输入的图像数据进行运动矢量运算的运动矢量运算部(104)、使用由运动矢量算出部(104)检测出的运动矢量MV以块为单位进行画面间预测的画面间预测部(106)、决定预测编码手段(预测方法和块大小)的模式选择部(107)、生成预测差分数据的减法部(108)、对预测差分数据进行频率变换的频率变换部(109)、量化从频率变换部(109)输入的预测差分数据的量化部(110)、对量化部(110)量化后的数据进行可变长编码的可变长编码部(111)、逆量化从量化部(110)输入的预测差分数据的逆量化处理部(112)、对逆量化处理部(112)逆量化后的数据进行逆频率变换的逆频率变换部(113)、使用逆频率变换后的数据来生成解码图像的加法部(114)和保持解码图像的参考图像存储器(115)。
[0059]说明本实施例的运动图像编码装置的各构成部的动作。
[0060]输入图像存储器(102)将原始图像(101)中的一个图像作为编码对象图像加以保持，并将其输出到块分割部(103)。块分割部(103)将原始图像(101)分割为多个块后，输出到运动矢量算出部(104)、画面内预测部(105)和画面间预测部(106)。运动矢量算出部(104)使用参考图像存储器(115)中存储的已解码图像来算出对象块的运动矢量MV，并将运动矢量MV输出到画面间预测部(106)。画面内预测部(105)和画面间预测部(106)以块为单位执行画面内预测处理和画面间预测处理，模式选择部(107)参考画面内预测处理和画面间预测处理的结果，来选择哪一个是最佳的预测编码手段。接着，减法部(108)生成基于最佳的预测编码手段的预测差分数据，并输出到频率变换部(109)。频率变换部
(109)和量化处理部(110)对所输入的预测差分数据，以块为单位分别进行DCT (DiscreteCosine Transformation:离散余弦变换)等频率变换和量化处理，并输出到可变长编码处理部(111)和逆量化处理部(112)。这里，除了 DCT之外，还可使用DST (Discrete SineTransformation:离散正弦变换)、WT(Wavelet Transformation:小波变换)、DFT(DiscreteFourier Transformation:离散傅立叶变换)、KLT (Karhunen-Loeve Transformation:KL变换)等进行处理。可变长编码处理部111对于通过频率变换系数表示的预测差分信息和例如进行画面内预测时使用的预测方向数据或进行画面间预测时使用的运动矢量MV等解码所需信息，根据对发生频率较高的符号分配较短代码长度等符号的发生概率进行可变长编码，而生成编码流。逆量化处理部(112)和逆频率变换部(113)对量化后的频率变换系数法分别实施逆量化和IDCT (Inverse DCT:逆DCT)等逆频率变换，取得预测差分数据后输出到加法部(114)。加法部(114)生成解码图像而输出到参考图像存储器(115)，参考图像存储器(115)存储所生成的解码图像。
[0061]使用图2来说明画面间预测部(106)。
[0062]画面间预测部(106)具有用于存储已编码区域的运动矢量MV的运动矢量贮存存储器(201)、使用已编码区域的运动矢量MV来算出预测矢量PMV的预测矢量算出部(202)、计算运动矢量MV和预测矢量PMV之差来算出差分矢量DMV的减法器(203)以及生成预测图像的预测图像生成部(204)。
[0063]说明画面间预测部(106)的各构成部的动作。
[0064]预测矢量算出部(202)根据运动矢量贮存存储器(201)中存储的已编码区域的运动矢量MV，来算出对象块的预测矢量PMV。减法部(203)计算运动矢量算出部(104)中算出的运动矢量MV与预测矢量PMV的差分，来算出差分矢量DMV(205)。预测图像生成部(204)根据运动矢量MV和参考图像生成预测图像(206)。运动矢量贮存存储器(201)存储运动矢量MV。
[0065]图3表示本实施例的运动图像解码装置的一例。
[0066]本实施例的运动图像解码装置包括:可变长解码部(302)，例如对通过图1所示的运动图像编码装置生成的编码流(301)实施与可变长编码相反的顺序；逆量化处理部(303)，对预测差分数据进行逆量化；逆频率变换部(304)，对逆量化处理部(303)逆量化后的数据进行逆频率变换；画面间预测部(305)，进行画面间预测；画面内预测部(306)，进行画面内预测；加法部(307)，生成解码图像；以及参考图像存储器(308)，存储解码图像。
[0067]说明本实施例的运动图像解码装置的各构成部的动作。
[0068]可变长解码部(302)对编码流(301)进行可变长解码，取得预测差分的频率变换系数成分、块大小和运动矢量MV等预测处理所需的信息。将预测差分的频率变换系数成分等送到逆量化处理部(303)，将块大小和运动矢量MV等送到画面间预测部(305)或画面内预测部(306)。逆量化处理部(303)和逆频率变换部(304)对预测差分信息分别实施逆量化和逆频率变换而进行预测差分数据的解码。画面间预测部(305)和画面内预测部(306)根据从可变长解码部(302)输入的图像信息与参考图像存储器(308)中存储的参考图像来进行预测处理。加法部(307)根据从可变长解码部(302)输入的预测差分数据与从画面间预测部(305)或画面内预测部(306)输入的预测图像数据来生成解码图像。参考图像存储器(308)存储从加法部(307)输入的解码图像。
[0069]使用图4，来说明画面间预测部(305)。画面间预测部(305)包括存储已解码区域的运动矢量MV的运动矢量贮存存储器(401)、使用已解码区域的运动矢量MV来算出预测矢量PMV的预测矢量算出部(402)、算出差分矢量DMV和预测矢量PMV的和从而算出运动矢量MV的加法器(403)以及生成预测图像的预测图像生成部(404)。
[0070]说明画面间预测部(305)的各构成部的动作。
[0071]预测矢量算出部(402)根据运动矢量贮存存储器(401)中存储的已解码区域的运动矢量MV来算出对象块的预测矢量PMV。加法部(404)计算由可变长解码部(302)解码后的差分矢量DMV与预测矢量PMV的和来解码运动矢量MV。运动矢量贮存存储器(401)贮存解码后的运动矢量MV。预测图像生成部(404)根据运动矢量MV和参考图像生成预测图像(405)。
[0072]图12是表示本实施例中的编码处理顺序的图。
[0073]首先，对作为编码对象的帧内存在的所有块进行以下的处理(1201)。S卩，对于对象块，对所有编码模式(预测方法和块大小的组合)进行预测(1202)。这里，根据预测模式，进行画面内预测(1204)或画面间预测(1220)，而算出预测差分。进一步，在进行画面间预测(1220)时，除了编码预测差分之外，还编码运动矢量MV(1205)。对已编码区域的运动矢量MV进行统合处理(1206)，判断对象块的周围是否存在统合区域(1207)。若在对象块的周围存在统合区域，则根据统合区域中含有的运动矢量MV来算出预测矢量PMV(1208)，并通过算出与运动矢量MV之间的差分，而取得差分矢量DMV(1209)。另一方面，若对象块的周围不存在统合区域，则通过H.264等现有方式来算出预测矢量PMV(1210)，并取得差分矢量DMV(1211)。接着，对预测差分数据进行频率变换处理(1212)、量化处理(1213)和可变长编码处理(1214)，算出各编码模式的图像质量失真和编码量。若在全部编码模式中终止了以上的处理，则根据其结果，选择编码效率最好的编码模式(1215)。另外，为了在多个编码模式中选择编码效率最好的模式，可以通过利用例如根据图像质量失真和编码量的关系决定最佳的编码模式的RD-Optimization方式来进行高效编码。对于RD-Optimization方式的细节参考参考文献I。
[0074](参考文献I )G.Sullivan and T.Wiegand: “Rate-Distortion Optimization forVideo Compression，，，IEEE Signal Processing Magazine, vol.15, n0.6, pp.74-90, 1998.[0075]接着，针对所选出的编码模式，对已量化的频率变换系数实施逆量化处理(1216)和逆频率变换处理(1217)而解码预测差分数据，生成解码图像(1218)后，存储到参考图像存储器中。若对所有块完成以上的处理，则终止一帧图像的编码(1219)。
[0076]图13是表示本实施例中的I帧的解码处理顺序的图。
[0077]首先，对I帧内的所有块，进行以下的处理(1301)。即，对输入流实施可变长解码处理(1302)，并实施逆量化处理(1303)和逆频率变换处理(1304)，来后解码预测差分数据。接着，根据预测模式，进行画面内预测处理(1306)和画面间预测处理(1315)。另外，在进行画面间预测时解码运动矢量MV。这里，对已解码区域的运动矢量MV进行统合处理(1307)，并判断对象块的周围是否存在统合区域(1308)。若对象块的周围存在统合区域，则根据统合区域中含有的运动矢量MV来算出预测矢量PMV(1309)，并通过与差分矢量DMV相加而取得对象块的运动矢量MV(1310)。另一方面，若对象块的周围不存在统合区域，则通过H.264等现有方式来算出预测矢量PMV (1311)，并算出运动矢量MV (1312)。接着，使用所算出的运动矢量MV，来生成预测图像和解码图像(1313)。若对帧中的所有块完成以上的处理，则终止I帧图像的解码(1314)。
[0078]本实施例中，以块为单位进行预测矢量PMV的运算，除此之外，还可以以例如与图像的背景分离的对象为单位来加以运算。作为频率变换的一例，举出有DCT，但是只要是DSTCDiscrete Sine Transformation:离散正弦变换)、WT(Wavelet Transformation:小波变换)、DFT (Discrete Fourier Transformation:离散傅立叶变换)、KLT (Karhunen-LoeveTransformation:KL变换)等用于去除像素间相关性的正交变换即可，可以是任意的。尤其也可不实施频率变换，而对预测差分本身进行编码。进一步，也可不进行可变长编码。本实施例中根据统合区域中含有的运动矢量MV来算出预测矢量PMV，但是也可利用其来算出运动矢量本身。
[0079]本实施例中，在对象块的周围存在统合区域的情况下，判断为对象块也包含与统合区域中含有的物体相同的物体的一部分，并根据统合区域中含有的块的运动矢量来算出预测矢量。由此，可以提高对运动矢量的预测精度。另外，可以改善预测矢量的算出方法而减少运动矢量的编码量，从而提高压缩效率。
[0080]实施例2
[0081]实施例1在对象块包含在周围的物体区域的情况下可改善预测精度。另一方面，实施例2使用已编码或已解码的过去帧，来算出对象块的预测矢量PMV。由此，可以改善例如对象块位于物体区域的边界的情况下的预测精度。
[0082]图9是表示使用了已编码的过去帧的一例的图。
[0083]这里,对于对象巾贞(显示时刻t=n) (901)之前的巾贞(显示时刻t=m) (902),通过与实施例I同样的顺序来进行运动矢量MV的统合。巾贞(902)还参考过去的巾贞(显示时刻t=k)(903)，可以由该统合区域中含有的运动矢量MV的代表值F (C) (905)来表示帧(902)的统合区域(904)的移动目的地。这里，代表值F (C)可以由该统合区域中含有的运动矢量的平均值、加权平均值或中央值等算出。设k〈m〈n。这时，通过考虑k、m、η的值，可以使用例如式(908)，算出用于推定统合区域(904)移动到对象帧(901)中的哪里的校正矢量F’(C) (906) ο由此，可以推定出与过去帧(902)的统合区域(904对应的对象帧(903)上的运动推定区域(907)。
[0084]在对象块包含在区域(907)中的情况下，根据统合区域(904)中含有的运动矢量MV来算出预测矢量PMV。例如，可以将预测矢量PMV作为统合区域(904)中含有的运动矢量MV的平均值AVE(C)加以算出，也可选择统合区域(904)中含有的一个矢量。另外，也可使用H.264等现有方式来算出预测矢量PMV。另外，预测矢量PMV可以例如通过式(909)、式(910)、式(911)等算出。
[0085]本实施例中的运动图像编码装置、运动图像解码装置的结构与实施例1中图1?图4所示的运动图像编码装置、运动图像解码装置的结构相同，所以省略这些说明。
[0086]图14是表示本实施例中的编码顺序的图。这里，仅描述了图12中的画面间预测处理(1220)，由于其他动作进行与图12相同的顺序，所以省略说明。
[0087]首先，算出运动矢量和差分图像(1401)。接着，对过去帧中的运动矢量MV进行统合处理(1402)，而算出统合区域的代表矢量(例如，若作为平均值矢量加以算出，则很有效。下面，记载为“平均矢量”。)(1403)。接着，根据平均矢量和过去帧的时刻信息，来算出表示过去帧中的统合区域移动到编码对象帧中的哪里的校正矢量(1404)，来确定运动推定区域。判断对象块是否包含在运动推定区域中(1405)，若对象块包含在运动推定区域中，则根据统合区域中含有的运动矢量MV来算出预测矢量PMV(1406)。该预测矢量PMV的算出方法如图9所示那样。接着，通过算出预测矢量PMV和运动矢量MV间的差分来取得差分矢量DMV (1407)。另一方面，若对象块不包含在运动推定区域中，则通过H.264等现有方式来算出预测矢量PMV (1408)，并取得差分矢量DMV (1409)。
[0088]图15是表示了本实施例中的解码顺序的图。这里，仅描述图13的画面间预测处理(1315)，由于其他动作进行与图13同样的顺序，所以省略说明。
[0089]首先，对过去帧中的运动矢量MV进行统合处理(1501)，计算统合区域的平均矢量(1502)。接着，根据平均矢量和过去帧的时刻，来算出表示过去帧中的统合区域移动到编码对象帧中的哪里的校正矢量(1503)，来确定运动推定区域。判断对象块是否包含在运动推定区域中(1504)，若对象块包含在运动推定区域中，则根据统合区域中含有的运动矢量MV来算出预测矢量PMV(1505)，并通过计算与差分矢量DMV之间的和来取得运动矢量MV (1506)。另一方面，若对象块不包含在运动推定区域中，则通过H.264等现有方式来算出预测矢量PMV(1507)。该预测矢量PMV的算出方法如图9这样。接着，通过计算预测矢量PMV和差分矢量DMV的和来算出运动矢量MV (1508)。最后，根据算出的运动矢量MV来生成预测图像和解码图像(1509)，从而进行图像的解码。
[0090]本实施例中，以块为单位进行预测矢量PMV的算出，但是除此之外也可例如以与图像的背景分离的对象为单位来进行运算。也可以组合本实施例和实施例1。
[0091]本实施例使用已编码或已解码的过去帧，来算出对象块的预测矢量PMV。由此，例如可以改善对象块位于物体区域的边界的情况下的预测精度。
[0092]实施例3
[0093]实施例2使用根据统合矢量(904)的平均矢量(905)算出的校正矢量(906)，来推定统合区域(904)的移动目的地(907)。另一方面，实施例3如图10所示，通过数式来模型化统合区域的运动。若在 编码侧?解码侧进行该动作，则由于不需要编码这些运动参数，所以可以防止编码量的增加。
[0094]图10表示了使用已编码的过去帧，用数式来模型化统合区域的运动的一例的图。
[0095]用时间函数RMV (t)从对象帧(1001)在过去帧(1002)、..、(1003)、(1004)中的统合区域的轨迹中模型化该运动。通过算出RMV (η)而推定对象帧(1001)中的运动推定区域(1006)。作为模型化运动的函数RMV (t)，可以利用例如(1008)所示的线性函数这样的模型，也可以利用例如椭圆、二次曲线(抛物线)、贝济耶曲线、回旋曲线、摆线、反射、振子运动等的函数。这时，为了进行运动的模型化，需要例如(1008)的A、B、C、D这种运动参数，但是这些也可以通过在编码侧自由设置而能够包含在流中，也可根据统合区域的轨迹自动计算。即，若分别对过去帧(1002)、..、(1003)、(1004)进行运动矢量MV的统合，则由于可取得统合区域的坐标串(XI，Y1)、..、(Xm-1, Ym-1), (Xm, Ym)，所以若将这些值代入(1008)等的方程式而解联立方程式，则可求出参数的值。若在编码侧?解码侧进行该动作，由于不需要编码这些运动参数，所以可以防止编码量的增加。
[0096]可以通过例如式(1009)、式(1010)、式(1011)等算出由上述函数RMV (t)算出的运动推定区域(1006)中的预测矢量PMV。
[0097]本实施例中的运动图像编码装置、运动图像解码装置的结构与实施例1中图1~图4所示的运动图像编码装置、运动图像解码装置的结构相同，所以省略这些说明。
[0098]图16是表示了本实施例的编码顺序的图。这里，仅描述图12的画面间预测处理(1220)，由于其他动作进行与图12同样的顺序，所以省略说明。
[0099]首先，算出运动矢量和差分图像(1601)。接着，对作为对象的所有过去帧进行以下的处理(1602)。即，对过去帧的运动矢量MV进行统合处理(1603)，并根据例如统合区域的重心等算出统合区域的代表坐标(1604)。若通过以上的处理得到统合区域的坐标串，则通过将例如不同的帧中检测出的统合区域的坐标中与对象块或对应于对象块的过去块之间的距离较近的块判断为包含与对象块相同的物体的块，从而进行统合区域的追踪处理(1605)。即，所谓该追踪处理是指，按每个过去帧决定被判断为包含与对象块相同的物体的统合区域，并生成由各统合区域的代表坐标构成的坐标串的处理。接着，从坐标串算出运动的模型化参数(1606)，并使用该参数调查过去帧的统合区域移动到了对象帧中的哪里，从而确定对象帧中的运动推定区域(1607)。判断对象块是否包含在运动推定区域中(1608)，若对象块包含在运动推定区域中，则根据统合区域中含有的运动矢量MV来算出预测矢量PMV (1609)，并通过计算与运动矢量MV间的差分而算出差分矢量DMV (1610)。另一方面，若对象块不包含在运动推定区域中，则通过H.264等现有方式来算出预测矢量PMV (1611)，并算出差分矢量DMV(1612)。
[0100]图17是表示本实施例中的解码顺序的图。这里，仅描述图13的画面间预测处理(1315)，由于其他动作进行与图13同样的顺序，所以省略说明。
[0101]首先，对作为对象的所有过去帧进行以下的处理(1701)。即，对过去帧的运动矢量MV进行统合处理(1702)，并根据例如统合区域的重心等算出统合区域的代表坐标(1703)。若可通过以上的处理得到统合区域的坐标串，则通过将例如不同的帧中检测到的统合区域的坐标中与对象块或对应于对象块的过去块之间的距离较近的块判断为是包含同一物体的块，而进行统合区域的追踪处理(1704)。接着，从坐标串中算出运动的模型化参数(1705)，并使用该参数调查过去帧的统合区域移动到了对象帧中的哪里，从而确定运动推定区域(1706)。判断对象块是否包含在运动推定区域中(1707)，若对象块包含在运动推定区域中，则根据统合区域中含有的运动矢量MV来算出预测矢量PMV(1708)，并通过计算与差分矢量DMV的和而算出运动矢量MV (1709)。另一方面，若对象块没有包含在运动推定区域中，则通过H.264等现有方式算出预测矢量PMV(1710)，并算出运动矢量MV(1711)。最后，根据所算出的运动矢量MV来进行预测图像和解码图像的生成(1712)。
[0102]本实施例中，以块为单位进行预测矢量PMV的算出，但是除此之外，还可例如以与图像的背景分离的对象为单位来算出。另外，也可以组合本实施例和实施例1、实施例2。
[0103]本实施例如图10所示，通过数式来模型化统合区域的运动。若在编码侧?解码侧进行该动作，则由于不需要编码这些运动参数，所以可防止编码量的增加。
[0104]实施例4
[0105]实施例1至3利用过去帧的画面整体或当前帧的已编码区域整体的运动矢量MV来算出预测矢量PMV。另一方面，实施例4中，表示仅利用与对象块在同一帧内且为对像块周围的块，而通过较少的编码量，来得到与实施例1至3相同效果的方法。
[0106]本实施例中的运动图像编码装置、运动图像解码装置的结构与实施例1中图1~图4所示的运动图像编码装置、运动图像解码装置的结构相同，所以省略这些说明。 [0107]图11示意表示基于本发明的预测矢量PMV算出方法的一例。将与对象块1101的左侦彳、上侧、右上侧相邻的已编码块分别作为块A(1102)、块B(1103)、块C(1104)，而将各块的运动矢量作为MVA、MVB、MVC。这时，对各矢量MVX (MVX e MVA、MVB、MVC)设置用于计算能够与周围矢量统合的程度的倒数的函数Cluster,并利用该函数来算出Cluster (MVX),选择该值最小的矢量(1105)。
[0108]这里，函数Cluster若设置例如针对各矢量MVX(MVX e MVA、MVB、MVC)算出与其周围的矢量之间的差分的绝对值和的函数，则很有效。即，如果将与块X (X e A、B、C)(1107)的左侧、上侧、右上侧相邻的已编码的块分别设作块Xl (1108)、块X2 (1109)、块X3 (1110)，将各块的运动矢量设作MVXl、MVX2、MVX3，则函数Cluster表示(1111)。另外，也可以根据用块X (X e A、B、C) (1107)的运动矢量的绝对值与块XI，X2，X3的运动矢量的绝对值之积除块X (X e A、B、C) (1107)的运动矢量MVX与块XI，X2, X3的运动矢量MVXn之内积后得到的值，来加以计算(1112)。其中，只要能算出运动矢量间的类似性即可，可以不特别基于这些数式。
[0109]进一步,在基于所选出的矢量的评价值Cluster(BESTMV)小于常数Threshold2的情况下，判断为对象块的周围存在物体，并根据所选出的矢量来算出预测矢量PMV。该计算方法并不被特别限定，例如，若将所选出的矢量原样设为预测矢量PMV，也很有效(1106)。另一方面，若基于所选出的矢量的评价值Cluster (BESTMV)为Threshold2以上，则判断为对象块的周围不存在物体，而通过与H.264等现有方式相同的顺序来算出预测矢量PMV(1106)。也可以将常数Threshold2预先设置为唯一的值，也可在编码侧自由设置值而使其包含在编码流中。也可以基于运动矢量MV的方差值或平均值等编码信息以及统合区域的大小等来动态决定，可以不特别限于该数式。
[0110]本实施例中，通过使用上述Cluster函数，可以用较少的计算量得到与统合运动矢量的情形相同的效果。上述的例子中，将适用该函数的块限定为对象块的左侧、上侧、右上侧3种块，但是适用的块数并不特别限定。例如，若使用加上左上侧的块后的4种块，则可进一步提闻预测精度。
[0111]图18表示本实施例中的编码顺序。这里，仅描述图12的画面间预测处理(1220)，由于其他动作进行与图12相同的顺序，所以省略说明。
[0112]首先，算出运动矢量和差分图像(1801)。接着，在对象块的周围存在的运动矢量中，进一步选择表示与周围的运动矢量之间的类似性的评价值Cluster(MVx)成为最小的矢量(1802)，比较其评价值 Cluster (BESTMV)和阈值(1803)。若评价值 Cluster (BESTMV)比阈值小，则将所选出的最小矢量作为预测矢量PMV(1804)，通过算出与运动矢量MV的差分，来算出差分矢量DMV(1805)。另一方面，若评价值Cluster (BESTMV)为阈值以上，则通过H.264等现有方式来算出预测矢量PMV(1806)，来算出差分矢量DMV(1807)。
[0113]图19表示本实施例中的解码顺序。这里，仅描述图13的画面间预测处理(1315)，由于其他动作进行与图13同样的顺序，所以省略说明。
[0114]首先，在对象块的周围存在的运动矢量中，进一步选择表示与周围的运动矢量之间的类似性的评价值Cluster (MVx)成为最小的矢量(1901)，并比较其评价值Cluster(BESTMV)和阈值(1902)。若其评价值Cluster (BESTMV)小于阈值，则将所选出的最小矢量设作预测矢量PMV (1903)，通过算出与差分矢量DMV的和，而取得运动矢量MV (1904)。另一方面，若评价值Cluster (BESTMV)为阈值以上，则通过H.264等现有方式来算出预测矢量PMV (1905)，并算出运动矢量MV (1906)。最后，使用所算出的运动矢量MV来生成预测图像和解码图像(1907)，并进行图像的解码。
[0115]本实施例仅利用与对象块同一帧内且对像块周围的块。由此,可以通过较少的编码量得到与实施例1至3同样的效果。
[0116]产业上的可用性
[0117]本发明作为解码运动图像的运动图像解码技术和编码运动图像的运动图像编码技术是有用的。[0118]符号说明
[0119]101?115基于本发明的运动图像编码装置的说明图；
[0120]201?207基于本发明的运动图像编码装置的说明图；
[0121]301?308基于本发明的运动图像解码装置的说明图；
[0122]401?406基于本发明的运动图像解码装置的说明图；
[0123]501?505基于H.264/AVC的画面间预测编码处理的说明图；
[0124]601?606基于H.264/AVC的运动矢量的预测技术有关的说明图；
[0125]701?706基于本发明的运动矢量的预测技术有关的说明图；
[0126]801?807基于本发明的运动矢量的预测技术有关的说明图；
[0127]901?911基于本发明的运动矢量的预测技术有关的说明图；
[0128]1001?1011基于本发明的运动矢量的预测技术有关的说明图；
[0129]1101?1112基于本发明的运动矢量的预测技术有关的说明图；
[0130]1201?1219流程图的块；
[0131]1301?1314流程图的块；
[0132]1401?1409流程图的块；
[0133]1501?1509流程图的块；
[0134]1601?1612流程图的块；
[0135]1701?1712流程图的块；
[0136]1801?1807流程图的块；
[0137]1901?1907流程图的块。
【权利要求】
1.一种运动图像解码方法，进行画面间预测处理，其特征在于， 所述画面间预测处理中，包括: 统合步骤，统合已解码的多个块的运动矢量中具有类似运动矢量的块，来算出统合区域； 预测矢量算出步骤，使用所述统合区域的运动矢量，来算出解码对象块的预测矢量；运动矢量算出步骤，根据所述预测矢量与所输入的编码流中含有的差分矢量，来算出所述对象块的运动矢量； 预测图像生成步骤，使用所述运动矢量来生成预测图像；以及解码图像生成步骤，将所述编码流中含有的差分图像和所述预测图像相加，来生成解码图像。
2.根据权利要求1所述的运动图像解码方法，其特征在于， 在所述画面间预测处理中， 判断是否存在与所述解码对象块相邻的统合区域，在存在所述相邻的统合区域的情况下，使用所述统合区域中含有的块的运动矢量信息，来算出所述预测矢量。
3.根据权利要求1所述的运动图像解码方法，其特征在于， 在所述画面间预测处理中， 根据基于已解码的过去帧的统合区域中含有的运动矢量而算出的第一运动矢量和所述过去帧的时刻，来算出表示所述过去帧的统合区域向解码对象帧的移动目的地的第二运动矢量，并使用所述第二运动矢量来算出所述解码对象帧的统合区域，在所述统合区域中含有所述解码对象块的情况下，根据所述第一运动矢量来算出所述解码对象块的预测矢量。
4.根据权利要求1所述的运动图像解码方法，其特征在于， 在所述画面间预测处理中， 根据已解码的多个过去帧的统合区域中的一个统合区域中含有的运动矢量信息，来算出该统合区域中的运动矢量，使用编码流中含有的运动参数，来算出表示所述多个过去帧的统合区域的轨迹的函数，并使用所述函数来算出解码对象帧的统合区域，在该统合区域中含有所述解码对象块的情况下，根据所述统合区域中的运动矢量，来算出所述解码对象块的预测矢量。
5.一种运动图像解码方法，进行画面间预测处理，其特征在于， 在所述画面间预测处理中，包括: 预测矢量选择步骤，从与解码对象块相邻的多个已解码块的运动矢量中，根据评价值选择解码对象块的预测矢量，所述评价值表示另外与所述已解码块相邻的块的运动矢量和所述已解码块的运动矢量之间的类似性； 运动矢量算出步骤，根据所述预测矢量和所输入的编码流中含有的差分矢量，来算出所述解码对象块的运动矢量； 预测图像生成步骤，使用所述运动矢量算出步骤中算出的运动矢量，来生成预测图像；以及 解码图像生成步骤，将所述编码流中含有的差分图像和所述预测图像相加，来生成解码图像。
6.根据权利要求5所述的运动图像解码方法，其特征在于， 根据与所述解码对象块相邻的所述已解码块的运动矢量和另外与所述已解码块相邻的块的运动矢量之差，来算出表示所述类似性的评价值。
7.根据权利要求5所述的运动图像解码方法，其特征在于， 根据进行除法而得到的值，来算出表示所述类似性的评价值，该除法为，用所述已解码块的运动矢量的绝对值和另外与所述已解码块相邻的块的运动矢量的绝对值之积，除与所述解码对象块相邻的所述已解码块的运动矢量和另外与所述已解码块相邻的块的运动矢量之内积。
8.—种运动图像编码方法，进行画面间预测处理，其特征在于， 所述画面间预测处理中，包括: 运动矢量算出步骤，算出编码对象块的运动矢量； 统合步骤，统合已编码的多个块的运动矢量中具有类似运动矢量的块，来算出统合区域； 预测矢量算出步骤，使用所述统合区域的运动矢量，来算出编码对象块的预测矢量；以及 差分矢量算出 步骤，算出所述运动矢量算出步骤中算出的所述运动矢量与所述预测矢量的差分矢量。
9.根据权利要求8所述的运动图像编码方法，其特征在于， 所述画面间预测处理中， 判断是否存在与所述编码对象块相邻的统合区域，在存在所述相邻的统合区域的情况下，使用所述统合区域中含有的块的运动矢量信息，来算出所述预测矢量。
10.根据权利要求8所述的运动图像编码方法，其特征在于， 所述画面间预测处理中， 根据基于已编码的过去帧的统合区域中含有的运动矢量而算出的第一运动矢量与所述过去帧的时刻，来算出表示所述过去帧的统合区域在编码对象帧中的移动目的地的第二运动矢量，使用所述第二运动矢量来算出所述编码对象帧中的统合区域，在该统合区域中含有所述编码对象块的情况下，根据所述第一运动矢量来算出所述编码对象块的预测矢量。
11.根据权利要求8所述的运动图像编码方法，其特征在于， 在所述画面间预测处理中， 根据多个过去帧的统合区域的坐标，来算出表示所述多个过去帧的所述统合区域的坐标串的函数，并使用所述函数来算出编码对象帧的统合区域，在该统合区域中含有所述编码对象块的情况下，根据基于已编码的过去帧的统合区域中的一个统合区域中含有的运动矢量而算出的运动矢量，来算出所述编码对象块的预测矢量。
12.—种运动图像编码方法，进行画面间预测处理，其特征在于， 所述画面间预测处理中，包括: 运动矢量算出步骤，算出编码对象块的运动矢量； 预测矢量算出步骤，从与所述编码对象块相邻的多个已编码块的运动矢量中，根据评价值选择所述编码对象块的预测矢量，所述评价值表示另外与所述已编码块相邻的块的运动矢量和所述已编码块的运动矢量之间的类似性；以及 差分矢量算出步骤，算出所述运动矢量算出步骤中算出的所述运动矢量与所述预测矢量的差分矢量。
13.根据权利要求12所述的运动图像编码方法，其特征在于， 根据与所述编码对象块相邻的所述已编码块的运动矢量和另外与所述已编码块相邻的块的运动矢量之差，来算出表示所述类似性的评价值。
14.根据权利要求12所述的运动图像编码方法，其特征在于， 根据进行除法而得到的值，来算出表示所述类似性的评价值，该除法为，用所述已编码块的运动矢量的绝对值和另外与所述已编码块相邻的块的运动矢量的绝对值之积，除与所述编码对象块相邻的所述已编 码块的运动矢量和另外与所述已编码块相邻的块的运动矢量之内积。
【文档编号】H04N19/44GK103647972SQ201310591426
【公开日】2014年3月19日 申请日期:2009年11月27日 优先权日:2008年12月3日
【发明者】高桥昌史, 山口宗明, 伊藤浩朗, 藤田武洋 申请人:株式会社日立制作所