专利名称：运动矢量预测编码方法、运动矢量预测解码方法、运动图像编码装置、运动图像解码装置 ...的制作方法
技术领域：
本发明涉及对运动矢量进行预测编码的运动图像编码技术。特别地，本发明涉及提高运动矢量的预测效率、提高运动图像编码效率的运动矢量预测编码方法、运动矢量预测解码方法、运动图像编码装置、运动图像解码装置及其程序。本申请要求2010年2月9日在日本提出的日本专利申请2010-026132号的优先权，其内容在此引用。背景技术：
在以H. 264为代表的、使用运动补偿的运动图像编码方式中，为了对运动矢量有效 地进行编码，进行运动矢量的预测编码。图12表示以往的运动图像编码装置的运动补偿部的构造例。以往的运动图像编码装置中的运动补偿部100具有动作搜索部101、运动矢量存储器102、运动矢量预测部103、以及预测残差计算部104。当输入编码对象块的视频信号时，运动搜索部101通过将其与已编码的参考图像的解码信号相对比来进行运动搜索，计算出运动矢量并存储于运动矢量存储器102。运动矢量预测部103从运动矢量存储器102读出在位于编码对象块邻近的已编码块的编码中所使用的运动矢量，使用它们作为参考运动矢量，计算出预测运动矢量。预测残差计算部104计算运动搜索部101所算出的运动矢量与运动矢量预测部103所算出的预测运动矢量之间的残差，输出运动矢量预测残差。该运动矢量预测残差经过编码，作为运动矢量的编码信息输出。图13表示了以往的运动图像解码装置中的运动补偿部的构造例。以往的运动图像解码装置中的运动补偿部200具有运动矢量计算部201、预测信号作成部202、运动矢量存储器203、以及运动矢量预测部204。运动矢量计算部201通过将从编码流中被解码的运动矢量预测残差与运动矢量预测部204所预测的预测运动矢量进行相加，生成运动矢量，在将该运动矢量存储到运动矢量内存203的同时，输出到预测信号作成部202。预测信号作成部202按照运动矢量从已解码的参考图像读出解码信号，将其作为解码对象块的预测信号输出。运动矢量预测部204从运动矢量存储器203读出在位于解码对象块邻近的已解码块的解码中所使用的运动矢量，以此作为参考运动矢量计算出预测运动矢量。作为与上述那样的运动矢量预测编码相关的技术，以往有以下的技术。( a )中间值预测编码(H. 264等)〔以下称为现有技术a〕
(b )基于参考运动矢量指定的预测编码〔以下称为现有技术b〕
图14是说明现有的运动矢量的预测编码方式的示例的图。在现有技术a和现有技术b中，在进行运动矢量的编码(解码也同样)时，利用如图14所示的编码对象块邻近的已编码块的运动矢量(已编码运动矢量)作为参考运动矢量来进行预测，对运动矢量进行编码。
具体来说，在现有技术a中，采用参考运动矢量的中间值作为预测运动矢量，对编码对象块的运动矢量和预测运动矢量之间的误差(称为运动矢量预测残差)进行编码(参照非专利文献I)。而且，在现有技术b中，编码装置(编码器)从参考运动矢量之中选择预测所使用的运动矢量，将预测中使用的参考运动矢量的标识符与运动矢量预测残差一起进行编码(参照非专利文献2)。再者，以往，并非通过求取运动矢量预测残差来对运动矢量进行编码，作为对编码对象块的运动矢量本身进行预测的技术，存在有基于样本匹配的运动矢量预测的技术(以下称为现有技术C)。该现有技术c是一种在编码侧不对运动矢量编码而是进行运动补偿的运动矢量预测方法(参照非专利文献3)。图15是说明以往的基于样本匹配进行运动矢量预测的图。在现有技术c中，在预
测编码对象块的运动矢量之时，如图15表示为反L字型的区域那样，利用编码对象块邻近的且已经编码的像素的集合(将其称为样本(template))，在参考图像上对于规定的搜索范围进行运动搜索(将该处理称为样本匹配(template matching))。具体来说，对于在规定的搜索范围内的各运动矢量，在使得参考图像上位于样本相同位置的区域仅偏移运动矢量大小后的区域(称为匹配区域)和样本之间求取SAD (sum of Absolute Differences,绝对差值和)等的近似度来进行搜索。利用由此得到的运动矢量进行运动补偿。由于解码侧也可以用已解码的像素的集合的样本进行同样的处理，其具有不进行运动矢量编码就能进行运动补偿的优点。现有技术文献
非专利文献
非专利文献I :角野，菊池，铃木，“修订第三版H. 264/AVC教科书”，Impress R&D发行,2009，pp.123-125。非专利文献2 :Τ·山本，“A new scheme for motion vector predictor encoding(一种运动矢量预测编码的新方案)”，ITU-T SG16/Q6, 32nd VCEG Meeting, San Jose,April 2007。非专利文献3:小林，铃木，7' >，崛越，“使用样本匹配进行运动预测的方法所带来的预测信息量的削减”，图像编码专题资料(The Proceedings of Picture CodingSymposium of Japan),2005, pp.17-18。发明所解决的课题
在上述现有技术a，b中，当邻近的块中不存在对预测有效的参考运动矢量时，运动矢量的预测效率会降低。不仅是编码对象块的邻近，也可以考虑使用包括在更广范围内的多个块的参考运动矢量来进行预测。但是，当用现有技术的方法来这样进行的话，会招致预测效率和/或编码效率变差。图16是说明现有技术的问题的图。如图16所示，在编码对象块的邻近块设置于被摄体Obj的边界的情况以及出现遮挡的情况(在参考图像中邻近块的对应点被某被摄体挡住的情况)下，还有，在被摄体为非刚性体的情况下，该邻近块的参考运动矢量有可能会不适用于编码对象块的运动矢量预测，或者由于内部编码的进行，使得参考运动矢量本身就不存在。在这样的情况下，现有技术a和现有技术b两者的预测效率都会变差。
但是，如图16中虚线所示的块那样，也可能会存在这样的情形，即未包含在候选中的块的运动矢量对于预测更为有效。为了将这样的运动矢量用于预测，可以容易地类推出应该不仅使用最邻近的块作为候选块，而且应当增加候选的块。但是，用作为候选的块增多时，在现有技术a中，由于在候选中可能含有不适用的参考运动矢量，有使预测效率反而变差的风险。再者，在现有技术b中，由于导致了应用于预测的参考运动矢量的标识符的编码量的增加，有使编码效率反而变差的风险。与此相对，现有技术c是在编码侧不对运动矢量进行编码而进行运动补偿的运动矢量预测方法。由此，可以认为是能够将其应用于解决上述现有技术的课题的。也就是说，使用现有技术c的样本匹配生成预测运动矢量，根据该预测运动矢量和由通常的运动搜索求得的编码对象块的运动矢量，求出运动矢量预测残差，并进行编码。在这样的情况下，有以下问题。在按照现有技术c的运动矢量的预测中，与现有技术a和现有技术b不同，其能够不使用编码对象块的邻近块的已编码运动矢量地进行搜索。因此，在已编码运动矢量不属 于对预测有效的情况下，也具有能够作成有效的预测运动矢量的可能性。但是，由于仅由样本来确定预测运动矢量，因此，存在指向与编码对象块无关的区域的运动矢量也被作为预 测运动矢量这样的导致预测效率变差的情况。
发明内容
为了解决上述课题，本发明的目的在于，提高运动矢量的预测效率，提高运动图像的编码效率。在此，所说的运动矢量的预测效率是指成为预测的对象的运动矢量与预测运动矢量之间的近似的程度。具体来说就是在这两个矢量的差分矢量的长度小的情况下作为预测效率高。解决课题的手段
本发明的概要如下所述。本发明对编码侧以及解码侧的各块，通过以下的方法进行
运动矢量预测。( I )在编码对象图像以及已编码图像的至少一方中，将根据编码对象块的位置来确定的已编码的多个(N个)初级候选块的运动矢量,用作为初级候选参考运动矢量。( 2 )只利用在解码侧开始对编码(解码)对象块解码的时刻已经完成解码的信息，求出表示各初级候选参考运动矢量如何程度适用于预测的评价值(以下称为信赖度)。( 3 )将初级候选参考运动矢量缩减(narrow down,或称筛选)到信赖度大于规定阈值的少数(M个)的次级候选参考运动矢量。( 4 )利用M个次级候选参考运动矢量，作成预测运动矢量。详细地来说，本发明中，作为与以往同样的运动矢量预测编码(下述的处理4)的预处理，还进行以下的处理I 处理3。[处理I]将相对于编码对象图像中的编码对象块的位置位于预定的相对位置上的、编码对象图像中的已编码块以及已编码图像中的已编码块的至少一方形成的N个(N为2以上的整数)块，设定为初级候选块，从初级候选块的编码中所使用的运动矢量之中，确定N个初级候选参考运动矢量。[处理2]接着，对于N个初级候选参考运动矢量每一个，使用已编码或者已解码的图像信息，计算出定量地表示编码对象块的运动矢量预测中的有效性的信赖度。
[处理3]从N个初级候选参考运动矢量之中，选出信赖度大于规定阈值的初级候选参考运动矢量，作为次级候选参考运动矢量。[处理4]使用所述次级候选参考运动矢量，计算出编码对象块的预测运动矢量，将通过编码对象块的运动搜索求得的运动矢量和预测运动矢量之间的残差(residual)进行编码，作为运动矢量的编码信息。作为使用次级候选参考运动矢量来计算编码对象块的预测运动矢量的处理，能够使用下述的以往的方法，例如在选择M个次级候选参考运动矢量的中央值，或者选择M个次级候选参考运动矢量中预测残差最小的次级候选参考运动矢量并将该运动矢量的标识符与预测残差一起进行编码等。如上所述，在本发明中，不仅根据编码对象块的邻近的块，而且也根据在编码对象图像以及已编码图像的至少一方的、预定范围内的多个初级候选块的运动矢量来确定初级候选参考运动矢量。然后，对于各个初级候选参考运动矢量，利用已编码的信息或已解码的信息计算信赖度。按照信赖度对初级候选参考运动矢量进行缩减，将缩减后的结果作为次级候选参考运动矢量。此后的处理，以次级候选参考运动矢量作为输入，例如使用与以 往的运动矢量预测编码相同的方法来求出预测运动矢量，将预测运动矢量与运动矢量之间的预测残差进行编码。本发明的运动矢量预测解码的情况下，也是将预定的多个初级候选块的运动矢量作为初级候选参考运动矢量。进而，对于各个初级候选参考运动矢量，利用已解码的信息来计算信赖度。按照信赖度对初级候选参考运动矢量进行缩减，将缩减后的结果作为次级候选参考运动矢量。之后的处理，以次级候选参考运动矢量作为输入，利用与以往的运动矢量预测解码相同的方法来求出预测运动矢量，将预测运动矢量与解码后的预测残差相加，计算出运动矢量。作为信赖度的计算方法，例如可以将与编码对象块邻接的已编码像素的集合作为样本，计算出匹配对象区域与样本之间的近似度，将此近似度作为信赖度，其中，所述匹配对象区域是指在参考图像上将与样本空间上相同的区域仅偏移初级候选参考运动矢量大小后的区域。再者，也可以利用成为计算各初级候选参考运动矢量的基础的、初级候选块的运动补偿中的解码预测残差信号的微小程度作为信赖度的指标计算信赖度。发明的效果
在本发明中，通过进行上述处理I 3进行参考运动矢量的缩减(narrow down,或称筛选)。此缩减在解码侧也能够在不需要来自编码侧的附加信息的情况下实现，而且次级候选参考运动矢量中含有对于预测有效的运动矢量。因此，与前述现有技术a、b、c相比预测效率提高。而且，一般来说若运动矢量的预测效率提高，则运动矢量预测残差的熵(entropy)减少，运动矢量的编码量会减少。由于运动图像的编码数据包含运动矢量的编码量，因此与利用现有技术a、b、c的方式相比，运动图像的编码效率提高。再者，可以从多个初级候选块中设定具有多样性的初级候选参考运动矢量，而且，由于这些初级候选参考运动矢量是用于编码的运动矢量，这些初级候选参考运动矢量对应于运动图像的被摄体(object)的运动，其包含对运动矢量预测有效的运动矢量的可能性很大。在本发明中，由于仅对这些初级候选参考运动矢量求出信赖度，故而能够通过比现有技术c更少的运算量实现高预测效率。
图I是表示本发明的实施方式的运动图像编码装置的构造例的图。图2是表示图I中所示的运动补偿部的详细构造例的图。图3是表示本发明的实施方式的运动图像解码装置的构造例的图。图4是表示图3中所示的运动补偿部的详细构造例的图。图5是运动矢量预测处理的流程图。图6A是用于说明初级候选块的设定例的图。
图6B是用于说明初级候选块的设定例的图。图7是用于说明初级候选参考运动矢量的设定例的图。图8是信赖度计算处理的一个示例的流程图。图9是用于说明使用样本匹配的信赖度求取方法的图。图IOA是参考运动矢量确定处理的流程图。图IOB是另一参考运动矢量确定处理的流程图。图11是再一参考运动矢量确定处理的流程图。图12是表示现有的运动图像编码装置中运动补偿部的构造例的图。图13是表示现有的运动图像解码装置中运动补偿部的构造例的图。图14是用于说明现有的运动矢量的预测编码方式的示例的图。图15是用于说明现有的根据样本匹配进行运动矢量预测的图。图16是用于说明现有技术的问题的图。符号说明
1运动图像编码装置
2运动图像解码装置
I O预测残差信号计算部 I I 正交变换部 I 2 量子化部 I 3 信息源编码部
14.21反量子化部
15.22反正交变换部 I 6 解码信号计算部
17.24帧存储器
18.25运动补偿部 I 8 I 运动搜索部
1 8 2,2 5 3 运动矢量存储器1 8 3,2 5 4 初级候选块运动矢量读出部1 8 4,2 5 5 信赖度计算部1 8 5,2 5 6 参考运动矢量确定部1 8 6,2 5 7 运动矢量预测部
18 7 运动矢量预测残差计算部
2O 信息源解码部23解码信号计算部
25 I 运动矢量计算部 252 预测信号作成部 具体实施方式
以下通过结合附图对本发明的实施方式进行详细说明。
图I是表示本发明的实施方式的运动图像编码装置的构造例的图。在本实施方式的运动图像编码装置I中，特别地，运动补偿部18的部分是与现有技术不同的部分，其他的部分则与H. 264及其他方式中作为编码器所采用的现有的一般的运动图像编码装置相同。运动图像编码装置I输入编码对象的视频信号，将输入视频信号的帧划分为块，对每个块进行编码，将该编码数据作为比特流输出。为了进行这种编码，预测残差信号计算部10求出输入视频信号与运动补偿部18的输出即预测信号之间的差分，并将其作为预测残差信号输出。正交变换部11对预测残差信号进行离散余弦变换(DCT)等的正交变换，输出变换系数。量子化部12将变换系数量子化，输出该量子化后的变换系数。信息源编码部13将量子化后的变换系数进行熵编码(entropy-encode),作为比特流输出。另一方面,量子化后的变换系数也被输入到反量子化部14,在反量子化部14中被反量子化。反正交变换部15对反量子化部14的输出即变换系数进行反正交变换，输出预测残差解码信号。解码信号计算部16中，将该预测残差解码信号和作为运动补偿部18的输出的预测信号进行相加，生成已编码的编码对象块的解码信号。为了作为运动补偿部18中的运动补偿的参考图像使用，该解码信号被存储在帧存储器17中。对于编码对象块的视频信号，运动补偿部18参照帧存储器17中存储的参考图像进行运动搜索，输出编码对象块的预测信号。而且，为了对作为运动搜索的结果的运动矢量也进行预测编码，运动补偿部18使用已编码的信息进行运动矢量的预测，计算出作为运动搜索结果的运动矢量和预测运动矢量之间的差分，将结果作为运动矢量预测残差输出到信息源编码部13。在此，在运动矢量的预测时，运动补偿部18不是仅使用与编码对象块邻近的已编码块的运动矢量，而是设定相对于编码对象块的位置位于预定的相对位置上的多个已编码的初级候选块，从该初级候选块的编码中所使用的运动矢量之中设定初级候选参考运动矢量，从已编码的信息中计算出该初级候选参考运动矢量的信赖度，对应于信赖度，缩减出少数个次级候选参考运动矢量后，利用次级候选参考运动矢量计算出预测运动矢量。使用次级候选参考运动矢量计算预测运动矢量的处理能够采用与现有技术相同的运动矢量的预测手法进行。图2是表示图I所示的运动补偿部18的详细的构造例的图。如图2所示，运动补偿部18具有运动搜索部181、运动矢量存储器182、初级候选块运动矢量读出部183、信赖度计算部184、参考运动矢量确定部185、运动矢量预测部186以及运动矢量预测残差计算部187。在对编码对象块进行编码的运动补偿过程中，首先，对于输入视频信号的编码对象块，运动搜索部181进行与已编码的参考图像的解码信号相对比的运动搜索，生成并输出预测信号，同时，输出表示匹配位置的运动矢量。该运动矢量被存储于运动矢量存储器182中，而且，被输出至运动矢量预测残差计算部187。初级候选块运动矢量读出部183读出预定位置上的N个(N为2以上的整数)初级候选块的运动矢量，其中，该初级候选块的运动矢量在过去已编码并被存储于运动矢量存储器182中，将这些运动矢量设定为初级候选参考运动矢量，通知信赖度计算部184。彳目赖度计算部184利用已编码的图像/[目息(解码/[目号)对N个初级候选参考运动矢量的每一个，计算出信赖度，其中，该信赖度定量地表示编码对象块的运动矢量预测中的有效性。参考运动矢量确定部185将信赖度计算部184计算出的信赖度与预定的阈值比较大小，选出信赖度大于阈值的初级候选参考运动矢量作为次级候选参考运动矢量。运动矢量预测部186利用参考运动矢量确定部185选出的次级候选参考运动矢量，计算出编码对象块的预测运动矢量。该运动矢量预测部186中的预测运动矢量的计算
方法，可以与现有技术相同，例如将次级候选参考运动矢量中的中央值(median)作为预测运动矢量。又，也可以将次级候选参考运动矢量中具有与运动搜索部181所求出的运动矢量最接近的值的运动矢量作为预测运动矢量，将表示该运动矢量的标识符加入编码对象，通知解码侧。运动矢量预测残差计算部187计算运动搜索部181所算出的运动矢量与运动矢量预测部186所算出的预测运动矢量之间的残差，将计算出的残差作为运动矢量预测残差输出。图3是表示本发明的实施方式的运动图像解码装置的构造例的图。在本实施方式的运动图像解码装置2中，特别地，运动补偿部25的部分是与现有技术的不同的部分，其他的部分则与H. 264及其他方式中作为解码器所使用的现有的一般的运动图像解码装置相同。运动图像解码装置2输入由图I所示的运动图像编码装置I编码的比特流并进行解码，由此，输出解码图像的解码信号。为了进行解码，信息源解码部20根据所输入的比特流，在对解码对象块的量子化变换系数进行熵解码(entropy-decode )的同时，对运动矢量预测残差进行解码。反量子化部21输入量子化变换系数，将其进行反量子化之后输出解码变换系数。反正交变换部22对解码变换系数实施反正交变换，输出解码预测残差信号。在解码信号计算部23中，通过将运动补偿部25生成的预测信号与解码预测残差信号相加，生成解码对象块的解码信号。该解码信号在输出到显示装置等外部装置的同时，为了用作为运动补偿部25中的运动补偿的参考图像，被存储到帧存储器24之中。运动补偿部25利用帧存储器24中所存储的已解码的信息进行运动矢量的预测，将该预测运动矢量与信息源解码部20解码后的运动矢量预测残差相加，计算运动矢量，基于该运动矢量，参照帧存储器24中的参考图像，生成解码对象块的预测信号。这里，在运动矢量的预测时，运动补偿部25不是仅使用位于解码对象块邻近的已解码块的运动矢量，而是设定相对于解码对象块的位置位于预定的相对位置上的多个已解码的初级候选块，从该初级候选块的解码中所使用的运动矢量中设定初级候选参考运动矢量。而且，运动补偿部25从已解码的信息中计算出该初级候选参考运动矢量的信赖度，根据信赖度缩减出少数个次级候选参考运动矢量之后，利用次级候选参考运动矢量计算出预测运动矢量。使用次级候选参考运动矢量计算预测运动矢量的处理，可以采用与现有技术相同的运动矢量的预测方法进行。图4是表示图3所示的运动补偿部25的详细构造例的图。如图4所示，运动补偿部25具有运动矢量计算部251、预测信号作成部252、运动矢量存储器253、初级候选块运动矢量读出部254、信赖度计算部255、参考运动矢量确定部256以及运动矢量预测部257。在解码对象块的解码的运动补偿之中，首先，运动矢量计算部251将由解码编码比特流所得到的运动矢量预测残差与运动矢量预测部257使用已解码的信息预测到的预测运动矢量相加，输出解码中使用的运动矢量。该运动矢量存储在运动矢量存储器253中，而且被输出至预测信号作成部252。该预测信号作成部252读出输入的运动矢量所示的参考图像位置的解码信号，将其作为解码对象块的预测信号来输出。初级候选块运动矢量读出部254读出过去已解码并存储于运动矢量存储器253中 的、位于预定位置上的N个(N为2以上的整数)初级候选块的运动矢量，将这些运动矢量设定为初级候选参考运动矢量，通知信赖度计算部255。信赖度计算部255利用已解码的图像信息(解码信号)，分别对N个初级候选参考运动矢量的每一个，计算出信赖度，其中，该信赖度定量地表示解码对象块的运动矢量预测中的有效性。参考运动矢量确定部256比较信赖度计算部255所算出的信赖度与预定的阈值之间的大小，将信赖度大于阈值的初级候选参考运动矢量作为次级候选参考运动矢量选出。运动矢量预测部257使用参考运动矢量确定部256选出的次级候选参考运动矢量，计算出解码对象块的预测运动矢量。该运动矢量预测部257的预测运动矢量的计算方法可以与现有技术相同，例如将次级候选参考运动矢量中的中央值(median)作为预测运动矢量。或者，在编码侧指定预测中所使用的运动矢量的标识符的情况下，将该标识符所标识的运动矢量作为预测运动矢量。接着，对于运动图像编码装置I的运动补偿部18以及运动图像解码装置2的运动补偿部25执行的处理当中，与本发明相关联的运动矢量预测的处理，根据图5 图11进行说明。以下主要以编码侧的运动矢量预测的处理为中心进行说明，在解码侧的运动矢量预测的处理也是完全相同的。图5表示运动矢量预测处理的流程图。[步骤SI的处理]
最初，初级候选块运动矢量读出部183 (或254)从运动矢量存储器182 (或253)读出N个初级候选块的运动矢量。这里，按照图6A和图6B对初级候选块的设定例进行说明。初级候选块也可以从编码(解码)对象图像中进行选择、设定，也可以从已编码图像中进行选择、设定。图6A表示将编码对象图像3内的已编码块设定为初级候选块的示例。在此情况下，位于编码对象块31邻近的多个(此例中为10个)已编码块BI BlO被设定为初级候选块。在解码侧也是可以将与编码侧所用的初级候选块位于相同位置的已解码块设定为初级候选块。图6B表示将已编码图像30内的已编码块设定为初级候选块的示例。例如，如果位于已编码图像30内的块Bll (对应位置块)的位置与编码对象图像3中的编码对象块31的位置相同，将该块Bll和其周围的几个块B12 B19设定为初级候选块。为了从初级候选块组中尽可能地设定具有多样性的初级候选参考运动矢量，将如图6A所示的从编码对象图像3中选择初级候选块的方法与如图6B所示的从已编码图像30中选择初级候选块的方法进行组合也是合适的。例如，从编码对象图像3中选择N1个已编码块、从已编码图像30中选择N2个已编码块，总共设定N个(N=NJN2)次级候选块。而且，不仅是将一幅已编码图像的块设定为初级候选块，也可以将多幅的已编码图像的块设定为初级候选块。[步骤S2的处理]
初级候选块运动矢量读出部183对N个初级候选块各个是否为已编码图像(或已解码图像)的块进行判断。当初级候选块是已编码图像的块的情况下，初级候选块运动矢量读出部183执行下一个步骤S3。
[步骤S3的处理]
如果初级候选块是已编码图像的块的话，不是将该编码中所利用的运动矢量本身作为初级候选参考运动矢量，而是对运动矢量进行加工以使其对应编码对象图像的参考图像。运动矢量的加工例如可以如下进行。当编码对象块的图像的时刻为Τε，包含初级候选块(编码中使用的运动矢量为V。)的已编码图像的时刻为Τ。，编码对象块参考的图像的时刻为 ；，初级候选块参考的图像的时刻为Te时，计算根据以下的公式加工后的初级候选参考运动矢量V。V = VcX(Tr—Te)/ (Tr2—Tc)
上述的图像的“时刻”可以是例如图像的显示时刻信息、或以H. 264标准所定义的POC (Picture Order Count,图像顺序计数)等任何表示图像的相对时间关系的信息。图7中表示对已编码图像的初级候选块的初级候选参考运动矢量的设定例。已编码图像只要是中间图像(inter-picture)(通过运动补偿进行编码的图像)，可以为任何图像。例如，H. 264中的B图像的情况下，能够使用前后的P图像。在图7的示例中，P2为编码对象图像3，P4为存在初级候选块的已编码图像30。而且，在Pl P4之中，Pl和P4为P图像，P2和P3为B图像。P2的编码对象图像3以P4的已编码图像30为参考图像，P4的已编码图像30以Pl为参考图像。P4的已编码图像30中的初级候选块的运动矢量Vp4 (图中虚线的箭头)是对于Pl的已编码图像的运动矢量。因此，根据Pl与P4之间的时间上的距离L1、P2与P4之间的时间上的距离L2、以及参考的方向性，按照下式计算出初级候选参考运动矢量V (图中实线的箭头)。V = -V p4X L 2 / L I
换言之，若代入到前述计算初级候选参考运动矢量V的公式“V = V。X (T r —Te )/ (T r2 - T c )”，则V p4 = V c，图像P2的时刻为T e，图像P4的时刻为T c =T r，图像Pl的时刻为 \2。通过利用该公式对该初级候选块的运动矢量Vp4进行加工使之能够用作为初级候选参考运动矢量V。[步骤S4的处理]
初级候选块运动矢量读出部183 (或者254)将通过以上的处理从N个初级候选块得到的运动矢量设定为初级候选参考运动矢量，通知信赖度计算部184 (或者255)。[步骤S5的处理]
信赖度计算部184 (或者255)使用已编码的信息分别对被设定的N个初级候选参考运动矢量的每一个计算出信赖度。这里，信赖度定量地表示编码(解码)对象块的运动矢量预测中初级候选参考运动矢量的有效性。该信赖度是对N个初级候选参考运动矢量仅利用在解码侧对编码对象块开始解码的时刻已经解码的信息来进行计算的。图8是表示信赖度计算处理的一个示例的流程图。图9是说明使用样本匹配的信赖度的求取方法的图。作为信赖度的求取方法的一个示例，下面对应用样本匹配的方法进行说明。在图9的编码对象图像3中，需要求出编码对象块31的预测运动矢量。样本32为与编码对象块 31邻接的已编码像素的集合(此例中，编码对象块31的左方和上方的像素群所构成的反L字形区域)。而且，反L字形区域的宽度(厚度)为例如2个像素左右，但是也可以为I个像素或3个像素以上。参考图像4是已编码或者是已解码的图像。参考图像4中的对应位置块41为位于与编码对象图像3内的编码对象块31的位置相同位置上的块。在图8的信赖度计算处理中，在步骤S51中，求得将参考图像4上与样本32空间上相同的区域(与对应位置块41邻接的反L字形的区域)仅偏移要计算信赖度的初级候选参考运动矢量Vi大小后得到的区域，将其作为匹配对象区域42取得。接着，在步骤S52中，计算出编码对象块31的样本32与参考图像4中的匹配对象区域42之间的近似度，并将其设定为初级候选参考运动矢量V i的信赖度。作为近似度的指标的一个示例，有SAD (Sum of Absolute Difference,绝对差值和)。由于SAD越小，该初级候选参考运动矢量V i接近于编码对象块31的运动的可能性就越高，因此就越能捕捉到信赖度高的参考运动矢量。作为信赖度计算部184所使用的信赖度指标，也可以是另外一种表示样本32与匹配对象区域42的近似度的指标。除前述的SAD 之外，还可以使用 SSD (Sum of Squared Differences,差值的平方和)、SATD (Sum ofAbsolute Transformed Differences,绝对变换差值和)等。这些都是反应以其值越小表示其信赖度越高的尺度。由于样本32与编码对象块31的图像信号的相关性高，若使用以此为基础的近似度，则能够确定(identify)出对运动矢量预测有效的次级候选参考块。而且，作为计算信赖度的其他方法，还能够使用利用初级候选块的运动补偿中的解码预测残差信号的微小程度的方法。当解码预测残差信号大的情况下，该初级候选块是被摄体的边界的可能性高，因此，它是对运动矢量预测没有效的运动矢量的可能性高。因此，解码预测残差信号越小，信赖度越高。作为解码预测残差信号的微小程度的指标，能够使用解码预测残差信号的绝对值和、平方和等。[步骤S6的处理]
接着，在参考运动矢量确定部185 (或者256)中,根据各初级候选参考运动矢量的信赖度信息，将N个初级候选参考运动矢量缩减到少数个次级候选参考运动矢量。图10A是参考运动矢量确定处理的流程图。在步骤S611中，参考运动矢量确定部185对于由信赖度计算部184计算出的各初级候选参考运动矢量的信赖度，进行与规定阈值的大小比较，如果初级候选参考运动矢量的信赖度超过规定阈值，该处理进至步骤S612。在步骤S612中，将信赖度大于规定阈值的初级候选参考运动矢量设定为次级候选参考运动矢量。信赖度不大于规定阈值的情况下，将该信赖度所对应的初级候选参考运动矢量从候选中剔除。通过这样的处理，能够抑制在次级候选参考运动矢量中包含不适于预测的运动矢量。因此，与现有技术相比，能够提高运动矢量的预测效率，能够实现编码效率的提高。图IOB是其他的参考运动矢量确定处理的流程图,表将初级候选参考运动矢量的个数限定在规定的个数M情况下的参考运动矢量确定处理的示例。首先，在步骤S621中，判定处理对象的初级候选参考运动矢量的信赖度是否超过规定阈值。如果初级候选参考运动矢量的信赖度超过规定阈值的话，处理进至步骤S622，否贝U，处理进至步骤S623。在步骤S622中，将信赖度超过规定阈值的初级候选参考运动矢量设定为高信赖度运动矢量。在步骤S623中，判定是否已经完成对所有初级候选参考运动矢量的处理，如果还有未处理的初级候选参考运动矢量，则处理返回步骤S621，同样地继续进行高信赖度参考运动矢量的选择处理。 如果对所有初级候选参考运动矢量的处理都已完成时，处理进至步骤S624。步骤S624中，在高信赖参考运动矢量之中，将信赖度前M个(top Μ) (Μ为规定的整数)的高信赖参考运动矢量设定为次级候选参考运动矢量。通过将次级候选参考运动矢量的个数限定于规定的M个，与现有技术b对运动矢量进行编码的情况相比，能够削减运动矢量编码量，实现编码化效率的提高。图11是再一参考运动矢量确定处理的流程图，表示信赖度超过规定阈值的初级候选参考运动矢量仅为小于规定的个数M的M'个的情况下的参考运动矢量确定处理的示例。首先，在显示步骤S631中，判断处理对象的初级候选参考运动矢量的信赖度是否超过规定阈值。如果初级候选参考运动矢量的信赖度超过规定阈值时，处理进至步骤S632，否则的话，处理进至步骤S633。在步骤S632中，将信赖度大于规定阈值的初级候选参考运动矢量设定为高信赖度参考运动矢量。在步骤S633，判断所有的初级候选参考运动矢量的处理是否都已完成，如果还有未处理的初级候选参考运动矢量的话，则处理返回步骤S631，同样地继续进行高信赖度参考运动矢量的选择处理。如果所有的初级候选参考运动矢量的处理都已完成的情况下，处理进至步骤S634。在处理步骤S634中，判断高信赖度参考运动矢量的个数M'是否大于规定的数M。当M,大于预定的个数M时，处理进至步骤S635。在步骤S635中设定高信赖度参考运动矢量之中信赖度前M个(top Μ)的高信赖参考运动矢量为次级候选参考运动矢量。另一方面，当W不大于规定的个数M的情况下，处理进至步骤S636。在步骤S636中，M'个高信赖度参考运动矢量全部设定为次级候选参考运动矢量。由此，由于次级候选参考运动矢量的个数能够对应编码对象块的状况而改变，因此，能够进一步实现运动矢量预测效率的提高，实现编码效率的提高。[步骤S7的处理]
运动矢量预测部186 (或者257)，利用参考运动矢量确定部185所选出的次级候选参考运动矢量，作成编码对象块的预测运动矢量。本发明的重点在于，根据信赖度，对多个初级候选参考运动矢量进行缩减，由此，采用信赖度高的次级候选参考运动矢量，求出用于计算运动矢量预测残差所需要的预测运动矢量。因此，从次级候选参考运动矢量中求出预测运动矢量的处理，可以采用与图12和图13所说明的现有技术的运动矢量预测部103(或者204)相同的处理。但是，并不是一定要使用与现有技术相同的处理，也可以使用不同的处理方法求出预测运动矢量来实施本发明。以上的示例中，说明了从N个初级候选块中设定N个初级候选参考运动矢量的示例。但是，也可以以下述的方式设定初级候选参考运动矢量。当采用已编码块的运动矢量作为候选时，对于这些运动矢量，将规定范围内的运动矢量也作为初级候选参考运动矢量。例如，当某已编码块的运动矢量为(10，20)，预定范围为X，Y方向上分别±1的范围的情况下，除了(10，20)的运动矢量之外，(9，20)，(11，20)，(10，19)，(10，21)，(9，19)，(9，21)，(11，19)，(11，21)的运动矢量也作为候选。也就是说，对于一个已编码块的运动矢量，合计有9个初级候选参考运动矢量成为候选。设最初加入候补的已编码块的运动矢量为K个，将所有K个运动矢量周边也加入候选的话，则能够利用9 XK个初级候选参考运动矢量。但是，与解码侧通用的话，也可以不将所有的已编码块的运动矢量的周边加入候选，而可以是加入一部分。作为如此设定的效果，通过将已编码块的运动矢量的周边也纳入考虑，能够进一 步提高运动矢量的预测效率。以上所说明的运动矢量预测编码的处理以及运动矢量预测解码的处理，也能够通过计算机和软件程序来实现。而且，该程序可以记录在计算机可读的记录媒体，也可以通过网络来提供。尽管以上对本发明的实施方式参照附图进行了详述，但是具体的构造并不限于这些实施方式，在不脱离本发明的要点范围的设计等(构造的附加、省略、置换，以及其他变更)也包含于其中。本发明不限于前述说明，仅由权利要求范围的描述而限定。工业上利用的可能性
本发明能够用于例如对运动矢量进行预测编码的运动图像的编码中。根据本发明，能够提高运动矢量的预测效率，而且能够提高运动图像的编码效率。
权利要求
1.一种运动矢量预测编码方法，在将编码对象图像分割为块并对每一个块使用运动补偿进行编码的运动图像编码方式中的运动矢量预测编码方法中，具有 使用已编码的参考图像，进行所述编码对象图像中的编码对象块的运动搜索，计算出运动矢量的步骤； 将相对于所述编码对象图像中的所述编码对象块的位置位于预定的相对位置上的、所述编码对象图像中的已编码块以及已编码图像中的已编码块的至少一方构成的多个块设定为初级候选块，从所述初级候选块的编码中所使用的运动矢量中确定N个初级候选参考运动矢量的步骤，其中，N是2以上的整数； 对于每个所述初级候选参考运动矢量使用已编码的图像信息，计算所述初级候选参考运动矢量的信赖度的步骤，其中，所述信赖度定量地表示所述编码对象块的运动矢量预测中的有效性； 从所述N个初级候选参考运动矢量中选出信赖度大于规定阈值的初级候选参考运动矢量作为次级候选参考运动矢量的步骤；以及 使用所述次级候选参考运动矢量计算所述编码对象块的预测运动矢量，将通过所述编码对象块的运动搜索所求出的所述运动矢量与所述预测运动矢量之间的残差进行编码作为所述运动矢量的编码信息的步骤。
2.根据权利要求I所述的运动矢量预测编码方法，其中，在选出所述将初级候选参考运动矢量作为次级候选参考运动矢量的步骤中， 将所述初级候选参考运动矢量的所述信赖度大于所述规定阈值的所述初级候选参考运动矢量设定为高信赖参考运动矢量，在所述高信赖参考运动矢量中，选出信赖度从大到小的前M个高信赖度参考运动矢量作为所述次级候选参考运动矢量,其中,M为I以上并且小于N的规定的整数。
3.根据权利要求2所述的运动矢量预测编码方法，其中， 当所述高信赖参考运动矢量的个数为比所述M个少的M'个的情况下，选出所述M'个高信赖参考运动矢量作为所述次级候选参考运动矢量。
4.根据权利要求1，2或3所述的运动矢量预测编码方法，其中， 在计算所述初级候选参考运动矢量的信赖度的步骤中，将与所述编码对象块邻接的已编码像素的集合用作为样本，在所述参考图像上将所述样本的区域仅偏移所述初级候选参考运动矢量大小而获得的区域设定为匹配对象区域，计算所述样本的所述已编码像素的集合与所述匹配对象区域中像素的集合之间的近似度作为所述信赖度。
5.根据权利要求1，2或3所述的运动矢量预测编码化方法，其中 计算所述初级候选参考运动矢量的信赖度的步骤中，将所述初级候选参考运动矢量所关联的初级候选块的运动补偿中的解码预测残差信号的微小程度作为信赖度的指标，计算所述信赖度。
6.根据权利要求I至5中的任何一项所述的运动矢量预测编码方法，其中， 在确定所述初级候选参考运动矢量的步骤中，从所述初级候选块的编码中所使用的所述运动矢量和以该运动矢量的每一个为基准的规定范围内的运动矢量中，确定所述初级候选参考运动矢量。
7.—种运动矢量预测解码方法，在对于被分割成块并被编码的运动图像的解码对象图像按照每一个块使用运动补偿进行解码的运动图像解码方式中的运动矢量预测解码方法中，具有 对解码对象块的运动矢量预测残差进行解码的步骤； 将相对于所述解码对象图像中所述解码对象块的位置位于预定的相对位置上的、所述解码对象图像中的已解码块和已解码图像中的已解码块的至少一方构成的多个块设定为初级候选块，并从所述初级候选块的解码中所使用的运动矢量中确定N个初级候选参考运动矢量的步骤，其中，N为2以上的整数； 对于每个所述初级候选参考运动矢量使用已解码的图像信息，计算所述初级候选参考运动矢量的信赖度的步骤，其中，所述信赖度定量地表示所述解码对象块的运动矢量预测中的有效性； 从所述N个初级候选参考运动矢量中选出信赖度大于规定阈值的初级候选参考运动矢量作为次级候选参考运动矢量的步骤； 使用所述次级候选参考运动矢量计算所述解码对象块的预测运动矢量，将所述预测运动矢量与所述解码后的运动矢量预测残差相加后计算所述解码对象块的运动矢量的步骤。
8.根据权利要求7所述的运动矢量预测解码方法，其中， 在选出所述初级候选参考运动矢量作为次级候选参考运动矢量的步骤中， 将所述初级候选参考运动矢量的所述信赖度大于所述规定阈值的所述初级候选参考运动矢量设定为高信赖参考运动矢量，在所述高信赖参考运动矢量中，将信赖度从大到小的前M个高信赖参考运动矢量选出作为所述次级候选参考运动矢量,其中,所述M是I以上并且小于N的规定的整数。
9.根据权利要求8所述的运动矢量预测解码方法，其中， 当所述高信赖参考运动矢量的个数为比所述M个少的M’个的情况下，将M’个高信赖参考运动矢量选出作为所述次级候选参考运动矢量。
10.根据权利要求7，8或9所述的运动矢量预测解码方法，其中， 在计算所述初级候选参考运动矢量的信赖度的步骤中，将与所述解码对象块邻接的已解码像素的集合用作为样本，在已解码的参考图像上将所述样本的区域仅偏移所述初级候选参考运动矢量大小而获得的区域设定为匹配对象区域，计算所述样本的所述已解码像素的集合与所述匹配对象区域中像素的集合之间的近似度作为所述信赖度。
11.根据权利要求7，8或9所述的运动矢量预测解码方法，其中， 在计算所述初级候选参考运动矢量的信赖度的步骤中，以所述初级候选参考运动矢量相关的初级候选块的运动补偿中的解码预测残差信号的微小程度作为信赖度的指标，计算所述信赖度。
12.根据权利要求7至11中任何一项所述的运动矢量预测解码方法，其中， 在确定所述初级候选参考运动矢量的步骤中，从所述初级候选块的解码中所使用的所述运动矢量和以该运动矢量的每一个为基准的规定范围内的运动矢量中,确定所述初级候选参考运动矢量。
13.—种运动图像编码装置，在将编码对象图像分割为块并对每个块使用运动补偿对运动图像进行编码的运动图像编码装置中，包括运动搜索部，使用已编码的参考图像，进行对所述编码对象图像中编码对象块的运动搜索，计算运动矢量； 初级候选参考运动矢量确定部，将相对于所述编码对象图像中所述编码对象块的位置位于预定的相对位置上的、所述编码对象图像中的已编码块和已编码图像中的已编码块的至少一方构成的多个块设定为初级候选块，从所述初级候选块的编码中所使用的运动矢量中确定N个初级候选参考运动矢量，其中N为2以上的整数；信赖度计算部，对所述初级候选参考运动矢量的每一个，使用已编码的图像信息计算信赖度，其中，所述信赖度定量地表示所述编码对象块的运动矢量预测中的有效性；参考运动矢量确定部，从所述N个初级候选参考运动矢量中将信赖度大于规定阈值的初级候选参考运动矢量选出作为次级候选参考运动矢量；以及 运动矢量编码部，使用所述次级候选参考运动矢量计算所述编码对象块的预测运动矢量，对通过所述编码对象块的运动搜索所求出的所述运动矢量与所述预测运动矢量之间的残差进行编码作为所述运动矢量的编码信息。
14.一种运动图像解码装置，在将被分割成块并被编码的运动图像的解码对象图像按照每一个块使用运动补偿进行解码的运动图像解码装置中，具备信息源解码部，将解码对象块的运动矢量预测残差解码； 初级候选参考运动矢量确定部，将相对于所述解码对象图像中的所述解码对象块的位置位于预定的相对位置上的、所述解码对象图像中的已解码块和已解码图像中的已解码块的至少一方构成的多个块设定为初级候选块，从所述初级候选块的解码中所使用的的运动矢量中，确定N个初级候选参考运动矢量，其中，N为2以上的整数； 信赖度计算部，对于每个所述初级候选参考运动矢量，使用已解码的图像信息计算信赖度，其中，所述信赖度定量地表示所述解码对象块的运动矢量预测中的有效性；参考运动矢量确定部，从所述N个初级候选参考运动矢量中，将信赖度大于规定阈值的初级候选参考运动矢量选出作为次级候选参考运动矢量； 运动矢量计算部，使用所述次级候选参考运动矢量计算所述解码对象块的预测运动矢量，将所述预测运动矢量与所述解码后的运动矢量预测残差相加，计算所述解码对象块的运动矢量。
15.一种用于使计算机执行权利要求I至6中任何一项所记载的运动矢量预测编码方法的运动矢量预测编码程序。
16.一种用于使计算机执行权利要求7至12中任何一项所记载的运动矢量预测解码方法的运动矢量预测解码程序。
全文摘要
在运动矢量预测编码中，提高运动矢量的预测效率，提高运动图像的编码效率。使用已编码的参考图像，进行编码对象图像中编码对象块的运动搜索，计算出运动矢量。将相对于编码对象图像中的编码对象块的位置位于预定的相对位置上的、由所述编码对象图像中的已编码块和已编码图像中的已编码块的至少一方构成的多个块设定为初级候选块，从初级候选块的编码中所使用的运动矢量之中确定N个初级候选参考运动矢量。对于每一个初级候选参考运动矢量使用已编码的图像信息，计算信赖度，其中，该信赖度定量地表示编码对象块的运动矢量预测中的有效性。将所述N个初级候选参考运动矢量中信赖度大于规定阈值的初级候选参考运动矢量选出为次级候选参考运动矢量。使用次级候选参考运动矢量计算编码对象块的预测运动矢量，对通过编码对象块的运动搜索所求出的运动矢量与预测运动矢量之间的残差进行编码作为运动矢量的编码信息。
文档编号H04N7/32GK102835110SQ201180008470
公开日2012年12月19日 申请日期2011年2月8日 优先权日2010年2月9日
发明者北原正树, 清水淳, 渡边真由子 申请人:日本电信电话株式会社