视频编码装置、视频解码装置、视频编码方法、视频解码方法、视频编码程序以及视频解码程序的制作方法
【专利摘要】视频编码装置将图像分割为规定尺寸的块，将编码目标块与附近块之间的运动矢量的多个成分值中的、一个成分值作为第一成分，另一个成分值作为第二成分值，并且通过将第一成分值和第二成分值分别进行编码，使用每一个块的运动补偿帧间预测，视频编码装置具备将第一成分的差分值进行编码的第一成分编码单元；以及基于附近块的运动矢量的所述第一成分值与所述编码目标块的运动矢量的所述第一成分值的差分值、和所述附近块的运动矢量的所述第二成分值，求取对所述编码目标块的运动矢量的第二成分值的候补值的发生概率，并基于该发生概率，决定第二成分值的编码字，将第二成分值进行编码的第二成分编码单元。
【专利说明】视频编码装置、视频解码装置、视频编码方法、视频解码方法、视频编码程序以及视频解码程序
【技术领域】
[0001]本发明涉及使用了利用运动补偿的视频编码技术的视频编码装置、视频解码装置、视频编码方法、视频解码方法、视频编码程序以及视频解码程序。
[0002]本申请基于2011年6月29日在日本申请的特愿2011-144122号要求优先权，并在此援用该内容。
【背景技术】
[0003]标准H.264中代表的视频编码中的重要的要素技术的一个中有运动补偿帧间预测。在运动补偿帧间预测中，为了将运动矢量进行高效地编码，进行运动矢量的预测编码(例如，参照非专利文献I)。图13是表示使用了基于现有技术的运动补偿的视频编码装置的结构的框图。在图13中，基于运动补偿的编码部300进行基于运动补偿的编码。运动推定部310通过运动搜索推定图像的运动。运动矢量存储部320存储由运动推定算出的运动矢量。
[0004]运动矢量预测处理部330为了运动矢量的预测编码从编码结束信息预测运动矢量。参照块运动矢量抽出处理部331抽出运动矢量的预测中使用的参照块的运动矢量。中央值算出处理部332算出从参照块抽出的运动矢量的中央值。预测残差算出部340算出运动矢量与预测的运动矢量(以下，称为预测矢量)的差分。编码分配部350在量子化的变换系数、运动矢量的预测残差信号(称为预测误差矢量)中分配可变长编码并输出编码流。
[0005]运动推定部310，当输入编码目标块的视频信号时，通过与编码结束的参照图像的解码信号进行对照进行运动搜索，并算出运动矢量。算出的运动矢量被输入到基于运动补偿的编码部300，在基于运动补偿的编码部300中，通过使用了运动矢量的运动补偿求取视频信号与预测信号的残差信号，将该残差信号通过正交变换、量子化等进行编码处理。处理结果的量子化值等由编码分配部350进行编码并作为编码流输出。另一方面，关于运动矢量，为了编码量削减也进行预测编码。为此，为了以后的参照，运动推定部310算出的运动矢量被存储于运动矢量存储部320。运动矢量预测处理部330使用编码结束的运动矢量算出预测矢量。
[0006]在运动矢量预测处理部330中的运动矢量的预测中，首先，参照块运动矢量抽出处理部331，将位于图14所示的编码目标图像(也称为编码目标图片或帧)的预测目标块(编码目标块)BO的附近的编码结束块作为参照块BI?B3，从运动矢量存储部320抽出它们的运动矢量。图14是表示编码目标图像的预测目标块的一例的图。
[0007]接下来，中央值算出处理部332，算出参照块BI?B3的各运动矢量成分的中央值，并从算出的中央值生成预测矢量。将该预测矢量的生成方法称作空间中值预测。预测残差算出部340算出运动矢量与预测矢量的差分(预测误差矢量)，并将该预测误差矢量向编码分配部350发送。预测误差矢量由编码分配部350进行可变长编码，作为编码流进行输出。
[0008]图15是表示使用了基于现有技术的运动补偿的视频解码装置的结构的框图。在图15中，可变长解码部400将编码流中的可变长编码进行解码。运动矢量算出部410将预测误差矢量与预测矢量进行加法运算。运动矢量存储部420将运动矢量进行存储。运动矢量预测处理部430使用将运动矢量解码结束的信息来预测运动矢量。参照块运动矢量抽出处理部431抽出运动矢量的预测中使用的参照块的运动矢量。中央值算出处理部432算出从参照块抽出的运动矢量成分的中央值。基于运动补偿的解码部440使用算出的运动矢量进行运动补偿，并将解码目标块进行解码，输出解码的视频信号。
[0009]当输入编码流时，可变长解码部400，将编码流中的可变长编码进行解码，将解码目标块的量子化变换系数向基于运动补偿的解码部440发送，并将预测误差矢量向运动矢量算出部410发送。运动矢量算出部410将预测误差矢量与从解码结束的运动矢量求得的预测矢量进行加法运算，输出运动矢量。算出的运动矢量被发送向基于运动补偿的解码部440的同时，被储存到运动矢量存储部420。基于运动补偿的解码部440使用算出的运动矢量进行运动补偿，并将解码目标块进行解码，输出解码的视频信号。
[0010]视频解码装置中的运动矢量预测处理部430的运动矢量的预测处理与图13所示的视频编码装置中的运动矢量预测处理部330的处理是相同的。图16是表示现有的时间方向运动矢量预测处理部的结构的框图。
[0011]在基于标准H.264的编码中，作为B图片的编码中的编码模式的一个，从编码结束块的运动信息预测生成运动信息，并使用被称作省略运动信息的编码的直接模式的编码模式。在直接模式中，有主要利用空间方向的运动信息的空间直接模式和主要利用时间方向的运动信息的时间直接模式。在该时间直接模式中的运动矢量的预测中，运动矢量预测处理部500按下述方式算出预测矢量。
[0012]锚定块运动矢量抽出处理部501从运动矢量存储部510抽出在锚定图片位于与预测目标块相同的位置的块(将其称为锚定块)的运动矢量mvCol。所谓锚定图片指的是，具有求取直接模式的运动矢量时的运动矢量的图片，通常为，按显示顺序排在编码目标图片的后方的最近的参照图片。接下来，外插预测处理部502，从运动矢量mvCol，根据LO的参照图片、编码目标图片以及锚定图片的时间间隔通过比例配分来算出LO的运动矢量mvLO和LI的运动矢量mvLl。
[0013]此外，在B图片中，由于能从任意的参照图片选择最大为2张的图片，所以将该2张作为L0、LI进行区别，并将主要在前方向预测中使用的预测称作LO预测，将主要在后方向预测中使用的预测称作LI预测。运动矢量预测处理部500，将外插预测处理部502算出的运动矢量mvLO、mvLl作为预测矢量进行输出。另外，也有将运动矢量mvCol作为预测矢量的方法。将该预测矢量的生成方法称作Co-located预测。
[0014]现有技术文献 非专利文献
非专利文献1:H.264 / AVC教科书(改订第三版)”，角野真也等，Impress R & D，pp.128-130,2008。
【发明内容】
[0015]本发明所要解决的技术问题
可是，在基于使用了现有的运动补偿的视频编码装置的运动矢量的编码中，在从空间的附近块的运动矢量生成预测矢量，并将该预测矢量与编码目标块的运动矢量的差分矢量作为编码目标，同时预测运动矢量的水平成分和垂直成分的这一点上存在问题。在按运动矢量的水平成分/垂直成分的顺序进行编码的情况(按垂直成分/水平成分的顺序进行编码的情况也相同)下，在解码侧，生成的编码数据按水平成分/垂直成分的顺序被解码。为此，在运动矢量的垂直成分的解码时，能利用已解码的水平成分。另外，由于运动矢量的编码是可逆编码，所以在解码侧变为能利用的运动矢量的水平成分，与在编码侧编码的值相同。
[0016]但是，在现有的运动矢量的编码中，由于运动矢量的各成分被独立地预测/编码，所以不能充分地利用运动矢量的成分间的相关。因此，存在对运动矢量的编码效率改善的余地。
[0017]本发明是鉴于这样的事情而做成的发明，其目的在于，提供一种能使运动矢量的编码效率提高，并比现有技术更能削减运动矢量的编码量的视频编码装置、视频编码方法、视频编码程序以及将通过视频编码装置、视频编码方法、视频编码程序编码的图像进行解码的视频解码装置、视频解码方法、视频解码程序。
[0018]用于解决技术问题的技术方案
本发明为将图像分割为规定尺寸的块，将编码目标块与附近块之间的运动矢量的多个成分值中的、一个成分值作为第一成分值，另一个成分值作为第二成分值，并且通过将所述第一成分值和所述第二成分值分别进行编码，使用了每一个所述块的运动补偿帧间预测的视频编码装置，该视频编码装置具备:第一成分编码部，求取从所述附近块的运动矢量的所述第一成分值生成的所述编码目标块的运动矢量的第一成分值的预测值与所述编码目标块的运动矢量的第一成分值的差分值即所述第一成分的差分值，并将所述第一成分的差分值进行编码；以及第二成分编码部，基于所述附近块的运动矢量的所述第一成分值与所述编码目标块的运动矢量的所述第一成分值的差分值、和所述附近块的运动矢量的所述第二成分值，求取对所述编码目标块的运动矢量的第二成分值的候补值的发生概率，并基于所述发生概率，决定所述第二成分值的编码字，将所述第二成分值进行编码。
[0019]本发明为将图像分割为规定尺寸的块，将编码目标块与附近块之间的运动矢量的多个成分值中的、一个成分值作为第一成分值，另一个成分值作为第二成分值，并且通过将所述第一成分值和所述第二成分值分别进行编码，使用每一个所述块的运动补偿帧间预测进行被编码的所述图像的解码的视频解码装置，该视频解码装置具备:第一成分解码部，将第一成分的差分值进行解码，并将从所述附近块的运动矢量的第一成分值生成的所述编码目标块的运动矢量的第一成分值的预测值和所述第一成分的差分值进行加法运算生成所述第一成分值；以及第二成分解码部，基于所述附近块的运动矢量的所述第一成分值与所述编码目标块的运动矢量的所述第一成分值的差分值、和所述附近块的运动矢量的所述第二成分值，求取对所述编码目标块的运动矢量的第二成分值的候补值的发生概率，并基于所述发生概率，确定所述第二成分值与所述第二成分值的编码字的对应关系，将作为编码数据给予的所述第二成分值的编码字向所述第二成分值进行解码。
[0020]本发明为将图像分割为规定尺寸的块，将编码目标块与附近块之间的运动矢量的多个成分值中的、一个成分值作为第一成分值，另一个成分值作为第二成分值，并且通过将所述第一成分值和所述第二成分值分别进行编码，使用了每一个所述块的运动补偿帧间预测的视频编码方法，该视频编码方法具有:第一成分编码步骤，求取从所述附近块的运动矢量的所述第一成分值生成的所述编码目标块的运动矢量的第一成分值的预测值与所述编码目标块的运动矢量的第一成分值的差分值即所述第一成分的差分值，并将所述第一成分的差分值进行编码；以及第二成分编码步骤，基于所述附近块的运动矢量的所述第一成分值与所述编码目标块的运动矢量的所述第一成分值的差分值、和所述附近块的运动矢量的所述第二成分值，求取对所述编码目标块的运动矢量的第二成分值的候补值的发生概率，并基于所述发生概率，决定所述第二成分值的编码字，将所述第二成分值进行编码。
[0021]本发明为将图像分割为规定尺寸的块，将编码目标块与附近块之间的运动矢量的多个成分值中的、一个成分值作为第一成分值，另一个成分值作为第二成分值，并且通过将所述第一成分值和所述第二成分值分别进行编码，使用每一个所述块的运动补偿帧间预测进行被编码的所述图像的解码的视频解码方法，该视频解码方法具有:第一成分解码步骤，将第一成分的差分值进行解码，并将从所述附近块的运动矢量的第一成分值生成的所述编码目标块的运动矢量的第一成分值的预测值和所述第一成分的差分值进行加法运算生成所述第一成分值；以及第二成分解码步骤，基于所述附近块的运动矢量的所述第一成分值与所述编码目标块的运动矢量的所述第一成分值的差分值、和所述附近块的运动矢量的所述第二成分值，求取对所述编码目标块的运动矢量的第二成分值的候补值的发生概率，并基于所述发生概率，确定所述第二成分值与所述第二成分值的编码字的对应关系，将作为编码数据给予的所述第二成分值的编码字向所述第二成分值进行解码。
[0022]本发明为使将图像分割为规定尺寸的块，将编码目标块与附近块之间的运动矢量的多个成分值中的、一个成分值作为第一成分值，另一个成分值作为第二成分值，并且通过将所述第一成分值和所述第二成分值分别进行编码，使用了每一个所述块的运动补偿帧间预测的视频编码装置上的计算机执行图像编码处理的视频编码程序，该视频编码程序执行如下步骤:第一成分编码步骤，求取从所述附近块的运动矢量的所述第一成分值生成的所述编码目标块的运动矢量的第一成分值的预测值与所述编码目标块的运动矢量的第一成分值的差分值即所述第一成分的差分值，并将所述第一成分的差分值进行编码；以及第二成分编码步骤，基于所述附近块的运动矢量的所述第一成分值与所述编码目标块的运动矢量的所述第一成分值的差分值、和所述附近块的运动矢量的所述第二成分值，求取对所述编码目标块的运动矢量的第二成分值的候补值的发生概率，并基于所述发生概率，决定所述第二成分值的编码字，将所述第二成分值进行编码。
[0023]本发明为使将图像分割为规定尺寸的块，将编码目标块与附近块之间的运动矢量的多个成分值中的、一个成分值作为第一成分值，另一个成分值作为第二成分值，并且通过将所述第一成分值和所述第二成分值分别进行编码，使用每一个所述块的运动补偿帧间预测进行被编码的所述图像的解码的视频解码装置上的计算机执行图像解码处理的视频解码程序，该视频解码程序执行如下步骤:第一成分解码步骤，将第一成分的差分值进行解码，并将从所述附近块的运动矢量的第一成分值生成的所述编码目标块的运动矢量的第一成分值的预测值和所述第一成分的差分值进行加法运算生成所述第一成分值；以及第二成分解码步骤，基于所述附近块的运动矢量的所述第一成分值与所述编码目标块的运动矢量的所述第一成分值的差分值、和所述附近块的运动矢量的所述第二成分值，求取对所述编码目标块的运动矢量的第二成分值的候补值的发生概率，并基于所述发生概率，确定所述第二成分值与所述第二成分值的编码字的对应关系，将作为编码数据给予的所述第二成分值的编码字向所述第二成分值进行解码。
[0024]发明效果
根据基于本发明的一实施方式的视频编码装置，由于变为可削减运动矢量的编码量，所以能得到降低视频编码处理中的产生编码量的效果。
【专利附图】
【附图说明】
[0025]图1是表示本发明的一实施方式中的视频编码装置的结构的框图；
图2是表示本发明的一实施方式中的视频解码装置的结构的框图；
图3是表示图1所示的运动矢量预测处理部的结构的框图；
图4是表示图3所示的矢量预测处理部的处理工作的流程图；
图5是表示将图3所示的矢量预测处理部变形后的结构的框图；
图6是表示图5所示的矢量预测处理部的处理工作的流程图；
图7是表示图2所示的运动矢量预测处理部的结构的框图；
图8是表示图7所示的运动矢量预测处理部的处理工作的流程图；
图9是表示将图7所示的矢量预测处理部变形后的结构的框图；
图10是表示图9所示的矢量预测处理部的处理工作的流程图；
图11是表示附近块的设定例的说明图；
图12是表示图像传输系统的结构的框图；
图13是表示使用了基于现有技术的运动补偿的视频编码装置的结构的框图；
图14是表示编码目标图像的预测目标块的一例的说明图；
图15是表示使用了基于现有技术的运动补偿的视频解码装置的结构的框图；
图16是表示现有的时间方向运动矢量预测处理部的结构的框图。
【具体实施方式】
[0026]以下，参照附图，将基于本发明的一实施方式的视频编码装置和视频解码装置进行说明。图1是表示本发明的一实施方式中的视频编码装置的结构的框图。该实施方式中的视频编码装置1，其运动矢量预测处理部30是与现有技术不同的部分，其它的部分与标准H.264中作为其它的编码器而使用的现有的一般的视频编码装置的结构相同。视频编码装置I输入编码目标的视频信号，并将输入视频信号的帧分割为块且按每一块进行编码，将其比特流作为编码流进行输出。为了进行该编码，预测残差信号算出部10求取输入视频信号与作为运动补偿部19的输出的预测信号的差分，并将其作为预测残差信号进行输出。正交变换部11对预测残差信号进行离散余弦变换(DCT)等的正交变换，输出变换系数。量子化部12将变换系数进行量子化，并输出该量子化的变换系数。编码分配部13将量子化的变换系数进行熵编码，并作为编码流进行输出。
[0027]另一方面，量子化的变换系数也被输入到逆量子化部14，并在此被逆量子化。逆正交变换部15将作为逆量子化部14的输出的变换系数进行逆正交变换，输出预测残差解码信号。在解码信号算出部16中，将该预测残差解码信号与作为运动补偿部19的输出的预测信号进行加法运算，生成编码后的编码目标块的解码信号。为了作为运动补偿部19中的运动补偿的参照图像来使用，该解码信号被储存于帧存储器17。运动推定部18针对编码目标块的视频信号，参照帧存储器17中储存的参照图像进行运动搜索，算出运动矢量。该运动矢量被输出到运动补偿部19和预测误差矢量算出部32，另外，储存于运动矢量存储部31。运动补偿部19使用运动推定部18求得的运动矢量，并通过参照帧存储器17内的图像，输出编码目标块的预测信号。
[0028]就运动补偿中使用的运动矢量而言，为了进行预测编码，通过运动矢量预测处理部30使用编码结束的信息进行运动矢量的预测，并且将运动补偿中使用的运动矢量与预测的运动矢量(将其称为预测矢量)的差分，通过预测误差矢量算出部32算出，将结果作为预测误差矢量，向编码分配部13进行输出。编码分配部13就预测误差矢量而言也通过熵编码分配编码并作为编码流进行输出。
[0029]图2是表示本发明的一实施方式中的视频解码装置的结构的框图。
[0030]在视频解码装置2中，运动矢量预测处理部28是与现有技术不同的部分，其它的部分与标准H.264中作为其它的解码器而使用的现有的一般的视频解码装置的结构相同。视频解码装置2通过输入由图1所示的视频编码装置I编码的编码流并解码，输出解码图像的视频信号。为了进行该解码，解码部20输入编码流，并将解码目标块的量子化变换系数进行熵解码的同时，将预测误差矢量进行解码。
[0031]逆量子化部21输入量子化变换系数，并将其进行逆量子化，输出解码变换系数。逆正交变换部22，对解码变换系数施行逆正交变换，输出解码预测残差信号。在解码信号算出部23中，通过将由运动补偿部27生成的帧间预测信号和解码预测残差信号进行加法运算，生成解码目标块的解码信号。该解码信号被输出到显示装置等的外部的装置的同时，为了作为运动补偿部27中的运动补偿的参照图像来使用，被储存于帧存储器24。
[0032]运动矢量算出部25将解码部20解码的预测误差矢量和运动矢量预测处理部28算出的预测矢量进行加法运算，输出运动补偿中使用的运动矢量。该运动矢量被存储于运动矢量存储部26，并且通知给运动补偿部27。运动补偿部27以输入的运动矢量为基础进行运动补偿，参照帧存储器24的参照图像，生成解码目标块的帧间预测信号。
[0033]该帧间预测信号在解码信号算出部23被加到解码预测残差信号中。运动矢量预测处理部28，使用存储于运动矢量存储部26的解码结束的运动矢量，进行运动矢量的预测，并将求得的预测矢量输出到运动矢量算出部25。
[0034]接下来，对图1所示的运动矢量预测处理部30和图2所示的运动矢量预测处理部28进行说明。二个运动矢量预测处理部30、28具备相同的结构，处理工作也相同。在以下的说明中，将运动矢量的二个成分按进行编码的顺序，分别称作第一成分、第二成分。例如，在按水平成分/垂直成分的顺序进行编码的情况下，水平成分为第一成分，垂直成分变为第二成分。本发明中的视频编码装置利用运动矢量的第一成分进行第二成分的编码。以下，将运动矢量的水平成分作为第一成分，将该垂直成分作为第二成分进行说明。此外，将第一成分和第二成分相反地分配也是相同的。
[0035]起初，将运动矢量预测处理部30、28的处理工作的原理简单地进行说明。首先，对编码目标块设定M个附近块。将附近块的设定例表示在图11 (a) (b) (C)。图11 (a) (b)(c )是对块A分别将附近块设定成2个(块BO、BI)、3个(块BO、B1、B2 )、4个(块BO、B1、B2、B3)的例子。此外，附近块并不限定于该图的例子中，而能使其数量增减。在编码目标块、附近块中赋予运动矢量。将编码目标块的运动矢量设为(Vx，Vy)，将第m个附近块的运动矢量设为(ux ω, Uy ω)。此外,设 m = 0,..., M-10
[0036]在编码目标块与附近块之间，对运动矢量的第一成分求取差分值。将其称作第一成分差分值。将该第一成分差分值的集合设置为如下那样。
[0037]Ex = (ex (0),, ex (Μ_1))
此处，为ex (m) = vx-ux (m)。该第一成分差分值的大小表示对应的附近块与编码目标块的第一成分类似的情况，能预料到相同的类似性对第二成分也成立。
[0038]于是，基于第一成分差分值，按下式那样推定第二成分的发生概率。
[0039][<img/[0040]在此，A是用于以关于p (x)的X的总和变为I的方式进行正规化的常量。另外，f ()使用以下的一般性高斯分布。
[0041][数2]
<img/[0042]在此，q是表示分布的形状的参数，λ是与分布的分散关联的参数。另外， (ζ)是由式(2)定义的伽马函数。
[0043][数3]
<img/
[0044]f (x_Uy(m))在uy(m)中取最大的值，并按照从uy(m)离开，该值减少。将该f (x-uy(m))以第一成分差分值的倒数附上权重而取得加权和的是式(I)。也就是说，在第一成分差分值的小的Uy (m)的附近，P (X)变为给予大的值。基于式(I)，将发生概率按降序进行排序，使用给予的编码表将排序后的值变换为二进制。作为编码表的例子，能适用Golomb编码、Exp-Golomb 编码。
[0045]接下来，参照图3，将图1所示的运动矢量预测处理部30的结构进行说明。图3是表示图1所示的运动矢量预测处理部30的结构的框图。在该图中，编码目标块MV存储部100将编码目标块的运动矢量的第一成分和对第一成分的预测值进行存储。附近块MV读入处理部101读入指定的附近块的运动矢量。附近块MV存储部102将附近块的运动矢量进行存储。预测值生成处理部103输入附近块的运动矢量的第一成分，生成对编码目标块的运动矢量的第一成分的预测值。预测值的生成方法作为预先给的生成方法，例如，能适用空间中值预测。[0046]差分值生成处理部104输入编码目标块MV存储部100中存储的编码目标块的运动矢量的第一成分以及对从预测值生成处理部103输出的第一成分的预测值，并输出两者的差分值。二进制变换处理部105将从差分值生成处理部104输出的差分值变换为二进制
串O
[0047]向二进制串的具体的变换是编码时给予的变换。例如，使用Golomb编码、Exp-Golomb编码。附图标记106是将从二进制变换处理部105输出的二进制串进行熵编码的熵编码处理部。具体的熵编码是编码时给予的熵编码。例如，使用在H.264 / AVC中采用的CABAC。
[0048]预测值生成处理部107输入附近块的运动矢量的第二成分，生成对编码目标块的运动矢量的第二成分的预测值。预测值的生成方法是预先给予的生成方法，例如，能适用空间中值预测。
[0049]差分值生成处理部108输入编码目标块MV存储部100中存储的编码目标块的运动矢量的第二成分以及对从预测值生成处理部107输出的第二成分的预测值，输出两者的差分值。二进制变换处理部109将从差分值生成处理部108输出的差分值变换为二进制串。向二进制串的具体的变换是编码时给予的变换。例如，适用Golomb编码、Exp-Golomb编码。熵编码处理部110将从二进制变换处理部109输出的二进制串进行熵编码。具体的的熵编码是编码时给予的熵编码。例如，使用在H.264 / AVC中采用的CABAC。
[0050]接下来，参照图4，将图3所示的矢量预测处理部30的处理工作进行说明。图4是表示图3所示的矢量预测处理部30的处理工作的流程图。首先，预测值生成处理部103读入指定的附近块的运动矢量(步骤SI)，并从附近块的运动矢量的第一成分，生成对编码目标块的运动矢量的第一成分的预测值(步骤S2)。预测值的生成方法是预先给予的生成方法，例如，能适用上述的空间中值预测。
[0051]接下来，差分值生成处理部104从与编码目标块的运动矢量的第一成分相同成分的预测值，生成两者的差分值(步骤S3)。接着，二进制变换处理部105将生成的差分值变换为二进制串(步骤S4)。向二进制串的具体的变换是编码时给予的变换。例如，使用Golomb编码、Exp-Golomb编码。熵编码处理部106将二进制串进行熵编码并输出(步骤S5)。具体的熵编码是编码时给予的熵编码。例如，使用在H.264 / AVC中采用的CABAC。
[0052]与该工作并行，预测值生成处理部107读入指定的附近块的运动矢量，从附近块的运动矢量的第二成分，生成对编码目标块的运动矢量的第二成分的预测值(步骤S6)。预测值的生成方法是预先给予的生成方法，例如，能适用上述的空间中值预测。
[0053]接下来，差分值生成处理部108从与编码目标块的运动矢量的第二成分相同成分的预测值，生成两者的差分值(步骤S7)。接着，二进制变换处理部109将生成的差分值变换为二进制串(步骤S8)。向二进制串的具体的变换是编码时给予的变换。例如使用Golomb编码、Exp-Golomb编码。熵编码处理部110将二进制串进行熵编码并输出(步骤S9)。具体的熵编码是编码时给予的熵编码。例如，使用在H.264 / AVC采用的CABAC。
[0054]接下来，参照图5，对将图3所示的矢量预测处理部30变形后的结构进行说明。图5是表示将图3所示的矢量预测处理部30变形后的结构的框图。
[0055]在图5中，在与图3所示的装置相同的部分中标记相同的附图标记，并省略该说明。该图所示的装置与图3所示的装置的不同点在于，设置有对第一成分的差分值生成处理部111、第二成分的概率密度函数推定处理部112以及二进制变换映射表生成处理部113的这一点上。
[0056]对第一成分的差分值生成处理部111读入附近块MV存储部102中存储的各附近块的运动矢量的第一成分以及编码目标块MV存储部100中储存的编码目标块的运动矢量的第一成分，并输出对编码目标块的运动矢量的第一成分的各附近块的运动矢量的第一成分的差分值。第二成分的概率密度函数推定处理部112从输出的差分值以及各附近块的运动矢量的第二成分，根据式(I)，输出编码目标块的运动矢量的第二成分的概率密度函数。另外，规定一般性的高斯分布的参数q、λ是从外部给予的参数。
[0057]二进制变换映射表生成处理部113使用输出的概率密度函数，将编码目标块的运动矢量的第二成分的候补值通过发生概率按降序排序，求取对编码目标块的运动矢量的第二成分的全候补矢量内的位次。二进制变换处理部109输入对在二进制变换映射表生成处理部113中求得的运动矢量的第二成分的位次，并将该位次变换为二进制。对该位次的值的具体的二进制串的分割是编码时给予的分割。例如，使用Golomb编码、Exp-Golomb编码。
[0058]接下来，参照图6，将图5所示的矢量预测处理部30的处理工作进行说明。图6是表示图5所示的矢量预测处理部30的处理工作的流程图。首先，预测值生成处理部103读入指定的附近块的运动矢量(步骤SI)，从附近块的运动矢量的第一成分，生成对编码目标块的运动矢量的第一成分的预测值(步骤S2)。预测值的生成方法是预先给予的生成方法，例如，能适用上述的空间中值预测。
[0059]接下来，差分值生成处理部104从与编码目标块的运动矢量的第一成分相同成分的预测值，生成两者的差分值(步骤S3)。接着，二进制变换处理部105将生成的差分值变换为二进制串(步骤S4)。向二进制串的具体的变换是编码时给予的变换。例如，使用Golomb编码、Exp-Golomb编码。熵编码处理部106将二进制串进行熵编码并输出(步骤S5)。具体的熵编码是编码时给予的熵编码。例如，使用在H.264 / AVC中采用的CABAC。
[0060]与该工作并行，对第一成分的差分值生成处理部111，读入作为附近块指定的各块的运动矢量的第一成分和编码目标块的运动矢量的第一成分，输出对编码目标块的运动矢量的各附近块的运动矢量的第一成分差分值(步骤S61 )。接着，第二成分的概率密度函数推定处理部112输入各附近块的运动矢量的第一成分差分值ex (m)以及各附近块的运动矢量的第二成分uy (m)(设m = O,根据式(I),输出编码目标块的运动矢量的第二成分的概率密度函数(步骤S71)。规定一般性高斯分布的参数q、λ是从外部给予的参数。
[0061]接下来，二进制变换映射表生成处理部113将输出的概率密度函数进行输入，并使用该概率密度函数，将编码目标块的运动矢量的第二成分的候补值通过发生概率按降序排序，求取对编码目标块的运动矢量的第二成分的全候补内的位次(步骤S72)。进而，二进制变换处理部109，对编码目标块的运动矢量的第二成分和该第二成分，基于求得的位次，将该第二成分变换为二进制(步骤S81)。对排序后的值的具体的二进制串的分配是编码时给予的分配。例如，使用Golomb编码、Exp-Golomb编码。熵编码处理部11,将二进制串进行熵编码并输出(步骤S9)。
[0062]接下来，参照图7，将图2所示的运动矢量预测处理部28的结构进行说明。图7是表示图2所示的运动矢量预测处理部28的结构的框图。在该图中，附图标记201是读入指定的附近块的运动矢量的附近块MV读入处理部。附近块MV存储部202将读入的附近块的运动矢量进行存储。预测值生成处理部203输入附近块MV存储部202存储的附近块的运动矢量的第一成分，生成对解码目标块的运动矢量的第一成分的预测值。预测值的生成方法是预先给予的生成方法，例如，能适用上述的空间中值预测。
[0063]熵解码处理部204将与编码数据存储部200中存储的运动矢量的第一成分有关的编码数据进行输入，进行熵解码处理，生成二进制串。具体的熵解码处理是解码时给予的熵解码处理。例如，使用在H.264 / AVC中采用的CABAC。二进制逆变换处理部205将输出的二进制串变换为第一成分差分值。加法运算处理部206将输出的二进制串和从预测值生成处理部203输出的预测值进行输入，将两者进行加法运算，输出运动矢量的第一成分。
[0064]预测值生成处理部207输入附近块MV存储部202中存储的附近块的运动矢量的第二成分，生成对解码目标块的运动矢量的第二成分的预测值。预测值的生成方法是预先给予的，例如，能适用前述的空间中值预测。
[0065]熵解码处理部208输入与编码数据存储部200中存储的运动矢量的第二成分相关的编码数据，并进行熵解码处理，生成二进制串。具体的熵解码处理是解码时给予的熵解码处理。例如，使用在H.264 / AVC中采用的CABAC。二进制逆变换处理部209将输出的二进制串变换为第二成分差分值。加法运算处理部210将输出的二进制串和从预测值生成处理部207输出的预测值进行输入，将两者进行加法运算，输出运动矢量的第二成分。
[0066]接下来，参照图8，将图7所示的运动矢量预测处理部28的处理工作进行说明。图8是表示图7所示的运动矢量预测处理部28的处理工作的流程图。首先，预测值生成处理部203读入指定的附近块的运动矢量(步骤S11)。熵解码处理部204输入与第一成分的运动矢量相关的编码数据，进行熵解码处理，并生成二进制串并输出(步骤S12)。具体的熵解码处理是解码时给予的熵解码处理。例如，使用在H.264 / AVC中采用的CABAC。
[0067]接下来，二进制逆变换处理部205将二进制串进行逆变换，输出第一成分差分值(步骤S13)。二进制串的具体的逆变换是另外给予的逆变换。例如，使用Golomb编码、Exp-Golomb编码的编码表。接着，预测值生成处理部203从附近块的运动矢量的第一成分，生成对解码目标块的运动矢量的第一成分的预测值(步骤S14)。预测值的生成方法是预先给予的生成方法，例如，能适用上述的空间中值预测。进而，加法运算处理部206将输出的第一成分差分值和输出的预测值进行输入，将两者进行加法运算，将相加值作为解码目标块的运动矢量的第一成分进行输出(步骤S15)。
[0068]与该工作并行，预测值生成处理部207读入指定的附近块的运动矢量(步骤S11)。熵解码处理部208输入与第二成分的运动矢量相关的编码数据，并进行熵解码处理，生成二进制串并输出(步骤S16)。具体的熵解码处理是解码时给予的熵解码处理。例如，使用在H.264 / AVC 采用的 CABAC。
[0069]接下来，二进制逆变换处理部209将二进制串进行逆变换，输出第二成分差分值(步骤S17)。二进制串的具体的逆变换是另外给予的逆变换。例如，使用Golomb编码、Exp-Golomb编码的编码表。接着，预测值生成处理部207从附近块的运动矢量的第二成分，生成对解码目标块的运动矢量的第二成分的预测值(步骤S18)。预测值的生成方法是预先给予的生成方法，例如，能适用上述的空间中值预测。进而，加法运算处理部210将输出的第二成分差分值和输出的预测值进行输入，并将两者进行加法运算，将相加值作为解码目标块的运动矢量的第二成分进行输出(步骤S19)。[0070]接下来，参照图9，将把图7所示的矢量预测处理部28变形后的结构进行说明。图9是表示将图7所示的矢量预测处理部28变形后的结构的框图。在该图中，在与图7所示的装置相同的部分标记相同的附图标记，省略其说明。该图所示的装置与图7所示的装置不同的点在于，设置有对第一成分的差分值生成处理部211、第二成分的概率密度函数推定处理部212以及变换映射表生成处理部213的这一点上。
[0071]对第一成分的差分值生成处理部211，输入附近块MV存储部202中存储的各附近块的运动矢量的第一成分和编码数据存储部200中存储的解码目标块的运动矢量的第一成分，并输出对解码目标块的运动矢量的各附近块的运动矢量的第一成分差分值。第二成分的概率密度函数推定处理部212输入各附近块的运动矢量的第一成分差分值以及各附近块的运动矢量的第二成分，根据式(I)，输出解码目标块的运动矢量的第二成分的概率密度函数。另外，规定一般性高斯分布的参数q、λ是从外部给予的参数。
[0072]变换映射表生成处理部213将输出的概率密度函数进行输入，并使用概率密度函数，将解码目标块的运动矢量的第二成分的候补值通过发生概率按降序排序，求取该第二成分的全候补值的位次与该第二成分的对应关系(变换映射表)。
[0073]熵解码处理部208输入与编码数据存储部200存储的运动矢量的第二成分相关的编码数据，进行熵解码处理，并生成二进制串。具体的熵解码处理是解码时给予的熵解码处理。例如，使用在H.264 / AVC中采用的CABAC。二进制变换处理部209将输出的与该第二成分相关的二进制串进行逆变换，算出对解码目标块的运动矢量的第二成分的全候补矢量内的位次。该逆变换是通过反查编码时使用的编码表(例如，Golomb编码、Exp-Golomb编码)来实现的。进而，将算出的同位次以及变换映射表作为输入，并将该位次的信息变换为解码目标块的运动矢量的第二成分。
[0074]接下来，参照图10，将图9所示的矢量预测处理部28的处理工作进行说明。图10是表示图9所示的矢量预测处理部28的处理工作的流程图。首先，预测值生成处理部203读入指定的附近块的运动矢量(步骤S11)。熵解码处理部204输入与第一成分的运动矢量相关的编码数据，进行熵解码处理，生成二进制串并输出(步骤S12)。具体的熵解码处理是解码时给予的熵解码处理。例如，使用在H.264 / AVC中采用的CABAC。
[0075]接下来，二进制逆变换处理部205将二进制串进行逆变换，输出第一成分差分值(步骤S13)。二进制串的具体的逆变换是另外给予的逆变换。例如，使用Golomb编码、Exp-Golomb编码的编码表。接着，预测值生成处理部203从附近块的运动矢量的第一成分，生成对解码目标块的运动矢量的第一成分的预测值(步骤S14)。预测值的生成方法是预先给予的生成方法，例如，能适用上述的空间中值预测。进而，加法运算处理部206将输出的第一成分差分值和输出的预测值进行输入，并将两者进行加法运算，将相加值作为解码目标块的运动矢量的第一成分进行输出(步骤S15)。
[0076]与该工作并行，熵解码处理部208输入与第二成分的运动矢量相关的编码数据，进行熵解码处理，生成二进制串并输出(步骤S16)。对第一成分的差分值生成处理部211输入作为附近块指定的各块的运动矢量的第一成分和解码目标块的运动矢量的第一成分，并输出对解码目标块的运动矢量的各附近块的运动矢量的第一成分差分值(步骤S171)。
[0077]接下来，第二成分的概率密度函数推定处理部212，将输出的差分值和各附近块的运动矢量的第二成分进行输入，并根据式(I )，推定解码目标块的运动矢量的第二成分的概率密度函数并输出(步骤S172)。另外，规定一般性高斯分布的参数q、λ是从外部给予的参数。接着，变换映射表生成处理部213，使用输出的概率密度函数，将解码目标块的运动矢量的第二成分的候补值通过发生概率按降序排序，生成该第二成分的全候补值的位次和该第二成分的对应关系(变换映射表)(步骤S181)。
[0078]接下来，二进制变换处理部209将与在步骤S16输出的该第二成分相关的二进制串进行逆变换，算出对解码目标块的运动矢量的第二成分的全候补矢量内的位次。该逆变换是通过反查编码时使用的编码表(例如，Golomb编码、Exp-Golomb编码)来实现的。进而，将算出的该位次和变换映射表作为输入，将该位次的信息变换为解码目标块的运动矢量的第二成分(步骤S191)。
[0079]接下来，参照图12，将包含图1、图2所示的视频编码装置、视频解码装置的图像传输系统的结构进行说明。图12是表示图像传输系统的结构的框图。在图12中，视频输入部601输入由摄像机等拍摄的视频。视频编码装置602由图1所示的视频编码装置构成，将由视频输入部601输入的视频进行编码并发送。传输路径603将从视频编码装置602发送来的编码视频的数据进行传输。视频解码装置604由图2所示的视频解码装置构成，接收由传输路径603传输的编码视频的数据，将编码视频的数据进行解码并输出。视频输出部605将视频解码装置604中解码的视频向显示装置等输出。
[0080]接下来，将图12所示的图像传输系统的工作进行说明。视频编码装置602，经由视频输入部601，输入视频的数据，并按视频的每一帧，通过上述处理工作进行编码。进而，视频编码装置602将编码后的视频数据经由传输路径603对视频解码装置604进行发送。视频解码装置604将该编码视频数据通过上述处理工作进行解码并经由视频输出部605，在显示装置等中显示视频。
[0081]如上所述，由于做成了利用运动矢量的第一成分值，进行第二成分值的编码，所以变为可削减第二成分值的编码量，并能降低视频编码处理中的产生编码量。
[0082]此外，将用于实现图1中的处理部的功能的程序记录于计算机可读取的记录介质，并将该记录介质中记录的程序读入到计算机系统，通过执行，进行图像编码处理以及图像解码处理也可以。
[0083]此外，在此所述的“计算机系统”是指，包括OS、周边设备等的硬件的计算机系统。另外，“计算机系统”也是包含有具备互联网主页提供环境(或显示环境)的WWW系统的计算机系统。另外，“计算机可读取的记录介质”是指，软盘、光磁盘、ROM、⑶-ROM等的可移动介质、内置于计算机系统的硬盘等的存储装置。进而，“计算机可读取的记录介质”是指，经由因特网等的网络、电话线路等的通信线路发送了程序的情况下的变为服务器、客户端的计算机系统内部的易失性存储器(RAM)那样，也包含在一定时间保持程序的存储器。
[0084]另外，上述程序，从存储装置等中储存了该程序的计算机系统，经由传输介质，或者，通过传输介质中的传输波被传输到其它的计算机系统也可以。在此，将传输程序的“传输介质”称为如因特网等的网络(通信网)、电话线路等的通信线路(通信线)那样具有传输信息的功能的介质。另外，上述程序即便是用于实现前述的功能的一部分的程序也可以。进而，即便是以与计算机系统中已记录的程序的组合能实现前述的功能的、所谓的差分文件(差分程序)也可以。
[0085]工业实用性 涉及本发明的视频编码装置，能适用于使运动矢量的编码效率提高，并且比现有技术更削减运动矢量的编码量的情况不可缺的用途中。
[0086]附图标记的说明
1视频编码装置
2视频解码装置
100编码目标块MV存储部
101附近块MV读入处理部
102附近块MV存储部
103预测值生成处理部
104差分值生成处理部
105二进制变换处理部
106熵编码部
109二进制变换处理部
110熵编码处理部
111对第一成分的差分值生成处理部
112第二成分的概率密度函数推定处理部
113二进制变换映射表生成处理部
200编码数据存储部
201附近块MV读入处理部
202附近块MV存储部
203预测值生成处理部
204熵解码处理部
205二进制逆变换处理部
206加法运算处理部
208熵解码处理部
209二进制变换处理部
211对第一成分的差分值生成处理部
212第二成分的概率密度函数推定处理部
213变换映射表生成处理部。
【权利要求】
1.一种视频编码装置，其为将图像分割为规定尺寸的块，将编码目标块与附近块之间的运动矢量的多个成分值中的、一个成分值作为第一成分值，另一个成分值作为第二成分值，并且通过将所述第一成分值和所述第二成分值分别进行编码，使用了每一个所述块的运动补偿帧间预测的视频编码装置， 该视频编码装置具备: 第一成分编码部，求取从所述附近块的运动矢量的所述第一成分值生成的所述编码目标块的运动矢量的第一成分值的预测值与所述编码目标块的运动矢量的第一成分值的差分值即所述第一成分的差分值，并将求得的所述第一成分的差分值进行编码；以及 第二成分编码部，基于所述附近块的运动矢量的所述第一成分值与所述编码目标块的运动矢量的所述第一成分值的差分值、和所述附近块的运动矢量的所述第二成分值，求取对所述编码目标块的运动矢量的第二成分值的候补值的发生概率，并基于所述发生概率，决定所述第二成分值的编码字，将所述第二成分值进行编码。
2.一种视频解码装置，其为将图像分割为规定尺寸的块，将编码目标块与附近块之间的运动矢量的多个成分值中的、一个成分值作为第一成分值，另一个成分值作为第二成分值，并且通过将所述第一成分值和所述第二成分值分别进行编码，使用每一个所述块的运动补偿帧间预测进行被编码的所述图像的解码的视频解码装置， 该视频解码装置具备: 第一成分解码部，将第一成分的差分值进行解码，并将从所述附近块的运动矢量的第一成分值生成的所述编码目标块的运动矢量的第一成分值的预测值和所述第一成分的差分值进行加法运算生成所述第一成分值；以及 第二成分解码部，基于所述附近块的运动矢量的所述第一成分值与所述编码目标块的运动矢量的所述第一成分值的差分值、和所述附近块的运动矢量的所述第二成分值，求取对所述编码目标块的运动矢量的第二成分值的候补值的发生概率，基于所述发生概率，确定所述第二成分值与所述第二成分值的编码字的对应关系，将作为编码数据给予的所述第二成分值的编码字向所述第二成分值进行解码。
3.一种视频编码方法，其为将图像分割为规定尺寸的块，将编码目标块与附近块之间的运动矢量的多个成分值中的、一个成分值作为第一成分值，另一个成分值作为第二成分值，并且通过将所述第一成分值和所述第二成分值分别进行编码，使用了每一个所述块的运动补偿帧间预测的视频编码方法， 该视频编码方法具有: 第一成分编码步骤，求取从所述附近块的运动矢量的所述第一成分值生成的所述编码目标块的运动矢量的第一成分值的预测值与所述编码目标块的运动矢量的第一成分值的差分值即所述第一成分的差分值，并将所述第一成分的差分值进行编码；以及 第二成分编码步骤，基于所述附近块的运动矢量的所述第一成分值与所述编码目标块的运动矢量的所述第一成分值的差分值、和所述附近块的运动矢量的所述第二成分值，求取对所述编码目标块的运动矢量的第二成分值的候补值的发生概率，并基于所述发生概率，决定所述第二成分值的编码字，将所述第二成分值进行编码。
4.一种视频解码方法，其为将图像分割为规定尺寸的块，将编码目标块与附近块之间的运动矢量的多个成分值中的、一个成分值作为第一成分值，另一个成分值作为第二成分值，并且通过将所述第一成分值和所述第二成分值分别进行编码，使用每一个所述块的运动补偿帧间预测进行被编码的所述图像的解码的视频解码方法， 该视频解码方法具有: 第一成分解码步骤，将第一成分的差分值进行解码，并将从所述附近块的运动矢量的第一成分值生成的所述编码目标块的运动矢量的第一成分值的预测值和所述第一成分的差分值进行加法运算生成所述第一成分值；以及 第二成分解码步骤，基于所述附近块的运动矢量的所述第一成分值与所述编码目标块的运动矢量的所述第一成分值的差分值、和所述附近块的运动矢量的所述第二成分值，求取对所述编码目标块的运动矢量的第二成分值的候补值的发生概率，并基于所述发生概率，确定所述第二成分值与所述第二成分值的编码字的对应关系，将作为编码数据给予的所述第二成分值的编码字向所述第二成分值进行解码。
5.一种视频编码程序，其为使将图像分割为规定尺寸的块，将编码目标块与附近块之间的运动矢量的多个成分值中的、一个成分值作为第一成分值，另一个成分值作为第二成分值，并且通过将所述第一成分值和所述第二成分值分别进行编码，使用了每一个所述块的运动补偿帧间预测的视频编码装置上的计算机执行图像编码处理的视频编码程序， 该视频编码程序执行如下步骤: 第一成分编码步骤， 求取从所述附近块的运动矢量的所述第一成分值生成的所述编码目标块的运动矢量的第一成分值的预测值与所述编码目标块的运动矢量的第一成分值的差分值即所述第一成分的差分值，并将所述第一成分的差分值进行编码；以及 第二成分编码步骤，基于所述附近块的运动矢量的所述第一成分值与所述编码目标块的运动矢量的所述第一成分值的差分值、和所述附近块的运动矢量的所述第二成分值，求取对所述编码目标块的运动矢量的第二成分值的候补值的发生概率，并基于所述发生概率，决定所述第二成分值的编码字，将所述第二成分值进行编码。
6.一种视频解码程序，其为使将图像分割为规定尺寸的块，将编码目标块与附近块之间的运动矢量的多个成分值中的、一个成分值作为第一成分值，另一个成分值作为第二成分值，并且通过将所述第一成分值和所述第二成分值分别进行编码，使用每一个所述块的运动补偿帧间预测进行被编码的所述图像的解码的视频解码装置上的计算机执行图像解码处理的视频解码程序， 该视频解码程序执行如下步骤: 第一成分解码步骤，将第一成分的差分值进行解码，并将从所述附近块的运动矢量的第一成分值生成的所述编码目标块的运动矢量的第一成分值的预测值和所述第一成分的差分值进行加法运算生成所述第一成分值；以及 第二成分解码步骤，基于所述附近块的运动矢量的所述第一成分值与所述编码目标块的运动矢量的所述第一成分值的差分值、和所述附近块的运动矢量的所述第二成分值，求取对所述编码目标块的运动矢量的第二成分值的候补值的发生概率，并基于所述发生概率，确定所述第二成分值与所述第二成分值的编码字的对应关系，将作为编码数据给予的所述第二成分值的编码字向所述第二成分值进行解码。
【文档编号】H04N19/70GK103636216SQ201280028607
【公开日】2014年3月12日 申请日期:2012年6月26日 优先权日:2011年6月29日
【发明者】坂东幸浩, 松尾翔平, 高村诚之, 如泽裕尚 申请人:日本电信电话株式会社