运动图像解码装置制造方法
【专利摘要】运动图像编码装置对运动图像进行运动补偿预测编码，具备：取得部，从与编码对象块邻接的编码完毕的块中求出作为具有运动矢量的块的可利用的块以及上述可利用的块的数量；选择部，从编码完毕的块即上述可利用的块中选择1个选择块；选择信息编码部，使用与上述可利用的块的数量对应的代码表，对确定上述选择块的选择信息进行编码；以及图像编码部，使用上述选择块具有的运动矢量，对上述编码对象块进行运动补偿预测编码。
【专利说明】运动图像解码装置
[0001]本申请为同一 申请人:于2009年6月18日提交的申请号为200980159915.4(PCT/JP2009/061130)、发明名称为“运动图像编码装置以及运动图像解码装置”的中国专利申请的分案申请。
【技术领域】
[0002]本发明涉及根据编码以及解码完毕的图像求出运动矢量并进行补偿预测的运动图像编码装置以及运动图像解码装置。
【背景技术】
[0003]作为运动图像的编码中使用的技术之一，有运动补偿预测。在运动补偿预测中，在运动图像编码装置中使用希望新编码的编码对象图像、和已经得到的局部解码图像求出运动矢量，并使用该运动矢量进行运动补偿，从而生成预测图像。
[0004]作为在运动补偿预测中求出运动矢量的方法之一，有使用从编码完毕的块的运动矢量导出的编码对象块的运动矢量，生成预测图像的直接模式(参照日本专利第4020789号以及美国专利第7233621号)。在直接模式中，不对运动矢量进行编码，所以可以削减运动矢量信息的代码量。在H.264/AVC中采用直接模式。
【发明内容】
[0005]在直接模式中，在预测生成编码对象块的运动矢量时，通过根据与编码对象块邻接的编码完毕的块的运动矢量的中央值计算运动矢量的被固定的方法生成运动矢量。因此，运动矢量计算的自由度低。另外，在为了提高上述自由度而使用了从多个编码完毕的块中选择I个的运动矢量的计算方法的情况下，为了表示所选择出的编码完毕的块，必须始终将该块的位置作为运动矢量选择信息而发送。因此，导致代码量增加。
[0006]本发明的目的在于提供一种运动图像编码装置以及运动图像解码装置，从编码完毕的块中选择I个而提高运动矢量计算的自由度，并且削减运动矢量选择信息的附加信肩、O
[0007]本发明的一个方式提供一种运动图像编码装置，对运动图像进行运动补偿预测编码，该运动图像编码装置具备:取得部，从与编码对象块邻接的编码完毕的块，求出作为具有运动矢量的块的可利用的块以及所述可利用的块的数量；选择部，从作为编码完毕的块的所述可利用的块中选择I个选择块；选择信息编码部，使用与所述可利用的块的数量对应的代码表，对确定所述选择块的选择信息进行编码；以及图像编码部，使用所述选择块具有的运动矢量对所述编码对象块进行运动补偿预测编码。
[0008]本发明的另一方式提供一种运动图像解码装置，对运动图像进行运动补偿预测解码，该运动图像解码装置具备:选择信息解码部，根据作为与解码对象块邻接且具有运动矢量的已解码块的可利用的块的数量切换代码表，对选择信息进行解码；运动矢量选择部，从所述可利用的块中选择由通过所述选择信息解码部解码了的选择信息所示的I个运动矢量；以及图像解码部，使用由所述运动矢量选择部选择出的运动矢量，对解码对象图像进行运动补偿预测解码。
【专利附图】
【附图说明】
[0009]图1是本发明的实施方式的运动图像编码装置的框图。
[0010]图2是示出运动图像编码装置的处理步骤的流程图。
[0011]图3是示出取得部/选择部的处理步骤的流程图。
[0012]图4A是说明基于块尺寸的判别方法的图。
[0013]图4B是说明基于块尺寸的判别方法的图。
[0014]图4C是说明基于块尺寸的判别方法的图。
[0015]图5是说明基于单向或者双向预测的判别方法的图。
[0016]图6是示出选择信息编码部的处理步骤的流程图。
[0017]图7是选择信息的索引的一个例子。
[0018]图8是选择信息的代码表的一个例子。
[0019]图9是语法构造的概略。
[0020]图10是宏块层的数据构造。
[0021]图11是本发明的实施方式的运动图像解码装置的框图。
[0022]图12是示出运动图像解码装置的处理步骤的流程图。
【具体实施方式】
[0023]以下，参照附图，说明本发明的实施方式。
[0024]参照图1，说明一个实施方式的运动图像编码装置。减法器101构成为计算输入运动图像信号11与预测图像信号15的差分并输出预测误差信号12。减法器101的输出端经由正交变换器102以及量化器103连接到可变长度编码器111。正交变换器102对来自减法器101的预测误差信号12进行正交变换，生成正交变换系数，量化器103对正交变换系数进行量化，输出量化正交变换系数信息13。可变长度编码器111对来自量化器103的量化正交变换系数信息13进行可变长度编码。
[0025]量化器103的输出端经由逆量化器104以及逆正交变换器105连接到加法器106。逆量化器104对量化正交变换系数信息13进行逆量化，变换为正交变换系数。逆正交变换器105将正交变换系数变换为预测误差信号。加法器106对逆正交变换器105的预测误差信号和预测图像信号15进行加法运算，生成局部解码图像信号14。加法器105的输出端经由帧存储器107连接到运动补偿预测器108。
[0026]帧存储器107保存局部解码图像信号14。设定部114设定编码对象块的运动补偿预测模式(预测模式)。预测模式包括使用I幅参照图像的单向预测、和使用2幅参照图像的双向预测。单向预测包括AVC的LO预测以及LI预测。运动补偿预测器108具备预测器109和取得部/选择部110。取得部/选择部110根据与编码对象块邻接的编码完毕的块，求出作为具有运动矢量的块的可利用的块以及上述可利用的块的数量，从可利用的块中选择I个选择块。运动补偿预测器108从帧存储器107根据局部解码图像信号14和输入运动图像信号11生成预测图像信号15。取得部/选择部110从与编码对象块邻接的邻接块选择I个块(选择块)。例如，将邻接块中的具有适合的运动矢量的块选择为选择块。取得部/选择部110将选择块具有的运动矢量选择为用于运动补偿预测的运动矢量16，并发送到预测器109。另外，取得部/选择部110生成选择块的选择信息17，并发送到可变长度编码器111。
[0027]可变长度编码器111具有选择信息编码部112。选择信息编码部112以在代码表中具有与作为编码完毕的块的可利用块的块的数量相等数量的记录的方式切换代码表，并且对选择信息17进行可变长度编码。可利用的块是指与编码对象块邻接的编码完毕的块中的、具有运动矢量的块。复用器(多路复用器)113对编码后的量化正交变换系数信息以及选择信息进行复用，输出编码数据。
[0028]参照图2的流程图，说明上述结构的运动图像编码装置的作用。
[0029]首先，生成预测误差信号12 (Sll)0在该预测误差信号12的生成中，选择运动矢量，使用所选择出的运动矢量生成预测图像。通过减法器101计算该预测图像的信号即预测图像信号15与输入运动图像信号11的差分，从而生成预测误差信号12。
[0030]通过正交变换器102对预测误差信号12实施正交变换，生成正交变换系数(S12)。通过量化器103对正交变换系数进行量化(S13)。通过逆量化器104对量化后的正交变换系数信息进行逆量化(S14)，之后，通过逆正交变换器105进行逆正交变换，得到再生的预测误差信号(S15)。在加法器106中，通过对再生的预测误差信号和预测图像信号15进行加法运算，生成局部解码图像信号14 (S16)0局部解码图像信号14被保存到帧存储器107(作为参照图像)(S17)，从帧存储器107读出的局部解码图像信号被输入到运动补偿预测器 108。
[0031]运动补偿预测器108的预测器109使用运动矢量16对局部解码图像信号(参照图像)进行运动补偿预测，生成预测图像信号15。为了取得与输入运动图像信号11的差分，预测图像信号15被发送到减法器101，进而为了生成局部解码图像信号14还被发送到加法器 106。
[0032]取得部/选择部110从邻接块中选择运动补偿预测中使用的I个运动矢量，将所选择出的运动矢量16发送到预测器109，生成选择信息17。选择信息17被发送到选择信息编码部112。在从邻接块中选择运动矢量时，能够选择代码量变小那样的适合的运动矢量。
[0033]由量化器103量化后的正交变换系数信息13还输入到可变长度编码器111，实施可变长度编码(S18)。从取得部/选择部110，输出运动补偿预测中使用的选择信息16，并输入到选择信息编码部112。在选择信息编码部112中，以在代码表中具有与作为和编码对象块邻接并具有运动矢量的编码完毕的块的可利用的块的数量相等的数量的记录的方式切换代码表，对选择信息17进行可变长度编码。通过复用器113对来自可变长度编码器111的量化正交变换系数信息以及选择信息进行复用，输出编码数据18的比特流(S19)。编码数据18被送出到未图示的保存系统或者传送路径。
[0034]在图2的流程图中，步骤S14?S17的流程和步骤S18以及S19的流程可以置换。即，可以接着量化步骤S13进行可变长度编码步骤S18以及复用步骤S19，并对复用步骤S19进行逆量化步骤S14?存储步骤S17。
[0035]接下来，使用图3所示的流程图，说明取得部/选择部110的作用。[0036]首先，参照帧存储器107，搜索与编码对象块邻接的、作为具有运动矢量的编码完毕的块的可利用的块候补(S101)。如果搜索到可利用的块候补，则判别这些可利用的块候补的运动补偿预测的块尺寸(S102)。接下来，判别可利用的块候补是单向还是双向预测(S103)。根据判别结果和编码对象块的预测模式，从可利用的块候补中抽出可利用的块。从所抽出的可利用的块中选择I个选择块，求出确定选择块的信息作为选择信息(S104)。
[0037]接下来，参照图4A?4C，说明块尺寸的判别(S102)。
[0038]本实施方式中使用的邻接块是位于编码对象块编码对象块的左、左上、上、右上的块。因此，在编码对象块位于帧的最左上的情况下，由于没有与编码对象块邻接的可利用的块，所以无法对该编码对象块应用本发明。在编码对象块处于画面的上端的情况下，可利用的块仅为左侧的I块，在编码对象块是画面的左端、并且并非右端的情况下，可利用的块成为编码对象块的上、右上这2块。
[0039]在宏块尺寸是16X 16尺寸的情况下，邻接块的运动补偿预测的块尺寸如图4A?4C所示有16X16尺寸、16X8尺寸、8X 16尺寸、8X8尺寸这4种。在考虑了这些4种时，能够成为可利用的块的邻接块为图4A?4C所不那样的20种。S卩，在图4A所不的16X 16尺寸下为4种、在图4B所示的16X8尺寸以及8X16尺寸下为10种、在图4C所示的8x8尺寸下为6种。在块尺寸的判别(S102)中，从这20种的块中根据块尺寸搜索可利用的块。例如，在将可利用的块的尺寸设为仅16X16的情况下，在该块尺寸下判定出的可利用的块如图4A所示是16X16尺寸的4种块。即，可利用的块是编码对象块的左上侧的块、编码对象块的上侧的块、编码对象块的左侧的块、以及编码对象块的右上侧的块。另外，对于宏块尺寸被扩展成16X16尺寸以上的情况，也与宏块尺寸是16X16尺寸的情况同样地能够得到可利用的块。例如，在宏块尺寸是32X32尺寸的情况下，邻接块的运动补偿预测的块尺寸有32 X 32尺寸、32 X 16尺寸、16 X 32尺寸、16 X 16尺寸这4种，能够成为可利用的块的邻接块为20种。
[0040]接下来，参照图5，举出例子来说明由取得部/选择部110进行的单向或者双向预测的判别(S103)。
[0041]例如，将块尺寸限制为16X 16，针对编码对象块，邻接的块的单向或者双向预测为图5所示那样的情况。在单向或者双向预测的判别(S103)中，根据预测的方向搜索可利用的块。例如，将包括预测方向LO的邻接块设为在预测方向上判定出的可利用的块。S卩，图5(a)所示的、编码对象块的上、左、右上的块成为在预测方向上判定出的可利用的块。在该情况下，不使用编码对象块的左上的块。如果将包括预测方向LI的邻接块设为通过预测方法判定出的可利用的块，则图5 (b)所示的、编码对象块的左上以及上侧的块成为在预测方向上判定出的可利用的块。在该情况下，不使用编码对象块的左以及右上的块。如果将包括预测方向L0/L1的邻接块设为通过预测方法判定出的可利用的块，则仅图5 (c)所示的、编码对象块的上侧的块成为在预测方向上判定出的可利用的块。在该情况下，不使用编码对象块的左、左上以及右上的块。另外，预测方向LO (LI)对应于AVC中的LO预测(LI预测)的预测方向。
[0042]接下来，参照图6所示的流程图，说明选择信息编码部112。
[0043]从与编码对象块邻接的邻接块中，搜索作为具有运动矢量的编码完毕的块的可利用的块，取得块尺寸以及在单向或者双向预测中判定出的可利用的块信息(S201)。使用该可利用的块信息，进行图8所示那样的与可利用的块的数量对应的代码表的切换(S202)。使用切换后的代码表，对从取得部/选择部110发送的选择信息17进行可变长度编码(S203)。
[0044]接下来，参照图7，说明选择信息的索引的一个例子。
[0045]在如图7 (a)所示地没有可利用的块的情况下，本发明不能应用于该块，所以不发送选择信息。在如图7 (b)所示地可利用的块是I个的情况下，编码对象块的运动补偿中使用的可利用的块的运动矢量唯一地确定，所以不发送选择信息。在如图7 (c)所示地可利用的块是2个的情况下，发送索引O或者I的选择信息。在如图7 (d)所示地可利用的块是3个的情况下，发送索引0、1或者2的选择信息。在如图7 (e)所示地可利用的块是4个的情况下，发送索引0、1、2或者3的选择信息。
[0046]另外，作为可利用的块的索引的附加方法的一个例子，按照编码对象块的左、左上、上、右上的顺序，对可利用的块附加了索引的例子如图7所示。即，去除不使用的块而对所使用的块连续附加索引。
[0047]接下来，参照图8，说明选择信息17的代码表。
[0048]在选择信息编码部112中，根据可利用的块的数量进行代码表的切换(S202)。如上所述，需要对选择信息17进行编码的是可利用的块为2个以上的情况。
[0049]首先，在可利用的块是2个的情况下，索引需要O和I，代码表成为图8的左侧所示的表。在可利用的块是3个的情况下，索引成为0、1、2，代码表成为图8的中央所示的表。在可利用的块是4个的情况下，索引需要0、1、2、3，代码表成为图8的右侧所示的表。根据可利用的块的数量，切换这些代码表。
[0050]接下来，说明选择信息的编码方法。
[0051]图9示出在本实施方式中使用的语法的构造的概略。语法主要由3个部分构成，High Level Syntax801 (高级语法)被填入切片以上的上位层的语法信息。在SliceLevel Syntax804 (切片级语法)中，针对每个切片明记有所需的信息,在Macroblock LevelSyntax807 (宏块级语法)中，针对每个宏块明记有所需的可变长度编码后的误差信号、模式
信息等。
[0052]这些句法分别由更详细的语法构成，在High Level Syntax801中，由Sequenceparameter set syntax (时序参数组语法)802 和 Picture parameter set syntax (图片参数组语法)803等序列、图片级的语法构成。在Slice Level Syntax804中，由Sliceheader syntax (切片头语法)405、Slice data syntax (切片数据语法)406等构成。进而，Macroblock Level Syntax807 由 macroblock layer syntax(宏块层语法)808、macroblockprediction syntax (宏块预测语法)809等构成。
[0053]在本实施方式中所需的语法信息是macroblock layer syntax808,以下说明语法。
[0054]图10 (a) (b)所示的available_block_num表示可利用的块的数量,在其是2以上的情况下，需要选择信息的编码。另外，mvCOpy_flag是表示在运动补偿预测中是否使用可利用的块的运动矢量的标志，在可利用的块是I以上、并且该标志是I的情况下，能够在运动补偿预测中使用可利用的块的运动矢量。进而，mv_select_info表示选择信息,代码表如上所述。[0055]图10(a)示出在mb_type之后对选择信息进行编码的情况的句法。在例如块尺寸仅为16 X 16的情况下，如果mb_type不是16 X 16,则无需对mvcopy_flag以及mv_select_info进行编码。如果mb_type是16x16,则对mvcopy_flag以及mv_select_info进行编码。
[0056]图10 (b)示出在mb_type之前对选择信息进行编码的情况的语法。如果例如mvcopy_flag是I,则无需对mb_type进行编码。如果mv_copy_flag是O,则对mb_type进行编码。
[0057]在本实施方式中，对于编码的扫描顺序，可以是任意的顺序。例如，对行扫描、Z扫描等都可以应用本发明。
[0058]参照图11，说明其他实施方式的运动图像解码装置。
[0059]将从图1的运动图像编码装置输出的编码数据18经由保存系统或者传送系统作为解码对象的编码数据21输入到运动图像解码装置的逆复用器201。逆复用器(多路分离器)201对编码数据21进行逆复用，将编码数据21分离为量化正交变换系数信息以及选择信息。逆复用器201的输出端连接到可变长度解码器202。可变长度解码器202对量化正交变换系数信息以及选择信息进行解码。将可变长度解码器202的输出端经由逆量化器204以及逆正交变换器205连接到加法器206。逆量化器204对量化正交变换系数信息进行逆量化，变换为正交变换系数。逆正交变换器205对正交变换系数进行逆正交变换，生成为预测误差信号。加法器206将预测误差信号加到来自预测图像生成器207的预测图像信号，生成运动图像信号。
[0060]预测图像生成器207包括预测器208和选择部209。选择部209通过由可变长度解码器202的选择信息解码器203解码了的选择信息23选择运动矢量，将选择运动矢量25发送到预测器208。预测器208通过运动矢量25对帧存储器210中保存的参照图像进行运动补偿，生成预测图像。
[0061]参照图12的流程图，说明上述结构的运动图像解码装置的作用。
[0062]通过逆复用器201对编码数据21进行逆复用(S31)，通过可变长度解码器202进行解码，生成量化正交变换系数信息22(S32)。另外，通过选择信息解码器203，调查与解码对象块邻接的邻接块的状态，根据作为具有运动矢量的邻接的编码完毕的块的可利用的块的数量，与编码装置的选择信息编码部112同样地，如图8那样地切换代码表而进行解码。由此，输出选择信息23 (S33)。
[0063]作为从可变解码器202输出的信息的、量化后的正交变换系数信息22被发送到逆量化器204，作为从选择信息解码部203输出的信息的、选择信息23被发送到选择部209。
[0064]通过逆量化器204对量化正交变换系数信息22进行逆量化(S34 )，之后，通过逆正交变换器205进行逆正交变换(S35)。由此，得到预测误差信号24。在加法器206中对预测误差信号24加上预测图像信号，从而再生运动图像信号26(S36)。所再生的运动图像信号27保存到帧存储器210 (S37)。
[0065]在预测图像生成器207中，使用通过所解码出的选择信息23选择出的、作为与解码对象块邻接并具有运动矢量的既解码块的可利用的块的运动矢量，生成预测图像26。在选择部209中，调查邻接块的状态，根据邻接块的可利用的块信息和由选择信息解码部203解码出的选择信息23，与编码装置的取得部/选择部110同样地，从邻接块中选择I个运动补偿预测中使用的运动矢量。使用该选择出的运动矢量25，通过预测器208生成预测图像26，并且为了得到运动图像信号27将预测图像26发送到加法器206。
[0066]根据本发明，通过对与可利用的块的数量对应的选择信息进行编码，能够使用适合的编码表来发送选择信息，能够削减选择信息的附加信息。
[0067]另外，通过将可利用的块的运动矢量用于编码对象块的运动补偿预测，能够削减与运动矢量信息相关的附加信息。
[0068]进而，通过不固定运动矢量计算方法而从可利用的块选择适合的I个块，相比于直接模式，运动矢量计算的自由度变高。
[0069]本发明的实施方式记载的本发明的手法能够通过计算机执行，并且，还可以作为能够使计算机执行的程序，保存到磁盘(软盘、硬盘等)、光盘(CD - ROM、DVD等)、半导体存储器等记录介质而发布。
[0070]另外，本发明不限于上述实施方式，可以在实施阶段在不脱离其要旨的范围内使构成要素变形而具体化。另外，可以通过上述实施方式公开的多个构成要素的适宜的组合，形成各种发明。例如，也可以从实施方式所示的所有构成要素中删除几个构成要素。进而，也可以适宜地组合不同的实施方式的构成要素。
[0071]产业上的可利用性
[0072]本发明的装置使用于通信、保存以及广播中的图像压缩处理。
【权利要求】
1.一种运动图像解码装置，对运动图像进行运动补偿预测解码，该运动图像解码装置具备: 取得部，从与解码对象块邻接的解码完毕的块，取得作为具有运动矢量的块的可利用的块以及所述可利用的块的数量； 选择信息解码部，根据所述可利用的块的数量，从多个代码表中选择I个选择代码表，使用与所述可利用的块的数量对应的代码表对确定所述选择块的选择信息进行解码； 选择部，依照所述选择信息，从所述可利用的块中选择I个选择块；以及 图像解码部，使用所述选择块具有的运动矢量，对所述解码对象块进行运动补偿预测解码。
2.根据权利要求1所述的运动图像解码装置，其特征在于， 所述多个代码表的每一个是具有与所述可利用的块的数量相等数量的记录的代码表。
3.根据权利要求2所述的运动图像编码装置，其特征在于， 所述可利用的块的数量为2个时的代码表通过I比特的代码字来表现所述选择信息； 所述可利用的块的数量为3个时的代码表通过I比特?2比特的长度的可变长度代码字表现所述选择信息； 所述可利用的块的数量为4个时的代码表通过I比特?3比特的长度的可变长度代码字表现所述选择信息。
4.根据权利要求3所述的运动图像解码装置，其特征在于， 所述取得部从编码完毕的块中将具有运动矢量的特定块尺寸的块取得为所述可利用的块。
5.根据权利要求4所述的运动图像解码装置，其特征在于， 还具备设定部，将所述解码对象块的预测模式设定为 (A)仅使用第I矢量的第I单向预测、 (B)仅使用第2矢量的第2单向预测、以及 (C)使用所述第I矢量和所述第2矢量这两方的双向预测中的某一个， 所述取得部将具有运动矢量的特定块尺寸的块取得为所述可利用的块，该运动矢量是为了在所述预测模式下对所述解码对象块进行运动补偿预测而所需的运动矢量。
【文档编号】H04N19/513GK103888778SQ201410081212
【公开日】2014年6月25日 申请日期:2009年6月18日 优先权日:2009年6月18日
【发明者】浅香沙织, 中條健, 谷沢昭行, 安田豪毅, 和田直史, 渡边隆志 申请人:株式会社东芝