合并候选导出装置、图像解码装置以及图像编码装置的制造方法
【技术领域】
[0001]本发明涉及合并候选导出装置、图像解码装置以及图像编码装置。
【背景技术】
[0002]在多视点的图像编码技术中，已提出在对多个视点的图像进行编码时通过预测图像间的视差来降低信息量的视差预测编码、与其编码方法对应的解码方法。将表征视点图像间的视差的矢量称作位移矢量。位移矢量是具有水平方向的要素(X分量)和垂直方向的要素(y分量)的二维的矢量，针对作为对一个图像进行分割而获得的区域的每个块来计算。此外，为了获取多视点的图像，一般利用配置在各个视点的摄像机。在多视点的编码中，各视点图像在多个层中分别被编码为不同的层。由多个层构成的运动图像的编码方法一般被称作可伸缩编码或者层级编码。在可伸缩编码中，通过在层间进行预测，由此来实现高的编码效率。在层间不进行预测而成为基准的层被称作基础层，除此之外的层被称作扩展层。将层由视点图像构成的情况下的可伸缩编码称作视图可伸缩编码。此时，基础层也被称作基础视图，扩展层也被称作非基础视图。进而，除了视图可伸缩之外，层由纹理层(图像层)和纵深层(距离图像层)构成的情况下的可伸缩编码被称作三维可伸缩编码。
[0003]此外，可伸缩编码中，除了视图可伸缩编码之外，还具有空间可伸缩编码(作为基础层而处理分辨率低的图片，作为扩展层而处理分辨率高的图片)、SNR可伸缩编码(作为基础层而处理图像质量低的图片，作为扩展层而处理分辨率高的图片)等。在可伸缩编码中，例如将基础层的图片作为参照图片而利用在扩展层的图片的编码中。
[0004]在非专利文献I中，已知被称作视点合成预测的技术，通过将预测单元分割为小的子块，针对每个子块，利用位移矢量来进行预测，由此来获得精度高的预测图像。此外，在非专利文献I中，已知被称作残差预测的技术，利用与对象视图不同的视图的图像来估计残差，并进行加法运算。此外，在非专利文献I中，已知导出帧间视图合并候选等扩展合并候选的技术。
[0005]在先技术文献
[0006]非专利文献
[0007]非专利文献1:3D-HEVC Draft Text 4，JCT3V-F1001_v2，JCT-3V 6th Meeting:CH,25 Oct.-1 Nov.2013(2013年 12月 14日公开)
【发明内容】
[0008]发明要解决的课题
[0009]在非专利文献I的合并候选导出中，为了可伸缩用而对合并候选进行了扩展。这些扩展合并候选的导出由于复杂度比较高，因此存在若被利用于需要导出多个合并候选的预测单元小的情况则处理量大的课题。
[0010]用于解决课题的手段
[0011 ]本发明的一个形态为合并候选导出装置，具备:导出基本合并候选的基本合并候选导出部、和导出与基本合并候选不同的扩展合并候选的扩展合并候选导出部，其特征在于，在预测块的尺寸为给定的尺寸以下的情况下，合并候选列表中利用从基本合并候选导出部导出的基本合并候选列表，在除此之外的情况下，合并候选列表中利用包含从扩展合并候选导出部导出的合并候选列表在内的合并候选列表。
[0012]本发明的一个形态为合并候选导出装置，具备:导出基本合并候选的基本合并候选导出部、和导出与基本合并候选不同的扩展合并候选的扩展合并候选导出部，其特征在于，在预测单元尺寸大于给定的尺寸的情况下，将由基本合并候选导出部导出的合并候选和由扩展合并候选导出部导出的合并候选追加到合并候选列表中，在预测单元尺寸为给定的尺寸以下的情况下，将由基本合并候选导出部导出的合并候选追加到合并候选列表中。
[0013]本发明的一个形态为合并候选导出装置，具备:导出基本合并候选的基本合并候选导出部、和导出与基本合并候选不同的扩展合并候选的扩展合并候选导出部，其特征在于，在预测单元尺寸大于给定的尺寸的情况下，将扩展合并候选追加到合并候选列表中，在预测单元尺寸为给定的尺寸以下的情况下，不将扩展合并候选追加到合并候选列表中。
[0014]本发明的一个形态为合并候选导出装置，具备:导出基本合并候选的基本合并候选导出部、和导出与基本合并候选不同的扩展合并候选的扩展合并候选导出部，其特征在于，在预测块的尺寸为给定的尺寸以下的情况下，将扩展合并候选的利用可能性导出为不利用。
[0015]本发明的一个形态中，其特征在于，仅在上述给定的尺寸为8、且预测单元宽度与高度均为8以上的情况下，在合并候选列表中包含扩展合并候选。
[0016]本发明的一个形态中，其特征在于，在预测单元宽度与预测单元高度之和为12的情况下，合并候选列表中利用从基本合并候选导出部导出的基本合并候选列表。
[0017]本发明的一个形态中，其特征在于，仅在预测单元宽度与预测单元高度之和大于12的情况下，在合并候选列表中包含扩展合并候选。本发明的一个形态中，其特征在于，在预测块的尺寸为给定的尺寸以下的情况下，不从合并候选的VSP合并标记之中导出合并模式的VSP模式标记。
[0018]本发明的一个形态为对由多层构成的编码数据进行解码的图像解码装置，其特征在于，具备上述记载的合并候选导出装置。
[0019]本发明的一个形态为对由多层构成的编码数据进行编码的图像编码装置，其特征在于，具备上述记载的合并候选导出装置。
[0020]发明效果
[0021]根据本发明，起到如下效果，S卩:由于在合并候选导出中根据块尺寸来限制导出扩展合并候选的情况，因此处理量被降低。
【附图说明】
[0022]图1是表示本发明的实施方式所涉及的图像传输系统的构成的概要图。
[0023]图2是表示本实施方式所涉及的编码流的数据的层级结构的图。
[0024]图3是表不参照图片列表的一例的概念图。
[0025]图4是表示参照图片的例子的概念图。
[0026]图5是表示本实施方式所涉及的图像解码装置的构成的概要图。
[0027]图6是表示本实施方式所涉及的帧间预测参数解码部的构成的概要图。
[0028]图7是表示本实施方式所涉及的合并模式参数导出部的构成的概要图。
[0029]图8是表示本实施方式所涉及的AMVP预测参数导出部的构成的概要图。
[0030]图9是表示分割模式的图案的图，图9(a)?(h)分别表示分割模式为2NXN、2NXN、2NXnU、2NXnD、NX2N、nLX2N、nRX2N、以及NXN的情况下的分区形状。
[0031]图10是表示本实施方式所涉及的帧间预测参数解码控制解码部的构成的概要图。
[0032]图11是表示本实施方式所涉及的帧间预测图像生成部的构成的概要图。
[0033]图12是说明视点合成部中的子块的分割方法的图。
[0034]图13是说明视点合成部中的子块的分割方法的图。
[0035]图14是表示本实施方式所涉及的残差预测部的构成的概要图。
[0036]图15是本实施方式所涉及的残差预测的概念图(之一)。
[0037]图16是本实施方式所涉及的残差预测的概念图(之二)。
[0038]图17是表示本实施方式所涉及的视点合成预测部的构成的概要图。
[0039]图18是表不合并候选列表的一例的图。
[0040]图19是表示空间合并候选所参照的相邻块的位置的图。
[0041]图20是表示本实施方式所涉及的图像编码装置的构成的框图。
[0042]图21是表示本实施方式所涉及的帧间预测参数编码部的构成的概要图。
[0043]图22是表示本实施方式的合并候选导出部30361A的个别的动作的图。
[0044]图23是表示本实施方式的合并候选导出部30361A的动作的整体的图。
[0045]图24是表示本实施方式的合并候选导出部30361B的动作的图。
[0046]图25是表示本实施方式的合并候选导出部30361B的动作的图。
[0047]图26是表示本实施方式的合并候选导出部30361C的动作的图。
[0048]图27是说明本实施方式的合并模式参数导出部3036D的动作的图。
【具体实施方式】
[0049](第丨实施方式)
[0050]以下，参照附图来说明本发明的实施方式。
[0051]图1是表示本实施方式所涉及的图像传输系统I的构成的概要图。
[0052]图像传输系统I是传输对多个层图像进行编码后的码，并显示对被传输的码进行解码后的图像的系统。图像传输系统I构成为包含:图像编码装置11、网络21、图像解码装置31以及图像显示装置41。
[0053]图像编码装置11中被输入表示多个层图像(也称作纹理图像)的信号T。所谓层图像，是指以某分辨率以及某视点被视觉辨认或者被拍摄的图像。在利用多个层图像来进行编码三维图像的视图可伸缩编码的情况下，多个层图像分别被称作视点图像。在此，视点相当于拍摄装置的位置或者观测点。例如，多个视点图像是左右的拍摄装置分别朝向被摄体进行拍摄而得到的图像。图像编码装置11对其信号分别进行编码，生成编码流Te(编码数据)。关于编码流Te的详情将后述。所谓视点图像，是指在某视点下被观测的二维图像(平面图像)。视点图像例如由配置在二维平面内的每个像素的亮度值或者色信号值来表示。以下，将一张视点图像或者表示该视点图像的信号称作图片(picture)。此外，在利用多个层图像来进行空间可伸缩编码的情况下，该多个层图像由分辨率低的基础层图像和分辨率高的扩展层图像构成。在利用多个层图像来进行SNR可伸缩编码的情况下，该多个层图像由图像质量低的基础层图像和图像质量高的扩展层图像构成。其中，也可以任意组合视图可伸缩编码、空间可伸缩编码、SNR可伸缩编码来进行编码。在本实施方式中，作为多个层图像，至少处理包含基础层图像和基础层图像以外的图像(扩展层图像)在内的图像的编码以及解码。在多个层之中，针对图像或编码参数中存在参照关系(依赖关系)的两个层，将被参照的一侧的图像称作第I层图像，将要参照的一侧的图像称作第2层图像。例如，在有参照基础层被编码的(基础层以外的)增强层图像的情况下，将基础层图像作为第I层图像来处理，将增强层图像作为第2层图像来处理。另外，作为增强层图像的例子，有基础视图以外的视点的图像、纵深图像等。
[0054]所谓纵深图像(被称作depthmap、“深度图像”、“距离图像”)，是指被摄空间内包含的被摄体、背景的、距视点(拍摄装置等)的距离所对应的信号值(称作“纵深值”、“深度值”、“纵深”等)，是由配置在二维平面的每个像素的信号值(像素值)构成的图像信号。构成纵深图像的像素与构成视点图像的像素对应。因此，纵深图成为线索，用于利用作为成为将被摄空间投影至二维平面的基准的图像信号的视点图像来表征三维的被摄空间。
[0055]网络21将图像编码装置11所生成的编码流Te传输至图像解码装置31。网络21为因特网(internet)、广域网(WAN: Wide Area Network)、小规模网络(LAN: Local AreaNetwork，局域网)或者它们的组合。网络21不一定限于双向的通信网，也可以为地面波数字广播、卫星广播等的传输广播波的单向或者双向的通信网。此外，网络21也可被DVD(Digital Versatile Disc;数字通用盘)、BD(Blue_ray Disc;蓝光盘)等的记录有编码流Te的存储介质替代。
[0056]图像解码装置31对网络21所传输的编码流Te分别进行解码，生成分别解码后的多个解码层图像Td (解码视点图像Td)。
[0057]图像显示装置41显示图像解码装置31所生成的多个解码层图像Td的全部或者一部分。例如，在视图可伸缩编码中，在全部的情况下显示三维图像(立体图像)、自由视点图像，在一部分的情况下显示二维图像。图像显示装置41例如具备液晶显示器、有机EL(Electro-luminescence ；电致发光)显示器等的显示设备。此外，在空间可伸缩编码、SNR可伸缩编码中，在图像解码装置31和图像显示装置41具有高的处理能力的情况下，显示图像质量高的扩展层图像，在只具有更低的处理能力的情况下，才显示无需扩展层那样高的处理能力、显示能力的基础层图像。
[0058]〈编码流Te的结构〉
[0059]在详细说明本实施方式所涉及的图像编码装置11以及图像解码装置31之前，先说明由图像编码装置11生成并由图像解码装置31解码的编码流Te的数据结构。
[0060]图2是表示编码流Te中的数据的层级结构的图。编码流Te例示性地包含序列、以及构成序列的多个图片。图2(a)?(f)分别是表示规定序列SEQ的序列层、规定图片PICT的图片层、规定切片S的切片层、规定切片数据的切片数据层、规定切片数据中所含的编码树单元的编码树层、规定编码树中所含的编码单位(Coding Unit;CU)的编码单元层的图。
[0061](序列层)
[0062]在序列层中，规定了图像解码装置31为了解码处理对象的序列SEQ(以下也称作对象序列)而要参照的数据的集合。如图2(a)所示，序列SEQ包含:视频参数集合(VideoParameter Set)、序列参数集合SPS(Sequence Parameter Set)、图片参数集合PPS(Picture Parameter Set)、图片PICT、以及附加扩展信息SEI (Supplemental EnhancementInformat1n)。在此，#之后所示的值表示层ID(nuh_layer_id)。在图2中，虽然示出存在#0和#1即层O和层I的编码数据的例子，但层的种类以及层的数目并不限于此。层ID(nuh_layer_id)为O的层对应于基础层，层ID(nuh_layer_id)为O以外的层对应于增强层。
[0063]视频参数集合VPS在由多个层构成的运动图像中，规定了多个运动图像所共同的编码参数的集合、以及运动图像中所含的多个层及与各个层关联的编码参数的集合。
[0064]在序列参数集合SPS中，规定了图像解码装置31为了解码对象序列而要参照的编码参数的集合。例如，规定了图片的宽度、高度。
[0065]在图片参数集合PPS中，规定了图像解码装置31为了解码对象序列内的各图片而要参照的编码参数的集合。例如，包含用于解码图片的量化幅度的基准值(pic_init_qp_minus26)、表示加权预测的适用的标记(weighted_pred_f lag)。其中，PPS也可以存在多个。在此情况下，从对象序列内的各图片之中选择多个PPS的任意一个。
[0066](图片层)
[0067]在图片层中，规定了图像解码装置31为了解码处理对象的图片PICT(以下也称作对象图片)而要参照的数据的集合。如图2(b)所示，图片PICT包含切片SO?SNS-1 (NS为图片PICT中所含的切片的总数)。
[0068]另外，以下在无需分别区分切片SO?SNS-1的情况下，有时省略记述符号后缀。此夕卜，关于以下所说明的编码流Te中所含的数据、即附有后缀的其他数据，也同样。
[0069](切片层)
[0070]在切片层中，规定了图像解码装置31为了解码处理对象的切片S(也称作对象切片)而要参照的数据的集合。如图2(c)所示，切片S包含切片头部SH以及切片数据SDATA。
[0071]在切片头部SH中，包含为了决定对象切片的解码方法而图像解码装置31要参照的编码参数组。指定切片类型的切片类型指定信息(Slicejype)为切片头部SH中所含的编码参数的一例。
[0072]作为能由切片类型指定信息指定的切片类型，列举(I)在编码时仅利用帧内预测的I切片、(2)在编码时利用单向预测或者帧内预测的P切片、(3)在编码时利用单向预测、双向预测或者帧内预测的B切片等。
[0073]另外，在切片头部SH中也可以包含上述序列层中所含的、对于图片参数集合PPS的参照(pic_parameter_set_id)。
[0074](切片数据层)
[0075]在切片数据层中，规定了图像解码装置31为了解码处理对象的切片数据SDATA而要参照的数据的集合。如图2 (d)所示，切片数据SDATA包含编码树块(CTB: Coded TreeBlock) XTB为构成切片的固定尺寸(例如64 X 64)的块，也有时称作最大编码单位(IXU:Largest Cording Unit)。
[0076](编码树层)
[0077]如图2(e)所示，编码树层规定了图像解码装置31为了解码处理对象的编码树块而要参照的数据的集合。编码树单元通过递归式四叉树分割而被分割。将通过递归式四叉树分割而获得的树结构的节点称作编码树(coding tree)。四叉树的中间节点为编码树单元(CTU = Coded Tree Unit)，编码树块自身也被规定为最上位的CTUXTU包含分割标记(split_flag)，在split_flag为I的情况下，被分割为4个编码树单元CTU。在split_f lag为O的情况下，编码树单元CTU被分割为4个编码单元(CU:Coded Unit)。编码单元CU为编码树层的末端节点，在该层中不再进行其以上的分割。编码单元CU成为编码处理的基本单位。
[0078]此外，在编码树块CTB的尺寸为64X 64像素的情况下，编码单元⑶的尺寸可取64 X64像素、32 X 32像素、16 X 16像素、以及8 X 8像素之中的任意一者。
[0079](编码单元层)
[0080]如图2(f)所示，编码单元层规定了图像解码装置31为了解码处理对象的编码单元而要参照的数据的集合。具体而言，编码单元由CU头部CUH、预测树、变换树、CU头部CUF构成。在CU头部CUH中，规定了:编码单元是利用帧内预测的单元还是利用帧间预测的单元等。此外，在CU头部CUH中，包含:表示编码单元用于残差预测的权重(或是否进行残差预测)的残差预测权重索引iv_res_pred_weight_idx、表示是否利用照度补偿预测的照度补偿标记ic_flag。编码单元成为预测树(predict1n tree；PT)以及变换树(transform tree;TT)的根部。CU头部CUF被包含在预测树与变换树之间或者变换树之后。
[0081]预测树中，编码单元被分割为一个或者多个预测块，并规定了各预测块的位置和尺寸。用另一种表现来说，预测块是构成编码单元的一个或者多个的不重复的区域。此外，预测树包含通过上述的分割而获得的一个或者多个预测块。
[0082]预测处理针对每个该预测块来进行。以下，将作为预测的单位的预测块也称作预测单位(predict1n unit ;PU、预测单元)。
[0083]预测树中的分割的种类大致来说有帧内预测的情况和帧间预测的情况这两种。所谓帧内预测，是指同一图片内的预测，所谓帧间预测，是指在互不相同的图片间(例如显示时刻间、层图像间)进行的预测处理。
[0084]在帧内预测的情况下，分割方法有2NX2N(与编码单元同一尺寸)和NXN。
[0085]此外，在帧间预测的情况下，关于分割方法，通过编码数据的分割模式part_mode而被编码。若将对象CU的尺寸设为2N X 2N像素，贝Ij由分割模式part_mode指定的分割模式中有如下的合计8个种类的图案。即为:2NX 2N像素、2NXN像素、NX 2N像素、以及NXN像素的4个对称分割(symmetric splittings)、和2NXnU像素、2NXnD像素、nLX 2N像素、以及nRX2N像素的4个非对称分害lJ(AMP:asymmetric mot1n partit1ns)。其中，意味着N=2m(m为I以上的任意的整数)。以下，将分割模式为非对称分割的预测块也称呼为AMP块。由于分割数为1、2、4之中的任意一个，因此⑶中所含的为I个?4个。将这些PU依次表现为PU0、PU1、PU2、PU3。
[0086]在图9(a)?(h)中，关于各个分割模式，具体图示出CU中的PU分割的边界的位置。[0087 ]图9 (a)表不⑶不进行分割的2N X 2N的分割模式。此外，图9 (b)以及(e)分别表不分害_式为2N X N以及N X 2N的情况下的分区(par t i t i on)的形状。此外，图9 (h)表示分割模式为NXN的情况下的分区的形状。
[0088]此外，图9(幻、((1)、(0以及&)分别表示是作为非对称分割(4103)的2~\111]、2~\nD、nL X 2N以及nR X 2N的情况下的分区的形状。
[0089]此外，在图9(a)?(h)中，各区域上所附的编号表示区域的识别编号，按照该识别编号顺序对区域进行处理。即，该识别编号表征区域的扫描顺序。
[0090]在帧间预测的情况下的预测块中，定义了上述8个种类的分割模式之中的NXN(图9(h))以外的7个种类。
[0091]此外，N的具体的值由该PU所属的⑶的尺寸来规定，nU、nD、nL、以及nR的具体的值根据N的值来决定。例如，32 X 32像素的⑶能够分割为32 X 32像素、32 X 16像素、16 X 32像素、32 X 16像素、32 X 8像素、32 X 24像素、8 X 32像素、以及24 X 32像素的帧间预测的预测块。
[0092]此外，在变换树中，编码单元被分割为一个或者多个变换块，并规定了各变换块的位置和尺寸。若用另一种表现来说，变换块是构成编码单元的一个或者多个的不重复的区域。此外，变换树包含通过上述的分割而获得的一个或者多个变换块。
[0093]变换树中的分割之中有:将尺寸与编码单元相同的区域分配为变换块的方式、和与上述的树块的分割同样基于递归式四叉树分割的方式。
[0094]变换处理针对每个该变换块来进行。以下，将作为变换的单位的变换块也称作变换单位(transform unit;TU、变换单元)。
[0095](预测参数)
[0096]预测单元的预测图像通过预测单元所附带的预测参数来导出。预测参数中有帧内预测的预测参数或帧间预测的预测参数。以下，说明帧间预测的预测参数(帧间预测参数)。