图像解码装置、图像解码方法及图像编码装置制造方法

文档序号:7992285阅读:675来源:国知局
图像解码装置、图像解码方法及图像编码装置制造方法
【专利摘要】本发明旨在实现在使用非对称分区的情况下的码量的削减、以及活用了非对称分区的性质的效率好的编码/解码处理。在CU信息解码部对于将非对称的分割(AMP;Asymmetric?Motion?Partition)指定为分割类型的信息进行解码的情况下,算术解码部根据二进制值的位置,切换利用上下文的算术解码与不利用上下文的算术解码来进行解码。
【专利说明】图像解码装置、图像解码方法及图像编码装置
【技术领域】
[0001]本发明涉及对表征图像的编码数据进行解码的图像解码装置、以及图像解码方法、以及通过对图像进行编码来生成编码数据的图像编码装置。【背景技术】
[0002]为了高效地传输或记录运动图像,使用了通过对运动图像进行编码来生成编码数据的运动图像编码装置、以及通过对该编码数据进行解码来生成解码图像的运动图像解码装置。
[0003]作为具体的运动图像编码方式,例如可列举出:作为H.264 / MPEG — 4.AVC,VCEG(Video Coding Expert Group)中的共同开发用编解码器的KTA软件中所采用的方式、TMuC(Test Model under Consideration)软件中所采用的方式、或作为其后继编解码器的HEVC(High-EfficiencyVideo Coding)的方式(非专利文献 I)等。
[0004]在这样的运动图像编码方式中,构成运动图像的图像(图片)是基于由通过分割图像而得到的切片、通过分割切片而得到的编码单位(有时也称为编码组件(Coding Unit))、以及通过分割编码单位而得到的块以及分区组成的阶层结构来进行管理的,通常按每块来进行编码/解码。
[0005]另外,在这样的运动图像编码方式中,通常,基于通过对输入图像进行编码/解码而得到的局部解码图像来生成预测图像,并对从输入图像(原图像)中减去该预测图像而得到的预测残差(有时也称为”差分图像”或”残差图像”)进行编码。另外,作为预测图像的生成方法,可列举画面间预测(帧间预测)以及画面内预测(帧内预测)。
[0006]在帧内预测中,基于同一帧内的局部解码图像来依次生成该帧中的预测图像。
[0007]另一方面,在帧间预测中,通过对解码了帧全体后的参考帧(解码图像)内的参考图像应用利用了运动矢量的运动补偿,来按每个预测单位(例如,块)生成预测对象帧内的预测图像。
[0008]关于帧间预测,在近期召开的JCT-VC的第6次会(Torino, IT, 14_22July,2011)中,在使用帧间预测的情况下,采用了将作为编码处理的单位的编码单位分割为非对称的分区(PU)的技术(AMP; Asymmetric Motion Partition,非专利文献 2, 3)。
[0009]另外,在分区的类型是非对称分区的情况下,提出了进行非正方形的四叉树变换(NSQT;Non-Square Quadtree Transform)(非专利文献 2)。
[0010]先行技术文献
[0011]非专利文献
[0012]非专利文献1: “WD4:Working Draft4of High-Efficiency VideoCoding(JCTVC_F803_dl)”,Joint Collaborative Team on Video Coding (JCT-VC)ofITU-T SG16WP3and IS0/IEC JTCl/SC29/WG116th Meeting:Torino, IT, 14-22July, 2011(2011年9月8日公开)
[0013]非专利文献2: “CE2:Non-Square Quadtree Transform for symmetricand asymmetric motion partition (JCTVC-F412),,,Joint Collaborative Teamon Video Coding (JCT-VC) of ITU-T SG16WP3and IS0/IEC JTC1/SC29/WG116thMeeting:Torino, IT, 14-22July, 2011 (2011 年 7 月 2 日公开)
[0014]非专利文献3: “CE2:Test results of asymmetric motion partition (AMP)(JCTVC-F379)”,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-TSG16WP3and IS0/IEC JTCl/SC29/WG116th Meeting:Torino, 14_22July, 2011(2011 年 7 月2日公开)
[0015]发明要解决的课题
[0016]然而,在帧间预测中,由于新追加上述的非对称分区,因此边侧(side)信息的码量增加。另外,存在如下课题:不管新追加的非对称分区与现有的对称分区在性质上是否不同,其性质在编码处理中都不能充分活用。

【发明内容】

[0017]本发明鉴于上述问题而提出,其目的在于,提供能实现在使用非对称分区的情况下的码量的削减、以及活用了非对称分区的性质的效率好的编码/解码处理的图像解码装置、图像解码方法以及图像编码装置。
[0018]用于解决课题的手段
[0019]为了解决上述的课题,本发明的一形态所涉及的图像解码装置是按每个编码单位对图像编码数据进行解码来生成解码图像的图像解码装置,所述图像解码装置具备:编码单位信息解码部,其解码对分割所述编码单位的分割类型进行指定的信息;以及算术解码部,其通过利用了上下文的算术解码或不利用上下文的算术解码,由所述图像编码数据解码二进制值,在所述编码单位信息解码部对于将非对称的分割(AMP;Asy_etric MotionPartition)指定为所述分割类型的信息进行解码的情况下,所述算术解码部根据所述二进制值的位置,切换所述利用了上下文的算术解码与所述不利用上下文的算术解码来进行解码。
[0020]为了解决上述的课题,本发明的一形态所涉及的图像解码装置是按每个编码单位对图像编码数据进行解码来生成解码图像的图像解码装置,所述图像解码装置具备:编码单位信息解码部,其解码对分割所述编码单位的分割类型进行指定的信息;以及算术解码部,其通过利用了上下文的算术解码或不利用上下文的算术解码,由所述图像编码数据解码二进制值,在所述编码单位信息解码部对于将长方形分割的种类指定为所述分割类型的信息进行解码的情况下,所述算术解码部根据所述二进制值的位置,切换所述利用了上下文的算术解码与所述不利用上下文的算术解码来进行解码。
[0021]为了解决上述的课题,本发明的一形态所涉及的图像解码方法是按每个编码单位对图像编码数据进行解码来生成解码图像的图像解码方法,所述图像解码方法至少包含:解码对分割所述编码单位的分割类型进行指定的信息的步骤;以及通过利用了上下文的算术解码或不利用上下文的算术解码,由所述图像编码数据解码二进制值的步骤,在对于将非对称的分割(AMP; Asymmetric Motion Partition)指定为所述分割类型的信息进行解码的情况下,根据所述二进制值的位置,切换所述利用了上下文的算术解码与所述不利用上下文的算术解码来进行解码。
[0022]为了解决上述的课题,本发明的一形态所涉及的图像编码装置是按每个编码单位对用于还原图像的信息进行编码来生成图像编码数据的图像编码装置,所述图像编码装置具备:编码设定部,其编码对分割所述编码单位的分割类型进行指定的信息;以及编码数据生成部,其通过利用了上下文的编码处理或不利用上下文的编码处理,来生成所述图像编码数据,在对于将非对称的分割(AMP;Asymmetric Motion Partition)指定为所述分割类型的信息进行编码的情况下,所述编码数据生成部切换所述利用了上下文的编码处理与所述不利用上下文的编码处理来生成所述图像编码数据。
[0023]为了解决上述的课题,本发明的一形态所涉及的图像解码装置是使用参考I个参考图像的单预测或参考2个参考图像的双预测作为画面间预测的预测方式来对预测单位内的图像进行解码的图像解码装置,所述图像解码装置具备:双预测限制单元,其在所述预测单位为给定的尺寸以下的预测单位的情况下,限制对该预测单位进行所述双预测。
[0024]发明效果
[0025]根据本发明的一形态,能实现在使用非对称分区的情况下的码量的削减、以及活用了非对称分区的性质的效率好的编码/解码处理。
【专利附图】

【附图说明】
[0026]图1是表示本发明的一实施方式所涉及的运动图像解码装置所具备的⑶信息解码部以及解码模块的构成例的功能框图。
[0027]图2是表示上述运动图像解码装置的概略的构成的功能框图。
[0028]图3是表示由本发明的一实施方式所涉及的运动图像编码装置生成的、且由上述运动图像解码装置解码的编码数据的数据构成的图,(a)?(d)分别是表示图片层、切片层、树块层、以及⑶层的图。
[0029]图4是表示PU分割类型的图案的图。(a)?(h)分别示出了 PU分割类型为2NXN、2NXnU、2NXnD、2NXN、2NXnU、以及2NXnD的情况下的分区形状。
[0030]图5是表示与CU的尺寸以及分割类型相对应地定义了 的个数以及尺寸的PU尺寸表的具体的构成例的图。
[0031]图6是表示存在具有倾斜的边沿的2NXN的⑶以及2NXnU的⑶的图。
[0032]图7是表示对CU预测类型以及分割类型的组合与bin串的对应关系进行定义的二值化信息的一例的表。
[0033]图8是表示针对8X8尺寸的⑶进行定义的上述二值化信息的一例的图。
[0034]图9是针对8X8尺寸的⑶进行定义的上述二值化信息的其他例的图。
[0035]图10是表示对CU预测类型以及分割类型的组合与bin串的对应关系进行定义的二值化信息的其他例的表。
[0036]图11是表示对CU预测类型以及PU分割类型的组合与bin串的对应关系进行定义的二值化信息的另一例的表。
[0037]图12是表示上述运动图像解码装置所具备的PU信息解码部以及解码模块的构成例的功能框图。
[0038]图13是表示非对称分区被选择的⑶的图。
[0039]图14是表示对称分区被选择的CU中的合并(merge)候选的优先顺位的图。
[0040]图15是表示非对称分区被选择的⑶中的合并候选的优先顺位的图。(a)以及(b)均示出了在I3U分割类型为2NXnU的情况下的CU。(a)示出了小的一方的分区中的合并候选的优先顺位,(b)示出了大的一方的分区中的合并候选的优先顺位。另外,(c)以及(d)均示出了 I3U分割类型为2NXnD的情况下的CU。另外,(c)示出了大的一方的分区中的合并候选的优先顺位,Cd)示出了小的一方的分区中的合并候选的优先顺位。
[0041]图16是表示上述运动图像解码装置所具备的TU信息解码部以及解码模块的构成例的功能框图。
[0042]图17是表示根据CU的尺寸、TU分割的深度(trafoD印th)、以及对象I3U的PU分割类型来定义TU分割图案的变换尺寸决定信息的一例的图。
[0043]图18是表示将正方形的节点四叉树分割为正方形或非正方形的分割方式的图。(a)示出了正方形的分割,(b)示出了横长的长方形的分割,以及(C)示出了纵长的长方形的分割。
[0044]图19是表示将正方形的节点四叉树分割为正方形或非正方形的分割方式的图。(a)不出了横长的节点的横长的分割,(b)不出了横长的节点的正方形的分割,(C)不出了纵长的节点的纵长的分割,以及(d)示出了纵长的节点的正方形的分割。
[0045]图20是表示PU分割类型2NXN的32 X 32⑶中的TU分割的例子的图。
[0046]图21是表示PU分割类型2NXnU的32X32CU中的TU分割的例子的图。
[0047]图22是表示在遵照图17所示的变换尺寸决定信息来进行分割的情况下的TU分割的流程的图。(a)示出了 PU分割类型为2NX2N的情况,(b)示出了 PU分割类型为2NXnU的情况。
[0048]图23是表示在进行I3U分割类型为2NX 2N的区域的分割的情况下的TU分割的流程的一例的图。
[0049]图24是表不⑶解码处理的流程的一例的流程图。
[0050]图25是表示本发明的一实施方式所涉及的运动图像编码装置的概略的构成的功能框图。
[0051 ] 图26是表示⑶编码处理的流程的一例的流程图。
[0052]图27是表示搭载有上述运动图像编码装置的发送装置、以及搭载有上述运动图像解码装置的接收装置的构成的图。(a)示出了搭载有运动图像编码装置的发送装置,(b)示出了搭载有运动图像解码装置的接收装置。
[0053]图28是表示搭载有上述运动图像编码装置的记录装置以及搭载有上述运动图像解码装置的再生装置的构成的图。(a)示出了搭载有运动图像编码装置的记录装置,(b)示出了搭载有运动图像解码装置的再生装置。
[0054]图29是表示上述运动图像解码装置所具备的PU信息解码部的运动补偿参数导出部的详细的构成例的功能框图。
[0055]图30是表示上述运动图像解码装置所具备的解码模块的运动信息解码部的详细的构成例的功能框图。
[0056]图31是现有技术中的的语法表的例子,是表示在不进行双预测限制的情况下的编码数据的构成的图。
[0057]图32是示出帧间预测标志的含义的图。(a)示出在为2值标志的情况下的帧间预测标志的含义,(b)示出在为3值标志的情况下的帧间预测标志的含义。
[0058]图33是表示的语法表的例子的图,(a)以及(b)各自示出在进行双预测限制的情况下的编码数据的构成的尤其是巾贞间预测标志inter_pred_flag的部分。
[0059]图34是与双预测限制相关的语法表的例子的图。(a)示出了在包含对序列参数集是否进行双预测限制进行限制的标志disable_bipred_in_small_PU在内的情况。(b)是设置预测制约标志use_restricted_prediction作为公共的标志的例子。(C)是将表示禁止双预测的PU的尺寸的disable_bipred_size包含在编码数据中的例子。
[0060]图35是表示实施双预测限制的范围以及双预测限制方法的对应关系的图。
【具体实施方式】
[0061]参考图1?图24来说明本发明的一实施方式。首先,在参考图2的同时说明运动图像解码装置(图像解码装置)I以及运动图像编码装置(图像编码装置)2的概要。图2是表示运动图像解码装置I的概略构成的功能框图。
[0062]图2所示的运动图像解码装置I以及运动图像编码装置2安装有在H.264 /MPEG — 4AVC规格中所采用的技术、在作为VCEG(Video Coding Expert Group)中的共同开发用编解码器的KTA软件中所采用的技术、在TMuC(Test Model under Consideration)软件中所采用的技术、以及在作为其后继编解码器的HEVCXHigh-Efficiency Video Coding)中所提案的技术。
[0063]运动图像编码装置2在这些运动图像编码方式中,将对从编码器传输至解码器进行了规定的语法(syntax)的值进行熵编码来生成编码数据# I。
[0064]作为熵编码方式,已知有上下文自适应型可变长编码(CAVLC:Context_basedAdaptive Variable Length Coding)、以及上下文自适应型2值算术编码(CABAC:Context-based Adaptive Binary Arithmetic Coding)。
[0065]在基于CAVLC以及CABAC的编码/解码中,进行与上下文相适应的处理。上下文是指,编码/解码的状况(文脈),是根据关联语法的过去的编码/解码结果来确定的。作为关联语法,例如有与帧内预测、帧间预测相关的各种语法;与亮度(Luma)、色差(Chroma)相关的各种语法;以及与CU(Coding Unit编码单位)尺寸相关的各种语法等。另外,在CABAC中,还有将与语法对应的2值数据(二进制串)中的作为编码/解码对象的二进制的位置用作上下文的情况。
[0066]在CAVLC中,自适应地变更用于编码的VLC表,对各种语法进行编码。另一方面,在CABAC中,对能取预测模式以及变换系数等的多值的语法实施2值化处理,并对通过该2值化处理而得到的2值数据对应于发生概率地自适应地进行算术编码。具体而言,准备多个保持二进制值(O或I)的发生概率的缓冲器,并根据上下文来选择一个缓冲器,基于该缓冲器中所记录的发生概率来进行算术编码。另外,通过基于进行解码/编码的二进制值来更新该缓冲器的发生概率,从而能对应于上下文来维持适当的发生概率。
[0067]对于运动图像解码装置I输入由运动图像编码装置2编码运动图像而得到的编码数据# I。运动图像解码装置I对所输入的编码数据# I进行解码并将运动图像# 2输出至外部。在运动图像解码装置I的详细的说明之前,以下说明编码数据# I的构成。
[0068]〔编码数据的构成〕
[0069]使用图3,来说明由运动图像编码装置2生成且由运动图像解码装置I解码的编码数据# I的构成例。编码数据# I例示地包含序列、以及构成序列的多个图片。[0070]编码数据# I中的图片层以下的阶层的结构如图3所示。图3的(a)?(d)分别是表示对图片PICT进行规定的图片层、对切片S进行规定的切片层、对树块(Tree block)TBLK进行规定的树块层、对树块TBLK中所含的编码单位(Coding Unit KU)进行规定的⑶层的图。
[0071](图片层)
[0072]在图片层,规定了运动图像解码装置I为了解码出处理对象的图片PICT (以下也称为对象图片)而参考的数据的集合。图片PICT如图3的(a)所示,包含:图片报头PH、以及切片SI?SNS (NS是图片PICT中所含的切片的总数)。
[0073]此外,以下,在无需区分切片SI?SNS的每一个的情况下,有时省略标号的下标来记述。另外,关于以下说明的编码数据# I中所含的数据,即带下标的其他数据也同样。
[0074]在图片报头PH中,含有运动图像解码装置I为了决定对象图片的解码方法而参考的编码参数群。例如,运动图像编码装置2在编码时用到的表示可变长编码的模式的编码模式信息(entropy_coding_mode_flag)是图片报头PH中所含的编码参数的一例。
[0075]在entropy_coding_mode_flag 为 O 的情况下,该图片 PICT 通过 CAVLC(Context-based Adaptive Variable Length Coding)进行编石马。另夕卜,在entropy_coding_mode_flag 为 I 的情况下,该图片 PICT 通过 CABAC (Context-based Adaptive BinaryArithmetic Coding)进行编码。
[0076]此外,图片报头PH也称为图片/参数/集合(PPS:Picture Parameter Set)。
[0077](切片层)
[0078]在切片层,规定了运动图像解码装置I为了解码出处理对象的切片S(也称为对象切片)而参考的数据的集合。切片S如图3的(b)所示,包含:切片报头SH、以及树块TBLKl?TBLKNC (NC是切片S中所含的树块的总数)。
[0079]在切片报头SH中,含有运动图像解码装置I为了决定对象切片的解码方法而参考的编码参数群。对切片类型进行指定的切片类型指定信息(slice_type)是切片报头SH中所含的编码参数的一例。
[0080]作为能通过切片类型指定信息进行指定的切片类型,可列举出:(1)在编码时仅使用帧内预测的I切片,(2)在编码时使用单预测或帧内预测的P切片,(3)在编码时使用单预测、双预测或帧内预测的B切片等。
[0081]另外,在切片报头SH中,可以不含由运动图像解码装置I所具备的环路滤波器(未图示)参考的滤波器参数。
[0082](树块层)
[0083]在树块层,规定了运动图像解码装置I为了解码出处理对象的树块TBLK(以下,也称为对象树块)而参考的数据的集合。
[0084]树块TBLK包含:树块报头TBLKH、以及编码单位信息⑶I?CUNUNL是树块TBLK中所含的编码单位信息的总数)。在此,首先,关于树块TBLK与编码单位信息CU的关系,说明如下。
[0085]树块TBLK被分割为用于对帧内预测或帧间预测、以及用于变换的各处理的块尺寸进行确定的组件。
[0086]树块TBLK的上述组件通过递归式的四叉树分割进行了分割。以下,将通过该递归式的四叉树分割而得到的树结构称为编码树(coding tree)ο
[0087]以下,将与编码树的末端的节点即叶(Ieaf)对应的组件作为编码节点(codingnode)来进行参考。另外,编码节点成为编码处理的基本的单位,因此以下将编码节点也称为编码单位(⑶)。
[0088]也就是,编码单位信息⑶I?CUNL是与将树块TBLK递归式地进行四叉树分割而得到的各编码节点(编码单位)对应的信息。
[0089]另外,编码树的根(root)与树块TBLK相对应。换言之,树块TBLK与递归式地包含多个编码节点的四叉树分割的树结构的最上位节点相对应。
[0090]此外,各编码节点的尺寸在纵横方向上均是该编码节点直接所属的编码节点(gp,该编码节点的I阶层上位的节点的组件)的尺寸的一半。
[0091]另外,各编码节点可取的尺寸取决于编码数据# I的序列参数集SPS中所含的编码节点的尺寸指定信息以及最大阶层深度(maximum hierarchical depth)。例如,在树块TBLK的尺寸为64X64像素、且最大阶层深度为3的情况下,该树块TBLK以下的阶层中的编码节点可取4种尺寸,即,64X64像素、32X32像素、16X 16像素、以及8X8像素的任一者。
[0092](树块报头)
[0093]在树块报头TBLKH中,含有运动图像解码装置I为了决定对象树块的解码方法而参考的编码参数。具体而言,如图3的(c)所示,包含:对对象树块到各CU的分割图案进行指定的树块分割信息SP —TBLK、以及指定量化步长的大小的量化参数差分Aqp (qp_delta)。
[0094]树块分割信息SP — TBLK是表征用于分割树块的编码树的信息,具体而言,是对对象树块中所含的各CU的形状、尺寸、以及对象树块内的位置进行指定的信息。
[0095]此外,树块分割信息SP — TBLK可以不显性地包含⑶的形状或尺寸。例如树块分割信息SP — TBLK可以是表示是否对对象树块全体或树块的部分区域进行四分割的标志(split_coding_unit_flag)的集合。在此情况下,能通过兼用树块的形状或尺寸来确定各⑶的形状或尺寸。
[0096]另外,量化参数差分Aqp是对象树块中的量化参数qp、与在该对象树块之前刚编码出的树块中的量化参数qp’的差分qp - qp’。
[0097](CU 层)
[0098]在⑶层,规定了运动图像解码装置I为了解码出处理对象的⑶(以下,也称为对象CU)而参考的数据的集合。
[0099]在此,在进行编码单位信息CU中所含的数据的具体的内容的说明之前,说明CU中所含的数据的树结构。编码节点成为预测树(prediction tree ;PT)以及变换树(transformtree ;TT)的根的节点。关于预测树以及变换树,说明如下。
[0100]在预测树中,将编码节点分割为I个或多个预测块,并规定各预测块的位置和尺寸。若换一种的表现,则预测块是构成编码节点的I个或多个不重复的区域。另外,预测树包含上述的通过分割而得到的I个或多个预测块。
[0101]预测处理按该预测块的每一个来进行。以下,将作为预测的单位的预测块也称为预测单位(prediction unit ;PU)。[0102]预测树中的分割的种类大致上分为帧内预测的情况、以及帧间预测的情况这两种情况。
[0103]在帧内预测的情况下,分割方法中存在2NX2N (与编码节点为同一尺寸)以及NXN。
[0104]另外,在帧间预测的情况下,分割方法中存在2NX2N (与编码节点为同一尺寸)、2NXN、NX2N 以及 NXN 等。
[0105]另外,在变换树中,将编码节点分割为I个或多个变换块,并规定各变换块的位置和尺寸。若换一种表现,则变换块是构成编码节点的I个或多个不重复的区域。另外,变换树包含通过上述的分割而得到的I个或多个变换块。
[0106]变换处理按该变换块的每一块来进行。以下,将作为变换的单位的变换块也称为变换单位(transform unit ;TU)。
[0107](编码单位信息的数据结构)
[0108]接着,在参考图3的(d)的同时,说明编码单位信息CU中所含的数据的具体的内容。如图3的(d)所示,编码单位信息⑶具体而言,包含:跳过模式标志SKIP、⑶预测类型信息Pred _ type、PT信息PT1、以及TT信息TTI。
[0109][跳过标志]
[0110]跳过标志SKIP是表示是否针对对象CU应用了跳过模式的标志,在跳过标志SKIP的值为I的情况下,即,对对象CU应用了跳过模式的情况下,省略其编码单位信息CU中的PT信息PTI。此外,跳过标志SKIP在I切片中被省略。
[0111][CU预测类型信息]
[0112]⑶预测类型信息Pred _ type包含⑶预测方式信息PredMode以及PU分割类型信息 PartMode。
[0113]CU预测方式信息PredMode指定是使用帧内预测(帧内CU)、以及帧间预测(帧间CU)的哪一者,来作为针对对象CU中所含的各的预测图像生成方法。此外,以下,将对象CU中的跳过、帧内预测、以及帧间预测的类别称为CU预测模式。
[0114]PU分割类型信息PartMode对对象编码单位(⑶)到各I3U的分割的图案即I3U分割类型进行指定。以下,将如此遵照PU分割类型来将对象编码单位(⑶)分割到各的动作称为PU分割。
[0115]PU分割类型信息PartMode例示性地,既可以是表示I3U分割图案的种类的索引,也可以被指定了对象预测树中所含的各PU的形状、尺寸、以及在对象预测树内的位置。
[0116]此外,可选择的PU分割类型根据⑶预测方式和⑶尺寸而不同。另外,若进一步讲,能选择的PU分割类型在帧间预测以及帧内预测各自的情况下是不同的。另外,关于PU分割类型的细节将后述。
[0117]另外,在不是I切片的情况下,分割类型信息PartMode的值可以根据对树块的分割(partition:分区)、预测方式、以及⑶的分割(split)的方法的组合进行指定的索引(cu_split_pred_part_mode)来石角定。
[0118][PT 信息]
[0119]PT信息PTI是与对象⑶中所含的PT相关的信息。换言之,PT信息PTI是与PT中所含的I个或多个PU各自相关的信息的集合。如上所述,预测图像的生成是以PU为单位来进行的,因此PT信息PTI在由运动图像解码装置I生成预测图像时被参考。PT信息PTI如图3的(d)所示,包含含有各I3U中的预测信息等在内的I3U信息PUIl~PUINP (NP是对象PT中所含的I3U的总数)。
[0120]预测信息,对应于预测类型信息Pred —mode是指定哪一种预测方法的情形而包含帧内预测信息或帧间预测信息。以下,将应用帧内预测的PU也称为帧内PU,将应用帧间预测的PU也称为帧间W。
[0121]帧间预测信息包含运动图像解码装置I通过帧间预测来生成帧间预测图像时所参考的编码参数。
[0122]作为帧间预测参数,例如可列举合并标志(merge — flag)、合并索引(merge —idx)、估计运动矢量索引(mvp — idx)、参考图像索引(ref — idx)、帧间预测标志(inter —pred — flag)、以及运动矢量残差(mvd)。
[0123]帧内预测信息包含运动图像解码装置I在通过帧内预测来生成帧内预测图像时所参考的编码参数。
[0124]作为帧内预测参数,例如可列举估计预测模式标志、估计预测模式索引、以及残余预测模式索引。
[0125]此外,在帧内预测信息中,可以对表示是否使用PCM模式的PCM模式标志进行编码。在编码了 PCM模式标志的情况下,在PCM模式标志示出了使用PCM模式时,省略预测处理(帧内)、变换处理以及熵编码的各处理。
[0126][TT 信息]
[0127]TT信息TTI是与⑶中所含的TT相关的信息。换言之,TT信息TTI是与TT中所含的I个或多个TU各自相关的信息的集合,`在由运动图像解码装置I解码残差数据时被参考。此外,以下,有时也将TU称为块。
[0128]TT信息TTI如图3的(d)所示,含有:对对象CU到各变换块的分割图案进行指定的TT分割信息SP _ TU、以及TU信息TUIl~--ΙΝΤ (NT是对象⑶中所含的块的总数)。
[0129]TT分割信息SP — TU,具体而言,是用于决定对象⑶中所含的各TU的形状、尺寸、以及在对象CU内的位置的信息。例如,TT分割信息SP —TU能根据表示是否进行作为对象的节点的分割的信息(SPI i t_tran s f orm_f I ag )、以及表示该分割的深度的信息(trafoDepth)来实现。
[0130]另外,例如在⑶的尺寸为64X64的情况下,通过分割而得到的各TU可取32X32像素~4X4像素的尺寸。
[0131]TU信息TUIl~TUINT是与TT中所含的I个或多个TU各自相关的个别的信息。例如,TU信息--Ι含有量化预测残差。
[0132]各量化预测残差是通过由运动图像编码装置2对处理对象的块即对象块实施以下的处理I~3而生成的编码数据。
[0133]处理1:对从编码对象图像中减去预测图像后的预测残差进行DCT变换(DiscreteCosine Transform);
[0134]处理2:对通过处理I而得到的变换系数进行量化;
[0135]处理3:对通过处理2而量化后的变换系数进行可变长编码;
[0136]此外,上述的量化参数qp表征运动图像编码装置2对变换系数进行量化时用到的量化步长QP的大小(QP = 2qp/6)。
[0137](I3U分割类型)
[0138]若将对象⑶的尺寸设为2ΝΧ 2Ν像素,则在PU分割类型中存在如下的合计8种图案。S卩,2ΝΧ2Ν像素、2ΝΧΝ像素、NX 2Ν像素、及NXN像素这4种对称的分割(symmetricsplittings)、以及2NXnU像素、2NXnD像素、nLX 2N像素、以及nRX 2N像素这4种非对称的分割(asymmetric splittings)。此外,意味着N = 2m (m为I以上的任意的整数)。以下,将对对象CU进行分割而得到的区域也称为分区。
[0139]在图4的(a)?(h)中,关于各自的分割类型,具体图示了⑶中的PU分割的边界的位置。
[0140]此外,图4的(a)示出了不进行⑶的分割的2NX2N的PU分割类型。
[0141]另外,图4的(b)、(C)、以及(d)分别示出了在PU分割类型分别为2NXN、2NXnU、以及2NXnD的情况下的分区的形状。以下,将PU分割类型为2NXN、2NXnU、以及2NXnD的情况下的分区合起来称为横长分区。
[0142]另外,图4的(e)、(f)、以及(g)分别示出了在PU分割类型为NX2N、nLX2N、以及nRX 2N的情况下的分区的形状。以下,将I3U分割类型为NX 2N、nLX 2N、以及nRX 2N的情况下的分区合起来称为纵长分区。
[0143]另外,将横长分区以及纵长分区合起来称为长方形分区。
[0144]另外,图4的(h)示出了 PU分割类型为NXN的情况下的分区的形状。将图4的(a)以及(h)的PU分割类型,基于其分区的形状,还称为正方形分割。另外,将图4的(b)?(g)的PU分割类型还称为非正方形分割。
[0145]另外,在图4的(a)?(h)中,对各区域赋予的编号示出了区域的识别编号,按照该识别编号顺序,对区域进行处理。即,该识别编号表征了区域的扫描顺序。
[0146]另外,在图4的(a)?(h)中,设左上为⑶的基准点(原点)。
[0147][帧间预测的情况下的分割类型]
[0148]在帧间I3U中,定义了上述8种分割类型当中除NXN(图4的(h))以外的7种。此夕卜,有时将上述4种非对称的分割也称为AMP (Asymmetric Motion Partition)。
[0149]此外,上述的N的具体的值根据该PU所属的⑶的尺寸来规定,nU、nD、nL、以及nR的具体的值对应于N的值而确定。例如,128X128像素的帧间⑶能分割成128X 128像素、128 X 64像素、64X 128像素、64X64像素、128 X 32像素、128 X 96像素、32 X 128像素、以及96X128像素的帧间PU。
[0150][帧内预测的情况下的分割类型]
[0151]在帧内中,定义了下面2种分割图案。即,不分割对象CU的,即对象CU自身作为I个PU被对待的分割图案2NX2N、以及将对象⑶对称地分割为4个PU的图案NX N。
[0152]因此,在帧内PU中,若以图4所示的例子而言,能取(a)以及(h)的分割图案。
[0153]例如,128X128像素的帧内⑶能分割成128X 128像素、以及64X64像素的帧内PU。
[0154]此外,在I切片的情况下,在编码单位信息CU中,可以含有用于确定分割类型PartMode 的巾贞内分割模式(intra_part_mode)。
[0155](TU分割以及节点内的TU的顺序)[0156]接下来,使用图18?图20来说明TU分割以及节点内的TU的顺序。TU分割的图案根据⑶的尺寸、分割的深度(trafoD印th)、以及对象I3U的PU分割类型来确定。
[0157]另外,TU分割的图案之中,包含正方形的四叉树分割以及非正方形的四叉树分割。TU分割的图案的具体例如图18以及图19所示。
[0158]图18示出了将正方形的节点四叉树分割为正方形或非正方形的分割方式。
[0159]图18的(a)示出了将正方形的节点四叉树分割为正方形的分割方式。另外,同图的(b)示出了将正方形的节点四叉树分割为横长的长方形的分割方式。而且,同图的(C)示出了将正方形的节点四叉树分割为纵长的长方形的分割方式。
[0160]另外,图19示出了将非正方形的节点四叉树分割为正方形或非正方形的分割方式。
[0161]图19的(a)不出了将横长的长方形的节点四叉树分割为横长的长方形的分割方式。另外,同图的(b)示出了将横长的长方形的节点四叉树分割为正方形的分割方式。另夕卜,同图的(C)示出了将纵长的长方形的节点四叉树分割为纵长的长方形的分割方式。而且,同图的(d)示出了将纵长的长方形的节点四叉树分割为正方形的分割方式。
[0162]另外,图20示出了PU分割类型2NXN的32X32⑶的TU分割的例子。在同图中,“depth”示出了分割的深度(trafoDepth)。另外,“split”示出了该depth中的split_transform_flag的值。若“split”为“ I”,则针对该depth的节点进行TU分割,若为“0”,则不进行TU分割。
[0163]关于CU的尺寸、分割的深度(trafoD印th)、以及对象PU的PU分割类型、与TU分割图案的对应关系的细节将后述。
[0164]〔运动图像解码装置〕
[0165]以下,参考图1?图24来说明本实施方式所涉及的运动图像解码装置I的构成。
[0166](运动图像解码装置的概要)
[0167]运动图像解码装置I按每个PU来生成预测图像,并通过对所生成的预测图像、与从编码数据# I解码出的预测残差进行相加来生成解码图像# 2,且将所生成的解码图像# 2输出至外部。
[0168]在此,预测图像的生成是参考通过对编码数据# I进行解码而得到的编码参数来进行的。编码参数是指为了生成预测图像而参考的参数。在编码参数中,除了在画面间预测中所参考的运动矢量和在画面内预测中所参考的预测模式等的预测参数之外,还包含PU的尺寸或形状、块的尺寸或形状、以及原图像与预测图像的残差数据等。以下,将编码参数中所含的信息当中除上述残差数据以外的全部的信息的集合称为边侧信息。
[0169]另外,以下,将作为解码的对象的图片(巾贞)、切片、树块、块、以及分别称为对象图片、对象切片、对象树块、对象块、以及对象TO。
[0170]此外,树块的尺寸例如为64X64像素,PU的尺寸例如为64X64像素、32X32像素、16X16像素、8X8像素或4X4像素等。然而,这些尺寸只不过是例示,树块以及I3U的尺寸可以是以上所示的尺寸以外的尺寸。
[0171 ](运动图像解码装置的构成)
[0172] 再次参考图2,关于运动图像解码装置I的概略的构成,说明如下。图2是表示运动图像解码装置I的概略的构成的功能框图。[0173]如图2所示,运动图像解码装置I具备:解码模块10、⑶信息解码部11、I3U信息解码部12、TU信息解码部13、预测图像生成部14、逆量化/逆变换部15、帧存储器16以及加法器17。
[0174][解码模块]
[0175]解码模块10进行由二进制解码出语法值的解码处理。解码模块10更具体而言,基于从提供源提供的编码数据以及语法类别,来对通过CABAC以及CAVLC等的熵编码方式而编码出的语法值进行解码,并将解码出的语法值返回给提供源。
[0176]在以下所示的例子中,编码数据以及语法类别的提供源是CU信息解码部11信息解码部12、以及TU信息解码部13。
[0177]作为解码模块10中的解码处理的例子,针对从CU信息解码部11对解码模块10提供了编码数据的二进制(比特串)、以及语法类别“split_coding_unit_flag”的情况,说明如下。即,在此情况下,解码模块10参考“split_coding_unit_flag”相关的比特串与语法值的对应关系,由二进制导出语法值,并将导出的语法值返回至CU信息解码部11。
[0178][⑶信息解码部]
[0179]⑶信息解码部11使用解码模块10,针对从运动图像编码装置2输入的I帧的量的编码数据# 1,进行树块以及⑶级别的解码处理。⑶信息解码部11具体而言,通过以下的过程来对编码数据#I进行解码。
[0180]首先,CU信息解码部11参考编码数据# I中所含的各种报头,将编码数据# I依次分离为切片、树块。
[0181]在此,在各种报·头中,含有:(1)关于对象图片到切片的分割方法的信息、以及(2)关于属于对象切片的树块的尺寸、形状以及在对象切片内的位置的信息。
[0182]而且,⑶信息解码部11参考树块报头TBLKH中所含的树块分割信息SP _ TBLK,来将对象树块分割为CU。
[0183]接下来,⑶信息解码部11获取与通过分割而得到的⑶对应的编码单位信息(以下,称为CU信息)。CU信息解码部11将树块中所含的各CU依次作为对象CU,来执行与对象⑶对应的⑶信息的解码处理。
[0184]即,⑶信息解码部11对于与就对象⑶所得到的变换树相关的TT信息TT1、以及与就对象CU所得到的预测树相关的PT信息PTI进行解复用。
[0185]此外,在TT信息TTI中,如上所述,包含与变换树中所含的TU对应的TU信息--Ι。另外,在PT信息PTI中,如上所述,包含与对象预测树中所含的PU对应的PU信息ΡΠ。
[0186]⑶信息解码部11将针对对象⑶所得到的PT信息PTI提供给PU信息解码部12。另外,CU信息解码部11将针对对象CU所得到的TT信息TTI提供给TU信息解码部13。
[0187][I3U信息解码部]
[0188]PU信息解码部12使用解码模块10,针对从⑶信息解码部11提供的PT信息PTI,进行PU级别的解码处理。信息解码部12,具体而言,通过以下的过程来对PT信息PTI进行解码。
[0189]PU信息解码部12参考PU分割类型信息Part _ type,来决定对象预测树中的PU分割类型。接下来,I3U信息解码部12将对象预测树中所含的各PU依次作为对象PU,来执行与对象I3U对应的PU信息的解码处理。[0190]BP,PU信息解码部12根据与对象对应的PU信息,来进行用于预测图像的生成的各参数的解码处理。
[0191]PU信息解码部12将针对对象PU所解码出的PU信息提供给预测图像生成部14。
[0192][TU信息解码部]
[0193]TU信息解码部13使用解码模块10,针对从⑶信息解码部11提供的TT信息TTI,进行TU级别的解码处理。TU信息解码部13,具体而言,通过以下的过程来对TT信息TTI进行解码。
[0194]TU信息解码部13参考TT分割信息SP _ TU,将对象变换树分割为节点或TU。此夕卜,TU信息解码部13若被指定了针对对象节点来进行进一步分割,则递归式地进行TU的分割处理。
[0195]若分割处理结束,则TU信息解码部13将对象预测树中所含的各TU依次作为对象TU,来执行与对象TU对应的TU信息的解码处理。
[0196]即,TU信息解码部13根据与对象TU对应的TU信息,来进行用于变换系数的还原的各参数的解码处理。
[0197]TU信息解码部13将针对对象TU而解码出的TU信息提供给逆量化/逆变换部15。
[0198][预测图像生成部]
[0199]预测图像生成部14针对对象⑶中所含的各PU,基于PT信息PTI来生成预测图像。具体而言,预测图像生成部14针对对象预测树中所含的各对象PU,遵照与对象PU对应的PU信息ΡΠ中所含的参数来进行帧内预测或帧间预测,从而从作为解码完毕图像的局部解码图像P’生成预测图像Pred。预测图像生成部14将已生成的预测图像Pred提供给加法器17。
[0200]此外,关于预测图像生成部14基于运动补偿预测参数(运动矢量、参考图像索引、帧间预测标志)来生成对象CU中所含的的预测图像的手法,说明如下。
[0201]在帧间预测标志表示单预测的情况下,预测图像生成部14生成与位于参考图像索引所示的参考图像的运动矢量所示的地点上的解码图像相当的预测图像。
[0202]另一方面,在帧间预测标志表示双预测的情况下,预测图像生成部14针对2组的参考图像索引与运动矢量的组合的每个组合,通过运动补偿来生成预测图像,计算平均,或者,基于对象图片和各参考图像的显示时间间隔来对各预测图像进行加权相加,从而生成最终的预测图像。
[0203][逆量化/逆变换部]
[0204]逆量化/逆变换部15针对对象CU中所含的各TU,基于TT信息TTI来执行逆量化/逆变换处理。具体而言,逆量化/逆变换部15针对对象变换树中所含的各对象TU,对于与对象TU对应的TU信息ΤΠ中所含的量化预测残差进行逆量化以及逆正交变换,从而还原每个像素的预测残差D。此外,在此,正交变换是指,从像素区域到频域的正交变换。因此,逆正交变换是从频域到像素区域的变换。另外,作为逆正交变换的例子,可列举逆DCT变换(Inverse Discrete Cosine Transform)、以及逆 DST 变换(Inverse Discrete SineTransform)等。逆量化/逆变换部15将还原后的预测残差D提供给加法器17。
[0205][帧存储器]
[0206]在帧存储器16中,与用于该解码图像P的解码的参数一起,依次记录解码出的解码图像P。在帧存储器16中,在对对象树块进行解码的时间点上,记录有与先于该对象树块而解码出的全部的树块(例如,以光栅扫描顺序先行的全部的树块)对应的解码图像。作为帧存储器16中所记录的解码参数的例子,可列举CU预测方式信息PredMode等。
[0207][加法器]
[0208]加法器17通过对由预测图像生成部14提供的预测图像Pred、与由逆量化/逆变换部15提供的预测残差D进行相加,来生成关于对象CU的解码图像P。
[0209]此外,在运动图像解码装置I中,对于图像内的全部的树块,在树块单位的解码图像生成处理结束的时间点,输入至运动图像解码装置I的与I帧的量的编码数据# I对应的解码图像# 2被输出至外部。
[0210]以下,针对(I)⑶信息解码部11,(2)PU信息解码部12,以及(3)TU信息解码部13的构成,同与各自的构成对应的解码模块10的构成一起来详细说明。
[0211](I)⑶信息解码部的细节
[0212]接下来,使用图1来说明CU信息解码部11以及解码模块10的构成例。图1是针对在运动图像解码装置I中用于解码CU预测信息的构成,即CU信息解码部11以及解码模块10的构成进行例示的功能框图。
[0213]以下,按照CU信息解码部11以及解码模块10的顺序来说明各部的构成。
[0214](⑶信息解码部)
[0215]如图1所示,⑶信息解码部11具备:⑶预测模式决定部111、PU尺寸决定部112、以及I3U尺寸表113。
[0216]CU预测模式决定部111将CU预测模式的编码数据以及语法类别、以及分割类型的编码数据以及语法类别提供给解码模块10。另外,CU预测模式决定部111从解码模块10获取解码出的CU预测模式的语法值、以及分割类型的语法值。
[0217]具体而言,CU预测模式决定部111按如下方式来决定CU预测模式以及分割类型。
[0218]首先,⑶预测模式决定部111将跳过标志SKIP通过解码模块10进行解码,并决定对象⑶是否为跳过⑶。
[0219]在对象⑶不是跳过⑶的情况下,由解码模块10来对⑶预测类型信息Pred —type进行解码。另外,不仅基于CU预测类型信息Pred — type中所含的CU预测方式信息PredMode,来决定对象⑶是帧内⑶还是帧间⑶,而且基于I3U分割类型信息PartMode来决定I3U分割类型。
[0220]I3U尺寸决定部112参考PU尺寸表113,根据对象⑶的尺寸、在⑶预测模式决定部111中决定出的CU预测类型以及PU分割类型,来决定PU的个数以及尺寸。
[0221]PU尺寸表113是将PU的个数以及尺寸、与⑶的尺寸和⑶预测类型一 PU分割类型的组合建立对应的表。
[0222]在此,使用图5,关于PU尺寸表113的具体的构成例,说明如下。
[0223]在图5所示的尺寸表113中,根据⑶的尺寸、分割类型(帧内⑶以及帧间⑶)来定义了 I3U的个数以及尺寸。此外,表中的“d”表示⑶的分割深度。
[0224]在I3U尺寸表113中,作为CU的尺寸,定义了 64X 64、32 X 32、16 X 16、以及8 X 8这4种。[0225]另外,在I3U尺寸表113中,对于CU的尺寸,定义了各I3U分割类型中的PU的个数以及尺寸。
[0226]例如,在为64X64的帧间⑶、且为2NXN分割的情况下,PU为2个,尺寸均为64X32。
[0227]另外,在为64 X 64的帧间CU、且为2NX nU分割的情况下,I3U为2个,尺寸为64 X 16和 64X48。
[0228]另外,在为8X8的帧内⑶、且为NXN分割的情况下,PU为4个,尺寸全部为4X4。
[0229]此外,跳过⑶的PU分割类型被估计为2NX2N。另外,表中,以“一”所表示的地方示出了是不能选择的PU分割类型的情况。
[0230]g卩,在CU尺寸为8X8的情况下,在帧间CU中,非对称分区(2NXnU、2NXnD、nLX2N、以及nRX2N)的PU分割类型为不可选择。另外,在帧间⑶的情况下,NXN的PU分割类型为不可选择。
[0231]另外,在帧内预测中,仅在⑶尺寸为8X8的情况下能选择NXN的PU分割类型。
[0232](解码模块)
[0233]如图1所示,解码模块10具备AU预测模式解码部(解码单元、变更单元)1011、二值化信息存储部1012、上下文存储部1013、以及概率设定存储部1014。
[0234]CU预测模式解码部1011根据从CU预测模式决定部111提供的编码数据以及语法类别,从编码数据中所含的二进制进行语法值的解码。具体而言,CU预测模式解码部1011遵照二值化信息存储部1012中所存储的二值化信息,来进行CU预测模式以及I3U分割类型的解码处理。另外,⑶预测模式解码部1011进行跳过标志的解码处理。
[0235]在二值化信息存储部1012中存储有用于由CU预测模式解码部1011从二进制解码出语法值的二值化息。二值化息是表不二进制(bin串)与语法值的对应关系的信息。
[0236]在上下文存储部1013中,存储有⑶预测模式解码部1011在解码处理时参考的上下文。
[0237]在概率设定存储部1014中,记录有⑶预测模式解码部1011在通过算术解码处理从编码数据中解码出bin串时参考的概率设定值。此外,概率设定值中存在与各上下文对应的记录设定值、以及既定的概率设定值。与各上下文对应的概率设定值基于算术解码的结果而被更新。另一方面,既定的概率设定值是恒定的,不基于算术解码的结果而被更新。此外,概率设定值可以不是概率的值自身,而是以与概率的值对应的整数值所示的状态来表现。
[0238][具体的构成例]
[0239][1-1]对上下文的参考进行限制的构成例
[0240]CU预测模式解码部1011在PU分割类型为非对称分区时,可以不使用CABAC的上下文而对表示非对称分区的分割的种类的信息进行解码处理。换言之,在通过算术解码从编码数据中对于与表示非对称分区的分割的种类的信息对应的bin串进行解码时,可以不使用在概率设定存储部1014中按每个上下文而记录的概率设定值,而使用既定的概率设定值(例如与O、I的发生概率为等概率对应的概率设定值)来进行解码处理。
[0241]以下,在参考图7的同时,例示如此进行上下文的参考的限制的构成。
[0242]CU预测模式解码部1011假设规定的概率来对表示非对称分区的分割的种类的信息进行解码。
[0243]参考图7的同时,关于本构成例进一步具体的例示如下。在图7所示的对应关系表BTl中,关于长方形的分割,前缀部示出了分割的方向是横长(水平)以及纵长(垂直)的哪一者,后缀部示出了分割的种类。
[0244]例如,在前缀部示出PU分割类型为横长的分割时,后缀部示出从2NXN、2NXnU、以及2NXnD这3个横长的分割当中选择哪一者。
[0245]CU预测模式解码部1011在PU分割类型为长方形的分割的情况下,可以取代概率设定存储部1014中所设定的按每个上下文而记录的概率设定值,而是参考概率设定存储部1014中所设定的既定的概率设定值,来进行后缀部的各bin的算术解码。此外,该概率设定值例如能假设等概率来进行设定。
[0246]在此,利用了上下文的CABAC的算术解码是指,在根据二进制的位置(上下文)来记录/更新二进制值的发生概率(对其进行表示的状态)时,基于该发生概率(状态)来进行算术解码的处理。另一方面,不利用上下文的CABAC的算术解码是指,不进行二进制值的发生概率(状态)的更新,而基于根据概率设定值而确定的固定概率来进行算术解码。在不利用上下文的情况下,对应于编码处理、解码处理中的发生概率(状态)的更新所不需要的部分,处理负荷降低,吞吐量得以提高。另外,不需要对与上下文相应的发生概率(状态)进行蓄积的存储器。在使用概率0.5作为固定概率的情况下,有时也称为EP编码(等概率、EqualProbability 编码)或者 Bypass (旁路)。
[0247]使用图6来说明基于上述构成的作用/效果。首先,上下文对于编码效率的提高有效的情形,是指在特定的状况下相同的码连续发生的情况。通过参考上下文来解码后缀部而编码效率得以提高,具体而言,是指在选择了横长的分割的状况下连续选择2NXN、2NXnU或2NXnD的情况。例如,在选择了 2NXN的预测单位的下一预测单位中选择2NXN那样的情况。
[0248]另一方面,分区大多如图6所示那样,被设定为不跨边沿边界。
[0249]S卩,如图6所示,在具有倾斜的边沿El位于区域内时,按照不跨该边沿El的方式来决定⑶10以及C20的PU分割类型。
[0250]更具体而言,在⑶10中,边沿El位于区域的垂直方向靠中央,在⑶20中,边沿El位于区域上方。
[0251]如此在具有倾斜的边沿El位于区域内的情况下,⑶10按照不跨边沿El的方式,基于2NXN的PU分割类型,分割成对称的PUll以及PU12。
[0252]另外,⑶20按照不跨边沿El的方式,基于2NXnU的分割类型,分割成非对称的PU21 以及 PU22。
[0253]如此,在具有倾斜的边沿El位于区域内的情况下,也有同一形状的分区连续不出现的时候。
[0254]这样的情况符合2NXN、2NXnU或2NXnD被连续选择的情况。这样的情况之中,还存在不使用上下文而编码效率也不下降的情况。
[0255]如上述构成那样,通过对于前缀部假设规定的概率来解码上述信息,能在维持编码效率的同时,简化pred — type的解码处理。
[0256][作用/效果][0257]本发明还能如下地表现。即,本发明的一形态所涉及的图像解码装置是按照将编码单位分割为I以上的数而得到的预测单位的每一个来生成预测图像从而还原图像的图像解码装置,其中,向上述预测单位的分割类型包含到长方形的预测单位的分割,所述图像解码装置具备:解码单元,其不使用上下文,而解码包含表示上述长方形是纵长以及横长的哪一者的码、以及表示上述长方形的种类的码在内的用于确定到上述长方形的预测单位的分割的码当中的、表示上述长方形的种类的码。
[0258]由此,能在维持编码效率的同时,谋求因不参考上下文所带来的处理的简化。
[0259]此外,上述的例子还能表现为:在与包含多个长方形分区在内的I3U分割对应的PU分割类型的集合,也即同时包含对称分割和非对称分割的分割类型在内的PU分割类型的集合中,在解码用于选择任一者的PU分割类型的信息时,可以不使用上下文来解码。
[0260]另外,在上述的例子中,在与非对称分区的选择所涉及的信息对应的bin串当中,并不是在全部的bin的解码中不使用上下文,而是可以在一部分的bin中使用上下文。例如,在上述的图7的例子中,在大于8X8的CU中选择了包含长方形分区在内的分割的情况下,对最大2位的bin进行解码。其中第I位是表示是对称分割还是非对称分割的信息。第2位是在第I位表示‘0’即非对称分割的情况下被解码的bin,表征非对称分割中的小的PU与大的PU的位置关系。关于第I位,基于前述的图6说明过的理由,还存在相同的码不连续的情况,因此优选不设定上下文。另一方面,关于第2位,在利用非对称分区这样的前提条件成立了的状态下,小的I3U有局部易贴近单侧的边(例如第2位表征2NxnU和2NXnD的选择信息的情况下,上方侧或下方侧的任一者)的趋势,因此优选设定上下文。
[0261][I — 2]对⑶预测类型信息(pred — type)进行解码的构成
[0262]CU预测模式解码部1011如以下所示,可以构成为参考二值化信息存储部1012中所存储的二值化信息来对CU预测类型信息进行解码。
[0263]使用图7来说明二值化信息存储部1012中所存储的二值化信息的构成例。图7是表示对CU预测类型以及分割类型的组合、与bin串的对应关系进行定义的二值化信息的一例的表。
[0264]此外,在图7中,例示地,以将bin串与⑶预测类型一 I3U分割类型建立对应的表形式来示出了二值化信息,但不限于此。二值化信息也可以是用于导出PU分割类型以及CU预测类型的导出式。关于在后说明的二值化信息也同样。
[0265]另外,二值化信息不是必须作为数据来进行存储,也可以作为进行解码处理的程序的逻辑来予以实现。
[0266]在图7所例示的对应关系表BTl中,根据CU预测类型以及分割类型、以及CU尺寸,来将bin串建立了对应。
[0267]首先,说明CU尺寸的定义。在对应关系表BTl中,作为CU尺寸的定义,定义了 CU尺寸大于8X8的情况下(⑶> 8X8)的非8X8⑶1012B、以及⑶尺寸为8X8 (⑶==8X8)的情况下的8X8⑶1012A的2种对应关系。
[0268]此外,在非8X8⑶1012B以及8X8⑶1012A各自建立了对应的bin串由前缀部(prefix)和后缀部(suffix)构成。
[0269]另外,在对应关系表BTl中,关于各CU尺寸的定义,作为CU预测类型,定义了前述的帧内CU (图示为“帧内”)以及帧间CU (图示为“帧间”)的2系统。进而,按照各CU预测类型来定义了 PU分割类型。
[0270]具体而言,如下所述。首先,在帧内CU的情况下,基于2NX2N以及NXN的2种PU分割类型来进行了定义。
[0271]关于2NX2N,说明如下。在非8X8⑶1012B中,仅定义了前缀部,bin串为“000”。后缀部未被编码。另外,在8X8⑶1012A中,前缀部为“000”,后缀部为“O”。
[0272]另一方面,关于NXN,仅定义了非8X8⑶1012B。在此情况下,前缀部为“000”,后缀部为“I”。
[0273]如此,在帧内⑶的情况下,关于后缀部,以“000”为公共形式。
[0274]接下来,在帧间CU 的情况下,针对 2NX2N、2NXN、2NXnU、2NXnD、NX2N、nLX2N、nRX2N这7种PU分割类型进行了定义。
[0275]在PU分割类型为2NX2N时,在非8X8CU1012B以及8X8CU1012A的任一者中均仅定义了前缀部,bin串为“I”。
[0276]在非8X8⑶1012B中,针对进行水平方向的分割的横长分区的I3U分割类型、2NXN、2NXnU、以及2NXnD,分配有公共的前缀部“01”。
[0277]另夕卜,2N X N、2N X nU、以及2N X nD的后缀部分别为“ I ”、“ 00 ”、以及“ OI ”。
[0278]另外,针对进行垂直方向的分割的纵长分区的分割类型、NX2N、nLX2N、以及nRX 2N,分配有公共的前缀部“001 ”。
[0279]NX 2N、nLX 2N、以及nRX 2N的后缀部分别为“ I ”、“00”、以及“01”。关于后缀部,
与进行上述的水平方向的分割的I3U分割类型的情况相同。
[0280]也就是,在横长分区以及纵长分区的定义中,后缀部表征分割的种类。S卩,在对称分割的情况下,bin为“I”。另外,“00”示出了比分割的边界为对称分割时位于更靠原点侧,“01”示出了比分割的边界为对称分割时位于更远离原点的一侧。
[0281]接下来,在8X8CU1012A中,针对2NX2N、2NXN、以及NX2N仅定义了前缀部。2NX2N、2NXN、#&NX2N 的前缀部分别为 “ I”、“01”、以及 “001”。
[0282]⑶预测模式解码部1011在遵照上述的二值化信息的解码处理中,可以对前缀部以及后缀部的各bin位置使用不同的上下文。
[0283]在对前缀部以及后缀部的各bin位置使用不同的上下文的情况下,上下文如下合计为8个。
[0284]首先,前缀部被定义了最大3比特的Mn,因此上下文的数量为3个。
[0285]以下,关于后缀部,首先,在2NX 2N以及NXN的情况下,为I个。而且,在横长分区(2NXN、2NXnU、以及2NXnD)的情况下,为2个,在纵长分区(NX 2N、nLX 2N、以及nRX 2N)的情况下,为2个。
[0286][1- 3]在小尺寸的CU中,针对帧内CU来解码短的码的构成
[0287]CU预测模式解码部1011可以构成为:在小尺寸的CU中,针对帧内CU来解码短的码。小尺寸的CU设为给定尺寸以下的尺寸的CU,但以下,例示性地设为8X8尺寸的CU。
[0288][构成例1一3—1]
[0289]为此,可以如图8所示构成二值化信息存储部1012中所存储的二值化信息。图8示出了作为二值化信息的定义的8X8CU1012A的其他的构成例。即,图8所示的8 X 8⑶1012A — I是图7所示的对应关系表BTI中所含的8 X 8⑶1012A的其他的构成例子。[0290]如图8所示,在作为二值化信息的定义的8X8⑶1012A—I中,在作为小尺寸的⑶的8 X 8尺寸的⑶中,对帧内⑶分配短的码。
[0291]在图8所示的8X8⑶1012A—I中,在大尺寸的⑶中分配有比对帧内⑶所分配的码更短的码(参考图7的非8X8⑶1012B)。此外,大尺寸的⑶是指,不是小尺寸的⑶的⑶,具体而言,表示尺寸大于8X8的⑶。
[0292]另外,在8X8⑶1012A— I中,分配给帧内⑶的码比分配给帧间⑶的码更短。换言之,在同一尺寸的CU中,较之于不是帧内CU的其他的PU分割类型,对帧内CU分配短的码。
[0293]例如,在8X8⑶1012A— I中,对帧内⑶分配有I比特的码,对帧间⑶分配有2比特或3比特的码。
[0294]在帧间预测难以命中的区域中,存在使用小的CU的帧内预测的趋势。故而,在小的CU中,帧内CU的使用率高。另一方面,在图7所示的构成例中,对帧内CU分配有长的码。与此相对,根据上述数据构成,对小的尺寸的帧内CU分配短的码。
[0295]由此,在帧间预测难以命中的区域中,CU预测模式解码部1011针对小的尺寸的帧内CU解码短的码。由此,起到编码效率得以提高这样的效果。
[0296]此外,在上述构成中,优选地,⑶预测模式解码部1011在大尺寸的⑶的前缀部和小尺寸的CU的前缀部中设定不同的上下文。
[0297]为此,可以在上下文存储部1013中存储用于对大尺寸的CU的前缀部进行解码的上下文即8X8⑶prefixl013A、以及用于对小尺寸的⑶的前缀部进行解码的上下文即非8X8CU prefixl013B。在此,8X8CUprefixl013A 与非 8X8CU prefixl013B 是不同的上下文。
[0298]在小尺寸的⑶(⑶==8X8)与大尺寸的⑶(⑶> 8X8)之间,前缀部的各bin的含义不同。
[0299]例如,前缀部的第I比特,在小尺寸的CU中,是表示CU预测类型是表示帧内CU以及帧间CU的哪一者的信息,而在大尺寸的CU中,是表示是2NX2N的帧间CU还是除此以外的帧间CU的信息。
[0300]另外,含义不同的bin的出现趋势不同。故而,在对大尺寸的⑶以及小尺寸的⑶两者的前缀部设定了同一上下文的情况下,bin的出现趋势不同,因此存在编码效率下降的风险。
[0301]根据上述构成,能配合出现趋势不同的bin来设定不同的上下文,因此能使bin的编码效率得以提高。
[0302][构成例1-3-2]
[0303]另外,如图9所示,可以构成二值化信息存储部1012中所存储的二值化信息。图9示出了二值化信息的定义即8X8⑶1012A的另一构成例。S卩,图9所示的8X8⑶1012A —2是图7所示的对应关系表BTl中所含的8X8CT1012A的另一构成例子。
[0304]在图9所示的8X8⑶1012A —2中,bin串由标志(flag)、前缀部以及后缀部这3部分构成。
[0305]在帧内⑶的情况下,标志是“ I ”,在帧间⑶的情况下,标志是“O ”。
[0306]另外,在帧内⑶的情况下,仅定义了后缀部。即,在PU分割类型为2NX2N时,后缀部为“O”,在为NXN时,后缀部为“I”。
[0307]另一方面,在帧间⑶的情况下,仅定义了前缀部。即,在为2NX2N、2NXN、以及NX2N 时,分别为 “I”、“01”、以及“00”。
[0308]在图9所示的8X8CU1012A —2中,与图8所示的8X8CU1012A — I同样,在大尺寸的CU中分配有比对帧内CU所分配的码更短的码,而且分配给帧内CU的码比分配给帧间⑶的码更短。
[0309]通过如图9所示来构成8X8⑶1012A —2,从而在帧间预测难以命中的区域中,⑶预测模式解码部1011针对小的尺寸的帧内CU解码短的码。由此,起到编码效率得以提高这样的效果。
[0310]此外,在上述构成中,优选地,对标志设定与在前缀部以及后缀部中所设定的上下文不同的独自的上下文。另外,优选地,对于前缀部,在小尺寸的CU以及大尺寸的CU之间,设定同一上下文。
[0311]例如,在上下文存储部1013中,存储将8X8CU prefixl013A与非8X8CUprefixl013B进行综合而得到的一个上下文即可。
[0312]在上述构成中,设计为:在小尺寸的CU的前缀部与大尺寸的CU的前缀部之间,各bin为相同的含义。故而,在两者之间,通过设定同一上下文,能使bin的编码效率得以提闻。
[0313][作用/效果]
[0314]本发明还能按如下方式来表现。即,本发明的一形态所涉及的图像解码装置是按每个编码单位从图像编码数据解码用于还原图像的信息来还原图像的图像解码装置,具备:解码单元,其针对对预测单位的尺寸与`应用于编码单位的预测方式的组合所分配的码,对于对给定尺寸以下的尺寸的编码单位应用画面内预测的预测方式的组合,解码比对该组合以外的组合所分配的码更短的码。
[0315]由此,能在给定尺寸以下的尺寸的编码单位,对发生概率高的组合分配短的码,起到编码效率得以提高这样的效果。
[0316][1-4]根据邻近的预测参数来变更bin串的解释的构成
[0317]CU预测模式解码部1011可以构成为:参考分配到相邻区域的预测参数,来变更bin串的解释。
[0318][构成例I —4— I]
[0319]为此,可以如图10所示来构成二值化信息存储部1012中所存储的二值化信息。
[0320]图10是表示二值化信息存储部1012中所存储的二值化信息的又一构成例的图。
[0321]在图10所示的二值化信息对应关系表BT20中,构成为:通过将图7所示的8父8^1012八置换成帧间⑶的定义(1012D)以及帧内⑶的定义(1012C),从而bin串的解释对应于相邻区域的预测参数的值而变化。
[0322]具体而言,在对应关系表BT20中,构成为:在关于小尺寸的CU的定义中,在相邻CU的至少一者为帧间CU的情况下的二值化信息的定义即帧间CU1012D、与相邻CU均为帧内⑶的情况下的二值化信息的定义即帧内⑶1012C之间,bin串的解释变化。
[0323]在帧间⑶1012D (相邻⑶的至少一者为帧间⑶的情况下)中,在前缀部的bin串为“000”时,解释为对象⑶是帧内⑶(2NX2N或NXN),在前缀部的bin串为“I”时,解释为对象⑶是帧间⑶的2NX 2N。
[0324]另一方面,在帧内⑶1012C (相邻⑶均是帧内⑶的情况下)中,在前缀部的bin串为“I”时,解释为对象⑶为帧内⑶(2NX2N或NXN),在前缀部的bin串为“000”时,解释为对象⑶为帧间⑶的2NX2N。
[0325]在邻近的⑶是帧内⑶的情况下,基于空间相关性,对象⑶也是帧内⑶的可能性高。由此,在邻近的CU是帧内CU的情况下,通过对帧内CU分配短的码,能削减码量。
[0326]另外,在小尺寸的⑶中,帧内⑶的发生频度变高。故而,在小的尺寸的⑶中,通过对帧内CU分配短的码,能谋求编码效率的进一步的提高。
[0327]与此相对,在不是小尺寸的⑶的⑶(例如,大尺寸的⑶)中,如图10所示,可以不是“在相邻CU均为帧内的情况下,对帧内CU分配短的码”的构成。在哪种尺寸的CU中应用“在相邻CU均为帧内的情况下,对帧内CU分配短的码”的构成,能根据帧内CU的发生频度来决定。一般而言,越是小的尺寸的CU,帧内CU的选择率高的趋势越明显,因此优选构成为:包括最小尺寸的CU在内,在给定的大小(例如16X16)以下的尺寸的CU中对帧内CU分配短的码。根据上述构成,在邻近的CU是帧内CU的情况下,CU预测模式解码部1011参考帧内⑶1012C,对帧内⑶分配短的码。另一方面,在邻近的⑶之中含有帧间⑶的情况下,CU预测模式解码部1011参考帧间CU1012D来对帧间CU分配短的码。其结果,能削减码量,谋求编码效率的提高。
[0328][构成例1-4-2]
[0329]另外,可以如图11所示构成二值化信息存储部1012中所存储的二值化信息。
[0330]图11是表示二值化信息存储部1012中所存储的二值化信息的又一构成例的图。
`[0331]在图11所示的二值化信息对应关系表BT30中,构成为:通过将图7所示的非8X8⑶1012B置换成『上⑶的尺寸为对象⑶以上』的定义(1012B —I)以及『上⑶的尺寸小于对象CU』的定义(1012B — 2 ),从而bin串的解释对应于相邻区域的预测参数的值而变化。
[0332]即,在对应关系表BT30中,构成为:在关于大尺寸的CU的定乂中,在上相邻CU为对象CU以上的尺寸的情况、与上相邻CU小于对象尺寸的情况之间,bin串的解释发生变化。
[0333]在『上⑶的尺寸为对象⑶以上』1012B — I (上相邻⑶为对象⑶以上的尺寸的情况),前缀部的bin串为“001”时,解释为对象⑶为纵长分区,在前缀部的bin串为“01”时,解释为对象CU为横长分区。
[0334]另一方面,在『上⑶的尺寸小于对象⑶』1012B —2 (上相邻⑶为比对象⑶小的尺寸的情况),前缀部的bin串为“01”时,解释为对象CU为纵长分区,在前缀部的bin串为“001”时,解释为对象⑶为横长分区。
[0335]在相邻CU的尺寸小于对象CU的情况下,在该相邻CU内存在边沿的可能性高。
[0336]因此,在这样的情况下,对象⑶在同相当于与相邻⑶的边界的边垂直的方向上被分区分割的可能性高。故而,在上相邻CU为比对象CU小的尺寸的情况下,纵长分区被选择的可能性高。
[0337]由此,在上相邻⑶为比对象⑶小的尺寸的情况下,通过对被选择的可能性高的纵长分区分配短的码,能使编码效率得以提高。
[0338]根据上述构成,在上相邻CU为比对象CU小的尺寸的情况下,CU预测模式解码部1011参考『上⑶的尺寸小于对象⑶』1012B — 2,来对纵长分区分配短的码。
[0339]另一方面,在上相邻⑶为对象⑶以上的尺寸的情况下,⑶预测模式解码部1011参考『上⑶的尺寸为对象⑶以上』1012B — 1,对横长分区分配短的码。其结果,能削减码量,谋求编码效率的提高。
[0340]若进一步讲,优选不依赖于基于相邻CU的前缀部的解释,而使后缀部的解释相同。在对应关系表BT30中,不依赖于前缀部是纵长分区还是横长分区,同一后缀部的解释相同。即,在对应关系表BT30的例子中,可以不根据前缀部是纵长分区还是横长分区而变更后缀部的解码处理。
[0341]即,在对应关系表BT30中,构成为:PU分割类型(分割数)不依赖于进行参考的参数。
[0342]由于分割数不依赖于进行参考的参数的值,因此即使在参考参数中产生了差错的情况下,对以后的可变长解码处理的影响也少。具体而言,即使CU的尺寸产生错误,表示前缀部是纵长和横长哪一者的分区的解释错误的情况下,也能包括后缀部在内,持续后续语法的解码。
[0343]即,由于能不依赖于相邻CU的尺寸而进行后缀部的解码处理,因此将不受相邻参数的差错影响,抗错性得以提高。
[0344]此外,在左相邻⑶为比对象⑶小的尺寸的情况下,横长分区被选择的可能性高。由此,在左相邻CU为小于对象CU的尺寸的情况下,可以对易于被选择的横长分区分配短的码。由此能得到与上述同样的效果。
[0345]另外,优选对最小尺寸的CU不进行基于相邻CU的尺寸的解释的切换处理。在对象⑶为最小尺寸的⑶的情况下,·对象⑶始终为相邻⑶以下的尺寸,因此通过省略解释的切换处理,能简化解码处理。
[0346]此外,上相邻⑶的尺寸小于对象⑶的尺寸还可谓是,在对象⑶的上边(除顶点),存在处于相对于该上边而垂直的位置关系的⑶边界。
[0347]由此,在对象⑶的上边(除顶点)存在处于相对于该上边而垂直的位置关系的⑶边界或边界的情况下,可以对纵长分区分配短的码。
[0348]另外,尽管以上说明了与对象⑶相邻的相邻⑶,但不限于此。关于以空间相关性被认可的程度而位于邻近的CU,也可谓同样。
[0349]若更一般化地来说,以上的构成如下。即,以上的构成中,针对多个二进制串、与多个对应的分割数彼此相等的pred — type,根据相邻的预测参数来决定pred — type的发生可能性的优先顺位,并将优先顺位越高的pred — type与越短的二进制串建立关联。
[0350]此外,上述说明中的上侧相邻⑶的尺寸小于对象⑶的尺寸这样的条件还能如下地表现。
[0351 ] (I)将对象⑶内的左上像素设为(xc, yc)。
[0352](2)作为上侧相邻⑶,导出包含(xc,yc-Ι)的⑶,并将该上侧相邻⑶的左上像素设为(xu, yu) ο
[0353](3)若 “log2QJSize[xu] [yu] <log2QJSize [xc] [yc] ”成立,贝U判定为上侧相邻⑶的尺寸小于对象⑶的尺寸。在此,log2⑶Size[x] [y]是将以(x,y)的像素为左上像素的CU的尺寸的2作为底的对数值。[0354]在此,优选地,如上所述仅将位于对象⑶的左上像素之上的⑶的尺寸与对象⑶的尺寸进行比较来判定。
[0355]尽管以上针对上侧相邻CU的情况进行了记载,但在判定左侧相邻CU的尺寸的情况下,也优选仅将位于对象⑶的左上像素之左的⑶的尺寸与对象⑶的尺寸进行比较来判定。
[0356]此外,尽管在上述判定过程的(3)中列举了对CU的尺寸的值直接进行比较的例子,但也可以对于与CU的尺寸建立了关联的别的值进行比较。例如,上述(3)的条件可以使用与将树块(LCU)分割几次相对应的CU分割深度(cuD印th[x] [y])的值,根据“cuDepth[xu] [yu] >cuDepth [xc] [yc] ” 这样的式子来判定。
[0357][作用/效果]
[0358]本发明还能如下地表现。即,本发明的一形态所涉及的图像解码装置是按照将编码单位分割成I以上的数而得到的预测单位的每一个生成预测图像来还原图像的图像解码装置,具备:变更单元,其根据对作为解码对象的上述预测单位即对象预测单位的邻近的解码完毕预测单位所分配的解码完毕参数,来变更与将作为解码对象的上述编码单位即对象编码单位向上述预测单位进行分割的类型即分割类型和预测方式的多个组建立了对应的多个码。
[0359]由此,能根据邻近的解码完毕预测单位所分配的解码完毕参数,对发生概率更高的预测方式以及分割类型的组分配更短的码,由此能使编码效率得以提高。
[0360](2) PU信息解码部的细节
[0361]接下来,使用图12来说明PU信息解码部12以及解码模块10的构成例。图12是针对在运动图像解码装置I中用于解码运动信息的构成,即PU信息解码部12以及解码模块10的构成进行例示的功能框图。
[0362]以下,按照PU信息解码部12以及解码模块10的顺序来说明各部的构成。
[0363](PU信息解码部)
[0364]如图12所示,信息解码部12具备:运动补偿参数导出部(双预测限制单元、候选决定单元、估计单元)121、合并候选优先顺位信息存储部122、以及参考帧设定信息存储部 123。
[0365]运动补偿参数导出部121从编码数据导出对象CU中所含的各的运动补偿参数。
[0366]运动补偿参数导出部121具体而言,通过以下的过程来导出运动补偿参数。在此,在对象CU是跳过CU的情况下,可以取代合并索引而对跳过索引进行解码,基于其值来导出跳过CU中的预测参数。
[0367]首先,运动补偿参数导出部121判定跳过标志。其结果,若对象CU是非跳过CU,则使用运动信息解码部1021来解码合并标志。
[0368]在此,在对象⑶是跳过⑶或合并I3U的情况下,运动补偿参数导出部121对合并索引进行解码,并基于解码出的合并索引的值来导出预测参数(运动矢量、参考图像索引、帧间预测标志)。此外,运动补偿参数导出部121遵照合并候选优先顺位信息存储部122中所存储的合并候选信息,来决定以合并索引所指定的合并候选。
[0369]另一方面,在对象CU既不是跳过CU也不是合并的情况下,运动补偿参数导出部121对预测参数(帧间预测标志、参考图像索引、运动矢量差分、估计运动矢量索引)进行解码。
[0370]进而,运动补偿参数导出部121不仅基于估计运动矢量索引的值来导出估计运动矢量,还基于运动矢量差分和估计运动矢量来导出运动矢量。
[0371]在合并候选优先顺位信息存储部122中存储有合并候选信息,该合并候选信息包含:表不将哪一个区域作为合并候选的信息、以及表不合并候选的优先顺位的信息。
[0372]在参考帧设定信息存储部123中存储有参考帧设定信息,该参考帧设定信息用于决定使用参考I个参考图像的单预测、以及参考2个参考图像的双预测的哪一者的画面间预测的预测方式。
[0373](解码模块)
[0374]如图12所示,解码模块10具备运动信息解码部1021。运动信息解码部1021根据从运动补偿参数导出部121提供的编码数据以及语法类别,来由编码数据中所含的二进制进行语法值的解码。由运动信息解码部1021解码的运动补偿参数是合并标志(merge —flag)、合并索引(merge — idx)、估计运动矢量索引(mvp — idx)、参考图像索引(ref —idx)、巾贞间预测标志(inter — pred — flag)、运动矢量差分(mvd)。
[0375][用于在合并I3U中导出预测参数的构成例]
[0376][2 -1]合并候选的位置以及优先顺位的例
[0377]使用图13?图15来说明合并I3U中的预测参数导出。
[0378]运动补偿参数导出部121可以构成为:在PU分割类型为非对称的情况下,以与在PU分割类型为对称的情况下不同的方法来决定合并候选的优先顺位。
[0379]首先,说明非对称分区的特性。在非对称分区中,在小的一方的分区中存在长边方向的边沿的可能性高。另外,存在有边沿的区域被导出了准确的运动矢量的可能性高。
[0380]使用图13,具体说明如下。图13示出了非对称分区被选择的⑶。如图13所示,在对象CU30中,区域内存在具有倾斜的边沿E1,选择了 2NXnU的I3U分割类型。
[0381]在对象CU中包含PU31和PU32。在此,将对象I3U设为PU31。具有倾斜的边沿El在对象PU31的区域内横穿。
[0382]在图13所示的例子中,在对象PU31的短边侧附近的区域R10,存在与位于对象PU31的区域内的边沿相同的边沿的可能性高。因此,分配有与对象PU31相同的运动矢量(mv)的可能性高。
[0383]因此,在存在边沿的可能性高的区域,即小的分区中,参考分配给短边侧的区域的运动矢量,在大的分区中,参考分配给小的分区的周边的区域的运动矢量,由此能提高运动矢量的精度。
[0384]为此,将在合并候选优先顺位信息存储部122中所存储的合并候选优先顺位信息的构成设为包含对称I3U分割类型122A以及非对称I3U分割类型122B的2个合并候选优先顺位信息。
[0385]使用图14,关于对称PU分割类型122A的合并候选优先顺位信息,说明如下。
[0386]图14示出了对称分区被选择的⑶。如图14所示,在对称⑶中,选择了 2NXN的I3U分割类型。另外,在同图中,以“CurrPU”来示出了对象PU。在对象I3U中,作为合并候选,按照左(L)、上(U)、右上(UR)、左下(BL)、左上(UL)的顺序分配了优先顺位。[0387]另外,使用图15,关于非对称PU分割类型122B的合并候选优先顺位信息,说明如下。图15的(a)以及(b)分别示出了 2NXnU的小的一方的分区、以及2NXnU的大的一方的分区中的优先顺位的设定。另外,图15的(c)以及(d)分别示出了 2NXnD的大的一方的分区、以及2NXnD的小的一方的分区中的优先顺位的设定。
[0388]如图15的(a)以及(d)所示,在非对称分区内的小的一方的分区中,对短边侧的合并候选分配高的优先顺位。
[0389]具体而言,在2NXnU以及2NXnD的小的一方的PU中,分别如(a)以及(d)所示,按照与短边相邻(L)、与顶点相邻(UR,BL, UL)、与长边相邻(U)的顺序分配了优先顺位。
[0390]另外,如图15的(b)以及(C)所示,在非对称分区内的大的一方的分区中,对接近小的一方的分区的位置的合并候选分配高的优先顺位。
[0391]具体而言,在2NXnU的大的一方的I3U中,如图15的(b)所示,按照小的一方的PU内的合并候选(U)、离小的一方的PU近的合并候选(UR,UL)、除此以外的合并候选(L,BL)的顺序分配了优先级。
[0392]另外,在2NXnD的大的一方的PU中,如图15的(C)所示,按照离小的一方的PU近的合并候选(L,BL)、除此以外的合并候选(U,BL, UL)的顺序分配了优先顺位。
[0393]此外,对优先顺位高的候选分配小的合并索引,并对小的合并索引分配短的码。另夕卜,可以设为仅能选择优先顺位高的候选的合并候选。
[0394]此外,上述的说明针对合并中的预测参数导出进行了记载,但也可以将同样的导出方法用于在帧间CU内的非合并中用于运动矢量的还原的估计运动矢量的导出。一般而言,在非对称PU内的各中,在导出与相邻区域对应的运动参数的估计值或预测值时,能适应上述方式。
[0395][作用/效果]
[0396]本发明还能按以下方式表现。即,本发明的一形态所涉及的图像解码装置是按照将编码单位分割成I以上的数而得到的预测单位的每一个通过画面间预测的预测方式生成预测图像来还原图像的图像解码装置,向上述预测单位的分割类型包含将编码单位分割成多个不同大小的预测单位的非对称分割或将编码单位分割成多个相同大小的预测单位的对称分割,所述图像解码装置具备:估计单元,其在上述分割类型为非对称分割的情况下,通过与在上述分割类型为对称分割的情况下不同的估计方法,来进行画面间预测的预测参数的估计。
[0397]由此,在分割类型为非对称分割的情况下、与在上述分割类型为对称分割的情况下变更不同的估计方法,从而起到能通过与分割类型相应的优选的估计方法来进行画面间预测的预测参数的估计这样的效果。
[0398][2 - 2]基于CU尺寸与跳过/合并的组合的合并候选的变更
[0399]运动补偿参数导出部121可以构成为:根据⑶尺寸与该⑶是否为进行跳过/合并的CU这一情形的组合来变更合并候选。为此,能使合并候选优先顺位信息存储部122中所存储的合并候选信息构成为包含小I3U尺寸122C以及大PU尺寸122D的2个定义信息。
[0400]小PU尺寸122C的合并候选信息是针对应用于小尺寸的的合并候选数进行定义。另外,大PU尺寸122D的合并信息是针对应用于大尺寸的的合并候选数进行定义。
[0401]作为一例,在合并候选信息中,按照对小尺寸122C所定义的合并候选数(小尺寸的I3U的合并候选数)较之于对大I3U尺寸122D所定义的合并候选数(大尺寸的I3U的合并候选数)更少的方式来进行定义。
[0402]在选择小尺寸的PU的区域中,运动复杂的情况多。故而,分配给邻近的I3U的运动矢量的相关有变小的趋势。
[0403]故而,即使增加合并候选,也有估计精度的提高较之于在大尺寸的PU的情况下更少的情况。
[0404]由此,更优选通过减少合并候选数来削减边侧信息的码量。
[0405]上述例中,在合并候选信息中,由于使运动复杂的情况多的小尺寸的PU的合并候选数比大尺寸的PU的合并候选数少,因此能削减边侧信息的码量。
[0406]关于小尺寸PU与大尺寸I3U的组合的例子,列举如下。
[0407].小尺寸PU是至少一边小于给定的阈值(例如8)的PU,大尺寸I3U是除此以外的PU。例如,16X4、4X16、8X4、4X8、4X4的尺寸的I3U是小尺寸PU,8X8、16X 16的尺寸的PU是大尺寸TO。
[0408].小尺寸PU是面积小于给定的阈值(例如64)的PU,大尺寸HJ是除此以外的HJ。例如,8 X 4、4X8、4X 4的尺寸的PU是小尺寸PU,8 X 8、16 X 4、4X 16、16 X 16等的尺寸的PU是大尺寸PU。
[0409]?小尺寸I3U是给定的尺寸(例如8X8)以下的⑶中所含的I3U,大尺寸PU是比其大的⑶中所含的PU。例如,8X8⑶中所含的8X8、8X4、4X8、4X4的尺寸的I3U是小尺寸PU。
[0410]?小尺寸HJ是在对适用非对称分割的⑶中的小的一方的PU,大尺寸HJ是在对适用非对称分割的CU中的大的一方的ro。`
[0411]另外,作为其他例,在合并候选信息中,优选使小的中基于时间预测的合并候选的数量比大的PU中基于时间预测的合并候选的数量少。在小的中,可以定义为:在合并候选信息中不含基于时间预测的合并候选。
[0412]另外,在小尺寸的被选择那样的运动复杂的区域中,用于时间预测的collocatedPU与对象PU的相关小,因此时间预测被选择的可能性低。由此,优选减少基于时间预测的合并候选的数量或不含基于时间预测的合并候选。
[0413][作用/效果]
[0414]本发明还能按以下方式表现。即,本发明的一形态所涉及的图像解码装置是按照将编码单位分割成I以上的数而得到的预测单位的每一个,通过画面间预测的预测方式生成预测图像来还原图像的图像解码装置,具备:候选决定单元,其在成为解码的对象的上述预测单位即对象预测单位是根据分配给该对象预测单位的邻近的区域的预测参数来进行该对象预测单位的预测参数的估计的预测单位的情况下,对应于该对象预测单位的尺寸来决定用于估计的区域的候选。
[0415]由此,由于削减候选数因此能削减边侧信息,其结果,能使编码效率得以提高。
[0416][2 - 3]参考帧数的决定
[0417]运动补偿参数导出部121可以参考参考帧设定信息存储部123中所存储的参考帧设定信息,来决定在帧间预测中应用单预测以及双预测的哪一种预测方式。
[0418]另外,运动补偿参数导出部121可以构成为在小尺寸的I3U中限制双预测。为此,将参考帧设定信息设为包含小I3U尺寸123A以及大PU尺寸123B的2个定义信息的构成。
[0419]大I3U尺寸123B被定义为在大的尺寸的PU中可选择的预测方式。在大I3U尺寸123B中,可以按照在大的尺寸的中双预测以及单预测任一者的预测方式均无限制而能选择的方式来定义。
[0420]小PU尺寸123A被定义为在小的尺寸的I3U中可选择的预测方式。在小I3U尺寸123A中,按照在小的尺寸的中限制双预测的方式来定义。
[0421]作为小I3U尺寸123A的定义的一例,定义如下意思:在帧间CU中所含的不应用合并的PU、也即尺寸小于16X 16的PU中,省略帧间预测标志的解码来应用单预测。
[0422]另外,作为小PU尺寸123A的定义的其他例,定义如下意思:在帧间CU中所含的应用合并的W、也即尺寸小于16X16的PU中,应用单预测。
[0423]另外,作为小I3U尺寸123A的定义的另一例,在跳过CU中所含的各I3U中应用单预测。
[0424]另外,作为小I3U尺寸123A的定义的又一例,在帧间⑶中所含的不应用合并的PU、也即尺寸小于16X16的PU中,不应用加权预测。即,省略与加权预测相关的信息。
[0425]以下,关于基于参考帧设定信息来限制双预测的情况,使用语法表以及框图来进一步说明编码数据的构成以及运动图像解码装置的构成的细节。
[0426](双预测限制的种类)
[0427]PU的种类之中,存在:对象⑶为跳过的I3U (跳过TO)、对象PU适应合并的I3U (合并PU)、对象PU既不是跳过也不是合并的I3U(基本帧间PU或非运动信息省略ro)。在基本帧间PU中,从编码数据解码出表示是双预测还是单预测的帧间预测标志,并导出运动补偿参数。与此相对,在跳过PU以及合并PU中,不解码帧间预测标志而导出运动补偿参数。在这些PU中,基于跳过索引或合并索引来从跳过候选或合并候选中选择用于运动补偿的候选,并基于该选择候选中的运动补偿参数来导出对象PU中的运动补偿参数。通常,跳过的运动补偿参数的导出方法与合并PU同样。此外,在使用序列参数集的标志等来限制合并的利用的情况下,除了不解码运动矢量残差(mvd)这点外,可使用与基本帧间相同的方法。在此情况下,跳过PU的双预测限制的动作进行与基本帧间相同的动作。
[0428]图35的(a)示出各PU中的双预测限制的例子。作为情况,有仅对基本帧间PU进行双预测限制的情况、以及对应用运动补偿预测的全部PU进行双预测限制的情况。在仅对基本帧间PU进行双预测限制的情况下,在跳过以及合并中不进行双预测限制,而仅对基本帧间PU进行双预测限制。在仅对基本帧间PU进行双预测限制的情况下,以及在对全部PU进行双预测限制的情况下,均能实现运动图像编码装置以及运动图像解码装置中的处理量的降低和电路规模的削减。
[0429]图35的(b)示出各PU中的双预测限制的方法。在跳过PU以及合并的情况下,通过导出表示在基于跳过候选或合并候选的运动补偿参数中不进行双预测的信息,来进行双预测限制。具体而言,在运动补偿参数导出部中如后所述,通过将运动补偿参数中所含的帧间预测标志的值从双预测变换成单预测来进行双预测限制。在对基本帧间PU进行双预测限制的情况下,根据PU尺寸信息来判定双预测限制的应用有无。在不应用双预测限制的情况下进行帧间预测标志的解码。另外,在应用双预测限制的情况下不仅省略帧间预测标志的解码,还进行将帧间预测标志的值估计为单预测的处理。[0430]在此,PU尺寸信息是用于判定是否为小的I3U的信息,能使用对象CU的尺寸和I3U分割类型、或者、对象CU的尺寸和I3U分割数、或者、PU的宽度或者高度、或者I3U的面积等。
[0431]跳过PU以及合并PU、与基本帧间PU,不仅是运动补偿参数的解码方法不同,而且被使用的场景也不同。跳过PU和合并通过限制可选择的运动补偿参数来进行码量的降低。在这样的PU中,主要被用于运动为相同的区域。在运动为相同的情况下,基于2个预测图像接近的双预测的除噪效果大的情况多。故而,较之于基本帧间PU的双预测限制,在跳过PU以及合并PU中,与基本帧间PU相比,因双预测限制而编码效率下降的情况容易发生。故而,如上所述仅在基本帧间PU中使用双预测的限制、或如后所述,变更在基本帧间PU、以及跳过和合并PU中限制的尺寸的方法也优选。另外,基本帧间PU中的双预测限制从编码数据的结构的观点来看,存在因不编码帧间预测标志所带来的码量降低效果,因此更加有效。
[0432](帧间预测标志的细节)
[0433]在此,说明巾贞间预测标志的细节。巾贞间预测标志inter_pred_flag除了表示是单预测还是双预测的2值标志的情况之外,还存在包含从多个参考列表之中选择在单预测中参考的参考图像的列表(参考列表)的信息在内的情况。例如,作为包含对2种参考列表(L0列表和LI列表)的哪一者进行选择的标志在内的3值标志,可以定义帧间预测标志。以下,说明各情况。
[0434]在解码模块10中,从切片报头等中解码用于选择是使用L0、L1列表还是使用结合列表(LC列表)来作为参考巾贞列表的结合列表标志ref_pic_list_combination_flag。单预测的情况下的参考帧决定方法根据结合列表标志的值而不同。在结合列表标志为I的情况下,使用结合列表LC作为用于单预测的参考帧的指定的参考列表,在各PU中不需要用于指定参考列表的标志。故而巾贞间预测标志inter_pred_flag可以是2值标志。在结合列表标志为O的情况下,在各中需要从LO列表或者LI列表中选择参考列表,故而帧间预测标志inter_pred_flag成为3值标志。
[0435]图32的(a)示出2值标志的情况下的帧间预测标志的含义,图32的(b)示出3值标志的情况下的帧间预测标志的含义。
[0436](双预测限定中的语法表例)
[0437]图31是现有技术中的的语法表的例子,示出在不进行双预测限制的情况下的编码数据的构成。图33是PU的语法表的例子,(a)以及(b)示出在各自进行双预测限制的情况下的编码数据的构成的尤其巾贞间预测标志inter_pred_flag的部分。图33的(a)是帧间预测标志始终为2值标志的情况下的语法表的例子。在此情况下,区分通过inter_pred_flag来表示单预测的Pred_LC、以及表示双预测的Pred_Bi这2者。在切片为B切片且双预测有效的情况(DisableBiPred=false)下,为了区分单预测与双预测,编码数据中包含中贞间预测标志inter_pred_flag,在双预测并非有效的情况(DisableBiPred=true)下,始终是单预测,因此不包含巾贞间预测标志inter_pred_flag。
[0438]图33的(b)是帧间预测标志为3值标志的情况下的语法表的例子。在利用结合列表的情况下通过inter_pred_flag来区分对使用I个LC列表的参考巾贞的单预测进行表示的Pred_LC、与表示双预测的Pred_Bi这2者,但在除此以外的情况下,区分表示LI列表的单预测的Pred_Ll、表示LI列表的单预测的Pred_L2、以及表示双预测的Pred_Bi这3者。在切片为B切片且双预测有效的情况(DisableBiPred=false)下,编码数据为了对单预测和双预测进行指定而包含第I帧间预测标志inter_pred_f IagO,在双预测非有效的情况下,只限于不使用结合列表的情况,编码数据为了对用于指定参考列表的单预测以及双预测进行指定而包含第2帧间预测标志inter_pred_flagl。不使用结合列表的情况具体如图33的(a)所示,通过! UsePredRefLC&&! NoBackPredFlag来判定。即,通过指定是否使用结合列表的标志UsePredRefLC (UsePredRefLC的值为真的情况下表示使用结合列表)、以及表示是否使用后方向预测的标志NoBackPredFlag (NoBackPredFlag的值为真的情况下表示不使用后方向预测)来进行指定。在利用结合列表的情况下,不进行列表选择而可知是结合列表。在不使用后方向预测的情况下禁止Pred_Ll,因此在不编码第2帧间预测标志inter_pred_flagl的情况下也可知使用的列表是结合列表(Pred_LC)还是LO列表Pred_L0。此外,在取代NoBackPredFlag而不使用LI列表这一含义下还能使用NoLlPredFlag这样的表现。
[0439]可以将是否进行双预测限制、或者在进行双预测限制的情况下的尺寸的判定中使用的阈值包含在编码数据中。图34是与双预测限制相关的语法表的例子。图34的(a)示出包含对序列参数集是否进行双预测限制进行限制的标志disable_bipred_in_smal 1_PU的情况。如图所示,双预测限制的标志可以与禁止小尺寸的I3U (在此4x4尺寸的PU)的标志disable_inter_4x4不同而独立地进行编码。此外,禁止小尺寸的PU的标志的目的也与双预测限制相同,是降低在生成PU预测图像的情况中的最坏情况的处理量,因此将禁止小尺寸的PU的标志以及禁止小尺寸的双预测的标志均用作公共标志。图34的(b)是设置预测制约标志use_restricted_prediction来作为公共的标志的例子。在此情况下,在预测制约标志为true的情况下,同时禁止小尺寸的I3U的应用和小尺寸I3U中的双预测。图34的(C)是将表示禁止双预测的F1U的尺寸的disable_bipred_size包含在编码数据中的例子。作为disable_bipred_size,在双预测限制的判定方法中能使用后述的以阈值TH的2为底的对数的值等。此外,这些标志既可以以序列参数集以外的参数集来进行编码,也可以以切片报头来进行编码。
[0440](双预测限定中的运动补·偿参数导出部)
[0441]图29示出运动补偿参数导出部121的构成。运动补偿参数导出部121由跳过运动补偿参数导出部1211、合并运动补偿参数导出部1212、基本运动补偿参数导出部1213、双预测限制I3U判定部1218以及双单预测变换部1219构成。
[0442]在运动补偿参数导出部121中,特别进行在不解码帧间预测标志的情况下的即跳过PU与合并PU的双预测限制。
[0443]跳过运动补偿参数导出部1211在对象⑶为跳过的情况下,导出跳过的运动补偿参数,并输入至双单预测变换部1219。双单预测变换部1219对应于双预测限定条件来变换运动补偿参数,并返回至跳过运动补偿参数导出部1211。跳过运动补偿参数导出部1211将对应于双预测限定条件而变换后的运动补偿参数作为对象PU的运动补偿参数而输出至外部。此外,在运动补偿参数基于跳过索引而确定的情况下,可以构成为:对跳过候选的各个,在双单预测变换部1219中进行变换,并以跳过索引来选择变换后的跳过候选。
[0444]合并运动补偿参数导出部1212在对象PU为合并的情况下,导出对象I3U的运动补偿参数,并输入至双单预测变换部1219。双单预测变换部1219对应于双预测限定条件来变换运动补偿参数,并返回给合并运动补偿参数导出部1211。合并运动补偿参数导出部1211将对应于双预测限定条件而变换后的运动补偿参数作为对象PU的运动补偿参数而输出至外部。此外,在运动补偿参数基于合并索引而确定的情况下,可以构成为:对合并候选的各个,在双单预测变换部1219中进行变换,并以合并索引来选择变换后的合并候选。
[0445]基本运动补偿参数导出部1213在对象PU既不是跳过也不是合并的情况下,导出对象PU的运动补偿参数,并输出至外部。
[0446]双预测限制PU判定部1218参考对象I3U的PU尺寸信息,来判定在对象I3U中是否进行不使用双预测的双预测限制。可以将是否进行跳过CU以及合并的双预测限制、以及是否进行基本帧间PU的双预测限制独立地进行判定。例如,既可以以相同的PU尺寸为阈值来对全部的PU进行双预测限制,也可以以跳过以及合并中更大的尺寸为阈值来进行双预测限制。另外,跳过PU以及合并可以不进行双预测限制,而仅对基本帧间PU进行双预测限制。
[0447]此外,在限制合并的利用那样的情况下,以跳过来解码帧间预测标志的情况下,还能独立地判定是否以跳过PU、合并PU、基本帧间PU各自来进行双预测限制。
[0448]另外,在上述的构成中说明了在双单预测变换部1219中基于双预测限制判定部1218来判定在跳过运动补偿参数导出部1211中所设定的双预测/单预测的设定,但并不限于该构成。例如,可以构成为:将双预测限制PU判定部1218的判定结果直接输入至跳过运动补偿参数导出部1211,来进行双预测/单预测的设定。
[0449](双预测限制的判定方法)
[0450]在双预测限制PU判定部1218中判定是否是要进行双预测限制的小尺寸的的方法的优选例在以下说明。此外,判定方法不限于以下的例子,还能使用其他参数作为PU尺寸信息。
`[0451](判定方法的例I)
[0452]在判定方法的例I中,在将用于I3U尺寸的判定的阈值设为了 TH的情况下、小于THxTH的PU的情况下,进行双预测限制。利用了此时的对象⑶尺寸(在此⑶Width)和PU分割类型的判定式如以下所示。
[0453]DisableBiPred= ((CU Width==TH&&PU 分割类型!=2Nx2N)&&CUffidth<TH)?true: false
[0454]具体而言,
[0455]在TH= 16 的情况下,在 16x8、8xl6、12xl6、4xl6、16x12、16x4、8x8、8x4、4x8、4x4 的各PU中进行双预测限制。
[0456]在TH=8的情况下,在8x4、4x8、4x4的各PU中进行双预测限制。
[0457]此外,还能使用对象⑶尺寸和分割类型以外的参数来进行判定。例如,还能使用PU分割数NumPart来进行如下的判定。
[0458]DisableBiPred=((CU Width==TH&&NumPart>l)&&CU Width <TH)?true:false
[0459](判定方法的例2)
[0460]在判定方法的例2中,在THxTH以下的I3U中进行双预测限制。此时的判定式如下。
[0461]DisableBiPred= ( (CU Width==2*TH&&PU 分割类型==NxN) | CUWidth〈2*TH)?true: false[0462]具体而言,
[0463]在TH= 16 的情况下,在 16x16、16x8、8xl6、12xl6、4xl6、16x12、16x4、8x8、8x4、4x8、4x4的各PU中进行双预测限制。
[0464]在TH=8的情况下,在8x8、8x4、4x8、4x4的各PU中进行双预测限制。
[0465]在TH=4的情况下,在4x4的PU中进行双预测限制。
[0466]此外,还能使用F1U的分割数NumPart来进行如下的判定。
[0467]DisableBiPred = ( (CU Width = = 2*TH&&NumPart!=4) | |CUWidth〈2*TH)?true: false
[0468]此外,在上述的例子中,在跳过PU以及合并W、与基本帧间PU中可以使用不同的PU尺寸(阈值TH)。另外,如图34的(C)所示,可以对用于判定的PU尺寸(阈值TH)进行编码。
[0469]双单预测变换部1219在所输入的运动补偿参数示出双预测、进而在双预测限制PU判定部1218中判定为要进行跳过以及合并的双预测限制的情况下,将输入至双单预测变换部1219的运动补偿参数变换成单预测。
[0470]运动补偿参数,在根据时间性以及空间性地接近的I3U的运动补偿参数的复制、或者时间性以及空间性地接近的PU的运动补偿参数的组合而导出的运动补偿参数的帧间预测标志inter_pred_flag为表示双预测的2的情况下,变换成表示单预测的I。另外,在用于内部的处理的帧间预测标志(内部帧间预测标志)是由表示LO预测的1、表示LI预测的
2、以及表示双预测的3组成的标志的情况下,进行以下的动作。在内部帧间预测标志为3的情况下,内部帧间预测标志的值变换`成表示LO预测的1、或者表示LI预测的2。另外,在变换成LO预测的情况下,还能将与LI预测相关的运动补偿参数例如更新为零。在变换成LI预测的情况下,还能将与LO预测相关的运动补偿参数例如更新为零。
[0471]此外,双单预测变换部1219可以构成为跳过运动补偿参数导出部1211以及合并运动补偿参数导出部1212的内部所具备的单元。另外,在仅对基本帧间PU进行双预测限制的情况下,可以是不具备双单预测变换部1219的构成。
[0472](双预测限定中的运动补偿解码部)
[0473]图30是表示运动信息解码部1021的构成的框图。运动信息解码部1021至少具备帧间预测标志解码部1028。在运动信息解码部1021中,进行特别在对帧间预测标志进行解码的情况下的PU即基本帧间的双预测限制。帧间预测标志解码部1028根据在上述的双预测限制PU判定部1218中是否进行基本帧间的双预测限制的情形,来变更是否进行帧间预测标志的解码。
[0474]此外,在对合并的利用进行限制的情况下,在以跳过来解码帧间预测标志的情况下,进行跳过PU的双预测限制。
[0475]运动补偿参数导出部121参考小尺寸123A进行双预测限制所带来的作用/效果如下。双预测较之于单预测处理量更大,另外,小尺寸的PU较之于大尺寸的PU,每单位面积的处理量更大。因此,小尺寸的PU中的双预测容易成为处理的瓶颈。故而,通过在小尺寸的PU中抑制双预测,能抑制处理量过度增大。尤其能抑制对最小的尺寸的PU进行处理那样的最坏情况下的处理量。
[0476]此外,针对帧间预测标志,补充如下。在非专利文献I中,帧间预测标志(inter —pred —flag)基本成为了选择双预测还是单预测的标志。然而,在不使用结合列表而后方预测禁止标志为非禁止的情况下,还存在通过inter — pred — flag来发送用于选择L0、LI的任一者作为在单预测中使用的参考帧列表的标志的情况。
[0477][作用/效果]
[0478]本发明还能按以下方式来表现。即,本发明的一形态所涉及的图像解码装置是将预测单位内的图像通过参考I个参考图像的单预测、以及参考2个参考图像的双预测的任一者的画面间预测的预测方式来进行还原的图像解码装置,具备:双预测限制单元,其针对被应用上述画面间预测的、给定尺寸以下的尺寸的预测单位即对象预测单位,限制进行双预测。
[0479]通过进行上述限制,起到能降低成为解码处理的瓶颈那样的处理的处理量的效
果O
[0480](3) TU信息解码部的细节
[0481]接下来,使用图16来说明TU信息解码部13以及解码模块10的构成例。图16是针对在运动图像解码装置I中用于进行TU分割解码处理、变换系数解码处理、以及预测残差导出处理的构成,即,TU信息解码部13以及解码模块10的构成进行例示的功能框图。
[0482]以下,按照TU信息解码部13以及解码模块10的顺序,来说明各部的构成。
[0483][TU信息解码部]
[0484]如图16所示,TU信息解码部13具备TU分割设定部131以及变换系数还原部132。
[0485]TU分割设定部131基于从编码数据解码出的参数、CU尺寸以及PU分割类型,来设定TU分割的方式。另外,变换系数还原部132遵照由TU分割设定部131设定的TU分割,来还原各TU的预测残差。
[0486][TU分割设定部]
[0487]首先,参照图16来说明TU分割设定部131的细节。TU分割设定部131,更具体而言,具备:对象区域设定部1311、分割决定部1312、分割区域设定部(变换单位分割单元、分割单元)1313、以及变换尺寸信息存储部1314。
[0488]对象区域设定部1311设定作为对象区域的节点即对象节点。对象区域设定部1311在针对对象变换树而开始了 TU分割的处理时,设定对象CU全体作为对象区域的初始值。另外,将分割的深度设定为“O”。
[0489]分割决定部1312使用区域分割标志解码部1031来对表示是否分割由对象区域设定部1311设定的对象节点的信息(split_transform_flag)进行解码,并基于解码出的信息来决定是否进行对象节点的分割。
[0490]分割区域设定部1313针对由分割决定部1312决定为要分割的对象节点来决定分割区域。具体而言,分割区域设定部1313针对决定为要分割的对象节点,不仅将分割的深度加1,而且基于变换尺寸决定信息存储部1314中所存储的变换尺寸决定信息来分割对象节点。
[0491]此外,通过分割而得到的各对象节点进一步由对象区域设定部1311作为对象区域进行设定。
[0492]S卩,在TU分割中,针对分割出的对象节点,由对象区域设定部1311、分割决定部1312以及分割区域设定部1313递归式地反复进行“对象区域的设定”、“分割的决定”、以及“分割区域的设定”的一系列的处理。
[0493]在变换尺寸决定信息存储部1314中存储有表示对象节点的分割方式的变换尺寸决定信息。变换尺寸决定信息,具体而言,是对CU的尺寸、TU分割的深度(trafoD印th)、以及对象PU的PU分割类型、与TU分割图案的对应关系进行定义的信息。
[0494]在此,使用图17,关于变换尺寸决定信息的具体的构成例,说明如下。在图17所示的变换尺寸决定信息中,根据⑶的尺寸、TU分割的深度(trafoD印th)、以及对象I3U的PU分割类型,定义了 TU分割图案。此外,此外,表中的“d”表示CU的分割深度。
[0495]在变换尺寸决定信息中,作为⑶的尺寸,定义了 64X64、32X32、16X16、以及8X8的4种。
[0496]另外,在变换尺寸决定信息中,根据CU的尺寸,定义了可选择的分割类型。
[0497]在CU的尺寸为64X64、32X32、以及16X16的情况下,作为PU分割类型,能选择2NX 2N、2NX nU、2NX nD、NX 2N、nL X 2N、以及 nRX 2N 的任一者。
[0498]另外,在⑶的尺寸为8X8的情况下,作为I3U分割类型,能选择2NX2N、2NXN以及NX 2N的任一者。
[0499]另外,在变换尺寸决定信息中,根据CU的尺寸以及PU分割类型,定义了各TU分割的深度中的TU分割图案。
[0500]例如,在⑶的尺寸为64X64的情况下,如下所示。首先,TU分割的深度“O”未被定义,64X 64的⑶强制地进行分割(在图17中以※I示出)。这是由于,将变换单位的最大尺寸定义为了 32X32。
·[0501]在TU分割深度“I”以及“2”,在仅包含正方形的四叉树分割的情况下与在仅包含非正方形的四叉树分割的情况下,定义了不同的TU分割图案。
[0502]在分割类型为2NX2N且仅包含正方形的四叉树分割的TU分割图案的情况下,在TU分割深度“1”,定义了 32X32的正方形四叉树分割,在TU分割深度“2”,定义了 16X16的正方形四叉树分割。
[0503]I3U 分割类型为 2NX2N、2NXnU、2NXnD、NX2N、nLX2N 以及 nRX2N 的任一者、且仅包含非正方形的四叉树分割的情况下的定义如下。
[0504]首先,在TU分割深度“ I ”,定义了 32 X 32的正方形四叉树分割。接下来,在TU分割深度“2”,相对于PU分割类型:2NX2N、2NXnU、2NXnD,定义了 32X8的非正方形四叉树分割,相对于I3U分割类型:NX2N、nLX2N、nRX2N,定义了 8X32的非正方形四叉树分割。
[0505]进而,针对⑶的尺寸为8X8的情况,例示如下。在⑶的尺寸为8X8的情况下,可选择的I3U分割类型是2NX2N、2NX2、以及NX 2N。针对各PU分割类型,在TU分割深度“1”,定义了 8X8的正方形四叉树分割,在TU分割深度“2”,定义了 4X4的正方形四叉树分害I]。此外,TU分割的深度“3”未被定义,而处于强制性地非分割(在图17中,以※2示出)。
[0506]在此,使用图20,针对TU分割设定部131中的TU分割,进一步详细说明如下。图20是⑶的尺寸为32 X 32、且PU分割类型为2NXN的情况下的TU分割的例子的图。
[0507]首先,对象区域设定部1311在TU分割处理开始时,将对象CU全体作为对象区域的初始值进行设定,而且设为depth = O。此外,在depth = O,在区域垂直方向中央以虚线示出了 I3U边界BI。
[0508]接下来,分割决定部1312基于表示是否对对象节点进行分割的信息(split —transform— flag),来决定对象节点的分割与否。
[0509]由于split = 1,因此分割决定部1312决定对对象节点进行分割。
[0510]分割区域设定部1313将cbpth加1,基于变换尺寸决定信息,针对对象节点来设定TU分割图案。分割区域设定部1313针对作为对象区域的对象⑶,执行Cbpth = I的TU分割。
[0511]遵照图17所示的变换尺寸决定信息的定义,分割区域设定部1313在cbpth = 1,将对象节点四叉树分割为32X8的区域。
[0512]由此,对象节点以图18的(b)所示的分割方式被分割为TU0、TU1、TU2、以及TU3的4个横长的长方形区域。
[0513]进而,对象区域设定部1311在cbpth = I的分割深度,将TU0、TU1、TU2、以及TU3的各节点依次设定至对象区域。
[0514]在此,由于针对TUl设定了 split = 1,因此分割决定部1312决定对TUl进行分割。
[0515]分割区域设定部1313针对TUl来执行d印th = 2的TU分割。遵照图17所示的变换尺寸决定信息的定义,分割区域设定部1313在cbpth = 2,将对象节点四叉树分割为16X4的区域。
[0516]由此,作为对象节点的TUl以图19的(a)所示的分割方式被分割为TUl - O,TUl-UTUl - 2、以及TUl - 3的4个横长的长方形区域。
[0517][3 — I] PU分割类型为非对称的情况下导出分割区域尺寸的构成例
[0518]分割区域设定部1313在PU分割类型为非对称的情况下,可以构成为:在小的一方的I3U中应用长方形(非正方形)的变换,另一方面,在大的一方的PU的至少一部分中应用正方形的变换。
[0519]例如,在变换尺寸决定信息存储部1314中所存储的变换尺寸决定信息中,设置作为定义信息的小I3U尺寸1314A、以及大PU尺寸1314B。
[0520]关于小PU尺寸1314A,定义为:在非对称地分割出的I3U当中的小的尺寸的I3U中应用长方形的变换。
[0521]关于大I3U尺寸1314B,定义为:在非对称地分割出的I3U当中的大的尺寸的I3U中应用正方形的变换。
[0522]另外,分割区域设定部1313根据非对称地分割出的的尺寸,参考小PU尺寸1314A的定义信息和大I3U尺寸1314B的定义信息的任一者,来设定分割区域。
[0523]使用图21,针对基于上述构成例的TU分割,说明如下。
[0524]图21是PU分割类型为2NX nU的情况下的基于上述构成例的TU分割的例子的图。
[0525]首先,对象区域设定部1311在TU分割处理开始时,将对象CU全体作为对象区域的初始值进行设定,而且设depth = O。此外,在depth = O,在比区域垂直方向中央更上方,以虚线示出了 PU边界B2。
[0526]接下来,分割决定部1312基于表示是否对对象节点进行分割的信息(split —transform— flag)来决定对象节点的分割与否。
[0527]由于split = 1,因此分割决定部1312决定对对象节点进行分割。
[0528]分割区域设定部1313将cbpth加1,并基于变换尺寸决定信息,针对对象节点来设定TU分割图案。分割区域设定部1313针对作为对象区域的对象⑶,执行Cbpth = I的TU分割。
[0529]在此,分割区域设定部1313遵照小PU尺寸1314A,针对非对称地分割出的PU当中的小的尺寸的PU,进行横长的长方形的TU分割。
[0530]另外,分割区域设定部1313遵照大PU尺寸1314B,针对非对称地分割出的PU当中的大的尺寸的W,包含正方形的TU分割。此外,分割区域设定部1313针对位于PU边界侧的区域,如图21所示也可以包含长方形的TU分割区域。
[0531 ] 其结果是,分割区域设定部1313在cbpth = I,将对象节点四叉树分割为2个长方形的节点以及2个正方形的节点。
[0532]由此,对象节点被分割为横长的长方形的TUO以及TU1、以及正方形的TU2以及TU3的4个区域。
[0533]进而,对象区域设定部1311在cbpth = I的分割深度,将TUO、TU1、TU2、以及TU3的各节点依次设定至对象区域。
[0534]在此,由于针对TUO以及TU2设定了 split = 1,因此分割决定部1312决定对TUO以及TU2进行分割。
[0535]分割区域设定部1313针对TUO以及TU2执行d印th = 2的TU分割。分割区域设定部1313在cbpth = 2,将TUO进行TU分割,成为4个横长的长方形,将TU2进行TU分割,成为4个正方形。
[0536]由此,TUO被分割成4个横长的长方形区域的TUO — O、TUO — 1、TUO — 2、以及TUO - 3。另外,TU2被分割成4个横长的长方形区域的TU2 — O、TU2 — 1、TU2 — 2、以及TU2 - 3。
[0537]此外,如上所述,在进行PU分割类型为非对称的CU中的TU分割的情况下,优选按照分区不跨PU边界且分割后的各TU分割区域的面积变得相同的方式进行分割。
[0538][作用/效果]
[0539]本发明还能如下地表现。即,本发明的一形态所涉及的图像解码装置是按照将编码单位分割为I以上的数而得到的预测单位的每一个来生成预测图像,并按照将编码单位分割为I以上的数而得到的变换单位的每一个来解码预测残差,并通过对预测图像相加预测残差来还原图像的图像解码装置,向上述预测单位进行分割的分割类型包含将编码单位分割成多个不同大小的预测单位的非对称分割或将编码单位分割成多个相同大小的预测单位的对称分割,该图像解码装置具备:变换单位分割单元,其在成为解码的对象的上述编码单位即对象编码单位的分割类型为非对称分割时,根据上述对象编码单位中所含的预测单位的大小,来决定变换单位的分割方式。
[0540]由此,在分割类型为非对称分割时,能根据上述对象编码单位中所含的预测单位的大小,来选择效率良好且能去除相关那样的变换单位的分割方式。
[0541 ] [ 3 — 2 ]在一部分的CU尺寸中,当PU分割类型为正方形的分割时应用非矩形变换的构成例
[0542][构成例3— 2—1]
[0543]分割区域设定部1313在PU分割类型为正方形的分割的情况下,可以将对象节点分割为非正方形。[0544]为此,在变换尺寸决定信息存储部1314中所存储的变换尺寸决定信息中,在I3U分割类型为正方形的分割的情况下,可以定义按照将对象节点分割为非正方形这一意思进行定义的正方形I3U分割类型1314C。
[0545]而且,在分割类型为正方形的分割的情况下,分割区域设定部1313参考正方形PU分割类型1314C来将对象节点分割为非正方形。
[0546]在⑶尺寸为32X32尺寸、且PU分割类型为2NX 2N的情况下,分割区域设定部1313可以在TU分割中将区域分割为32X8的节点。
[0547]另外,在⑶尺寸为32X32尺寸、且PU分割类型为2NX 2N的情况下,分割区域设定部1313可以追加地解码表示TU分割的分割方式的信息,并基于解码出的信息而分割为32X8,16X16,8X32的任一者的节点。
[0548]另外,在⑶尺寸为32 X 32尺寸、且PU分割类型为2NX 2N的情况下,分割区域设定部1313可以基于相邻CU的尺寸以及分割类型,来估计对对象CU进行分割的TU尺寸。另外,分割区域设定部1313可以按以下的(i)~(iii)来进行估计。
[0549](i)在左边存在⑶边界或PU边界、且在上边不存在⑶边界以及PU边界的边界的情况下,选择32X8。
[0550](ii)在上边存在⑶边界或I3U边界,且在左边不存在⑶边界以及PU边界的边界的情况下,选择8X32。
[0551](iii)上述(i)以及(ii)以外(在左边或上边存在边界,或在左边以及上边均不存在边界的情况下),选择16X16。
[0552][作用/效果]`[0553]本发明还能如下地表现。即,本发明的一形态所涉及的图像解码装置是按照将编码单位分割为I以上的数而得到的预测单位的每一个来生成预测图像,并按照将编码单位分割为I以上的数而得到的变换单位的每一个来解码预测残差,通过对预测图像相加预测残差来还原图像的图像解码装置,向上述变换单位进行分割的分割方式包含正方形以及长方形的分割,该图像解码装置具备:分割单元,其在成为解码的对象的上述预测单位即对象预测单位的形状为正方形的情况下,通过长方形的分割方式来分割对象变换单位。
[0554]基于上述构成的作用/效果如下。与在区域内是否存在边沿、与图像是否具有方向性无关地,存在选择正方形的预测单位的情况。例如,在存在许多横边沿的目标正在移动的情况下,在目标内,运动是一样的,因此选择正方形的预测单位。然而,在这样的情况下,期望在变换处理中应用沿横边沿的、在水平方向上长的形状的变换单位。
[0555]根据上述构成,在成为解码的对象的上述预测单位即对象预测单位的形状为正方形的情况下,通过长方形的分割方式来分割对象变换单位。
[0556]由此,在正方形的编码单位中,也能选择长方形的变换单位,故而能使针对上述那样的区域的编码效率得以提高。
[0557][构成例3 — 2 — 2]
[0558]在上述构成3 — 2 -1的基础上,分割区域设定部1313在⑶尺寸为16 X 16尺寸且PU分割类型为2NX2N的情况下,在各分割深度进行分割如下。
[0559]分割深度=I…分割为16X4的TU。
[0560]分割深度=2…分割为4X4的TU。[0561 ] 根据上述构成,在4 X 4的TU,不依赖于16 X 16⑶的PU分割类型,对扫描顺序进行统一。在4X4的TU,若因16X 16⑶的PU分割类型不同而导致扫描顺序不统一,则必须对应于16 X 16⑶的PU分割类型来变更扫描处理,因此处理变复杂。由此,这样的扫描顺序的不统一易成为处理的瓶颈。
[0562]根据上述构成,使扫描顺序统一,从而起到能简化处理这样的效果。
[0563]使用图22以及图23,更具体地说明如下。首先,从图22所示的TU分割起进行说明。图22示出了遵照图17所示的变换尺寸决定信息进行了分割的情况下的TU分割的流程。
[0564]如图22的(a)所示,在PU分割类型为2NX2N的情况下…,在cbpth = 1,分割区域设定部1313进行对象节点的正方形的四叉树分割。另外,在cbpth = 2,分割区域设定部1313对分割为正方形的各节点,进一步进行正方形的四叉树分割。在此,扫描顺序使用递归式的z扫描。具体而言,如图22所图示。
[0565]如图22的(b)所示,在PU分割类型为2NXnU的情况下…,在cbpth = 1,分割区域设定部1313对对象节点进行横长的长方形的四叉树分割。另外,在cbpth = 2,分割区域设定部1313对分割为横长的长方形的各节点,进一步进行正方形的四叉树分割。在此,各TU的扫描顺序使用光栅扫描。具体而言,如图22所图示。
[0566]接下来,说明图23所示的TU分割。图23示出了在遵照正方形I3U分割类型1314C进行了 PU分割类型为2NX2N的区域的分割的情况下的TU分割的流程。
[0567]在I3U分割类型:2NX2N的情况下…,在cbpth = 1,分割区域设定部1313对对象节点进行横长的长方形的四叉树分割。另外,在cbpth = 2,分割区域设定部1313对分割为横长的长方形的各节点进一步进行·正方形的四叉树分割。
[0568]其结果,扫描顺序使用光栅扫描。由此,在分割类型为2NXnU的情况与为2NX2N的情况之间,扫描顺序能统一成光栅扫描。
[0569][变换系数还原部]
[0570]接下来,再次参考图16来说明变换系数还原部132的细节。变换系数还原部132更具体而言,具备非零系数判定部1321以及变换系数导出部1322。
[0571]非零系数判定部1321使用判定信息解码部(系数解码单元)1032,对对象CU中所含的针对各TU或变换树的非零变换系数的存在与否信息进行解码,判定在各TU中是否存在非零变换系数。
[0572]变换系数导出部1322使用变换系数解码部(系数解码单元)1033来还原存在非零变换系数的各TU的变换系数,另一方面,将不存在非零变换系数的各TU的变换系数设定为O (零)。
[0573][解码模块]
[0574]如图16所示,解码模块10具备:区域分割标志解码部1031、判定信息解码部1032、变换系数解码部1033、以及上下文存储部1034。
[0575]区域分割标志解码部1031根据从分割决定部1312提供的编码数据以及语法类另O,由编码数据中所含的二进制进行语法值的解码。区域分割标志解码部1031对表示是否分割对象节点的信息(split_transform_flag)进行解码。
[0576]判定信息解码部1032根据从变换系数导出部1322提供的非零变换系数的存在与否信息的编码数据以及语法类别,由该编码数据中所含的二进制进行语法值的解码。由判定信息解码部1032解码的语法,具体而言,是no — residual — data — f lag、cbf — luma,cbf — cb、cbf — cr 以及 cbp 等。
[0577]变换系数解码部1033根据从变换系数导出部1322提供的变换系数的编码数据以及语法类别,由该编码数据中所含的二进制进行语法值的解码。由变换系数解码部1033解码的语法,具体而言,是作为变换系数的绝对值的级别(level)、变换系数的符号(sign)、连续的零的游程的长度(run )等。
[0578]上下文存储部1034存储有判定信息解码部1032以及变换系数解码部1033在解码处理时所参考的上下文。
[0579][3 - 3]在变换系数解码时参考上下文的具体的构成
[0580]判定信息解码部1032以及变换系数解码部1033分别在PU分割类型为非对称分割的情况下,可以构成为:在小的一方的PU中所含的TU与大的一方的I3U中所含的TU中使用不同的上下文,对变换系数所涉及的语法值进行解码。例如,作为这样的语法的种类,包含:非零变换系数标志、变换系数级别、变换系数的游程、TU树的各节点中的非零变换系数的存在与否信息。可以包含所述语法的组合。
[0581]为此,在上下文存储部1034中,可以存储:包含在小的一方的I3U中的TU所参考的上下文中的变换系数所涉及的各种语法值对应的概率设定值即小PU尺寸1034A、以及包含在大的一方的I3U中的TU所参考的上下文中的概率设定值即大PU尺寸1034B。在此,小I3U尺寸1034A以及大PU尺寸1034B是与不同的上下文对应的概率设定值。
[0582]判定信息解码部1032,在对象TU包含于小的I3U的情况下,参考小I3U尺寸1034A,另一方面,在对象TU包含于大的一方的PU的情况下,参考大I3U尺寸1034B,对对象TU中的Cbf (cbf — luma, cbf — cb, cbf — cr 等)进行算术解码。
[0583]另外,变换系数解码部1033,在对象TU包含于小的I3U的情况下,参考小I3U尺寸1034A,另一方面,在对象TU包含于大的一方的I3U的情况下,参考大I3U尺寸1034B,对对象TU中的变换系数(level, sign, run等)进行算术解码。
[0584]此外,判定信息解码部1032以及变换系数解码部1033,在对象TU包含于大的一方的PU的情况下,在对象TU位于离小的一方的I3U近的一侧时,参考小I3U尺寸1034A也可以。
[0585]换言之,在对象TU包含于大的一方的I3U的情况下,但对象TU位于PU边界的邻近时,判定信息解码部1032以及变换系数解码部1033参考小PU尺寸1034A也可以。
[0586]在小的一方的I3U,存在边沿的可能性高,变换系数易发生。与此相对,在大的一方的PU,变换系数难以发生。在对象TU包含于小的I3U的情况下与包含于大的一方的I3U的情况下,通过使用不同的上下文,能进行与各区域内中的变换系数的发生概率相应的可变长解码。
[0587][作用/效果]
[0588]本发明还能如下地表现。即,本发明的一形态所涉及的图像解码装置是按照将编码单位分割为I以上的数而得到的预测单位的每一个来生成预测图像,并按照将编码单位分割为I以上的数而得到的变换单位的每一个来解码预测残差,通过对预测图像相加预测残差来还原图像的图像解码装置,向上述预测单位进行分割的分割类型包含:分割为不同大小的预测单位的向非对称形状的分割以及分割为相同大小的预测单位的向对称形状的分割,该图像解码装置具备:系数解码单元,其在成为解码的对象的上述预测单位即对象预测单位的分割类型为向非对称形状的分割时,在通过该分割而得到的小的预测单位以及大的预测单位之间,参考不同的上下文来解码变换系数。
[0589]由此,能进行与小的预测单位中所含的变换单位以及大的预测单位中所含的变换单位的各自的区域内的变换系数的发生概率相应的可变长解码。
[0590](处理的流程)
[0591]使用图24,关于运动图像解码装置I中的⑶解码处理,说明如下。此外,以下,设对象⑶是帧间⑶或跳过⑶。图24是表示运动图像解码装置I中的⑶解码处理(帧间/跳过CU)的流程的一例的流程图。
[0592]若⑶解码处理开始,则⑶信息解码部11使用解码模块10来针对对象⑶解码⑶预测信息(S11)。该处理是以⑶单位进行的。
[0593]具体而言,在CU信息解码部11中,CU预测模式决定部111使用解码模块10来对跳过标志SKIP进行解码。另外,若跳过标志未示出是跳过CU,则CU预测模式决定部111进而使用解码模块10来对⑶预测类型信息Pred — type进行解码。
[0594]接下来,进行PU单位的处理。S卩,PU信息解码部12所具备的运动补偿参数导出部121对运动信息进行解码(S12),而且预测图像生成部14基于解码出的该运动信息,通过帧间预测来生成预测图像(S13)。
[0595]接下来,TU信息解码部13进行TU分割解码处理(S14)。具体而言,在TU信息解码部13中,TU分割设定部131基于由编码数据解码出的参数和CU尺寸以及PU分割类型,来设定TU分割的方式。该处理是以CU单位进行的。
[0596]接下来,进行TU单位的处理。即,TU信息解码部131对变换系数进行解码(S15),逆量化/逆变换部15从解码出的变换系数导出预测残差(S16)。
[0597]接下来,在加法部17中,通过对预测图像与预测残差进行相加来生成解码图像(S17)。该处理是以⑶单位来进行的。
[0598]〔运动图像编码装置〕
[0599]以下,参考图25以及图26来说明本实施方式所涉及的运动图像编码装置2。
[0600](运动图像编码装置的概要)
[0601]运动图像编码装置2,简言之,是通过对输入图像# 10进行编码来生成编码数据# I并输出的装置。
[0602](运动图像编码装置的构成)
[0603]首先,使用图25来说明运动图像编码装置2的构成例。图25是表示运动图像编码装置2的构成的功能框图。如图25所示,运动图像编码装置2具备:编码设定部21、逆量化/逆变换部22、预测图像生成部23、加法器24、帧存储器25、减法器26、变换/量化部27、以及编码数据生成部(编码单元)29。
[0604]编码设定部21基于输入图像# 10来生成与编码相关的图像数据以及各种的设定信息。
[0605]具体而言,编码设定部21生成下一图像数据以及设定信息。
[0606]首先,编码设定部21通过将输入图像# 10依次分割成切片单位、树块单位,来生成关于对象⑶的⑶图像# 100。
[0607]另外,编码设定部21基于分割处理的结果来生成报头信息H’。报头信息H’包含:(I)属于对象切片的树块的尺寸、形状以及在对象切片内的位置有关的信息、以及(2)属于各树块的CU的尺寸、形状以及在对象树块内的位置有关的CU信息CU’。
[0608]进而,编码设定部21参考⑶图像# 100以及⑶信息⑶’来生成PT设定信息PTI’。在PT设定信息PTI’中,包含:(1)对象⑶的向各I3U的可能的分割图案、以及(2)能分配给各PU的预测模式的全部的组合有关的信息。
[0609]编码设定部21将⑶图像# 100提供给减法器26。另外,编码设定部21将报头信息H’提供给编码数据生成部29。另外,编码设定部21将PT设定信息PTI’提供给预测图像生成部23。
[0610]逆量化/逆变换部22通过对由变换/量化部27提供的每块的量化预测残差进行逆量化以及逆正交变换,来还原每块的预测残差。关于逆正交变换,与针对图1所示的逆量化/逆变换部13所说明的相同,故在此省略其说明。
[0611]另外,逆量化/逆变换部22遵照由TT分割信息(后述)指定的分割图案来综合每块的预测残差,生成针对对象CU的预测残差D。逆量化/逆变换部22将针对已生成的对象⑶的预测残差D提供给加法器24。
[0612]预测图像生成部23参考帧存储器25中所记录的局部解码图像P’、以及PT设定信息PTI ’,生成针对对象⑶的预测图像Pred。预测图像生成部23将通过预测图像生成处理而得到的预测参数设定为PT设定信息ΡΤi,并将设定后的PT设定信息PTI ’转发至编码数据生成部29。此外,预测图像生成部23所执行的预测图像生成处理与运动图像解码装置I所具备的预测图像生成部14相同,故在此省略说明。
[0613]加法器24通过将由预测图像生成部23提供的预测图像Pred与由逆量化/逆变换部22提供的预测残差D进行相加,来生成针对对象CU的解码图像P。
[0614]在帧存储器25中,依次记录解码出的解码图像P。在帧存储器25中,在对对象树块进行解码的时间点上,与用于该解码图像P的解码的参数一起记录有与先于该对象树块解码出的全部的树块(例如,光栅扫描顺序下先行的全部的树块)对应的解码图像。
[0615]减法器26通过(⑶图像# 100中减去预测图像Pred,来生成针对对象⑶的预测残差D。减法器26将已生成的预测残差D提供给变换/量化部27。
[0616]变换/量化部27通过对预测残差D进行正交变换以及量化来生成量化预测残差。此外,在此正交变换是指,从像素区域到频域的正交变换。另外,作为逆正交变换的例子,可列举 DCT 变换(Discrete Cosine Transform)以及 DST 变换(Discrete Sine Transform)等。
[0617]具体而言,变换/量化部27参考⑶图像# 100以及⑶信息⑶’,来决定对象⑶向I个或多个块的分割图案。另外,遵照所决定的分割图案,来将预测残差D分割成针对各块的预测残差。
[0618]另外,变换/量化部27在通过对针对各块的预测残差进行正交变换而生成了频域上的预测残差后,通过对该频域上的预测残差进行量化来生成每块的量化预测残差。
[0619]另外,变换/量化部27生成包含已生成的每块的量化预测残差、对对象⑶的分割图案进行指定的TT分割信息、以及对象CU到各块的可能的全部分割图案有关的信息在内的TT设定信息TTI,。变换/量化部27将已生成的TT设定信息TTI,提供给逆量化/逆变换部22以及编码数据生成部29。
[0620] 编码数据生成部29对报头信息H’、TT设定信息TTI ’、以及PT设定信息PTI ’进行编码,并将编码出的报头信息H、TT设定信息TT1、以及PT设定信息PTI进行复用来生成编码数据# I并输出。
[0621 ](与运动图像解码装置的对应关系)
[0622]运动图像编码装置2包含与运动图像解码装置I的各构成对应的构成。在此,对应是指,处于进行同样的处理或互逆的处理的关系。
[0623]例如,如上所述,运动图像解码装置I所具备的预测图像生成部14的预测图像生成处理与运动图像编码装置2所具备的预测图像生成部23的预测图像生成处理相同。
[0624]例如,在运动图像解码装置I中,由比特串解码出语法值的处理与在运动图像编码装置2中由语法值编码比特串的处理,作为互逆的处理而对应。
[0625]以下,说明运动图像编码装置2中的各构成与运动图像解码装置I的CU信息解码部11、信息解码部12以及TU信息解码部13处于怎样的对应。由此将进一步明确运动图像编码装置2中的各构成的动作/功能。
[0626]编码数据生成部29对应于解码模块10。更具体而言,解码模块10基于编码数据以及语法类别来导出语法值,相对于此,编码数据生成部29基于语法值以及语法类别来生成编码数据。
[0627]编码设定部21对应于运动图像解码装置I的⑶信息解码部11。将编码设定部21与⑶信息解码部11比较如下。
[0628]CU信息解码部11将CU预测类型信息所涉及的编码数据和语法类别提供给解码模块10,并基于由解码模块10解码出的CU预测类型信息来决定分割类型。
[0629]与此相对,编码设定部21决定PU分割类型并生成CU预测类型信息,并将CU预测类型信息所涉及的语法值和语法类别提供给编码数据生成部29。
[0630]此外,编码数据生成部29可以具备与解码模块10所具备的二值化信息存储部1012、上下文存储部1013、以及概率设定存储部1014同样的构成。
[0631]预测图像生成部23对应于运动图像解码装置I的信息解码部12以及预测图像生成部14。将它们比较如下。
[0632]如上所述,PU信息解码部12将运动信息所涉及的编码数据和语法类别提供给解码模块10,并基于由解码模块10解码出的运动信息来导出运动补偿参数。另外,预测图像生成部14基于所导出的运动补偿参数来生成预测图像。
[0633]与此相对,预测图像生成部23在预测图像生成处理中决定运动补偿参数,并将运动补偿参数所涉及的语法值和语法类别提供给编码数据生成部29。
[0634]另外,预测图像生成部23可以具备与PU信息解码部12所具备的合并候选优先顺位信息存储部122、以及参考帧设定信息存储部123同样的构成。
[0635]变换/量化部27对应于运动图像解码装置I的TU信息解码部13以及逆量化/逆变换部15。将它们比较如下。
[0636]TU信息解码部13所具备的TU分割设定部131将表示是否进行节点的分割的信息所涉及的编码数据以及语法类别提供给解码模块10,并基于由解码模块10解码出的表示是否进行节点的分割的信息来进行TU分割。
[0637]进而,TU信息解码部13所具备的变换系数还原部132将判定信息以及变换系数所涉及的编码数据以及语法类别提供给解码模块10,并基于由解码模块10解码出的判定信息以及变换系数来导出变换系数。
[0638]与此相对,变换/量化部27决定TU分割的分割方式,并将表示是否进行节点的分割的信息所涉及的语法值以及语法类别提供给编码数据生成部29。
[0639]另外,变换/量化部27将对预测残差进行变换/量化而得到的量化变换系数所涉及的语法值以及语法类别提供给编码数据生成部29。
[0640]此外,变换/量化部27可以具备与TU分割设定部131所具备的变换尺寸决定信息存储部1314同样的构成。另外,编码数据生成部29可以具备与解码模块10所具备的上下文存储部1034同样的构成。
[0641](与具体的构成的对应关系)
[0642][I]’编码设定部以及编码数据生成部
[0643][I 一 I]’对上下文的参考进行限制的构成例
[0644]编码数据生成部29在PU分割类型为非对称分区时,不使用CABAC的上下文而对表示非对称分区的分割的种类的信息进行编码处理也可以。
[0645]具体的构成例如与在运动图像解码装置I的构成例[1-1]中说明的相同,故在此省略说明。其中,将构成例[1-1]的说明中的“CU预测模式解码部1011”、“概率设定存储部1014”、以及“解码(进行)”分别改称为“编码数据生成部29”、“相当于概率设定存储部1014的构成”、以及“编码(进行)”。
[0646][I — 2]’对⑶预测类型信息(pred — type)进行编码的构成
[0647]编码数据生成部29可以构成为:参考二值化信息来对CU预测类型信息进行编码。
[0648]具体的构成例如与在运动图像解码装置I的构成例[1- 2]中说明的相同,故在此省略说明。其中,将构成例[1- 2]的说明中的“CU预测模式解码部1011”、“二值化信息存储部1012”、以及“解码(进行)”分别改称为“编码数据生成部29”、“相当于二值化信息存储部1012的构成”、以及“编码(进行)”。
[0649][I 一 3]’在小尺寸的CU中针对帧内CU来编码短的码的构成
[0650]编码数据生成部29可以构成为:在小尺寸的CU中,针对帧内CU来编码短的码。
[0651]具体的构成例如与在运动图像解码装置I的构成例[1- 3]中说明的相同,故在此省略说明。其中,将构成例[1- 3]的说明中的“CU预测模式解码部1011”、“上下文存储部1013”、“二值化信息存储部1012”、以及“解码(进行)”分别改称为“编码数据生成部29”、“相当于上下文存储部1013的构成”、“相当于二值化信息存储部1012的构成”、以及“编码(进行)”。
[0652][I 一 4]’根据邻近的预测参数来变更bin串的解释的构成
[0653]编码数据生成部29可以构成为:参考分配给相邻区域的预测参数来变更bin串的解释。
[0654]具体的构成例如与在运动图像解码装置I的构成例[1- 4]中说明的相同,故在此省略说明。其中,将构成例[1- 4]的说明中的“CU预测模式解码部1011”、“二值化信息存储部1012”、以及“解码(进行)”分别改称为“编码数据生成部29”、“相当于二值化信息存储部1012的构成”以及“编码(进行)”。
[0655][2]’预测图像生成部以及编码数据生成部
[0656][2 -1]’合并候选的位置以及优先顺位的例
[0657]预测图像生成部23在PU分割类型为非对称的情况下,可以构成为:以与分割类型为对称的情况不同的方法来决定合并候选的优先顺位。
[0658]具体的构成例如与在运动图像解码装置I的构成例[2 — I]中说明的相同,故在此省略说明。其中,将构成例[2 — I]的说明中的“运动补偿参数导出部121”、以及“合并候选优先顺位信息存储部122”分别改称为“预测图像生成部23”、以及“相当于合并候选优先顺位信息存储部122的构成”。
[0659][2 — 2]’基于CU尺寸与跳过/合并的组合的合并候选的变更
[0660]预测图像生成部23可以构成为:根据⑶尺寸、与该⑶是否为进行跳过/合并的⑶的组合,来变更合并候选。
[0661]具体的构成例如与在运动图像解码装置I的构成例[2 - 2]中说明的相同,故在此省略说明。其中,将构成例[2 - 2]的说明中的“运动补偿参数导出部121”、以及“合并候选优先顺位信息存储部122”分别改称为“预测图像生成部23”、以及“相当于合并候选优先顺位信息存储部122的构成”。
[0662][2 — 3]’参考帧数的决定
[0663]预测图像生成部23可以参考参考帧设定信息来决定在帧间预测中应用单预测以及双预测的哪一者的预测方式。
[0664]具体的构成例如与在运动图像解码装置I的构成例[2 - 3]中说明的相同,故在此省略说明。其中,将构成例[2 - 3]的说明中的“运动补偿参数导出部121”、以及“参考帧设定信息存储部123”分别改称为“预测图像生成部23”、以及“相当于参考帧设定信息存储部123的构成”。
[0665][3]’变换/量化部以及编码数据生成部
[0666][3 — I]’在PU分割类型为非对称的情况下导出分割区域尺寸的构成例
[0667]变换/量化部27在PU分割类型为非对称的情况下,可以构成为:在小的一方的I3U中,应用长方形(非正方形)的变换,另一方面,在大的一方的PU中,应用正方形的变换。
[0668]具体的构成例如与在运动图像解码装置I的构成例[3 — I]中说明的相同,故在此省略说明。其中,将构成例[3 — I]的说明中的“对象区域设定部1311”、“分割决定部1312”以及“分割区域设定部1313”改称为”变换/量化部27”。另外,将构成例[3 — I]的说明中的“变换尺寸决定信息存储部1314”改称为“相当于变换尺寸决定信息存储部1314的构成”。
[0669][3 — 2]’在一部分的分割类型为正方形的分割时应用非矩形变换的构成例
[0670]变换/量化部27在PU分割类型为正方形的分割的情况下,可以构成为:将对象节点分割为非正方形。另外,在上述构成的基础上,在⑶尺寸为16X16尺寸、且PU分割类型为2NX2N的情况下,变换/量化部27可以构成为:能使扫描顺序在各分割深度统一。
[0671]具体的构成例如与在运动图像解码装置I的构成例[3 - 2]中说明相同,故在此省略说明。其中,将构成例[3 - 2]的说明中的“分割区域设定部1313”、以及“变换尺寸决定信息存储部1314”分别改称为“变换/量化部27”、以及“相当于变换尺寸决定信息存储部1314的构成”。
[0672][3 - 3]’在变换系数编码时参考上下文的具体的构成
[0673]编码数据生成部29在PU分割类型为非对称分割的情况下,可以构成为:在小的一方的PU中所含的TU与大的一方的I3U中所含的TU使用不同的上下文,对非零变换系数的存否信息以及变换系数的至少一者进行编码。
[0674]具体的构成例如与在运动图像解码装置I的构成例[3 - 3]中说明的相同,故在此省略说明。其中,将构成例[3 - 3]的说明中的“判定信息解码部1032”以及“变换系数解码部1033”改称为”编码数据生成部29”。另外,将构成例[3 - 3]的说明中的“解码(进行)”,以及“上下文存储部1034”分别改称为“编码(进行)”、以及“相当于上下文存储部1034的构成”。
[0675](处理的流程)
[0676]使用图26,关于运动图像编码装置2中的⑶编码处理,说明如下。此外,以下,设对象⑶是帧间⑶或跳过⑶。图24是表示运动图像编码装置2中的⑶编码处理(帧间/跳过CU)的流程的一例的流程图。
[0677]若⑶编码处理开始,则编码设定部21针对对象⑶决定⑶预测信息,编码数据生成部29对由编码设定部21决定的CU预测信息进行编码(S21)。该处理是以CU单位进行的。
[0678]具体而言,编码设定部21决定对象⑶是否为跳过⑶。在对象⑶是跳过⑶的情况下,编码设定部21使跳过标志SKIP在编码数据生成部20中被编码。另外,在对象⑶不是跳过⑶的情况下,编码设定部21使⑶预测类型信息Pred — type在编码数据生成部20中被编码。
[0679]接下来,进行单位的处理。即,预测图像生成部23导出运动信息,编码数据生成部29对由预测图像生成部23导出的运动信息进行编码(S22)。另外,预测图像生成部14基于导出的该运动信息,通过帧间预测来生成预测图像(S23)。
[0680]接下来,变换/量化部27进行TU分割编码处理(S24)。具体而言,变换/量化部27基于对象CU的CU尺寸以及I3U分割类型来设定TU分割的方式。该处理是以CU单位进行的。
[0681]接下来,进行TU单位的处理。S卩,变换/量化部27将预测残差变换/量化成变换系数(S25),编码数据生成部29对变换/量化后的变换系数进行编码(S26)。
[0682]接下来,逆量化/逆变换部22对变换/量化后的变换系数进行逆量化/逆变换来还原预测残差,而且加法器24对预测图像以及预测残差进行相加,从而来生成解码图像
(S27)。该处理是以⑶单位进行的。
[0683]〔应用例〕
[0684]上述的运动图像编码装置2以及运动图像解码装置I能搭载于进行运动图像的发送、接收、记录,再生的各种装置而被利用。此外,运动图像既可以是由照相机等摄像出的自然运动图像,也可以是由计算机等生成的人工运动图像(包含CG以及⑶I)。
[0685]首先,参考图27来说明能将上述的运动图像编码装置2以及运动图像解码装置I利用于运动图像的发送以及接收。
[0686]图27的(a)是表示搭载有运动图像编码装置2的发送装置PROD —A的构成的框图。如图27的(a)所示,发送装置PROD —A具备:通过对运动图像进行编码而得到编码数据的编码部PROD—Al、通过以编码部PROD —Al所得到的编码数据来调制载波而得到调制信号的调制部PROD — A2、以及发送由调制部PROD — A2得到的调制信号的发送部PROD _A3。上述的运动图像编码装置2能作为该编码部PROD _ Al而被利用。
[0687]发送装置PROD — A还可以具备:对运动图像进行摄像的照相机PROD — A4、记录运动图像的记录介质PROD — A5、用于将运动图像从外部输入的输入端子PROD — A6、以及生成或加工图像的图像处理部A7,作为输入至编码部PROD —Al的运动图像的提供源。在图27的(a)中,例示了发送装置PROD —A具备上述全部的构成,但也可以省略一部分。
[0688]此外,记录介质PROD —A5既可以记录未被编码的运动图像,也可以记录以与传输用的编码方式不同的记录用的编码方式而编码出的运动图像。在后者的情况下,在记录介质PROD _ A5与编码部PROD _ Al之间,插入遵照记录用的编码方式对从记录介质PROD _A5读出的编码数据进行解码的解码部(未图示)即可。
[0689]图27的(b)是表示搭载有运动图像解码装置I的接收装置PR0D —B的构成的框图。如图27的(b)所示,接收装置PR0D —B具备:接收调制信号的接收部PR0D —B1、通过对由接收部PR0D —BI接收到的调制信号进行解调来得到编码数据的解调部PROD —B2、以及通过对由解调部PROD — B2得到的编码数据进行解码来得到运动图像的解码部PROD —B3。上述的运动图像解码装置I被用作该解码部PROD _ B3。
[0690]接收装置PR0D —B还可以具备:对运动图像进行显示的显示器PROD — B4、用于记录运动图像的记录介质PROD _ B5、以及用于将运动图像输出至外部的输出端子PROD _B6,来作为由解码部PROD —B3输出的运动图像的提供目的地。在图27的(b)中,例示了接收装置PR0D —B具备上述全部的构成,但也可以省略一部分。
[0691]此外,记录介质PROD — B5既可以用于记录未被编码的运动图像,也可以记录以与传输用的编码方式不同的记录用的编码方式而编码出的运动图像。在后者的情况下,在解码部PROD _ B3与记录介质PROD _ B5之间,插入遵照记录用的编码方式对从解码部PROD—B3获取到的运动图像进行编码的编码部(未图示)即可。
[0692]此外,传输调制信号的传输介质既可以是无线,也可以是有线。另外,传输调制信号的传输形态既可以是广播(在此,是指发送目的地预先不确定的发送形态),也可以是通信(在此,是指发送目的地预先确定的发送形态)。即,调制信号的传输可以通过无线广播、有线广播、无线通信、以及有线通信的任一者来实现。
[0693]例如,地面数字广播的广播站(广播设备等)/接收站(电视接收机等)是以无线广播来收发调制信号的发送装置PROD —A /接收装置PROD —B的一例。另外,电缆电视广播的广播站(广播设备等)/接收站(电视接收机等)是以有线广播来收发调制信号的发送装置PROD _ A /接收装置PROD _ B的一例。
[0694]另外,利用了互联网的VOD (Video On Demand)服务或运动图像共有服务等的服务器(工作站等)/客户端(电视接收机、个人计算机、智能手机等)是以通信来收发调制信号的发送装置PROD — A /接收装置PROD — B的一例(通常,在LAN中使用无线或有线的任一者来作为传输介质,在WAN中使用有线来作为传输介质)。在此,个人计算机之中包含台式PC、笔记本PC、以及平板型PC。另外,智能手机之中还包含多功能便携式电话终端。
[0695]此外,运动图像共有服务的客户端除了对从服务器下载了的编码数据进行解码并显示于显示器的功能之外,还具有对由照相机摄像得到的运动图像进行编码并上传至服务器的功能。即,运动图像共有服务的客户端作为发送装置PROD —A以及接收装置PROD —B的两者来发挥功能。
[0696]接下来,参考图28来说明能将上述的运动图像编码装置2以及运动图像解码装置I利用于运动图像的记录以及再生。
[0697]图28的(a)是表示搭载有上述的运动图像编码装置2的记录装置PROD _ C的构成的框图。如图28的(a)所示,记录装置PROD —C具备:通过对运动图像进行编码而得到编码数据的编码部PROD —Cl、以及将由编码部PROD —Cl得到的编码数据写入至记录介质PROD — M的写入部PROD _ C2。上述的运动图像编码装置2作为该编码部PROD _ Cl而被利用。
[0698]此外,记录介质PROD — M 既可以像(I) HDD (Hard Disk Drive)或 SSD (SolidState Drive)等那样,是内置于记录装置PROD — C的类型,也可以像(2) SD存储卡或USB(Universal Serial Bus)闪速存储器等那样,是与记录装置PROD — C连接的类型,还可以像(3)DVD (DigitalVersatile Disc)或 BD (Blu-ray Disc:注册商标)等那样,被装填在内置于记录装置PROD —C的驱动器装置(未图示)中。
[0699]另外,记录装置PROD —C还可以具备:对运动图像进行摄像的照相机PROD — C3、用于将运动图像从外部输入的输入端子PROD —C4、用于接收运动图像的接收部PR0D —C5、以及生成或加工图像的图像处理部C6,来作为输入至编码部PROD —Cl的运动图像的提供源。在图28的(a)中,例示了记录装置PROD —C具备上述全部的构成,但也可以省略一部分。
[0700]此外,接收部PROD —C5既可以接收未被编码的运动图像,也可以接收以与记录用的编码方式不同的传输用的编码方式而编码出的编码数据。在后者的情况下,在接收部PROD — C5与编码部PROD — Cl之间,插入对于以传输用的编码方式编码出的编码数据进行解码的传输用解码部(未图示)即可。
[0701]作为这样的记录装置PROD _ C,例如可列举DVD刻录机、BD刻录机、HDD (HardDisk Drive)刻录机等(在此情况下,输入端子PROD — C4或接收部PROD — C5成为运动图像的主要的提供源)。另外,手提摄像机(在此情况下,照相机PROD — C3成为运动图像的主要的提供源),个人计算机(在此情况下,接收部PROD — C5或图像处理部C6成为运动图像的主要的提供源)、智能手机(在此情况下,照相机PROD — C3或接收部PROD — C5成为运动图像的主要的提供源)等也是这样的记录装置PROD —C的一例。
[0702]图28的(b)是示出了搭载有上述的运动图像解码装置I的再生装置PROD —D的构成的块。如图28的(b)所示,再生装置PROD —D具备:对写入至记录介质PROD — M的编码数据进行读出的读出部PROD — Dl、以及通过对由读出部PROD — Dl读出的编码数据进行解码来得到运动图像的解码部PROD —D2。上述的运动图像解码装置I作为该解码部PROD _ D2而被利用。
[0703]此外,记录介质PROD — M既可以像(I )HDD或SSD等那样,是内置于再生装置PROD—D的类型,也可以像(2) SD存储卡或USB闪速存储器等那样,是与再生装置PROD — D连接的类型,还可以像(3) DVD或BD等那样,装填在内置于再生装置PROD — D的驱动器装置(未图示)中。[0704]另外,再生装置PROD —D还可以具备:对运动图像进行显示的显示器PROD — D3、用于将运动图像输出至外部的输出端子PROD —D4、以及发送运动图像的发送部PROD —D5,来作为由解码部PROD —D2输出的运动图像的提供目的地。在图28的(b)中,例示了再生装置PROD — D具备上述全部的构成,但也可以省略一部分。
[0705]此外,发送部PROD —D5既可以发送未被编码的运动图像,也可以发送以与记录用的编码方式不同的传输用的编码方式而编码出的编码数据。在后者的情况下,在解码部PROD _ D2与发送部PROD _ D5之间,插入以传输用的编码方式来编码运动图像的编码部(未图示)即可。
[0706]作为这样的再生装置PROD — D,例如可列举DVD播放器、BD播放器、HDD播放器等(在此情况下,连接电视接收机等的输出端子PROD —D4成为运动图像的主要的提供目的地)。另外,电视接收机(在此情况下,显示器PROD —D3成为运动图像的主要的提供目的地)、数字标牌(也称为电子标牌或电子公告板等,显示器PROD — D3或发送部PROD — D5成为运动图像的主要的提供目的地)、台式PC (在此情况下,输出端子PROD — D4或发送部PROD —D5成为运动图像的主要的提供目的地)、笔记本式或平板型PC (在此情况下,显示器PROD — D3或发送部PROD — D5成为运动图像的主要的提供目的地)、智能手机(在此情况下,显示器PROD — D3或发送部PROD — D5成为运动图像的主要的提供目的地)等也是这样的再生装置PROD _ D的一例。
[0707]〔总结〕
[0708]提供一种图像解码装置,按每个编码单位对图像编码数据进行解码来生成解码图像,所述图像解码装置具备:编码单位信息解码部,其解码对分割所述编码单位的分割类型进行指定的信息;以及算术解码部,其通过利用了上下文的算术解码或不利用上下文的算术解码,由所述图像编码数据解码二进制值,在所述编码单位信息解码部对于将非对称的分割(AMP; Asymmetric Motion Partition)指定为所述分割类型的信息进行解码的情况下,所述算术解码部根据所述二进制值的位置,切换所述利用了上下文的算术解码与所述不利用上下文的算术解码来进行解码。
[0709]本发明的一形态所涉及的图像解码装置中,在将所述编码单位的尺寸设为了2NX2N像素的情况下,所述分割类型至少包含:作为对称的分割的2NX2N像素、2NXN像素以及NX2N像素;以及作为所述非对称的分割的2NXnU像素、2NXnD像素、nLX 2N像素以及nRX2N像素。
[0710]本发明的一形态所涉及的图像解码装置中,在所述CU信息解码部对于将非对称的分割(AMP; Asymmetric Motion Partition)指定为所述分割类型的信息进行解码的情况下,所述算术解码部仅将一部分的二进制值通过所述不利用上下文的算术解码来进行解码。
[0711]本发明的一形态所涉及的图像解码装置中,所述一部分的二进制值至少包含对应于与所述非对称的分割相关的信息的二进制值。
[0712]本发明的一形态所涉及的图像解码装置是按每个编码单位对图像编码数据进行解码来生成解码图像的图像解码装置,具备:编码单位信息解码部,其解码对分割所述编码单位的分割类型进行指定的信息;以及算术解码部,其通过利用了上下文的算术解码或不利用上下文的算术解码,由所述图像编码数据解码二进制值,在所述编码单位信息解码部对于将长方形分割的种类指定为所述分割类型的信息进行解码的情况下,所述算术解码部根据所述二进制值的位置,切换所述利用了上下文的算术解码与所述不利用上下文的算术解码来进行解码。
[0713]本发明的一形态所涉及的图像解码方法是按每个编码单位对图像编码数据进行解码来生成解码图像的图像解码方法,至少包含:解码对分割所述编码单位的分割类型进行指定的信息的步骤;以及通过利用了上下文的算术解码或不利用上下文的算术解码,从所述图像编码数据解码二进制值的步骤,在对于将非对称的分割(AMP;Asy_etric MotionPartition)指定为所述分割类型的信息进行解码的情况下,根据所述二进制值的位置,切换所述利用了上下文的算术解码与所述不利用上下文的算术解码来进行解码。
[0714]本发明的一形态所涉及的图像编码装置是按每个编码单位对用于还原图像的信息进行编码来生成图像编码数据的图像编码装置,具备:编码设定部,其编码对分割所述编码单位的分割类型进行指定的信息;以及编码数据生成部,其通过利用了上下文的编码处理或不利用上下文的编码处理,来生成所述图像编码数据,在对于将非对称的分割(AMP;Asymmetric Motion Partition)指定为所述分割类型的信息进行编码的情况下,所述编码数据生成部切换所述利用了上下文的编码处理与所述不利用上下文的编码处理来生成所述图像编码数据。
[0715]本发明的一形态所涉及的图像解码装置是使用参考I个参考图像的单预测或参考2个参考图像的双预测作为画面间预测的预测方式来对预测单位内的图像进行解码的图像解码装置,具备:双预测限制单元,其在所述预测单位为给定的尺寸以下的预测单位的情况下,限制对该预测单位进行所述双预测。
[0716]根据本发明的上述的形态,能实现在使用非对称分区的情况下的码量的削减、以及活用了非对称分区的性质的效率好的编码/解码处理。
[0717]另外,本发明还能按以下方式表现。本发明的一形态所涉及的图像解码装置是按每个编码单位从图像编码数据解码用于还原图像的信息来还原图像的图像解码装置,具备:解码单元,其针对对预测单位的尺寸与应用于编码单位的预测方式的组合所分配的码,对于对给定尺寸以下的尺寸的编码单位应用画面内预测的预测方式的组合,解码比分配给该组合以外的组合的码更短的码。
[0718]在上述的构成中,关于给定尺寸以下的尺寸的编码单位,其是与该给定尺寸大的尺寸的编码单位相比而在帧间预测难以命中那样尺寸的编码单位。
[0719]在帧间预测难以命中的区域中,有应用给定尺寸以下的尺寸的小的编码单位的趋势。此外,以下,将比给定尺寸大的尺寸的编码单位称为大的编码单位。
[0720]给定尺寸以下的尺寸的编码单位例示性地,是最小尺寸的编码单位,是8X8像素的编码单位。
[0721]关于这样的小的编码单位,较之于大的编码单位,空间相关性更高,因此为了谋求预测精度的提高而多应用帧内CU。
[0722]在上述的构成中,针对编码尺寸小、且预测方式为画面内预测的组合,较之于除此以外的组合,分配更短的码。
[0723]故而,根据上述的构成,能对在给定尺寸以下的尺寸的编码单位中发生概率高的组合分配短的码,起到编码效率得以提高这样的效果。[0724]关于本发明的一形态所涉及的图像解码装置,优选地,上述解码单元对于上述组合,较之于对于比上述给定尺寸大的尺寸的编码单位应用画面内预测的预测方式的组合所分配的码,解码更短的码。
[0725]根据上述的构成,较之于在画面内预测难以命中的大的编码单位中应用画面内预测的预测方式的情况,在画面内预测易于命中的小的编码单位中应用画面内预测的预测方式的情况下,解码更短的码。
[0726]由此,能对出现频度高的组合解码短的码,其结果,能使编码效率得以提高。
[0727]关于本发明的一形态所涉及的图像解码装置,优选地,上述解码单元对于上述组合,较之于对与上述给定尺寸为同一尺寸的编码单位应用画面内预测以外的预测方式的组合所分配的码,解码更短的码。
[0728]根据上述的构成,较之于在小的编码单位中预测难以命中的画面间预测,能针对预测易于命中的画面内预测解码更短的码。
[0729]由此,能对出现频度高的组合解码短的码,其结果,能使编码效率得以提高。
[0730]本发明的一形态所涉及的图像解码装置是通过参考I个参考图像的单预测以及参考2个参考图像的双预测的任一者的画面间预测的预测方式来还原预测单位内的图像的图像解码装置,具备:双预测限制单元,其针对应用上述画面间预测的、给定尺寸以下的尺寸的预测单位即对象预测单位,限制进行双预测。
[0731]双预测较之于单预测,处理量更多。此外,双预测是指,在画面间预测中使用2个参考的图像的预测方式。参考的图像相对于对象帧,在时间上既可以在前方也可以在后方。
[0732]另外,在给定尺寸以下的尺寸的小的预测单位中,较之于比给定尺寸大的尺寸的大的预测单位,每单位面积的处理量多。
[0733]因此,若在小的预测单位中进行双预测,则处理量均多,因此易成为解码处理的瓶颈。
[0734]根据上述的构成,在小的预测单位中限制进行双预测。此外,限制包含:省略双预测中的一部分的处理、以及不进行双预测的处理。
[0735]通过进行上述限制,从而起到能降低成为解码处理的瓶颈那样处理的处理量这样的效果。
[0736]关于本发明的一形态所涉及的图像解码装置,优选地,上述双预测限制单元对不省略上述对象预测单位中的预测图像的生成中所利用的运动矢量的至少一部分的解码的预测单位,也即,根据分配给该上述对象预测单位的邻近的预测单位的预测参数不进行分配至该对象预测单位的预测参数的估计的上述对象预测单位,进行上述限制。
[0737]根据上述的构成,不进行所谓的跳过处理以及合并处理,而实际在对象预测单位中导出预测参数的情况下,限制双预测。
[0738]在不进行跳过处理或合并处理的情况下,需要对运动矢量全部进行解码,处理量会增加。因此,通过在那样的情况下进行上述限制,能降低成为解码处理的瓶颈那样的处理
的处理量。
[0739]关于本发明的一形态所涉及的图像解码装置,优选地,上述双预测限制单元省略表示进行双预测以及单预测的哪一者的信息的解码,来进行单预测。
[0740]根据上述的构成,能简化限制双预测的对象预测单位中的解码处理。另外,由于进行单预测是预先确定的,因此能避免对表示进行双预测以及单预测的哪一者的信息进行解码这样的开销。
[0741]关于本发明的一形态所涉及的图像解码装置,优选地,上述双预测限制单元省略与双预测中的加权预测相关的信息的处理。
[0742]本发明的一形态所涉及的图像解码装置是按照将编码单位分割为I以上的数而得到的预测单位的每一个生成预测图像来还原图像的图像解码装置,具备:变更单元,其根据对作为解码的对象的上述预测单位即对象预测单位的邻近的解码完毕预测单位所分配的解码完毕参数,来变更相对于将作为解码对象的上述编码单位即对象编码单位向着上述预测单位进行分割的类型即分割类型与预测方式的多个组而建立对应的多个码。
[0743]生成预测图像的单位是以作为编码处理的单位的编码单位为基准而决定的。具体而言,将与编码单位相同的区域或对编码单位进行分割而得到的区域设为预测单位。
[0744]在上述的构成中,向上述预测单位的分割类型可以包含向正方形的分割以及向非正方形的分割。向正方形的分割是通过分割而得到的预测单位为正方形的情况。
[0745]例如,将正方形的编码单位四分割为4个正方形的情况符合该情况。另外,将与正方形的编码单位相同的尺寸的区域设为预测单位的非分割的情况也符合。非分割的情况下的分割类型一般表征为2NX2N。
[0746]向非正方形的分割是通过分割而得到的预测单位为非正方形的情况。例如,将编码单位的区域分割成大的长方形以及小的长方形的情况符合该情况。
[0747]另外,码是指,编码出的参数值的二进制(bin)串。二进制串既可以直接进行编码,也可以通过算术编码来进行编码。预测方式是画面间预测以及画面内预测的任一者。另外,预测方式以及分割类型的组例如有时还通过(画面内预测、非分割)、pred —type这样的参数值来表征。
[0748]另外,在上述的构成中,码与预测方式及分割类型的组呈一一对应关系。
[0749]根据上述的构成,根据解码完毕参数来变更上述对应关系。换言之,即使是相同的码,也根据解码完毕参数来变更表示是哪一种预测方式以及分割类型的组的解释。
[0750]故而,能对发生概率更高的预测方式以及分割类型的组来分配更短的码。
[0751]具体而言,在与对象编码单位相邻的编码单位是进行画面内预测的编码单位的情况下,对象编码单位也采用画面内预测的可能性变高。
[0752]由此,在这样的情况下,期望对包含画面内预测的组分配短的码。
[0753]根据上述的构成,根据分配给邻近的解码完毕预测单位的解码完毕参数,来对发生概率更高的预测方式以及分割类型的组分配更短的码,因此能使编码效率得以提高。
[0754]关于本发明的一形态所涉及的图像解码装置,优选地,上述变更单元,在上述对象编码单位的邻近的解码完毕编码单位中分配了画面内预测的预测方式时,将与包含画面内预测的预测方式在内的组建立对应的码变更为短的码。
[0755]根据上述的构成,在对象编码单位的邻近的解码完毕编码单位中分配了画面内预测的预测方式时,将与包含画面内预测的预测方式在内的组建立对应的码变更为短的码。
[0756]此外,邻近可以有多种情形,例如可列举将上相邻编码单位以及左相邻编码单位设为邻近。
[0757]在此情况下,在上相邻编码单位以及左相邻编码单位的任一者、或者两者中,分配画面内预测的预测方式即可。
[0758]在对象编码单位的邻近的解码完毕编码单位中分配了画面内预测的预测方式时,对象编码单位也被分配画面内预测的可能性高。
[0759]故而,能缩短与发生频度高的组建立对应的码,编码效率得以提高。
[0760]关于本发明的一形态所涉及的图像解码装置,优选地,在与上述对象编码单位相邻的解码完毕编码单位小于上述对象编码单位时,上述变更单元将与包含进行向相邻的方向的分割的分割类型在内的组建立对应的码变更为短的码。
[0761]根据上述的构成,在与上述对象编码单位相邻的解码完毕编码单位小于上述对象编码单位时,将与包含进行向相邻的方向的分割的分割类型在内的组建立对应的码变更为短的码。
[0762]在与上述对象编码单位相邻的解码完毕编码单位小于上述对象编码单位时,对于对象编码单位与相邻的解码完毕编码单位之间的边界,在垂直的方向上存在边沿的可能性高。即,对象编码单位在与上述解码完毕编码单位相邻的方向上出现边沿的情况多。
[0763]在这样的情况下,向相邻的方向的分割的分割类型变得容易选择。
[0764]故而,能缩短与发生频度高的组建立对应的码,编码效率得以提高。
[0765]本发明的一形态所涉及的图像解码装置是按照将编码单位分割为I以上的数而得到的预测单位的每一个,通过画面间预测的预测方式生成预测图像来还原图像的图像解码装置,具备:候选决定单元,其在成为解码的对象的上述预测单位即对象预测单位是从分配给该对象预测单位的邻近的区域的预测参数来进行该对象预测单位的预测参数的估计的预测单位的情况下,根据该对象预测单位的尺寸,来决定估计中所使用的区域的候选。
[0766]根据上述的构成,根据对象预测单位的尺寸,来决定所谓的跳过、合并中所使用区域的候选。或者,对应于解码出的差分运动矢量,来设定用在为了还原运动矢量而使用的估计运动矢量的导出中的区域的候选。
[0767]根据对象预测单位的尺寸,画面间预测的运动矢量的相关会变动。例如,在选择给定的尺寸以下的小的预测单位的区域中,目标的运动复杂的情况多,运动矢量的相关小。
[0768]由此,根据上述构成,例如能根据运动的复杂度来削减候选数。由此,能削减边侧信息,其结果,能使编码效率得以提高。
[0769]关于本发明的一形态所涉及的图像解码装置,优选地,上述候选决定单元使给定的尺寸以下的小的预测单位的上述候选的数量少于比该小的预测单位大的预测单位的上述候选的数量。
[0770]根据上述的构成,能使给定的尺寸以下的小的预测单位的上述候选的数量少于比该小的预测单位大的预测单位的上述候选的数量。
[0771]如上所述,在选择给定的尺寸以下的小的预测单位的区域中,目标的运动复杂的情况多,运动矢量的相关小。
[0772]故而,在上述那样的区域中,使候选数少而更能削减边侧信息,因此优选。
[0773]在本发明的一形态所涉及的图像解码装置中,优选地,上述候选决定单元在给定的尺寸以下的小的预测单位中,不将时间预测包含于上述候选。
[0774]根据上述的构成,在给定的尺寸以下的小的预测单位中,不将时间预测包含于上述候选。[0775]在小的预测单位被选择那样的运动复杂的区域中,用于时间预测的关联预测单位(collocated PU)与对象预测单位的相关小,因此时间预测被选择的可能性小。由此,在这样的区域中,优选不将时间预测包含于合并候选。
[0776]本发明的一形态所涉及的图像解码装置是按照将编码单位分割为I以上的数而得到的预测单位的每一个生成预测图像来还原图像的图像解码装置,向上述预测单位的分割类型包含向长方形的预测单位的分割,该图像解码装置具备:解码单元,其不使用上下文,而对在包含表示上述长方形是纵长以及横长的哪一者的码、以及表示上述长方形的种类的码在内的用于确定向上述长方形的预测单位的分割的码当中表示上述长方形的种类的码进行解码。
[0777]根据上述的构成,在向预测单位的分割类型为向长方形的预测单位的分割的情况下,不使用上下文而对表示长方形的种类的码进行解码。
[0778]长方形的种类,例如在分割类型为横长的长方形的分割的情况下,是2NXN、2NXnU、2NXnD 的 3 种类。
[0779]预测单位的分割按照不跨位于编码单位的区域内的边沿的方式来执行的情况多。在具有斜度的边沿位于区域内的情况下,有时不必连续选择同一长方形的种类。在这样的区域中,即使使用上下文来进行解码处理,也有编码效率不提高的情况。
[0780]反过来说,在这样的区域中,即使不利用上下文进行解码处理,也有编码效率不下降的情况。
[0781]根据上述的构成,在上述那样的区域中,能在维持编码效率的同时,谋求因不参考上下文所带来的处理的简化。
[0782]本发明的一形态所涉及的图像解码装置是按照将编码单位分割为I以上的数而得到的预测单位的每一个,通过画面间预测的预测方式生成预测图像来还原图像的图像解码装置,向上述预测单位的分割类型包含将编码单位分割为多个不同大小的预测单位的非对称分割或将编码单位分割为多个相同大小的预测单位的对称分割,该图像解码装置具备:估计单元,其在上述分割类型为非对称分割的情况下,通过与上述分割类型为对称分割的情况下不同的估计方法,来进行画面间预测的预测参数的估计。
[0783]根据上述的构成,在分割类型为非对称分割的情况下,通过与上述分割类型为对称分割的情况下不同的估计方法,来进行画面间预测的预测参数的估计。
[0784]选择了非对称分割的编码单位,在用于得到预测单位的分割中,被非对称地分割为:小的一方的预测单位、以及大的一方的预测单位。
[0785]另外,在选择非对称分割的编码单位中,沿长边方向横跨小的一方的预测单位的边沿存在的可能性高。
[0786]另外,存在边沿的区域被导出准确的运动矢量的可能性高。也就是,在分割类型为非对称分割的情况下、与在上述分割类型为对称分割的情况下,精度高的运动矢量被导出的区域是不同的。
[0787]由此,在分割类型为非对称分割的情况下、与上述分割类型为对称分割的情况下变更不同的估计方法,从而起到能通过与分割类型相应的优选的估计方法来进行画面间预测的预测参数的估计这样的效果。
[0788]本发明的一形态所涉及的图像解码装置是按照将编码单位分割为I以上的数而得到的预测单位的每一个来生成预测图像,而且按照将编码单位分割为I以上的数而得到的变换单位的每一个来解码预测残差,并通过对预测图像相加预测残差来还原图像的图像解码装置,向上述预测单位分割的分割类型包含将编码单位分割为多个不同大小的预测单位的非对称分割或将编码单位分割为多个相同大小的预测单位的对称分割,该图像解码装置具备:变换单位分割单元,其在成为解码的对象的上述编码单位即对象编码单位的分割类型为非对称分割时,根据上述对象编码单位中所含的预测单位的大小,来决定变换单位的分割方式。
[0789]根据上述的构成,在成为解码的对象的上述编码单位即对象编码单位的分割类型为非对称分割时,根据上述对象编码单位中所含的预测单位的大小,来决定变换单位的分割方式。
[0790]在应用非对称分割时,相对于在小的一方的预测单位中包含边沿的可能性高的情况,在大的一方的预测单位中包含边沿的可能性低。
[0791]在预测残差无方向性的情况下,作为变换单位的分割方式,较之于应用长方形的变换的情况,应用正方形的变换能效率更好地去除相关。
[0792]根据上述的构成,在分割类型为非对称分割时,能根据上述对象编码单位中所含的预测单位的大小来选择效率良好地去除相关那样的变换单位的分割方式。其结果,编码效率得以提闻。
[0793]本发明的一形态所涉及的图像解码装置是按照将编码单位分割为I以上的数而得到的预测单位的每一个来生成预测图像,并按照将编码单位分割为I以上的数而得到的变换单位的每一个来解码预测残差,且通过对预测图像相加预测残差来还原图像的图像解码装置中,向上述变换单位分割的分割方式包含正方形以及长方形的分割,该图像解码装置具备:分割单元,其在成为解码的对象的上述预测单位即对象预测单位的形状为正方形的情况下,通过长方形的分割方式来分割对象变换单位。
[0794]与区域内是否存在边沿,图像有无方向性无关地,存在选择正方形的预测单位的情况。例如,在存在许多横边沿的目标正在移动的情况下,在目标内,运动是一样的,因此选择正方形的预测单位。然而,在这样的情况下,期望在变换处理中应用沿横边沿的、在水平方向上长的形状的变换单位。
[0795]根据上述构成,在成为解码的对象的上述预测单位即对象预测单位的形状为正方形的情况下,通过长方形的分割方式来分割对象变换单位。
[0796]由此,在正方形的编码单位中,也能选择长方形的变换单位,故而能使针对上述那样的区域的编码效率得以提高。
[0797]关于本发明的一形态所涉及的图像解码装置,优选地,上述分割单元进而在给定的大小的编码单位中与分割深度2对应的变换单位的形状为正方形的情况下,在上述给定的大小的编码单位中,将与分割深度I对应的对象变换单位设为长方形。
[0798]根据上述的构成,在对象预测单位的形状为正方形的情况下,通过长方形的分割方式来分割对象变换单位。
[0799]若通过正方形的四叉树分割方式将变换单位递归式地分割2次,即,将分割深度提升至2,则得到16个正方形的变换单位。在此情况下,关于扫描顺序,递归式地应用z扫描。以往,在对象编码单位的分割类型为正方形的分割的情况下,应用了该分割方式。[0800]另一方面,在通过横长的四叉树分割方式来分割变换单位的情况下,在分割深度2,将各节点分割为正方形的变换单位。即,以分割深度为2,最终得到16个正方形的变换单位。在此情况下,关于扫描顺序,对16个正方形的变换单位应用光栅扫描。以往,在对象编码单位的分割类型为非正方形的分割的情况下,应用了该分割方式。
[0801]由此,在对象编码单位的分割类型为正方形的分割的情况下以及为非正方形的分害I]的情况下,扫描顺序不同。
[0802]与此相对,根据上述构成,在编码单位的分割类型为正方形的分割,即对象预测单位的形状为正方形的情况下,通过长方形的分割方式来分割对象变换单位。
[0803]故而,起到能使扫描顺序在为正方形的分割的情况下以及为非正方形的分割的情况下统一这样的效果。
[0804]本发明的一形态所涉及的图像解码装置是按照将编码单位分割为I以上的数而得到的预测单位的每一个来生成预测图像,而且按编码单位或作为分割出的编码单位而获取的变换单位的每一个来解码预测残差,并通过对预测图像相加预测残差来还原图像的图像解码装置,向上述预测单位分割的分割类型包含:作为向不同大小的预测单位的分割的向非对称形状的分割以及作为向相同大小的预测单位的分割的向对称形状的分割,该图像解码装置具备:系数解码单元,其在成为解码的对象的上述预测单位即对象预测单位的分割类型为向非对称形状的分割时,在通过该分割而得到的小的预测单位以及大的预测单位之间,参考不同的上下文来解码变换系数。
[0805]在通过非对称分割而得到的小的预测单位中,存在边沿的可能性高,变换系数易发生。与此相对,在大的预测单位中变换系数难以发生。对象变换单位在包含于小的预测单位的情况下和包含于大的预测单位的情况下,通过使用不同的上下文,能进行与各自的区域内中的变换系数的发生概率相应的可变长解码。
[0806]本发明的一形态所涉及的图像编码装置是按每个编码单位来编码用于还原图像的信息从而生成图像编码数据的图像编码装置,具备:编码单位,其针对对预测单位的尺寸与应用于编码单位的预测方式的组合所分配的码,对于对给定尺寸以下的尺寸的编码单位应用画面内预测的预测方式的组合,编码比分配给该组合以外的组合的码更短的码。
[0807]此外,具备与上述图像解码装置对应的构成的图像编码装置也落入本发明的范畴。根据如上所述构成的图像编码装置,能起到与本发明的一形态所涉及的图像解码装置同样的效果。
[0808](硬件的实现以及软件的实现)
[0809]另外,上述的运动图像解码装置I以及运动图像编码装置2的各块既可以通过形成于集成电路(IC芯片)上的逻辑电路而以硬件方式实现,也可以使用CPU (CentralProcessing Unit)而以软件方式实现。
[0810]在后者的情况下,上述各装置具备:对实现各功能的程序的命令进行执行的CPU、存放有上述程序的ROM (Read Only Memory)、展开上述程序的RAM (Random AccessMemory)、存放上述程序以及各种数据的存储器等的存储装置(记录介质)等。而且,本发明的目的还能通过将实现上述的功能的软件即上述各装置的控制程序的程序代码(执行形式程序、中间代码程序、源程序)按计算机可读的方式进行了记录的记录介质提供给上述各装置,并由该计算机(或CPU或MPU)读出记录介质中所记录的程序代码并加以执行,从而实现。
[0811]作为上述记录介质,例如能使用磁带或磁盒等的带类、包含软盘(注册商标)/硬盘等的磁盘或 CD —ROM (Compact Disc Read-Only Memory) / MO 盘(Magneto-Opticaldisc) / MD (Mini Disc) / DVD (Digital Versatile Disc) / CD — R (CD Recordable) /蓝光光盘(Blu-ray Disc:注册商标)等的光盘的盘类、IC卡(包括存储卡)/光卡等的卡类、掩模 ROM / EPROM (Erasable Programmable Read-Only Memory) / EEPROM (注册商标)(Electrically Erasable and Programmable Read-Only Memory) / 闪速 ROM 等的半导体存储器类、或者 PLD (Programmable logic device)或 FPGA (Field Programmable GateArray)等的逻辑电路类等。
[0812]另外,可以将上述各装置构成为能与通信网络连接,并经由通信网络来提供上述程序代码。该通信网络只要能传输程序代码即可,并不特别限定。例如,能利用互联网、内联网、夕卜联网、LAN (Local Area Network)>ISDN (Integrated Services Digital Network)、VAN (Value-Added Network)>CATV (Community Antenna television/Cable Television)通信网、虚拟专用网(Virtual Private Network)、电话线路网、移动通信网、卫星通信网等。另外,构成该通信网络的传输介质也只要是能传输程序代码的介质即可,并不限定于特定的构成或种类。例如,既可以以IEEE (Institute of Electrical and ElectronicEngineers) 1394、USB、电力线输送、电缆 TV 线路、电话线、ADSL (Asymmetric DigitalSubscriber Line)线路等的有线,也可以以 IrDA (Infrared Data Association)或遥控器那样的红外线、Bluetooth (注册商标)、IEEE802.11 无线、HDR (High Data Rate)、NFC(Near Field Communication)、DLNA (Digital Living Network Alliance)、便携式电话网、卫星线路、地面波数字网等的无线来进行利用。此外,本发明还能以将上述程序代码具现化为电子式的传输的嵌入至载波中的计算机数据信号的形态来予以实现。
[0813]本发明不限于上述的实施方式,能在权利要求所示的范围内进行各种变更。S卩,在权利要求所示的范围内对酌情变更后的技术手段进行组合而得到的实施方式也包含在本发明的技术的范围中。
[0814]工业实用性
[0815]本发明优选应用于对编码图像数据而得到的编码数据进行解码的图像解码装置、以及生成编码图像数据而得到的编码数据的图像编码装置。另外,能优选应用于由图像编码装置生成、且由图像解码装置参考的编码数据的数据结构。
[0816]标号说明
[0817]I 运动图像解码装置
[0818]10 解码模块
[0819]11 ⑶信息解码部
[0820]12 PU信息解码部
[0821]13 TU信息解码部
[0822]16 帧存储器
[0823]111 ⑶预测模式决定部
[0824]112 I3U尺寸决定部
[0825]121 运动补偿参数导出部(双预测限制单元、候选决定单元、估计单元)[0826]122 合并候选优先顺位信息存储部
[0827]123 参考帧设定信息存储部
[0828]131 TU分割设定部
[0829]132 变换系数还原部
[0830]1011 ⑶预测模式解码部(解码单元、变更单元)
[0831]1012 二值化信息存储部
[0832]1013 上下文存储部
[0833]1014 概率设定存储部
[0834]1021 运动信息解码部
[0835]1031 区域分割标志解码部
[0836]1032 判定信息解码部(系数解码单元)
[0837]1033 变换系数解码部(系数解码单元)
[0838]1311 对象区域设定部
[0839]1312 分割决定部
[0840]1313 分割区域设定部(变换单位分割单元、分割单元)
[0841]1314 变换尺寸决定信息存储部
[0842]2 运动图像编码装置
[0843]21 编码设定部
[0844]23 预测图像生成部
[0845]25 帧存储器
[0846]27 变换/量化部
[0847]29 编码数据生成部(编码单元)
【权利要求】
1.一种图像解码装置,按每个编码单位对图像编码数据进行解码来生成解码图像,其特征在于, 所述图像解码装置具备: 编码单位信息解码部,其解码对分割所述编码单位的分割类型进行指定的信息;以及算术解码部,其通过利用了上下文的算术解码或不利用上下文的算术解码,由所述图像编码数据解码二进制值, 在所述编码单位信息解码部对于将非对称的分割指定为所述分割类型的信息进行解码的情况下, 所述算术解码部根据所述二进制值的位置,切换所述利用了上下文的算术解码与所述不利用上下文的算术解码来进行解码。
2.根据权利要求1所述的图像解码装置,其特征在于, 在将所述编码单位的尺寸设为了 2NX2N像素的情况下, 所述分割类型至少包含:作为对称的分割的2NX2N像素、2NXN像素以及NX2N像素;以及 作为所述非对称的分割的2NXnU像素、2NXnD像素、nLX2N像素以及nRX2N像素。
3.根据权利要求1或2所述的图像解码装置,其特征在于, 在所述编码单位信息解码部对于将非对称的分割指定为所述分割类型的信息进行解码的情况下,` 所述算术解码部仅将一部分的二进制值通过所述不利用上下文的算术解码来进行解码。
4.根据权利要求3所述的图像解码装置,其特征在于, 所述一部分的二进制值至少包含对应于与所述非对称的分割相关的信息的二进制值。
5.一种图像解码装置,按每个编码单位对图像编码数据进行解码来生成解码图像,其特征在于, 所述图像解码装置具备: 编码单位信息解码部,其解码对分割所述编码单位的分割类型进行指定的信息;以及算术解码部,其通过利用了上下文的算术解码或不利用上下文的算术解码,由所述图像编码数据解码二进制值, 在所述编码单位信息解码部对于将长方形分割的种类指定为所述分割类型的信息进行解码的情况下, 所述算术解码部根据所述二进制值的位置,切换所述利用了上下文的算术解码与所述不利用上下文的算术解码来进行解码。
6.一种图像解码方法,按每个编码单位对图像编码数据进行解码来生成解码图像,其特征在于, 所述图像解码方法至少包含: 解码对分割所述编码单位的分割类型进行指定的信息的步骤;以及通过利用了上下文的算术解码或不利用上下文的算术解码,由所述图像编码数据解码二进制值的步骤, 在对于将非对称的分割指定为所述分割类型的信息进行解码的情况下,根据所述二进制值的位置,切换所述利用了上下文的算术解码与所述不利用上下文的算术解码来进行解码。
7.一种图像编码装置,按每个编码单位对用于还原图像的信息进行编码来生成图像编码数据,其特征在于, 所述图像编码装置具备:编码设定部,其编码对分割所述编码单位的分割类型进行指定的信息;以及 编码数据生成部,其通过利用了上下文的编码处理或不利用上下文的编码处理,来生成所述图像编码数据, 在对于将非对称的分割指定为所述分割类型的信息进行编码的情况下, 所述编码数据生成部切换所述利用了上下文的编码处理与所述不利用上下文的编码处理来生成所述图像编码数据。
8.一种图像解码装置,使用参考I个参考图像的单预测或参考2个参考图像的双预测作为画面间预测的预测方式来对预测单位内的图像进行解码,其特征在于, 所述图像解码装置具备:双预测限制单元,其在所述预测单位为给定的尺寸以下的预测单位的情况下,限制对该预·测单位进行所述双预测。
【文档编号】H04N19/122GK103858430SQ201280047289
【公开日】2014年6月11日 申请日期:2012年9月28日 优先权日:2011年9月29日
【发明者】山本智幸, 猪饲知宏, 八杉将伸 申请人:夏普株式会社
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1