图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编解码装置的制造方法

图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编解码装置的制造方法
【技术领域】
[0001 ] 本发明涉及图像编码方法及图像解码方法。
【背景技术】
[0002]目前的标准影像编码算法大部分是基于混合影像编码的。在混合影像编码方法中，为了达到希望的压缩增益，使用一些不同的可逆压缩方式和不可逆压缩方式。混合影像编码与ISO/IEC标准标准(MPEG — 1、MPEG 一 2及MPEG — 4等的MPEG — X标准标准)同样，是ITU — T标准标准(H.261及H.263等的H.26x标准标准)的基础。
[0003]最新的影像编码标准标准被称作H.264/MPEG — 4Advanced Video Co ding (AVC)。该标准由JVT(Joint CoVedeo Team)和ITU — T及ISO/IE CMPEG小组的合作组进行了标准化。
[0004]此外，以高分辨率的影像编码的效率改善为目的，由JCT - VC(JointCollaborative Team on Video Coding)研宄了称作 HEVC(High — Efficien cy VideoCoding)的影像编码标准标准。
[0005]现有技术文献
[0006]非专利文献
[0007]非专利文献1:“Wavefront Parallel Processing for HEVC Encoding an dDecoding，，by C.Gordonetal., n0.JCTVC — F274 — v2, from the Meetin g in Torino，July 2011
[0008]非专利文献2:“Tiles”by A.Fuldsethetal.，n0.JCTVC — F355 — vl, fr om theMeeting in Torino，July2011
[0009]非专利文献3:JCTVC — J1003_d7，“High efficiency video coding (HE VC) textspecificat1n draft 8，，of July 2012

【发明内容】

[0010]发明所要解决的问题
[0011]在这样的图像编码方法及图像解码方法中，希望在共同利用并行处理及依存切片(slice)的状况下能够提高效率性。
[0012]所以，本发明的目的是提供一种能够改善共同利用并行处理及依存切片时的效率性的图像编码方法或图像解码方法。
[0013]用于解决课题的手段
[0014]有关本发明的一方式的图像解码方法，对包含编码信号的比特流进行解码，所述编码信号是将图像分割为多个切片而编码后的信号，该多个切片的各个切片包含多个编码单位，所述图像解码方法包括将所述编码信号解码的解码步骤，所述多个切片分别是通常切片和依存切片中的某个，所述通常切片是该切片的切片头中包含的信息被用在另外的切片中的切片，所述依存切片是在解码中使用包含在另外的切片的切片头中的信息的切片，所述图像包括多个行，该多个行的各个行包含多个编码单位，在通常切片从第I行的开头以外开始的情况下，该第I行的接着的第2行不从依存切片开始。
[0015]另外，这些概括性或具体的方式也可以由系统、方法、集成电路、计算机程序或计算机可读取的CD - ROM等的记录媒体实现，也可以通过系统、方法、集成电路、计算机程序及记录媒体的任意的组合来实现。
[0016]发明效果
[0017]本发明能够提供一种能够改善共同利用并行处理及依存切片时的效率性的图像编码方法或图像解码方法。
【附图说明】
[0018]图1是有关实施方式的图像编码装置的块图。
[0019]图2是有关实施方式的图像解码装置的块图。
[0020]图3A是用来说明有关实施方式的WPP的概略图。
[0021]图3B是用来说明有关实施方式的WPP内的依存切片的概略图。
[0022]图4A是用来说明不使用有关实施方式的WPP的情况下的依存切片的概略图。
[0023]图4B是用来说明使用有关实施方式的WPP的情况下的依存切片的概略图。
[0024]图5是表示有关实施方式的熵切片或依存切片的切片头的图。
[0025]图6是表示有关实施方式的使用WPP的情况下的不被许可的切片构造的例子的图。
[0026]图7是表示有关实施方式的、使用WPP的情况下的被许可的切片构造的例子的图。
[0027]图8是表示有关实施方式的、CABAC的初始化过程的概略图。
[0028]图9是有关实施方式的、与先行切片的特征对应的依存切片的CABAC初始化方法的决定处理的流程图。
[0029]图10是表示有关实施方式的切片构造的一例的图。
[0030]图11是表不有关实施方式的切片构造的一例的图。
[0031]图12是表示有关实施方式I的切片头的语法例的图。
[0032]图13是表示有关实施方式I的依存切片的CABAC初始化方法的决定处理的流程图。
[0033]图14是表示有关实施方式2的、被分割为切片的图片的一例的图。
[0034]图15是表示有关实施方式2的CABAC初始化方法的决定处理的流程图。
[0035]图16是表不有关实施方式2的、被分割为切片的图片的一例的图。
[0036]图17A是表示有关实施方式2的不被许可的切片构造的例子的图。
[0037]图17B是表示有关实施方式2的被许可的切片构造的例子的图。
[0038]图17C是表示有关实施方式2的被许可的切片构造的例子的图。
[0039]图17D是表示有关实施方式2的被许可的切片构造的例子的图。
[0040]图18是表不有关实施方式2的被分割为切片的图片的一例的图。
[0041]图19是表不有关实施方式3的被分割为切片的图片的一例的图。
[0042]图20是实现内容分发服务的内容供给系统的整体结构图。
[0043]图21是数字广播用系统的整体结构图。
[0044]图22是表示电视机的结构例的模块图。
[0045]图23是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。
[0046]图24是表示作为光盘的记录介质的构造例的图。
[0047]图25A是表示便携电话的一例的图。
[0048]图25B是表示便携电话的结构例的模块图。
[0049]图26是表示复用数据的结构的图。
[0050]图27是示意地表示各流在复用数据中怎样被复用的图。
[0051 ]图28是更详细地表示在PES包序列中视频流怎样被保存的图。
[0052]图29是表示复用数据的TS包和源包的构造的图。
[0053]图30是表示PMT的数据结构的图。
[0054]图31是表示复用数据信息的内部结构的图。
[0055]图32是表示流属性信息的内部结构的图。
[0056]图33是表示识别影像数据的步骤的图。
[0057]图34是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的模块图。
[0058]图35是表示切换驱动频率的结构的图。
[0059]图36是表示识别影像数据、切换驱动频率的步骤的图。
[0060]图37是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。
[0061]图38A是表示将信号处理部的模块共用的结构的一例的图。
[0062]图38B是表示将信号处理部的模块共用的结构的另一例的图。
【具体实施方式】
[0063](作为本发明的基础的认识)
[0064]关于在“【背景技术】”栏中记载的图像编码方法及图像解码方法，本发明者发现会发生以下的问题。
[0065]首先，对HEVC的图像编码装置及图像解码装置进行说明。
[0066]向图像编码装置输入的影像信号包括多个分别被称作帧(图片)的图像。各帧包括被配置为二维阵列状的多个像素。在基于混合影像编码的上述全部的标准标准中，各个影像帧被分割为多个分别包含多个像素的块。该块的尺寸例如根据图像的内容而变更。此夕卜，可以按照每个块而使用不同的编码方法。例如，在HEVC中，该块的最大尺寸是64X64像素。该最大尺寸被称作最大编码单位(LCU)。LCU归纳地可以分割为4个编码单位(CU)。
[0067]在H.264/MPEG 一 4AVC中，以宏块(通常16 X 16像素的块)单位进行编码。该宏块有时也被分割为子块。
[0068]典型地，在混合影像编码的编码步骤中，包括空间及/或时间预测。即，使用在空间上相邻的块或在时间上相邻的块，即，使用已编码影像帧预测各编码对象块。接着，计算编码对象块与预测结果的差分即残差块。接着，将残差块从空间(像素)域向频率域变换。该变换的目的是使输入块的相关性下降。
[0069]接着，将通过变换得到的变换系数量化。该量化是不可逆压缩。此外，将得到的量化系数通过熵编码可逆压缩。此外，将为了将编码影像信号重构所需要的辅助信息编码，与编码影像信号一起输出。该信息例如是关于空间预测、时间预测或/及量化的信息。
[0070]图1是表示依据H.264/MPEG 一 4AVC及/或HEVC的图像编码装置100的一例的图。
[0071]减法器105计算作为输入图像信号101的编码对象块与对应的预测信号181 (预测块)的差分的残差信号106(残差块)。该预测信号181通过预测部180的时间预测或空间预测而生成。在预测中使用的预测类型有可能按照每个帧或按照每个块而变更。将使用时间预测预测的块及/或帧称作帧间编码，将使用空间预测预测的块及/或帧称作帧内编码。
[0072]使用时间预测的预测信号是使用保存在存储器中的已编码及已解码的图像而导出的。使用空间预测的预测信号是使用保存在存储器中的已编码及已解码的相邻块的边界像素值而导出的。此外，帧内预测方向的数量根据编码单位的尺寸而决定。
[0073]残差信号106也被称作预测误差或预测残差。变换部110通过将该残差信号106变换而生成变换系数111。量化部120通过将变换系数111量化而生成量化系数121。熵编码部190为了将保存的数据量进一步削减且可逆地发送，而将量化系数121熵编码。例如，熵编码是可变长编码。此外，代码字的长度基于发生概率而决定。
[0074]通过以上的处理生成编码信号191 (编码比特流)。
[0075]此外，图像编码装置100具有用来得到解码图像信号(重构图像信号)的解码部。具体而言，逆变部130通过将量化系数121逆量化及逆变换而生成残差信号131。该残差信号131通过也称作量化噪声的量化误差的影响，与原来的残差信号106严格地不同。
[0076]接着，加法器140通过将残差信号131与预测信号181相加而生成解码图像信号141。这样，为了保持图像编码装置与图像解码装置的互换性，在图像编码装置和图像解码装置的两者中，使用被编码、被解码后的图像信号生成预测信号181。
[0077]此外，通过量化，将量化噪声叠加到解码图像信号141中。由于进行块单位下的编码，所以叠加的噪声按照每个块而不同的情况较多。由此，特别是进行了较强的量化的情况下，解码图像信号的块边界变得醒目。这样的成块噪声在人的视觉识别中画质看起来劣化。为了将该成块噪声削减，解块滤波器150对解码图像信号141进行解块滤波处理。
[0078]例如，在H.264/MPEG 一 4AVC的解块滤波处理中，按照每个区域选择适合于该区域的滤波处理。例如，在成块噪声较大的情况下，使用较强的(窄频带)低通滤波器，在成块噪声较小的情况下，使用较弱的(宽频带)低通滤波器。该低通滤波器的强度根据预测信号181及残差信号131决定。通过该解块滤波处理将块的边缘平滑化。由此，解码图像信号的主观的画质改善。此外，将已滤波处理的图像用于下个图像的运动补偿预测。由此，通过该滤波处理将预测误差也削减，所以能够改善编码效率。
[0079]自适应的循环滤波器160通过对解块滤波处理后的解码图像信号151进行样本自适应偏移处理及/或自适应的循环滤波处理而生成解码图像信号161。如上述那样，解块滤波处理将主观的画质改善。另一方面，样本自适应偏移(Sample Adaptive Offset:SA0)处理及自适应的循环滤波器(A daptive loop filter:ALF)处理以像素单位的可靠性(客观的品质)的改善为目的。
[0080]SAO是根据接近像素对像素添加偏移值的处理。ALF用于补偿通过压缩产生的图像的畸变。例如，ALF是具有如下滤波系数的维纳滤波器，该滤波系数被决定为使解码图像信号151与输入图像信号101的均方差(MS E)最小化。例如，将ALF的系数以帧单位计算及发送。此外，ALF也可以对帧整体(图像)或局部区域(块)应用。此外，也可以将表示进行滤波处理的区域的辅助信息以块单位、帧单位或四叉树单位发送。
[0081]为了将帧间编码块解码，需要将被编码、被解码后的图像的一部分预先保存到参照帧缓冲器170中。参照帧缓冲器170保持解码图像信号161作为解码图像信号171。预测部180使用运动补偿预测进行帧间预测。具体而言，首先，运动推测器探索在已编码及已解码的影像帧中包含的块中与对象块最类似的块。使用该类似块作为预测信号181。将对象块与类似块之间的相对性的偏移(运动)作为运动数据向图像解码装置发送。该运动数据例如是在与编码影像数据一起提供的辅助信息中包含的三维的运动矢量。这里，所谓三维包括空间二维和时间一维。
[0082]另外，为了使预测精度最优化，也可以使用1/2像素分辨率或1/4像素分辨率等的空间子像素分辨率的运动矢量。空间子像素分辨率的运动矢量表示不存在实际存在的像素值的、解码帧内的空间的位置，即子像素的位置。由此，为了进行运动补偿预测，需要像素值的空间插补。该插补处理例如由插补滤波器(包含在图1所示的预测部180中)实现。
[0083]在帧内编码模式及帧间编码模式的两者中，通过将作为输入图像信号101与预测信号181的差分的残差信号106变换及量化，生成量化系数121。一般而言，变换部110在该变换中使用二维离散余弦变换(DCT)或其整数版等的正交变换。由此能够有效率地削减自然影像的相关。此外，一般低频成分比高频成分对画质而言更重要，所以与高频成分相比，由低频成分使用更多的位。
[0084]熵编码部190将二维矩阵的量化系数121变换为一维矩阵。典型地，使用所谓的锯齿形扫描。在锯齿形扫描中，从处于二维矩阵的左上角的DC系数到处于右下角的AC系数，以规定的顺序将二维矩阵扫描。通常，能量集中在与低频相应的二维阵列的系数的左上部分，所以如果进行锯齿形扫描，则后半的值有成为零的趋势。由此，通过作为熵编码的一部分或其前处理而使用行程编码，能够实现有效率的编码。
[0085]在H.264/MPEG 一 4AVC及HEVC中，使用多个种类的熵编码。在语法要素中也有以固定长编码的要素，但几乎全部的语法要素被可变长编码。特别是，在预测残差的编码中使用上下文自适应可变长代码，在其他语法要素的编码中使用其他各种各样的整数代码。此夕卜，也有使用上下文自适应算术编码(CABAC)的情况。
[0086]通过可变长代码，能够将已编码比特流可逆压缩。但是，由于代码字是可变长，所以必须将代码字连续解码。即，不将熵编码重启动(初始化)、或不将解码时的最初的代码字(开始点)的位置单独表示，在将先行的代码字编码或解码之前不能将之后的代码字编码或解码。
[0087]通过基于规定的概率模型的算术编码，将比特串编码为I个代码字。规定的概率模型根据CABAC的情况下的影像序列的内容决定。由此，编码对象的比特流的长度越长，越有效率地进行算术编码及CABAC。S卩，对比特串使用的CABAC可以说在更大的块中更有效率。在各序列的开头将C ABAC重启动。即，在各影像序列的开头将概率模型用既定值或规定值初始化。
[0088]H.264/MPEG 一 4、H.264/MPEG 一 4AVC 及 HEVC 具有视频编码层(V CL)及网络抽象化层(NAL)的两个功能层。通过视频编码层提供编码功能。NAL根据跨越通道的发送及向存储装置的保存等的用途而将信息要素封装(capsale)为称作NAL单元的标准单位。该信息要素例如是编码预测误差信号及影像信号的解码所需要的信息。影像信号的解码所需要的信息，是预测类型、量化参数及运动矢量等。
[0089]在NAL单元中，有包含压缩影像数据和关联信息的VCL NAL单元、将与影像序列整体关联的参数集等的追加数据封装的non - VCL单元、和用来提供能够用于改善解码精度的追加信息的附加扩展信息(SEI)。
[0090]例如，在non— VCL单元中包含参数集。所谓参数集，是关于一定的影像序列的编码及解码的多个参数的集合。例如，在参数集中，有包含与影像序列(图片序列)整体的编码及解码关联的参数的序列参数集(SPS)。
[0091]序列参数集具有包含语法要素的语法构造。通过作为包含在各个切片头中的语法要素的pic_parameter_set_id，指定参照目标的图片参数集(PP S)。此外，通过作为包含在PPS中的语法要素的seq_parameter_set_id，指定参照目标的SPS。这样，将包含在SPS中的语法要素对编码影像序列整体采用。
[0092]PPS是定义了在包含在影像序列中的I张图片的编码及解码中使用的参数的参数集。PPS具有包含语法要素的语法构造。通过作为包含在各个切片头中的语法要素的pic_parameter_set_id，指定参照目标的图片参数集(PPS)。这样，将包含在SPS中的语法要素对编码图片整体应用。
[0093]由此，相比PPS，继续SPS的跟踪更容易。这是因为，PPS对于各图片变化，相对于此，SPS对于有可能达到几分钟或几小时的影像序列整体是一定的。
[0094]VPS是最上位层级的参数，包含关于多个影像序列的信息。包含在VP S中的信息是比特率及影像序列的temporal_layering构造等。此外，VPS包含关于层间的依存性(不同影像序列间的依存性)的信息。由此，VPS能够看作关于多个影像序列的信息，通过VPS，知道各影像序列的概要。
[0095]图2是表示依据H.264/MPEG 一 4AVC或HEVC影像编码标准的图像解码装置200的一例的块图。
[0096]将输入到图像解码装置200中的编码信号201(比特流)向熵解码部290发送。熵解码部290通过将编码信号201解码，取得量化系数和运动数据及预测模式等的解码所需要的信息要素。此外，熵解码部290通过将得到的量化系数以得到二维阵列的目的进行逆扫描而生成量化系数291，将量化系数291向逆变部230输出。
[0097]逆变部230通过将量化系数291逆量化及逆变换而生成残差信号231。残差信号231相当于从没有量化噪声、不发生误差的输入到图像编码装置中的输入图像信号减去预测信号而得到的差分。
[0098]预测部280使用时间预测或空间预测生成预测信号281。通常，已解码信息要素还在帧内预测的情况下包括预测类型等预测所需要的信息，此外，在运动补偿预测的情况下包括运动数据等的预测所需要的信息。
[0099]加法器240通过将空间域的残差信号231与由预测部280生成的预测信号281相加而生成解码图像信号241。解块滤波器250通过对解码图像信号241进行解块滤波处理而生成解码图像信号251。自适应的循环滤波器260通过对解码图像信号251进行样本自适应偏移处理及自适应的循环滤波处理而生成解码图像信号261。该解码图像信号261被作为显示图像输出并作为解码图像信号271向参照帧缓冲器270保存。解码图像信号271被用于后续的块或图像的时间或空间预测。
[0100]与H.264/MPEG 一 4AVC相比，HEVC具有辅助编码及解码的高度的并行处理的功能。与H.264/MPEG 一 4AVC同样，在HEVC中能够将帧分割为多个切片。这里，各个切片包括以扫描顺序连续的多个IXU。在H.264/MPEG 一 4AVC中，切片能够分别单独地解码，不进行跨切片的空间预测。由此，能够以切片单位进行并行处理。
[0101]但是，由于切片具有相当大的头，此外在切片间没有依存性，所以压缩的效率下降。此外，CABAC编码在对较小的数据块进行的情况下效率性受损。
[0102]对此，为了能够进行更有效率的并行处理，提出了波面并行处理(WP P) ο在WPP中，作为在图片的各LCU行(以下，也单称作“行”)的第I个LCU(开头的LCU)的复位中使用的CABAC概率模型，使用前行的第2个LCU的处理后的概率模型。由此，维持块间的依存性。由此，能够进行多个LCU行的并行解码。此外，各行的处理相对于前行延迟了两个LCU0
[0103]此外，将表示作为开始LCU行的解码的位置的开始点的信息包含在切片头中而进行信号传递。另外，关于WPP的详细情况，记载在非专利文献I