本发明涉及图像编码方法及图像解码方法。
背景技术：
目前的标准性的影像编码算法大多基于混合影像编码。在混合影像编 码方法中，为达成期望的压缩增益，使用若干不同的可逆压缩方式和不可 逆压缩方式。混合影像编码与ISO/IEC标准(MPEG-1、MPEG-2及MPEG-4等 MPEG-X标准)同样，是ITU-T标准(H.261及H.263等H.26x标准)的基 础。
最新的影像编码标准被称为H.264/MPEG-4高级视频编码(Advanced V ideo Coding(AVC))。该标准由JVT(Joint CoVedeo Team)和ITU-T及I SO/IEC MPEG组的共同团队标准化。
此外，为了改善高析像度的影像编码的效率，正由JCT-VC(Joint Co llaborative Team on Video Coding)研究被称为HEVC(High-Efficienc y Video Coding)的影像编码标准。
现有技术文献
非专利文献
非专利文献1：“Wavefront Parallel Processing for HEVC Encodin g and Decoding”by C.Gordonetal.，no.JCTVC-F274-v2，from the Meet ing in Torino，July 2011
非专利文献2：“Tiles”by A.Fuldseth et al.，no.JCTVC-F355-v1， from the Meeting in Torino，July 2011
非专利文献3：JCTVC-J1003_d7，“High efficiency video coding(H EVC)text specification draft 8”of July 2012
技术实现要素：
发明所要解决的课题
在这样的图像编码方法及图像解码方法中，在同时利用并行瓦片处理及依存切片的状况下，希望能够提高效率。
因此，本发明的目的在于，提供一种图像编码方法或图像解码方法，能够改善同时利用并行瓦片处理及依存切片时的效率。
解决课题所采用的手段
本发明的一个方式的图像解码方法，对包含将图像分割为多个瓦片(tile)并且分割为多个切片(slice)而编码得到的编码信号的比特流进行解码，该图像解码方法包括对所述编码信号进行解码的解码步骤，所述多个切片中的各个切片是该切片的切片头中包含的信息被用于其他切片的通常切片、以及在解码中使用其他切片的切片头中包含的信息的依存切片中的某一个，在通常切片从第1瓦片的开头以外开始的情况下，该第1瓦片的下一个被编码的第2瓦片不从依存切片开始。
另外，这些整体或具体的方式可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意组合来实现。
发明效果
本发明能够提供一种图像编码方法或图像解码方法，能够提高同时利用并行瓦片处理及依存切片时的效率。
附图说明
图1是实施方式的图像编码装置的框图。
图2是实施方式的图像解码装置的框图。
图3A是用于说明实施方式的WPP的概略图。
图3B是用于说明实施方式的WPP内的依存切片的概略图。
图4A是用于说明不使用实施方式的WPP的情况的依存切片的概略图。
图4B是用于说明使用实施方式的WPP的情况的依存切片的概略图。
图5是表示实施方式的熵切片或依存切片的切片头的图。
图6是表示使用实施方式的WPP的情况的、不被许可的切片构造的例子的图。
图7是表示使用实施方式的WPP的情况的、被许可的切片构造的例子的图。
图8是表示实施方式的CABAC的初始化过程的概略图。
图9是表示实施方式的与在先切片的特征对应的依存切片的CABAC初始化方法的决定处理的流程图。
图10是表示实施方式的切片构造的一例的图。
图11是表示实施方式的切片构造的一例的图。
图12是表示实施方式1的切片头的句法例的图。
图13是表示实施方式1的依存切片的CABAC初始化方法的决定处理的流程图。
图14是表示实施方式2的被分割为切片的图片的一例的图。
图15是实施方式2的CABAC初始化方法的决定处理的流程图。
图16是表示实施方式2的被分割为切片的图片的一例的图。
图17是表示实施方式2的被分割为切片的图片的一例的图。
图18是表示实施方式3的被分割为切片的图片的一例的图。
图19是表示实施方式4的切片头的图。
图20是表示实施方式4的被分割为瓦片的图片的一例的图。
图21A是表示实施方式4的扫描顺序的图。
图21B是表示实施方式4的扫描顺序的图。
图22A是表示实施方式4的瓦片和切片的关系的图。
图22B是表示实施方式4的瓦片和切片的关系的图。
图22C是表示实施方式4的瓦片和切片的关系的图。
图23是表示实施方式4的图片向瓦片及切片的分割例的图。
图24是表示实施方式4的被分割为瓦片的图片的解码顺序的图。
图25A是表示实施方式4的不被许可的切片构造的例子的图。
图25B是表示实施方式4的被许可的切片构造的例子的图。
图25C是表示实施方式4的被许可的切片构造的例子的图。
图26A是表示实施方式4的不被许可的切片构造的例子的图。
图26B是表示实施方式4的被许可的切片构造的例子的图。
图27A是表示实施方式4的不被许可的切片构造的例子的图。
图27B是表示实施方式4的被许可的切片构造的例子的图。
图28是实现内容分发服务的内容供给系统的整体结构图。
图29是数字广播用系统的整体结构图。
图30是表示电视机的结构例的模块图。
图31是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。
图32是表示作为光盘的记录介质的构造例的图。
图33A是表示便携电话的一例的图。
图33B是表示便携电话的结构例的模块图。
图34是表示复用数据的结构的图。
图35是示意地表示各流在复用数据中怎样被复用的图。
图36是更详细地表示在PES包序列中视频流怎样被保存的图。
图37是表示复用数据的TS包和源包的构造的图。
图38是表示PMT的数据结构的图。
图39是表示复用数据信息的内部结构的图。
图40是表示流属性信息的内部结构的图。
图41是表示识别影像数据的步骤的图。
图42是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的模块图。
图43是表示切换驱动频率的结构的图。
图44是表示识别影像数据、切换驱动频率的步骤的图。
图45是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。
图46A是表示将信号处理部的模块共用的结构的一例的图。
图46B是表示将信号处理部的模块共用的结构的另一例的图。
具体实施方式
(成为本发明的基础的见解)
本发明人发现“背景技术”栏中记载的图像编码方法及图像解码方法发生了以下的问题。
首先说明HEVC中的图像编码装置及图像解码装置。
向图像编码装置输入的影像信号包含分别被称为帧(图片)的多个图像。各帧包含配置为二维矩阵状的多个像素。在基于混合影像编码的上述全部标准中，各个影像帧被分割为分别包含多个像素的多个块。该块的尺寸例如根据图像的内容而变更。此外，能够使用按每个块不同的编码方法。例如，在HEVC中，该块的最大尺寸为64×64像素。该最大尺寸被称为最大编码单位(LCU)。LCU能够归纳地分割为4个编码单位(CU)。
在H.264/MPEG-4 AVC中，以宏块(通常16×16像素的块)为单位进行编码。该宏块有时也被分割为子块。
在混合影像编码中的编码步骤中，典型地包含空间及/或时间预测。也就是说，使用空间上相邻的块或时间上相邻的块、即使用已编码影像帧来预测各编码对象块。接着，计算编码对象块和预测结果的差分、即残差块。接着，残差块被从空间(像素)域变换到频率域。该变换的目的是降低输入块的相关性。
接着，将通过变换得到的变换系数量化。该量化是不可逆压缩。此外，得到的量化系数通过熵编码被可逆压缩。此外，将为了重构编码影像信号所需的辅助信息编码，与编码影像信号一起输出。该信息例如是与空间预测、时间预测、或/及量化有关的信息。
图1是表示依照H.264/MPEG-4 AVC及/或HEVC的图像编码装置100的一例的图。
减法器105计算输入图像信号101的编码对象块和对应的预测信号181(预测块)的差分、即残差信号106(残差块)。该预测信号181通过预测部180的时间预测或空间预测而生成。预测中使用的预测类型有可能按每个帧或每个块变更。使用时间预测进行预测的块及/或帧被称为帧间编码，使用空间预测进行预测的块及/或帧被称为帧内编码。
使用时间预测的预测信号使用存储器中存放的已编码及已解码的图像来导出。使用空间预测的预测信号使用存储器中存放的已编码及已解码的相邻块的边界像素值来导出。此外，帧内预测方向的个数根据编码单位的尺寸来决定。
残差信号106也被称为预测误差或预测残差。变换部110通过对该残差信号106进行变换，生成变换系数111。量化部120通过对变换系数111进行量化，生成量化系数121。为了进一步削减存放的数据量，并且可逆地发送，熵编码部190对量化系数121进行熵编码。例如，熵编码是可变长度编码。此外，码字的长度基于发生概率来决定。
通过以上的处理，生成编码信号191(编码比特流)。
此外，图像编码装置100具有用于得到解码图像信号(重构图像信号)的解码部。具体地说，逆变换部130通过对量化系数121进行逆量化及逆变换，生成残差信号131。该残差信号131受到被称为量化噪声的量化误差的影响，严格地说与原来的残差信号106不同。
接着，加法器140通过将残差信号131和预测信号181相加，生成解码图像信号141。这样，为了确保图像编码装置和图像解码装置的兼容性，在图像编码装置和图像解码装置的双方中，使用被编码并解码后的图像信号生成预测信号181。
此外，由于量化，在解码图像信号141中重叠有量化噪声。由于以块为单位进行编码，所以重叠的噪声多按每个块而不同。由此，特别是进行强的量化的情况下，解码图像信号的块边界变得明显。这样的分块(blocking)噪声在人类的视觉认识中看起来像画质劣化。为了削减该分块噪声，解块滤波器150对解码图像信号141进行解块(deblocking)滤波处理。
例如，在H.264/MPEG-4 AVC中的解块滤波处理中，按每个区域选择与该区域相应的滤波处理。例如，分块噪声较大的情况下，使用强的(窄带)低通滤波器，分块噪声较小的情况下，使用弱的(宽带)低通滤波器。该低通滤波器的强度根据预测信号181及残差信号131来决定。通过该解块滤波处理，块的边缘平滑化。由此，解码图像信号的主观画质改善。此外，滤波处理后的图像在下一图像的运动补偿预测中被使用。因此，通过该滤波处理也削减了预测误差，所以能够改善编码效率。
自适应环路滤波器160对解块滤波处理后的解码图像信号151进行取样自适应偏移(offset)处理及/或自适应环路滤波处理，从而生成解码图像信号161。如上述那样，解块滤波处理改善主观画质。另一方面，取样自适应偏移(Sample Adaptive Offset：SAO)处理及自适应环路滤波器(Ad aptive loop filter：ALF)处理的目的在于改善像素单位的可靠性(客观品质)。
SAO是根据接近像素对像素赋予偏移值的处理。ALF用来补偿因压缩而产生的图像的失真。例如，ALF是维纳滤波器，将滤波系数决定为使得解码图像信号151和输入图像信号101的均方误差(MSE)最小化。例如，ALF的系数以帧为单位来进行计算及发送。此外，ALF也可以应用于帧整体(图像)或局部区域(块)。此外，表示进行滤波处理的区域的辅助信息也可以按照块单位、帧单位、或四叉树(四元树)单位来发送。
为了对帧间编码块进行解码，需要将被编码并解码的图像的一部分预先存放到参照帧缓存170中。参照帧缓存170将解码图像信号161作为解码图像信号171保持。预测部180使用运动补偿预测进行帧间预测。具体地说，首先，运动推测器在已编码及解码的影像帧所包含的块中，检索与对象块最类似的块。该类似块作为预测信号181使用。对象块和类似块之间的相对偏移(运动)作为运动数据被发送给图像解码装置。该运动数据例如是和编码影像数据一起提供的辅助信息中包含的三维运动矢量。在此，三维包括空间二维和时间一维。
另外，为了使预测精度优化，可以使用1/2像素析像度或1/4像素析像度等的空间子像素析像度的运动矢量。空间子像素析像度的运动矢量表示不存在实际的像素值的、解码帧内的空间的位置，即子像素的位置。因此，为了进行运动补偿预测，需要进行像素值的空间插值。该插值处理例如通过插值滤波器(包含在图1所示的预测部180中)来达成。
在帧内编码模式及帧间编码模式的双方中，通过对输入图像信号101和预测信号181的差分、即残差信号106进行变换及量化，生成量化系数121。一般来说，变换部110在该变换中使用二维离散余弦变换(DCT)或其整数版等的正交变换。由此，能够有效削减自然影像的相关。此外，对于画质来说，与高频成分相比通常低频成分更重要，所以与高频成分相比，由低频成分使用更多的比特。
熵编码部190将二维排列的量化系数121变换为一维排列。典型地使用所谓的锯齿扫描。在锯齿扫描中，按照规定的顺序从位于二维排列的左上角的DC系数到位于右下角的AC系数对二维排列进行扫描。通常，能量集中在与低频相当的二维矩阵的系数的左上部分，所以进行锯齿波扫描时，存在后半的值成为零的倾向。由此，作为熵编码的一部分或或熵编码的前处理，通过使用行程长度码，能够实现高效的编码。
在H.264/MPEG-4 AVC及HEVC中，使用多种熵编码。虽然在句法要素中有的以固定长度进行编码，但是大部分句法要素被进行可变长度编码。特别是，在预测残差的编码中使用上下文自适应可变长度码，在其他句法要素的编码中使用其他的各种整数符号。此外，有时也使用上下文自适应算术编码(CABAC)。
通过可变长度码，能够将已编码比特流可逆压缩。但是，由于码字是可变长度，所以必须将码字连续地解码。即，若不将熵编码重新开始(初始化)，或者不单独地表示解码时的最初的码字(开始点)的位置，则无法在对在先的码字进行编码或解码之前，将后面的码字编码或解码。
通过基于规定的概率模型的算术编码，将比特串编码为1个码字。规定的概率模型根据CABAC的情况下的影像序列的内容来决定。因此，编码对象的比特流的长度越长，则算术编码及CABAC更有效地进行。即，可以说应用于比特串的CABAC在更大的块中更有效率。在各序列的开头，CABAC重新开始。即，在各影像序列的开头将概率模型以既定值或规定值初始化。
H.264/MPEG-4、H.264/MPEG-4 AVC及HEVC具有视频编码层(VCL)及网络抽象化层(NAL)这2个功能层。通过视频编码层提供编码功能。NAL根据跨信道的发送和向存储装置的存放等用途，将信息要素封装到被称为NAL单元的标准单位。该信息要素例如是编码预测误差信号及影像信号的解码所需的信息。影像信号的解码所需的信息指的是预测类型、量化参数及运动矢量等。
在NAL单元中，有包含压缩影像数据和关联信息的VCL NAL单元、将与影像序列整体相关联的参数集等追加数据封装的non-VCL单元、以及用于提供能够用来改善解码精度的追加信息的附加扩展信息(SEI)。
例如，在non-VCL单元中包含参数集。参数集指的是与一定的影像序列的编码及解码有关的多个参数的集合。例如，在参数集中，有包含与影像序列(图片序列)整体的编码及解码相关联的参数的序列参数集(SPS)。
序列参数集具有包含句法要素的句法构造。通过各切片头中包含的句法要素、即pic_parameter_set_id，指定参照目的地的图片参数集(PPS)。此外，通过PPS中包含的句法要素、即seq_parameter_set_id，指定参照目的地的SPS。像这样，SPS中包含的句法要素应用于编码影像序列整体。
PPS是定义了影像序列中包含的1张图片的编码及解码中应用的参数的参数集。PPS具有包含句法要素的句法构造。通过各切片头中包含的句法要素、即pic_parameter_set_id，指定参照目的地的图片参数集(PPS)。像这样，SPS中包含的句法要素应用于编码图片整体。
因此，与PPS相比，持续跟踪SPS更加容易。这是因为，PPS相对于各图片变化，而SPS相对于可能长达数分钟或数小时的某影像序列整体是一定的。
VPS是最上位层的参数，包含与多个影像序列相关的信息。VPS中包含的信息是比特速率及影像序列的temporal_layering构造等。此外，VPS包含与层间的依存性(不同影像序列间的依存性)有关的信息。因此，VPS可以看做与多个影像序列有关的信息，通过VPS可以知道各影像序列的概要。
图2是表示依照于H.264/MPEG-4 AVC或HEVC影像编码标准的图像解码装置200的一例的框图。
输入到图像解码装置200的编码信号201(比特流)被发送到熵解码部290。熵解码部290通过对编码信号201进行解码，取得量化系数、以及运动数据及预测模式等的解码所需的信息要素。此外，熵解码部290为了得到二维矩阵而对得到的量化系数进行逆扫描，从而生成量化系数291，并将量化系数291输出到逆变换部230。
逆变换部230通过对量化系数291进行逆量化及逆变换，生成残差信号231。残差信号231相当于从没有量化噪声且不产生误差的被输入到图像编码装置的输入图像信号减去预测信号而得到的差分。
预测部280使用时间预测或空间预测来生成预测信号281。通常，已解码信息要素在帧内预测的情况下还包含预测类型等的预测所需的信息，此外，在运动补偿预测的情况下，还包含运动数据等的预测所需的信息。
加法器240通过将空间域中的残差信号231和由预测部280生成的预测信号281相加，生成解码图像信号241。解块滤波器250通过对解码图像信号241进行解块滤波处理，生成解码图像信号251。自适应环路滤波器2 60通过对解码图像信号251进行取样自适应偏移处理及自适应环路滤波处理，生成解码图像信号261。该解码图像信号261作为显示图像输出，并且作为解码图像信号271存放到参照帧缓存270。解码图像信号271在后续的块或图像的时间或空间预测中使用。
与H.264/MPEG-4 AVC相比，HEVC具有对编码及解码的高度的并行处理进行辅助的功能。与H.264/MPEG-4 AVC同样，在HEVC中，能够将帧分割为多个切片。在此，各切片包含按扫描顺序连续的多个LCU。在H.264/MPEG-4 AVC中，切片能够分别单独地解码，不进行跨切片的空间预测。因此，能够以切片单位进行并行处理。
但是，切片具有很大的头，而且在切片间不存在依存性，因此压缩的效率下降。此外，CABAC编码在对小的数据块进行的情况下，效率会降低。
对此，为了更有效地进行并行处理，提出了波面并行处理(WPP)。在WPP中，作为图片的各LCU行(以下简称为“行”)的第1个LCU(开头的LCU)的复位所使用的CABAC概率模型，使用前一行的第2个LCU的处理后的概率模型。由此，维持块间的依存性。因此，能够进行多个LCU行的并行解码。此外，各行的处理相对于前一行延迟2个LCU量。
此外，表示开始LCU行的解码的位置、即开始点的信息包含在切片头中进行信号传送。另外，关于WPP的详细情况，在非专利文献1中记载。
作为用于改善并行化的另一手法，有使用瓦片的方法。帧(图片)被分割为多个瓦片。各瓦片是长方形，包含多个LCU。瓦片间的边界被设定为将图片分割为矩阵状。此外，多个瓦片按照光栅扫描顺序处理。
此外，在各瓦片的边界失去所有的依存性。CABAC等的熵编码也在各瓦片的开头被复位。另外，仅解块滤波处理和取样自适应偏移处理跨瓦片间的边界而应用。由此，能够将多个瓦片并行地编码或解码。另外，关于瓦片的详细情况，在非专利文献2及非专利文献3中记载。
此外，为了与H.264/MPEG-4 AVC中的切片的本来目的、即容错性相比，为了使切片的概念成为更适于并行化的概念，提出了依存切片及熵切片的概念。即，在HEVC中，使用通常切片、依存切片及熵切片这3种切片。
通常切片是通过H.264/MPEG-4 AVC而周知的切片。在通常切片间无法进行空间预测。即，无法进行跨切片间的边界的预测。换言之，通常切片被不参照其他切片地编码。CABAC在各切片的开头重新开始，以分别进行这样的切片的解码。
此外，在帧的开头使用通常切片。即，各帧必须从通常切片开始。通常切片具有包含切片数据的解码所需的参数的头。
熵切片是能够在父切片和熵切片之间进行空间预测的切片。在此，父切片指的是，例如熵切片的紧前的通常切片。父切片及熵切片的解析独立地进行。
此外，切片数据的解析除了切片头的句法要素之外，在父切片与熵切片中独立地进行。即，在熵切片的CABAC解码处理中，父切片的切片头中包含的句法要素是必要的。例如，该句法要素包含表示切片数据是否包含滤波参数的切换信息。切片数据中存在滤波参数的情况下，CABAC解码部提取该信息。不存在的情况下，CABAC解码部不设想滤波数据。即，在解析通常切片的切片头后，CABAC解码部能够将父切片和熵切片并行地进行处理。
但是，父切片例如可以是通常切片，在熵切片的像素值的重构中是必要的。此外，CABAC也在切片的开头重新开始，以便能够对熵切片进行独立解析。
熵切片可以使用比通常切片的切片头更短的切片头。在切片头中包含与在通常切片的头内发送的信息有关的编码参数子集。熵切片的头中不包含的信息从父切片的头拷贝。
依存切片与CABAC不重新开始的熵切片类似。CABAC的重新开始包括：将上下文表(概率表)初始化为默认值的处理、以及算术编码处理或算术解码处理中的末端(terminate)处理。
父切片的头在依存切片的解析及/或解码中使用。因此，没有父切片就无法将依存切片解析，所以在未取得父切片的情况下，无法将依存切片解码。父切片通常在编码顺序中是依存切片的在先切片，是包含完全的切片头的切片。这一情况在熵切片的父切片中也是同样的。
一般来说，可以认为熵切片依存于其他切片的头参数，所以能够对依存切片及熵切片的双方应用本发明。
如以上那样，依存切片及熵切片使用切片的编码顺序的紧前的切片的切片头(依存切片的头中不包含的信息)。该规则归纳地使用。对象依存切片所依存的父切片被识别为可参照。在参照中，利用切片间的空间预测及共通CABAC状态等。依存切片使用由紧前的切片的末端生成的CABAC上下文表。这样，依存切片不将CABAC表初始化为默认值，继续利用已制作的表。此外，关于熵切片及依存切片，在非专利文献3中记载(例如参照第73页的“dependent_slice_flag”等)。
使用WPP的情况下，在依存切片在LCU行的开头开始、并且示出了能够参照包含该开头的LCU的右上的LCU的切片时，依存切片使用右上的LCU的CABAC上下文表。
HEVC提示若干个档次(profile)。档次包含适于特定应用的图像编码装置及图像解码装置的设定。例如，“主要档次”仅包含通常切片及依存切片，不包含熵切片。
如上述那样，编码切片被封装为NAL单元，进而被封装为例如实时协议(RTP)，最终被封装为因特网协议(IP)包。通过该协议栈或其他协议栈，在因特网或固有网络等的包指向型网络中能够发送编码影像。
典型地，网络至少包含1个以上路由器，路由器由超高速动作的专用硬件构成。路由器具有接收IP包并对IP包的头进行解析、适当地将IP包转发到各自的发送目的地的功能。路由器需要对来自多个源的通信进行处理，所以控制逻辑的包必须尽量简单。路由器至少决定转发IP包的路径，所以需要确认IP头中包含的发送目的地地址字段。为了更好地提供对于服务品质(QoS)的支持，智能(媒体感知)路由器追加地确认IP头、RTP头、及NALU头等的网络·协议头中的专用字段。
从与影像编码有关的上述记载可知，依存切片及熵切片等为了并行处理而定义的不同类型的切片，对于数据缺失时的画质下降的重要性不同。没有父切片就无法对依存切片进行解析及解码。这是因为，无法在依存切片的开头将熵编码部或熵解码部重新开始。因此，在将图像或影像重构方面，父切片更加重要。
在HEVC中，依存切片及熵切片加入切片间的依存性(帧内的依存性)作为依存性的补充侧面。该依存性不是帧内的唯一的依存性。
此外，按每个瓦片进行切片的并行处理，所以算术编码部及算术解码部的上下文通过默认的设定、或者基于已编码或已解码切片来决定。但是，头的依存性和算术码初始化的依存性不同，所以与并行处理及依存切片的机理的目的相反，可能会产生延迟或增大复杂性。
依存切片能够与WPP或瓦片等的并行处理工具一起使用。此外，通过使用依存切片，能够生成不引起编码损失、能够削减传输延迟的波前(子流)。
此外，在依存切片中CABAC不重新开始，所以能够将依存切片作为CABAC子流的开始点使用。此外，为了示出独立的解析的开始点，也可以将表示该开始点的信息包含在比特流中传送。特别是，将2个以上的CABAC子流封装到通常切片或依存切片的情况下，使用每个子流的字节数来明示地对开始点进行信号传送。在此，子流通过开始点表示能够分别解析的流的一部分。进而，各依存切片需要NAL单元的头，所以作为开始点的“标记”能够使用依存切片。即，能够将与这样的标记对应的开始点进行信号传送。
能够同时使用通过信号明示地通知开始点的方法和经由依存切片对开始点进行标记的方法。在此，需要确定各NAL单元的开始点(各NAL头的开头)。另外，关于确定方法，能够使用任意的方法。例如，能够使用以下的2个方法。
第一个方法是在各NAL头的开头插入例如3字节的起始码的方法。第二个方法是将各NAL单元打包为各个包的方法。此外，由于切片存在依存性，也可以将切片头的尺寸缩小。
通过这些方法，能够对熵切片进行并行CABAC解析。这是因为，在熵切片的开头，CABAC必定重新开始。在CABAC的并行处理中，通过连续的像素构建处理后的并行CABAC解析，能够克服障碍。具体地说，通过WPP并行化工具，能够通过一个处理核实现各LCU行的解码处理。另外，LCU行向各核的分配可以不同。例如，可以对1个核分配2行，也可以对2个核分配1行。
图3A是表示被分割为多个行的图片300的图。各行包含多个最大编码单位(LCU)。行301(Wavefront1)及行302(Wavefront2)是并行处理的对象。如图3A的CABAC状态(CABAC states)的箭头所示，在行301中将最初的2个LCU解码后，开始行302的处理。此外，将行301的最初2个LCU编码或解码后的CABAC状态，在行302的CABAC初始化时使用。因此，行302的处理能够在行301的最初2个LCU的处理结束后开始。即，在2个处理核之间存在2个LCU量的延迟。
图3B是表示使用了WPP的依存切片的使用例的图。图3B所示的图片310包含行311～314。在此，行311(Wavefront1)、行312(Wavefront2)及行313(Wavefront3)由不同的核处理。
依存切片形成能够改善延迟的WPP。在依存切片中没有完全的切片头。此外，只要知道开始点(或者通过上述那样的规则可知的依存切片的开始点)，就能够与其他切片相独立地对依存切片进行解码。此外，依存切片能够形成不产生编码损失、且适于低延迟应用的WPP。
在将子流(LCU行)封装为切片的通常情形中，为了可靠地并行进行熵编码及解码，需要将明确的开始点插入切片头。因此，在切片的最后的子流被完全编码之后，才能够准备切片的传输。此外，切片中的全部子流的编码完成后，切片头才完成。即，在切片整体的处理结束之前，无法经由RTP/IP层的包碎片开始切片的开头的传输。
但是，在使用依存切片的情况下，能够将依存切片作为开始点标记利用，所以不需要通过开始点的明示性的信号来通知。因此，能够没有编码损失地将通常切片分割为多个依存切片。此外，封装化的子流的编码完成后立即(或者，在包碎片的情况下比其更早地)传输依存切片。
此外，依存切片不会减弱空间预测的依存性。进而，依存切片也不会减弱解析依存性。这是因为，在对象依存切片的解析中，通常需要在先切片的CABAC状态。
依存切片不被许可的情况下，能够使各LCU行成为切片。这样的构造改善传输延迟，但是同时如上述那样，产生大的编码损失。
设想将帧(图片)整体封装为1个切片的情况。这种情况下，为了能够进行并行解析，需要通过信号向切片头传送子流(LCU行)的开始点。由此，在帧级别产生传输延迟。即，将帧整体编码后，需要对头进行修正。将图片整体封装为1个切片自身不会使传输延迟变差。例如，可以在编码完全结束前开始切片的一部分的传输。但是，使用WPP的情况下，为了记录开始点，需要事后对切片头进行修正。因此，需要使切片整体的传输延迟。
这样，通过使用依存切片，能够削减延迟。如图3B所示，图片310被分割为作为通常切片的行311和作为依存切片的行312、313及314。各行为1个依存切片的情况下，能够没有编码损失地使1个行的传输延迟。这是因为，依存切片不会减弱空间依存，并且不重新开始CABAC引擎。
图4A及图4B是表示CABAC初始化的另一例的图。图4A示出了不使用WPP的情况的CABAC的初始化。此外，不使用WPP及瓦片的双方。此外，许可同时使用通常切片及依存切片。
依存切片(3)从通常切片(2)拷贝头。即，通常切片(2)是依存切片(3)的父切片。依存切片(3)使用由通常切片(2)的末端生成的上下文表。依存切片(3)不依存于通常切片(1)，而是依存于通常切片(2)。即，在通常切片(1)和依存切片(3)之间不存在空间预测。
图4B是表示使用WPP的情况的CABAC的初始化的图。许可同时使用通常切片、依存切片及WPP。
依存切片(3)拷贝通常切片(2)的头。预想为依存切片(3)使用由通常切片(1)的第2个LCU的末端生成的上下文表。但是，切片(2)是通常切片，所以示出了无法参照切片(1)的第2个LCU。即，切片(1)在编码顺序中不是依存切片的紧前的在先切片，所以不被参照。
但是，切片(2)作为切片(3)及(4)的参照切片使用。即，开始切片(3)的解码时，需要将CABAC状态初始化为默认值(在图4B中用虚线的箭头示出)。依存切片(4)使用遵照上述那样的WPP的条件的右上的第2的LCU之后的CABAC状态(实线的箭头)。
图5是表示遵照当前的HEVC参照模型(HM8.0)的切片头的句法例的图。切片头320包含表示对象切片是依存切片还是通常切片的句法要素dependent_slice_flag。
从图5的行321可知，dependent_slice_flag与0同等的情况下，头包含切片头信息。即，切片具有完全的头。否则，头不包含切片头信息。即，如上述那样，依存切片及熵切片不具备完全的切片头，参照在先的通常切片的头。
为了支持并行处理，开始点在之后通过信号传送。在熵编码部或熵解码部不重新开始的情况下，能够使用该开始点对开始点间的影像流(子流) 的一部分独立地进行并行解码。如上述那样，对依存切片、通常切片及熵切片也标记开始点。
在HEVC中，存在若干个并行处理工具。如上述那样，该工具是WPP、依存切片、熵切片及瓦片。但是，这些工具也有时没有兼容性，所以将它们组合利用时存在限制。一般来说，许可将瓦片和切片同时使用。
但是，在主要档次中，存在必须将1个切片分割为1以上的整数个瓦片、并且必须将1个瓦片分割为1以上的整数个切片的限制。典型地，该限制应用于特定的档次(或档次的特定等级)。该限制的目的在于降低硬件执行的复杂性。
PPS的entropy_coding_sync_enabled_flag与1同等(即使用WPP)，切片中包含的第1个编码块不是由瓦片的编码树块构成的行的第1个编码树块的第1个编码块的情况下，比特流适合标准的条件是，切片的最后的编码块属于与切片的第1个编码块相同的编码树块行。编码树表示LCU的构造及将LCU分别进一步归纳地分割为4块。即，能够进行WPP、并且切片不从对象LCU行的开头开始的情况下，切片必须在对象LCU行的末端或末端之前结束。此外，不仅是并行处理手段，与HEVC句法有关的详细情况也记载在非专利文献3中。
使用图6说明该限制。图6所示的图片330包含作为通常切片的切片331、332及333。切片331及332包含在1个LCU行中。切片333跨多个LCU行(在该例中是3行)，所以是不被许可的切片。按照上述限制，切片333必须在第1LCU行的末端结束。
图7是表示使用WPP的情况下的、具有被许可的切片构造的图片340的图。图片340包含作为通常切片的切片341、342及343和作为依存切片的切片344。这些切片341、342及343包含在第1行的LCU行中。切片344包含如下的2行。
切片344是依存切片，所以对于切片344的CABAC初始化依存于其他切片341、342及/或343。切片342及343的任一个如图7所示是通常切片的情况下，切片344被初始化为默认的CABAC状态。否则，使用WPP表。即，对象行之上的LCU行的第2个LCU的处理后的CABAC状态在初始化中使用。
在该例中，如在图4B及上述的CABAC初始化的相关记载中所述，对于依存切片344的CABAC使用预先决定的默认的CABAC状态而被初始化。
这样，CABAC初始化基于多个在先切片。因此，关于对象切片的处理、特别是解析，依存于多个其他切片。具体地说，根据对象切片的在先切片的种类，决定CABAC上下文按照默认值及WPP值的哪一个来初始化。这样，确认能否利用在先切片，决定适于对象切片的初始化方法。即，需要很复杂的顺序的处理。以下说明其详细情况。
第1切片341至少具有2个LCU，所以能够参照将最初的2个LCU编码或解码后的CABAC状态。
此外，失去切片342或切片343的情况下，无法将切片344正确地解码。这是因为，不知道切片342或切片343的种类，所以无法进行CABAC初始化。即，仅与2个在先切片相关的信息缺失而正确地取得了切片344的情况下，对于切片344的CABAC的初始化无法进行，所以将能够正确取得了的切片344的数据舍去。因此，对于切片344，需要错误隐藏。由此，不完全的错误隐藏所导致的失真成为原因，画质可能会下降。
在此，在切片头中，大部分句法要素(这些主要是特定的滤波操作等的控制的切换)需要对于帧中包含的全部切片决定。此外，其中也有能够按每个切片变更的句法要素，但是在由图像编码装置进行的大部分处理中，对帧整体决定的控制参数全部被维持。因此，作为错误隐藏的方法，能够使用以下的方法。在该方法中，仅需要表示失去的切片是依存切片还是通常切片的信息。
此外，包在顺序错乱地到达的情况下，解码延迟恶化。即，预想到包的重新排列的情况下，解码延迟可能会恶化。这与WPP的基本目的、即通过依存切片提供超低延迟是矛盾的。
图8是表示CABAC初始化处理的另一例的图。在图8中，设想图7所示的切片的构造。图8所示的图片350包含切片351和切片354。切片351是通常切片，是帧中的第1个切片，包含4个LCU。在帧的开头、即切片351的开头中，CABAC被初始化为默认状态值(零状态)。另外，可以存在多个默认状态，这种情况下，从多个默认状态选择一个默认状态。另外，默认状态指的是算术码的概率模型的规定值。
即使取得属于依存切片354的数据，由于缺失或错误而没有切片342及切片343(参照图7)的数据的情况下，无法对切片354进行解码。这是因为，如上述那样，没有切片342及343的信息，就无法将CABAC引擎初始化。
图9是表示取得依存切片354时进行的、初始化方法的决定处理的流程图。换言之，该流程图表示CABAC初始化的向2个以上切片的依存方式。
设想对于切片(4)(依存切片354)设定了以下的条件。能够进行WPP。SPS的dependent_slice_enabled_flag被设定为1。切片(4)的位置满足(式1)。
slice_address％numLCUinRow＝0…(式1)
在此，“％”是模运算(整数除法的余数)。参数numLCUinRow表示图片350的每1行的LCU的数量。因此，(式1)的条件在行的开头满足。参数numLCUinRow能够从SPS的设定导出。
首先，判定切片(4)是否为依存切片(S101)。切片(4)不是依存切片的情况下(S101：否)，进行默认的初始化。
如图8所示，切片(4)是依存切片的情况下(S101：是)，i被设定为3(S102)。即，切片(4)的紧前的切片(3)被设定为切片i。
接着，判定切片i是否从切片(4)的1行上开始(S103)。在此，i被设定为3，所以切片i是处理对象的依存切片(切片(4))的紧前的切片(3)。
切片i不从切片(4)的1行上开始的情况下(S103：否)，进行WPP的初始化(使用WPP表的初始化)(S107)。
另一方面，切片i从切片(4)的1行上开始的情况下(S103：是)，即图8所示的情况下，判定切片i是否为依存切片(S104)。
切片i不是依存切片的情况下(S104：否)，接下来分析切片i的开始位置。具体地说，判定slice_address％numLCUinRow是否小于2(S106)。即，判定切片i的开始位置是否为行开头或第2个LCU。
slice_address％numLCUinRow小于2的情况下(S106：是)，进行WPP的初始化(S107)。另一方面，slice_address％numLCUinRow为2以上的情况下(S106：否)，进行默认的初始化(S108)。
此外，切片i是依存切片的情况下(S104：是)，分析切片i的开始位置。具体地说，判定slice_address％numLCUinRow是否小于3(S105)。即，判定切片i的开始位置是否为行开头、第2或第3个LCU。
slice_address％numLCUinRow小于3的情况下(S105：是)，进行WPP的初始化(S107)。另一方面，slice_address％numLCUinRow为3以上的情况下(S105：否)，不进行初始化，索引i减少1(S109)。即，在该例中，对象切片(切片(4))的2个前的切片(2)被设定为切片i。然后，对切片(2)进行步骤S103以后的处理。此外，对切片(2)也进行了同样的判定的情况下，接下来切片(1)被设定为切片i。
图10是表示图片360的图。图片360包含5个切片361～365。切片361是通常切片，包含第1行整体。切片362是依存切片，包含第2行整体。第3行包含依存切片363及切片364。切片365是依存切片，包含第4行整体。
以下讨论在失去切片364的情况、或者切片364延迟的情况下，切片364是依存切片的情况、以及切片364是通常切片的情况的各例。此外，在此，切片363至少具有2个LCU。
失去切片364的情况下，图像解码装置无法判别切片364的种类。失去的切片364是依存切片的情况下，在重构处理中，以少许的误差，能够继续切片365及其以后的切片的解码。这是因为，如使用图8及9所说明，切片365使用切片363的第2个LCU的CABAC状态。因此，在CABAC初始化处理中不发生错误。但是，切片365使用从切片364的空间预测，在像素重构处理中可能会发生错误。
另一方面，失去的切片364是通常切片的情况下，无法对切片365进行解码。这是因为，在句法要素中，可能会使用失去的切片364的切片头的信息。即，通常切片364是依存切片365的父切片，在依存切片365的解析及解码中需要父切片的信息。
不知道失去的切片364中的切片的种类的情况下，为了避免失去的切片364是通常切片的情况下可能发生的错误的解码，图像解码装置将可解码的切片365舍去。关于这一点，在正确地取得了切片365的数据的情况下，将切片365舍去，所以有损效率。进而，接续于切片365的依存切片也需要全部舍去。
切片364是通常切片的情况下，为了进行切片365的解码，CABAC引擎被初始化为默认的CABAC值(参照图9的S101：否的情况)。因此，切片365不依存于切片363。此外，切片363和切片365之间的空间预测也不被进行。这样，在切片365的开始位置，CABAC被初始化为默认值，所以依存切片365与通常切片类似。
但是，通常切片具有完全的切片头。另一方面，切片365仅具有短的切片头，依存于通过在先的通常切片的切片头设定的参数。即，切片365是依存切片的情况下，虽然有能够缩小头的尺寸的优点，但是这一优点并不大。另一方面，切片365是通常切片的情况下，能够对切片365进行解码。这样，在上述例子中，与其将切片365设定为依存切片，设定为通常切片优点更大。
但是，在WPP中，依存切片的目的并不是使得对于损失的鲁棒性可靠，而是为了能够进行超低延迟下的WPP操作。另一方面，在实时的应用等跨越网络的超低延迟应用的情况下，预想到包损失及包的重新排列。在这样的情况下，如果最终能够取得切片364，则能够对切片365进行解码。但是，至少会引起延迟的恶化及包的损失。因此，在损失多的环境下，WPP在不是最佳的状态下进行。
图11是用于示出使用WPP的情况下的与CABAC初始化相关的另一课题的图，是表示图片370的图。图片370包含4个切片371～374。
切片371是通常切片，切片372是依存切片。在此，切片371至少具有2个LCU。图片370的第1行包含切片371及372。图片370的第2行包含作为依存切片的切片373及374。
这种情况下，设想图像编码装置至少利用2个处理器核。即，使用WPP的情况下，图像编码装置将2个LCU行并行地编码及解析。因此，远在切片372能够利用之前，切片373就已经可以利用。
但是，对于切片373的CABAC初始化依存于切片372，所以切片373的解码无法开始。因此，无法使行间的编码或解码的开始延迟小于1个LCU行整体。这是因为，与将延迟缩小到2个LCU这一WPP的目的矛盾。
以下说明图11所示的切片的编码及传输的并行处理。处理器核或处理器等2个处理部将各行的第1个切片(切片371及切片373)同时编码。编码结束后，已编码切片371及373被封装至包号码(packet_id)分别为0和4的包。在此，为了对切片372、可能的情况下还包括其他NALU确保小的号码，选择包号码4。
切片372的编码完成后，切片372被封装为包号码1的包并被传输。此外，生成对应的包号码2和3、以及具有伪(填充)数据的2个NAL单元，以不将缺失包号码2及3判定为包的缺失。
在HEVC中，这一处理通过使用filler_data SEI消息、或使用用于确保填充数据的规定的NAL单元类型来达成。这样，包ID需要按每个NAL单元逐个增加1的情况下，填充类型NALU为了填补该差而使用。
对象行的初始化依存于其上的行的第2个LCU。此外，在第2个LCU之后插入切片的情况下，给CABAC初始化的决定带来影响，所以成为问题。基于该分析及问题，本发明提供用于导入WPP及依存切片的利用的、更有效率的关系的手法。为了维持WPP的效率性，应该避免对于1行的CABAC初始化依存于其他行的状况。
此外，在取代WPP而使用瓦片的情况下，也会发生与上述同样的课题。
本发明的一个方式的图像解码方法，对包含将图像分割为多个瓦片并且分割为多个切片而编码得到的编码信号的比特流进行解码，包括对所述编码信号进行解码的解码步骤，所述多个切片中的各个切片是该切片的切片头中包含的信息用于其他切片的通常切片和在解码中使用其他切片的切片头中包含的信息的依存切片中的某一个，在通常切片从第1瓦片的开头以外开始的情况下，该第1瓦片的下一个被编码的第2瓦片不从依存切片开始。
由此，能够排除第2瓦片的开头的切片参照第1瓦片的开头以外的切片的情形发生，所以能够改善同时利用并行瓦片处理及依存切片时的效率性。
例如，在所述解码步骤中也可以是，在对所述第1瓦片及所述第2瓦片进行并行解码并开始所述第2瓦片的解码时，不参照表示所述第1瓦片中的切片构造的分割信息而对所述第2瓦片进行解码。
例如，在第3瓦片的开头是所述依存切片的情况下，该依存切片也可以包含所述第3瓦片整体。
例如也可以是，在所述第1瓦片包含从所述第1瓦片的开头以外开始的切片的情况下，所述第2瓦片不从依存切片开始。
例如，所述图像解码方法也可以还包括从切片头取得表示切片是通常切片还是依存切片的信息的步骤。
例如也可以是，所述图像的开头切片是通常切片，其他全部切片是依存切片。
例如，所述图像解码方法也可以还包括从所述比特流取得表示图片的分割被限制的限制指示符的步骤。
例如，所述图像解码方法也可以还包括从所述比特流取得表示切片头在所述依存切片中被使用的父切片是否从瓦片开头开始的指示符的步骤。
此外，本发明的一个方式的图像编码方法，将图像分割为多个瓦片并且分割为多个切片而编码，从而生成比特流，包括：分割步骤，将所述图像分割为多个瓦片并且分割为多个切片；以及编码步骤，对分割的多个瓦片及多个切片进行编码；所述多个切片中的各个切片是该切片的切片头中包含的信息用于其他切片的通常切片和在解码中使用其他切片的切片头中包含的信息的依存切片中的某一个，在所述分割步骤中，将所述图像分割为多个瓦片并且分割为多个切片，以使在通常切片从第1瓦片的开头以外开始的情况下，该第1瓦片的下一个被编码的第2瓦片不从依存切片开始。
由此，能够排除第2瓦片的开头的切片参照第1瓦片的开头以外的切片的情形发生，所以能够改善同时利用并行瓦片处理及依存切片时的效率性。
例如，在所述分割步骤中也可以将所述图像分割为所述多个瓦片及所述多个切片，以使在图像解码装置中对所述第1瓦片及所述第2瓦片进行并行解码的情况下，该图像解码装置开始所述第2瓦片的解码时，不参照表示所述第1瓦片中的切片构造的分割信息就能够对所述第2瓦片进行解码。
例如，在所述分割步骤中也可以将所述图像分割为多个瓦片并且分割为多个切片，以使在第3瓦片的开头是所述依存切片的情况下，该依存切片包含所述第3瓦片整体。
例如，在所述分割步骤中也可以将所述图像分割为多个瓦片并且分割为多个切片，以使在所述第1瓦片包含从所述第1瓦片的开头以外开始的切片的情况下，所述第2瓦片不从依存切片开始。
例如，所述图像编码方法也可以还包括将表示切片是通常切片还是依存切片的信息嵌入到切片头的步骤。
例如也可以是，所述图像的开头切片是通常切片，其他全部切片是依存切片。
例如，所述图像编码方法也可以还包括将表示图片的分割被限制的限制指示符嵌入到所述比特流的步骤。
例如，所述图像编码方法也可以还包括将表示切片头在所述依存切片中被使用的父切片是否从瓦片开头开始的指示符嵌入到所述比特流的步骤。
此外，本发明的一个方式的图像解码装置，对包含将图像分割为多个瓦片并且分割为多个切片而编码得到的编码信号的比特流进行解码，具备对所述编码信号进行解码的解码部，所述多个切片中的各个切片是该切片的切片头中包含的信息用于其他切片的通常切片和在解码中使用其他切片的切片头中包含的信息的依存切片中的某一个，在通常切片从第1瓦片的开头以外开始的情况下，该第1瓦片的下一个被编码的第2瓦片不从依存切片开始。
由此，能够排除第2瓦片的开头的切片参照第1瓦片的开头以外的切片的情形发生，所以能够改善同时利用并行瓦片处理及依存切片时的效率性。
此外，本发明的一个方式的图像编码装置，将图像分割为多个瓦片并且分割为多个切片而编码，从而生成比特流，具备：分割部，将所述图像分割为多个瓦片并且分割为多个切片；以及编码部，对分割的多个瓦片及多个切片进行编码；所述多个切片中的各个切片是该切片的切片头中包含的信息用于其他切片的通常切片和在解码中使用其他切片的切片头中包含的信息的依存切片中的某一个，所述分割部将所述图像分割为多个瓦片并且分割为多个切片，以使在通常切片从第1瓦片的开头以外开始的情况下，该第1瓦片的下一个被编码的第2瓦片不从依存切片开始。
由此，能够排除第2瓦片的开头的切片参照第1瓦片的开头以外的切片的情形发生，所以能够改善同时利用并行瓦片处理及依存切片时的效率性。
此外，本发明的一个方式的图像编解码装置具备所述图像编码装置和所述图像解码装置。
另外，以下说明的实施方式只是示出本发明的一个具体例。以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置及接连方式、步骤、步骤的顺序等只是一例，不意图限定本发明。此外，对于以下的实施方式的构成要素中的、未记载于表示最上位概念的独立权利要求的构成要素，作为任意的构成要素来说明。
(实施方式1)
在本实施方式1的图像编码方法及图像解码方法中，追加明确表示CABAC初始化的指示符。
图12是表示实施方式1的切片头的句法的图。切片头380包含具有新的句法要素“entropy_default_initialization_flag”的新的行381。
该entropy_default_initialization_flag是在设定为规定值的情况下，表示切片的CABAC以CABAC默认(规定)值被初始化的指示符。该标志是具有第1值和第2值的1比特的指示符，该第1值是表示切片以默认CABAC值被初始化的“1”等的值，该第2值是表示初始化通过其他方法进行的“0”等的值。另外，“1”及“0”的值的分配也可以彼此替换。
初始化决定的“其他方法”可以是基于在先切片的值的初始化等规定的方法。但是，“其他方法”可以包含与图9所示的流程类似的其他决定流程，由此，也可能导出基于默认CABAC值的初始化方法。
本实施方式的图像解码装置对至少部分地通过算术码被编码的包含图像切片的编码影像序列的比特流进行解码。该图像解码装置具备：解析部，从所述切片的比特流数据提取初始化指示符，该初始化指示符表示切片的算术解码的概率模型是否以规定值被初始化；控制部，按照所述初始化指示符，控制是否以所述规定值将算术解码用的所述概率模型初始化；以及算数解码部，通过进行算术解码，对所述切片进行解码。
例如也可以是，算术码是由HEVC定义的上下文自适应算术码。但是，本发明不限于此。
规定值指的是图像编码装置及图像解码装置中已知的默认值，不会因编码后的内容而变化。
优选为，该初始化指示符表示1比特标志，在1比特标志中，“1”表示算术解码的概率模型以规定值被初始化，“0”表示算术解码的概率模型通过其他方法被初始化。
仅在对象切片为依存切片的情况下，需要该指示符的存在。这是因为，通常切片的情况下，CABAC默认值被用于初始化(参照图9的S101：否的情况)。因此，通过确认条件dependent_slice_flag＝＝1，首先分析对象切片是否为依存切片。
此外，进行切片和其他切片的并行处理的情况下，初始化指示符(标志)较为有利。例如，并行处理可以是WPP。因此，仅在条件的entropy_coding_sync_enabled_flag＝＝1为“真”的情况下，图12所示的切片头的句法包含初始化指示符entropy_default_initialization_flag。
此外，仅在切片在LCU行的开头开始的情况下，初始化指示符是合适的。这是因为，仅在这时，为了能够进行并行处理，需要CABAC的即时的初始化。这一点在图12所示的句法中通过条件slice_address％PicWidthInCtbsY＝＝0示出。
如上述那样，句法要素“slice_address”通过比特流中包含的偏移来表示切片的开始。“PicWidthInCtbsY”通过编码树块的单位(LCU)的数量来表示帧的宽度。
如行381所示，上述3个条件的逻辑积在判定中使用。即，仅在以下的(式2)为“真”的情况下，为了用信号明确地传达初始化方法，传送entropy_default_initialization_flag。
dependent_slice_flag＝＝1&&entropy_coding_sync_enabled_flag＝＝1&&slice_address％PicWidthInCtbsY＝＝0…(式2)
(式2)不是“真”的情况下，基于通常的方法，即基于WPP规则来进行初始化。
即，本实施方式的图像编码方法及图像解码方法，将图片的切片分割为与图像的像素块对应的编码单位，解析部仅在切片是依存切片的情况下，提取头数据中包含的初始化指示符。依存切片的算术解码部基于与各依存切片对应的父切片的算术解码部的上下文而被初始化。
此外，仅在由编码单位构成的行的并行解码能够进行的情况下，解析部提取头数据的初始化指示符。
即，按照本实施方式，将图像的切片分割为与图像的像素块对应的编码单位，解析部仅在切片从由图像的编码单位块构成的行的开头开始的情况下提取头数据的初始化指示符。
图13是本实施方式的切片的CABAC初始化的决定方法的流程图。图13设想图8所示的图片350的情况。设想切片(4)(切片354)和切片(1)(切片351)并行地被解析的情况下，做出以下的决定。
首先，判定切片(4)是否为依存切片(S111)。切片(4)是依存切片且满足其他条件(进行行的并行处理，并且切片在LCU行的开头开始)的情况下(S111：是)，为了决定初始化的执行方法，确认初始化指示符“entropy_default_initialization_flag”(S112)。
由entropy_default_initialization_flag示出了应用默认的初始化的情况下(S112：否)，应用默认的初始化(S114)。另一方面，未由entropy_default_initialization_flag示出应用默认的初始化的情况下(S112：是)，应用参照在先切片的WPP的初始化(S113)。
另外，本实施方式不限于在切片头内对初始化指示符进行信号传送。也可以在其他数据构造、例如附加扩展信息消息中嵌入同一指示符。
(实施方式2)
通过实施方式1，能够实现WPP及依存切片等的并行LCU行处理的高效的处理。另一方面，新的句法要素被加入到切片头。与此相对，为了避免新的句法要素的追加，也可以通过修正初始化规则来达成与并行处理中的切片对应的CABAC初始化的独立性。
在本实施方式中，对依存切片的定义、以及图像编码装置及图像解码装置对于依存切片的动作进行修正。这一点能够通过对比特流的标准施加限制来实现。
即，本实施方式的图像解码装置对被分割为多个编码单位并且至少部分地通过算术码被编码的包含多个图像切片的编码影像序列的比特流进行解码。该图像解码装置具备从比特流提取由编码单位构成的第1行及第2 行的解析部，第1行及第2行的编码单位被分配至切片，以使在将针对第2行的第2切片的算术解码部进行初始化时，可以不参照第1行的第1切片的分割信息。第1行的第1切片的开始位置在第2行的第2切片之后规定的编码单位数。该图像解码装置还具备算数解码部，通过对所述第1切片及所述第2切片至少部分地进行并行地算术解码，对所述各切片进行解码。
图14是用于表示本实施方式的功能的图，表示被分割为多个切片的图片390。图片390包含4个切片、即通常切片391、通常切片392、依存切片393和通常切片394。
3个切片391、392及393包含在由编码单位(LCU)构成的第1行中。切片394包含第2行及3行目整体。
切片化及行单位的并行处理的使用中应用的限制的第1例为，“entropy_code_sync_enabled_flag与1同等，且dependent_slice_enabled_flag与1同等的情况下，通常切片仅可以在编码树块行的开头开始”。此外，entropy_code_sync_enabled_flag及dependent_slice_enabled_flag的双方的标志包含在图片参数集中。另外，编码树块(CTB)及最大编码单位(LCU)是同一单位。在标准文本(参照非专利文献3)中使用CTB。此外，在标准文本的前一版本中使用LCU，但是目前使用CTB。
通常切片仅在编码单位行(LCU行)的开头开始的情况下，其他行的接续于该通常切片的依存切片可以始终参照通常切片的CABAC状态。在此，CABAC状态指的是，通过WPP执行的最初的LCU或最初的2个LCU的处理后的CABAC状态。此外，依存切片的头依存于这些依存切片之前的通常切片的头，所以失去了通常切片394的情况下，需要将依存切片舍去。
上述第1例的限制并不需要严密。为了能够应用WPP的初始化，使得依存切片能够利用前行的通常切片的至少1个或2个LCU即可。
或者，作为其他限制(规则)也可以应用第2例。在第2例中，在编码树块行中的第2个编码树块之后，不开始通常切片。通常切片必须在LCU行的开头开始，所以例如如图14所示，不许可将第2个的切片392设定为通常切片。
另外，上述的第1切片只要开始位置是到第1行的第2个编码单位为止即可。此外，也可以第1切片是通常切片，第2切片是使用通常切片的切片头的依存切片。此外，第1切片的开始位置可以是第1行的开头。
图15是设置了上述规则的情况下的、CABAC初始化方法的决定处理的流程图。在此，使用图8所示的例子进行说明。
首先，判定切片(4)是否为依存切片(S111)。切片(4)是依存切片的情况下(S111：是)，进行WPP的初始化(S113)。另一方面，切片(4)不是依存切片的情况下(S111：否)，进行默认的初始化(S114)。
这样，本实施方式的图像编码方法使用上下文自适应熵编码部。该图像编码方法应用于至少被分割为2个部分的图片帧。至少2个部分指的是，分别至少能够部分地进行并行编码及解码的第1部分及第2部分。
根据本实施方式，将子流的第1部分向切片分割时，流的第2部分的上下文表的初始化通过不依存于第1部分的分割的方法来决定。例如，WPP按每行(每个LCU行)来进行，所以流的一部分可以与LCU行对应。
另外，本发明不限于上面例示的限制。或者，也可以通过不同的方法将上述的限制公式化。以下说明限制的另一例。
通常切片满足以下的(式3)的条件的情况下，在后续LCU行的开头开始的切片不是依存切片。
slice_adress％PicWidthInCtbsY＞1…(式3)
为了简化，可以将上述的条件用以下的(式4)表示。
slice_adress％PicWidthInCtbsY！＝0…(式4)
在此，“！＝”表示不同等。entropy_coding_sync_enabled_flag与1同等的情况下，即能够进行LCU行的并行处理的情况下，能够应用这些限制。此外，“slice_adress”表示在比特流内开始的切片的位置，参数“PicWidthInCtbsY”表示LCU(编码树块)中的图片(帧)的宽度。
即，通常切片不在行的开头开始的情况下，在其紧之后的行开始的切片不是依存切片(第3例)。通过该条件，第2行的切片的解码不需要等待到将第1行的某位置的通常切片解析(解码)为止。
使用图16说明上述第3例的限制的影响。图16所示的图片400包含第1行中包含的3个切片401～403。这些3个切片中的最初的2个切片401及402是通常切片，第3个切片403是依存切片。
根据上述条件，无法将第4个切片404设定为依存切片。在图16中，通过对切片404施加×标志来表示该情况。
因此，比特流可以包含通常切片及依存切片，它们的解码基于在通常切片的切片头中被信号传送的参数。通常切片在比LCU行的开头靠后的位置开始的情况下，下一LCU行不在依存切片开始。
使用图17说明第4例的限制。entropy_coding_sync_enabled_flag与1同等、并且dependent_slice_enabled_flag与1同等的情况下，除了帧中的最初的切片以外，不允许通常切片(第4例)。
即，能够进行并行处理、并且依存切片有效的情况下，通常切片仅作为帧中的最初的切片被允许。即，除去最初的切片，帧中的全部切片是依存切片。
图17所示的图片410包含5个切片411～415。切片411、412、及415是通常切片，切片413及414是依存切片。按照上述的第4例的限制，除去第1个的通常切片411，通常切片412及415不被允许。即，切片412及415必须是依存切片。
另外，使用该第4例的限制的情况下，关于针对包损失的鲁棒性存在缺点。为了降低依存性，或者为了减少损失多的环境下的错误传播，一般使用通常切片。此外，在仅第1个切片是通常切片的帧中，无法对第1个切片进行解码的情况下，存在全部切片无法解码的风险。
此外，作为其他限制也可以使用以下的限制。切片(通常或依存切片)在LCU行的中间(即，与行的开始位置不同的位置)开始的情况下，下一编码单位行不以依存切片开始(第5例)。
另外，如本领域技术人员所周知，可以将这里记载的多个限制任意组合。即，可以将上述第1例～第5例组合应用。
进而，以下举出限制的其他例。entropy_coding_sync_enabled_flag与1同等的情况下，无法将1个LCU行分割为切片(第6例)。应用该限制的情况下，在图17所示的切片构造中，切片412及413不被允许。即，能够进行编码单位行的并行处理的情况下，切片仅允许包含1个编码单位行整体或多个编码单位行整体。
这样，比特流包含通常切片及依存切片。通常切片及依存切片的解码基于在通常切片的切片头中被信号传送的参数。仅将图像中的第1个切片设为通常切片，将剩余的切片设为依存切片，然后将图像分割为切片。
此外，各切片包含m行的编码单位行的全部。在此，m是1以上的整数。
此外，在上述限制的应用之外，或者取代上述限制的应用，在依存切片有效且WPP及瓦片的某一个有效的情况下，也可以将表示上述限制的指示符嵌入到比特流。例如，该指示符嵌入到SPS或PPS。另外，该指示符也可以嵌入到SEI消息等其他消息或任意的视频可用性信息(VUI)消息。
基于该指示符，图像解码装置掌握所应用的限制。例如，该限制是仅在LCU行(WPP)的开头或瓦片的开头允许通常切片的限制。另外，这只是限制的一例，也可以应用上述限制的某一个、或这些限制的组合、或没有明确记载的追加的限制。
例如，该指示符可以是对规定的限制表示是否应用该限制的1比特的标志。此外，可以是能够选择的多个限制，表示被选择的限制的信息包含在比特流中并被信号传送到图像解码装置。即，也可以不像上述例子那样明示地限制使用，而是向图像解码装置通知图像编码装置使用这样的限制。因此，可以应用与限制相关联的上述例的某一个。
另外，也可以根据WPP或瓦片是否有效化来决定是否追加指示符。
如以上那样，本实施方式在并行处理中通过考虑了在先切片的CABAC初始化，来防止依存切片处理延迟2以上或3以上的编码单位。由此，能够高效地进行行的编码、解码及解析。
另外，本发明不限于限制切片化的方法的实施方式。此外，上述限制也可以与得到CABAC上下文的切片相关联。
(实施方式3)
在本实施方式中，变更对于WPP处理时的依存切片的CABAC初始化方法。具体地说，变更父切片对于依存切片的分配规则。
例如，决定如下的规则：与LCU行向切片的分割(及/或后续切片的种类)无关，依存切片总是从同一切片取得切片头及CABAC上下文。
图18所示的图片420包含切片421～424。在目前的HEVC中，依存切片424的父切片是切片422。即，依存切片424的切片头从在先的最近的通常切片、即切片422取得。
如使用图9所说明，依存切片也有时使用位于在先的LCU行的开头的通常切片进行CABAC初始化。但是，失去切片422的情况下，虽然能够进行切片424的CABAC的初始化，但是由于切片头信息缺失，所以无法对切片424进行解码。
与此相对，在本实施方式中，依存切片具有从与包含依存切片的行同一行或前一行开始的最近的通常切片作为父切片。按照该规则，在本实施方式中，如图19所示，切片424的父切片被设定为切片421。并且，依存切片424使用切片421的切片头，并且使用切片421的CABAC状态进行CABAC初始化。
此外，各依存切片的算术解码部被设定切片的依存性，以基于父切片的算术解码部的上下文而被初始化。
另外，表示切片的初始化中使用的CABAC上下文表的信息可以在SEI消息内明示地被信号传送。即，可以将被想到在CABAC引擎的初始化中使用的全部初始值明示地在SEI消息内信号传送。
(实施方式4)
在本实施方式中，说明不使用WPP而使用瓦片的情况。
不使用WPP而使用瓦片的情况下，也产生对WPP描述的上述问题。但是，CABAC上下文表的初始化意味着，对默认初始值或以前存储的值的某一个设定CABAC上下文表。瓦片的情况下(包括瓦片从依存切片开始的情况)，CABAC上下文表始终在瓦片的开头以默认值被初始化。
但是，通常切片在瓦片的中间出现的情况下，有时对其切片头中包含的句法要素中的某几个进行修正。该句法要素指的是，例如表示取样自适应偏移处理的开/关的标志。该标志为“开”的情况下，CABAC引擎一边对切片数据进行解析，一边对参数进行滤波。这样，该处理与CABAC引擎的状态控制相关。关于这一点留待后述。
图19是表示本实施方式的切片头的句法的图。该切片头包含与依存性相关的指示符、即dependent_slice_flag。
图20是表示被分割为2个瓦片501及502的图片500的图。如图20所示，瓦片通过垂直线来分割图片，这一点与切片不同。一般来说，能够将图片分割为多个瓦片。瓦片的分割信息包含在与图片有关的图片参数集(PPS)中被信号传送。
如上述那样，瓦片是能够进行并行处理的工具之一。即，可以将多个瓦片并行地解码。另外，在重构瓦片后，在瓦片边界通常最后进行环路滤波处理。
图片参数集包含与图片内的瓦片的数量及位置有关的信息。在不允许瓦片间的空间预测这一点上，瓦片与切片类似。在此，“空间预测”指的是，帧内预测、运动矢量预测、或参照参数。在此，参数指的是取样自适应偏移参数、与图片有关的其他参数、或与其他瓦片相关联的参数。
熵编码部及熵解码部在各瓦片的开头重新开始。
图21A是表示编码树块或最大编码单位等编码单位的处理顺序的图。该顺序也被称为Z扫描或光栅扫描。图21A表示瓦片不是有效的情况。换言之，是对1图片设定1瓦片的情况。另外，也可以将WPP设为有效。
图21B是表示包含通过边界513分割的2个瓦片511及512的帧的图。在帧内存在2个以上瓦片的情况的处理顺序如下决定。
首先，对于LCU，通过上述的通常的光栅扫描顺序决定全部瓦片的顺序。这在图21B中是在瓦片511开始且在瓦片512结束的顺序。
接着，使用图21B的箭头所示的通常的光栅扫描顺序，决定各瓦片内的LCU的顺序。最后，将各瓦片的最后的LCU与后续瓦片的最初的LCU连结。由此，决定图21B所示的顺序。另外，关于处理顺序的详细情况，例如在非专利文献3中记载。
在切片中使用LCU扫描顺序。因此，在编码顺序中切片A在切片B之前的情况下，意味着切片A的全部LCU在切片B的全部LCU之前。
另一方面，在使用瓦片的情况下，按照与仅使用切片的情况(不使用瓦片的情况)下应用的顺序不同的顺序对编码单位进行扫描。具体地说，仅使用切片的情况下，图片内的编码单位通过所谓Z扫描而被扫描。在Z扫描中，从图片内的左上的编码单位开始，向右方向对第1行进行扫描，到第1行的右端为止扫描结束后，从第2行的左端的编码单位到第2行的右端的编码单位进行扫描。这样，依次扫描到最后的行的最后的编码单位。
切片作为Z扫描顺序中的连续数的编码单位构成的情况下效率较高。但是，使用瓦片的情况下，编码单位的编码或解码顺序从该顺序变更。具体地说，在各瓦片内按照Z扫描顺序进行扫描。即，Z扫描顺序的扫描不会跨瓦片进行。因此，瓦片中包含的编码单位的编码或解码从瓦片的左上的编码单位开始，在同瓦片的右下的编码单位结束。此外，图片内的瓦片也如上述那样按照Z扫描顺序被赋予顺序。
在目前的HEVC标准化中，设置有与将瓦片和切片组合使用有关的限制。具体地说，切片仅被允许包含整数的完全的瓦片。此外，瓦片仅被允许包含整数的完全的切片。
句法要素tiles_enabled_flag包含在作为序列参数集(SPS)的一部分的比特流的句法内。通过将该句法要素设定为逻辑值“1”而能够使用瓦片。
使用瓦片的情况下，无法使用WPP。因此，在使用瓦片的情况下，控制WPP的使用的SPS的句法要素entropy_coding_sync_enabled_flag被设定为逻辑值“0”。
图22A～图22C是用于说明同时使用瓦片和切片的情况的限制的图。如图22A所示，允许将切片分割为2个瓦片。在该例中，切片(1)包含图片整体，被分割为大小相同的2个瓦片。
在图22B所示的例子中，图片被分割为2个瓦片。此外，各瓦片被分割为2个切片。具体地说，图片首先被分割为瓦片1及瓦片2。瓦片1和瓦片2分别包含图片的左半和右半。瓦片1被分割为切片1及切片2的2个切片，瓦片2被分割为切片3及切片4的2个切片。
图22C是表示不被允许的切片及瓦片构造的图。在该例中，切片1包含于瓦片1及瓦片2的双方。另一方面，切片2仅存在于瓦片2内。因此，瓦片1和瓦片2都不包含整数的完全的瓦片。同样，切片1和切片2也都不包含整数的完全的瓦片。
为了同时使用切片和瓦片而应用这样的规则。但是，在这些规则中，关于使用不同种类的切片的情况没有进行具体的研究。即，没有考虑切片是通常切片还是依存切片。
图23是表示将图片分割为瓦片及切片的例子的图。该分割按照上述的限制被允许。该分割相当于图22B的例子。此外，瓦片1中包含的切片521及522是通常切片。瓦片2中包含的切片523及524是依存切片。
图24是表示图片内的编码单位的处理、特别是编码单位的解码或编码使用单核的情况的扫描顺序的图。如图24所示，未使用瓦片分割的情况下，单核按照Z扫描顺序对编码单位进行解码。
但是，按照瓦片的定义、即瓦片边界，CABAC引擎被重新初始化。即，为了之后的初始化，需要将瓦片的边界处的CABAC状态预先存储。这样，单核解码过程需要在比特流中跳跃。这是因为，瓦片分割变更编码单位的编码顺序。
此外，依存切片有效的情况下，单核解码更加复杂。以下示出图23所示的分割后的图片的解码。
在第1步骤中，切片521的编码单位行第1行被解码。在第2步骤中，切片522的切片地址被解码。切片地址包含在切片头中而被信号传送。切片地址由LCU数表示，表示切片开始的比特流内的位置。此外，切片地址与瓦片2中包含的第一个编码单位不同。
在第3步骤中，切片523被解码。切片地址虽然是正确的，但是该切片是依存切片。因此，切片523使用瓦片1中包含的切片522的切片头。因此，解码处理跳跃而返回到切片522，其头被解码。然后，解码处理返回到切片523的解码，所以跳跃而前进。然后，切片523的解码开始。
从该简单的例子可知，图像解码装置需要在比特流内跳跃而向后返回或向前前进，开始瓦片2的解码时，需要进行追加的确认。这是为了使用依存切片而在瓦片间产生了依存性。
与此相对，在本实施方式中，实现能够应用依存切片及瓦片的效果的手法。具体地说，通过对于图片向切片及瓦片的分割设置限制，能够按照通常的顺序可靠地进行适当的编码及解码。
本实施方式的图像解码装置，对包含多个帧的编码影像序列的比特流进行解码，该多个帧分别包含多个图像切片及图像瓦片。各图像切片及各图像瓦片包含多个编码单位。该图像解码装置具备解析部，该解析部从比特流提取(解析)瓦片1和在瓦片1的下一个被编码的瓦片2。帧被分割为切片及瓦片，以使在算术解码部对瓦片2的解码中，不需要瓦片1的分割信息。
该图像解码装置还具备算数解码部，通过至少部分地对瓦片1及瓦片2并行地进行算术解码，对切片进行解码。
此外，本实施方式的图像编码装置至少部分地使用算术码，将包含被分割为多个编码单位的多个图像切片的影像向比特流编码。
该图像编码装置具备：比特流生成部，将在第1瓦片及所述第1瓦片的下一个被编码的第2瓦片嵌入到所述比特流；以及算数编码部，将所述各帧分割为所述切片及所述瓦片，对所述第1瓦片及所述第2瓦片至少部分地进行并行算术编码，从而对所述各切片进行编码，以使在通过算术解码部对所述第2瓦片进行解码时，不需要所述第1瓦片的分割信息即可。
在本实施方式的第1例中，在瓦片为有效、且能够同时利用依存切片的情况下，通常切片仅在瓦片的开头开始。即，tiles_enabled_flag与1同等、同时dependent_slice_enabled_flag与1同等的情况下，各通常切片必须在瓦片的开始位置开始。
在此，在tiles_enabled_flag及dependent_slice_enabled_flag的双方包含在图片参数集中。
另外，dependent_slice_enabled_flag与0同等的情况下，仅使用通常切片。由此，能够回避上述问题。这与在图22B所示的图片中全部切片为通常切片的情况对应。
这样，在第1例中，头在其他切片中被使用的切片(通常切片)总是在瓦片的开头开始。换言之，图像的开头切片是通常切片，其他切片是依存切片。即，通常切片仅作为图像的开头切片被允许。此外，开头以外的切片总是依存切片。例如，图25C所示的图片被允许，但是图25B所示的图片不被允许。
在本实施方式的第2例中，在瓦片为有效、且通常切片在瓦片的开始位置以外的位置开始的情况下，下一个被编码的瓦片不从依存切片开始。即，tiles_enabled_flag与1同等、slice_address与瓦片的开始地址同等的情况下，下一瓦片不从依存切片开始。
由此，如使用图23所说明，对依存切片523进行解码时，跳跃到通常切片522的切片头并返回的处理不会发生。即，切片523作为依存切片不被允许。这是因为，通常切片522不从瓦片的开始位置开始，而是在瓦片内开始。
因此，在本实施方式中，将头用于其他切片的切片(通常切片)不在瓦片的开头开始的情况下，在该瓦片的下一个被编码的瓦片不从在解码中使用其他切片的头的切片(依存切片)开始。
这样，在第2例中，在通常切片从第1瓦片的开头以外开始的情况下，该第1瓦片的下一个被编码的第2瓦片不从依存切片开始。即，第1瓦片的第2个或其以后的切片中的至少一个是通常切片的情况下，第2瓦片的开头切片是通常切片。
例如，如图25A所示，瓦片1中包含的通常切片(3)存在的情况下，无法将瓦片2的开头切片(4)设定为依存切片。此外，切片(2)及切片(3)的至少一方是通常切片的情况下，无法将切片(4)设定为依存切片。因此，如图25B所示，需要将切片(4)设定为通常切片。此外，在第2例中，图25C所示的图片也被允许。
在本实施方式的第3例中，瓦片以依存切片开始的情况下，完全的瓦片包含在依存切片中。即，瓦片从在解码中使用其他切片的头的切片开始的情况下，瓦片整体包含在该切片内。
这样，在第3例中，在第3瓦片的开头是依存切片的情况下，该依存切片包含第3瓦片整体。换言之，第3瓦片仅包含一个依存切片。例如，如图26A所示，瓦片2以依存切片(4)开始的情况下，不允许瓦片2包含多个切片。因此，如图26B所示，瓦片2需要仅包含一个依存切片(4)。
在本实施方式的第4例中，tiles_enabled_flag与1同等、切片(通常切片或依存切片)在瓦片的中间开始的情况下，接下来被编码的瓦片不从依存切片开始。另外，在此，“瓦片的中间”不是指实际的中间，而是切片的第一个CTB不是瓦片的第一个CTB。即，“瓦片的中间”指的是瓦片内。
即，切片不在瓦片的开头开始的情况下，接下来被编码的瓦片不从使用其他切片的头的切片开始。换言之，第1瓦片包含从第1瓦片的开头以外开始的切片的情况下(第1瓦片包含多个切片的情况)，第2瓦片不从依存切片开始。例如，如图27A所示，瓦片1包含多个瓦片的情况下，不允许将瓦片2的开头切片(4)设定为依存切片。因此，如图27B所示，需要将瓦片2的开头切片(4)设定为通常切片。
另外，与瓦片相关联的本实施方式及其他实施方式能够组合，也可以将特定的规则及限制组合。
此外，在本实施方式的另一例中，tiles_enabled_flag与1同等的情况下，依存切片不被许可。即，虽然允许将依存切片与WPP一起使用，但是不允许与瓦片一起使用。由此，能够避免使用瓦片时的追加问题。即，使用瓦片的情况下，切片不会将其他切片的头用于解码。
此外，在上述限制的应用之外、或者取代上述限制，在依存切片有效、且WPP及瓦片的某一个有效的情况下，也可以将表示上述限制的指示符嵌入到比特流。例如，该指示符被嵌入到SPS或PPS。另外，该指示符也可以嵌入SEI消息等其他消息或任意的视频可用性信息(VUI)消息。
基于该指示符，图像解码装置掌握所应用的限制。例如，该限制是通常切片仅可以在瓦片的开头(或者，WPP的情况下，LCU行的开头)开始的限制。另外，这只是限制的一例，也可以应用上述的限制的某一个、或这些限制的组合、或没有明确记载的追加限制。
例如，该指示符可以是对规定的限制表示是否应用该限制的1比特的标志。此外，可以有多个可选择的限制，表示所选择的限制的信息包含在比特流中被信号传送到图像解码装置。即，也可以不像上述例子那样明示地限制使用，而是向图像解码装置通知图像编码装置使用这样的限制。因此，可以应用与限制相关联的上述例的某一个。
这样，本发明的一个方式的图像解码方法包括从比特流取得表示图片的分割被限制的限制指示符的步骤。此外，本发明的一个方式的图像编码方法包括向比特流嵌入表示图片的分割被限制的限制指示符的步骤。
另外，也可以根据WPP或瓦片是否有效化来决定是否追加指示符。此外，追加指示符的情况下，也可以不使依存切片有效化。即，可以与依存切片的利用的有效及无效无关地追加指示符。
此外，也可以将表示对象切片的父切片在瓦片的开头开始的指示符追加到比特流。即，本发明的一个方式的图像解码方法，包括从比特流取得表示切片头在依存切片中被使用的父切片是否从瓦片开头开始的指示符的步骤。此外，本发明的一个方式的图像编码方法，包括向比特流嵌入表示切片头在依存切片中被使用的父切片是否从瓦片开头开始的指示符的步骤。
此外，也可以向比特流追加表示图片中包含的全部切片使用同一切片头的指示符。即，该指示符表示，存在于通常切片的头且不存在于依存切片的头的全部句法要素对于图片中包含的全部切片是相同的。
这样，也可以在比特流中包含表示图片的分割被规定的规则限制的限制指示符。
此外，也可以向比特流嵌入表示对象切片的父切片是否在瓦片的开头开始的指示符。在此，父切片的头在对象切片中使用。
此外，本发明的一个方式的图像解码方法，对包含将图像分割为多个瓦片并且分割为多个切片而编码得到的编码信号的比特流进行解码，包括对所述编码信号进行解码的解码步骤。此外，本发明的一个方式的图像编码方法，将图像分割为多个瓦片并且分割为多个切片而进行编码，从而生成比特流，包括：分割步骤，将图像分割为多个瓦片并且分割为多个切片；以及编码步骤，对分割后的多个瓦片及多个切片进行编码。
此外，多个切片的每一个是通常切片和依存切片中的某一个。通常切片是该切片的切片头中包含的信息可能被用于其他切片的切片。依存切片是在解码中使用其他切片的切片头中包含的信息的切片。在此，其他切片指的是，例如位于依存切片之前、并且最近的通常切片。
此外，在分割步骤中，将图像分割为多个瓦片并且分割为多个切片，以满足上述的限制的1个或多个。
此外，在解码步骤中，也可以将第1瓦片及第2瓦片并行解码，在开始第2瓦片的解码时，不参照表示第1瓦片中的切片构造的分割信息而将第2瓦片解码。此外，在分割步骤中，将图像分割为多个瓦片并分割为多个切片，以使在图像解码装置中对第1瓦片及第2瓦片进行并行解码的情况下，在该图像解码装置开始第2瓦片的解码时，不参照表示第1瓦片中的切片构造的分割信息就能够将第2瓦片解码。
在此，分割信息指的是，例如表示切片位置(开头位置)或切片头的位置的信息。图像解码装置通过参照该分割信息，进行将上述处理对象的瓦片跳过的处理。
此外，如上述那样，在切片头中包含表示该切片是通常切片还是依存切片的信息(dependent_slice_flag)。即，图像解码方法包括从切片头取得表示切片是通常切片还是依存切片的信息的步骤。此外，图像编码方法包括向切片头嵌入表示切片是通常切片还是依存切片的信息的步骤。
此外，与在WPP的情况下如上讨论的同一问题在瓦片中也发生。因此，上述的解决方案也能够应用于瓦片。取代WPP而将瓦片有效化的情况下，并行处理的部分不是LCU行，而是由LCU构成的瓦片。即，上述的解决方案通过将LCU行置换为瓦片，能够直接用于瓦片。
如上述那样，比特流可以包含通常切片及依存切片，它们的解码基于在通常切片的切片头中被信号传送的参数。
在本发明的一个方式中，应用如下的限制：在通常切片不在瓦片的开始位置开始的情况下，依存于通常切片的依存切片无法接续于该通常切片。
此外，在本发明的一个方式中，应用如下的限制：将图像分割为切片，以仅将图像中包含的第1个切片设为通常切片，而将剩余的切片设为依存切片。
此外，通过由各依存切片的算术解码部使用父切片的切片头，产生切片的依存性。
此外，在本发明的一个方式中，能够应用依存切片的情况下，限制指示符被嵌入到比特流。该依存切片包含编码图像数据，是使用其他切片的头的参数的切片。
此外，限制可以是上述的任一限制，可以是这样的限制的组合，可以是以上例示的限制以外的限制。
此外，本发明的一个方式的装置将至少部分地通过算术码编码的、包含多个图像切片及多个图像瓦片的编码影像序列的比特流进行解码，具备：解析部，从所述比特流的所述切片用的数据提取表示切片的算术解码的概率模型是否以规定值被初始化的初始化指示符；控制部，按照所述初始化指示符，控制是否以所述规定值将算术解码用的所述概率模型初始化；以及算数解码部，通过进行算术解码，将所述切片解码。
此外，本发明的一个方式的装置，至少部分地通过算数码将包含多个图像切片的影像序列编码，生成比特流，具备：比特流生成部，向所述比特流数据的所述切片用的数据嵌入表示切片的算术解码的概率模型是否以规定值被初始化的初始化指示符；控制部，按照所述初始化指示符，控制是否以所述规定值将算术编码用的所述概率模型初始化；以及算数编码部，通过进行算术编码，将所述切片编码。
例如，所述初始化指示符被嵌入到所述切片的头数据。
例如，该初始化指示符是1比特标志。在该1比特标志中，“1”表示算术解码的概率模型以规定值被初始化，“0”表示算术解码的概率模型通过其他方法被初始化。
例如，也可以将图像的切片分割为与图像的像素块对应的编码单位，也可以仅在切片是使用其他切片的头的参数的切片、即依存切片的情况下，解析部提取头数据中的初始化指示符。
例如，可以仅在能够进行瓦片的并行解码的情况下，解析部提取头数据的初始化指示符。或者，可以仅在切片在瓦片的开头开始的情况下，解析部提取头数据的初始化指示符。
例如，初始化指示符被嵌入切片头之外的SEI消息。
另外，在上述说明中使用过的“切片(通常切片或依存切片)”有时也被称为“切片段(通常切片段或依存切片段)”。这种情况下，将包含1个以上的连续的切片段(segment)的单位称为“切片”。具体地说，一个切片包括一个通常切片段和在该通常切片段之后连续的1个以上的依存切片段。即，某通常切片段的紧之后是通常切片段的情况下，切片仅包含该通常切片段。此外，在某通常切片段的紧之后1个以上的依存切片段连续的情况下，切片包含该通常切片段和该1个以上的依存切片段。即，从通常切片段到下一通常切片段紧前的依存切片段为止，包含在一个切片中。
此外，使用这样的定义的情况下，上述的瓦片和切片的限制可以说与以下的定义对应。
需要满足以下的二个条件中的至少一方。(1)某切片中包含的全部编码树单位属于同一瓦片。(2)某瓦片中包含的全部编码树单位属于同一切片。
在此，编码树单位是与上述的LCU及编码树块同样的意思。
此外，需要满足以下的二个条件中的至少一方。(1)某切片段中包含的全部编码树单位属于同一瓦片。(2)某瓦片中包含的全部编码树单位属于同一切片段。
以上说明了实施方式的图像编码方法及图像解码方法，但是本发明不限于该实施方式。
上述图像编码方法及图像解码方法通过图像编码装置及图像解码装置来实现。此外，图像编码装置及图像解码装置的构成例如与图1及图2所示的构成同样，上述图像编码方法及图像解码方法中包含的特征性步骤通过图1及图2所示的某一个处理部或未图示的处理部执行。
此外，上述实施方式的图像编码装置及图像解码装置中包含的各处理部，典型地以作为集成电路的LSI来实现。可以将它们单独地单芯片化，也可以包含一部分或全部地单芯片化。
此外，集成电路化不限于LSI，也可以通过专用电路或通用处理器来实现。也可以利用在LSI制造后可编程的FPGA(Field Programmable Gate Array)、或者能够将LSI内部的电路单元的连接或设定重构的可重构处理器。
在上述各实施方式中，各构成要素可以由专用的硬件构成，也可以通过执行适于各构成要素的软件程序来实现。各构成要素也可以通过由CPU或处理器等程序执行部读出硬盘或半导体存储器等记录介质中记录的软件程序并执行来实现。
换言之，图像编码装置及图像解码装置具备控制电路(control circuitry)和与该控制电路电连接的(能够从该控制电路访问的)存储装置(storage)。控制电路包括专用的硬件及程序执行部的至少一方。此外，存储装置在控制电路包括程序执行部的情况下，存储由该程序执行部执行的软件程序。
进而，本发明可以是上述软件程序，也可以是记录了上述程序的非暂时性的计算机可读取的记录介质。此外，上述程序当然可以经由因特网等传输介质来流通。
此外，上述使用过的数字只是为了具体说明本发明而例示的，本发明不限于例示的数字。
此外，框图中的功能块的分割只是一例，可以将多个功能块作为一个功能块来实现，或将一个功能块分割为多个，或将一部分功能转移到其他功能块。此外，可以由单一的硬件或软件并行或分时地对具有类似功能的多个功能块的功能进行处理。
此外，执行上述的图像编码方法或图像解码方法中包含的步骤的顺序是为了具体说明本发明而例示的，也可以是上述以外的顺序。此外，上述步骤的一部分可以与其他步骤同时(并行)执行。
以上基于实施方式说明了本发明的一个或多个方式的图像编码装置及图像解码装置，但是本发明不限于该实施方式。只要不脱离本发明的主旨，对本实施方式施加了本领域技术人员能够想到的各种变形而得到的方式，以及将不同实施方式中的构成要素组合而构成的方式，都包含在本发明的一个或多个方式的范围内。
(实施方式5)
通过将用来实现上述各实施方式所示的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。
进而，这里说明在上述各实施方式中示出的运动图像编码方法(图像编码方法)及运动图像解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。
图28是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。
该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex107～ex110连接着计算机ex111、PDA(Personal Digital Assistant)ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。
但是，内容供给系统ex100并不限定于图28那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex107～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。
照相机ex113是能够进行数字摄像机等的运动图像摄影的设备，照相机ex116是能够进行数字照相机等的静止图像摄影、运动图像摄影的设备。此外，便携电话ex114是GSM(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W－CDMA(Wideband－Code Division Multiple Access)方式、或LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)的便携电话机、或PHS(Personal Handyphone System)等，是哪种都可以。
在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场转播等。在现场转播中，对用户使用照相机ex113摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理(即，作为本发明的一个方式的图像编码装置发挥作用)，向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现(即，作为本发明的一个方式的图像解码装置发挥作用)。
另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或运动图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。
此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码解码用的软件装入到能够由计算机ex111等读取的某些记录介质(CD－ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话ex114 具有的LSIex500编码处理的数据。
此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。
如以上这样，在内容供给系统ex100中，客户端能够接收编码的数据而再现。这样，在内容供给系统ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。
另外，并不限定于内容供给系统ex100的例子，如图29所示，在数字广播用系统ex200中也能够装入上述实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码装置(图像解码装置)的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的运动图像编码方法编码后的数据(即，通过本发明的一个方式的图像编码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机(接收机)ex300或机顶盒(STB)ex217等的装置将接收到的复用数据解码并将其再现(即，作为本发明的一个方式的图像解码装置发挥作用)。
此外，也可以是，在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以是，在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入运动图像解码装置。
图30是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。
此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305(即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用)的信号处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。
首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以是，在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。
此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以是，不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。
此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。
作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图31中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。
以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用近场光进行高密度的记录的结构。
在图32中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽(沟)，在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。
以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。
此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现运动图像。另外，车载导航仪ex211的结构可以考虑例如在图30所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114等中也可以考虑同样的结构。
图33A是表示使用在上述实施方式中说明的运动图像解码方法和运动图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。
进而，使用图33B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD(Liquid Crystal Display：液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。
电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话ex114起动为能够动作的状态。
便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话ex114在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。
进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex358。
在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的运动图像编码方法进行压缩编码(即，作为本发明的一个方式的图像编码装置发挥作用)，将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。
复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。
在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的运动图像编码方法相对应的运动图像解码方法进行解码，由此对影像信号进行解码(即，作为本发明的一个方式的图像解码装置发挥作用)，经由LCD控制部ex359从显示部ex358显示例如链接到主页的运动图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。
此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。
这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。
此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。
(实施方式6)
也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、与依据MPEG－2、MPEG4－AVC、VC－1等不同的标准的运动图像编码方法或装置根据需要而适当切换，来生成影像数据。
这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。
为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG－2传输流形式的数字流。
图34是表示复用数据的结构的图。如图34所示，复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流(IG)表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的运动图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的运动图像编码方法或装置编码。音频流由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。
包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。
图35是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。
图36更详细地表示在PES包序列中怎样保存视频流。图36的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图36的箭头yy1、yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS(Presentation Time-Stamp)及作为图片的解码时刻的DTS(Decoding Time-Stamp)。
图37表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD－ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS(Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图37下段所示排列，从复用数据的开头起递增的号码被称作SPN(源包号)。
此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS及DTS的时间轴的STC(System Time Clock)的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。
图38是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。
在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。
复用数据信息文件如图39所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。
复用数据信息如图39所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。
流属性信息如图40所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、取样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。
在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的运动图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。
此外，在图41中表示本实施方式的运动图像解码方法的步骤。在步骤exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的运动图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的运动图像解码方法进行解码。
这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的运动图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的运动图像编码方法或装置、或者运动图像解码方法或装置用在上述任何设备、系统中。
(实施方式7)
在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图42中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。
例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。
另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片，也可以形成多个芯片。
此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex510的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。
另外，这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。
此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。这种可编程逻辑器件典型地通过载入或从存储器等读入构成软件或固件的程序，能够执行上述各实施方式所示的运动图像编码方法或运动图像解码方法。
进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。
(实施方式8)
在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。
为了解决该问题，电视机ex300、LSIex500等的运动图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图43表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。
更具体地讲，驱动频率切换部ex803由图42的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图42的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式8中记载的识别信息。关于识别信息，并不限定于在实施方式8中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图45所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。
图44表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。
进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。
此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。
进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，将停止时间设定得短。
这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。
(实施方式9)
在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。
为了解决该问题，采用将用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理部一部分共用的结构。图46A的ex900表示该结构例。例如，在上述各实施方式中示出的运动图像解码方法和依据MPEG4－AVC标准的运动图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4－AVC标准的解码处理部ex902，关于不对应于MPEG4－AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。特别是，本发明的一个方式在图片的分割处理方面具有特征，因此可以考虑例如对于图片的分割处理使用专用的解码处理部ex901，对于除此之外的逆量化、熵解码、解块滤波器、运动补偿中的某一个或者全部的处理，共用解码处理部。关于解码处理部的共用，也可以是如下结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的运动图像解码方法的解码处理部，关于MPEG4－AVC标准所特有的处理内容，使用专用的解码处理部。
此外，用图46B的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的运动图像解码方法和其他的以往标准的运动图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。
这样，对于在本发明的一个方式的运动图像解码方法和以往的标准的运动图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。
工业实用性
本发明能够适用于图像编码方法、图像解码方法、图像编码装置及图像解码装置。另外、本发明能够利用于具备图像编码装置的电视机、数字录像机、导航仪、便携电话、数字照相机以及数字摄像机等高析像度的信息显示设备或摄像设备。
标记说明：
100 图像编码装置
101 输入图像信号
105 减法器
106 残差信号
110 变换部
111 变换系数
120 量化部
121、291 量化系数
130、230 逆变换部
131、231 残差信号
140、240 加法器
141、151、161、171、241、251、261、271 解码图像信号
150、250 解块滤波器
160、260 自适应环路滤波器
170、270 参照帧缓存
180、280 预测部
181、281 预测信号
190 熵编码部
191、201 编码信号
200 图像解码装置
290 熵解码部
300、310、330、340、350、360、370、390、400、410、420、500 图片
301、302、311、312、313、314、321、381 行
320、380 切片头
331、332、333、341、342、343、344、351、354、361、362、363、364、365、371、372、373、374、391、392、393、394、401、402、403、404、411、412、413、414、415、421、422、423、424、521、522、523、524 切片
501、502、511、512 瓦片
513 边界