专利名称：图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编解码装置的制作方法
技术领域：
本发明涉及使用多个帧内预测模式对图像进行编码的图像编码方法。
背景技术：
作为与使用多个帧内预测模式对图像进行编码的图像编码方法有关的技术，有非专利文献I及非专利文献2中记载的技术。在先技术文献
非专利文献非专利文献1:1TU_T Recommendation H. 264 “Advanced video coding forgeneric audiovisual services，，, 2010 年 3 月非专利文献2 JCT-VC “WD3 fforking Draft3of High-Efficiency VideoCoding”，JCTVC-E603, March2011.发明的概要发明所要解决的课题但是，图像的低效率的编码导致处理的延迟，对图像的解码也有影响。
发明内容
在此，本发明的目的在于，提供一种高效地对图像的信息进行编码的图像编码方法。 解决课题所采用的手段为了达成上述目的，本发明的一个方式的图像编码方法，使用多个帧内预测模式对图像进行编码，该图像编码方法包括编码步骤，对在所述图像的编码中使用的表示第I帧内预测模式的第I二值化数据及在所述图像的编码中使用的表示第2帧内预测模式的第2 二值化数据进行编码；在所述编码步骤中，通过上下文自适应算术编码，对作为所述第I二值化数据的一部分的第I上下文自适应部分及作为所述第2 二值化数据的一部分的第2上下文自适应部分进行编码，该上下文自适应算术编码是使用基于已编码数据来更新的变动概率的算术编码，通过旁路编码，对作为所述第I 二值化数据的另一部分的第I旁路部分及作为所述第2 二值化数据的另一部分的第2旁路部分进行编码，该旁路编码是使用预先决定的固定概率的算术编码，生成编码数据，该编码数据包含所述第I上下文自适应部分及所述第2上下文自适应部分，并且在所述第I上下文自适应部分及所述第2上下文自适应部分之后包含所述第I旁路部分及所述第2旁路部分。另外，这些整体或具体的方式可以由装置、系统、集成电路、计算机程序或计算机可读取的CD-ROM等非暂时性记录介质来实现，也可以通过装置、系统、方法、集成电路、计算机程序及记录介质的任意组合来实现。发明的效果
通过本发明，能够将图像的信息有效地编码。
图1是表示帧内预测模式的编码处理的流程图。图2是表示帧内预测模式解码部的构成的一例的模块图。图3是表示帧内预测模式的解码处理的流程图。图4是表示算术解码方法的上下文自适应算术解码处理的流程图。图5是表示算术解码方法的旁路算术解码处理的流程图。图6是表示算术解码方法的标准化(正規化)处理的流程图。
·
图7是表示实施方式I的帧内预测模式解码部的构成的模块图。图8是表示实施方式I的帧内预测模式解码部的处理的流程图。图9是用于说明实施方式I的动作的一例的图。图10是表示实施方式I的图像解码装置的构成的一例的模块图。图11是表示实施方式I的变形例的帧内预测模式解码部的构成的模块图。图12是表示实施方式I的变形例的二值化代码串的一例的图。图13是表示实施方式I的变形例的帧内预测模式解码部的处理的流程图。图14是表示实施方式I的变形例的数据构造的一例的语法图。图15是表示实施方式2的帧内预测模式的编码处理的流程图。图16是表示实施方式2的图像编码装置的构成的一例的模块图。图17是表示实施方式3的图像编码装置的构成的一例的模块图。图18是表示实施方式3的图像编码装置的处理的流程图。图19是表示实施方式3的图像解码装置的构成的一例的模块图。图20是表示实施方式3的图像解码装置的处理的流程图。图21是表示实施方式3的语法的一例的图。图22是表示实施方式3的亮度的算术编码的图。图23是表示实施方式3的色差的算术编码的图。图24是表示实施方式3的图像的块的图。图25是表示实施方式3的语法的第I变形例的图。图26是表示实施方式3的语法的第2变形例的图。图27是表示实施方式3的语法的第3变形例的图。图28是实现内容分发服务的内容供给系统的整体结构图。图29是数字广播用系统的整体结构图。图30是表示电视机的结构例的模块图。图31是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。图32是表示作为光盘的记录介质的构造例的图。图33A是表示便携电话的一例的图。图33B是表示便携电话的结构例的模块图。图34是表示复用数据的结构的图。
图35是示意地表示各流在复用数据中怎样被复用的图。图36是更详细地表示在PES包序列中视频流怎样被保存的图。图37是表示复用数据的TS包和源包的构造的图。图38是表示PMT的数据结构的图。图39是表示复用数据信息的内部结构的图。图40是表示流属性信息的内部结构的图。图41是表示识别影像数据的步骤的图。图42是表示实现各实施方式的动态图像编码方法及动态图像解码方法的集成电路的结构例的模块图。图43是表示切换驱动频率的结构的图。图44是表示识别影像数据、切换驱动频率的步骤的图。图45是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。图46A是表示将信号处理部的模块共用的结构的一例的图。图46B是表不将信号处理部的模块共用的结构的另一例的图。
具体实施例方式(本发明的基础知识)在用于压缩影像数据的影像编码标准中，有用H. 26x表示的ITU_T(国际电气通信联合电气通信标准化部门)标准及用MPEG-x表示的IS0/IEC标准。最新且最先进的影像编码标准是用H. 264/MPEG-4AVC表示的标准(非专利文献I)。并且，作为下代图像编码标准的HEVC (High Efficiency Video Coding)标准作为下一标准而开展了研究(非专利文献2)。作为在这些标准中使用的技术，有参照图片间的像素信息来对影像数据进行压缩的中贞间预测编码(inter prediction encoding)、及参照图片内的像素信息来对影像数据进行压缩的巾贞内预测编码(intra prediction encoding)。在帧内预测编码中，按照帧内预测模式(IntraPredMode)来区分用于从周边像素值生成预测像素值的方向等。使用帧内预测编码的情况下，帧内预测模式从多个帧内预测模式中选择。该多个帧内预测模式的数量(intraPredModeNum)根据编码对象的块的尺寸来决定。例如，巾贞内预测模式的数量根据表示块的尺寸的log2TrafoSize的值及预测单元(PU Prediction Unit)的种类来决定。更具体地说，对于log2TrafoSize的值为3以上且5以下的块，将intraPredModeNum的值设定为34,准备34个巾贞内预测模式。帧内预测模式的值(或标签)表示预测的方向。例如,O表示垂直(方向)，I表示水平(方向)，2表示被称为DC模式预测的无方向，3以上(在预定的尺寸的块中为3以上且33以下)表示分别建立了对应的方向。与亮度对应的帧内预测模式和与色差对应的帧内预测模式也可以不同。以下，将与亮度对应的帧内预测模式称为亮度预测模式，将与色差对应的帧内预测模式称为色差预测模式。用于确定对帧内预测对象块使用多个帧内预测模式中的哪个模式的模式信息，作为预测单元的信息而被编码。目前，研究了在亮度预测模式的模式信息中包括以下3个要素。第I 要素是 prev_intra_luma_pred_flag (前巾贞内亮度预测标志)。prev_intra_luma_pred_flag是用于决定是否使用以前编码(解码)的相邻的预测单元的巾贞内预测模式的值的标志。第2要素是mpm_idx (最佳模式索引)。mpm_idx表示在存在2以上的帧内预测模式的候选(最佳模式)的情况下，选择哪个最佳模式的索引。例如，mpm_idx的默认值为0，表不选择第I个最佳模式。第3要素是rem_intra_luma_pred_mode (剩余巾贞内亮度预测模式)。rem_intra_luma_pred_mode是与亮度预测模式建立了对应的代码(值)。另一方面，正在研究在与色差对应的帧内预测模式的模式信息中包括intra_ chroma_pred_mode (巾贞内色差预测模式)。intra_chroma_pred_mode是与色差预测模式对应的代码(值)。在解码过程中，通过算术解码方法等预定的可变长度解码方式，从代码串提取该模式信息。并且，使用模式信息来导出帧内预测模式。或者，导出用于导出帧内预测模式的信息。例如，亮度预测模式以O以上33以下的编号来表现，是34个模式中的某一个。此外，例如色差预测模式以O以上4以下的编号来表现，是5个模式中的某一个。图1是表示帧内预测模式的编码处理的流程图。在算术编码时，亮度预测模式作为bins而被二值化(SB00)。然后，将I代入变量N (SBOl)0然后，取得与亮度预测模式用的上下文索引CtxIdx对应的概率值(更具体地说，是用于参照概率值的索引pStateldx) (SB02)。然后，基于所取得的概率值，进行第N个比特的算术编码(SB03 )。基于编码后的第N个比特是O还是I，更新与ctxldx对应的概率值(pStateldx) (SB04)。若尚未完成全部比特的编码(SB06 :否)，则对N加上I (SB05)，对下一比特进行编码。另外，亮度预测模式用的CtxIdx是预先决定的索引。在同种N比特的信号的算术编码中，使用与相同的ctxldx对应的概率值(pStateldx)。更具体地说,将每当对I比特进行编码时更新的概率值(pStateldx)用于编码。在全部二值化比特的编码结束的时点(SB06 :是)，处理结束。此外，关于色差，同样地以可变长度的比特来取得表示色差预测模式的intra_chroma_pred_mode。intra_chroma_pred_mode的最初的比特基于与根据上侧及左侧的块的状态导出的ctxldx对应的概率值(pStateldx)进行编码。以后的比特基于与预先决定的ctxldx对应的概率值(pStateldx)进行编码。此外,在最初的比特的编码后，与亮度同样地更新概率值。接着，使用图2及图3说明亮度预测模式及色差预测模式的可变长度解码。图2是表示帧内预测模式解码部的构成例的模块图。图3是表示图2所示的帧内预测模式解码部XOO的动作的流程图。首先，亮度预测模式解码部XOl取得比特流BS，取得亮度预测模式用的概率值(SAOl)0接着，亮度预测模式解码部XOl参照所取得的概率值，对亮度预测模式的比特进行解码(SA02)。然后，亮度预测模式解码部XOl基于解码后的比特是O还是I来更新概率值(SA03)。另外，算术解码的详细情况留待后述。解码后的比特不是最后的比特、即解码后的比特不是bin (二进制)的最后的情况下(SA04 :否)，亮度预测模式解码部XOl再次取得亮度预测模式用的概率值。另一方面，解码后的比特是最后的比特的情况下，亮度预测模式解码部XOl结束亮度预测模式的解码处理，并开始色差预测模式的解码处理。另外，解码后的比特是否为最后的比特，通过预先决定的规则(非专利文献2中记载)来判定。接着，色差预测模式解码部X02取得比特流BS，取得色差预测模式用的概率值(SA05)。接着，色差预测模式解码部X02参照所取得的概率值，对色差预测模式进行解码(SA06)。然后，色差预测模式解码部X02基于解码后的比特是0还是1，来更新概率值(SA07)。解码后的比特不是最后的比特的情况下(SA08 :否)，色差预测模式解码部X02再次取得色差预测模式用的概率值。另一方面，解码后的比特是最后的比特的情况下，色差预 测模式解码部X02结束色差预测模式的解码处理。另外，解码后的比特是否为最后的比特，与亮度同样地通过预先决定的规则(非专利文献2中记载)来判定。接着，说明亮度预测模式及色差预测模式的算术解码。作为与H. 264或HEVC相关的技术之一，有上下文自适应算术编码(CABAC :Context Adaptive Binary ArithmeticCoding)。亮度预测模式及色差预测模式的算术解码基于CABAC来执行。以下使用图4、图5及图6来说明CABAC。图4是表示上下文自适应算术解码处理的流程的图。另外，图4是从非专利文献I引用的图，上下文自适应算术解码处理只要没有特别说明，就与非专利文献I所记载的相同。在算术解码处理中，首先，输入基于信号种类决定的上下文索引ctxldx。接着,从表示算术解码的状态的第I参数codIRange导出qCodlRangeldx。然后，取得与ctxldx对应的状态值、即pStateldx。然后,通过使用qCodlRangeldx及pStateldx来参照表 rangeTableLPS,取得 codlRangeLPS。另外，该codlRangeLPS表示与表示发生LPS (符号0及I中的发生概率较低的符号)的情况的算术解码的状态的codIRange对应的值。此外，在codIRange中，加入了从当前的codIRange减去前述的codlRangeLPS而得到的值(SC01)。接着，比较所计算出的codIRange和表示算术解码的状态的第2参数codIOffset (SC02)。codIOffset与codIRange相等或大于codIRange的情况下(SC02 :是)，判定为发生了 LPS的符号。然后，对作为解码输出值的binVal设置与valMPS不同的值。即，valMPS=I的情况下,对binVal设置0,在valMPS = 0的情况下,对binVal设置I。另外,valMPS是表示符号0及I中的发生概率较高的符号的MPS的具体值，是0或I。此外，对表示算术解码的状态的第2参数codIOffset设置从codIOffset减去codIRange而得到的值。对表示算术解码的状态的第I参数codIRange设置所计算出的codlRangeLPS 的值(SC03)。pStateldx为0的情况下(SC05 :是)，LPS的概率高于MPS的概率。因此，valMPS被替换。S卩，ValMPS = I的情况下，对valMPS设置0，在valMPS = 0的情况下，对valMPS设置I (SC06)。另一方面，pStateldx不是O的情况下(SC05 :否)，维持valMPS。并且，基于与发生LPS的情况对应的变换表transIdxLPS,来更新pStateldx (SC07)。codIOffset小于codIRange的情况下(SC02 :否)，判定为发生了 MPS的符号。然后，对作为解码输出值的binVal设置valMPS。此外，基于与发生了 MPS的情况对应的变换表 transIdxMPS,来更新 pStateldx (SC04)。最后，进行标准化处理(RenormD) (SC08)。然后，算术解码结束。在上下文自适应算术解码处理中，根据条件来切换与二值符号的发生概率、即符号发生概率对应的上下文索引。例如，上下文索引根据相邻块的值来切换。因此，在上下文自适应算术解码处理中，维持处理的顺序。 图5是表示旁路算术解码处理(旁路解码处理)的流程的图。另外，图5是从非专利文献I引用的图，旁路算术解码处理只要没有特别说明，就与非专利文献I所记载的相同。首先，表示算术解码的状态的第2参数codIOffset进行左移位(2倍)，从比特流读出比特。读出的比特为I的情况下，在放大至2倍的codIOffset中加上I。读出的比特为O的情况下，对codIOffset设置原先的(2倍)的值(SDOl)。接着，在codIOffset与表示算术解码的状态的第I参数codIRange相等或大于codIRange的情况下(SD02 :是)，对作为解码输出值的binVal设置I。然后，对codIOffset设置从codIOffset减去codIRange而得到的值(SD03)。另一方面,在codIOffset小于表示算术解码的状态的第I参数codIRange的情况下(SD02 :否)，对作为解码输出值的binVal设置 O (SD04)。图6是用于详细说明图4的标准化处理(RenormD、SC08)的流程图。图6是从非专利文献I引用的图，标准化处理只要没有特别说明，就与非专利文献I所记载的相同。首先，判定表示算术解码的状态的第I参数codIRange是否小于16进制中的OxlOO (10 进制中的 256) (SEOl)0然后，在codIRange小于0x100的情况下(SE01 :是),codIRange进行左移位(2倍)。此外，表示算术解码的状态的第2参数codIOffset进行左移位(2倍)。然后，从比特流读出比特。读出的比特为I的情况下，对放大至2倍的codIOffset设置I。读出的比特为O的情况下，对codIOffset设置原本(2倍)的值(SE02)。重复上述处理，在最终codIRange成为0x100以上的阶段(SE01 :否)，标准化处理结束。通过进行图4、图5及图6所示的处理，进行帧内预测模式的算术解码。但是，在帧内预测模式的编码及解码中，有时花费时间。例如，用于确定从34个亮度预测模式及5个色差预测模式选择的亮度预测模式及色差预测模式的代码串并不短。在这样的代码串的解码时花费较长的时间。并且，由于对每个块花费较长的时间，作为整体，可能发生显著的延迟。因此，在帧内预测模式的算术编码及算术解码中，不降低编码效率而能够提高处理的并行度的图像编码方法及图像解码方法是有益的。在此，本发明的一个方式的图像编码方法，使用多个帧内预测模式对图像进行编码，该图像编码方法包括编码步骤，对在所述图像的编码中使用的表示第I帧内预测模式的第I二值化数据及在所述图像的编码中使用的表示第2帧内预测模式的第2 二值化数据进行编码；在所述编码步骤中，通过上下文自适应算术编码，对作为所述第I 二值化数据的一部分的第I上下文自适应部分及作为所述第2 二值化数据的一部分的第2上下文自适应部分进行编码，该上下文自适应算术编码是使用基于已编码数据来更新的变动概率的算术编码，通过旁路编码，对作为所述第I 二值化数据的另一部分的第I旁路部分及作为所述第
2二值化数据的另一部分的第2旁路部分进行编码，该旁路编码是使用预先决定的固定概率的算术编码，生成编码数据，该编码数据包含所述第I上下文自适应部分及所述第2上下文自适应部分，并且在所述第I上下文自适应部分及所述第2上下文自适应部分之后包含所述第I旁路部分及所述第2旁路部分。由此，生成旁路解码所使用的多个部分连续的编码数据。因此，能够提高解码处理的并行度。即，将帧内预测模式有效地编码。 例如，也可以是，在所述编码步骤中，对在所述图像的亮度的预测中使用的表示所述第I帧内预测模式的所述第I二值化数据及在所述图像的色差的预测中使用的表示所述第2帧内预测模式的所述第2 二值化数据进行编码。由此，生成旁路解码所使用的多个部分通过亮度预测模式和色差预测模式的组合而连续的编码数据。因此，能够提高解码处理的并行度。此外，例如也可以是，在所述编码步骤中，按照所述第I上下文自适应部分、所述第2上下文自适应部分、所述第2旁路部分及所述第I旁路部分的顺序，生成包含所述第I上下文自适应部分、所述第2上下文自适应部分、所述第2旁路部分及所述第I旁路部分的所述编码数据。由此，生成表示第2帧内预测模式的第2 二值化数据连续的编码数据。因此，减轻了处理的复杂度。此外，例如也可以是，在所述编码步骤中，所述第2 二值化数据不包含所述第2旁路部分的情况下，通过所述上下文自适应算术编码，将所述第2 二值化数据的全部作为所述第2上下文自适应部分进行编码，生成不包含所述第2旁路部分的所述编码数据。由此，在表示第2帧内预测模式的第2二值化数据中不存在旁路编码所使用的部分的情况下，也适当地对第2 二值化数据进行编码。此外，例如也可以是，在所述编码步骤中，对在所述图像中包含的在第I块的亮度的预测中使用的表示所述第I帧内预测模式的所述第I二值化数据及在所述图像中包含的在第2块的亮度的预测中使用的表示所述第2帧内预测模式的所述第2 二值化数据进行编码。由此，生成了旁路解码所使用的多个部分通过多个亮度预测模式的组合而连续的编码数据。因此，能够提高解码处理的并行度。此外，例如也可以是，在所述编码步骤中，对在所述图像中包含的在块的色差的预测中使用的表示所述第2帧内预测模式的所述第2 二值化数据进行编码，对在构成所述块的4个子块的亮度的预测中使用的分别表示所述第I帧内预测模式、第3帧内预测模式、第4帧内预测模式及第5帧内预测模式的所述第I 二值化数据、第3 二值化数据、第4 二值化数据及第5 二值化数据进行编码，在对所述第3 二值化数据、所述第4 二值化数据及所述第5 二值化数据进行编码时，通过所述上下文自适应算术编码，对所述第3 二值化数据的第3上下文自适应部分、所述第4 二值化数据的第4上下文自适应部分、及所述第5 二值化数据的第5上下文自适应部分进行编码，通过所述旁路编码，对所述第3 二值化数据的第3旁路部分、所述第4 二值化数据的第4旁路部分、及所述第5 二值化数据的第5旁路部分进行编码，按照所述第I上下文自适应部分、所述第3上下文自适应部分、所述第4上下文自适应部分、所述第5上下文自适应部分、所述第2上下文自适应部分、所述第2旁路部分、所述第I旁路部分、所述第3旁路部分、所述第4旁路部分及所述第5旁路部分的顺序，生成包含所述第I上下文自适应部分、所述第3上下文自适应部分、所述第4上下文自适应部分、所述第5上下文自适应部分、所述第2上下文自适应部分、所述第2旁路部分、所述第I旁路部分、所述第3旁路部分、所述第4旁路部分及所述第5旁路部分的所述编码数据。由此，将4个亮度预测模式和I个色差预测模式用于块的预测的情况下，也生成了旁路解码所使用的多个部分连续的编码数据。因此，能够提高解码处理的并行度。此外，例如也可以是，在所述编码步骤中，将所述第I旁路部分及所述第2旁路部分并行地进行编码。
由此，将旁路编码所使用的多个部分并行地进行编码。因此，将多个帧内预测模式有效地编码。此外，例如也可以是，在所述编码步骤中，在依据于第I标准的第I编码处理或依据于第2标准的第2编码处理之间切换编码处理，生成包含表示被切换的所述编码处理所依据的所述第I标准或所述第2标准的识别信息在内的比特流，所述编码处理被切换为所述第I编码处理的情况下，生成在所述第I上下文自适应部分及所述第2上下文自适应部分之后包含所述第I旁路部分及所述第2旁路部分的所述编码数据，生成包含所述识别信息和所述编码数据的所述比特流。由此，向解码侧通知编码处理的形式。因此，能够在解码侧适当地切换解码处理。此外，也可以是，本发明的一个方式的图像解码方法，使用多个帧内预测模式对图像进行解码，该图像解码方法包括解码步骤，对在所述图像的解码中使用的表示第I帧内预测模式的第I二值化数据及在所述图像的解码中使用的表示第2帧内预测模式的第2 二值化数据进行解码；在所述解码步骤中，取得如下的编码数据，该编码数据包含作为所述第I二值化数据的一部分的第I上下文自适应部分及作为所述第2 二值化数据的一部分的第2上下文自适应部分，并且在所述第I上下文自适应部分及所述第2上下文自适应部分之后包含作为所述第I二值化数据的另一部分的第I旁路部分及所述作为第2 二值化数据的另一部分的第2旁路部分，通过上下文自适应算术解码，对所述第I上下文自适应部分及所述第2上下文自适应部分进行解码，该上下文自适应算术解码是使用基于已解码数据来更新的变动概率的算术解码，通过旁路解码，对所述第I旁路部分及所述第2旁路部分进行解码，该旁路解码是使用预先决定的固定概率的算术解码。由此，取得旁路解码所使用的多个部分连续的编码数据。因此，能够提高解码处理的并行度。即，帧内预测模式有效地进行解码。例如也可以是，在所述解码步骤中，对在所述图像的亮度的预测中使用的表示所述第I帧内预测模式的所述第I二值化数据及在所述图像的色差的预测中使用的表示所述第2帧内预测模式的所述第2 二值化数据进行解码。由此，取得了旁路解码所使用的多个部分通过亮度的帧内预测模式和色差的帧内预测模式的组合而连续的编码数据。因此，能够提高解码处理的并行度。此外，例如也可以是，在所述解码步骤中，按照所述第I上下文自适应部分、所述第2上下文自适应部分、所述第2旁路部分及所述第I旁路部分的顺序，取得包含所述第I上下文自适应部分、所述第2上下文自适应部分、所述第2旁路部分及所述第I旁路部分的所述编码数据。由此，取得了表示第2帧内预测模式的第2 二值化数据连续的编码数据。因此，·减轻了处理的复杂度。此外，例如也可以是，在所述解码步骤中，在所取得的所述编码数据不包含所述第2旁路部分的情况下，通过所述上下文自适应算术解码来对所述第2上下文自适应部分进行解码，从而对所述第2 二值化数据的全部进行解码。由此，在表示第2帧内预测模式的第2 二值化数据中不存在旁路解码所使用的部分的情况下，也适当地将第2 二值化数据解码。此外，例如也可以是，在所述解码步骤中，对在所述图像中包含的第I块的亮度的预测中使用的表示所述第I帧内预测模式的所述第I二值化数据及在所述图像中包含的第2块的亮度的预测中使用的表示所述第2帧内预测模式的所述第2 二值化数据进行解码。由此，取得了旁路解码所使用的多个部分通过多个亮度预测模式的组合而连续的编码数据。因此，能够提高解码处理的并行度。此外，例如也可以是，在所述解码步骤中，对在所述图像中包含的块的色差的预测中使用的表示所述第2帧内预测模式的所述第2 二值化数据进行解码，对在构成所述块的4个子块的亮度的预测中使用的分别表示所述第I帧内预测模式、第3帧内预测模式、第4帧内预测模式及第5帧内预测模式的所述第I 二值化数据、第3 二值化数据、第4 二值化数据及第5 二值化数据进行解码，在对所述第3 二值化数据、所述第4 二值化数据及所述第5 二值化数据进行解码时，通过所述上下文自适应算术解码，对所述第3 二值化数据的第3上下文自适应部分、所述第4 二值化数据的第4上下文自适应部分、及所述第5 二值化数据的第5上下文自适应部分进行解码，通过所述旁路解码，对所述第3 二值化数据的第3旁路部分、所述第4 二值化数据的第4旁路部分、及所述第5 二值化数据的第5旁路部分进行解码，在取得所述编码数据时，按照所述第I上下文自适应部分、所述第3上下文自适应部分、所述第4上下文自适应部分、所述第5上下文自适应部分、所述第2上下文自适应部分、所述第2旁路部分、所述第I旁路部分、所述第3旁路部分、所述第4旁路部分及所述第5旁路部分的顺序，取得包含所述第I上下文自适应部分、所述第3上下文自适应部分、所述第4上下文自适应部分、所述第5上下文自适应部分、所述第2上下文自适应部分、所述第2旁路部分、所述第I旁路部分、所述第3旁路部分、所述第4旁路部分及所述第5旁路部分在内的所述编码数据。由此，在将4个亮度预测模式和I个色差预测模式用于块的预测的情况下，取得了旁路解码所使用的多个部分连续的编码数据。因此，能够提高解码处理的并行度。此外，例如也可以是，在所述解码步骤中，将所述第I旁路部分及所述第2旁路部分并行地进行解码。由此，将旁路解码所使用的多个部分并行地解码。因此，将多个帧内预测模式有效地解码。
此外，例如也可以是，在所述解码步骤中，取得包含表示第I标准或第2标准的识别信息的比特流，基于所述识别信息，在依据于所述第I标准的第I解码处理或依据于所述第2标准的第2解码处理之间切换解码处理，在所述解码处理被切换为所述第I解码处理的情况下，从所述比特流取得在所述第I上下文自适应部分及所述第2上下文自适应部分之后包含所述第I旁路部分及所述第2旁路部分的所述编码数据。由此，能够基于编码侧的编码处理的形式来适当切换解码处理。此外，这些整体或具体的方式可以通过装置、系统、集成电路、计算机程序或计算机可读取的CD-ROM等非暂时性记录介质来实现，也可以通过装置、系统、方法、集成电路、计算机程序或记录介质的任意组合来实现。以下参照
本发明的一个方式的图像编码方法及图像解码方法。另外，以 下说明的实施方式都表示本发明的一具体例。即，以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置及连接方式、步骤、步骤的顺序等只是一例，不意图限定本发明。此外，对于以下的实施方式中的构成要素中的、未记载于表示最上位概念的独立权利要求中的构成要素，作为任意的构成要素来说明。(实施方式I)图7是表示实施方式I的进行与亮度及色差对应的帧内预测模式、即亮度预测模式及色差预测模式的可变长度解码的帧内预测模式解码部的构成的模块图。本实施方式的帧内预测模式解码部100包括亮度预测模式前缀(prefix)解码部101、亮度预测模式后缀(suffix)解码部102、色差预测模式前缀解码部103、色差预测模式后缀解码部104、亮度预测模式复原部105及色差预测模式复原部106。帧内预测模式解码部100从比特流BS将亮度预测模式LUMA及色差预测模式CRM复原。使用图8详细说明本实施方式的帧内预测模式解码部100的动作。图8是表示帧内预测模式解码部100的动作的流程图。帧内预测模式解码部100取得比特流BS。然后，亮度预测模式前缀解码部101取得亮度预测模式的前缀用的概率值(S201)。该概率值通过预先决定的上下文索引ctxldx来确定，用于亮度预测模式的前缀。接着，亮度预测模式前缀解码部101参照所取得的概率值，对亮度预测模式的前缀的比特进行解码(S202)。然后，亮度预测模式前缀解码部101基于解码后的比特是O还是1，来更新概率值(S203)。另外，算术解码可以是上述的方式，也可以是为了提高效率而改变的方式。解码后的比特不是最后的比特的情况下，即解码后的比特不是bin (二进制)的最后的情况下(S204 :否)，亮度预测模式前缀解码部101再次取得亮度预测模式的前缀用的概率值。另一方面，解码后的比特是最后的比特的情况下，帧内预测模式解码部100结束亮度预测模式的前缀的解码处理，开始色差预测模式的前缀的解码处理。另外，解码后的比特是否为最后的比特，通过预先决定的规则来判定。例如，解码后的比特是否为最后的比特，可以通过bin的长度来判定，也可以通过bin的值(O或I被解码等)来判定。Bin的长度为I的情况下，处理简单化，能够期待高速处理。在判定中使用bin的值的情况下，能够有效控制bin的长度，所以能够期待编码效率的提高。接着，色差预测模式前缀解码部103取得比特流BS，取得色差预测模式的前缀用的概率值(S205)。该概率值通过预先决定的上下文索引ctxldx来确定，用于色差预测模式的前缀。接着，色差预测模式前缀解码部103参照所取得的概率值，对色差预测模式的前缀的比特进行解码(S206)。然后，色差预测模式前缀解码部103基于解码后的比特是0还是1，来更新概率值(3207)。解码后的比特不是最后的比特的情况下，即解码后的比特不是bin (二进制)的最后的情况下(S208 :否)，色差预测模式前缀解码部103再次取得色差预测模式的前缀用的概率值。另一方面，解码后的比特是最后的比特的情况下，帧内预测模式解码部100结束色差预测模式的前缀的解码处理。另外，解码后的比特是否为最后的比特，与亮度的情况同样，通过预先决定的规则来判定。接着，亮度预测模式后缀解码部102进行亮度预测模式的后缀的解码处理
(5209)。亮度预测模式的后缀的解码处理对应于算术解码的旁路处理。在亮度预测模式的前缀的解码处理中，概率被更新，但是在亮度预测模式的后缀的解码处理中，不更新概率。因此，对于亮度预测模式的后缀，能够进行高速处理及并行处理。接着，色差预测模式后缀解码部104进行色差预测模式的后缀的解码处理
(5210)。色差预测模式的后缀的解码处理同样地对应于算术解码的旁路处理。在色差预测模式的前缀的解码处理中，概率被更新，但是在色差预测模式的后缀的解码处理中，不更新概率。因此，对于色差预测模式的后缀，能够进行高速处理及并行处理。最后，亮度预测模式复原部105从亮度预测模式的前缀及亮度预测模式的后缀将亮度预测模式LUMA复原。此外，色差预测模式复原部106从色差预测模式的前缀及色差预测模式的后缀将色差预测模式CRM复原。另外，前缀对应于符号的发生频度的偏差较大的部分。因此，通过上下文自适应算术编码来对前缀进行编码，由此提高了编码效率。并且，在解码时执行上下文自适应算术解码(图4 )。另一方面，后缀设计为与较大的索引值对应的部分。因此，表示后缀的值的范围较大。并且，在与后缀对应的二值化代码串中，符号的发生频度的偏差较小。因此，将符号发生概率看做50%。并且，通过旁路编码来削减处理量。然后，在后缀的解码时执行旁路解码(图 5)。此外，按照图6所示的流程，执行标准化处理。接着，使用图9说明图8所示的解码处理的动作例。图9是用于说明实施方式I的动作的图。图9 (a)表示依次执行多个处理的情况的例子。按照亮度预测模式的前缀的解码处理(LUMA_PREFIX)、色差预测模式的前缀的解码处理(CRM_PREFIX)、亮度预测模式的后缀的解码处理(LUMA_SUFFIX)、及色差预测模式的后缀的解码处理(CRM_SUFFIX)的顺序，执行这些处理。但是，随着利用的图像分辨率的扩大及高速度的实时通信的推广，为了实现高速化而使处理并行化。但是，在前缀的解码处理中，使用上下文自适应算术解码处理。因此，逐次进行符号发生概率的读入处理及更新处理。因此，前缀的解码处理尚未并行化。另一方面，后缀的解码处理的并行化如图9 (b)所示，能够以比特为单位进行。图9 (C)及(d)表示对于在亮度预测模式之后对色差预测模式进行编码的比特流，对各如缀及各后缀进行解码的情况的例子。图9 (C)与图9 (a)对应，图9 (d)与图9 (b)对应。这种情况下也同样，依次对前缀进行处理。此外，如图9(b)所示，能够以比特为单位进行后缀的并行处理。但是，亮度预测模式的后缀和色差预测模式的后缀并未汇总。因此，能够并行化的部分被中断。因此，并行度较低。在图9 (C)及(d)中的顺序中，具有即使不暂时保存帧内预测模式的前缀也能够将帧内预测模式复原的 优点。但是，图9 (a)及(b)中的顺序与图9 (C)及(d)中的顺序相t匕，更利于高速处理。另外，实施方式I的帧内预测模式解码部100存在于对编码图像数据进行解码的图像解码装置中。图10是表示实施方式I的图像解码装置的构成的一例的模块图。图10所示的图像解码装置400对编码图像数据进行解码。例如，在图像解码装置400中，按照每个块将编码图像数据作为解码对象信号来输入。图像解码装置400通过对输入的解码对象信号进行可变长度解码、逆量化及逆变换，将图像数据复原。如图10所示，图像解码装置400具备熵解码部410、逆量化逆变换部420、加法器425、解块滤波器430、存储器440、帧内预测部450、运动补偿部460、帧内/帧间切换开关470。熵解码部410通过对输入信号(输入流)进行可变长度解码，将量化系数复原。另夕卜，在此，输入信号(输入流)是解码对象信号，对应于编码图像数据的每块的数据。此外，熵解码部410从输入信号取得运动数据，并将取得的运动数据输出至运动补偿部460。逆量化逆变换部420通过对由熵解码部410复原的量化系数进行逆量化，将变换系数复原。并且，逆量化逆变换部420通过对复原的变换系数进行逆变换，将预测误差复原。加法器425通过将复原的预测误差和预测信号相加，生成解码图像。解块滤波器430对生成的解码图像进行解块滤波器处理。实施了解块滤波器处理的解码图像作为解码信号输出。存储器440是用于保存运动补偿中使用的参照图像的存储器。具体地说，在存储器440中保存有施加了解块滤波器处理的解码图像。帧内预测部450按照帧内预测模式进行帧内预测，从而生成预测信号(帧内预测信号)。具体地说，帧内预测部450参照由加法器425生成的解码图像中的、解码对象块(输入信号)的周围的图像来进行帧内预测，从而生成帧内预测信号。运动补偿部460基于从熵解码部410输出的运动数据来进行运动补偿，从而生成预测信号(帧间预测信号)。帧内/帧间切换开关470选择帧内预测信号及帧间预测信号的某一个，将选择的信号作为预测信号输出至加法器425。通过以上构成，实施方式I的图像解码装置400对编码图像数据进行解码。另外，在图像解码装置400中，实施方式I的帧内预测模式解码部100包括在熵解码部410中。如上所述，根据实施方式I的图像解码装置及图像解码方法，将帧内预测模式高速地复原。具体地说，如实施方式I所示，将亮度预测模式的上下文自适应部分和色差预测模式的上下文自适应部分组合，将亮度预测模式的旁路部分和色差预测模式的旁路部分组合。由此，能够实现并行处理的多个部分连续。因此，能够实现并行处理、即高速的解码。另外，在上述的说明中，主要对亮度预测模式和色差预测模式示出了后缀的解码处理，但不限于此。例如，也可以单纯地将多个亮度预测模式分为前缀的解码处理和后缀的解码处理，将多个色差预测模式分为前缀的解码处理和后缀的解码处理。由此，也能够预见到一定的处理量削减的效果。这种情况下，能够缩小内部存储器。此外，这种情况下，进行旁路处理的多个部分连续地发生，所能够期待高速处理的效果。另外，也可以是，作为帧内预测模式的二值化串，基于帧内预测模式的发生频度来导出霍夫曼代码(二值化串)。并且也可以是，生成将帧内预测模式和霍夫曼代码建立了对应的表。并且也可以是，将在霍夫曼代码中符号的发生概率发生偏差的部分作为前 缀来选择。这样，通过决定二值化串及前缀，提高了并行度，使解码处理更加高速化。此外，在本实施方式中，将亮度预测模式和色差预测模式组合，但也可以将亮度预测模式的 rem_intra_luma_pred_mode 和色差预测模式的 intra_chroma_pred_mode 组合。(实施方式I的变形例)在实施方式I中，将与上下文自适应算术解码处理对应的前缀和与旁路解码处理对应的后缀以与亮度预测模式及色差预测模式无关的方式分割。由此，使处理高速化。此夕卜，实施方式I也可以如下变形。使用图11、图12、图13及图14来详细说明实施方式I的变形例。图11是表示实施方式I的变形例的帧内预测模式解码部的构成的一例的模块图。图12是表示实施方式I的变形例的亮度预测模式及色差预测模式的组合的索引J0INT_IDX和与该索引对应的二值化串的例子的图。图13是表示图11所示的帧内预测模式解码部500的处理的流程图。在实施方式I中，对于亮度预测模式及色差预测模式使用不同的二值化串。但是，在实施方式I的变形例中，通过与亮度预测模式及色差预测模式的组合对应的索引及二值化串，进一步提高编码效率，使解码处理高速化。例如，如图12所示，对于与亮度预测模式及色差预测模式的组合对应的索引J0INT_IDX，分配二值的代码(0或I)。以下，将亮度预测模式及色差预测模式的组合称为混合(mix)模式。组合的发生频度较高的情况下，分配表示较小的值的索引J0INT_IDX，组合的发生频度较低的情况下，分配表示较大的值的索引J0INT_IDX。例如，可以仅将第I个比特(binO)预先决定为前缀。或者，将第I个比特(binO) 第6个比特(bin5)预先决定为前缀。在实施方式I中，亮度预测模式和色差预测模式基于不同的发生频度而独立地处理。在实施方式I的变形例中，通过亮度预测模式和色差预测模式的组合，提高了编码效率，并且不分割旁路部分，所以能够实现高速处理。混合模式前缀解码部501取得混合模式的前缀用的概率值(S601)。该概率值由预先决定的上下文索引CtxIdx确定，用于混合模式的前缀。接着，参照所取得的概率值，对混合模式的前缀的比特进行解码(S602)。然后，混合模式前缀解码部501基于解码后的比特是O还是1，来更新概率值(S603)。另外，算术解码可以是上述方式，也可以是为了提高效率而改变的方式。解码后的比特不是最后的比特的情况下，即解码后的比特不是bin (二进制)的最后的情况下(S604 :否)，混合模式前缀解码部501再次取得混合模式的前缀用的概率值。另一方面，解码后的比特是最后的比特的情况下，帧内预测模式解码部500结束混合模式的前缀的解码处理，开始混合模式的后缀的解码处理。另外，也可以是，基于图12所示的bin的长度来判定解码后的比特是否为最后的比特。这种情况下，能够进行与性能对应的控制，所以能够期待编码效率的提高。另外，作为前缀的控制的一例，可以通过预测单元的大小(块的大小)来变更前缀。例如，较大的块的情况下，处理时间有富余，所以使前缀较长即可。此外，较小的块的情况下，帧内预测模式的数量较少，使前缀较短即可。接着，混合模式后缀解码部502取得比特流BS，进行混合模式的后缀的解码处理。另外，混合模式的后缀的解码处理对应于算术解码的旁路处理。在混合模式的前缀的解码·处理中，概率被更新，但是在混合模式的后缀的解码处理中，不更新概率。因此，对于混合模式的后缀，能够进行高速处理及并行处理。具体地说，混合模式后缀解码部502对混合模式的后缀的比特进行解码(S605)。混合模式后缀解码部502重复该处理，直到最后的比特(S606)。此外，混合模式后缀解码部502也可以将混合模式的后缀的多个比特并行地解码。然后，基于由前缀和后缀构成的混合模式，亮度预测模式复原部503将亮度预测模式复原，色差预测模式复原部504将色差预测模式复原(S607)。另外，图12所示的对应表是一例。在该例中，设想发生频度线性增加。另外，不限于此，例如也可以使用通过Exp-Golomb得到的二值化串。对应表可以基于发生频度来决定。由此，进一步提高编码效率。在该变形例中，也实现了高速处理，提高编码效率。此外，图14是表示数据构造的例子的附图。例如，可以按图14的顺序来构成数据。另外，在图14中，将亮度预测模式的rem_intra_luma_pred_mode和色差预测模式的intra_chroma_pred_mode组合。并且，在图14中，混合模式作为Intra_combo_pred_mode而包含。(实施方式2)说明本实施方式的算术编码方法的概要。本实施方式的算术编码方法的特征为，不对亮度预测模式和色差预测模式分别进行编码，而对与上下文自适应算术编码对应的前缀和与旁路编码对应的后缀分别进行编码。由此，提高了并行度，处理整体上高速化。以上说明了本实施方式的算术编码方法的概要。对于未特别说明的构成及处理，可以使用非专利文献I及非专利文献2中记载的构成及处理。接着，说明本实施方式的帧内预测模式编码的处理的流程。图15是表示实施方式2的帧内预测模式编码部的处理的流程图。帧内预测模式编码部首先取得亮度预测模式，取得表示亮度预测模式的二值化数据的前缀用的概率值(S701)。另外，该概率值与实施方式I中说明的概率值同样，基于上下文索引来决定。接着，帧内预测模式编码部参照概率值，通过算术编码来对亮度预测模式的前缀的比特进行编码(S702)。接着，帧内预测模式编码部将亮度预测模式的前缀用的概率值更新(S703)。另外，算术编码方法及概率更新方法可以是非专利文献I或非专利文献2中记载的方法。基于代码(符号)的概率来对代码(符号)进行编码的任一方法都能够取得效果。编码的比特不是最后的比特的情况下，即编码的比特不是bin的最后的情况下(S704 :否)，帧内预测模式编码部对下一比特进行处理。编码的比特是最后的比特的情况下(S704:是)，帧内预测模式编码部取得色差预测模式的前缀用的概率值(S705)。然后，帧内预测模式编码部通过算术编码对色差预测模式的前缀的比特进行编码(S706)。然后，帧内预测模式编码部将色差预测模式的前缀用的概率值更新(S707)。编码的比特不是最后的比特的情况下(S708:否)，帧内预测模式编码部对下一比特进行处理。
编码的比特是最后的比特的情况下(S708:是)，帧内预测模式编码部执行亮度预测模式的后缀的旁路编码(S709)及色差预测模式的后缀的旁路编码(S710)。在该旁路编码中，可以使用非专利文献I或非专利文献2中记载的旁路编码。另夕卜，旁路编码是不更新概率的编码。本实施方式的旁路编码也可以是与非专利文献I或非专利文献2中记载的旁路编码不同的方法。这种情况下，也不影响效果。另外，在编码中，也如实施方式I中说明的图9 (a) (d)所示，能够实现处理的并行化。因此，能够实现编码处理的高速化。此外，也可以是，作为与实施方式I的变形例对应的编码方法，帧内预测模式编码部生成图12所示的J0INT_IDX的二值化串，依次对二值化串的前缀及后缀进行处理。这种情况下，帧内预测模式编码部通过上下文自适应算术编码对前缀进行编码。由此，提高编码效率，使编码处理高速化。图16是表示本实施方式的图像编码装置的构成的模块图。图16所示的图像编码装置200具备减法器205、变换量化部210、熵编码部220、逆量化逆变换部230、加法器235、解块滤波器240、存储器250、帧内预测部260、运动检测部270、运动补偿部280、帧内/中贞间切换开关290。减法器205计算输入信号与预测信号的差分、即预测误差。变换量化部210通过对空间区域的预测误差进行变换，生成频率区域的变换系数。例如，变换量化部210通过对预测误差进行DCT (Discrete Cosine Transform)变换，生成变换系数。此外，变换量化部210通过对变换系数进行量化，生成量化系数。熵编码部220通过对量化系数进行可变长度编码，生成编码信号。此外，熵编码部220对由运动检测部270检测到的运动数据(例如运动矢量)进行编码，包含在编码信号中而输出。逆量化逆变换部230通过对量化系数进行逆量化，将变换系数复原。此外，逆量化逆变换部230通过对复原的变换系数进行逆变换，将预测误差复原。另外，复原的预测误差由于量化而缺失信息，所以与减法器205生成的预测误差不一致。即，复原的预测误差包含
量化误差。加法器235通过将复原的预测误差和预测信号相加，生成本地解码图像。解块滤波器240对生成的本地解码图像进行解块滤波器处理。存储器250是用于保存运动补偿中使用的参照图像的存储器。具体地说，存储器250保存施加了解块滤波器处理的本地解码图像。
帧内预测部260按照帧内预测模式进行帧内预测，从而生成预测信号(帧内预测信号)。具体地说，帧内预测部260参照由加法器235生成的本地解码图像中的、编码对象块(输入信号)的周围的图像来进行帧内预测，从而生成帧内预测信号。运动检测部270检测输入信号和保存在存储器250中的参照图像之间的运动数据(例如运动矢量)。运动补偿部280基于检测到的运动数据进行运动补偿，从而生成预测信号(帧间预测信号)。帧内/帧间切换开关290选择帧内预测信号及帧间预测信号的某一个，将选择的信号作为预测信号输出至减法器205及加法器235。 通过以上构成，实施方式2的图像编码装置200对图像数据进行编码。另外，在图像编码装置200中，实施方式2的帧内预测模式编码部例如包含在熵编码部220中。
(实施方式3)在本实施方式中，示意性地示出了实施方式1、实施方式I的变形例或实施方式2中包含的特征性构成及步骤。本实施方式的构成及步骤对应于实施方式1、实施方式I的变形例或实施方式2中示出的构成及步骤。即，实施方式1、实施方式I的变形例及实施方式2中示出的概念包括本实施方式的构成及步骤。图17是表示实施方式3的图像编码装置的构成的一例的模块图。图17所示的图像编码装置800使用多个帧内预测模式来对图像进行编码。此外，图像编码装置800包括编码部801。图18是表示图17所示的图像编码装置800的处理的流程图。编码部801对图像的编码中使用的表示第I帧内预测模式的第I二值化数据及图像的编码中使用的表示第2帧内预测模式的第2 二值化数据进行编码(S801)。这时，编码部801通过上下文自适应算术编码对第I上下文自适应部分及第2上下文自适应部分进行编码。此外，编码部801通过旁路编码对第I旁路部分及第2旁路部分进行编码。然后，编码部801生成包含第I上下文自适应部分、第2上下文自适应部分、第I旁路部分及第2旁路部分的编码数据。上下文自适应算术编码是使用基于已编码数据而更新的变动概率的算术编码。旁路编码是使用预先决定的固定概率的算术编码。第I上下文自适应部分是第I二值化数据的一部分。第2上下文自适应部分是第2 二值化数据的一部分。第I旁路部分是第I二值化数据的另一部分。第2旁路部分是第2 二值化数据的另一部分。编码数据在第I上下文自适应部分及第2上下文自适应部分之后包含第I旁路部分及第2旁路部分。由此，生成旁路解码所使用的多个部分连续的编码数据。因此，能够提高解码处理的并行度。即，帧内预测模式有效地进行编码。在上述构成中，例如第I帧内预测模式也可以是在图像的亮度的预测中使用的帧内预测模式。此外，第2帧内预测模式也可以是在图像的色差的预测中使用的帧内预测模式。此外，例如也可以是，编码数据按照第I上下文自适应部分、第2上下文自适应部分、第2旁路部分及第I旁路部分的顺序，包含第I上下文自适应部分、第2上下文自适应部分、第2旁路部分及第I旁路部分。
此外，例如也可以是，第2 二值化数据不包含第2旁路部分的情况下，编码部801通过上下文自适应算术编码，将第2 二值化数据的全部作为第2上下文自适应部分来编码。并且也可以是，编码部801生成不包含第2旁路部分的编码数据。此外，例如也可以是，第I帧内预测模式是在图像中包含的第I块的亮度的预测中使用的帧内预测模式。也可以是，第2帧内预测模式是在图像中包含的第2块的亮度的预测中使用的帧内预测模式。此外，例如也可以是，编码部801对分别表示第1、第2、第3、第4及第5帧内预测模式的第1、第2、第3、第4及第5 二值化数据进行编码。第2帧内预测模式也可以是在图像中包含的块的色差的预测中使用的帧内预测模式。第1、第3、第4及第5帧内预测模式也可以是在构成块的4个子块的亮度的预测中使用的4个帧内预测模式。并且也可以是，编码部801通过上下文自适应算术编码，对第1、第2、第3、第4及第5上下文自适应部分进行编码。此外，也可以是，编码部801通过旁路编码，对第1、第2、
第3、第4及第5旁路部分进行编码。第1、第2、第3、第4及第5上下文自适应部分分别是第1、第2、第3、第4及第5二值化数据的一部分。第1、第2、第3、第4及第5旁路部分分别是第1、第2、第3、第4及第5 二值化数据的另一部分。这种情况下，也可以是，生成的编码数据按照第I上下文自适应部分、第3上下文自适应部分、第4上下文自适应部分、第5上下文自适应部分、第2上下文自适应部分、第2旁路部分、第I旁路部分、第3旁路部分、第4旁路部分及第5旁路部分的顺序，包含第I上下文自适应部分、第3上下文自适应部分、第4上下文自适应部分、第5上下文自适应部分、第2上下文自适应部分、第2旁路部分、第I旁路部分、第3旁路部分、第4旁路部分及第5旁路部分。此外，例如也可以是，编码部801将第I旁路部分及第2旁路部分并行地进行编码。此外，例如也可以是，编码部801在依据于第I标准的第I编码处理或依据于第2标准的第2编码处理之间切换编码处理。并且，编码部801生成包含表示被切换的编码处理所依据的第I标准或第2标准的识别信息的比特流。并且，也可以是，编码处理被切换为第I编码处理的情况下，编码部801生成在第I上下文自适应部分及第2上下文自适应部分之后包含第I旁路部分及第2旁路部分的编码数据。此外，这种情况下也可以是，编码部801生成包含识别信息和编码数据的比特流。图19是表示实施方式3的图像解码装置的构成的一例的模块图。图19所示的图像解码装置900使用多个帧内预测模式对图像进行解码。此外，图像解码装置900包括解码部901。图20是表示图19所示的图像解码装置900的处理的流程图。解码部901对表示在图像的解码中使用的第I帧内预测模式的第I二值化数据及表示在图像的解码中使用的第2帧内预测模式的第2 二值化数据进行解码(S901)。这时，解码部901取得包含第I上下文自适应部分、第2上下文自适应部分、第I旁路部分及第2旁路部分的编码数据。然后，解码部901通过上下文自适应算术解码，对第I上下文自适应部分及第2上下文自适应部分进行解码。此外，通过旁路解码，对第I旁路部分及第2旁路部分进行解码。上下文自适应算术解码是使用基于已解码数据而更新的变动概率的算术解码。旁路解码是使用预先决定的固定概率的算术解码。第I上下文自适应部分是第I二值化数据的一部分。第2上下文自适应部分是第2 二值化数据的一部分。第I旁路部分是第I二值化数据的另一部分。第2旁路部分是第2 二值化数据的另一部分。编码数据在第I上下文自适应部分及第2上下文自适应部分之后包含第I旁路部分及第2旁路部分。由此，取得了旁路解码所使用的多个部分连续的编码数据。因此，能够提高解码处理的并行度。即，帧内预测模式有效地进行解码。在上述构成中，例如也可以是，第I帧内预测模式是在图像的亮度的预测中使用的帧内预测模式。此外，也可以是，第2帧内预测模式是在图像的色差的预测中使用的帧内 预测模式。此外，例如也可以是，编码数据按照第I上下文自适应部分、第2上下文自适应部分、第2旁路部分及第I旁路部分的顺序，包含第I上下文自适应部分、第2上下文自适应部分、第2旁路部分及第I旁路部分。此外，例如也可以是，在取得的编码数据不包含第2旁路部分的情况下，解码部901通过上下文自适应算术解码来对第2上下文自适应部分进行解码，从而将第2 二值化数据的全部解码。此外，例如也可以是，第I帧内预测模式是在图像中包含的第I块的亮度的预测中使用的帧内预测模式。也可以是，第2帧内预测模式是在图像中包含的第2块的亮度的预测中使用的帧内预测模式。此外，例如也可以是，解码部901对分别表示第1、第2、第3、第4及第5帧内预测模式的第1、第2、第3、第4及第5 二值化数据进行解码。也可以是，第2帧内预测模式是在图像中包含的块的色差的预测中使用的帧内预测模式。也可以是，第1、第3、第4及第5帧内预测模式是在构成块的4个子块的亮度的预测中使用的4个帧内预测模式。并且，也可以是，解码部901通过上下文自适应算术解码，对第1、第2、第3、第4及第5上下文自适应部分进行解码。此外，也可以是，解码部901通过旁路解码，对第1、第2、第3、第4及第5旁路部分进行解码。第1、第2、第3、第4及第5上下文自适应部分分别是第1、第2、第3、第4及第5二值化数据的一部分。第1、第2、第3、第4及第5旁路部分分别是第1、第2、第3、第4及第5 二值化数据的另一部分。这种情况下，也可以是，取得的编码数据按照第I上下文自适应部分、第3上下文自适应部分、第4上下文自适应部分、第5上下文自适应部分、第2上下文自适应部分、第2旁路部分、第I旁路部分、第3旁路部分、第4旁路部分及第5旁路部分的顺序，包含第I上下文自适应部分、第3上下文自适应部分、第4上下文自适应部分、第5上下文自适应部分、第2上下文自适应部分、第2旁路部分、第I旁路部分、第3旁路部分、第4旁路部分及第5旁路部分。此外，例如也可以是，解码部901将第I旁路部分及第2旁路部分并行地进行解码。
此外，例如也可以是，解码部901取得包含表示第I标准或第2标准的识别信息的比特流。并且，也可以是，解码部901基于识别信息，在依据于第I标准的第I解码处理或依据于第2标准的第2解码处理之间切换解码处理。并且，也可以是，在解码处理被切换为第I解码处理的情况下，解码部901从比特流取得在第I上下文自适应部分及第2上下文自适应部分之后包含第I旁路部分及第2旁路部分的代码串。此外，例如也可以是，图像编解码装置具备图像编码装置800及图像解码装置900。本实施方式的图像编码装置800及图像解码装置900也能够应用于如下所示的例子。
图21是表示实施方式3的语法(syntax)的一例的图。图21所示的prev_intra_luma_pred_flag、mpm_idx 及 rem_intra_luma_pred_mode 是表不亮度予页测模式的要素。intra_chroma_pred_mode是表示色差预测模式的要素。在prev_intra_luma_pred_flag中，使用上下文自适应算术编码。在mpm_idx及rem_intra_luma_pred_mode 中,使用旁路编石马。在 intra_chroma_pred_mode 中,使用上下文自适应算术编码及旁路编码。另外，对于在编码侧使用上下文自适应算术编码的上下文自适应部分，在解码侧使用上下文自适应算术解码。同样地，对于在编码侧使用旁路编码的旁路部分，在解码侧使用旁路解码。图22是表示实施方式3的亮度的算术编码的图。在亮度预测模式的确定中使用mpm_idx 及 rem_intra_luma_pred_mode 的某一个。使用 mpm_idx 及 rem_intra_luma_pred_mode 中的明—个，由 prev_intra_luma_pred_f lag 来石角定。mpm_idx 及 rem_intra_luma_pred_mode与用于确定亮度预测模式的编号及其二值化值对应。图23是表示实施方式3的色差的算术编码的图。在色差预测模式的确定中使用intra_chroma_pred_mode。intra_chroma_pred_mode与用于确定色差预测模式的编号及其二值化值对应。对二值化值的第I个比特使用上下文自适应算术编码。对二值化值的第2个以后的比特使用旁路编码。不存在第2个以后的比特的情况下，不使用旁路编码。图24是表示实施方式3的图像的块的图。在图像的块中，有被称为编码单元(CU Coding Unit)、预测单兀(PU !Prediction Unit)及变换单兀(TU !Transform Unit)的数据区域单位。编码单元为64x64像素、32x32像素、16x16像素或8x8像素。最小的编码单元的尺寸目前是8x8像素。即，表示最小的编码单元的尺寸的log2Min⑶size是3。帧内预测的情况下，预测单元的尺寸基本上与编码单元的尺寸一致。不允许将大于最小的尺寸(8x8像素)的编码单元分割为4个预测单元。允许将最小的尺寸的编码单元分割为4个预测单元。S卩，在8x8像素的编码单元中，有时包含4个预测单元。与编码单元的尺寸一致的预测单元的种类(PU_TYPE)被称为2Nx2N。通过4分割得到的预测单元的种类被称为NxN。图24表示在编码单元1000中包含预测单元1001、预测单元1002、预测单元1003及预测单元1004的例子。这种情况下，对编码单元1000执行色差的帧内预测。并且，对预测单元1001、预测单元1002、预测单元1003及预测单元1004分别执行亮度的帧内预测。因此，对于编码单元1000，使用I个色差预测模式和4个亮度预测模式。图25是表示实施方式3的语法的第I变形例的图。图24的情况下，图21所示的语法如图25那样变形。图25的情况下，交互执行上下文自适应算术编码和旁路编码。因此，难以提闻并行度。图26是表示实施方式3的语法的第2变形例的图。为了提高并行度，图25所示的语法如图26那样变形。在图26中，prev_intra_luma_pred_flag重复4次之后，mpm_idx或 rem_intra_pred_mode 重复 4 次。由此，执行上下文自适应算术编码的多个上下文自适应部分和执行旁路编码的多个旁路部分彼此分开汇总。因此，提高了并行度。图27是表示实施方式3的语法的第3变形例的图。在图27中，intra_chroma_pred_mode配置于prev_intra_luma_pred_flag之后。由此,在亮度预测模式及色差预测模 式的整体中，执行上下文自适应算术编码的多个上下文自适应部分和执行旁路编码的多个旁路部分彼此分开汇总。因此，改善了并行度。此外，intra_chroma_pred_mode的上下文自适应部分和 intra_chroma_pred_mode的旁路部分连续，所以抑制了复杂度的增加。另外,在图27中，prev_intra_luma_pred_flag可以重复4次,也可以不重复。同样地，mpm_idx或rem_intra_pred_mode可以重复4次,也可以不重复。S卩，图27的例子在编码单元被分割为4个预测单元的情况下和不分割的情况下都能够应用。两种情况下都是汇总多个旁路部分，所以改善了并行度。此外，也可以是，编码单元被分割为4个预测单元的情况下，图25、图26及图27所示的各要素作为左上的预测单元1001的要素而包含在编码数据中。在上述各实施方式所示的图像编码方法及图像解码方法中，通过将多个帧内预测模式组合，改善了并行度。因此，图像有效地被编码，有效地被解码。在上述各实施方式中，各构成要素可以由专用的硬件构成，或通过执行适于各构成要素的软件程序来实现。各构成要素也可以通过由CPU或处理器等程序执行部读出并执行记录在硬盘或半导体存储器等记录介质中的软件程序来实现。在此，实现上述各实施方式的图像编码装置及图像解码方法等的软件是如下的程序。S卩，该程序使计算机执行如下的图像编码方法，该图像编码方法使用多个帧内预测模式对图像进行编码，该图像编码方法包括编码步骤，对在所述图像的编码中使用的表示第I帧内预测模式的第I二值化数据及在所述图像的编码中使用的表示第2帧内预测模式的第2 二值化数据进行编码；在所述编码步骤中，通过上下文自适应算术编码，对作为所述第I二值化数据的一部分的第I上下文自适应部分及作为所述第2 二值化数据的一部分的第2上下文自适应部分进行编码，该上下文自适应算术编码是使用基于已编码数据来更新的变动概率的算术编码，通过旁路编码，对作为所述第I 二值化数据的另一部分的第I旁路部分及作为所述第2 二值化数据的另一部分的第2旁路部分进行编码，该旁路编码是使用预先决定的固定概率的算术编码，生成编码数据，该编码数据包含所述第I上下文自适应部分及所述第2上下文自适应部分，并且在所述第I上下文自适应部分及所述第2上下文自适应部分之后包含所述第I旁路部分及所述第2旁路部分。此外，该程序使计算机执行如下的图像解码方法，该图像解码方法使用多个帧内预测模式对图像进行解码，该图像解码方法包括解码步骤，对在所述图像的解码中使用的表示第I帧内预测模式的第I二值化数据及在所述图像的解码中使用的表示第2帧内预测模式的第2 二值化数据进行解码；在所述解码步骤中，取得如下的编码数据，该编码数据包含作为所述第I二值化数据的一部分的第I上下文自适应部分及作为所述第2 二值化数据的一部分的第2上下文自适应部分，并且在所述第I上下文自适应部分及所述第2上下文自适应部分之后包含作为所述第I二值化数据的另一部分的第I旁路部分及所述作为第2二值化数据的另一部分的第2旁路部分，通过上下文自适应算术解码，对所述第I上下文自适应部分及所述第2上下文自适应部分进行解码，该上下文自适应算术解码是使用基于已解码数据来更新的变动概率的算术解码，通过旁路解码，对所述第I旁路部分及所述第2旁路部分进行解码，该旁路解码是使用预先决定的固定概率的算术解码。以上，基于实施方式说明了本发明的一个或多个方式的图像编码方法及图像解码方法，但是本发明不限于该实施方式。只要不脱离本发明的主旨，对本实施方式施以本领域技术人员能够想到的各种变形、或将不同的实施方式中的构成要素组合而构成的方式也包含在本发明的I个或多个方式的范围内。(实施方式4)通过将用来实现上述各实施方式所示的动态图像编码方法(图像编码方法)或动态图像解码方法(图像解码方法)的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。进而，这里说明在上述各实施方式中示出的动态图像编码方法(图像编码方法)及动态图像解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。图28是表示实现内容分发服务的内容供给系统exlOO的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站exl06、exl07、exl08、exl09、exllO。该内容供给系统exlOO在因特网exlOl上经由因特网服务提供商exl02及电话网exl04、及基站 exl07 exllO 连接着计算机 exlll、PDA (Personal Digital Assistant)exll2、照相机exll3、便携电话exll4、游戏机exll5等的各设备。但是，内容供给系统exlOO并不限定于图28那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站exl06 exllO将各设备直接连接在电话网exl04上。此外，也可以将各设备经由近距离无线等直接相互连接。照相机exll3是能够进行数字摄像机等的动态图像摄影的设备，照相机exll6是能够进行数字照相机等的静止图像摄影、动态图像摄影的设备。此外，便携电话exll4是GSM (Global System for Mobile Communications)方式、CDMA (Code Division MultipleAccess)方式、W — CDMA (Wideband — Code Division Multiple Access)方式、或 LTE(Long Term Evolution)方式、HSPA (High Speed Packet Access)的便携电话机、或 PHS(Personal Handyphone System)等，是哪种都可以。在内容供给系统exlOO中，通过将照相机exl 13等经由基站exl09、电话网exl04连接在流媒体服务器exl03上，能够进行现场分发等。在现场分发中，对用户使用照相机exll3摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理(即，作为本发明的一个方式的图像编码装置发挥作用)，向流媒体服务器exl03发送。另一方面，流媒体服务器exl03将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机eXlll、PDAeX112、照相机exll3、便携电话exll4、游戏机exll5等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现(即，作为本发明的一个方式的图像解码装置发挥作用)。另外，摄影的数据的编码处理既可以由照相机exll3进行，也可以由进行数据的发送处理的流媒体服务器exl03进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器exl03进行，也可以相互分担进行。此外，并不限于照相机exll3，也可以将由照相机exll6摄影的静止图像及/或动态图像数据经由计算机exlll向流媒体服务器exl03发送。此情况下的编码处理由照相机exll6、计算机 exlll、流媒体服务器exl03的哪个进行都可以，也可以相互分担进行。此外，这些编码解码处理一般在计算机exlll或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将动态图像编码解码用的软件装入到能够由计算机exlll等读取的某些记录介质(⑶一 ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而，在便携电话exll4是带有照相机的情况下，也可以将由该照相机取得的动态图像数据发送。此时的动态图像数据是由便携电话exll4具有的LSIex500编码处理的数据。此外，也可以是，流媒体服务器exl03是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。如以上这样，在内容供给系统exlOO中，客户端能够接收编码的数据而再现。这样，在内容供给系统exlOO中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。另外，并不限定于内容供给系统exlOO的例子，如图29所示，在数字广播用系统ex200中也能够装入上述实施方式的至少动态图像编码装置(图像编码装置)或动态图像解码装置(图像解码装置)的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的动态图像编码方法编码后的数据(即，通过本发明的一个方式的图像编码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机(接收机)ex300或机顶盒(STB) ex217等的装置将接收到的复用数据解码并将其再现(即，作为本发明的一个方式的图像解码装置发挥作用)。此外，可以在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的动态图像解码装置或动态图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装动态图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入动态图像解
码装置。图30是表示使用在上述各实施方式中说明的动态图像解码方法及动态图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理不ex306中编码的影像数据、声音数据复用的复用/分离部ex303。 此外，电视机ex300具备具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305(即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用)的信号处理部ex306 ;具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机eX300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另夕卜，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图31中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406 —边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追力口、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用接近场光进行高密度的记录的结构。在图32中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽(沟)，在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。
以上，举I层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现动态图像。另夕卜，车载导航仪ex211的结构可以考虑例如在图30所示的结构中添加GPS接收部的结构，在计算机exlll及便携电话exll4等中也可以考虑同样的结构。图33A是表示使用在上述实施方式中说明的动态图像解码方法和动态图像编码方法的便携电话exll4的图。便携电话exll4具有由用来在与基站exllO之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话exll4还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。进而，使用图33B对便携电话exl 14的结构例进行说明。便携电话exl 14对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD (LiquidCrystal Display :液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。 电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话exll4起动为能够动作的状态。便携电话exl 14基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话exll4在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站exllO发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex350o在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的动态图像编码方法进行压缩编码(即，作为本发明的一个方式的图像编码装置发挥作用)，将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。在数据通信模式时接收到链接到主页等的动态图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的动态图像编码方法相对应的动态图像解码方法进行解码，由此对影像信号进行解码(即，作为本发明的一个方式的图像解码装置发挥作用)，经由IXD控制部ex359从显示部ex358显示例如链接到主页的动态图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码,从声音输出部ex357输出声音。此外，上述便携电话exll4等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。这样，将在上述各实施方式中表示的动态图像编码方法或动态图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。·此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。(实施方式5)也可以通过将在上述各实施方式中示出的动态图像编码方法或装置、与依据MPEG - 2、MPEG4 — AVC,VC 一 I等不同的标准的动态图像编码方法或装置根据需要而适当切换,来生成影像数据。这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG - 2传输流形式的数字流。图34是表示复用数据的结构的图。如图34所示，复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的I个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流(IG)表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的动态图像编码方法或装置、依据以往的MPEG - 2、MPEG4 — AVC,VC 一 I等标准的动态图像编码方法或装置编码。音频流由杜比AC —3、Dolby Digital Plus、MLP、DTS、DTS — HD、或线性 PCM 等的方式编码。 包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到OxlllF，对演示图形分配0x1200到0xl21F，对交互图形流分配0x1400到0xl41F，对在电影的副影像中使用的视频流分配OxlBOO到OxlBlF，对与主声音混合的副声音中使用的音频流分配OxIAOO到OxlAlF。
图35是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到I条流中而构成。图36更详细地表示在PES包序列中怎样保存视频流。图36的第I段表示视频流的视频巾贞序列。第2段表示PES包序列。如图36的箭头yyl、yy2、yy3、yy4所示,视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存·到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS (Presentation Time-Stamp)及作为图片的解码时刻的 DTS (Decoding Time-Stamp) 图37表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD — ROM的情况下，对于TS包赋予4字节的TP_Extra_Header,构成192字节的源包,写入到复用数据中。在TP_Extra_Header中记载有ATS (Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图37下段所示排列，从复用数据的开头起递增的号码被称作SPN (源包号)。此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT (Program Association Table)、PMT (Program Map Table)、PCR (Program ClockReference)等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为
O。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC (Arrival Time Clock)与作为PTS及DTS的时间轴的STC (System Time Clock)的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。图38是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。复用数据信息文件如图39所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。复用数据信息如图39所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上I帧量的再现间隔的值。
流属性信息如图40所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的动态图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。此外，在图41中表示本实施方式的动态图像解码方法的步骤。在步骤exSlOO中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exSlOl中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的动态图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的动态图像解码方法进行解码。这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的动态图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的动态图像编码方法或装置、或者动态图像解码方法或装置用在上述任何设备、系统中。(实施方式6)在上述各实施方式中示出的动态图像编码方法及装置、动态图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图42中表示I芯片化的LSIex500的结构。LSIex500 具备以下说明的单元 ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/0ex509从麦克风exll7及照相机exll3等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送， 在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/0ex506向外部输出。将该输出的比特流向基站exl07发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成I个芯片，也可以形成多个芯片。此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等,但控制部ex510的结构并不限定于该结构。例如,也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。 另外，这里设为LSI，但根据集成度的差异，也有称作1C、系统LS1、超级(super)LS1、特级(ultra)LSI的情况。此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA (Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。(实施方式7)在将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG - 2、MPEG4 — AVC, VC 一 I等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。为了解决该问题，电视机ex300、LSIex500等的动态图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图43表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。更具体地讲，驱动频率切换部ex803由图42的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图42的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式3中记载的识别信息。关于识别信息，并不限定于在实施方式3中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图45所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。图44表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG — 2、MPEG4 - AVC,VC 一 I等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定 为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。进而，通过与驱动频率的切换连动而变更对LSIeX500或包括LSIeX500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4 — AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG - 2、MPEG4 一 AVC、VC 一 I等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG — 2、MPEG4 — AVC,VC 一 I等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的标准的影像数据的情况相比，将停止时间设定得短。这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。(实施方式8)在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。为了解决该问题，采用将用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部、和依据以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的标准的解码处理部一部分共用的结构。图46A的ex900表示该结构例。例如，在上述各实施方式中示出的动态图像解码方法和依据MPEG4 - AVC标准的动态图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构关于共通的处理内容，共用对应于MPEG4 - AVC标准的解码处理部ex902，关于不对应于MPEG4 — AVC标准的本发明
的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。特别是，本发明在滤波处理(解块/滤波)方面具有特征，因此可以考虑例如对于滤波处理(解块/滤波)使用专用的解码处理部ex901，对于除此之外的熵解码、逆量化、运动补偿中的某一个或者全部的处理，共用解码处理部。关于解码处理部的共用，也可以是如下结构关于共通的处理内容，共用用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部，关于MPEG4 —AVC标准所特有的处理内容，使用专用的解码处理部。此外,用图46B的exlOOO表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部exlOOl、和与其他的以往标准所特有的处理内容对应的专用的解码处理部exl002、和与在本发明的一个方式的动态图像解码方法和其他的以往标准的动态图像解码方法中共通的处理内容对应的共用的解码处理部exl003的结构。这里,专用的解码处理部exl001、exl002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIeX500安装本实施方式的结构。这样，对于在本发明的一个方式的动态图像解码方法和以往的标准的动态图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。工业实用性本发明的一个方式的图像编码方法及图像解码方法例如能够应用于电视机、数字视频记录机、车载导航仪、便携电话、数字摄像机、或数字视频摄像机等。符号的说明100、500、X00帧内预测模式解码部101亮度预测模式前缀解码部102亮度预测模式后缀解码部103色差预测模式前缀解码部104色差预测模式后缀解码部105、503亮度预测模式复原部106、504色差预测模式复原部200,800图像编码装置
205减法器210变换量化部220熵编码部230、420逆量化逆变换部235、425 加法器240、430解块滤波器
250、440 存储器260、450帧内预测部270运动检测部280、460运动补偿部290,470帧内/帧间切换开关400、900图像解码装置410熵解码部501混合模式前缀解码部502混合模式后缀解码部801编码部901解码部1000 编码单兀(Coding Unit)1001、1002、1003、1004 预测单元(Prediction Unit) XOl 亮度预测模式解码部X02色差预测模式解码部
权利要求
1.一种图像编码方法，使用多个帧内预测模式对图像进行编码，该图像编码方法包括编码步骤，对在所述图像的编码中使用的表示第I帧内预测模式的第I二值化数据及在所述图像的编码中使用的表示第2帧内预测模式的第2 二值化数据进行编码；在所述编码步骤中，通过上下文自适应算术编码，对作为所述第I 二值化数据的一部分的第I上下文自适应部分及作为所述第2 二值化数据的一部分的第2上下文自适应部分进行编码，该上下文自适应算术编码是使用基于已编码数据来更新的变动概率的算术编码，通过旁路编码，对作为所述第I 二值化数据的另一部分的第I旁路部分及作为所述第2 二值化数据的另一部分的第2旁路部分进行编码，该旁路编码是使用预先决定的固定概率的算术编码，生成编码数据，该编码数据包含所述第I上下文自适应部分及所述第2上下文自适应部分，并且在所述第I上下文自适应部分及所述第2上下文自适应部分之后包含所述第I 旁路部分及所述第2旁路部分。
2.如权利要求1所述的图像编码方法，在所述编码步骤中，对在所述图像的亮度的预测中使用的表示所述第I帧内预测模式的所述第I二值化数据及在所述图像的色差的预测中使用的表示所述第2帧内预测模式的所述第2 二值化数据进行编码。
3.如权利要求1或2所述的图像编码方法，在所述编码步骤中，按照所述第I上下文自适应部分、所述第2上下文自适应部分、所述第2旁路部分及所述第I旁路部分的顺序，生成包含所述第I上下文自适应部分、所述第 2上下文自适应部分、所述第2旁路部分及所述第I旁路部分的所述编码数据。
4.如权利要求1 3中任一项所述的图像编码方法，在所述编码步骤中，所述第2 二值化数据不包含所述第2旁路部分的情况下，通过所述上下文自适应算术编码，将所述第2 二值化数据的全部作为所述第2上下文自适应部分进行编码，生成不包含所述第2旁路部分的所述编码数据。
5.如权利要求1所述的图像编码方法，在所述编码步骤中，对在所述图像中包含的在第I块的亮度的预测中使用的表示所述第I帧内预测模式的所述第I二值化数据及在所述图像中包含的在第2块的亮度的预测中使用的表示所述第2帧内预测模式的所述第2 二值化数据进行编码。
6.如权利要求1 4中任一项所述的图像编码方法，在所述编码步骤中，对在所述图像中包含的在块的色差的预测中使用的表示所述第2帧内预测模式的所述第2 二值化数据进行编码，对在构成所述块的4个子块的亮度的预测中使用的分别表示所述第I帧内预测模式、 第3帧内预测模式、第4帧内预测模式及第5帧内预测模式的所述第I 二值化数据、第3 二值化数据、第4 二值化数据及第5 二值化数据进行编码，在对所述第3 二值化数据、所述第4 二值化数据及所述第5 二值化数据进行编码时，通过所述上下文自适应算术编码，对所述第3 二值化数据的第3上下文自适应部分、所述第4二值化数据的第4上下文自适应部分、及所述第5 二值化数据的第5上下文自适应部分进行编码，通过所述旁路编码，对所述第3 二值化数据的第3旁路部分、所述第4 二值化数据的第4旁路部分、及所述第5 二值化数据的第5旁路部分进行编码，按照所述第I上下文自适应部分、所述第3上下文自适应部分、所述第4上下文自适应部分、所述第5上下文自适应部分、所述第2上下文自适应部分、所述第2旁路部分、所述第 I旁路部分、所述第3旁路部分、所述第4旁路部分及所述第5旁路部分的顺序，生成包含所述第I上下文自适应部分、所述第3上下文自适应部分、所述第4上下文自适应部分、所述第5上下文自适应部分、所述第2上下文自适应部分、所述第2旁路部分、所述第I旁路部分、所述第3旁路部分、所述第4旁路部分及所述第5旁路部分的所述编码数据。
7.如权利要求1 6中任一项所述的图像编码方法，在所述编码步骤中，将所述第I旁路部分及所述第2旁路部分并行地进行编码。
8.如权利要求1 7中任一项所述的图像编码方法，在所述编码步骤中，在依据于第I标准的第I编码处理或依据于第2标准的第2编码处理之间切换编码处理，生成包含表示被切换的所述编码处理所依据的所述第I标准或所述第2标准的识别信息在内的比特流，所述编码处理被切换为所述第I编码处理的情况下，生成在所述第I上下文自适应部分及所述第2上下文自适应部分之后包含所述第I旁路部分及所述第2旁路部分的所述编码数据，生成包含所述识别信息和所述编码数据的所述比特流。
9.一种图像解码方法，使用多个帧内预测模式对图像进行解码，该图像解码方法包括解码步骤，对在所述图像的解码中使用的表示第I帧内预测模式的第I二值化数据及在所述图像的解码中使用的表示第2帧内预测模式的第2 二值化数据进行解码；在所述解码步骤中，取得如下的编码数据，该编码数据包含作为所述第I 二值化数据的一部分的第I上下文自适应部分及作为所述第2 二值化数据的一部分的第2上下文自适应部分，并且在所述第I上下文自适应部分及所述第2上下文自适应部分之后包含作为所述第I二值化数据的另一部分的第I旁路部分及所述作为第2 二值化数据的另一部分的第2旁路部分，通过上下文自适应算术解码，对所述第I上下文自适应部分及所述第2上下文自适应部分进行解码，该上下文自适应算术解码是使用基于已解码数据来更新的变动概率的算术解码，通过旁路解码，对所述第I旁路部分及所述第2旁路部分进行解码，该旁路解码是使用预先决定的固定概率的算术解码。
10.如权利要求9所述的图像解码方法，在所述解码步骤中，对在所述图像的亮度的预测中使用的表示所述第I帧内预测模式的所述第I二值化数据及在所述图像的色差的预测中使用的表示所述第2帧内预测模式的所述第2 二值化数据进行解码。
11.如权利要求9或10所述的图像解码方法，在所述解码步骤中，按照所述第I上下文自适应部分、所述第2上下文自适应部分、所述第2旁路部分及所述第I旁路部分的顺序，取得包含所述第I上下文自适应部分、所述第 2上下文自适应部分、所述第2旁路部分及所述第I旁路部分的所述编码数据。
12.如权利要求9 11中任一项所述的图像解码方法，在所述解码步骤中，在所取得的所述编码数据不包含所述第2旁路部分的情况下，通过所述上下文自适应算术解码来对所述第2上下文自适应部分进行解码，从而对所述第2 二值化数据的全部进行解码。
13.如权利要求9所述的图像解码方法，在所述解码步骤中，对在所述图像中包含的第I块的亮度的预测中使用的表示所述第 I帧内预测模式的所述第I二值化数据及在所述图像中包含的第2块的亮度的预测中使用的表示所述第2帧内预测模式的所述第2 二值化数据进行解码。
14.如权利要求9 12中任一项所述的图像解码方法，在所述解码步骤中，对在所述图像中包含的块的色差的预测中使用的表示所述第2帧内预测模式的所述第2 二值化数据进行解码，对在构成所述块的4个子块的亮度的预测中使用的分别表示所述第I帧内预测模式、 第3帧内预测模式、第4帧内预测模式及第5帧内预测模式的所述第I 二值化数据、第3 二值化数据、第4 二值化数据及第5 二值化数据进行解码，在对所述第3 二值化数据、所述第4 二值化数据及所述第5 二值化数据进行解码时，通过所述上下文自适应算术解码，对所述第3 二值化数据的第3上下文自适应部分、所述第4 二值化数据的第4上下文自适应部分、及所述第5 二值化数据的第5上下文自适应部分进行解码，通过所述旁路解码，对所述第3 二值化数据的第3旁路部分、所述第4 二值化数据的第4旁路部分、及所述第5 二值化数据的第5旁路部分进行解码，在取得所述编码数据时，按照所述第I上下文自适应部分、所述第3上下文自适应部分、所述第4上下文自适应部分、所述第5上下文自适应部分、所述第2上下文自适应部分、 所述第2旁路部分、所述第I旁路部分、所述第3旁路部分、所述第4旁路部分及所述第5 旁路部分的顺序，取得包含所述第I上下文自适应部分、所述第3上下文自适应部分、所述第4上下文自适应部分、所述第5上下文自适应部分、所述第2上下文自适应部分、所述第2 旁路部分、所述第I旁路部分、所述第3旁路部分、所述第4旁路部分及所述第5旁路部分在内的所述编码数据。
15.如权利要求9 14中任一项所述的图像解码方法，在所述解码步骤中，将所述第I旁路部分及所述第2旁路部分并行地进行解码。
16.如权利要求9 15中任一项所述的图像解码方法，在所述解码步骤中，取得包含表示第I标准或第2标准的识别信息的比特流，基于所述识别信息，在依据于所述第I标准的第I解码处理或依据于所述第2标准的第2解码处理之间切换解码处理，在所述解码处理被切换为所述第I解码处理的情况下，从所述比特流取得在所述第I 上下文自适应部分及所述第2上下文自适应部分之后包含所述第I旁路部分及所述第2旁路部分的所述编码数据。
17.一种图像编码装置，使用多个帧内预测模式对图像进行编码，该图像编码装置具备编码部，对在所述图像的编码中使用的表示第I帧内预测模式的第I二值化数据及在所述图像的编码中使用的表示第2帧内预测模式的第2 二值化数据进行编码；所述编码部，通过上下文自适应算术编码，对作为所述第I 二值化数据的一部分的第I上下文自适应部分及作为所述第2 二值化数据的一部分的第2上下文自适应部分进行编码，该上下文自适应算术编码是使用基于已编码数据来更新的变动概率的算术编码，通过旁路编码，对作为所述第I 二值化数据的另一部分的第I旁路部分及作为所述第2 二值化数据的另一部分的第2旁路部分进行编码，该旁路编码是使用预先决定的固定概率的算术编码，生成编码数据，该编码数据包含所述第I上下文自适应部分及所述第2上下文自适应部分，并且在所述第I上下文自适应部分及所述第2上下文自适应部分之后包含所述第I 旁路部分及所述第2旁路部分。
18.一种图像解码装置，使用多个帧内预测模式对图像进行解码，该图像解码装置具备解码部，对在所述图像的解码中使用的表示第I帧内预测模式的第I二值化数据及在所述图像的解码中使用的表示第2帧内预测模式的第2 二值化数据进行解码；所述解码部，取得如下的编码数据，该编码数据包含作为所述第I 二值化数据的一部分的第I上下文自适应部分及作为所述第2 二值化数据的一部分的第2上下文自适应部分，并且在所述第I上下文自适应部分及所述第2上下文自适应部分之后包含作为所述第I二值化数据的另一部分的第I旁路部分及所述作为第2 二值化数据的另一部分的第2旁路部分，通过上下文自适应算术解码，对所述第I上下文自适应部分及所述第2上下文自适应部分进行解码，该上下文自适应算术解码是使用基于已解码数据来更新的变动概率的算术解码，通过旁路解码，对所述第I旁路部分及所述第2旁路部分进行解码，该旁路解码是使用预先决定的固定概率的算术解码。
19.一种图像编解码装置，具备权利要求17所述的图像编码装置；以及权利要求18所述的图像解码装置。
全文摘要
图像编码方法包括编码步骤(S801)，对表示第1帧内预测模式的第1二值化数据及表示第2帧内预测模式的第2二值化数据进行编码，在编码步骤(S801)中，通过上下文自适应算术编码对作为第1二值化数据的一部分的第1上下文自适应部分及作为第2二值化数据的一部分的第2上下文自适应部分进行编码，通过旁路编码对作为第1二值化数据的另一部分的第1旁路部分及作为第2二值化数据的另一部分的第2旁路部分进行编码，生成编码数据，该编码数据包含第1上下文自适应部分及第2上下文自适应部分，并在第1上下文自适应部分及第2上下文自适应部分之后包含第1旁路部分及第2旁路部分。
文档编号H04N7/32GK103004208SQ20128000204
公开日2013年3月27日 申请日期2012年6月28日 优先权日2011年7月18日
发明者笹井寿郎, 西孝启, 柴原阳司, 杉尾敏康, 谷川京子, 松延彻 申请人:松下电器产业株式会社