技术领域
本发明涉及，对编码后的运动图像进行解码的图像解码方法、以及对运动图像进行编码的图像编码方法等。
背景技术：
提出了在进行运动图像的编码或解码时，对位于片的边界(片边界)周边的像素进行环路滤波处理(环内滤波处理)的图像解码方法及图像编码方法(参照非专利文献1)。
(现有技术文献)
(非专利文献)
非专利文献1：Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,9th Meeting:Geneva,CH,27April-7May 2012,Title:High efficiency video coding(HEVC)text specification draft 7,Document:JCTVC-I1003_d5
技术实现要素：
发明要解决的问题
然而，所述非专利文献1的图像解码方法及图像编码方法中存在处理负荷大的问题。
于是，本发明，提供能够减轻处理负荷的图像解码方法及图像编码方法。
用于解决问题的手段
本发明的实施方案之一涉及的图像解码方法，对编码图片进行解码，在所述图像解码方法中，获得边界控制标志，该边界控制标志用于对解块滤波处理和取样自适应偏移处理进行共同的控制，所述解块滤波处理和取样自适应偏移处理是针对所述编码图片中包含的解码对象片的片边界的处理，对所述解码对象片进行解码，根据所述边界控制标志，对解码后的所述解码对象片的所有的片边界之中的、上边及左边的至少一方的片边界，进行所述解块滤波处理，对解码后的所述解码对象片的所有的片边界之中的、所述上边及左边的至少一方的片边界，进行与所述边界控制标志对应的取样自适应偏移处理，在进行所述取样自适应偏移处理时，根据所述边界控制标志，对所述取样自适应偏移处理的处理模式进行切换，根据通过切换而选择的处理模式，进行所述取样自适应偏移处理，在进行所述取样自适应偏移处理时，在所述边界控制标志示出0的情况下，将所述取样自适应偏移处理的处理模式，切换为将0作为偏移值来与成为偏移的对象的像素相加的填充模式，根据所述填充模式，进行所述取样自适应偏移处理，所述取样自适应偏移处理，有根据成为偏移的对象的像素的每一个是否被与位于所述解码对象片之外的像素进行比较而分类的多个处理模式，边缘索引被分配到所述多个处理模式的每一个，在进行所述取样自适应偏移处理时，在所述边界控制标志示出0的情况下，将边缘索引设定为0，从而将所述取样自适应偏移处理的处理模式切换为所述填充模式。
而且，它们的整体或具体的形态，可以由系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质实现，也可以由系统、方法、集成电路、计算机程序及记录介质的任意的组合实现。
发明效果
本发明的图像解码方法及图像编码方法，能够减轻处理负荷。
附图说明
图1A是示出图片的结构的图。
图1B是示出由边界控制标志控制的解块滤波处理的范围的图。
图1C是示出由边界控制标志控制的SAO的范围的图。
图2是说明GDR的说明图。
图3是示出伴随GDR的图像编码方法的流程图。
图4是示出由GDR刷新的片的图。
图5是示出各个片的边界控制标志和片边界的环路滤波处理的关系的图。
图6是示出实施例1的图像编码装置的结构的方框图。
图7A是实施例1的片边界控制的说明图。
图7B是实施例1的片边界控制的说明图。
图7C是实施例1的片边界控制的说明图。
图8是实施例1的片边界控制的更详细的说明图。
图9是示出实施例1的图像编码装置的处理工作的流程图。
图10是示出实施例1的图像解码装置的结构的方框图。
图11是示出实施例1的图像解码装置的处理工作的流程图。
图12是实施例1的变形例1涉及的针对片边界的SAO的控制的说明图。
图13是示出实施例1的变形例2涉及的片角周边的SAO的掩模的一个例子的图。
图14是示出实施例1的变形例2涉及的片的角周边的SAO的掩模的另一个例子的图。
图15A是示出实施例1的变形例2涉及的片的角周边的SAO的掩模的还另一个例子的图。
图15B是示出实施例1的变形例2涉及的片的角周边的SAO的掩模的还另一个例子的图。
图15C是示出实施例1的变形例2涉及的片的角周边的SAO的掩模的还另一个例子的图。
图15D是示出实施例1的变形例2涉及的片的角周边的SAO的掩模的还另一个例子的图。
图15E是示出实施例1的变形例2涉及的片的角周边的SAO的掩模的还另一个例子的图。
图15F是示出实施例1的变形例2涉及的片的角周边的SAO的掩模的还另一个例子的图。
图16是示出实施例1的变形例2涉及的适用SAO的中央的像素和其周边的像素的位置关系的图。
图17是示出实施例1的变形例2涉及的片的角周边的45°的SAO的掩模的例子的图。
图18是示出实施例1的变形例2涉及的片的角周边的135°的SAO的掩模的例子的图。
图19A是示出本发明的一个实施方案涉及的图像解码方法的流程图。
图19B是示出本发明的一个实施方案涉及的图像解码装置的结构的方框图。
图20A是示出本发明的另一个实施方案涉及的图像解码方法的流程图。
图20B是示出本发明的另一个实施方案涉及的图像解码装置的结构的方框图。
图21A是示出本发明的一个实施方案涉及的图像编码方法的流程图。
图21B是示出本发明的一个实施方案涉及的图像编码装置的结构的方框图。
图22A是示出本发明的另一个实施方案涉及的图像编码方法的流程图。
图22B是示出本发明的另一个实施方案涉及的图像编码装置的结构的方框图。
图23是实现内容分发服务的内容提供系统的整体结构图。
图24是数字广播用系统的整体结构图。
图25是示出电视机的结构例的方框图。
图26是示出对作为光盘的记录介质进行信息的读写的信息再生/记录部的结构例的方框图。
图27是示出作为光盘的记录介质的构造例的图。
图28A是示出表示移动电话的一个例子的图。
图28B是示出移动电话的结构例的方框图。
图29是示出多路复用数据的结构的图。
图30是示出在多路复用数据中各个流如何被多路复用的模式图。
图31是更详细示出PES数据包列中如何存储视频流的图。
图32是示出多路复用数据的TS数据包和源数据包的构造的图。
图33是示出PMT的数据结构的图。
图34是示出多路复用数据信息的内部结构的图。
图35是示出流属性信息的内部结构的图。
图36是示出识别影像数据的步骤的图。
图37是示出实现各个实施例的运动图像编码方法及运动图像解码方法的集成电路的结构例的方框图。
图38是示出切换驱动频率的结构的图。
图39是示出识别影像数据，切换驱动频率的步骤的图。
图40是示出影像数据的标准与驱动频率对应起来的查找表的一个例子的图。
图41A是示出共享信号处理部的模块的结构的一个例子的图。
图41B是示出共享信号处理部的模块的结构的其他的一个例子的图。
具体实施方式
(成为本发明的基础的知识)
本发明人，对于“背景技术”的栏中所记载的非专利文献1的图像解码方法及图像编码方法，看出了发生以下的问题。
图1A是示出图片的结构的图。
图片，由至少一个片构成，如图1A示出，具有例如三个片s1、s2、s3。而且，以相同的意义利用图片和帧。片，由至少一个最大编码单位(LCU)构成。
各个片，具有边界控制标志(slice_loop_filter_across_slices_enabled_flag)。该边界控制标志是，用于控制针对片的边界(片边界)的、解块滤波处理及取样自适应偏移处理(SAO)等的环路滤波处理(环内滤波处理)的标志。该环路滤波处理是，在显示用于预测图像的生成的重构图像之前、或在该重构图像存储到帧缓冲器之前进行的。解块滤波处理是，用于抑制按每个块对运动图像进行编码或解码而产生的块失真的处理。通过该解块滤波处理，主观画质提高。SAO是，将重构图像中包含的各个像素的像素值与偏移值相加的处理，该SAO有带偏移和边缘偏移。并且，通过该SAO，主观画质及客观画质提高。而且，由边界控制标志控制的环路滤波处理的对象是，片边界，具体而言，是位于该片边界的周边的至少一个像素。
图1B是示出成为由边界控制标志控制的解块滤波处理的对象的范围的图。
例如，由片s2的边界控制标志，控制针对位于片s2的上边的片边界sb1、和位于片s2的左边的片边界sb2的解块滤波处理。也就是说，在边界控制标志＝0的情况下，不对位于片边界sb1、sb2各自的周边的各个像素(样本)进行解块滤波处理。另一方面，在边界控制标志＝1的情况下，对位于片边界sb1及片边界sb2各自的周边的各个像素进行解块滤波处理。如此，由边界控制标志，将解块滤波处理切换为开启或关闭。
图1C是示出成为由边界控制标志控制的SAO的对象的范围的图。
片s2的边界控制标志，与所述的解块滤波处理一起，控制针对位于片s2的上边、左边、下边、以及右边的片边界sb1、sb2、sb3、sb4、sb5的SOA。也就是说，在边界控制标志＝0的情况下，以不利用位于其他的片(片s1、s3)的像素的处理模式(填充或填充模式)，进行针对位于这样的片边界的周边的片s2内的各个像素的SAO。另一方面，在边界控制标志＝1的情况下，以能够利用位于其他的片(片s1、s3)的像素的处理模式(通常处理或通常处理模式)，进行针对位于它们的片边界的周边的片s2内的各个像素的SAO。如此，由边界控制标志，切换SAO的处理模式。
也就是说，针对各个片，能够设定示出分别不同的值的边界控制标志，将边界控制标志设定为0，从而能够抑制解块滤波处理或SAO等中因环路滤波处理而产生的片间的依赖关系。这样的边界控制标志，能够抑制片间的依赖关系，因此，为了功能性地进行图像的编码或解码的并行处理、或GDR(Gradual decoder refresh：逐渐解码刷新)那样的刷新处理而被利用。
在此，GDR，例如，在进行参考虽编码但没有由图像解码装置接收的数据那样的随机访问的情况下，用于将运动图像在多个图片中阶段性地恢复为清晰的图像。
图2是GDR的说明图。
若图片p1中开始GDR，则图片p1的开头的片s1，仅通过帧内预测而被编码。也就是说，该片s1以刷新模式被编码。因此，不参考按照编码顺序在图片p1之前的图片，而对片s1进行编码。这样的片s1是，被刷新的区域(以下，称为刷新区域)。并且，图片p1的片s1以外的区域是，不被刷新的区域(以下，称为非刷新区域)。
图片p2的开头的片s1，通过只能参考图片p1的片s1的运动补偿而被编码，或者，通过帧内预测而被编码。也就是说，该图片p2的片s1，也以刷新模式被编码。该图片p2的片s1也是刷新区域，在图片p2中，刷新区域扩大了。
图片p3的开头的片s1和第二个片s2，通过只能参考图片p1的片s1和图片p2的片s1的运动补偿而被编码，或者，通过帧内预测而被编码。也就是说，该图片p3的片s1及片s2，也以刷新模式被编码。该图片p3的片s1、s2也是刷新区域，在图片p3中，刷新区域更扩大了。也就是说，若GDR开始，图片的每一个中包含的刷新区域，则按照图片的编码顺序阶段性地变大。
在GDR的最后，图片的所有的区域被刷新。因此，GDR所需要的时间是，为了刷新图片的所有的区域而需要的时间。该时间，作为SEI(Supplemental Enhancement Information：补充增强信息)中包含的信息被发送到图像解码装置。
图3是示出伴随GDR的图像编码方法的流程图。
图像编码装置，若开始伴随GDR的编码，首先，则将第一控制参数(refreshed_LCUs_in_current_frame)设定为0(步骤S901)。接着，图像编码装置，以刷新模式对处理对象(编码对象)片进行编码(步骤S902)。而且，在伴随GDR的编码的开始时，图片内的开头的片被选择为处理对象片。而且，图像编码装置，对处理对象片内的LCU的数量(number_of_LCUs_in_current_slice)进行计数(步骤S903)。
接着，图像编码装置，将该LCU的数量与第一控制参数相加(步骤S904)。在此，图像编码装置，判定该第一控制参数是否为，示出紧前的图片中以刷新模式被编码的LCU的数量的第二控制参数(refreshed_LCUs_in_prev_frame)与德尔塔D之和以下(步骤S905)。德尔塔D是，用于控制GDR所需要的时间的参数。若该德尔塔D的值大，为了刷新一个图片的所有的区域而需要的图片的数量少，若德尔塔D的值小，该图片的数量多。
图像编码装置，若判定第一控制参数不是所述的和以下(步骤S905的“否”)，则以非刷新模式对图片内的剩余的区域进行编码(步骤S906)。另一方面，图像编码装置，若判定第一控制参数为所述的和以下(步骤S905的“是”)，则判定在图片内是否存在未被编码的片(步骤S907)。在此，图像编码装置，若判定为存在未被编码的片(步骤S907的“是”)，则将该未被编码的片作为处理对象片来选择(步骤S908)，从步骤S902反复执行处理。
如此，图像编码装置，在开始片的编码时，需要判断是否以刷新模式对处理对象片进行编码。然而，图像编码装置，仅对处理对象片，即，仅在处理对象片的编码开始时，能够进行该判断。换句话说，图像编码装置，正在对处理对象片进行编码时，不能判断是否以刷新模式对下一个片进行编码。该判断是，仅在下一个片的编码开始时能够进行的。
并且，在GDR中，需要避免在刷新区域与非刷新区域之间存在数据的依赖关系。于是，为了不使非刷新区域的数据混入到刷新区域，利用片头部中的所述的边界控制标志，对具有该片头部的片的各个片边界的环路滤波处理进行控制。
在此，根据SAO的边缘偏移，成为偏移的对象的像素的每一个，与邻接于该像素的两个像素被进行比较，从而被分类为某个等级。各个等级由边缘索引定义。
因此，在对位于处理对象片的片边界周边的像素(处理对象像素)进行SAO时，会有将位于处理对象片之外的像素，作为邻接于处理对象像素的像素来与处理对象像素比较的情况。在这样的情况下，在需要避免与位于处理对象片之外的像素比较时，边界控制标志被设定为0。据此，对于位于处理对象片的片边界周边的像素(处理对象像素)，不进行所述的比较，而边缘索引被设定为0。
例如，如图1C示出，对于针对位于片s2内的片边界周边的像素(处理对象像素)的SAO，会有将位于片s2之外的像素(片s1内或s3内的像素)作为比较对象来利用的情况。在这样的情况下，在需要避免将位于片s2之外的像素作为比较对象来利用时，片s2的边界控制标志被设定为0。其结果为，针对位于片s2内的片边界周边的像素(处理对象像素)，不将位于片s2之外的像素作为比较对象来利用，而边缘索引被设定为0。
在SAO中，在处理对象像素的边缘索引为0的情况下，该处理对象像素的像素值，与作为偏移值的“0”相加。如此，在SAO中，不进行与邻接于处理对象像素的两个像素的比较而将作为偏移值的“0”与处理对象像素的像素值相加的处理，被称为填充(填充模式)。也就是说，该填充是，SAO的处理模式之中之一，也是不利用位于处理对象片以外的其他的片的像素的处理模式。在SAO中通过该填充，能够防止非刷新区域的数据混入到刷新区域混。而且，在SAO中对处理对象像素与邻接于该处理对象像素的两个像素进行比较，来设定该理对象像素的边缘索引的处理模式，被称为通常处理(通常处理模式)。
图4是示出由GDR刷新的片的图。
如图4示出，片s1及片s2被刷新，片s3及片s4不被刷新。
在这样的情况下，需要不产生从非刷新区域的片s3向刷新区域的片s2的数据的依赖关系。也就是说，对于针对片s2的环路滤波处理，需要不参考片s3的像素。据此，能够防止从非刷新区域的片s3向刷新区域的片s2的数据的混入。
图5是示出各个片的边界控制标志和片边界的环路滤波处理的关系的图。而且，图5中的BD意味着解块滤波处理。
为了满足不产生图4示出的从片s3向片s2的数据的依赖关系不产生那样的要求，需要将片s3的边界控制标志设定为0，将片s2与片s3之间的片边界的解块滤波处理关闭。进而，需要将片s2的边界控制标志做设定为0，在片s2的SAO中，不参考片s3的像素。据此，能够防止通过环路滤波处理，产生从片s3向片s2的数据的依赖关系。
然而，如利用图3说明，正在对片s2进行编码时，不能判断是否以非刷新模式对片s3进行编码。
也就是说，仅在对处理对象片的片头部进行编码，该处理对象片的所有的编码完成之后，才能够判断以刷新模式及非刷新模式之中的哪个模式对下一个片进行编码。因此，在对处理对象片的片头部进行编码，针对该处理对象片的所有的编码完成之后判断为以非刷新模式对下一个片(例如片s3)进行编码时，会有需要修正该处理对象片中的片头部的边界控制标志的情况。这意味着，对片头部的编码需要两个编码的途径，存在安装的成本增加，处理负荷变大的问题。也就是说，为了以后修正片头部，需要将处理后的片全部保存到存储器，其结果为，主要存储器的安装成本增加。
并且，例如，在电视会议系统那样需要低延迟的应用中，为了抑制发送延迟，片被分割成更小的数据包。在这样的应用中，片被分割成更小的分割单位，在片的所有的编码完成之前这样的分割单位分别发送到图像解码装置。
然而，如上所述，会有在片全部被编码之后，需要修正边界控制标志的情况。因此，不能早点发送包含以后有可能修正的片头部的最初的分割单位，因此，即使将片分割成更小的单位，也不能抑制发送延迟。
进而，在并行进行多个片的解码的多片处理的情况下存在的问题是，进行处理对象片的SAO，因此，需要等待下一个片的解码，处理负荷变高。例如，在处理对象片的边界控制标志示出1的情况下，针对位于该处理对象片的下边及右边的片边界周边的该处理对象片内的各个像素，需要通过通常处理进行SAO。但是，为了进行该SAO，需要夹着所述的下边及右边的片边界位于与处理对象片相反一侧的下一个片的像素。因此，即使在下一个片的边界控制标志示出任何值(0或1)的情况下，为了进行针对处理对象片的SAO，也需要等待下一个片的解码。
如此，在非专利文献1的图像解码方法及图像编码方法中，存在处理负荷大的问题。
为了解决这样的问题，本发明的实施方案之一涉及的图像解码方法，对编码图片进行解码，在所述图像解码方法中，获得边界控制标志，该边界控制标志用于对解块滤波处理和取样自适应偏移处理进行共同的控制，所述解块滤波处理和取样自适应偏移处理是针对所述编码图片中包含的解码对象片的片边界的处理，对所述解码对象片进行解码，根据所述边界控制标志，仅对解码后的所述解码对象片的所有的片边界之中的、上边及左边的至少一方的片边界，进行所述解块滤波处理，仅对解码后的所述解码对象片的所有的片边界之中的、所述上边及左边的至少一方的片边界，进行与所述边界控制标志对应的取样自适应偏移处理。
据此，成为由解码对象片的边界控制标志(slice_loop_filter_across_slices_enabled_flag)控制的取样自适应偏移处理(SAO)的对象的片边界，与解块滤波处理同样，仅限于解码对象片的所有的片边界之中的、上边及左边的至少一方的片边界。因此，即使处理对象片的边界控制标志示出1，若下一个片的边界控制标志示出0，则也可以不等待下一个片的解码，而对该解码对象片进行环路滤波处理(解块滤波处理及SAO)，将该解码对象片输出或显示。据此，能够减轻处理负荷。
并且，在图像编码方法中，能够进行与本发明的实施方案之一涉及的图像解码方法的利用了边界控制标志的环路滤波处理同样的处理。在此情况下，不由编码对象片的边界控制标志，控制针对编码对象片与下一个片之间的片边界(编码对象片的下边及右边的片边界)的环路滤波处理。因此，在进行伴随GDR的图像编码时，即使在编码对象片的编码结束之后，知道下一个片是非刷新区域的情况下，也不需要特意修正编码对象片之前已经编码的其边界控制标志。据此，能够减轻处理负荷。
为了解决所述的问题，本发明的实施方案之一涉及的图像解码方法，对编码图片进行解码，在所述图像解码方法中，获得边界控制标志，该边界控制标志用于控制针对所述编码图片中包含的解码对象片的片边界的取样自适应偏移处理，对所述解码对象片进行解码，按照所述边界控制标志，共同进行针对位于解码后的所述解码对象片的上边及左边的至少一方的片边界周边的、所述解码对象片内的至少一个像素、和解码后的其他片内的至少一个像素的取样自适应偏移处理。
据此，由解块对象片的边界控制标志(slice_loop_filter_across_slices_enabled_flag)控制的取样自适应偏移处理(SAO)是，与解块滤波处理同样，除了位于解码对象片的上边及左边的至少一方的片边界周边的、解码对象片内的像素以外，还对其他的片内的像素共同进行的。因此，即使解码对象片的边界控制标志示出1，若下一个片的边界控制标志示出0，则也可以不等待下一个片的解码，而对该解码对象片进行环路滤波处理(解块滤波处理及SAO)，将该解码对象片输出或显示。据此，能够减轻处理负荷。
并且，在图像编码方法中，能够进行与本发明的实施方案之一涉及的图像解码方法的利用了边界控制标志的环路滤波处理同样的处理。在此情况下，不由编码对象片的边界控制标志，控制针对编码对象片与下一个片之间的片边界(编码对象片的下边及右边的片边界)的环路滤波处理。因此，在进行伴随GDR的图像编码时，即使在编码对象片的编码结束之后，知道下一个片是非刷新区域的情况下，也不需要特意修正编码对象片的其边界控制标志。据此，能够减轻处理负荷。
并且，也可以是，在进行所述取样自适应偏移处理时，按照所述边界控制标志，对所述取样自适应偏移处理的处理模式进行切换，根据通过切换而选择的处理模式，进行所述取样自适应偏移处理。例如，在进行所述取样自适应偏移处理时，在所述边界控制标志示出0的情况下，将所述取样自适应偏移处理的处理模式，切换为将0作为偏移值来与成为偏移的对象的像素相加的填充模式，根据所述填充模式，进行所述取样自适应偏移处理。更具体而言，也可以是，所述取样自适应偏移处理，有按照成为偏移的对象的像素的边缘内的特征而分类的多个处理模式，边缘索引被分配到所述多个处理模式的每一个，在进行所述取样自适应偏移处理时，在所述边界控制标志示出0的情况下，将边缘索引设定为0，从而将所述取样自适应偏移处理的处理模式切换为所述填充模式。
进而，在本实施例中，在边界控制标志为0时，通过填充模式，能够不使取样自适应偏移处理实质上发挥功能。其结果为，针对位于解码对象片的上边以及左边的至少一方的片边界、即该片边界的周边的像素，实质上不进行取样自适应偏移处理，因此，能够抑制夹着该片边界位于与解码对象片相反一侧的其他的片和解码对象片之间的数据的依赖关系。据此，能够容易进行并行进行多个片的解码的多片处理。
并且，也可以是，根据所述边界控制标志，将解块滤波处理切换为开启或关闭，仅在切换为开启的情况下，进行所述解块滤波处理。
进而，例如，在边界控制标志为0时，将解块滤波处理切换为关闭，从而能够不使解块滤波处理发挥功能。其结果为，对解块对象片的上边以及左边的至少一方的片边界，不进行解块滤波处理，因此，能够抑制夹着该片边界位于与解块对象片相反一侧的其他的片和解块对象片之间的数据的依赖关系。据此，能够容易进行并行进行多个片的解块的多片处理。
并且，也可以是，在所述边界控制标志示出0的情况下，将所述解块滤波处理切换为关闭，从而不进行所述解块滤波处理，在进行所述取样自适应偏移处理时，将所述取样自适应偏移处理的处理模式，切换为将0作为偏移值来与像素值相加的填充模式，根据所述填充模式，进行所述取样自适应偏移处理。
据此，在边界控制标志为0时，对解块对象片的上边以及左边的至少一方的片边界，不进行解块滤波处理，并且，实质上不进行取样自适应偏移处理，因此，更能够抑制夹着该片边界位于与解块对象片相反一侧的其他的片和解块对象片之间的数据的依赖关系。据此，更能够容易进行并行进行多个片的解块的多片处理。
并且，也可以是，在成为与所述边界控制标志对应的所述取样自适应偏移处理的对象的像素是也成为与其他片的其他边界控制标志对应的取样自适应偏移处理的对象的特定像素的情况下，在进行所述取样自适应偏移处理时，在所述边界控制标志和所述其他边界控制标志之中的至少一方示出0的情况下，将所述取样自适应偏移处理的处理模式切换为所述填充模式，根据所述填充模式，进行针对所述特定像素的所述取样自适应偏移处理。
据此，在针对一个像素(特定像素)的由多个边界控制标志的取样自适应偏移处理的控制干涉的情况下，由这样的边界控制标志之中的示出0的边界控制标志的控制为优先。其结果为，能够适当地进行针对该特定像素的取样自适应偏移处理。
为了解决所述的问题，本发明的实施方案之一涉及的图像编码方法，对图片进行编码，在所述图像编码方法中，对边界控制标志进行编码，该边界控制标志用于对解块滤波处理和取样自适应偏移处理进行共同的控制，所述解块滤波处理和取样自适应偏移处理是针对所述图片中包含的编码对象片的片边界的处理，对所述编码对象片进行编码，从通过所述编码对象片的编码而生成的数据重新构成所述编码对象片，根据所述边界控制标志，仅对重新构成的所述编码对象片的所有的片边界之中的、上边及左边的至少一方的片边界，进行所述解块滤波处理，仅对重新构成的所述编码对象片的所有的片边界之中的、所述上边及左边的至少一方的片边界，进行与所述边界控制标志对应的取样自适应偏移处理。
据此，成为由编码对象片的边界控制标志(slice_loop_filter_across_slices_enabled_flag)控制的取样自适应偏移处理(SAO)的对象的片边界，与解块滤波处理同样，仅限于重新构成的编码对象片的所有的片边界之中的、上边及左边的至少一方的片边界。因此，即使编码对象片的边界控制标志示出1，若下一个片的边界控制标志示出0，则也可以不等待下一个片的重构，而对重新构成的编码对象片进行环路滤波处理(解块滤波处理及SAO)，将该重新构成的编码对象片利用于预测图像的生成。据此，能减轻处理负荷。
在此情况下，不由编码对象片的边界控制标志，控制针对重新构成的编码对象片与重新构成的下一个片之间的片边界(编码对象片的下边及右边的片边界)的环路滤波处理。因此，在进行伴随GDR的图像编码时，即使在编码对象片的编码结束之后，知道下一个片是非刷新区域的情况下，也不需要特意修正编码对象片之前已经编码的其边界控制标志。据此，能够减轻处理负荷。
为了解决所述的问题，本发明的实施方案之一涉及的图像编码方法，对图片进行编码，在所述图像编码方法中，对边界控制标志进行编码，该边界控制标志用于控制针对所述图片中包含的编码对象片的片边界的取样自适应偏移处理，对所述编码对象片进行编码，从通过所述编码对象片的编码而生成的数据重新构成所述编码对象片，按照所述边界控制标志，共同进行针对位于重新构成的所述编码对象片的上边及左边的至少一方的片边界周边的、所述编码对象片内的至少一个像素、和重新构成的其他片内的至少一个像素的取样自适应偏移处理。
据此，由编码对象片的边界控制标志(slice_loop_filter_across_slices_enabled_flag)控制的取样自适应偏移处理(SAO)是，与解块滤波处理同样，除了位于重新构成的编码对象片的上边及左边的至少一方的片边界周边的、重新构成的编码对象片内的像素以外，还对重新构成的其他的片内的像素共同进行的。因此，即使编码对象片的边界控制标志示出1，若下一个片的边界控制标志示出0，则也可以不等待下一个片的重新构成，而对该重新构成的编码对象片进行环路滤波处理(解块滤波处理及SAO)，将该重新构成的编码对象片利用于预测图像的生成。据此，能够减轻处理负荷。
并且，不由编码对象片的边界控制标志，控制针对重新构成的处理对象片与重新构成的下一个片之间的片边界(处理对象片的下边及右边的片边界)周边的像素的环路滤波处理。因此，在进行伴随GDR的图像编码时，即使在编码对象片的编码结束之后，知道下一个片是非刷新区域的情况下，也不需要特意修正编码对象片之前已经编码的其边界控制标志。据此，能减轻处理负荷。
而且，它们的整体或具体的形态，可以由系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质实现，也可以由系统、方法、集成电路、计算机程序及记录介质的任意的组合实现。
以下，对于实施例，参照附图进行具体说明。
而且，以下说明的实施例，都示出整体或具体的形态的例子。以下的实施例示出的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一个例子而不是限定本发明的宗旨。并且，对于以下的实施例的构成要素中的、示出最上位概念的独立权利要求中没有记载的构成要素，作为任意的构成要素而被说明。并且，以下，会有将编码(coding)作为encoding的意义来使用的情况。
(实施例1)
图6是示出本实施例的图像编码装置的结构的方框图。
图像编码装置100具备，减法器101、变换部102、量化部103、熵编码部104、逆量化部105、逆变换部106、加法器107、解块滤波器109、SAO部110、边界控制部111、以及预测部112。
减法器101，按运动图像中包含的每个块，计算该块、与由预测部112生成的预测图像的差分，以作为差分图像。
变换部102，对差分图像进行离散余弦变换等的正交变换，从而生成包含至少一个频率系数的系数块。
量化部103，根据量化参数(QP)对系数块中包含的各个频率系数进行量化，从而生成包含至少一个量化值的量化块。
熵编码部104，对量化块中包含的各个量化值、所述的量化参数、以及边界控制标志进行熵编码，从而生成比特流。
逆量化部105，对所述的量化块进行逆量化，从而复原包含至少一个频率系数的系数块。而且，该系数块，与由变换部102生成的系数块不同，包含量化误差。
逆变换部106，对由逆量化部105复原的系数块进行逆离散余弦变换等的逆正交变换，从而生成解码差分图像。
加法器107，将解码差分图像、与由预测部112生成的预测图像相加，从而生成重构图像。
解块滤波器109，从加法器107获得至少一个重构图像，对这样的重构图像的规定的边界进行解块滤波处理。在此，解块滤波器109，对处理对象片的规定的片边界，按照由边界控制部111的控制进行解块滤波处理。
SAO部110，在从解块滤波器109获得至少一个重构图像的情况下，对这样的重构图像进行SAO。在此，SAO部110，对由这样的重构图像构成的处理对象片的规定的片边界，按照由边界控制部111的控制进行SAO。
预测部112，利用进行了SAO的处理对象片生成编码对象块的预测图像，将该预测图像输出到减法器101和加法器107。
图7A至图7C是本实施例的边界控制的说明图。
边界控制部111，设定针对处理对象(编码对象)片的边界控制标志。
边界控制标志(slice_loop_filter_across_slices_enable_flag)，用于共同控制解块滤波处理和SAO的各个环路滤波处理。也就是说，边界控制标志，为了将解块滤波处理切换为开启或关闭、且为了将SAO的处理模式切换为通常处理(通常处理模式)和填充(填充模式)而利用。
如图7A示出，本实施例的成为由边界控制标志控制的解块滤波处理的对象的片边界是，与该边界控制标志对应的处理对象片的所有的片边界之中的、上边及左边的至少一方的片边界。具体而言，在处理对象片是片s2的情况下，根据片s2的边界控制标志，仅对片s2的所有的片边界sb1至sb5之中的、上边及左边的各个片边界sb1及sb2，进行解块滤波处理。而且，在处理对象片中，存在上边的片边界及左边的片边界时，这样的片边界成为解块滤波处理的对象，在仅存在任一方的片边界时，该一方的片边界成为解块滤波处理的对象。并且，解块滤波处理是，对位于该片边界周边的、处理对象片内的至少一个像素、以及位于该片边界周边的、其他的片内的至少一个像素进行的。
如图7B示出，本实施例的成为由边界控制标志控制的SAO的对象的片边界，与成为解块滤波处理的对象的片边界相同。也就是说，成为SAO的对象的片边界是，与该边界控制标志对应的处理对象片的所有的片边界之中的、上边及左边的至少一方的片边界。具体而言，在处理对象片是片s2的情况下，仅对片s2的所有的片边界sb1至sb5之中的、上边及左边的各个片边界sb1及sb2，进行与片s2的边界控制标志对应的SAO。而且，在处理对象片中，存在上边的片边界及左边的片边界时，这样的片边界成为SAO的对象，在仅存在任一方的片边界时，该一方的片边界成为SAO的对象。并且，SAO是，与解块滤波处理同样，对位于该片边界周边的、处理对象片内的至少一个像素、以及位于该片边界周边的、其他的片内的至少一个像素共同进行的。
如图7C示出，由片s2的边界控制标志，控制针对位于片s1和片s2的片边界的周边、即片s2的上边和左边的片边界的周边的像素的解块滤波处理和SAO。例如，在边界控制标志＝1的情况下，由解块滤波器109的解块滤波处理被设定为开启，由SAO部110的SAO的处理模式被设定为通常处理。也就是说，针对位于片s2的上边和左边的片边界的周边的、片s2内的各个像素、和片s1内的各个像素，解块滤波器109进行解块滤波处理，SAO部110以通常处理进行SAO。
并且，由片s3的边界控制标志，控制针对位于片s2和片s3的片边界的周边、即片s3的上边和左边的片边界的周边的像素的、片s3内的各个像素、和片s2内的各个像素的解块滤波处理和SAO。例如，在边界控制标志＝0的情况下，由解块滤波器109的解块滤波处理被设定为关闭，由SAO部110的SAO的处理模式被设定为填充。也就是说，针对位于片s3的上边和左边的片边界的周边的、片s3内的各个像素、和片s2内的各个像素，解块滤波器109不进行解块滤波处理，SAO部110以填充进行SAO。
具体而言，SAO部110，针对所述的位于的片边界周边的片s3内的各个像素、和片s2内的像素，设定边缘索引＝0，从而进行所述的填充。而且，SAO部110，在针对位于所述的片边界周边有的片s2的像素的SAO中，存在片s3的像素被参考的可能性，因此，以填充进行针对该片s2的像素的SAO。并且，SAO部110，与片s2的像素同样，在针对位于所述的片边界周边有的片s3的像素的SAO中，存在片s2的像素被参考的可能性，因此，以填充进行针对该片s3的像素的SAO。
如此，在本实施例中，SAO部110，与成为解块滤波处理的对象的片边界同样，仅对该处理对象片的片边界之中的、上边和左边的片边界，进行与该处理对象片的边界控制标志对应的SAO。其结果为，图像编码装置100，对片中包含的所有的LCU进行编码之后，不需要修正片头部，而能够进行伴随GDR的编码。
进而，在片s1和片s2的片边界、以及片s3和片s4的片边界，不进行环路滤波处理的切换，因此，能够提高这样的片边界的画质。
图8是本实施例的边界控制的更详细的说明图。
例如，由GDR，如图8示出，片s1及片s2分别被设为刷新区域，片s3及片s4分别被设为非刷新区域。
在这样的情况下，在本实施例中，只要将片s3的边界控制标志设定为0，即使将其他的三个片的边界控制标志设定为1，就能够避免在刷新区域与非刷新区域之间产生数据的依赖关系。
其结果为，在片s1和片s2的片边界、以及片s3和片s4的片边界，不需要将解块滤波处理设定为关闭，以填充进行SAO那样，不使环路滤波处理发挥功能。
如此，在本实施例中，处理对象片的边界控制标志，共同利用于仅针对处理对象片的片边界之中的上边的片边界和左边的片边界的、解块滤波处理和SAO的控制。
图9是示出本实施例的图像编码装置100的处理工作的流程图。
首先，图像编码装置100的边界控制部111，决定处理对象片的边界控制标志，熵编码部104，对该边界控制标志进行熵编码(步骤S101)。接着，图像编码装置100，对处理对象片进行编码，从由该编码生成的数据生成处理对象片的重构图像(步骤S102)。接着，边界控制部111，判定步骤S101中决定的边界控制标志是否为0(步骤S103)。在此，在判定边界控制标志为0时(步骤S103的“是”)，边界控制部111，对解块滤波器109进行控制，从而将针对处理对象片的上边和左边的片边界的解块滤波处理设定为关闭。进而，边界控制部111，对SAO部110进行控制，从而将针对这样的片边界的SAO的处理模式设定为填充(步骤S104)。另一方面，在判定边界控制标志为1时(步骤S103的“否”)，边界控制部111，对解块滤波器109进行控制，从而针对所述的上边和左边的片边界，将解块滤波处理设定为开启(步骤S105)。而且，解块滤波器109，对所述的上边和左边的片边界进行解块滤波处理(步骤S106)。
接着，在执行步骤S104或步骤S106的处理之后，SAO部110，对所述的上边和左边的片边界进行SAO(步骤S107)。而且，此时，在步骤S104中SAO的处理模式被设定为填充时，进行基于该填充的SAO。
而且，图像编码装置100，判定在编码对象图片中是否存在未被编码的片(步骤S108)。在此，在判定为存在未被编码的片的情况下(步骤S108的“是”)，图像编码装置100，将该未被编码的片作为新的处理对象片来选择(步骤S109)，从步骤S101反复执行处理。
而且，仅针对处理对象片的所有的片边界之中的、所述的上边和左边的片边界的环路滤波处理被控制。并且，若上边和左边的片边界之中的任一方的片边界不存在，则仅针对另一方的片边界的环路滤波处理被控制。进而，在成为环路滤波处理的对象的片边界，对位于该片边界的周边、且位于夹住该片边界的位置的像素进行环路滤波处理。
如此，在本实施例的图像编码方法中，成为由处理对象片的边界控制标志(slice_loop_filter_across_slices_enabled_flag)控制的取样自适应偏移处理(SAO)的对象的片边界，与解块滤波处理同样，仅限于重新构成的处理对象片的所有的片边界之中的、上边及左边的至少一方的片边界。并且，由处理对象片的边界控制标志控制的取样自适应偏移处理(SAO)是，与解块滤波处理同样，除了位于重新构成的处理对象片的上边及左边的至少一方的片边界周边的、重新构成的处理对象片内的像素以外，还对重新构成的其他的片内的像素共同进行的。
因此，即使处理对象片的边界控制标志示出1，若下一个片的边界控制标志示出0，则也可以不等待下一个片的重构，而对重新构成的处理对象片进行环路滤波处理(解块滤波处理及SAO)，将该重新构成的处理对象片利用于预测图像的生成。据此，能够减轻处理负荷。
并且，不由处理对象片的边界控制标志，控制针对重新构成的处理对象片与重新构成的下一个片之间的片边界(处理对象片的下边及右边的片边界)的环路滤波处理。因此，在进行伴随GDR的图像编码时，即使在处理对象片的编码结束之后，知道下一个片是非刷新区域的情况下，也不需要特意修正处理对象片之前已经编码的其边界控制标志。据此，能够减轻处理负荷。
图10是示出本实施例的图像解码装置的结构的方框图。
图像解码装置200具备，熵解码部204、逆量化部205、逆变换部206、加法器207、解块滤波器209、SAO部210、边界控制部211、以及预测部212。
熵解码部204，获得示出编码后的运动图像的比特流，对该比特流进行熵解码。据此，熵解码部204，输出包含至少一个量化值的量化块、量化参数(QP)、以及边界控制标志。
逆量化部205，获得从熵解码部204输出的量化参数和量化块，利用该量化参数对量化块进行逆量化，从而复原包含至少一个频率系数的系数块。
逆变换部206，对由逆量化部205复原的系数块进行逆离散余弦变换等的逆正交变换，从而生成解码差分图像。
加法器207，将解码差分图像、与由预测部212生成的预测图像相加，从而生成重构图像。依次生成这样的重构图像，从而比特流中的编码图片中包含的处理对象(解码对象)片被解码。
解块滤波器209，从加法器207获得至少一个重构图像，对这样的重构图像的规定的边界进行解块滤波处理。在此，解块滤波器209，针对处理对象片的规定的片边界，按照由边界控制部211的控制进行解块滤波处理。
SAO部210，若从解块滤波器209获得至少一个重构图像，则对这样的重构图像进行SAO。在此，SAO部110，针对由这样的重构图像构成的处理对象片的规定的片边界，按照由边界控制部211的控制进行SAO。
预测部212，利用进行了SAO的处理对象片生成编码对象块的预测图像，将该预测图像输出到加法器207。
图11是示出本实施例的图像解码装置200的处理工作的流程图。
首先，图像解码装置200的熵解码部204，从比特流提取处理对象(解码对象)片的边界控制标志，对该边界控制标志进行熵解码(步骤S201)。接着，图像解码装置200，对处理对象片进行解码(步骤S202)。接着，边界控制部211，判定步骤S201中熵解码的边界控制标志是否为0(步骤S203)。在此，在判定边界控制标志为0时(步骤S203的“是”)，边界控制部211，对解块滤波器209进行控制，从而将针对处理对象片的上边和左边的片边界的解块滤波处理设定为关闭。进而，边界控制部211，对SAO部210进行控制，从而将针对这样的片边界的SAO的处理模式设定为填充(步骤S204)。另一方面，在判定边界控制标志为1时(步骤S203的“否”)，边界控制部211，对解块滤波器209进行控制，从而将针对所述的上边和左边的片边界的解块滤波处理设定为开启(步骤S205)。而且，解块滤波器209，对所述的上边和左边的片边界进行解块滤波处理(步骤S206)。
接着，在执行步骤S204或步骤S206的处理之后，SAO部210，对所述的上边和左边的片边界进行SAO(步骤S207)。而且，此时，在步骤S204中SAO的处理模式被设定为填充时，进行基于该填充的SAO。
而且，图像解码装置200，判定在解码对象图片中是否存在未解码的片(步骤S208)。在此，若判定为存在未解码的片(步骤S208的“是”)，图像解码装置200，将该未解码的片作为新的处理对象片来选择(步骤S209)，从步骤S201反复执行处理。
而且，仅针对处理对象片的所有的片边界之中的、所述的上边和左边的片边界的环路滤波处理被控制。并且，若上边和左边的片边界之中的任一方的片边界不存在，则仅针对另一方的片边界的环路滤波处理被控制。进而，在成为环路滤波处理的对象的片边界，对位于该片边界的周边、且位于夹住该片边界的位置的像素进行环路滤波处理。
如此，本实施例的图像解码方法及图像解码装置200，与所述的图像编码方法及图像编码装置100同样，根据边界控制标志，控制针对处理对象片的片边界的环路滤波处理。也就是说，本实施例的图像解码方法及图像解码装置200，根据利用图7A至图8说明的处理工作，进行针对处理对象片的片边界的解块滤波处理和SAO。而且，图像解码方法及图像解码装置200中利用的处理对象片是，解码对象片，图像编码方法及图像编码装置100中利用的处理对象片是，编码对象片。
也就是说，在本实施例的图像解码方法中，成为由处理对象片的边界控制标志(slice_loop_filter_across_slices_enabled_flag)控制的取样自适应偏移处理(SAO)的对象的片边界，与解块滤波处理同样，仅限于处理对象片的所有的片边界之中的、上边及左边的至少一方的片边界。并且，由处理对象片的边界控制标志控制的取样自适应偏移处理(SAO)是，与解块滤波处理同样，除了位于处理对象片的上边及左边的至少一方的片边界周边的、处理对象片内的像素以外，还对其他的片内的像素共同进行的。
因此，即使处理对象片的边界控制标志示出1，若下一个片的边界控制标志示出0，则也可以不等待下一个片的解码，而对该处理对象片进行环路滤波处理(解块滤波处理及SAO)，将该处理对象片输出或显示。据此，能够减轻处理负荷。
进而，在本实施例中，在边界控制标志为0时，通过填充模式，能够不使取样自适应偏移处理实质上发挥功能。其结果为，针对位于处理对象片的上边以及左边的至少一方的片边界、即该片边界的周边的像素，实质上不进行取样自适应偏移处理，因此，能够抑制夹着该片边界位于与处理对象片相反一侧的其他的片和处理对象片之间的数据的依赖关系。据此，能够容易进行并行进行多个片的处理的多片处理。
进而，在本实施例中，在边界控制标志为0时，将解块滤波处理切换为关闭，从而能够不使解块滤波处理发挥功能。其结果为，对处理对象片的上边以及左边的至少一方的片边界，不进行解块滤波处理，因此，能够抑制夹着该片边界位于与处理对象片相反一侧的其他的片和处理对象片之间的数据的依赖关系。据此，能够容易进行并行进行多个片的处理的多片处理。
(变形例1)
在所述实施例的图像编码方法及图像解码方法中，按照边界控制标志将SAO的处理模式切换为通常处理和填充，但是，与解块滤波处理同样，也可以将SAO切换为开启或关闭。
图12是本变形例涉及的针对片边界的SAO的控制的说明图。
如该图12示出，由片s3的边界控制标志，针对位于片s2和片s3的片边界的周边、即片s3的上边和左边的片边界的周边的像素的SAO，与解块滤波处理同样被切换为开启或关闭。
例如，在边界控制标志＝0的情况下，在本变形例中，解块滤波处理，与所述实施例1同样被设定为关闭，但是，SAO也被设定为关闭。也就是说，针对位于片s3的上边和左边的片边界的周边的、即片s3内的各个像素和片s2内的各个像素，解块滤波器109、209不进行解块滤波处理，SAO部110、210也不进行SAO。
也就是说，SAO部110、210，在针对位于所述的片边界周边的片s2的像素的SAO中，存在片s3的像素被参考的可能性，因此，不进行针对该片s2的像素的SAO。并且，SAO部110、210，与片s2的像素同样，在针对位于所述的片边界周边的片s3的像素的SAO中，存在片s2的像素被参考的可能性，因此，不进行针对该片s3的像素的SAO。
如此，在本变形例中，将SAO切换为开启或关闭，从而能够得到与所述实施例同样的效果。
(变形例2)
在所述实施例的图像编码方法及图像解码方法中，会有一个像素，成为与多个边界控制标志对应的环路滤波处理的对象的情况。本变形例的特征是，在这样的情况下，也能够适当地进行针对该像素的环路滤波处理。
图13是示出片的角周边的SAO的掩模的一个例子的图。
根据所述实施例的边界控制标志，会有如何进行针对位于片的角周边的像素的SAO不明确的情况。适用SAO的像素是，图13示出的掩模中包含的三个像素(图13中的三个黑色的点)之中的中央的像素。针对该像素的SAO，由片s2和片s3各自的边界控制标志同时控制。
图14是示出片的角周边的SAO的掩模的另一个例子的图。
适用SAO的像素是，图14示出的掩模中包含的三个像素之中的中央的像素。针对该像素的SAO，与图13示出的例子同样，由片s2和片s3各自的边界控制标志同时控制。
图15A至图15F是示出片的角周边的SAO的掩模的还另一个例子的图。
即使在这样的图15A至图15F示出的例子的情况下，也与所述同样，针对中央的像素的SAO，应该由哪个片(片s2或片s3)的边界控制标志控制不明确。而且，在这样的例子中，也需要适当地进行该控制。
图16是示出适用SAO的中央的像素和其周边的像素的位置关系的图。在本变形例中，利用规则1和规则2。
根据规则1，在满足以下的条件(1)至(3)的情况下，在针对该中央的像素的SAO中，边缘索引被设定为0。条件(1)是，中央的像素位于处理对象片(片s1)内，并且，为了该中央的像素的SAO而需要位于其他的片(片s2)内的像素。条件(2)是，位于其他的片(片s2)内的像素，位于中央的像素的右边、上边、下边、右上边、或左下边。条件(3)是，其他的片(片s2)的边界控制标志为0。
根据规则2，在满足以下的条件(1)至(3)的情况下，在针对该中央的像素的SAO中，边缘索引被设定为0。条件(1)是，中央的像素位于处理对象片(片s1)内，并且，为了该中央的像素的SAO而需要位于其他的片(片s2)内的像素。条件(2)是，位于其他的片(片s2)内的像素，位于中央的像素的左边、上边，左上边、右上边、或左下边。条件(3)是，处理对象片(片s1)的边界控制标志为0。
图17是示出片的角周边的45°的SAO的掩模的例子的图。
针对图17示出的三个像素之中的中央的像素，适用利用了45°的掩模的SAO。在此情况下，中央的像素，位于作为处理对象片的片s3内，并且，为了该中央的像素的SAO而需要位于其他的片s2内的像素。因此，若片s2及片s3的任一个边界控制标志示出0，则在针对该中央的像素的SAO中，边缘索引被设定为0。
图18是示出片的角周边的135°的SAO的掩模的例子的图。
针对图18示出的三个像素之中的中央的像素，适用利用了135°的掩模的SAO。在此情况下，中央的像素，位于作为处理对象片的片s2内，并且，为了该中央的像素的SAO而需要位于其他的片s1内的像素和位于片s3内的像素。因此，若片s2及片s3的任一个边界控制标志示出0，则在针对该中央的像素的SAO中，边缘索引被设定为0。
如此，在本变形例中，在片的角周边存在填充具有优先级。据此，不需要为了位于片的角周边的一个像素而在片的所有的片边界进行填充，因此，能够对片边界周边的各个像素进行适当的环路滤波处理。
换句话说，在本变形例中，在成为与边界控制标志对应的SAO的对象的像素是也成为与其他的片的其他的边界控制标志对应的SAO的对象的特定像素、且该边界控制标志和其他的边界控制标志之中的至少一方示出0的情况下，SAO的处理模式被切换为填充。而且，根据填充，进行针对该特定像素的SAO。据此，在针对一个像素(特定像素)的由多个边界控制标志的SAO的控制干涉的情况下，由这样的边界控制标志之中的示出0的边界控制标志的控制为优先。其结果为，能够适当地进行针对该特定像素的SAO。
以上，针对一个或多个方案涉及的图像解码方法以及图像编码方法，根据实施例以及其变形例来进行了说明，不过，本发明不是被该实施例以及变形例所限制的。只要不超出本发明的宗旨，则本领域的技术人员想出的各种变形实施在本实施例的例子，以及对各个变形例中的构成要素进行组合而构筑的例子也可以都包括在一个或者多个方案的范围内。并且，本发明的一个方案或其他的方案涉及的图像解码方法及图像解码装置也可以是如下的方法及装置。
图19A是示出本发明的一个实施方案涉及的图像解码方法的流程图。
对编码图片进行解码的图像解码方法包含以下的步骤S11至S14。在步骤S11中，获得用于共同控制针对编码图片中包含的解码对象片的片边界的解块滤波处理和取样自适应偏移处理的边界控制标志。接着，在步骤S12中，对所述解码对象片进行解码。接着，在步骤S13中，根据所述边界控制标志，仅对解码后的所述解码对象片的所有的片边界之中的、上边及左边的至少一方的片边界，进行所述解块滤波处理。而且，在步骤S14中，仅对解码后的所述解码对象片的所有的片边界之中的、所述上边及左边的至少一方的片边界，进行与所述边界控制标志对应的取样自适应偏移处理。
图19B是示出本发明的实施方案之一涉及的图像解码装置的结构的方框图。
对编码图片进行解码的图像解码装置10具备，标志获得部11、解码部12、解块滤波器13及SAO部14。标志获得部11，获得用于共同控制针对编码图片中包含的解码对象片的片边界的解块滤波处理和取样自适应偏移处理的边界控制标志。接着，解码部12，对所述解码对象片进行解码。接着，解块滤波器13，根据所述边界控制标志，仅对解码后的所述解码对象片的所有的片边界之中的、上边及左边的至少一方的片边界，进行所述解块滤波处理。而且，SAO部14，仅对解码后的所述解码对象片的所有的片边界之中的、所述上边及左边的至少一方的片边界，进行与所述边界控制标志对应的取样自适应偏移处理。
即使是这样的本发明的实施方案之一涉及的图像解码方法及图像解码装置，也能够得到与所述实施例及其变形例同样的效果。
图20A是示出本发明的另一个实施方案涉及的图像解码方法的流程图。
对编码图片进行解码的图像解码方法包含以下的步骤S21至S23。在步骤S21中，获得用于控制针对编码图片中包含的解码对象片的片边界的取样自适应偏移处理的边界控制标志。接着，在步骤S22中，对所述解码对象片进行解码。而且，在步骤S23中，按照所述边界控制标志，共同进行针对位于解码后的所述解码对象片的上边及左边的至少一方的片边界周边的、所述解码对象片内的至少一个像素、和解码后的其他的片内的至少一个像素的取样自适应偏移处理。
图20B是示出本发明的另一个实施方案涉及的图像解码装置的结构的方框图。
对编码图片进行解码的图像解码装置20具备，标志获得部21、解码部22及SAO部23。标志获得部21，获得用于控制针对编码图片中包含的解码对象片的片边界的取样自适应偏移处理的边界控制标志。接着，解码部22，对所述解码对象片进行解码。而且，SAO部23，按照所述边界控制标志，共同进行针对位于解码后的所述解码对象片的上边及左边的至少一方的片边界周边的、所述解码对象片内的至少一个像素、和解码后的其他的片内的至少一个像素的取样自适应偏移处理。
即使是这样的本发明的其他的实施方案涉及的图像解码方法及图像解码装置，也能够得到与所述实施例及其变形例同样的效果。
图21A是示出本发明的一个实施方案涉及的图像编码方法的流程图。
对图片进行编码的图像编码方法包含以下的步骤S31至S35。在步骤S31中，对用于共同控制针对所述图片中包含的编码对象片的片边界的解块滤波处理和取样自适应偏移处理的边界控制标志进行编码。接着，在步骤S32中，对所述编码对象片进行编码。接着，在步骤S33中，从通过所述编码而生成的数据重新构成所述编码对象片。接着，在步骤S34中，根据所述边界控制标志，仅对重新构成的所述编码对象片的所有的片边界之中的、上边及左边的至少一方的片边界，进行所述解块滤波处理。而且，在步骤S35中，仅对重新构成的所述编码对象片的所有的片边界之中的、所述上边及左边的至少一方的片边界，进行与所述边界控制标志对应的取样自适应偏移处理。
图21B是示出本发明的一个实施方案涉及的图像编码装置的结构的方框图。
对图片进行编码的图像编码装置30具备，标志编码部31、编码部32、重构部33、解块滤波器34及SAO部35。也就是说，标志编码部31，对用于共同控制针对所述图片中包含的编码对象片的片边界的解块滤波处理和取样自适应偏移处理的边界控制标志进行编码。接着，编码部32，对所述编码对象片进行编码。接着，重构部33，从通过所述编码对象片的编码而生成的数据重新构成所述编码对象片。接着，解块滤波器34，根据所述边界控制标志，仅对重新构成的所述编码对象片的所有的片边界之中的、上边及左边的至少一方的片边界，进行所述解块滤波处理。而且，SAO部35，仅对重新构成的所述编码对象片的所有的片边界之中的、所述上边及左边的至少一方的片边界，进行与所述边界控制标志对应的取样自适应偏移处理。
即使是这样的本发明的一个实施方案涉及的图像编码方法及图像编码装置，也能够得到与所述实施例及其变形例同样的效果。
图22A是示出本发明的另一个实施方案涉及的图像编码方法的流程图。
对图片进行编码的图像编码方法包含以下的步骤S41至S44。在步骤S41中，对用于控制针对所述图片中包含的编码对象片的片边界的取样自适应偏移处理的边界控制标志进行编码。接着，在步骤S42中，对所述编码对象片进行编码。接着，在步骤S43中，从通过所述编码对象片的编码而生成的数据重新构成所述编码对象片。而且，在步骤S44中，按照所述边界控制标志，共同进行针对位于重新构成的所述编码对象片的上边及左边的至少一方的片边界周边的、所述编码对象片内的至少一个像素、和重新构成的其他的片内的至少一个像素的取样自适应偏移处理。
图22B是示出本发明的另一个实施方案涉及的图像编码装置的结构的方框图。
对图片进行编码的图像编码装置40具备，标志编码部41、编码部42、重构部43及SAO部44。也就是说，标志编码部41，对用于控制针对所述图片中包含的编码对象片的片边界的取样自适应偏移处理的边界控制标志进行编码。接着，编码部42，对所述编码对象片进行编码。接着，重构部43，从通过所述编码对象片的编码而生成的数据重新构成所述编码对象片。而且，SAO部44，按照所述边界控制标志，共同进行针对位于重新构成的所述编码对象片的上边及左边的至少一方的片边界周边的、所述编码对象片内的至少一个像素、和重新构成的其他的片内的至少一个像素的取样自适应偏移处理。
即使是这样的本发明的另一个实施方案涉及的图像编码方法及图像编码装置，也能够得到与所述实施例及其变形例同样的效果。
而且，在所述各个实施例，各个构成要素可以用专用的硬件来构成，或者通过执行适合各个构成要素的软件程序来实现。各个构成要素，也可以通过CPU或处理器等的程序执行部读出并执行硬盘或半导体存储器等记录介质上记录的软件程序来实现。换而言之，图像编码装置及图像解码装置具备，处理电路(processing circuitry)、以及与该处理电路电连接的(从该处理电路能够访问的)存储装置(storage)。处理电路包括，专用的硬件及程序执行部的至少一方。并且，存储装置，在处理电路包括程序执行部的情况下，存储由该程序执行部执行的软件程序。在此，实现所述实施例的图像解码装置的软件是，使计算机执行图19A或图20A示出的各个步骤的程序。并且，实现所述实施例的图像编码装置的软件是，使计算机执行图21A或图22A示出的各个步骤的程序。
而且，在本实施例及其变形例中，对作为处理对象片与其他的片之间的边界的片边界进行了环路滤波处理，但是，不仅限于这样的片边界，只要是处理对象片的边界，就也可以对任何边界进行环路滤波处理。并且，在本实施例及其变形例中，根据边界控制标志控制了针对片边界的环路滤波处理，但是，在片的内部，也可以进行通常的去环路滤波处理。
(实施例2)
将用于实现所述各个实施例示出的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的构成的程序记录到存储媒体，从而所述各个实施例示出的处理，能够在独立的计算机系统简单地实施。记录介质可以是磁盘、光盘、磁光盘、IC卡、半导体存储器等，只要能够记录程序就可以。
加之在这里说明，所述各个实施例示出的运动图像编码方法(图像编码方法)和运动图像解码方法(图像解码方法)的应用例以及使用那些的系统。该系统的特征是具有图像编解码装置，该图像编解码装置由利用图像编码方法的图像编码装置以及利用图像解码方法的图像解码装置组成。关于系统中的其外构成，按照情况能够恰当地变更。
图23是示出实现内容分发服务的内容提供系统ex100的全体构成图。将通信服务的提供区域划分为所希望的大小，在各个单元内分别设置有作为固定无线局的基站ex106、ex107、ex108、ex109、ex110。
在该内容提供系统ex100中，计算机ex111、PDA(个人数字助理：personal digital assistant)ex112、摄像机ex113、便携式电话ex114、游戏机ex115等各种设备通过互联网服务提供商ex102和电话网ex104、以及基站ex106至ex110，与互联网ex101相连接。
然而，内容提供系统ex100并非局限于图23所示的构成，也可以对任意的要素进行组合后连接。并且，可以不通过作为固定无线局的基站ex106至ex110，而是各个设备直接与电话网ex104相连接。并且，也可以是各个设备通过近场无线等而彼此直接连接。
摄像机ex113是数字摄像机等能够拍摄运动图像的设备，摄像机ex116是数字照相机等能够拍摄静止图像以及运动图像的设备。并且便携式电话ex114是GSM(注册商标)(Global System for Mobile Communications：全球移动通讯系统)方式、CDMA(Code Division Multiple Access：码分多址)方式、W－CDMA(Wideband－Code Division Multiple Access：宽带码分多址)方式、LTE(Long Term Evolution：长期演进)方式、HSPA(High－Speed Packet Access：高速分组接入)的便携式电话，或PHS(Personal Handy－phone System：个人手持式电话系统)等，可以是其中任一个。
在内容提供系统ex100中，摄像机ex113等通过基站ex109、电话网ex104与流播放服务器ex103连接，从而进行实况分发等。在实况分发中，针对用户利用摄像机ex113拍摄的内容(例如音乐实况的影像等)进行在上述的各个实施例所说明的编码处理(即作为本发明的图像编码装置来发挥作用)，并发送到流播放服务器ex103。另外，流播放服务器ex103针对提出请求的客户端，对被发送的内容数据进行流的分发。作为客户端，包括可以解码上述的被编码处理的数据的计算机ex111、PDAex112、摄像机ex113、便携式电话ex114、以及游戏机ex115等。在接收了被分发的数据的各个设备，对接收的数据进行解码处理并再生(即作为本发明的图像解码装置来发挥作用)。
并且，拍摄的数据的编码处理可以在摄像机ex113进行，也可以在进行数据的发送处理的流播放服务器ex103进行，也可以相互分担进行。同样，被分发的数据的解码处理可以由客户端进行，也可以在流播放服务器ex103进行，也可以相互分担进行。并且，不仅限于摄像机ex113，由摄像机ex116拍摄的静止图像数据以及/或者运动图像数据，也可以通过计算机ex111而发送到流播放服务器ex103。此时的编码处理可以在摄像机ex116、计算机ex111、流播放服务器ex103的任一个中进行，也可以相互分担进行。
并且，这些编码处理以及解码处理通常在计算机ex111以及各个设备所具有的LSI(Large Scale Integration：大规模集成电路)ex500中处理。LSIex500可以由一个芯片构成，也可以由多个芯片构成。另外，也可以将运动图像编码用以及运动图像解码用的软件安装到能够由计算机ex111等读取的某种记录介质(CD－ROM、软盘、硬盘等)中，并利用该软件来进行编码处理以及解码处理。而且，在便携式电话ex114是附带有相机的情况下，也可以发送由该相机获得的运动图像数据。在这种情况下的运动图像数据是由便携式电话ex114所具有的LSIex500进行编码处理后的数据。
并且，流播放服务器ex103是多个服务器或多个计算机，也可以是对数据进行分散地处理、记录、分发的装置。
如以上所述，在内容提供系统ex100中，客户端能够接收并再生被编码的数据。在这样的内容提供系统ex100中，在客户端能够实时地接收并解码由用户发送的信息并且能够再生，这样，即使是没有特殊权利或设备的用户也能够实现个人播放。
并且，不仅限于内容供给系统ex100的例子，如图24所示，在数字广播用系统ex200上也能够组装上述各个实施例所示的运动图像编码装置(图像编码装置)以及运动图像解码装置(图像解码装置)中的任一个。具体而言，在广播电台ex201，影像数据上多路复用了音乐数据的多路复用数据通过电波来通信或被传输到卫星ex202。这个影像数据是根据所述各个实施例说明的运动图像编码方法被编码的数据(即根据本发明的图像编码装置被编码的数据)。接收了这些的广播卫星ex202发送用于广播的电波，这些电波由能够进行卫星广播接收的家庭的天线ex204来接收。接收的多路复用数据由电视机(接收机)ex300或机顶盒(STB)ex217等装置进行解码并再生(即作为本发明的一个方案涉及的图像解码装置发挥作用)。
并且，在用于读取并解码DVD、BD等记录介质ex215中所记录的多路复用数据、或者将影像信号编码、进而有时与音乐信号多路复用后进行写入的阅读器/记录器ex218上，也能够安装上述各个实施例所示的运动图像解码装置或运动图像编码装置。在这种情况下，被再生的影像信号能够被显示在监视器ex219，并且能够由记录了多路复用数据的记录介质ex215在其他的装置或系统中再生影像信号。并且，也可以将运动图像解码装置安装到与有线电视用的电缆ex203或卫星/地波广播的天线ex204连接的机顶盒ex217内，并在电视机的监视器ex219上显示。此时，可以不组装到机顶盒，而将运动图像解码装置组装到电视机内。
图25示出了利用了在上述的各个实施例中说明的运动图像解码方法以及运动图像编码方法的电视机(接收机)ex300。电视机ex300包括：调谐器ex301，通过接收上述广播的天线ex204或电缆ex203等获得或者输出影像数据上多路复用了声音数据的多路复用数据；调制/解调部ex302，解调接收的多路复用数据，或者为了将多路复用数据发送到外部而进行调制；以及多路复用/分离部ex303，对解调的多路复用数据分为影像数据和声音数据，或者在信号处理部ex306进行了编码的影像数据和声音数据进行多路复用。
并且，电视机ex300具有信号处理部ex306和输出部ex309，所述信号处理部ex306具有分别对声音信号和影像信号进行解码或者对各个信息分别进行编码的声音信号处理部ex304和影像信号处理部ex305(作为本发明的图像编码装置或者图像解码装置发挥作用)；所述输出部ex309具有对被解码的声音信号进行输出的扬声器ex307，以及对被解码的影像信号进行显示的显示器等显示部ex308。进而，电视机ex300具有接口部ex317，该接口部ex317具有接受用户的操作输入的操作输入部ex312等。进而，电视机ex300具有统括控制各个部的控制部ex310，以及向各个部提供电力的电源电路部ex311。接口部ex317除可以具有操作输入部ex312以外，还可以具有与阅读器/记录器ex218等外部设备连接的电桥ex313、用于安装SD卡等记录介质ex216的插槽部ex314、用于与硬盘等外部记录介质连接的驱动器ex315、以及与电话网连接的调制解调器ex316等。并且，记录介质ex216能够通过存储的非易失性/易失性的半导体存储器元件进行信息的电记录。电视机ex300的各个部通过同步总线相互连接。
首先，对电视机ex300通过天线ex204等从外部获得的多路复用数据进行解码并再生的构成进行说明。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据具有CPU等的控制部ex310的控制，将在调制/解调部ex302解调的多路复用数据，在多路复用/分离部ex303进行分离。并且，电视机ex300将分离的声音数据在声音信号处理部ex304进行解码，利用上述的实施例中说明的解码方法，将分离的影像数据在影像信号处理部ex305进行解码。解码的声音信号和影像信号分别从输出部ex309被输出到外部。在进行输出时，为了使声音信号和影像信号同步再生，而可以在缓冲器ex318、ex319等暂时蓄积这些信号。并且，电视机ex300可以不从广播等读出多路复用数据，而是从磁性/光盘、SD卡等记录介质ex215、ex216中读出多路复用数据。以下将要说明的构成是，电视机ex300对声音信号以及影像信号进行编码，并发送到外部或写入到记录介质等的构成。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据控制部ex310的控制，利用在上述的实施例中说明的编码方法，在声音信号处理部ex304对声音信号进行编码，并在影像信号处理部ex305对影像信号进行编码。被编码的声音信号和影像信号在多路复用/分离部ex303被多路复用，并被输出到外部。在进行多路复用时，为了使声音信号和影像信号同步，而可以将这些信号暂时蓄积到缓冲器ex320、ex321等。另外，关于缓冲器ex318至ex321，可以如图中所示那样具备多个，也可以是共享一个以上的缓冲器的构成。而且，除图中所示以外，例如可以在调制/解调部ex302与多路复用/分离部ex303之间等，作为回避系统的上溢和下溢的缓冲部分，在缓冲器中蓄积数据。
并且，电视机ex300除具有获得来自广播以及记录介质等的声音数据以及影像数据的构成以外，还可以具有接受麦克风以及摄像机的AV输入的构成，并且也可以对从这些获得的数据进行编码处理。并且，在此虽然对电视机ex300能够进行上述的编码处理、多路复用以及外部输出的构成进行了说明，不过也可以是不进行上述的全部的处理，而仅进行上述的接收、解码处理以及外部输出的构成。
并且，在阅读器/记录器ex218从记录介质中读出或写入多路复用数据的情况下，上述的解码处理或编码处理也可以在电视机ex300以及阅读器/记录器ex218的某一个中进行，也可以是电视机ex300和阅读器/记录器ex218彼此分担进行。
作为一个例子，图26示出了从光盘进行数据的读取或写入的情况下的信息再生/记录部ex400的构成。信息再生/记录部ex400包括以下将要说明的要素ex401、ex402、ex403、ex404、ex405、ex406、ex407。光学头ex401将激光照射到作为光盘的记录介质ex215的记录面并写入信息，并且检测来自记录介质ex215的记录面的反射光并读取信息。调制记录部ex402对被内藏于光学头ex401的半导体激光进行电驱动，并按照记录数据来进行激光的调制。再生解调部ex403对由被内藏于光学头ex401的光电探测器对来自记录面的反射光进行电检测而得到的再生信号进行放大，对被记录在记录介质ex215的信号成分进行分离、解调，并再生必要的信息。缓冲器ex404对用于在记录介质ex215进行记录的信息以及从记录介质ex215再生的信息进行暂时保持。盘式电机ex405使记录介质ex215旋转。伺服控制部ex406在对盘式电机ex405的旋转驱动进行控制的同时，将光学头ex401移动到规定的代码道，进行激光的光点的追踪处理。系统控制部ex407对信息再生/记录部ex400进行整体控制。上述的读出以及写入处理可以通过以下的方法来实现，即：系统控制部ex407利用被保持在缓冲器ex404的各种信息，并且按照需要在进行新的信息的生成以及追加的同时，一边使调制记录部ex402、再生解调部ex403以及伺服控制部ex406协调工作，一边通过光学头ex401来进行信息的记录再生。系统控制部ex407例如以微处理器构成，通过执行读出以及写入的程序来执行这些处理。
以上，以光学头ex401照射激光光点为例进行了说明，不过也可以利用近场光学来进行高密度的记录。
图27是作为光盘的记录介质ex215的模式图。在记录介质ex215的记录面上，导槽(槽)被形成为螺旋状，在代码道ex230上预先被记录有按照槽的形状的变化示出盘上的绝对位置的地址信息。该地址信息包括用于确定记录块ex231的位置的信息，该记录块ex231是记录数据的单位，在进行记录以及再生的装置能够通过再生代码道ex230以及读取地址信息，来确定记录块。并且，记录介质ex215包括：数据记录区域ex233、内周区域ex232、以及外周区域ex234。用于记录用户数据的区域为数据记录区域ex233，被配置在数据记录区域ex233的内周或外周的内周区域ex232和外周区域ex234被用于用户数据的记录以外的特殊用途。信息再生/记录部ex400针对这种记录介质ex215的数据记录区域ex233，进行被编码的声音数据、影像数据或对这些数据进行多路复用后的多路复用数据的读写。
以上以具有一层结构的DVD、BD等光盘为例进行了说明，但并非受此所限，也可以是多层结构的能够在表面以外进行记录的光盘。并且，也可以在盘的同一位置上记录利用了各种不同波长的颜色的光的信息，或者可以是从各种角度记录不同的信息的层等的具有进行多维的记录/再生的构成的光盘。
此外，在数字广播用系统ex200，能够在具有天线ex205的车辆ex210从卫星ex202等接收数据，并在车辆ex210具有的车辆导航系统211等的显示装置再生运动图像。另外，关于车辆导航系统ex211的构成可以考虑成在图25示出的构成中添加GPS接收部，同样也可以考虑在计算机ex111和便携式电话ex114等上。
图28A是示出了利用了在上述的实施例所说明的运动图像编码方法和运动图像解码方法的便携式电话ex114的图。便携式电话ex114具有：天线ex350，用于在与基站ex110之间进行电波的收发；摄像机部ex365，能够拍摄影像和静止图像；显示部ex358，是用于显示在摄像机部ex365拍摄的影像以及由天线ex350接收的影像等被解码后的数据的液晶显示器等。便携式电话ex114还具有：具有操作键部ex366的主体部、声音输出部ex357，是用于输出声音的扬声器等；声音输入部ex356，是用于输入声音的麦克风等；存储器部ex367，用于保存拍摄的影像、静止图像、录音的声音、或者接收的影像、静止图像、邮件等被编码或被解码的数据；或者同样是保存数据的记录介质之间的接口的插槽部ex364。
进一步利用图28B对便携式电话ex114的构成例进行说明。在便携式电话ex114中，针对用于统括控制具有显示部ex358以及操作键部ex366的主体部的各个部的主控制部ex360，电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、摄像机接口部ex363、LCD(Liquid Crystal Display：液晶显示器)控制部ex359、调制/解调部ex352、多路复用/分离部ex353、声音信号处理部ex354、插槽部ex364、以及存储器部ex367经由总线ex370相互连接。
电源电路部ex361在通过用户的操作而成为通话结束以及电源键成为导通状态下，通过从电池组向各个部提供电力，从而启动便携式电话ex114，使其成为能够工作的状态。
便携式电话ex114根据由CPU、ROM以及RAM等构成的主控制部ex360的控制，在声音通话模式时，由声音信号处理部ex354将在声音输入部ex356收集的声音信号转换为数字声音信号，并在调制/解调部ex352进行扩频(Spread Spectrum)处理，在发送/接收部ex351进行数模转换处理以及频率转换处理之后，经由天线ex350发送。并且，便携式电话ex114在声音通话模式时，对通过天线ex350接收的接收数据进行放大并进行频率转换处理以及模数转换处理，在调制/解调部ex352进行扩频处理的逆处理，在由声音信号处理部ex354转换为模拟声音信号之后，将其从声音输出部ex356输出。
并且，在数据通信模式时发送电子邮件的情况下，通过主体部的操作键部ex366等的操作被输入的电子邮件的文本数据经由操作输入控制部ex362被发送到主控制部ex360。主控制部ex360，由调制/解调部ex352对文本数据进行扩频处理，在发送/接收部ex351进行数模转换处理以及频率转换处理之后，经由天线ex350发送到基站ex110。在接收电子邮件的情况下、针对接收的数据进行与上述几乎相反的处理，发送到显示部ex358。
在数据通信模式时发送影像、静止图像、或影像和声音的情况下，影像信号处理部ex355，将从摄像机部ex365提供的影像信号，按照所述各个实施例表示的运动图像编码方法来进行压缩编码(即，作为本发明的一个方式涉及的图像编码装置来发挥作用)，并将被编码的影像数据发送到多路复用/分离部ex353。此外，声音信号处理部ex354，对摄像机部ex365拍摄影像、静止图像等中，由声音输入部ex356收集的声音信号进行编码，并将被编码的声音数据发送到多路复用/分离部ex353。
多路复用/分离部ex353以规定的方式，对从影像信号处理部ex355提供来的被编码的影像数据和从声音信号处理部ex354提供来的被编码的声音数据进行多路复用，将通过多路复用而得到的多路复用数据在调制/解调部(调制/解调电路部)ex352进行扩频处理，并在发送/接收部ex351进行数模转换处理以及频率转换处理之后，经由天线ex350发送。
在数据通信模式时，接收被链接在主页等的运动图像文件的数据的情况下，或者接收被添加了影像及/或声音的电子邮件的情况下，为了经由天线ex350解码被接收的多路复用数据，多路复用/分离部ex353，通过分割多路复用数据来分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将被编码的影像数据提供给影像信号处理部ex355，并且将被编码的声音数据提供给声音信号处理部ex354。影像信号处理部ex355根据与所述各个实施例示出的运动图像编码方法对应的运动图像解码方法进行解码来解码影像信号(即，作为本发明的图像解码装置来发挥作用)，通过LCD控制部ex359在显示部ex358显示例如被链接在主页的运动图像文件中包含的影像、静止图像。此外，声音信号处理部ex354解码声音信号，从声音输出部ex357输出声音。
并且，上述便携式电话ex114等终端与电视机ex300同样，除可以考虑到是具有编码器以及解码器双方的收发信型终端的形式以外，还可以考虑到是仅具有编码器的发送终端，以及仅具有解码器的接收终端的共三种形式。并且，上述说明了在数字广播用系统ex200，接收以及发送在影像数据上多路复用了音乐数据等的多路复用数据，不过可以是除了声音数据以外多路复用了有关影像的文字数据等的数据，也可以是影像数据本身，而不是多路复用数据。
这样，在上述的实施例所示的图像编码方法或图像解码方法能够适用于上述的任一个设备以及系统，这样，能够得到在上述的实施例中说明的效果。
此外，本发明不仅限于所述的实施例，可以不脱离本发明的范围而进行各种变形或修改。
(实施例3)
可以按照需要适宜地切换上述的各个实施例所示的运动图像编码方法或装置与依照MPEG－2、MPEG4－AVC、VC－1等不同的标准的运动图像编码方法或装置，来生成影像数据。
在这里，在根据各自不同的标准生成了多个影像数据的情况下，需要在解码时选择与各自的标准对应的解码方法。然而，不能识别要解码的影像数据是依据了哪个标准的数据，所以产生不能选择恰当的解码方法这样的课题。
为了解决这个课题可以是在影像数据上多路复用了声音数据等的多路复用数据包含识别信息的构成，该识别信息表示影像数据是依据了哪个标准。下面说明包含由上述的各个实施例所示的运动图像编码方法或装置生成的影像数据的多路复用数据的具体构成。多路复用数据是MPEG－2传输流形式的数字流。
图29是表示多路复用数据的构成的图。如图29所示多路复用数据是通过对如下流中的一个以上进行多路复用而得到的数据：视频流，音频流，字幕流(presentation graphics：PG)，交互式图形流(interactive graphics stream)。视频流表示电影的主影像以及副影像，音频流(IG)表示电影的主声音部分和与主声音混合的副声音，字幕流表示电影的字幕。在这里，主影像表示在画面显示的通常的影像，副影像是指在主影像中以小画面显示的影像。还有，交互式图形流示出通过在画面上配置图形用户界面元件而作成的对话画面。视频流，根据上述的各个实施例所示的运动图像编码方法或装置，以及以往的MPEG－2、MPEG4－AVC、VC－1等标准的运动图像编码方法或装置被编码。音频流，根据杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等方式被编码。
多路复用数据中包含的各个流由PID被识别。例如，针对用于电影的影像的视频流分配0x1011，针对音频流分配从0x1100到0x111F，针对字幕流分配从0x1200到0x121F，针对交互式图形流分配从0x1400到0x141F，针对用于电影的副影像的视频流分配从0x1B00到0x1B1F，针对用于与主声音混合的副声音的音频流分配从0x1A00到0x1A1F。
图30是表示多路复用数据怎样被多路复用的模式图。首先，由多个视频帧组成的视频流ex235、由多个音频帧组成的音频流ex238，分别变换为PES数据包列ex236以及ex239，变换为TS数据包ex237以及ex240。同样地将字幕流ex241及交互式图形ex244的数据，分别变换为PES数据包列ex242以及ex245，进一步变换为TS数据包ex243以及ex246。多路复用数据ex247，将这些TS数据包多路复用在1个流上而被构成。
图31是更加详细地表示在PES数据包列中视频流怎样被存储的图。在图31的第一段示出视频流的视频帧列。第二段示出PES数据包列。如图31的箭头yy1,yy2,yy3,yy4所示，作为视频流中的多个Video Presentation Unit的I图片，B图片，P图片，按每个图片被分割，存储到PES数据包的有效负载中。各个PES数据包拥有PES头，PES头中存储了作为图片的显示时刻的PTS(Presentation Time－Stamp：显示时间戳)、作为图片的解码时刻的DTS(Decoding Time－Stamp：解码时间戳)。
图32示出最终被写入到多路复用数据中的TS数据包的形式。TS数据包是具有识别流的PID等的信息的4Byte的TS头以及存储数据的184Byte的TS有效负载所构成的188Byte定长的数据包，所述PES数据包被分割被存储到TS有效负载。在是BD－ROM的情况下，TS数据包被赋予4Byte的TP_Extra_Header，构成192Byte的源数据包，被写入到多路复用数据。在TP_Extra_Header上记载了ATS(Arrival_Time_Stamp)等的信息。ATS表示该TS数据包向解码器的PID滤波器的传输开始时刻。在多路复用数据中如图32的下段所示排列了源数据包，从多路复用数据的开头增加的编号被称为SPN(源数据包编号)。
此外，多路复用数据中包含的TS数据包中除了影像、声音、字幕等各个流以外，还有PAT(Program Association Table：节目关联表)、PMT(Program Map Table：节目映射表)、PCR(Program Clock Reference：节目时钟基准)等。PAT表示多路复用数据中所利用的PMT的PID是什么，PAT自身的PID登记为0。PMT具有多路复用数据中包含的影像、声音、字幕等的各个流的PID以及与各个PID对应的流的属性信息，并且具有与多路复用数据有关的各种描述符。描述符具有复制控制信息等，该复制控制信息指示多路复用数据的复制许可、不许可。PCR为了使作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS、DTS的时间轴的STC(System Time Clock)同步，具有与该PCR数据包传输到解码器的ATS对应的STC时间的信息。
图33是详细地说明PMT的数据构成的图。PMT的开头设置了PMT头，用于记载该PMT中包含的数据的长度等。在其之后设置了多个与多路复用数据有关的描述符。上述复制控制信息等作为描述符被记载。在描述符之后设置了多个与多路复用数据中包含的各个流有关的流信息。流信息，为了识别流的压缩编解码等，由记载了流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符所构成。流描述符的数量与在多路复用数据中存在的流的数量相同。
在记录介质等记录的情况下，上述多路复用数据与多路复用数据信息文件一起被记录。
如图34所示多路复用数据信息文件是多路复用数据的管理信息，与多路复用数据1对1地对应，其由多路复用数据信息、流属性信息以及项映射(entry map)所构成。
多路复用数据信息如图34所示，由系统速率、再生开始时刻、再生结束时刻所构成。系统速率表示多路复用数据向着后述的系统目标解码器的PID滤波器的最大传输速率。多路复用数据中包含的ATS的间隔，被设定为是系统速率以下。再生开始时刻是多路复用数据的开头的视频帧的PTS，再生结束时刻被设定为，在多路复用数据的尾端的视频帧的PTS加上1帧的再生间隔。
流属性信息如图35所示，按每个PID登记包含在多路复用数据中的各个流的属性信息。属性信息按照每个视频流、音频流、字幕流、交互式图形流，具有不同的信息。视频流属性信息具有如下信息：该视频流以怎样的压缩编解码被压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等信息。音频流属性信息，具有如下信息：该音频流以怎样的压缩编解码被压缩、该音频流中包含的频道数是多少、与什么语言对应、采样频率是多少等信息。这些信息，用于在播放器再生之前的解码器的初始化等。
在本实施例，利用所述多路复用数据中的PMT中包含的流类型。此外，在记录介质中记录了多路复用数据的情况下，利用多路复用数据信息中包含的视频流属性信息。具体而言，在上述各个实施例表示的运动图像编码方法或装置中，针对PMT中包含的流类型、或视频流属性信息，设置设定固有的信息的步骤或单元，该固有的信息表示由上述各个实施例示出的运动图像编码方法或装置所生成的影像数据。根据该构成，能够识别由所述各个实施例表示的运动图像编码方法或装置所生成的影像数据与依据其他的标准的影像数据。
此外，图36表示在本实施例的运动图像解码方法的步骤。在步骤exS100，从多路复用数据中获得PMT中包含的流类型、或者多路复用数据信息中包含的视频流属性信息。接着，在步骤exS101，判断流类型或视频流属性信息是否表示是由所述各个实施例表示的运动图像编码方法或装置所生成的多路复用数据。而且，在判断为流类型或视频流属性信息表示是由所述各个实施例表示的运动图像编码方法或装置所生成的数据的情况下，在步骤exS102，所述各个实施例表示的运动图像解码方法进行解码。此外，流类型或视频流属性信息表示是以往的MPEG－2、MPEG4－AVC、VC－1等的标准的数据的情况下，在步骤exS103，根据所依据的以往的标准的运动图像解码方法来进行解码。
这样，通过在流类型或视频流属性信息设定新的固有值，从而在解码时，能够判断根据所述各个实施例表示的运动图像解码方法或装置是否能够解码。从而，即时被输入了依据不同的标准的多路复用数据时，也能够选择恰当的解码方法或装置，因此能够不产生错误地进行解码。此外，本实施例表示的运动图像编码方法或装置，或者运动图像解码方法或装置，能够用在上述的任一个设备以及系统。
(实施例4)
上述的各个实施例所示的运动图像编码方法以及装置、运动图像解码方法以及装置，典型的能够以作为集成电路的LSI来实现。作为一个例子，图37示出了被制成一个芯片的LSIex500的构成。LSIex500包括以下将要说明的要素ex501至ex509，各个要素通过总线ex510连接。电源电路部ex505在电源为打开状态的情况下，通过向各个部提供电力，从而启动为能够工作的状态。
例如，在进行编码处理的情况下，LSIex500，根据具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，根据AV输入输出ex509从麦克风ex117和摄像机ex113等输入AV信号。被输入的AV信号被暂时蓄积到SDRAM等的外部的存储器ex511。根据控制部ex501的控制，存储的数据按照处理量和处理速度适当地分为多个被发送到信号处理部ex507，在信号处理部ex507被进行声音信号的编码及/或影像信号的编码。在这里，影像信号的编码处理是所述各个实施例说明的编码处理。在信号处理部ex507还根据情况对被编码的声音数据以及被编码的影像数据进行多路复用等处理，从流输入输出ex506输出到外部。该被输出的多路复用数据被发送到基站ex107，或者被写入到记录介质ex215。并且，为了在多路复用时能够同步进行，而可以将数据暂时蓄积到缓冲器ex508。
另外，以上虽然对存储器ex511作为LSIex500的外部构成进行了说明，不过也可以被包括在LSIex500的内部。缓冲器ex508也可以不限于一个，可以具备多个缓冲器。并且，LSIex500可以被制成一个芯片，也可以是多个芯片。
此外，在上述说明中，控制部ex501具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，不过，控制部ex501的构成，不限于这个构成。例如，可以是信号处理部ex507还具备CPU的构成。通过在信号处理部ex507的内部也设置CPU，可以使处理速度提高。此外，作为其他的例子，可以是CPUex502具备信号处理部ex507、或者具备信号处理部ex507的一部分例如声音信号处理部的构成。在这样的情况下，控制部ex501是具备信号处理部ex507或具有其一部分的CPUex502的构成。
在此，虽然例示了LSI，不过根据集成度的不同，也可以称为IC、系统LSI、超级LSI、极超级LSI。
还有，集成电路化的方法不局限于LSI，也可以用专用电路或者通用处理器来实现。也可以利用在LSI制造之后可编程的现场可编程门阵列(FPGA∶Field Programmable Gate Array)或可动态地重构LSI内部的电路单元的连接和设定的可重构处理器。这样的可编程逻辑装置，典型的是加载或者从存储器等读入构成软件或者固件的程序，从而能够执行所述各个实施例示出的运动图像编码方法、或运动图像解码方法。
而且，随着半导体技术的进步或派生出的其他的技术，若出现了能够取代LSI的集成电路化的技术，当然也可以利用这些技术来对功能块进行集成化。有可能适用生物技术等。
(实施例5)
在对根据所述各个实施例表示的运动图像编码方法或装置所生成的影像数据进行解码的情况下，可以想到与对依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的影像数据进行解码的情况相比，处理量增加。因此，在LSIex500中需要设定比解码依据以往的标准的影像数据时的CPUex502的驱动频率高的驱动频率。但是驱动频率高，则产生电力消耗高这样的课题。
为了解决这个课题，设电视ex300、LSIex500等运动图像解码装置为如下构成，识别影像数据依据了哪个标准，按照标准切换驱动频率的构成。图38表示在本实施例的构成ex800。驱动频率切换部ex803，在影像数据是由所述各个实施例表示的运动图像编码方法或装置所生成的情况下，设定高的驱动频率。而且，对执行所述各个实施例表示的运动图像解码方法的解码处理部ex801进行指示，以解码影像数据。另一方面，在影像数据是依据以往的标准的影像数据的情况的情况下，与影像数据由所述各个实施例示出的运动图像编码方法或装置所生成的情况相比，设定低的驱动频率。而且，指示依据以往的标准的解码处理部ex802，对影像数据进行解码。
更具体而言，驱动频率切换部ex803由图37的CPUex502与驱动频率控制部ex512所构成。此外，执行所述各个实施例示出的运动图像解码方法的解码处理部ex801，以及依据以往的标准的解码处理部ex802，相当于图37的信号处理部ex507。CPUex502识别影像数据依据哪个标准。而且，根据来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，根据来自CPUex502的信号，信号处理部ex507进行影像数据的解码。在这里，可以考虑在影像数据的识别中利用例如在实施例8记载的识别信息。有关识别信息，不仅限于在实施例8记载的信息，只要是能够识别影像数据是依据哪个标准的信息就可以。例如，在根据识别影像数据是否用于电视，是否用于盘等的外部信号，能够识别影像数据是依据哪个标准的情况下，可以根据这样的外部信号进行识别。此外，在CPUex502的驱动频率的选择，可以考虑根据例如如图40一样的使影像数据的标准和驱动频率对应的一览表来进行。将一览表预先存储在缓冲器ex508和LSI的内存储器中，通过CPUex502参考这个一览表，能够选择驱动频率。
图39示出了实施本实施例的方法的步骤。首先，在步骤exS200中，由信号处理部ex507从多路复用数据中获得识别信息。接着，在步骤exS201中，CPUex502根据识别信息，识别影像数据是不是由所述各个实施例示出的编码方法或装置所生成的数据。在影像数据是由所述各个实施例示出的编码方法或装置所生成的数据情况下，在步骤exS202中，将设定高的驱动频率的信号，由CPUex502发送到驱动频率控制部ex512。而且，在驱动频率控制部ex512设定高的驱动频率。另一方面，在示出了是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，将设定低的驱动频率的信号，由CPUex502发送到驱动频率控制部ex512。而且，在驱动频率控制部ex512，设定与影像数据由所述各个实施例示出的编码方法或装置所生成的情况相比低的驱动频率。
加之，与驱动频率的切换联动，通过变更对LSIex500或包含LSIex500的装置施加的电压，可以提高省电效果。例如，在设定低驱动频率的情况下，随之与设定高驱动频率的情况相比，可以考虑使对LSIex500或包含LSIex500的装置施加的电压设定为低电压。
此外，关于驱动频率的设定方法，只要在解码时的处理量大的情况下，设定高的驱动频率，在解码时的处理量小的情况下，设定低的驱动频率就可以，不限于上述的设定方法。例如对依据MPEG4－AVC标准的影像数据进行解码的处理量，大于对由所述各个实施例示出的运动图像编码方法或装置所生成的影像数据进行解码的处理量的情况下，可以考虑将驱动频率的设定与上述的情况相反地进行。
加之，驱动频率的设定方法不限于使驱动频率设为低的构成。例如，可以考虑在识别信息示出是由所述各个实施例示出的运动图像编码方法或装置所生成的影像数据的情况下，对LSIex500或包含LSIex500的装置施加的电压设定为高的电压，在示出是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，对LSIex500或包含LSIex500的装置施加的电压设定为低的电压。此外，作为其他的例子，可以考虑在识别信息示出是由所述各个实施例示出的运动图像编码方法或装置所生成的影像数据的情况下，不停止CPUex502的驱动，在示出是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，因为处理有余量，可以暂时停止CPUex502的驱动。即使在识别信息示出是由所述各个实施例示出的运动图像编码方法或装置所生成的影像数据的情况下，如果处理有余量，也可以考虑暂时停止CPUex502的驱动。这个情况下，可以考虑与识别信息示出是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，停止时间设定地较短。
这样，按照影像数据依据的标准来切换驱动频率，从而能够达到省电化。此外，在利用电池驱动LSIex500或包含LSIex500的装置的情况下，随着省电化还可以延长电池的寿命。
(实施例6)
电视和便携式电话等上述的设备以及系统，有时被输入依据不同标准的多个影像数据。这样，即使在被输入了依据不同标准的多个影像数据的情况下也能进行解码，从而LSIex500的信号处理部ex507需要与多个标准对应。但是，与各个标准对应的信号处理部ex507个别利用时，使LSIex500的电路规模变大，还产生成本增加这样的课题。
为了解决上述课题可以是如下的构成，将用于执行所述各个实施例示出的运动图像解码方法的解码处理部与依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理部，进行一部分共享。图41A的ex900示出该构成例。例如，所述各个实施例示出的运动图像解码方法和依据MPEG4－AVC标准的运动图像解码方法，在熵编码、逆量化、解块及滤波器、运动补偿等处理中，一部分处理内容是共同的。关于共同的处理内容，可以考虑共享与MPEG4－AVC标准对应的解码处理部ex902，关于与MPEG4－AVC标准不对应的本发明特有的其他处理内容，使用专用的解码处理部ex901这样的构成。对于解码处理部的共享化，关于共同的处理内容，共享用于执行所述各个实施例示出的运动图像解码方法的解码处理部，关于MPEG4－AVC标准特有的处理内容，使用专用的解码处理部。
此外，图41B的ex1000示出了处理的部分共享化的其他例子。在这个例子的构成是，使用与本发明特有的处理内容对应的专用的解码处理部ex1001、与其他的以往标准特有的处理内容对应的专用的解码处理部ex1002、与本发明的运动图像解码方法及其他的以往标准的运动图像解码方法共同的处理内容相对应的共用的解码处理部ex1003。在这里，专用的解码处理部ex1001、ex1002，不一定是本发明或其他以往标准特有的处理内容所特有的，可以是能够执行其他通用处理的部。此外，也可以是在LSIex500安装本实施例的构成。
这样，关于本发明的一个方案涉及地运动图像解码方法与以往的标准的运动图像解码方法共同的处理内容，通过共享解码处理部，可以使LSI的电路规模变小，并且能够减少成本。
工业实用性
本发明涉及的图像解码方法及图像编码方法，具有能够减轻处理负荷的效果，能够利用于例如积蓄、传输、通信等各种各样的用途。例如，本发明，能够利用于电视机、数字视频记录器、汽车导航、移动电话、数字摄像机、数字视频照相机等的信息显示设备以及摄像设备。
符号说明
10、20 图像解码装置
30、40 图像编码装置
11、21 标志获得部
12、22 解码部
13、34 解块滤波器
14、23、35、44 SAO部
31、41 标志编码部
32、42 编码部
33、43 重构部
100 图像编码装置
101 减法器
102 变换部
103 量化部
104 熵编码部
105 逆量化部
106 逆变换部
107 加法器
109 解块滤波器
110 SAO部
111 边界控制部
112 预测部
200 图像解码装置
204 熵解码部
205 逆量化部
206 逆变换部
207 加法器
209 解块滤波器
210 SAO部
211 边界控制部
212 预测部