图像解码装置、图像编码装置、图像解码方法及图像编码方法

图像解码装置、图像编码装置、图像解码方法及图像编码方法
【专利摘要】图像解码装置将划分为存在至少两种尺寸的多个块而被编码的图像通过包括多个处理的流水线处理来解码，具备：第1存储部（111），具有能够存储两个以上的至少两种尺寸中的最大的尺寸的块的容量；第1处理部（101），对多个块依次进行多个处理中的第1处理，通过将被进行了第1处理的块保存到第1存储部（111），从而向第1存储部（111）依次保存多个块；第2处理部（102），从第1存储部（111）依次提取多个块，对提取出的多个块依次进行多个处理中的第2处理。
【专利说明】图像解码装置、图像编码装置、图像解码方法及图像编码方
法
【技术领域】
[0001]本发明涉及将划分为存在至少两种尺寸的多个块而被编码的图像用包含多个处理的流水线(pipeline)处理来解码的图像解码装置。
【背景技术】
[0002]作为关于将图像解码的图像解码装置的技术，有在专利文献1、非专利文献I及非专利文献2中记载的技术。
[0003]专利文献1:日本特开平9 - 84005号公报
[0004]非专利文献1:Thomas Wiegand et al, “Overview of the H.264/AVCVideo Coding Standard”，IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEOTECHNOLOGY, JULY2003, PP.560 — 576
[0005]非专利文献2:“Working Draft3of High — Efficiency Video Coding，，，[online], Joint Collaborative Team on Video Coding (JCT — VC),2011 年 9 月 8 日，[2011 年 9 月 22 日检索]，因特网〈URL:http://phenix.1t-sudparis.eu/jct/doc_end_user/documents/6_Torino/wglI/JCTVC-F803-v3.zip〉
发明概要
[0006]发明要解决的问题
[0007]但是，图像解码装置在用流水线处理将图像解码时，有可能发生无用的等待时间。
[0008]
【发明内容】

[0009]所以，本发明提供一种能够减少无用的等待时间的图像解码装置。
[0010]有关本发明的一技术方案的图像解码装置，将划分为存在至少两种尺寸的多个块而被编码的图像通过包括多个处理的流水线处理来解码，其特征在于，具备--第I存储部，具有能够存储两个以上的上述至少两种尺寸中的最大的尺寸的块的容量；第I处理部，对上述多个块依次进行上述多个处理中的第I处理，通过将被进行了上述第I处理的块保存到上述第I存储部，从而向上述第I存储部依次保存上述多个块；以及第2处理部，从上述第I存储部依次提取上述多个块，对提取出的上述多个块依次进行上述多个处理中的第2处理。
[0011]另外，这些包含性或具体的形态，也可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD - ROM等的非暂时性的记录介质实现，也可以通过系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合实现。
[0012]发明效果
[0013]通过本发明，流水线处理中的无用的等待时间减少。因而，处理效率提高。
【专利附图】

【附图说明】[0014]图1是表示流水线处理的说明图。
[0015]图2是表示可变尺寸的块的说明图。
[0016]图3是表示对可变尺寸的块应用了流水线处理的情况下的动作的说明图。
[0017]图4是表示有关实施方式I的图像解码装置的结构图。
[0018]图5是表示有关实施方式I的多个构成要素之间的连接的结构图。
[0019]图6是表示有关实施方式I的图像解码装置的可变长解码部、逆量化部及逆频率变换部的详细结构图。
[0020]图7A是表不有关实施方式I的序列的图。
[0021 ]图7B是表示有关实施方式I的图片的图。
[0022]图7C是表不有关实施方式I的编码流的图。
[0023]图8A是表示有关实施方式I的编码单元的第I结构例的图。
[0024]图8B是表示有关实施方式I的编码单元的第2结构例的图。
[0025]图9A是表示有关实施方式I的变换单元的第I结构例的图。
[0026]图9B是表示有关实施方式I的变换单元的第2结构例的图。
[0027]图1OA是表示有关实施方式I的编码单元的头的图。
[0028]图1OB是表示有关实施方式I的预测单元的图。
[0029]图1lA是表示在有关实施方式I的动作的说明中使用的多个编码单元的结构例的图。
[0030]图1lB是表示在有关实施方式I的动作的说明中使用的多个编码单元的详细情况的图。
[0031]图12是表示有关实施方式I的图像解码装置的动作的流程图。
[0032]图13是表示有关实施方式I的图像解码装置将编码单元解码的处理的流程图。
[0033]图14A是表示有关实施方式I的可变长解码部的动作的流程图。
[0034]图14B是表示有关实施方式I的逆量化部的动作的流程图。
[0035]图14C是表示有关实施方式I的逆频率变换部的动作的流程图。
[0036]图14D是表示有关实施方式I的运动补偿部的动作的流程图。
[0037]图14E是表示有关实施方式I的面内预测部的动作的流程图。
[0038]图14F是表示有关实施方式I的重建部的动作的流程图。
[0039]图14G是表示有关实施方式I的环内滤波器部的动作的流程图。
[0040]图15是表示有关实施方式I的图像解码装置的动作的时序图。
[0041]图16是以时间序列表示有关实施方式I的FIFO部的状态的例子的图。
[0042]图17是以时间序列表不有关实施方式I的FIFO部的状态的另一例的图。
[0043]图18是表示有关实施方式2的图像解码装置的可变长解码部、逆量化部及逆频率变换部的详细结构图。
[0044]图19A是表示有关实施方式2的可变长解码部的动作的流程图。
[0045]图19B是表示有关实施方式2的逆量化部的动作的流程图。
[0046]图19C是表示有关实施方式2的逆频率变换部的动作的流程图。
[0047]图19D是表示有关实施方式2的运动补偿部的动作的流程图。
[0048]图19E是表示有关实施方式2的面内预测部的动作的流程图。[0049]图19F是表示有关实施方式2的重建部的动作的流程图。
[0050]图19G是表示有关实施方式2的环内滤波器部的动作的流程图。
[0051]图20是以时间序列表示有关实施方式2的FIFO部的状态的图。
[0052]图21A是表示有关实施方式3的图像解码装置的结构图。
[0053]图21B是表示有关实施方式3的图像解码装置的动作的流程图。
[0054]图22k是表示有关实施方式3的图像编码装置的结构图。
[0055]图22B是表示有关实施方式3的图像编码装置的动作的流程图。
[0056]图23A是表示有关实施方式4的图像解码装置的结构图。
[0057]图23B是表示有关实施方式4的图像解码装置的动作的流程图。
[0058]图24A是表示有关实施方式4的图像编码装置的结构图。
[0059]图24B是表示有关实施方式4的图像编码装置的动作的流程图。
[0060]图25A是表示有关实施方式5的图像解码装置的结构图。
[0061]图25B是表示有关实施方式5的图像解码装置的处理部的动作的流程图。
[0062]图26A是表示有关实施方式5的图像编码装置的结构图。
[0063]图26B是表示有关实施方式5的图像编码装置的处理部的动作的流程图。
[0064]图27是实现内容分发服务的内容供给系统的整体结构图。
[0065]图28是数字广播用系统的整体结构图。
[0066]图29是表示电视机的结构例的框图。
[0067]图30是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的框图。
[0068]图31是表示作为光盘的记录介质的构造例的图。
[0069]图32是表示实现图像解码处理的集成电路的结构例的结构图。
[0070]图33是表示实现图像解码处理及图像编码处理的集成电路的结构例的结构图。
【具体实施方式】
[0071](作为本发明的基础的认识)
[0072]本
【发明者】关于在“【背景技术】”栏中记载的将图像解码的图像解码装置，发现了问题的存在。以下详细地说明。
[0073]对运动图像进行编码的图像编码装置，将构成运动图像的各个图片(picture)分割为分别以16x16像素构成的多个宏块(Macroblock，也简称为MB)。而且，图像编码装置，按照光栅扫描顺序对各个宏块进行编码。图像编码装置，编码并压缩运动图像，从而生成编码流。图像解码装置，以光栅扫描顺序，按每个宏块，对该编码流进行解码，再现原来的运动图像的各个图片。
[0074]以往的图像编码方式之一有ITU - TH.264标准(例如，参照非专利文献I)。图像解码装置，为了对根据H.264标准编码后的图像进行解码，首先，读入编码流。而且，图像解码装置，对各种头(header)信息进行解码后，进行可变长解码。图像解码装置，对通过可变长解码而得到的系数信息进行逆量化，进行逆频率变换。据此，生成差分图像。
[0075]接着，图像解码装置，按照通过可变长解码而得到的宏块类型，进行面内预测或运动补偿。据此，图像解码装置，生成预测图像。然后，图像解码装置，通过将预测图像与差分图像相加，从而进行重建处理。而且，图像解码装置，通过对重建图像进行环内滤波(in-loop filter)处理,从而对解码对象图像进行解码。
[0076]如此，图像解码装置，通过按每个宏块进行可变长解码处理至环内滤波处理，从而对编码后的图像进行解码。对于使该解码处理成为高速化的方法，一般利用通过宏块单位的流水线处理执行解码处理的方法(例如，参照专利文献I)。根据宏块单位的流水线处理，可变长解码处理至环内滤波处理的一连串的处理被分割为几个阶段。而且，以宏块的数据单位同步地并行执行各个阶段的处理。
[0077]另外，作为下一代的图像编码方式，提出了对数据单位进行更为灵活的设定(例如，参照非专利文献2)。
[0078]但是，在多个处理同步执行的流水线处理中，有可能发生无用的等待时间。例如，在包含于流水线处理的多个处理中只有一个处理需要较长时间的情况下，其他处理也必须等待该一个处理的完成。这样的无用的等待时间对处理效率带来恶劣影响。而且，数据单位可变的下一代图像编码标准中，该影响变得更大。下面进行更具体的说明。
[0079]图1是将解码处理分割为五个阶段(stage)时的流水线处理的例子。在图1所示的例子中，针对一个宏块，依次进行第I阶段至第5阶段的处理。而且，针对互不相同的多个宏块，同时进行第I阶段至第5阶段的处理。
[0080]在第I阶段中，图像解码装置对编码流进行可变长解码，输出运动矢量等的编码信息、以及与各个像素数据对应的系数信息。在第2阶段中，图像解码装置，对第I阶段中得到的系数信息进行逆量化及逆频率变换，生成差分图像。
[0081]在第3阶段中，图像解码装置，按照通过可变长解码而得到的宏块类型，进行运动补偿来生成预测图像。在第4阶段中，图像解码装置，利用第3阶段中得到的运动补偿的预测图像、以及第4阶段中进行的面内预测处理的预测图像之中的某个，和第2阶段中得到的差分图像，进行重建处理。在第5阶段中，图像解码装置，进行环内滤波处理。
[0082]如此，图像解码装置，利用流水线处理，在各个阶段同时处理不同的多个宏块。据此，图像解码装置能够实现并行处理，使解码处理高速化。
[0083]此时，流水线处理的时隙(TS)的周期，取决于处理周期最长的阶段的处理周期。因此，在仅某阶段的处理周期变长的情况下，直到该最长阶段的处理完成为止，其他的阶段成为不能开始下一个宏块的处理的状态。因此，导致发生无用的空闲。为了使流水线处理高效率地工作，重要的是构成为尽可能使构成流水线处理不产生无用的空闲。
[0084]H.264标准涉及的图像编码装置，如上所述，以由16x16像素构成的宏块为单位对图像进行编码。但是，作为编码的单位的16x16像素，并不一定是最佳的。一般，图像的分辨率越高，邻接块间的相关性就越高。因此，通过将编码的单位变大，能够更提高压缩效率。
[0085]近几年，进行了 4k2k(3840x2160像素)等那样的、超高精细的显示器的开发。因此，可以预测到处理图像的分辨率将越来越高。H.264标准涉及的图像编码装置，随着这样的图像的高分辨率化进展，越来越难以对这样的高分辨率的图像进行高效率编码。
[0086]另一方面，在作为下一代的图像编码标准而提出的技术中，有解决这样的问题的技术(非专利文献2)。根据该技术，与以往的H.264标准对应的块的尺寸成为可变。而且，该技术涉及的图像编码装置，也能够以比以往的16x16像素大的块来对图像进行编码，能够适当地对超高精细图像进行编码。[0087]具体而言，在非专利文献2中，定义了作为编码的数据单位的编码单元(CodingUnit)。该编码单元是，与以往的编码标准的宏块同样，是能够对进行面内预测的帧内(intra)预测、和进行运动补偿的帧间(inter)预测加以切换的数据单位，被规定为编码的最基本的块。
[0088]该编码单元的尺寸是，4x4像素、8x8像素、16x16像素、32x32像素、64x64像素、以及128x128像素之中的某个。最大的编码单元，被称为最大编码单元(IXU:Largest CodingUnit)。
[0089]64x64像素的编码单元中包含4096像素的数据。128x128像素的编码单元中包含16384像素的数据。也就是说，128x128像素的编码单元中包含64x64像素的编码单元的4倍的数据。
[0090]图2示出由128x128像素和64x64像素构成的多个编码单元的例子。在非专利文献2中，进一步,定义了变换单元(TU:Transform Unit,也称频率变换单元)。变换单元被规定为频率变换的块尺寸。具体而言，该变换单元的尺寸是，4x4像素、8x8像素、16x16像素、32x32像素、以及64x64像素之中的某个。
[0091]并且，进一步，定义了作为面内预测或帧间预测的数据单位的预测单元(PU:Prediction Unit)。对于预测单元，在编码单元内部，从128x128像素、64x128像素、128x64像素、或64x64像素等的、4x4像素以上各种各样的矩形尺寸中被选择。
[0092]如上所述，非专利文献2中记载了通过使编码单元即宏块的尺寸成为可变来提高编码效率的技术。然而，在针对这样的可变的编码单元，适用专利文献I所示的流水线处理的情况下，与编码单元中包含的像素数成比例地，所需要的处理量增大。并且，处理周期数也同样变大。
[0093]也就是说，在编码流内不同的尺寸的编码单元混在一起的情况下，流水线处理的各个阶段的处理周期，因编码单元的尺寸而大幅度地变动。因此，在对小的编码单元进行处理的阶段中，发生不能进行任何处理的等待时间。而且，导致流水线的处理效率降低。也就是说，可变的尺寸的编码单元成为导致图像解码装置的处理效率的降低的原因。
[0094]例如，图3中示出，以五个阶段的流水线处理对编码流进行解码的例子。在该例子中，如图2所示，⑶O是128x128像素的编码单元，接着，⑶I至⑶4分别是64x64像素的编码单元。在此情况下，⑶O是由⑶I至⑶4的4倍的像素数构成的编码单元，因此，⑶O的处理周期成为其他的编码单元的处理周期的4倍。
[0095]因此，第I阶段的⑶I处理完成之后，直到第2阶段的⑶O处理完成为止，在第I阶段中发生空闲时间。同样，第2阶段的⑶I处理完成之后，直到第3阶段的⑶O处理完成为止，在第2阶段中发生空闲时间。并且，第3阶段的⑶I处理完成之后，直到第4阶段的⑶O处理完成为止，在第3阶段中发生空闲时间。也就是说，在各个阶段中，发生不进行处理的空闲时间。
[0096]如此，若编码单元的尺寸变动，则要处理的像素数据量增减。在编码流以流水线处理被解码的情况下，流水线处理的单位时间，取决于像素数据量大的编码单元。其结果为，在像素数据量少的编码单元的处理之后，导致发生空闲时间。因此，处理效率以及处理性能降低。
[0097]为了解决这样的问题，有关本发明的一形态的图像解码装置，将划分为存在至少两种尺寸的多个块而被编码的图像通过包括多个处理的流水线处理来解码，其特征在于，具备:第I存储部，具有能够存储两个以上的上述至少两种尺寸中的最大的尺寸的块的容量；第I处理部，对上述多个块依次进行上述多个处理中的第I处理，通过将被进行了上述第I处理的块保存到上述第I存储部，从而向上述第I存储部依次保存上述多个块；以及第2处理部，从上述第I存储部依次提取上述多个块，对提取出的上述多个块依次进行上述多个处理中的第2处理。
[0098]由此，在第I处理部将最大的尺寸的块处理而将该块写入到第I存储部中的同时，第2处理部能够将最大的尺寸的别的块从第I存储部提取而将该别的块处理。此外，第I存储部能够将3个以上的块按照它们的尺寸依次保持。因而，第I处理部及第2处理部相互等待处理的结束的无用的等待时间减少，处理效率提高。
[0099]例如，也可以是，上述图像解码装置还具备第2存储部；上述第2处理部判断在上述第I存储部中是否保存有被进行了上述第I处理的块、以及在上述第2存储部中是否空闲有用来保存被进行了上述第2处理的块的区域；在判断为在上述第I存储部中保存有被进行了上述第I处理的块、并且判断为在上述第2存储部中空闲有用来保存被进行了上述第2处理的块的区域的定时，上述第2处理部从上述第I存储部提取上述块，对所提取的上述块进行上述第2处理，向上述第2存储部保存被进行了上述第2处理的上述块。
[0100]由此，第2处理部能够在用于处理的准备完成的定时进行处理。因而，无用的等待时间减少。
[0101]此外，例如也可以是，上述图像解码装置还具备判断上述多个块的各自的尺寸的判断部；上述第I处理部按照被进行了上述第I处理的块的尺寸，决定上述块在上述第I存储部中专用的区域，向所决定的上述区域保存上述块。
[0102]由此，第I处理部能够将多个块根据它们的尺寸适当地保存到第I存储部中。因而，第I处理部能够以较少的容量保存许多块。
[0103]此外，例如也可以是，上述第I存储部具有能够存储3个以上的上述至少两种尺寸中的最大尺寸的块的容量。
[0104]由此，第I处理部能够向第I存储部保存更多的块。因而，图像解码装置能够更可靠地使等待时间减少。
[0105]此外，例如也可以是，上述多个块是多个编码单元、多个变换单元或多个预测单元；上述第I处理部或上述第2处理部进行对于上述多个编码单元的可变长解码处理、对于上述多个变换单元的逆频率变换处理、或对于上述多个预测单元的预测处理，来作为上述第I处理或上述第2处理。
[0106]由此，在使用各种各样的数据单位的流水线处理中，无用的等待时间减少。
[0107]此外，例如也可以是，上述第I处理部进行可变长解码处理，来作为上述第I处理；上述第2处理部进行逆量化处理，来作为上述第2处理。
[0108]由此，使在可变长解码处理与逆量化处理之间发生的等待时间减少。因而，处理效
率提高。
[0109]此外，例如也可以是，上述第I处理部进行逆量化处理，来作为上述第I处理；上述第2处理部进行逆频率变换处理，来作为上述第2处理。
[0110]由此，使在逆量化处理与逆频率变换处理之间发生的等待时间减少。因而，处理效率提高。
[0111]此外，例如也可以是，上述第I处理部进行逆频率变换处理，来作为上述第I处理；上述第2处理部进行重建处理，来作为上述第2处理。
[0112]由此，使在逆频率变换处理与重建处理之间发生的等待时间减少。因而，处理效率提闻。
[0113]此外，例如也可以是，上述第I处理部进行面内预测处理，来作为上述第I处理；上述第2处理部进行重建处理，来作为上述第2处理。
[0114]由此，使在面内预测处理与重建处理之间发生的等待时间减少。因而，处理效率提闻。
[0115]此外，例如也可以是，上述第I处理部进行运动补偿处理，来作为上述第I处理；上述第2处理部进行重建处理，来作为上述第2处理。
[0116]由此，使在运动补偿处理与重建处理之间发生的等待时间减少。因而，处理效率提闻。
[0117]此外，例如也可以是，上述第I处理部进行重建处理，来作为上述第I处理；上述第2处理部进行环内滤波器处理，来作为上述第2处理。
[0118]由此，使在重建处理与环内滤波器处理之间发生的等待时间减少。因而，处理效率提闻。
[0119]此外，例如也可以是，上述第I处理部进行参照图像传送处理，来作为上述第I处理；上述第2处理部进行运动补偿处理，来作为上述第2处理。
[0120]由此，使在参照图像传送处理与运动补偿处理之间发生的等待时间减少。因而，处理效率提闻。
[0121]此外，例如也可以是，上述第2处理部与上述第I处理部非同步地，从上述第I存储部依次提取上述多个块，对提取出的上述多个块依次进行上述第2处理。
[0122]由此，第I处理部和第2处理部非同步地独立动作。因而，第I处理部和第2处理部在适当的定时进行各处理。由此，使无用的等待时间减少，处理效率提高。
[0123]此外，例如也可以是，上述第2处理部与上述第I处理部对第I块进行上述第I处理并行地，对按照上述多个块的处理顺序而从上述第I块离开两个以上的块的第2块进行上述第2处理。
[0124]由此，第I处理部可以不依赖于第2处理部中的处理的进展状况而进行处理。因而，使无用的等待时间减少。
[0125]此外，有关本发明的一形态的图像编码装置，将图像划分为至少存在两种尺寸的多个块，将划分后的上述图像通过包括多个处理的流水线处理来编码，其特征在于，具备:第I存储部，具有能够存储两个以上的上述至少两种尺寸中的最大的尺寸的块的容量；第I处理部，对上述多个块依次进行上述多个处理中的第I处理，通过将被进行了上述第I处理的块保存到上述第I存储部，从而向上述第I存储部依次保存上述多个块；以及第2处理部，从上述第I存储部依次提取上述多个块，对提取出的上述多个块依次进行上述多个处理中的第2处理。
[0126]由此，在图像编码装置中能够得到与图像解码装置同样的效果。即，在图像编码装置中，使无用的等待时间减少，处理效率提高。[0127]另外，这些包含性或具体的形态，也可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD - ROM等的非暂时性的记录介质实现，也可以通过系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合实现。
[0128]以下，使用附图对本发明的实施方式详细地说明。另外，以下说明的实施方式都是表示包含性或具体的例子的。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，不是限定本发明的意思。此外，关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素进行说明。
[0129]此外，128x128像素及64x64像素等的表现分别意味着128像素xl28像素及64像素x64像素等的尺寸。
[0130]此外，以下，块、数据单位及编码单元(⑶:Coding Unit)等的表现分别指连贯的区域。它们也有分别指图像区域的情况。或者，它们也有分别指编码流中的数据区域的情况。
[0131]此外，图像是运动图像、静止图像、构成运动图像的多个图片、I个图片及图片的一部分等的哪种都可以。
[0132](实施方式I)
[0133](I — 1.概要)
[0134]首先，对有关本实施方式的图像解码装置的概要进行说明。有关本实施方式的图像解码装置将作为编码后的图像的编码流解码。构成编码流的编码单元的尺寸是可变的。此外，图像解码装置将解码处理中包含的多个处理划分为多个阶段，通过流水线方式并行地进行多个处理。
[0135]此时，图像解码装置以在编码流中定义的编码单元的尺寸，通过流水线方式并行地进行多个处理。在构成图像解码装置的多个处理部上连接着输入输出缓冲器。该输入输出缓冲器由能够保持对应于至少3个最大编码单元的数据的FIFO (First In First Out:先进先出)部构成。另外，最大编码单元是构成编码流的多个编码单元中的最大的编码单
J Li ο
[0136]由此，在多个编码单元由各种各样的尺寸构成的情况下，在各处理中，等待数据的输入的时间及等待输出缓冲器的空闲的时间将减少。因而，流水线处理中的空闲时间被削减，有效率地进行流水线处理。由此，处理性能提高。
[0137]并且，FIFO部的容量越大，在各处理中，等待数据的输入的时间及等待输出缓冲器的空闲的时间越减少。
[0138]以上是对有关本实施方式的图像解码装置的概要的说明。
[0139](I — 2.结构)
[0140]接着，对有关本实施方式的图像解码装置的结构进行说明。
[0141]图4是有关本实施方式的图像解码装置的结构图。有关本实施方式的图像解码装置具备控制部501、帧存储器502、重建图像存储器509、可变长解码部503、逆量化部504、逆频率变换部505、运动补偿部506、面内预测部507、重建部508及环内滤波器部510。
[0142]控制部501控制图像解码装置的整体。帧存储器502是用来将解码后的图像数据存储的存储器。重建图像存储器509是用来将生成的重建图像的一部分存储的存储器。可变长解码部503将编码流读入，将可变长代码解码。逆量化部504进行逆量化。逆频率变换部505进行逆频率变换。
[0143]运动补偿部506从帧存储器502将参照图像读出，进行运动补偿，生成预测图像。面内预测部507从重建图像存储器509将参照图像读出，进行面内预测(也称作帧内预测)，生成预测图像。重建部508将差分图像与预测图像相加而生成重建图像，将其一部分向重建图像存储器509保存。环内滤波器部510通过环内滤波器处理，将重建图像的噪声除去，使重建图像高画质化。
[0144]环内滤波器是在将重建图像作为参照图像向帧存储器502保存之前使用的滤波器。作为环内滤波器，有使用去块滤波器(deblocking filter)、采样自适应偏移滤波器(sample adaptive offset filter)及有源环路滤波器(active loop filter)的情况。另一方面，将在显示时使用的滤波器称作环外滤波器(out loop filter)。
[0145]图5是表示多个处理部之间的连接的结构图。对于与图4同样的构成要素分配相同的标号而省略说明。
[0146]向有关本实施方式的可变长解码部503的编码流的输入经由FIFO部500进行。此夕卜，可变长解码部503与逆量化部504经由用来存储系数的FIFO部511连接。此外，逆量化部504与逆频率变换部505经由用来存储量化后的系数的FIFO部512连接。
[0147]此外，逆频率变换部505与重建部508经由用来存储逆频率变换处理后的残差图像的FIFO部513连接。此外，帧存储器502与运动补偿部506经由用来存储参照图像的FIFO部514连接。此外，运动补偿部506与重建部508经由用来存储预测图像的FIFO部515连接。
[0148]此外，重建部508与面内预测部507经由用来存储预测图像的FIFO部517连接。此外，重建部508与环内滤波器部510经由用来存储重建图像的FIFO部518连接。此外，环内滤波器部510与帧存储器502经由用来存储解码图像的FIFO部519连接。各FIFO部能够保持3个最大编码单元以上的数据。
[0149]图6是关于可变长解码部503、逆量化部504、逆频率变换部505、FIF0部500、FIF0部511、FIFO部512及FIFO部513的连接的详细记载的图。对于在图5中表示的结构，在可变长解码部503的周边添加了 FIFO管理部5001及起动部5011。
[0150]FIFO管理部5001进行FIFO部500保持的数据的管理、和FIFO部511的空闲区域的管理。起动部5011根据由FIFO管理部5001管理的信息，判断连接在可变长解码部503上的输入用的FIFO部500及输出用的FIFO部511的状态。并且，起动部5011基于FIFO部500及FIFO部511的状态将可变长解码部503起动。S卩，起动部5011使可变长解码部503执行可变长解码处理。
[0151]此外，对于在图5中表示的结构，在逆量化部504的周边添加了 FIFO管理部5002及起动部5012。FIFO管理部5002进行FIFO部511保持的数据的管理和FIFO部512的空闲区域的管理。
[0152]起动部5012根据由FIFO管理部5002管理的信息，判断连接在逆量化部504上的输入用的FIFO部511及输出用的FIFO部512的状态。并且，起动部5012基于FIFO部511及FIFO部512的状态将逆量化部504起动。S卩，起动部5012使逆量化部504执行逆量化处理。
[0153]此外，对于在图5中表示的结构，在逆频率变换部505的周边添加了 FIFO管理部5003及起动部5013。FIFO管理部5003进行FIFO部512保持的数据的管理和FIFO部513的空闲区域的管理。
[0154]起动部5013根据由FIFO管理部5003管理的信息，判断连接在逆频率变换部505上的输入用的FIFO部512及输出用的FIFO部513的状态。并且，起动部5013基于FIFO部512及FIFO部513的状态进行逆频率变换部505的起动。即，起动部5013使逆频率变换部505执行逆频率变换处理。
[0155]关于在图5中表示的其他各处理部，也同样具备FIFO管理部及起动部。由此，各处理部基于FIFO部的状态进行处理。另外，各处理部也可以包括FIFO管理部及起动部。在以后的说明中，有时将FIFO管理部的动作及起动部的动作表示为包括FIFO管理部及起动部的各处理部的动作。
[0156]另外，图像解码装置也可以具备进行参照图像传送处理的参照图像传送处理部。参照图像传送处理部从帧存储器502向FIFO部514传送参照图像。运动补偿部506使用由参照图像传送处理部传送的参照图像进行运动补偿。
[0157]以上是关于有关本实施方式的图像解码装置的结构的说明。
[0158](I — 3.动作)
[0159]接着，说明有关本实施方式的图像解码装置的动作。有关本实施方式的图像解码装置所解码的编码流由编码单元、变换单元和预测单元构成。
[0160]编码单元以128x128像素?8x8像素的尺寸设定，是能够切换面内预测和帧间预测的数据单位。变换单元在编码单元的内部中以64x64像素?4x4像素的尺寸设定。预测单元在编码单元的内部中以128x128像素?4x4像素的尺寸设定，具有面内预测的模式或帧间预测的运动矢量。以下，使用图7A?图10B对编码流的结构进行说明。
[0161]图7A及图7B表示有关本实施方式的图像解码装置解码的编码流的层级的结构。如图7A所示，将使多个图片成为一个集合后的结构称作序列(sequence)。此外，如图7B所示，将各图片划分为切片(slice)，将各切片再划分为编码单元。也有不将图片划分为切片的情况。
[0162]在本实施方式中，最大编码单元的尺寸是128x128像素。此外，128x128像素的编码单元和64x64像素的编码单元混合存在。
[0163]图7C是表示有关本实施方式的编码流的图。通过将图7A及图7B所示的数据分层级地编码，得到图7C所示的编码流。
[0164]图7C所示的编码流由控制序列的序列头、控制图片的图片头、控制切片的切片头、以及编码单元层数据(⑶层数据)构成。在H.264规格中，将序列头称作SPS (SequenceParameter Set:序列参数集),将图片头称作PPS (Picture Parameter Set:图片参数集)。
[0165]接着，关于在本实施方式的说明中使用的编码单元和编码流的结构，使用图8A及图SB进行说明。编码流由⑶划分标志和⑶数据构成。该⑶划分标志在“I”的情况下表示将块划分为4份，在“O”的情况下表示不将块划分为4份。如图8A那样，在128x128像素的编码单元的情况下，不将块划分。即，CU划分标志是“O”。
[0166]如图8B所示，在64x64像素的4个编码单元的情况下，最初的⑶划分标志是“ I”。通过该最初的⑶划分标志，表示将128x128像素的块至少划分为64x64像素的4个块。并且，64x64像素的4个块由于分别不被划分，所以后续的⑶划分标志是“O”。这样，编码单元的尺寸通过⑶划分标志被确定为128x128像素到4x4像素的某个。
[0167]图9A及图9B分别表示有关本实施方式的变换单元的结构例。各编码单元的CU数据还由CU头、TU划分标志及系数信息构成。关于CU头在后面叙述。TU划分标志在编码单元中表示变换单元的尺寸,与CU划分标志同样,表示是否分层级地将该尺寸划分为4份。
[0168]图9A表示128x128像素的编码单元由64x64像素的4个变换单元构成的情况下的例子。在128x128像素的编码单元的情况下，由于变换单元最大是64x64像素，所以必定被划分为4份。在图9A的情况下，各个64x64像素的块不被划分。因此，TU划分标志全部是 “O”。
[0169]图9B表示128x128像素的编码单元由64x64像素的3个变换单元及32x32像素的4个变换单元构成的例子。在此情况下，存在具有“I”的值的TU划分标志。
[0170]在图9A及图9B的各变换单元中，包括亮度数据(亮度信息)及色差数据(色差信息)。即，在编码流中，将包含亮度数据及色差数据双方的系数信息按照每个变换单元汇总。
[0171]接着，对⑶头进行说明。如图1OA所示，⑶头包含⑶类型，还包括运动矢量或面内预测模式。通过⑶类型决定预测单元的尺寸。图1OB表示128x128像素、64x128像素、128x64像素及64x64像素的预测单元。预测单元的尺寸能够从4x4像素以上的尺寸中选择。此外，预测单元的形状也可以是长方形。按照每个预测单元指定运动矢量或面内预测模式。
[0172]接着，具体地说明有关本实施方式的图像解码装置的动作。图1lA及图1lB表示在动作的说明中使用的多个编码单元的结构例。图1lA所示的8个编码单元(CU0?CU7)被用于有关本实施方式的图像解码装置的动作的说明。
[0173]如图1lB所示，⑶O、⑶5?⑶7是由128x128像素构成的编码单元。⑶I?⑶4是由64x64像素构成的编码单元。⑶4的变换单元的尺寸是32x32像素。其他变换单元的尺寸全部是64x64像素。⑶O的预测单元的尺寸是128x128像素，⑶I?⑶4的预测单元的尺寸是64x64像素，⑶5?⑶7的预测单元的尺寸是128x128像素。
[0174]接着，使用图12所示的流程图，说明图4所示的图像解码装置的动作。图12是表示编码流中包含的I个序列的解码动作的流程图。如图12所示，图像解码装置首先将序列头解码(S901)。此时，可变长解码部503基于控制部501的控制，将编码流解码。接着，图像解码装置同样将图片头解码(S902)，将切片头解码(S903)。
[0175]接着，图像解码装置将编码单元解码(S904)。关于编码单元的解码在后面详细地说明。图像解码装置在编码单元的解码后，判断解码后的编码单元是否是切片最后的编码单元(S905)。并且，在解码后的编码单元不是切片最后的编码单元的情况下，图像解码装置再次将下个编码单元解码(S904 )。
[0176]进而，图像解码装置判断包含解码后的编码单元的切片是否是图片最后的切片
(5906)。并且，在不是图片最后的切片的情况下，图像解码装置再次将切片头解码(S903)。
[0177]进而，图像解码装置判断包含解码后的编码单元的图片是否是序列最后的图片
(5907)。并且，在不是序列最后的图片的情况下，图像解码装置再次将图片头解码(S902)。图像解码装置在序列的全部的图片的解码后，结束一系列的解码动作。
[0178]接着，使用图13所示的流程图，说明图12的编码单元的解码(S904)的动作。图13是表示I个编码单元的解码动作的流程图。[0179]首先，可变长解码部503对在输入的编码流中包含的处理对象的编码单元进行可变长解码(S1001)。在可变长解码处理(S1001)中，可变长解码部503将编码单元类型、面内预测(帧内预测)模式、运动矢量信息及量化参数等的编码信息输出，输出与各像素数据对应的系数信息。将编码信息向控制部501输出，然后向各处理部输入。将系数信息向后面的逆量化部504输出。接着，逆量化部504进行逆量化处理(S1002)。然后，逆频率变换部505进行逆频率变换，生成差分图像(S1003)。
[0180]接着，控制部501进行对处理对象的编码单元使用帧间预测还是使用面内预测的判断(S1004)。在使用帧间预测的情况下，通过控制部501使运动补偿部506起动，运动补偿部506生成1/2像素精度或1/4像素精度等的预测图像(S1005)。另一方面，在不使用帧间预测的情况下，即在使用面内预测的情况下，通过控制部501使面内预测部507起动，面内预测部507进行面内预测的处理，生成预测图像(S1006)。
[0181]重建部508通过将运动补偿部506或面内预测部507输出的预测图像与逆频率变换部505输出的差分图像相加，生成重建图像(S1007)。
[0182]将所生成的重建图像向环内滤波器部510输入。同时，将在面内预测中使用的部分向重建图像存储器509保存。最后，环内滤波器部510对得到的重建图像进行用来降低噪声的环内滤波器处理。并且，环内滤波器部510将结果向帧存储器502保存(S1008)。以上，编码单元的解码动作结束。
[0183]这里，将图13所示的多个处理用虚线划分为多个阶段。图像解码装置在这些第I阶段到第5阶段的多个阶段中，对按照每个阶段而分别不同的多个编码单元同时进行多个处理。由此，实现并行处理，性能提高。将这样的处理称作流水线处理。
[0184]在图13的例子中，第I阶段包括可变长解码处理(S1001)。第2阶段包括逆量化处理(S1002)和逆频率变换处理(S1003)。第3阶段包括运动补偿处理(S1005)。第4阶段包括面内预测处理(S1006)和重建处理(S1007)。第5阶段包括环内滤波器处理(S1008)。
[0185]将被划分为这些多个阶段的多个处理，按照每个阶段对相互不同的多个编码单元以流水线方式并行执行。此时，如果在连接于各处理部上的FIFO部中有足够的容量，则图像解码装置不需要将全阶段的处理同步执行。并且，图像解码装置可以将各阶段的处理与其他阶段的处理非同步地执行。
[0186]图14A是表示图5所示的可变长解码部503的动作的流程图。首先，可变长解码部503在将⑶O的头输入到FIFO部500中之后，进行⑶O的头的可变长解码处理(S1010)。
[0187]接着，可变长解码部503确认⑶O的数据的可变长解码处理所需要的输入数据已被输入到FIFO部500中(S1011)。此外，可变长解码部503确认在输出目的地的FIFO部511中有用来将通过CUO的数据的可变长解码处理得到的系数输出的空闲区域(S1012)。并且，在确认后，可变长解码部503进行⑶O的数据的可变长解码处理(S1013)。
[0188]同样，可变长解码部503在将⑶I的头输入到FIFO部500中之后，进行⑶I的头的可变长解码处理(S1010)。
[0189]接着，可变长解码部503确认⑶I的数据的可变长解码处理所需要的输入数据已被输入到FIFO部500中(S1011)。此外，可变长解码部503确认在输出目的地的FIFO部511中有用来将通过CUl的数据的可变长解码处理得到的系数输出的空闲区域(S1012)。并且，在确认后，可变长解码部503进行⑶I的数据的可变长解码处理(S1013)。[0190]可变长解码部503对于以后的编码单元也进行同样的动作。并且，可变长解码部503在结束了切片的最后的编码单元的可变长解码处理的情况下，结束切片的可变长解码处理(S1014)。
[0191]图14B是表示图5所示的逆量化部504的动作的流程图。首先，逆量化部504确认⑶O的逆量化处理所需要的输入数据已被输入到FIFO部511中(S1021)。此外，逆量化部504确认在输出目的地的FIFO部512中有用来输出通过⑶O的逆量化处理得到的结果的空闲区域(S1022)。并且，在确认后，逆量化部504进行⑶O的逆量化处理(S1002)。
[0192]同样，逆量化部504确认⑶I的逆量化处理所需要的输入数据已被输入到FIFO部511中(S1021)。此外，逆量化部504确认在输出目的地的FIFO部512中有用来输出通过⑶I的逆量化处理得到的结果的空闲区域(S1022)。并且，在确认后，逆量化部504进行⑶I的逆量化处理(S1002)。
[0193]逆量化部504对于以后的编码单元也进行同样的动作。并且，逆量化部504在结束了切片的最后的编码单元的逆量化处理的情况下，结束切片的逆量化处理(S1023)。
[0194]图14C是表示图5所示的逆频率变换部505的动作的流程图。首先，逆频率变换部505确认⑶O的逆频率变换处理所需要的输入数据已被输入到FIFO部512中(S1031)。此外，逆频率变换部505确认在输出目的地的FIFO部513中有用来将通过CUO的逆频率变换处理得到的结果输出的空闲区域(S1032)。并且，在确认后，逆频率变换部505进行⑶O的逆频率变换处理(S1003 )。
[0195]同样，逆频率变换部505确认CUl的逆频率变换处理所需要的输入数据已被输入到FIFO部512中(S1031)。此外，逆频率变换部505确认在输出目的地的FIFO部513中有用来将通过⑶I的逆频率变换处理得到的结果输出的空闲区域(S1032)。并且，在确认后，逆频率变换部505进行⑶I的逆频率变换处理(S1003)。
[0196]逆频率变换部505对以后的编码单元也进行同样的动作。并且，逆频率变换部505在结束了切片的最后的编码单元的逆频率变换处理的情况下，结束切片的逆频率变换处理(S1033)。
[0197]图14D是表示图5所示的运动补偿部506的动作的流程图。这里，如图1lB的例子那样，假设CUO?CU7的预测模式是帧间预测。
[0198]首先，运动补偿部506确认⑶O的运动补偿处理所需要的输入数据已被输入到FIFO部511、514中(S1041)。此外，运动补偿部506确认在输出目的地的FIFO部515中有用来将通过⑶O的运动补偿处理得到的结果输出的空闲区域(S1042)。并且，在确认后，运动补偿部506进行⑶O的运动补偿处理(S1004)。
[0199]同样，运动补偿部506确认⑶I的运动补偿处理所需要的输入数据被输入到FIFO部511、514中(S1041)。此外，运动补偿部506确认在输出目的地的FIFO部515中有用来将通过⑶I的运动补偿处理得到的结果输出的空闲区域(S1042)。并且，在确认后，运动补偿部506进行⑶O的运动补偿处理(S1004)。
[0200]运动补偿部506对以后的编码单元也进行同样的动作。并且，运动补偿部506在结束了切片的最后的编码单元的运动补偿处理的情况下，结束切片的运动补偿处理(S1043)。
[0201]图14E是表示图5所示的面内预测部507的动作的流程图。这里与，图1lB的例子不同，假设CUO?CU7的预测模式是帧内预测。[0202]首先，面内预测部507确认⑶O的面内预测处理所需要的输入数据已被输入到FIFO部511及重建图像存储器509中(S1051)。此外，面内预测部507确认在输出目的地的FIFO部517中有用来将通过⑶O的面内预测处理得到的预测图像输出的空闲区域
(51052)。并且，在确认后，面内预测部507进行⑶O的面内预测处理(S1005)。
[0203]同样，面内预测部507确认⑶I的面内预测处理所需要的输入数据被输入到FIFO部511及重建图像存储器509中(S1051)。此外，面内预测部507确认在输出目的地的FIFO部517中有用来将通过⑶I的面内预测处理得到的预测图像输出的空闲区域(S1052)。并且，在确认后，面内预测部507进行⑶I的面内预测处理(S1005)。
[0204]面内预测部507对于以后的编码单元也进行同样的动作。并且，面内预测部507在结束了切片的最后的编码单元的面内预测处理的情况下，结束切片的面内预测处理
(51053)。
[0205]图14F是表示图5所示的重建部508的动作的流程图。首先，重建部508确认⑶O的重建处理所需要的输入数据已被输入到FIFO部513、515、517中(S1061)。此外，重建部508确认在输出目的地的FIFO部518中有用来将通过⑶O的重建处理得到的重建图像输出的空闲区域(S1062)。并且，在确认后，重建部508进行⑶O的重建处理(S1006)。
[0206]同样，重建部508确认⑶I的重建处理所需要的输入数据被输入到FIFO部513、515,517中(S1061)。此外，重建部508确认在输出目的地的FIFO部518中有用来将通过⑶I的重建处理得到的重建图像输出的空闲区域(S1062)。并且，在确认后，重建部508进行CUl的重建处理(S1006)。
[0207]重建部508对于以后的编码单元也进行同样的动作。并且，重建部508在结束了切片的最后的编码单元的重建处理的情况下，结束切片的重建处理(S1063)。
[0208]图14G是表示图5所示的环内滤波器部510的动作的流程图。
[0209]首先，环内滤波器部510确认⑶O的环内滤波器处理所需要的输入数据已被输入到FIFO部518中(S1071)。此外，环内滤波器部510确认在输出目的地的FIFO部519中有用来将通过⑶O的环内滤波器处理得到的解码图像输出的空闲区域(S1072)。并且，在确认后，环内滤波器部510进行⑶O的环内滤波器处理(S1007)。
[0210]同样，环内滤波器部510确认⑶I的环内滤波器处理所需要的输入数据被输入到FIFO部518中(S1071)。此外，环内滤波器部510确认在输出目的地的FIFO部519中有用来将通过⑶I的环内滤波器处理得到的解码图像输出的空闲区域(S1072)。并且，在确认后，环内滤波器部510进行⑶I的环内滤波器处理(S1007)。
[0211]环内滤波器部510对于以后的编码单元也进行同样的动作。并且，环内滤波器部510在结束了切片的最后的编码单元的环内滤波器处理的情况下，结束切片的环内滤波器处理(S1073)。
[0212]在图13的第I阶段中，可变长解码部503进行上述可变长解码处理。在第2阶段中，逆量化部504进行上述逆量化处理，逆频率变换部505进行上述逆频率变换处理。在第3阶段中，运动补偿部506进行上述运动补偿处理。在第4阶段中，面内预测部507进行上述面内预测处理，重建部508进行上述重建处理。在第5阶段中，环内滤波器部510进行上述环内滤波器处理。
[0213]图像解码装置使用前面的阶段的输出结果作为下个阶段的输入数据，进行一系列的多个处理。图像解码装置如上述那样，在多个阶段中，对相互不同的多个编码单元并行执行多个处理。并且，图像解码装置在做好了需要的准备的定时，将多个处理分别与其他处理非同步地执行。
[0214]图15是表示有关本实施方式的图像解码装置的时间序列的动作的时序图。图15表示如图13那样多个处理被划分为多个阶段、并且多个编码单元如图1lA那样构成的情况下的动作。如图15那样，在多个阶段的各个阶段中，在做好了需要的准备的定时，与其他阶段独立地切换处理对象的编码单元。因而，如图3那样，抑制了无用的等待时间的发生。
[0215]图16是将有关本实施方式的FIFO部513的状态以时间序列表示的图。FIFO部513是用来将通过逆频率变换处理得到的残差图像存储的构成要素。在图16的例子中，FIFO部513具有能够将4个最大编码单元的数据存储的容量。并且，在图16中，表示在时刻A?J中存储在FIFO部513中的数据的状态。
[0216]时刻A在图15中对应于⑶O的逆频率变换处理完成之前的时点。时刻B在图15中对应于CUO的逆频率变换处理完成的时点。时刻C在图15中对应于CUl的逆频率变换处理完成的时点。时刻D在图15中对应于CU2的逆频率变换处理完成的时点。时刻E在图15中对应于在⑶3的逆频率变换处理完成之前⑶O的重建处理完成的时点。
[0217]时刻F在图15中对应于⑶3的逆频率变换处理完成的时点。时刻G在图15中对应于⑶4的逆频率变换处理完成之前⑶I的重建处理完成的时点。时刻H在图15中对应于CU4的逆频率变换处理完成的时点。时刻I在图15中对应于CU5的逆频率变换处理完成之前⑶2的重建处理完成的时点。时刻J在图15中对应于⑶5的逆频率变换处理完成的时点。
[0218]此外，WP表示写指针(write pointer),表示将输入数据写入的位置。RP表示读指针，表示将输出数据读出的位置。
[0219]保持⑶计数器值表示FIFO部513保持的编码单元的数量。例如，重建部508在进行重建处理时，基于保持CU计数器值是否是I以上，判断是否有I个编码单元的输入数据(图14F的S1061)。此外，逆频率变换部505在进行逆频率变换处理时，基于保持CU计数器值是否是3以下，判断是否有I个编码单元的输出区域(图14C的S1032)。
[0220]向特定的FIFO部保存数据的处理部使该FIFO部的保持⑶计数器值增加。此外，从该FIFO部提取数据的处理部使该FIFO部的保持CU计数器值减少。例如，逆频率变换部505在数据的保存后，使FIFO部513的保持⑶计数器值增加。并且，重建部508在数据的提取后，使FIFO部513的保持⑶计数器值减少。
[0221]在图16的例子中，在时刻B以后，FIFO部513的保持⑶计数器值是I以上3以下。因而，不发生无用的等待时间。
[0222]图17是将有关本实施方式的FIFO部513的状态的另一例以时间序列表示的图。在图17的例子中，FIFO部513具有能够存储3个最大编码单元的数据的容量。其他条件与图16的例子是同样的。
[0223]在图17的例子的情况下，逆频率变换部505在进行逆频率变换处理时，基于保持⑶计数器值是否是2以下，判断是否有I个编码单元的输出区域(图14C的S1032)。因而，在保持CU计数器值是3的情况下，在逆频率变换处理中发生等待时间。但是，与没有FIFO部513的情况相比，等待时间的发生被抑制。此外，由于其他可变长解码处理及逆量化处理等以非同步方式进行，所以整体上减少了处理延迟。
[0224]在本实施方式中，如上述那样，流水线处理中包含的多个处理的开始及完成的定时并不同步。因此，削减了无用的等待时间，有效率地执行流水线处理。
[0225]以上是关于有关本实施方式的图像解码装置的动作的说明。
[0226](1-4.效果)
[0227]有关本实施方式的图像解码装置作为分别连接到多个处理部的输入输出缓冲器，具备能够保持至少3个最大编码单元的数据的FIFO部。在保存处理及提取处理的各自中，使用I个最大编码单元的区域。并且，使用I个以上最大编码单元的区域作为用来将处理时间的变动吸收的缓冲器。
[0228]由此，即使是多个编码单元由各种各样的尺寸构成的情况，在各处理中等待数据的输入的时间以及等待输出缓冲器的空闲的时间也减少。因而，流水线处理中的空闲时间被削减，有效率地进行流水线处理。由此，处理性能提高。
[0229]此外，FIFO部的容量越大，在各处理中等待数据的输入的时间以及等待输出缓冲器的空闲的时间越减少。结果，处理性能进一步提高。此外，由于电路有效率地动作，所以需要的耗电减少。
[0230](I — 5.补充)
[0231]另外，在本实施方式中，作为在编码及解码中使用的数据单位而使用编码单元。但是，在编码及解码中使用的数据单位也可以是宏块。此外，在编码及解码中使用的数据单位也可以是被称作超级宏块(super macroblock)的块。
[0232]此外，在本实施方式中，基于非专利文献2所示的编码方式了表示流水线处理中的各处理。但是，流水线处理中的各处理并不限定于本实施方式的例子。
[0233]此外，在本实施方式中，最大编码单元的尺寸是128x128像素。但是，最大编码单元的尺寸是怎样的尺寸都可以。此外，在本实施方式中，编码单元的尺寸是128x128像素?8x8像素。但是，编码单元的尺寸也可以是这些以外的尺寸。
[0234]此外，本实施方式所示的流水线处理的结构是一例。也可以并不一定如本实施方式那样将多个处理划分为多个阶段。例如，既可以将多个处理用I个阶段实现，也可以将I个处理划分为一些阶段。
[0235]此外，在本实施方式中使用可变长代码。可变长代码的编码方式也可以是霍夫曼代码、游程长(run length)代码或算术代码等怎样的编码方式都可以。
[0236]此外，各处理部的一部分或全部也可以通过由专用硬件形成的电路实现，也可以通过处理器上的程序实现。
[0237]此外，FIFO部 500、FIFO 部 511、FIFO 部 512、FIFO 部 513、FIFO 部 514、FIFO 部515、FIFO部517、FIFO部518、FIFO部519、帧存储器502及重建图像存储器509并不限定于存储器。它们只要是能够进行数据的存储的存储元件就可以。例如，它们也可以是触发器或寄存器等。进而，也可以在它们中使用处理器的存储器区域的一部分或闪存存储器的一部分。
[0238]此外，在本实施方式中，明示地表示了重建图像存储器509。但是，也可以使用各处理部内的存储器作为重建图像存储器509，也可以使用帧存储器502作为重建图像存储器509。[0239]此外，在本实施方式中表示了解码处理的例子。但是，与本实施方式同样的结构也可以应用到解码处理以外。例如，在作为解码处理的逆处理的编码处理中也可以应用与本实施方式同样的结构。即，图像编码装置也可以作为分别连接到多个处理部的输入输出缓冲器而具备能够保持至少3个最大编码单元的数据的FIFO部。由此，与本实施方式同样有效率地执行流水线处理。
[0240]此外，在本实施方式中，CU划分标志存在于划分块的开头。但是，CU划分标志并不需要一定存在于这样的位置，只要存在于编码流中就可以。例如，CU划分标志也可以存在于最大编码单元的开头。
[0241 ] 此外，在本实施方式中，TU划分标志存在于各系数信息的开头。但是，TU划分标志并不需要一定存在于这样的位置，只要存在于编码流中就可以。例如，TU划分标志也可以存在于编码单元或最大编码单元的开头。
[0242]此外，在本实施方式中，图像解码装置按照每个编码单元进行多个处理。但是，图像解码装置也可以按照与编码单元不同的可利用的每个数据集进行多个处理。即，图像解码装置也可以按照每个变换单元进行多个处理，也可以按照每个预测单元进行多个处理，也可以按照除此以外的每个数据集进行多个处理。
[0243]此外，在本实施方式中，将全部的处理按照每个编码单元进行。但是，例如也可以将逆频率变换处理按照每个变换单元进行，将运动补偿处理按照每个预测单元进行。即，并不需要一定在全部的处理中数据单位是相同的。
[0244]此外，在本实施方式中，图像解码装置作为分别连接到多个处理的输入输出缓冲器而具备能够保持至少3个最大编码单元的数据的FIFO部。但是，图像解码装置也可以具备能够保持3个以上可利用的最大数据集的数据的FIFO部。
[0245]例如，图像解码装置也可以具备能够保持3个以上最大变换单元的数据的FIFO部。此外，图像解码装置也可以具备能够保持3个以上最大预测单元的数据的FIFO部。此夕卜，图像解码装置也可以具备能够保持3个以上其以外的最大数据集的数据的FIFO部。
[0246](实施方式2)
[0247](2— 1.概要)
[0248]首先，对有关本实施方式的图像解码装置的概要进行说明。有关本实施方式的图像解码装置将作为编码后的图像的编码流解码。构成编码流的编码单元的尺寸是可变的。此外，图像解码装置将解码处理中包含的多个处理划分为多个阶段，以流水线方式并行地进行多个处理。
[0249]此时，图像解码装置以在编码流中定义的编码单元的尺寸，以流水线方式并行地进行多个处理。在构成图像解码装置的多个处理部上，连接输入输出缓冲器。该输入输出缓冲器由能够保持对应于至少两个最大编码单元的数据的FIFO部构成。此外，基于编码单元尺寸管理FIFO部的数据。
[0250]由此，在多个编码单元由各种各样的尺寸构成的情况下，在各处理中等待数据的输入的时间以及等待输出缓冲器的空闲的时间也减少。因而，流水线处理中的空闲时间被削减，有效率地进行流水线处理。由此，处理性能提高。
[0251]并且，FIFO部的容量越大，在各处理中，等待数据的输入的时间以及等待输出缓冲器的空闲的时间越减少。此外，在处理对象的编码单元比设想的最大编码单元小的情况下，在各处理中，等待数据的输入的时间以及等待输出缓冲器的空闲的时间也减少。此外，与实施方式I相比，多个处理部之间的存储器所需要的容量被削减。
[0252]以上是关于有关本实施方式的图像解码装置的概要的说明。
[0253](2 — 2.结构)
[0254]图4是有关本实施方式的图像解码装置的结构图。有关本实施方式的图像解码装置的整体结构与实施方式I是同样的，所以省略说明。
[0255]图5是表示多个处理部之间的连接的结构图。连接的结构与实施方式I是同样的，所以省略说明。
[0256]图18是对于可变长解码部503、逆量化部504、逆频率变换部505、FIFO部500、FIFO部511、FIFO部512及FIFO部513的连接进行详细记载的图。对于与图6同样的构成要素省略说明。在本实施方式中追加了尺寸判断部5020。该尺寸判断部5020基于由可变长解码部503解码后的头信息，判断编码单元的尺寸。
[0257]将由尺寸判断部5020判断出的尺寸向管理各处理部的输入用的FIFO部及输出用的FIFO部的FIFO管理部输入。并且，FIFO管理部根据尺寸管理FIFO部，将处理部起动。
[0258]另外，尺寸判断部5020也可以包含在可变长解码部503中。在以后的说明中，有时将尺寸判断部5020的动作表示为包括尺寸判断部5020的可变长解码部503的动作。
[0259]以上是对有关本实施方式的图像解码装置的结构的说明。
[0260](2 — 3.动作)
[0261]在本实施方式中，与实施方式I同样，使用图7A?图10B所示的编码流的构造。此夕卜，与实施方式I同样，使用图1lA及图1lB所示的多个编码单元的结构作为例子。有关本实施方式的图像解码装置整体的动作流程与图12及图13所示的实施方式I的动作流程是同样的，所以省略说明。
[0262]有关本实施方式的图像解码装置与实施方式I不同，在输入数据的有无及输出区域的有无的判断中使用编码单元的尺寸。
[0263]图19A是表示有关本实施方式的可变长解码部503的动作的流程图。首先，可变长解码部503进行编码单元的头的可变长解码处理(S2010)。
[0264]接着，可变长解码部503判断编码单元的尺寸(S2011)。接着，可变长解码部503确认是否有与编码单元的尺寸对应的输入数据(S2012)。接着，可变长解码部503确认有与编码单元的尺寸对应的输出区域(S2013)。并且，在确认后，可变长解码部503进行编码单元的数据的可变长解码处理(S2014)。并且，可变长解码部503重复上述动作，直到切片的最后的编码单元(S2015)。
[0265]图19B是表示有关本实施方式的逆量化部504的动作的流程图。首先，逆量化部504基于由可变长解码部503判断出的结果，取得编码单元的尺寸(S2020)。
[0266]接着，逆量化部504确认有与编码单元的尺寸对应的输入数据(S2021)。接着，逆量化部504确认有与编码单元的尺寸对应的输出区域(S2022)。并且，在确认后，逆量化部504进行编码单元的逆量化处理(S1002)。并且，逆量化部504重复上述动作，直到切片的最后的编码单元(S2023)。
[0267]图19C是表示有关本实施方式的逆频率变换部505的动作的流程图。首先，逆频率变换部505基于由可变长解码部503判断出的结果，取得编码单元的尺寸(S2030)。[0268]接着，逆频率变换部505确认有与编码单元的尺寸对应的输入数据(S2031)。接着，逆频率变换部505确认有与编码单元的尺寸对应的输出区域(S2032)。并且，在确认后，逆频率变换部505进行编码单元的逆频率变换处理(S1003)。并且，逆频率变换部505重复上述动作，直到切片的最后的编码单元(S2033 )。
[0269]图19D是表示有关本实施方式的运动补偿部506的动作的流程图。首先，运动补偿部506基于由可变长解码部503判断出的结果，取得编码单元的尺寸(S2040)。
[0270]接着，运动补偿部506确认有与编码单元的尺寸对应的输入数据(S2041)。接着，运动补偿部506确认有与编码单元的尺寸对应的输出区域(S2042)。并且，在确认后，运动补偿部506进行编码单元的运动补偿处理(S1004)。并且，运动补偿部506重复上述动作，直到切片的最后的编码单元(S2043 )。
[0271]图19E是表示有关本实施方式的面内预测部507的动作的流程图。首先，面内预测部507基于由可变长解码部503判断出的结果，取得编码单元的尺寸(S2050)。
[0272]接着，面内预测部507确认有与编码单元的尺寸对应的输入数据(S2051)。接着，面内预测部507确认有与编码单元的尺寸对应的输出区域(S2052)。并且，在确认后，面内预测部507进行编码单元的面内预测处理(S1005)。并且，面内预测部507重复上述动作，直到切片的最后的编码单元(S2053 )。
[0273]图19F是表示有关本实施方式的重建部508的动作的流程图。首先，重建部508基于由可变长解码部503判断出的结果，取得编码单元的尺寸(S2060)。
[0274]接着，重建部508确认有与编码单元的尺寸对应的输入数据(S2061)。接着，重建部508确认有与编码单元的尺寸对应的输出区域(S2062)。并且，在确认后，重建部508进行编码单元的面内预测处理(S1006)。并且，重建部508重复上述动作，直到切片的最后的编码单元(S2063)。
[0275]图19G是表示有关本实施方式的环内滤波器部510的动作的流程图。首先，环内滤波器部510基于由可变长解码部503判断出的结果，取得编码单元的尺寸(S2070)。
[0276]接着，环内滤波器部510确认有与编码单元的尺寸对应的输入数据(S2071)。接着，环内滤波器部510确认有与编码单元的尺寸对应的输出区域(S2072)。并且，在确认后，环内滤波器部510进行编码单元的环内滤波器处理(S1007)。并且，环内滤波器部510重复上述动作，直到切片的最后的编码单元(S2073 )。
[0277]如上述那样，在本实施方式中，基于编码单元的尺寸执行各处理。其他动作与实施方式I是同样的。
[0278]图15是表示有关本实施方式的图像解码装置的时间序列的动作的时序图。在本实施方式中，也与实施方式I同样,执行流水线处理。
[0279]图20是将有关本实施方式的FIFO部513的状态以时间序列表示的图。在图20的例子中，FIFO部513具有能够存储两个最大编码单元的数据的容量。并且，在图20中，表示在时刻A?J存储在FIFO部513中的数据的状态。时刻A?J分别与在实施方式I中表示的各时点相同。此外，与图16同样，WP表示写指针，表示将输入数据写入的位置。RP表示读指针，表示将输出数据读出的位置。
[0280]此外，图20的保持⑶计数器值表示FIFO部513保持有相当于几个最小编码单元的信息。例如，在⑶1、⑶2、⑶3及⑶4是编码单元的最小尺寸的情况下，⑶O相当于4个最小编码单元。即，如图20的时刻B那样，在CUO的处理完成的时点，对保持CU计数器值追加4个最小编码单元的值。
[0281]例如，重建部508在判断是否有ICU量的输入数据之前，与实施方式I不同，取得处理对象的编码单元的尺寸(图19F的S2060)。并且，重建部508基于FIFO部513的保持CU计数器值是否是相当于尺寸的值以上，判断在FIFO部513中是否有输入数据(图19F的S2061)。
[0282]此外，逆频率变换部505基于作为相当于编码单元的尺寸的值与保持CU计数器值的相加结果是否是8以下，判断在FIFO部513中是否有空闲区域(图19C的S2032)。
[0283]与实施方式I同样，向特定的FIFO部保存编码单元的数据的处理部，基于编码单元的尺寸使该FIFO部的保持CU计数器值增加。此外，从该FIFO部提取编码单元的数据的处理部，基于编码单元的尺寸使该FIFO部的保持CU计数器值减少。
[0284]有关本实施方式的图像解码装置如上述那样，基于编码单元的尺寸管理FIFO部的数据输入输出。因而，图像解码装置能够对各种各样的尺寸的多个编码单元以流水线方式并行执行多个处理。并且，图像解码装置能够有效地利用将多个处理部之间连接的FIFO部的区域。
[0285]以上是对有关本实施方式的图像解码装置的动作的说明。
[0286](2 —4.效果)
[0287]有关本实施方式的图像解码装置以在编码流中定义的编码单元的尺寸，以流水线方式并行进行多个处理。此外，图像解码装置作为分别连接在多个处理部上的输入输出缓冲器而具备能够保持至少两个最大编码单元的数据的FIFO部。此外，图像解码装置基于编码单元的尺寸管理FIFO部的输入输出数据。
[0288]由此，在多个编码单元由各种各样的尺寸构成的情况下，在各处理中等待数据的输入的时间以及等待输出缓冲器的空闲的时间也减少。因而，流水线处理中的空闲时间被削减，有效率地进行流水线处理。由此，处理性能提高。
[0289]并且，FIFO部的容量越大，在各处理中，等待数据的输入的时间以及等待输出缓冲器的空闲的时间越减少。此外，在处理对象的编码单元比设想的最大编码单元小的情况下，在各处理中，等待数据的输入的时间以及等待输出缓冲器的空闲的时间也减少。
[0290]结果，处理性能进一步提高。此外，通过电路有效率地动作，需要的耗电减少。此夕卜，与实施方式I相比，能够削减多个处理部之间的存储器容量。由此，能够使电路规模变小。
[0291](2 — 5.补充)
[0292]另外，在本实施方式中，作为在编码及解码中使用的数据单位而使用编码单元。但是，在编码及解码中使用的数据单位也可以是宏块。此外，在编码及解码中使用的数据单位也可以是被称作超级宏块的块。
[0293]此外，在本实施方式中，基于非专利文献2所示的编码方式了表示流水线处理中的各处理。但是，流水线处理中的各处理并不限定于本实施方式的例子。
[0294]此外，在本实施方式中，最大编码单元的尺寸是128x128像素。但是，最大编码单元的尺寸是怎样的尺寸都可以。此外，在本实施方式中，编码单元的尺寸是128x128像素?8x8像素。但是，编码单元的尺寸也可以是这些以外的尺寸。[0295]此外，本实施方式所示的流水线处理的结构是一例。也可以并不一定如本实施方式那样将多个处理划分为多个阶段。例如，既可以将多个处理用I个阶段实现，也可以将I个处理划分为一些阶段。
[0296]此外，在本实施方式中使用可变长代码。可变长代码的编码方式也可以是霍夫曼代码、游程长代码或算术代码等怎样的编码方式都可以。
[0297]此外，各处理部的一部分或全部也可以通过由专用硬件形成的电路实现，也可以通过处理器上的程序实现。
[0298]此外，FIFO部 500、FIFO 部 511、FIFO 部 512、FIFO 部 513、FIFO 部 514、FIFO 部515、FIFO部517、FIFO部518、FIFO部519、帧存储器502及重建图像存储器509并不限定于存储器。它们只要是能够进行数据的存储的存储元件就可以。例如，它们也可以是触发器或寄存器等。进而，也可以在它们中使用处理器的存储器区域的一部分或闪存存储器的一部分。
[0299]此外，在本实施方式中，明确地表示了重建图像存储器509。但是，也可以使用各处理部内的存储器作为重建图像存储器509，也可以使用帧存储器502作为重建图像存储器509。
[0300]此外，在本实施方式中表示了解码处理的例子。但是，与本实施方式同样的结构也可以应用到解码处理以外。例如，在作为解码处理的逆处理的编码处理中也可以应用与本实施方式同样的结构。
[0301]S卩，图像编码装置也可以作为分别连接到多个处理部的输入输出缓冲器而具备能够保持至少两个最大编码单元的数据的FIFO部，只要基于编码单元尺寸进行FIFO部的数据的管理就可以。由此，与本实施方式同样有效率地执行流水线处理。
[0302]此外，在本实施方式中，CU划分标志存在于划分块的开头。但是，CU划分标志并不需要一定存在于这样的位置，只要存在于编码流中就可以。例如，CU划分标志也可以存在于最大编码单元的开头。
[0303]此外，在本实施方式中，TU划分标志存在于各系数信息的开头。但是，TU划分标志并不需要一定存在于这样的位置，只要存在于编码流中就可以。例如，TU划分标志也可以存在于编码单元或最大编码单元的开头。
[0304]此外，在本实施方式中，图像解码装置按照每个编码单元进行多个处理。但是，图像解码装置也可以按照与编码单元不同的可利用的每个数据集进行多个处理。即，图像解码装置也可以按照每个变换单元进行多个处理，也可以按照每个预测单元进行多个处理，也可以按照除此以外的每个数据集进行多个处理。
[0305]此外，在本实施方式中，将全部的处理按照每个编码单元进行。但是，例如也可以将逆频率变换处理按照每个变换单元进行，将运动补偿处理按照每个预测单元进行。即，并不需要一定在全部的处理中数据单位是相同的。
[0306]此外，在本实施方式中，图像解码装置作为分别连接到多个处理的输入输出缓冲器而具备能够保持至少两个最大编码单元的数据的FIFO部。但是，图像解码装置也可以具备能够保持两个以上可利用的最大数据集的数据的FIFO部。
[0307]例如，图像解码装置也可以具备能够保持两个以上最大变换单元的数据的FIFO部。此外，图像解码装置也可以具备能够保持两个以上最大预测单元的数据的FIFO部。此夕卜，图像解码装置也可以具备能够保持两个以上其以外的最大数据集的数据的FIFO部。
[0308](实施方式3)
[0309]有关本实施方式的图像解码装置及图像编码装置具备实施方式I及实施方式2所表示的多个构成要素中的特征性的构成要素。
[0310]图21A是表示有关本实施方式的图像解码装置的结构图。图21A所示的图像解码装置100将被划分为至少存在两种尺寸的多个块而编码的图像通过包括多个处理的流水线处理而进行解码。并且，图像解码装置100具备两个处理部101、102及存储部111。存储部111具有能够存储两个以上的至少两种尺寸中的最大尺寸的块的容量。
[0311]图21B是表示图21A所示的图像解码装置100的动作的流程图。首先，处理部101对多个块依次进行多个处理中的第I处理。并且，处理部101通过向存储部111保存被进行了第I处理后的块，向存储部111依次保存多个块(S101)。接着，处理部102从存储部111依次提取多个块。并且，处理部102对提取出的多个块依次进行多个处理中的第2处理(S102)。
[0312]由此，能够在处理部101对最大尺寸的块进行处理并将该块向存储部111写入的同时，处理部102从存储部111提取最大尺寸的别的块并处理该别的块。此外，存储部111能够将3个以上的块按照它们的尺寸逐次保持。因而，处理部101及处理部102相互等待处理的结束的无用的等待时间减少，处理效率提闻。
[0313]图22A是表示有关本实施方式的图像编码装置的结构图。图22A所示的图像编码装置200将图像划分为至少存在两种尺寸的多个块，将划分后的图像通过包含多个处理的流水线处理编码。并且，图像编码装置200具备两个处理部201、202及存储部211。存储部211具有能够存储两个以上至少两种尺寸中的最大尺寸的块的容量。
[0314]图22B是表示图22A所示的图像编码装置200的动作的流程图。首先，处理部201对多个块依次进行多个处理中的第I处理。并且，处理部201通过向存储部211保存被进行第I处理后的块，向存储部211依次保存多个块(S201)。接着，处理部202从存储部211依次提取多个块。并且，处理部202对提取出的多个块依次进行第2处理(S202)。
[0315]由此，图像编码装置200能够得到与图像解码装置100同样的效果。
[0316]另外，存储部111及存储部211也可以具有能够存储3个以上的至少两种尺寸中的最大尺寸的块的容量。
[0317]此外，多个块也可以是多个编码单元、多个变换单元或多个预测单元。
[0318]在此情况下，处理部101或处理部102作为第I处理或第2处理而进行对于多个编码单元的可变长解码处理、对于多个变换单元的逆频率变换处理、或对于多个预测单元的预测处理。并且，处理部201或处理部202作为第I处理或第2处理而进行对于多个编码单元的可变长编码处理、对于多个变换单元的频率变换处理、或对于多个预测单元的预测处理。
[0319]此外也可以是，处理部101作为第I处理而进行可变长解码处理，处理部202作为第2处理而进行逆量化处理。此外也可以是，处理部201作为第I处理而进行频率变换处理，处理部202作为第2处理而进行量化处理。此外也可以是，处理部201作为第I处理而进行量化处理，处理部202作为第2处理而进行可变长编码处理。
[0320]此外也可以是，处理部101及处理部201作为第I处理而进行逆量化处理，处理部102及处理部202作为第2处理而进行逆频率变换处理。此外也可以是，处理部101及处理部201作为第I处理而进行逆频率变换处理，处理部102及处理部202作为第2处理而进
行重建处理。
[0321]此外也可以是，处理部101及处理部201作为第I处理而进行面内预测处理，处理部102及处理部202作为第2处理而进行重建处理。此外也可以是，处理部101及处理部201作为第I处理而进行运动补偿处理，处理部102及处理部202作为第2处理而进行重建处理。此外也可以是，处理部101及处理部201作为第I处理而进行重建处理，处理部102及处理部202作为第2处理而进行环内滤波器处理。
[0322]此外也可以是，处理部101及处理部201作为第I处理而进行参照图像传送处理，处理部102及处理部202作为第2处理而进行运动补偿处理。
[0323]例如，处理部101将解码对象块的参照图像传送，向存储部111保存。处理部102从存储部111提取解码对象块的参照图像，使用提取出的参照图像执行解码对象块的运动补偿处理。同样，处理部201将编码对象块的参照图像传送，向存储部211保存。处理部202从存储部211提取编码对象块的参照图像，使用提取出的参照图像执行编码对象块的运动补偿处理。
[0324]此外，处理部102也可以与处理部101非同步地从存储部111依次提取多个块，对提取出的多个块依次进行第2处理。同样，处理部202也可以与处理部201非同步地从存储部211依次提取多个块，对提取出的多个块依次进行第2处理。
[0325]此外，处理部102也可以与处理部101对第I块进行第I处理并行地，对按照多个块的处理顺序而从第I块离开两个以上的块的第2块进行第2处理。同样，处理部202也可以与处理部201对第I块进行第I处理并行地，对按照多个块的处理顺序而从第I块离开两个以上的块的第2块进行第2处理。
[0326]此外，处理部102典型地以多个块被保存在存储部111中的顺序从存储部111依次提取多个块。同样，处理部202典型地以多个块被保存在存储部211中的顺序从存储部211依次提取多个块。
[0327](实施方式4)
[0328]有关本实施方式的图像解码装置及图像编码装置具备实施方式I及实施方式2所示的多个构成要素中的特征性的构成要素。此外，在本实施方式中，对实施方式3的结构追加了新的构成要素。
[0329]图23A是表示有关本实施方式的图像解码装置的结构图。图23A所示的图像解码装置300将划分为存在至少两种尺寸的多个块而被编码的图像通过包括多个处理的流水线处理解码。并且，图像解码装置300具备两个处理部301、302、存储部311及判断部320。存储部311具有能够存储两个以上的至少两种尺寸中的最大的尺寸的块的容量。判断部320判断多个块的各自的尺寸。
[0330]图23B是表示图23A所示的图像解码装置300的动作的流程图。首先，判断部320判断块的尺寸(S301)。
[0331]处理部301对块进行第I处理。并且，处理部301在存储部311中保存被进行了第I处理的块(S302)。此时，处理部301按照被进行了第I处理的块的尺寸，决定块在存储部311中专用的区域，向所决定的区域保存块。接着，处理部302从存储部311提取块。[0332]并且，处理部302对提取出的块进行多个处理中的第2处理(S303)。
[0333]由此，处理部301能够将多个块根据它们的尺寸适当地向存储部311保存。因而，处理部301能够在较少的容量中保存许多块。
[0334]图24A是表示有关本实施方式的图像编码装置的结构图。图24A所示的图像编码装置400将图像划分为至少存在两种尺寸的多个块，将划分后的图像通过包括多个处理的流水线处理编码。并且，图像编码装置400具备两个处理部401、402、存储部411及判断部420。存储部411具有能够存储两个以上至少两种尺寸中的最大的尺寸的块的容量。判断部420判断多个块的各自的尺寸。
[0335]图24B是表示图24A所示的图像编码装置400的动作的流程图。首先，判断部420判断块的尺寸(S401)。
[0336]处理部401对块进行第I处理。并且，处理部401向存储部411保存被进行了第I处理的块(S402)。此时，处理部401按照被进行了第I处理的块的尺寸，决定块在存储部411中专用的区域，向所决定的区域保存块。接着，处理部402从存储部411中提取块。
[0337]并且，处理部402对提取出的块进行多个处理中的第2处理(S403)。
[0338]由此，图像编码装置400能够得到与图像解码装置300同样的效果。
[0339](实施方式5)
[0340]有关本实施方式的图像解码装置及图像编码装置具备实施方式I及实施方式2所示的多个构成要素中的特征性的构成要素。此外，在本实施方式中，对实施方式3的结构追加了新的构成要素。
[0341]图25A是表示有关本实施方式的图像解码装置的结构图。图25A所示的图像解码装置700将划分为存在至少两种尺寸的多个块而被编码的图像通过包括多个处理的流水线处理解码。并且，图像解码装置700具备两个处理部701、702及两个存储部711、712。存储部711具有能够存储两个以上至少两种尺寸中的最大的尺寸的块的容量。
[0342]本实施方式的处理部701、702与实施方式3的处理部101、102同样地动作。本实施方式的处理部702在进行第2处理时，追加进行图25B的动作。
[0343]图25B是表示图25A所示的处理部702的动作的流程图。处理部702在进行第2处理之前，判断在存储部711中是否保存有被进行了第I处理的块、以及在存储部712中是否空闲有用来保存被进行了第2处理的块的区域(S701)。
[0344]并且，处理部702在判断为在存储部711中保存有被进行了第I处理的块、并且判断为在存储部712中空闲有用来保存被进行了第2处理的块的区域的定时，从存储部711提取块。并且，处理部702对提取出的块进行第2处理，向存储部712保存被进行了第2处理的块(S702)。
[0345]由此，处理部702能够在用于处理的准备完成的定时进行处理。因而，无用的等待时间减少。
[0346]图26A是表示有关本实施方式的图像编码装置的结构图。图26A所示的图像编码装置800将图像划分为至少存在两种尺寸的多个块，将划分后的图像通过包括多个处理的流水线处理编码。并且，图像编码装置800具备两个处理部801、802及两个存储部811、812。存储部811具有能够存储两个以上至少两种尺寸中的最大的尺寸的块的容量。
[0347]本实施方式的处理部801、802与实施方式3的处理部801、802同样地动作。本实施方式的处理部802在进行第2处理时，追加进行图26B的动作。
[0348]图26B是表示图26A所示的处理部802的动作的流程图。处理部802在进行第2处理之前，判断在存储部811中是否保存有被进行了第I处理的块、以及在存储部812中是否空闲有用来保存被进行了第2处理的块的区域(S801)。
[0349]并且，处理部802在判断为在存储部811中保存有被进行了第I处理的块、并且判断为在存储部812中空闲有用来保存被进行了第2处理的块的区域的定时，从存储部811提取块。并且，处理部802对提取出的块进行第2处理，向存储部812保存被进行了第2处理的块(S802)。
[0350]由此，图像编码装置800能够得到与图像解码装置700同样的效果。
[0351]另外，在上述各实施方式中，各构成要素也可以由专用的硬件构成、或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等的记录介质中的软件程序读出并执行来实现。这里，实现上述各实施方式的图像解码装置等的软件是以下这样的程序。
[0352]S卩，该程序使计算机执行一种图像解码方法，是将划分为存在至少两种尺寸的多个块而被编码的图像通过包括多个处理的流水线处理来解码的图像解码方法，包括:第I处理步骤，对上述多个块依次进行上述多个处理中的第I处理，通过将被进行了上述第I处理的块向具有能够存储两个以上的上述至少两种尺寸中的最大的尺寸的块的容量的第I存储部保存，向上述第I存储部依次保存上述多个块；第2处理步骤，从上述第I存储部依次提取上述多个块，对提取出的上述多个块依次进行上述多个处理中的第2处理。
[0353]另外，该程序使计算机执行一种图像编码方法，是将图像划分为至少存在两种尺寸的多个块、将划分后的上述图像通过包括多个处理的流水线处理来编码的图像编码方法，包括:第I处理步骤，对上述多个块依次进行上述多个处理中的第I处理，通过将被进行了上述第I处理的块向具有能够存储两个以上的上述至少两种尺寸中的最大的尺寸的块的容量的第I存储部保存，向上述第I存储部依次保存上述多个块；第2处理步骤，从上述第I存储部依次提取上述多个块，对提取出的上述多个块依次进行上述多个处理中的第2处理。
[0354]此外，各构成要素也可以是电路。这些电路既可以作为整体构成I个电路，也可以是分别不同的电路。此外，这些电路既可以分别是通用的电路，也可以是专用的电路。
[0355]以上，基于实施方式对有关一个或多个形态的图像解码装置及图像编码装置进行了说明，但本发明并不限定于该实施方式。只要不脱离本发明的主旨，对本实施方式实施了本领域的技术人员想到的各种变形后的形态、或将不同的实施方式的构成要素组合而构建的形态也可以包含在一个或多个形态的范围内。
[0356]例如，也可以将特定的处理部执行的处理由别的处理部执行。此外，也可以将执行处理的顺序变更，也可以将多个处理并行地执行。
[0357]此外，本发明不仅能够作为图像解码装置或图像编码装置实现，也可以作为以构成图像解码装置或图像编码装置的处理机构为步骤的方法实现。例如，将这些步骤通过计算机执行。并且，本发明可以作为用来使计算机执行这些方法中包含的步骤的程序实现。进而，本发明可以作为记录有该程序的CD - ROM等的非暂时性的计算机可读取的记录介质实现。[0358]此外，图像解码装置或图像编码装置中包含的多个构成要素也可以作为集成电路即LSI (Large Scale Integration:大规模集成电路)实现。这些构成要素既可以单独地I芯片化，也可以包含一部分或全部而I芯片化。例如，也可以将存储器以外的构成要素I芯片化。这里，设为LSI,但根据集成度的差异，也有称作IC (Integrated Circuit)、系统LS1、超级(super)LSI 或特级(ultra)LSI 的情况。
[0359]此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用能够编程的FPGA (Field Programmable Gate Array:现场可编程门阵列)或能够重构LSI内部的电路单元的连接及设定的可重构处理器。
[0360]进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行图像解码装置或图像编码装置中包含的构成要素的集成电路化。
[0361](实施方式6)
[0362]通过将用于实现在上述的各个实施例所示的图像编码方法以及图像解码方法的结构的程序记录到记录介质，从而可以将上述的各个实施例所示的处理在独立的计算机系统简单地实施。记录介质可以是磁盘、光盘、磁光盘、IC卡、半导体存储器等,只要能够记录程序就可以。
[0363]并且，在此对在上述的各个实施例所示的图像编码方法以及图像解码方法的应用实例以及利用这些应用实例的系统进行说明。
[0364]图27是示出实现内容分发服务的内容提供系统exlOO的全体构成图。将通信服务的提供区域划分为所希望的大小，在各单元内分别设置有作为固定无线站的基站exl06至 exllO。
[0365]在该内容提供系统exlOO中，计算机exl 11、PDA(个人数字助理:Personal DigitalAssistant) exll2、照相机exll3、移动电话exll4、游戏机exll5等各种设备，通过电话网exl04、以及基站exl06?exllO相连接。并且，各个设备，通过互联网服务提供商exl02，与互联网exlOl相连接。
[0366]然而，内容提供系统exlOO并非局限于图27所示的构成，也可以对任意的要素进行组合连接。并且，可以不通过作为固定无线站的基站exl06至exllO，而是各个设备直接与电话网exl04相连接。并且，也可以是各个设备通过近距离无线等而彼此直接连接。
[0367]照相机exll3是数字视频摄像机等能够拍摄运动图像的设备,照相机exll6是数字照相机等能够拍摄静止图像以及运动图像的设备。并且，移动电话exll4可以以GSM (Global System for Mobile Communications:全球移动通讯系统)方式、CDMA (CodeDivision Multiple Access:码分多址)方式、W — CDMA (Wideband — Code DivisionMultiple Access:宽带码分多址)方式、LTE (Long Term Evolution:长期演进)方式、HSPA(High Speed Packet Access:高速分组接入)的移动电话，或 PHS(PersonalHandyphone System:个人手持式电话系统)等任一个来构成。
[0368]在内容提供系统exlOO中，照相机exll3等通过基站exl09、电话网exl04与流媒体服务器(streaming server) exl03连接,从而进行现场转播等。在现场转播中,针对用户利用照相机exll3拍摄的内容(例如音乐会现场的影像等)进行在上述各个实施例所说明的编码处理，并发送到流媒体服务器exl03。另外，流媒体服务器exl03针对提出请求的客户端，对被发送的内容数据进行流的分发。作为客户端，包括可以解码上述的被编码处理的数据的计算机exlll、PDAexll2、照相机exll3、移动电话exll4、以及游戏机exll5等。在接收了被分发的数据的各个设备，对接收的数据进行解码处理并再现。
[0369]并且，拍摄的数据的编码处理可以在照相机exll3进行，也可以在进行数据的发送处理的流媒体服务器exl03进行，也可以彼此分担进行。同样，被分发的数据的解码处理可以由客户端进行，也可以在流媒体服务器exl03进行，也可以彼此分担进行。并且，不仅限于照相机exll3，由照相机exll6拍摄的静止图像以及/或者运动图像数据，也可以通过计算机exlll而发送到流媒体服务器exl03。此时的编码处理可以在照相机exll6、计算机exlll以及流媒体服务器exl03的任一个中进行，也可以彼此分担进行。
[0370]并且，这些编码处理以及解码处理可以在一般的计算机exlll以及各个设备所具有的LSI (Large Scale Integration:大规模集成电路)ex500中执行。LSIex500可以由一个芯片构成，也可以由多个芯片构成。另外，也可以将图像编码用的软件或图像解码用的软件安装到能够计算机exlll等读取的某种记录介质(CD — ROM、软盘、硬盘等)中，并利用该软件来进行编码处理以及解码处理。而且，在移动电话exll4是附带有相机的情况下，也可以发送该相机所获得的运动图像数据。此时的运动图像数据是由移动电话exll4所具有的LSIex500进行编码处理后的数据。
[0371]并且，流媒体服务器exl03是多个服务器或多个计算机，也可以是对数据进行分散地处理、记录、分发的装置。
[0372]如以上所述，在内容提供系统exlOO中，客户能够端接收并再现被编码的数据。在这样的内容提供系统exlOO中，在客户端能够实时地接收并解码由用户发送的信息并且能够再现，这样，即使是没有特殊权利以及设备的用户也能够实现个人播放。
[0373]而且，不仅限于内容提供系统exlOO的例子，如图28示出，也可以在数字广播用系统ex200中，组装上述的各个实施例的至少图像编码装置或图像解码装置的某个。具体而言，在广播电台ex201，影像数据的比特流通过电波进行通信，或被传送到卫星ex202。该比特流是，由所述的各个实施例中说明的图像编码方法编码后的编码比特流。接受它的播放卫星ex202，发出广播用的电波，该电波由能够接收卫星广播的家庭的天线ex204接收。接收的比特流，由电视机(接收机)ex300或机顶盒(STB) ex217等的装置解码并再现。
[0374]并且，在再现装置ex212中也可以安装上述的实施例中所示的图像解码装置，该再现装置ex212对作为记录介质的⑶以及DVD等记录介质ex214中所记录的编码比特流进行读取并解码。在此情况下，被再现的影像信号被显示在监视器ex213。
[0375]并且，在读取器/记录器ex218中也可以安装在上述的各个实施例中所示的图像解码装置或图像编码装置，该读取器/记录器ex218对DVD、BD等记录介质ex215中所记录的编码比特流进行读取并解码，或者将影像信号编码并写入到记录介质ex215中。在此情况下，被再现的影像信号被显示在监视器ex219，通过记录有编码比特流的记录介质ex215，其他的装置以及系统能够再现影像信号。并且，也可以将图像解码装置安装到与有线电视用的线缆ex203或卫星/地面波广播的天线ex204连接的机顶盒ex217内，并在电视机的监视器ex219上显示。此时，可以不组装到机顶盒，而是将图像解码装置组装到电视机内。
[0376]图29示出了利用了上述的各个实施例所说明的图像解码方法的电视机(接收机)ex300o电视机ex300包括:调谐器ex301,通过接收上述广播的天线ex204或线缆ex203等获得或者输出影像信息的比特流；调制/解调部ex302，解调接收的编码数据，或者调制为要发送到外部的编码数据；以及复用/分离部ex303，对解调的影像数据和声音数据进行分离，或者对被编码的影像数据和声音数据进行复用。
[0377]并且，电视机ex300具有信号处理部ex306和输出部ex309，所述信号处理部ex306具有分别对声音信号和影像信号进行解码或者对各个信息分别进行编码的声音信号处理部ex304和影像信号处理部ex305 ;所述输出部ex309具有对被解码的声音信号进行输出的扬声器ex307，以及对被解码的影像信号进行显示的显示器等显示部ex308。进而，电视机eX300具有接口部ex317，该接口部ex317具有接受用户操作的输入的操作输入部ex312等。进而，电视机ex300具有统括控制各个部的控制部ex310，以及向各个部提供电力的电源电路部ex311。
[0378]接口部ex317除可以具有操作输入部ex312以外，还可以具有与读取器/记录器ex218等外部设备连接的桥接部ex313、用于安装SD卡等记录介质ex216的插槽部ex314、用于与硬盘等外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。并且，记录介质ex216能够通过保存的非易失性/易失性的半导体存储器元件进行信息的电记录。
[0379]电视机ex300的各个部通过同步总线相互连接。
[0380]首先，对电视机ex300通过天线ex204等从外部获得的数据进行解码并再现的构成进行说明。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据具有CPU等的控制部ex310的控制，将在调制/解调部ex302解调的影像数据和声音数据，在复用/分离部ex303进行分离。进而，电视机ex300将分离的声音数据在声音信号处理部ex304进行解码，利用上述的各个实施例中说明的解码方法，将分离的影像数据在影像信号处理部ex305进行解码。解码的声音信号和影像信号分别从输出部ex309被输出到外部。在进行输出时，为了使声音信号和影像信号同步再现，而可以在缓冲器ex318、ex319等暂时蓄积这些信号。并且，电视机ex300可以不从广播等读出被编码的编码比特流，而是从磁性/光盘、SD卡等记录介质ex215、ex216中读出被编码的编码比特流。
[0381]接着，将要说明的构成是，电视机ex300对声音信号以及影像信号进行编码，并发送到外部或写入到记录介质等。电视机ex300接受来自远程控制器ex220等的用户的操作，并根据控制部ex310的控制，在声音信号处理部ex304对声音信号进行编码，并利用在上述的各个实施例中说明的编码方法，在影像信号处理部ex305对影像信号进行编码。被编码的声音信号和影像信号在复用/分离部ex303被复用，并被输出到外部。在进行复用时，为了使声音信号和影像信号同步，而可以将这些信号暂时蓄积到缓冲器ex320、ex321等。
[0382]另外，关于缓冲器ex318至ex321，可以如图中所示那样具备多个，也可以共享一个以上的缓冲器。而且，除图中所示以外，例如可以在调制/解调部ex302以及复用/分离部ex303之间等，作为回避系统的上溢和下溢的缓冲部件，可以在缓冲器中蓄积数据。
[0383]并且，电视机ex300除具有获得广播以及来自记录介质等的声音数据以及影像数据的构成以外，还可以具有接受麦克风以及照相机的AV输入的构成，对从这些获得的数据进行编码处理。并且，在此虽然对电视机ex300能够进行上述的编码处理、复用以及外部输出的构成进行了说明，不过也可以不能进行这样的处理，而只能进行上述的接收、解码处理、外部输出的构成。
[0384]并且，在读取器/记录器ex218从记录介质中读出或写入编码比特流的情况下，上述的解码处理或编码处理也可以在电视机ex300以及读取器/记录器ex218的某一个中进行，也可以是电视机ex300和读取器/记录器ex218彼此分担进行。
[0385]作为一个例子，图30示出从光盘进行数据的读取或写入的情况下的信息再现/记录部ex400的构成。信息再现/记录部ex400包括以下将要说明的要素ex401至ex407。
[0386]光学头ex401将激光照射到作为光盘的记录介质ex215的记录面并写入信息，并且检测来自记录介质ex215的记录面的反射光并读取信息。调制记录部ex402对被内置于光学头ex401的半导体激光进行电驱动，并按照记录数据来进行激光的调制。再现解调部ex403对由被内置于光学头ex401的光电探测器对来自记录面的反射光进行电检测而得到的再现信号进行放大，对被记录在记录介质ex215的信号成分进行分离、解调，并再现必要的信息。缓冲器ex404对用于在记录介质ex215进行记录的信息以及从记录介质ex215再现的信息进行暂时保持。盘式电机ex405使记录介质ex215旋转。伺服控制部ex406在对盘式电机ex405的旋转驱动进行控制的同时，将光学头ex401移动到规定的信息轨道，进行激光的光点的追踪处理。
[0387]系统控制部ex407对信息再现/记录部ex400进行整体控制。上述的读出以及写入处理可以通过以下的方法来实现，即:系统控制部ex407利用被保持在缓冲器ex404的各种信息，并且按照需要在进行新的信息的生成以及追加的同时，一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调工作，一边通过光学头θχ401来进行信息的记录再现。系统控制部ex407例如以微处理器构成，通过执行读出以及写入的程序来执行这些处理。
[0388]以上，以光学头ex401照射激光光点为例进行了说明，不过也可以是利用近场光(near 一 field optical)来进行高密度的记录的构成。
[0389]图31是作为光盘的记录介质ex215的模式图。在记录介质ex215的记录面上，导槽(槽)被形成为螺旋状，在信息轨道ex230上预先被记录有按照槽的形状的变化示出盘上的绝对位置的地址信息。该地址信息包括用于确定记录块ex231的位置的信息，该记录块ex231是记录数据的单位，进行记录以及再现的装置能够通过再现信息轨道ex230以及读取地址信息，来确定记录块。并且，记录介质ex215包括:数据记录区域ex233、内周区域ex232、以及外周区域ex234。用于记录用户数据的区域为数据记录区域ex233，被配置在数据记录区域ex233的内周或外周的内周区域ex232和外周区域ex234被用于用户数据的记录以外的特殊用途。
[0390]信息再现/记录部ex400针对这种记录介质ex215的数据记录区域ex233,进行被编码的声音数据、影像数据或对这些数据进行复用后的编码数据的读写。
[0391]以上以具有一层结构的DVD、BD等光盘为例进行了说明，但并非受此所限，也可以是多层结构的能够在表面以外进行记录的光盘。并且，也可以在盘的同一位置上利用各种不同波长的颜色的光记录信息，或者从各种角度记录不同的信息的层等，具有进行多维的记录/再现的结构的光盘。
[0392]并且，在数字广播用系统ex200，能够在具有天线ex205的车辆ex210从卫星ex202等接收数据，并且能够在车辆ex210所具有的汽车导航系统ex211等显示装置再现运动图像。并且，关于汽车导航系统ex211的构成可以考虑到在图29所示的构成中添加GPS接收部，同样也可以考虑到添加计算机exlll以及移动电话exll4等。并且，上述移动电话exll4等终端与电视机ex300同样，除可以考虑到是具有编码器以及解码器双方的收发信型终端的形式以外，还可以考虑到是仅具有编码器的发送终端，以及仅具有解码器的接收终端的共三种安装形式。
[0393]这样，在上述的各个实施例所示的图像编码方法或图像解码方法能够适用于上述的任一个设备或系统，这样，能够得到在上述的各个实施例中说明的效果。
[0394]而且，本发明不仅限于这些所述实施例，而可以在不脱离本发明的范围的情况下进行各种变形或修改。
[0395](实施例7)
[0396]在本实施例中，将实施例1所示的图像处理装置，实现为作为典型的半导体集成电路的LSI。图32示出实现了的形态。在DRAM上实现帧存储器502，在LSI上构成其他的电路以及存储器。也可以在DRAM上实现保存编码流的比特流缓冲器。
[0397]可以将它们个别单芯片化，也可以将它们单芯片化，使得包含一部分或全部。在此，作为LSI，但也可以根据集成度不同被称为1C、系统LS1、超级LS1、特级LSI等。
[0398]并且，对于集成电路化的方法，不仅限于LSI，也可以以专用电路或通用处理器来实现。也可以利用在制造LSI后能够编程的FPGA (Field Programmable Gate Array)、或可重构LSI内部的电路单元的连接以及设定的可重构处理器。
[0399]进而，当然，若因半导体技术的进步或导出的其它的技术而出现代替LSI的集成电路化的技术，则可以利用其技术对功能框进行集成化。存在生物技术的应用等的可能性。
[0400]进而，将对本实施例的图像解码装置集成化后的半导体芯片与用于描绘图像的显示器组合，从而能够构成适于各种用途的描绘设备。作为移动电话、电视机、数字录像机、数字照相机以及汽车导航等的信息描绘机构，能够利用本发明。作为显示器，除电子束管(CRT)以外，还有液晶显示器、PDP (等离子显示板)以及有机EL等平面显示器，并且也可以与以投影仪为代表的投射型显示器等相组合。
[0401]并且，本实施例的LSI也可以，与具备蓄积编码流的比特流缓冲器、以及蓄积图像的中贞存储器等的DRAM (Dynamic Random Access Memory:动态随机存储器)协调,来进行编码处理或解码处理。并且，本实施例的LSI也可以，不与DRAM协调，而与eDRAM(embededDRAM) > SRAM (Static Random Access Memory:静态随机存储器)、或硬盘等其他的存储装置协调。
[0402](实施例8)
[0403]将上述各个实施例所示的图像编码装置、图像解码装置、图像编码方法及图像解码方法，实现为作为典型的半导体集成电路的LSI。作为一个例子，图33示出了被制成一个芯片的LSIex500的构成。LSIex500包括以下将要说明的要素ex502至ex509，各个要素通过总线ex510连接。电源电路部ex505在电源为打开状态的情况下,通过向各个部提供电力，从而启动为能够工作的状态。
[0404]例如，在进行编码处理的情况下，LSIex500，由AV 1/0 (输入/输出)ex509从麦克风exll7及照相机exll3等接受AV信号的输入。被输入的AV信号被暂时蓄积到SDRAM等的外部的存储器ex511。蓄积的数据按照处理量以及处理速度被适当地分为多次等，并被发送到信号处理部ex507。信号处理部ex507进行声音信号的编码以及/或影像信号的编码。在此，影像信号的编码处理是在上述的实施例中所说明的编码处理。在信号处理部ex507还根据情况对被编码的声音数据以及被编码的影像数据进行复用等处理，从流输入/输出ex504输出到外部。该被输出的比特流被发送到基站exl07,或者被写入到记录介质ex215。
[0405]并且，例如在进行解码处理的情况下，LSIeX500根据微机(微型计算机)ex502的控制，将通过流输入/输出ex504从基站exl07得到的编码数据或从记录介质ex215读出而得到的编码数据暂时蓄积到存储器ex511。根据微机ex502的控制，蓄积的数据按照处理量以及处理速度被适当地分为多次等，并被发送到信号处理部ex507，信号处理部ex507进行声音数据的解码以及/或影像数据的解码。在此，影像信号的解码处理是在上述的各个实施例中所说明的解码处理。进而，为了使被解码的声音信号和被解码的影像信号同步再现，根据情况将各个信号暂时蓄积到存储器ex511等即可。被解码的输出信号适当地经由存储器ex511等，从AV输入/输出ex509输出到监视器ex219等。被构成为在访问存储器ex511时经由存储器控制器ex503。
[0406]另外，以上虽然对存储器ex511作为LSIex500的外部构成进行了说明，不过也可以被包括在LSIex500的内部。并且，LSIex500可以被制成一个芯片，也可以是多个芯片。
[0407]而且，在此，作为LSI，但也可以根据集成度不同被称为1C、系统LS1、超级LS1、特级LSI等。
[0408]并且，对于集成电路化的方法，不仅限于LSI，也可以以专用电路或通用处理器来实现。也可以利用在制造LSI后能够编程的FPGA、或可重构LSI内部的电路单元的连接以及设定的可重构处理器。
[0409]进而，当然，若因半导体技术的进步或导出的其它的技术而出现代替LSI的集成电路化的技术，则可以利用其技术对功能框进行集成化。存在生物技术的应用等的可能性。
[0410]产业上的可利用性
[0411]本发明能够用于各种各样的用途。例如，能够在电视机、数字视频记录机、汽车导航仪、便携电话、数字照相机、数字视频摄像机等的高分辨率的信息显示设备或摄像设备中，利用价值较高。
[0412]标号说明
[0413]100,300,700图像解码装置
[0414]101、102、201、202、301、302、401、402、701、702、801、802 处理部
[0415]111、211、311、411、711、712、811、812 存储部
[0416]200,400,800图像编码装置
[0417]320、420 判断部
[0418]500、511、512、513、514、515、517、518、519 FIFO 部
[0419]501、ex310 控制部
[0420]502帧存储器
[0421]503可变长解码部
[0422]504逆量化部
[0423]505逆频率变换部
[0424]506运动补偿部[0425]507面内预测部
[0426]508重建部
[0427]509重建图像存储器
[0428]510环内滤波器部
[0429]5001,5002,5003 FIFO 管理部
[0430]5011,5012,5013 起动部
[0431]5020尺寸判断部
[0432]exlOO内容供给系统
[0433]ex 101 因特网
[0434]exl02因特网服务提供商
[0435]exl03流媒体服务器
[0436]exl04 电话网
[0437]exl06> exl07> exl08> exl09> exllO 基站
[0438]exlll 计算机
[0439]exll2 PDA (Personal Digital Assistant)
[0440]exll3、exll6 照相机
[0441]exll4便携电话
[0442]exll5 游戏机
[0443]exll7 麦克风
[0444]ex200数字广播用系统
[0445]ex201 广播站
[0446]ex202广播卫星(卫星)
[0447]ex203 线缆
[0448]ex204> ex205 天线
[0449]ex210 车
[0450]ex211汽车导航仪(车载导航)
[0451]ex212再现装置
[0452]ex213、ex219 监视器
[0453]ex214、ex215、ex216 记录介质
[0454]ex217 机顶盒(STB)
[0455]ex218读取器/记录器
[0456]ex220 遥控器
[0457]ex230信息轨道
[0458]ex231 记录块
[0459]ex232内周区域
[0460]ex233数据记录区域
[0461]ex234外周区域
[0462]ex300电视机(接收机)
[0463]ex301 调谐器[0464]ex302调制/解调部
[0465]ex303复用/分离部
[0466]ex304声音信号处理部
[0467]ex305影像信号处理部
[0468]ex306> ex507 信号处理部
[0469]ex307扬声器
[0470]ex308显示部
[0471]ex309输出部
[0472]ex311、ex505 电源电路部
[0473]ex312操作输入部
[0474]ex313 桥接部
[0475]ex314插槽部
[0476]ex315驱动器
[0477]ex316调制解调器
[0478]ex317接口部
[0479]ex318、ex319、ex320、ex321、ex404 缓冲器
[0480]ex400信息再现/记录部
[0481]ex401光头
[0482]ex402调制记录部
[0483]ex403再现解调部
[0484]ex405盘马达
[0485]ex406伺服控制部
[0486]ex407系统控制部
[0487]ex500LSI
[0488]ex502微机(微型计算机)
[0489]ex503存储器控制器
[0490]ex504流 I/O
[0491]ex509AV I/O
[0492]ex510总线
[0493]ex511存储器
【权利要求】
1.一种图像解码装置，将划分为存在至少两种尺寸的多个块而被编码的图像通过包括多个处理的流水线处理来解码，其特征在于，具备: 第I存储部，具有能够存储两个以上的上述至少两种尺寸中的最大的尺寸的块的容量; 第I处理部，对上述多个块依次进行上述多个处理中的第I处理，通过将被进行了上述第I处理的块保存到上述第I存储部，从而向上述第I存储部依次保存上述多个块；以及第2处理部，从上述第I存储部依次提取上述多个块，对提取出的上述多个块依次进行上述多个处理中的第2处理。
2.如权利要求1所述的图像解码装置，其特征在于， 上述图像解码装置还具备第2存储部； 上述第2处理部判断在上述第I存储部中是否保存有被进行了上述第I处理的块、以及在上述第2存储部中是否空闲有用来保存被进行了上述第2处理的块的区域； 在判断为在上述第I存储部中保存有被进行了上述第I处理的块、并且判断为在上述第2存储部中空闲有用来保存被进行了上述第2处理的块的区域的定时，上述第2处理部从上述第I存储部提取上述块，对所提取的上述块进行上述第2处理，向上述第2存储部保存被进行了上述第2处理的上述块。
3.如权利要求1或2所述的图像解码装置，其特征在于， 上述图像解码装置还具备判断上述多个块的各自的尺寸的判断部； 上述第I处理部按照被进行了上述第I处理的块的尺寸，决定上述块在上述第I存储部中专用的区域，向所决定的上述区域保存上述块。
4.如权利要求1~3中任一项所述的图像解码装置，其特征在于， 上述第I存储部具有能够存储3个以上的上述至少两种尺寸中的最大尺寸的块的容量。
5.如权利要求1~4中任一项所述的图像解码装置，其特征在于， 上述多个块是多个编码单元、多个变换单元或多个预测单元； 上述第I处理部或上述第2处理部进行对于上述多个编码单元的可变长解码处理、对于上述多个变换单元的逆频率变换处理、或对于上述多个预测单元的预测处理，来作为上述第I处理或上述第2处理。
6.如权利要求1~5中任一项所述的图像解码装置，其特征在于， 上述第I处理部进行可变长解码处理，来作为上述第I处理； 上述第2处理部进行逆量化处理，来作为上述第2处理。
7.如权利要求1~5中任一项所述的图像解码装置，其特征在于， 上述第I处理部进行逆量化处理，来作为上述第I处理； 上述第2处理部进行逆频率变换处理，来作为上述第2处理。
8.如权利要求1~5中任一项所述的图像解码装置，其特征在于， 上述第I处理部进行逆频率变换处理，来作为上述第I处理； 上述第2处理部进行重建处理，来作为上述第2处理。
9.如权利要求1~5中任一项所述的图像解码装置，其特征在于， 上述第I处理部进行面内预测处理，来作为上述第I处理；上述第2处理部进行重建处理，来作为上述第2处理。
10.如权利要求1~5中任一项所述的图像解码装置，其特征在于， 上述第I处理部进行运动补偿处理，来作为上述第I处理； 上述第2处理部进行重建处理，来作为上述第2处理。
11.如权利要求1~5中任一项所述的图像解码装置，其特征在于， 上述第I处理部进行重建处理，来作为上述第I处理； 上述第2处理部进行环内滤波器处理，来作为上述第2处理。
12.如权利要求1~5中任一项所述的图像解码装置，其特征在于， 上述第I处理部进行参照图像传送处理，来作为上述第I处理； 上述第2处理部进行运动补偿处理，来作为上述第2处理。
13.如权利要求1~12中任一项所述的图像解码装置，其特征在于， 上述第2处理部与上述第I处理部非同步地，从上述第I存储部依次提取上述多个块，对提取出的上述多个块依次进行上述第2处理。
14.如权利要求1~13中任一项所述的图像解码装置，其特征在于， 上述第2处理部与上述第I处理部对第I块进行上述第I处理并行地，对按照上述多个块的处理顺序而从上述第I块离开两个以上的块的第2块进行上述第2处理。
15.一种图像编码装置，将图像划分为至少存在两种尺寸的多个块，将划分后的上述图像通过包括多个处理的流水线处理来编码，其特征在于，具备: 第I存储部，具有能够存储两个以上的上述至少两种尺寸中的最大的尺寸的块的容量; 第I处理部，对上述多个块依次进行上述多个处理中的第I处理，通过将被进行了上述第I处理的块保存到上述第I存储部，从而向上述第I存储部依次保存上述多个块；以及第2处理部，从上述第I存储部依次提取上述多个块，对提取出的上述多个块依次进行上述多个处理中的第2处理。
16.一种图像解码方法，将划分为存在至少两种尺寸的多个块而被编码的图像通过包括多个处理的流水线处理来解码，其特征在于，包括: 第I处理步骤，对上述多个块依次进行上述多个处理中的第I处理，通过将被进行了上述第I处理的块保存到第I存储部，从而向上述第I存储部依次保存上述多个块，其中该第I存储部具有能够存储两个以上的上述至少两种尺寸中的最大的尺寸的块的容量；以及第2处理步骤，从上述第I存储部依次提取上述多个块，对提取出的上述多个块依次进行上述多个处理中的第2处理。
17.一种图像编码方法，将图像划分为至少存在两种尺寸的多个块，将划分后的上述图像通过包括多个处理的流水线处理来编码，其特征在于，包括: 第I处理步骤，对上述多个块依次进行上述多个处理中的第I处理，通过将被进行了上述第I处理的块保存到第I存储部，从而向上述第I存储部依次保存上述多个块，其中该第I存储部具有能够存储两个以上的上述至少两种尺寸中的最大的尺寸的块的容量；以及第2处理步骤，从上述第I存储部依次提取上述多个块，对提取出的上述多个块依次进行上述多个处理中的第2处理。
18.—种程序，其特征在于，用来使计算机执行权利要求16所述的图像解码方法中包含的步骤。
19.一种程序，其特征在于， 用来使计算机执行权利要求17所述的图像编码方法中包含的步骤。
20.一种集成电路，将划分为存在至少两种尺寸的多个块而被编码的图像通过包括多个处理的流水线处理来解码，其特征在于，具备: 第I存储部，具有能够存储两个以上的上述至少两种尺寸中的最大的尺寸的块的容量; 第I处理部，对上述多个块依次进行上述多个处理中的第I处理，通过将被进行了上述第I处理的块保存到上述第I存储部，从而向上述第I存储部依次保存上述多个块；以及第2处理部，从上述第I存储部依次提取上述多个块，对提取出的上述多个块依次进行上述多个处理中的第2处理。
21.一种集成电路，将图像划分为至少存在两种尺寸的多个块，将划分后的上述图像通过包括多个处理的流水线处理来编码，其特征在于，具备: 第I存储部，具有能够存储两个以上的上述至少两种尺寸中的最大的尺寸的块的容量; 第I处理部，对上述多个块依次进行上述多个处理中的第I处理，通过将被进行了上述第I处理的块保存到上述第I存储部，从而向上述第I存储部依次保存上述多个块；以及第2处理部，从上述第I存储部依次提取上述多个块，对提取出的上述多个块依次进行上述多个处理中的第2处理。
【文档编号】H04N19/119GK103765903SQ201280041360
【公开日】2014年4月30日 申请日期:2012年11月29日 优先权日:2012年1月18日
【发明者】天野博史, 田中健, 大贺健司 申请人:松下电器产业株式会社