专利名称：图像处理装置和方法
技术领域：
本发明涉及图像处理装置和方法，更具体涉及一种使得可以抑制由于增加的图像编码的速度导致的编码效率的下降的图像处理装置和方法。
背景技术：
通常，利用AVC (高级视频编码)图像编码格式，CABAC(基于上下文的适应性二值算术编码)和CAVLC (基于上下文的适应性变化长度编码)已经被定义为熵编码。其中，CABAC是一种二值算术编码格式，其根据周围情况(上下文)适应性地进行编码。通过算术编码，重复根据每单个符号的出现概率划分数字部分的处理，从而获得编码串。即，需要顺序处理全部符号，由于并行处理较困难，使得难于高速地处理。因此，通过AVC，利用称为多层面(multi slice)的技术已经实现了高处理量。通过多层面，将图像划分为如图I中的A所示的多个区域，并且对每个区域独立进行CABAC编码处理。即，如图I的A中的虚线箭头所示，以从位于图像中上侧的宏块行开始朝向位于图像中的下侧的宏块行的顺序，对于每个宏块进行算术编码。从而，可以对每个区域并行进行CABAC编码，从而实现高速处理。将这些划分的区域称为分片(slice)。如图I的B和图I的C所示，每个宏块参考其它相邻宏块而编码。然而，划分区域是降低编码效率的一个因素。首先，每个分片被独立编码，从而如图I的B和图I的C所示，在编码每个区域(分片)时不能进行相互参考。因此，不能使用在边界部分处的画面内预测(内预测)，并且已经存在编码效率会降低的问题。其次，通过CABAC，参考周围宏块的状态以选择符号出现概率表，如图I的C所示，但是，由于在边界部分不能进行对相邻宏块的参考，存在难于选择合适的出现概率表的问题。第三，当编码进行时，用于CABAC的符号出现概率表趋近于实际出现概率，并且编码效率增加，但是在多分片的情况下，每个区域(分片)的符号出现概率表被初始化，从而存在分片的开始点的编码效率将降低的问题。已经提出熵分片格式作为用于在并行进行CABAC时改善编码效率的技术(例如，参考NPL I)。根据该格式，仅将CABAC处理的部分划分为称为熵分片并被并行执行的区域，从而也可以在熵分片边界处使用画面内预测。然而，CABAC处理中的周围宏块参考在熵分片边界处不可用。作为进一步的改善技术，已经提出了排序熵分片格式(例如，参考NPL 2)。根据该格式，对相邻宏块的参考在用于CABAC处理的边界部分也可用。引用列表非专利文献NPL I : A. Segal I λ J. Zhao, “Entropy slices for parallelentropydecoding，，，VCEG 输入文档 C0M16-C405，Geneva, CHj 2008 年 4 月NPL 2:Xun Guo、Yu-Wen Huang、Shawmin Lei uOrderedEntropy Slices forParallel CABAC”，VCEG 输入文档 VCEG-AK25, Yokohama,日本，2009 年 4 月
发明内容
技术问题然而，为了对第二熵分片编码，必须已经对第一熵分片的在其上部的相邻的宏块的处理进行编码，从而导致分片中的相关性，并且失去了并行进行的优点。即，难于通过CABAC处理的并行执行获得作为原始目的的高速度。在该情况下提出本发明，本发明的目的为抑制由于高速图像编码导致的编码效率的下降。解决问题的技术方案本发明的一方面为编码图像数据的图像处理装置，该图像处理装置包括编码单元，其以小区域行作为对象，在所述小区域行中在水平方向排列通过划分在图像的垂直方 向排列的大区域获得的小区域，进行以与扫描顺序相同的顺序推进小区域的编码顺序，以及以与扫描顺序不同的顺序推进小区域行的编码顺序，对大区域的图像数据编码；以及控制单元，其控制所述编码单元，以根据位于待处理的小区域的左边缘的左侧小区域的状态以及位于待处理的小区域的下边缘的下方小区域的状态进行编码。所述编码单元可以以位于自图像顶部奇数编号的位置的大区域的图像数据作为对象，以与扫描顺序相同的顺序推进小区域的编码顺序，以及以与扫描顺序不同的顺序推进小区域行的编码顺序。所述控制单元可以以位于自图像顶部奇数编号的位置的大区域的图像数据作为对象控制所述编码单元，使得对于位于待处理的大区域的最底部位置的小区域行，不参考位于待处理的小区域的下方一个的小区域的状态，而对待处理的小区域的图像数据编码。在已经将位于待处理的大区域的最底部位置的小区域行的图像数据存储在存储单元中的情况下，控制单元可以以位于自图像顶部奇数编号的位置的大区域的图像数据作为对象，控制编码单元使得以编码的顺序从存储单元读出图像数据并进行编码。所述编码单元可以以位于自图像顶部偶数编号的位置的大区域的图像数据作为对象，以与用于小区域行的扫描顺序相同的顺序推进小区域的编码顺序，以及以与扫描顺序相同的顺序推进小区域行的编码顺序。控制单元可以以位于自图像顶部偶数编号的位置的大区域的图像数据作为对象，对于位于待处理的大区域的最顶部位置的小区域行，控制所述编码单元，使得参考位于所述大区域上方一个的大区域中的最底部位置的小区域行的小区域的状态对待处理的小区域的图像数据编码。在已经将位于待处理的大区域的最顶部位置的小区域行的图像数据存储在存储单元中的情况下，控制单元可以以位于自图像顶部偶数编号的位置的大区域的图像数据作为对象，控制编码单元使得以编码的顺序从存储单元读出图像数据并进行编码。编码单元可以以与扫描顺序相反的顺序推进小区域行的编码顺序。扫描顺序可以是光栅扫描顺序。另外，本发明的一方面为一种用于编码图像数据的图像处理装置的图像处理方法，其中编码单元以小区域行作为对象，在所述小区域行中在水平方向排列通过划分在图像的垂直方向排列的大区域获得的小区域，进行以与扫描顺序相同的顺序推进小区域的编码顺序，以及以与扫描顺序不同的顺序推进小区域行的编码顺序，对大区域的图像数据编码；以及控制单元控制所述编码单元，以根据位于待处理的小区域的左边缘的左侧小区域的状态以及位于待处理的小区域的下边缘的下方小区域的状态进行编码。本发明的另一方面为对已经被编码的图像数据的编码数据进行解码的图像处理装置，该图像处理装置包括解码单元，其以小区域行作为对象，在所述小区域行中在水平方向排列通过划分在所述编码数据对应的图像的垂直方向排列的大区域获得的小区域，进行以与扫描顺序相同的顺序推进小区域的解码顺序，以及以与扫描顺序不同的顺序推进小区域行的解码顺序，对大区域的编码数据解码；以及控制单元，其控制所述解码单元，以根据位于待处理的小区域的左边缘的左侧小区域的状态以及位于待处理的小区域的下边缘的下方小区域的状态进行解码。所述解码单元可以以位于自图像顶部奇数编号的位置的大区域的图像数据作为对象，以与扫描顺序相同的顺序推进小区域的解码顺序，以及以与扫描顺序不同的顺序推进小区域行的解码顺序。·
所述控制单元可以以位于自图像顶部奇数编号的位置的大区域的图像数据作为对象控制所述解码单元，使得对于位于待处理的大区域的最底部位置的小区域行，不参考位于待处理的小区域的下方一个的小区域的状态，而对待处理的小区域的图像数据解码。在已经将位于待处理的大区域的最底部位置的小区域行的图像数据存储在存储单元中的情况下，控制单元可以以位于自图像顶部奇数编号的位置的大区域的图像数据作为对象，控制所述解码单元使得以解码的顺序从存储单元读出图像数据并进行解码。所述解码单元可以以位于自图像顶部偶数编号的位置的大区域的编码数据作为对象，以与用于小区域行的扫描顺序相同的顺序推进小区域的解码顺序，以及以与扫描顺序相同的顺序推进小区域行的解码顺序。控制单元可以以位于自图像顶部偶数编号的位置的大区域的编码数据作为对象，对于位于待处理的大区域的最顶部位置的小区域行，控制所述解码单元，使得参考位于所述大区域上方一个的大区域中的最底部位置的小区域行的小区域的状态对待处理的小区域的编码数据进行解码。在已经将位于待处理的大区域的最顶部位置的小区域行的图像数据存储在存储单元中的情况下，控制单元可以以位于自图像顶部偶数编号的位置的大区域的图像数据作为对象，控制所述解码单元使得以解码的顺序从存储单元读出图像数据并进行解码。解码单元可以以与扫描顺序相反的顺序推进小区域行的解码顺序。扫描顺序可以是光栅扫描顺序。另外，本发明的另一方面为一种图像处理装置的图像处理方法，所述图像处理装置对已经被编码的图像数据的编码数据进行解码，其中，解码单元以小区域行作为对象，在所述小区域行中在水平方向排列通过划分在所述编码数据对应的图像的垂直方向排列的大区域获得的小区域，进行以与扫描顺序相同的顺序推进小区域的解码顺序，以及以与扫描顺序不同的顺序推进小区域行的解码顺序，对大区域的编码数据解码；以及控制单元控制所述解码单元，以根据位于待处理的小区域的左边缘的左侧小区域的状态以及位于待处理的小区域的下边缘的下方小区域的状态进行解码。
通过本发明的一方面，利用编码单元以小区域行作为对象，在所述小区域行中在水平方向排列通过划分在图像的垂直方向排列的大区域获得的小区域，以与扫描顺序相同的顺序推进小区域的编码顺序，以及以与扫描顺序不同的顺序推进小区域行的编码顺序，对大区域的图像数据进行编码，通过控制所述编码单元，使得根据位于待处理的小区域的左边缘的左侧小区域的状态以及位于待处理的小区域的下边缘的下方小区域的状态进行编码。通过本发明另一方面，以小区域行作为对象，在所述小区域行中在水平方向排列通过划分在与所述编码数据对应的图像的垂直方向排列的大区域获得的小区域，以与扫描顺序相同的顺序推进小区域的解码顺序，以及以与扫描顺序不同的顺序推进小区域行的解码顺序，对大区域的编码数据进行解码，通过控制所述解码单元，使得根据位于待处理的小区域的左边缘的左侧小区域的状态以及位于待处理的小区域的下边缘的下方小区域的状态进行解码。发明的有益效果 根据本发明，可以对图像数据进行编码。尤其是，可以抑制由于图像编码的高速编码导致的编码效率的下降。
图I为示出常规处理进行方向和参考方向的实例的图；图2为示出图像编码装置的主要配置实例的框图；图3为示出无损编码单元的主要配置实例的框图；图4为示出处理进行方向和参考方向的实例的图；图5为示出编码处理的流程实例的流程图；图6为示出无损编码处理的流程实例的流程图；图7为示出对分片I的编码处理的流程实例的流程图；图8为示出对分片2的编码处理的流程实例的流程图；图9为示出图像解码装置的主要配置实例的框图；图10为示出无损解码单元的主要配置实例的框图；图11为示出解码处理的流程实例的流程图；图12为示出无损解码处理的流程实例的流程图；图13为示出对分片I的解码处理的流程实例的流程图；图14为示出对分片2的解码处理的流程实例的流程图；图15为示出无损编码单元的另一配置实例的框图；图16为示出无损编码处理的流程实例的流程图；图17为示出对分片I的编码处理的流程的另一实例的流程图；图18为示出对分片2的编码处理的流程的另一实例的流程图；图19为示出其中使用概率表的方式实例的图；图20为示出对分片I的编码处理的流程的另一实例的流程图；图21为示出对分片2的编码处理的流程的另一实例的流程图；图22为示出四份划分实例的图23为示出无损编码单元的另一配置实例的框图；图24为示出无损解码单元的另一配置实例的框图；图25为示出宏块的另一实例的图；图26为示出个人计算机的主要配置实例的框图；图27为示出电视接收器的主要配置实例的框图；图28为示出蜂窝电话的主要配置实例的框图；图29为示出硬盘记录器的主要配置实例的框图；以及图30为示出照相机的主要配置实例的框图。
具体实施例方式下面将描述本发明实施例(下文表示为实施例)。这里，将以下面的顺序进行描述。I.第一实施例(图像编码装置)2.第二实施例(图像解码装置)3.第三实施例(图像编码装置/图像解码装置)4.第四实施例(个人计算机)5.第五实施例(电视接收器)6.第六实施例(蜂窝电话)7.第七实施例(硬盘记录器)8.第八实施例(照相机)〈I.第一实施例>[图像编码装置]图2示出用作图像处理装置的图像编码装置的实施例的配置。图2所示的图像编码装置100是这样的编码装置，其对图像进行利用例如H. 264和MPEG (移动图像专家组)4第10部分(AVC (高级视频编码))(下文称为H. 264/AVC)格式的压缩编码。然而，注意，图像编码装置100利用多分片格式作为无损编码格式进行CABAC。在图2中的实例中，图像编码装置100具有Α/D (模拟/数字)转换单元101、画面重排列缓冲器102、计算单元103、正交变换单元104、量化单元105、无损编码单元106以及存储缓冲器107。图像编码装置100还具有逆量化单元108、逆正交变换单元109以及计算单元110。另外，图像编码装置100具有去块滤波器111以及帧存储器112。另外，图像编码装置100具有选择单元113、画面内预测(;[111^3 prediction)单元114、移动预测/补偿单元115以及选择单元116。另外，图像编码装置100具有速率控制单元117。Α/D转换单元101对输入图像数据进行Α/D转换，并输出到画面重排列缓冲器102并存储。画面重排列缓冲器102以存储顺序对帧的图像重新排列，以显示为用于根据GOP(图像组)结构编码的帧的顺序。画面重排列缓冲器102将帧顺序已经被重新排列的图像提供给计算单元103、画面内预测单元114和移动预测/补偿单元115。计算单元103从自画面重排列缓冲器102读出的图像减去从选择单元116提供的预测图像，并将其差分信息输出到正交变换单元104。例如，在已经对图像进行关于其的画面内编码的情况中，计算单元103将从画面内预测单元114提供的预测图像加到从画面重排列缓冲器102读出的图像。另外，例如，在已经对图像进行关于其的画面间编码(interencoding)的情况中，计算单元103将从移动预测/补偿单元115提供的预测图像加到从画面重排列缓冲器102读出的图像。正交变换单元104对来自计算单元103的差分信息进行正交变换，诸如离散余弦变换、Karhunen-Loeve变换等,并将其变换系数提供到量化单元105。量化单元105量化正交变换单元104输出的变换系数。量化单元105将量化的变换系数提供到无损编码单元106。无损编码单元106对量化的变换系数进行具有多分片格式的CABAC。即，无损编码单元106将量化的变换系数图像区域划分为上部和下部两个熵分片(分片I和分片2)，并对每个分片彼此并行地进行CABAC。此时，无损编码装置106以从下部宏块朝向上部宏块的顺序对于位于上侧的熵分片(分片I)进行CABAC。另外，无损编码装置106以从上部宏块朝向下部宏块的顺序对于位 于下侧的熵分片(分片2)进行CABAC。从而，无损编码单元106在各自从两个上部和下部熵分片之间的边界远离的方向顺序处理两个上部和下部熵分片的宏块。无损编码单元106从画面内预测单元114获得指示画面内预测等的信息，并从移动预测/补偿单元115获得指示画面间预测(interprediction)模式等的信息。注意，下文中将指示画面内预测的信息也称为画面内预测模式信息。另外，下文中将指示画面间预测的指示信息模式的信息也称为画面间预测模式信息。无损编码单元106编码量化的变换系数，并且还采用滤波器系数、画面内预测模式信息、画面间预测模式信息、量化参数等作为编码数据中的头信息的部分(多路复用)。无损编码单元106将通过编码获得的编码数据提供到存储缓冲器107以便存储。存储缓冲器107临时保存从无损编码单元106提供的编码数据，并在预定定时将其输出到图中未示出的下游的例如记录装置或传输路径等，作为通过H. 264/AVC格式编码的编码图像。另外，还将从量化单元105输出的量化变换系数提供给逆量化单元108。逆量化单元108通过对应于量化单元105中的量化的方法对量化的变换系数进行逆量化，并将获得的变换系数提供给逆正交变换单元109。逆正交变换单元109通过对应于由正交变换单元104进行的正交变换处理的方法，对提供的变换系数进行逆正交变换。将经过逆正交变换的输出提供给计算单元110。计算单元110将从逆正交变换单元109提供的逆正交变换结果，即，复元的差分信息，加到从选择单元116提供的预测图像，并获得局部解码的图像(解码图像)。例如，在差分信息对应于将被进行画面内编码的图像的情况中，计算单元110将从画面内预测单元114提供的预测图像与该差分信息相加。另外，例如，在差分信息对应于将被进行画面间编码的图像的情况中，计算单元110将从移动预测/补偿单元115提供的预测图像与该差分信息相加。其相加结果被提供到去块滤波器111或帧存储器112。去块滤波器111通过适当进行去块滤波处理从解码的图像除去块噪声，以及还通过利用例如Wiener滤波器适当地进行环路滤波处理而进行图像质量改善。去块滤波器111对每个像素进行类型分类，并对每个类型进行适当的滤波处理。去块滤波器111然后将滤波处理结果提供给帧存储器112。帧存储器112在预定定时经选择单元113将存储的参考图像输出到画面内预测单元114或移动预测/补偿单元115。例如，在图像将被进行画面内编码的情况下，例如，帧存储器112经选择单元113将参考图像提供到画面内预测单元114。例如，在图像将被进行画面间编码的情况下，例如，帧存储器112经选择单元113将参考图像提供到移动预测/补偿单元115。通过图像编码装置100，将来自画面重排列缓冲器102的I影像、B影像和P影像提供到画面内预测单元114作为将进行例如画面内预测(也称为画面内处理)的图像。另夕卜，将从画面重排列缓冲器102读出的B影像和P影像提供到移动预测/补偿单元115作为将进行画面间预测(也称为画面间处理)的图像。
选择单元113将从帧存储器112提供的参考图像在将对图像进行画面内编码的情况下提供到画面内预测单元114，并在将对图像进行画面间编码的情况中提供到移动预测/补偿单元115。画面内预测单元114利用画面内的像素值进行画面内预测以生成预测图像(画面内预测)。画面内预测单元114通过多模式(画面内预测模式)进行画面内预测。画面内预测模式包括用于基于经选择单元113从帧存储器112提供的参考图像生成预测图像的模式。画面内预测单元114在全部画面内预测模式中生成预测图像，评估预测图像，并选择最优模式。在选择最优画面内预测模式之后，画面内预测单元114经选择单元116将在该最优模式中生成的预测图像提供到计算单元103。另外，如上所述，画面内预测单元114适当地将诸如指示使用的画面内预测模式的画面内预测模式信息等的信息提供到无损编码单元106。关于将进行画面间编码的图像，移动预测/补偿单元115使用从画面重排列缓冲器102提供的输入图像和经选择单元113从帧存储器112提供的用作参考帧的解码的图像，并计算移动矢量。移动预测/补偿单元115根据计算的移动矢量进行移动补偿处理，并生成预测图像(画面间预测图像信息)。移动预测/补偿单元115对全部备选画面间预测模式进行画面间预测处理，并生成预测图像。移动预测/补偿单元115经选择单元116将生成的预测图像提供到计算单元103。移动预测/补偿单元115将指示已经使用的画面间预测模式的画面间预测模式信息和指示计算的移动矢量的移动矢量信息提供到无损编码单元106。选择单元116在用于进行画面内编码的图像的情况下将画面内预测单元114的输出提供到计算单元103，并在用于进行画面间编码的图像的情况下将移动预测/补偿单元115的输出提供到计算单元103。速率控制单元117基于存储在存储缓冲器107中的压缩图像控制量化单元105的量化操作的速率，使得不出现上溢或下溢。[无损编码单元的配置]图3为示出无损编码单元106的主要配置实例的框图。如图3所示，无损编码单元106包括控制单元151、存储单元152、分片I处理单元153以及分片2处理单元154。控制单元151控制存储单元152的数据的输入/输出。控制单元151具有宏块检测单元161和分片检测单元162。对于每个宏块从量化单元105提供系数数据。例如，如图I的A中的实线箭头所示，在宏块的水平方向阵列(下文称为宏块行)中，以从左侧的宏块开始到右侧的宏块的顺序一次一个宏块地提供系数数据。另外，如图I的A中的虚线箭头所示，宏块行在图像中越高，以更大的优先级提供。S卩，从图像中的左上侧边缘处的宏块提供一个图像(一个影像或一个字段)的系数数据，并且最后提供位于右下侧边缘处的宏块。宏块检测单元161以该顺序检测从量化单元105提供的系数数据的每个宏块，并与系数数据一起将每个宏块行的头地址存储到存储单元152中。另外，宏块检测单元161对分片检测单元162通知已经检测的宏块行的头地址。分片检测单元162从宏块行的头地址检测熵分片之间的边界(分片I与分片2之间的边界)，并根据这些检测结果操作分片I处理单元153和分片2处理单元154。 例如，如图I的A所示，在要将图像(一个影像或一个字段)划分为两个分片I和分片2的情况中，分片检测单元162从宏块行的头地址检测到上半部图像的系数数据已经被存储在存储单元152中，并检测熵分片的边界。当确定已经开始写入分片I的最底部宏块行的系数数据时，分片检测单元162操作分片I处理单元153，并开始从存储单元152读出分片I的系数数据。此外，当确定已经开始写入下面一个宏块行的系数数据时，分片检测单元162还操作分片2处理单元154，并还开始从存储单元152读出分片2的系数数据。存储单元152具有可选类型的存储介质，其实例包括诸如RAM(随机存取存储器)、闪存、硬盘的半导体存储器等，并存储诸如宏块行的系数数据和开始地址等的信息。基本上，分片I处理单元153和分片2处理单元154进行的算术编码处理(CABAC)具有大负荷，且处理时间较长。另外，处理速度变化。因此，通过缓冲由存储单元152提供的系数数据，可以抑制出现上溢和下溢。分片I处理单元153从存储单元152读出分片I的系数数据，并进行CABAC。分片I处理单元153具有读出控制单元171、宏块行存储器172、上下文计算单元173、二值化单元174以及算术编码单元175。读出控制单元171参考被写入到与其中系数数据被存储在存储单元152中的区域不同的区域的宏块行的头地址，并对于每个宏块从存储单元152读出分片I的系数数据。读出控制单元171以优先级从分片I的最底部宏块行读出系数数据。读出控制单元171将已经读出的系数数据存储到宏块行存储器172中，并还将其提供到二值化单元174。宏块行存储器172具有可选类型的记录介质，其实例包括诸如RAM(随机存取存储器)、闪存、硬盘的半导体存储器等，并存储系数数据的至少I宏块行或更多。上下文计算单元173使用存储在宏块行存储器172中的系数数据以获得与待处理的宏块相邻的周边宏块的状态，基于周边状态计算指示出现概率表的上下文和具有高出现概率的符号，并将其提供到算术编码单元175。二值化单元174将从读出控制单元171提供的系数数据(多值数据)二值化，并将该二值化的数据(二值数据)提供到算术编码单元175。算术编码单元175对在从上下文计算单元173提供的上下文之后的从二值化单元174提供的二值数据进行二值算术编码。算术编码单元175将获得的编码数据提供到存储缓冲器107以进行存储。分片2处理单元154首先从存储单元152读出分片2的系数数据，并进行CABAC。分片2处理单元154基本上具有与分片I处理单元153相同的配置。也就是说，分片2处理单元154具有读出控制单元181、宏块行存储器182、上下文计算单元183、二值化单元184以及算术编码单元185。读出控制单元181具有与读出控制单元171相同的配置，并进行相同的处理。宏块行存储器182具有与宏块行存储器172相同的配置，并进行相同的处理。上下文计算单元183具有与上下文计算单元173相同的配置，并进行相同的处理。二值化单元184具有与二值化单元174相同的配置，并进行相同的处理。算术编码单元185具有与算术编码单元175相同的配置，并进行相同的处理。然而，注意，在分片2的情况中，宏块的处理顺序和参考方向与分片I的情况不同。
·
[编码过程]图4示出处理进行方向和参考方向的实例。以图4的A中所示的箭头指示的顺序进行对一个图像(一个影像或一个字段)份的CABAC0也就是说，将图像划分为在垂直方向排列的多个熵分片(大区域)，并且对于每个熵分片在行/列方向划分成的每个宏块(小区域)进行CABAC (编码)。在分片1，如图4的A中的虚线箭头所示，首先对于最底部的宏块行(小区域行)编码系数数据，然后对上方一行的下一个宏块行编码。从而，一次一行地将处理对象移到上方的宏块行，最后，对最顶部的宏块行进行编码。如图4的A中的实线箭头所示，在每个宏块行中，以与常规设置相同的方法，首先对最左侧的宏块编码，然后对往右一个的宏块编码。从而，一次一个地将处理对象移到右侧的宏块，并且最后，对位于右侧边缘处的宏块进行编码。如图I的A中的箭头所示，在存储单元152中以从图像的顶部宏块行朝向底部宏块行的顺序按宏块存储系数数据。也就是说，当将分片I的最底部宏块行的最左侧宏块的系数数据写入到存储单元152中时，开始对分片I的CABAC。在常规CABAC的情况中，如图I的C所示，参考待处理的宏块(curr)左边一个的宏块(mbA)和其上方一个宏块(mbB)作为周边宏块。然而，在该分片I的情况中，如图4的B所示，参考待处理的宏块(curr)左边一个的宏块(mbA)和其下方一个宏块(mbB’)作为周边宏块。然而，注意，如图4的C所示，将首先被编码的最底部宏块行的下方一个的宏块行是分片2的宏块行，因此不能被参考。在该情况中，尽管在不同的参考方向，以与常规CABAC中的最顶部宏块行的情况相同的方法进行处理。另外，如图4的C所示，在处理对象是画面左边缘处的宏块的情况中，不能参考其左边一个的宏块(mbA)。在该情况中，以与常规CABAC的情况中相同的方法进行处理。相反地，对于分片2，如图4的A中的箭头所示，以与常规情况相同的方法进行编码。也就是说，如图4的A中的虚线箭头所示，对于系数数据，首先编码最顶部的宏块行，然后编码下方一个的宏块行。从而，一次一个宏块行地下移处理对象，最后，对最底部的宏块行进行编码。
在每个宏块行中，如图4的A中的实线箭头所示，首先编码位于左边缘处的宏块，然后编码右侧一个的宏块。从而，一次一个宏块地右移处理对象，并且最后，对位于右侧边缘处的宏块进行编码。在该分片2的情况中，如图4的D所示，对周边宏块的参考方向与常规情况相同，其中参考待处理的宏块(curr)左边一个的宏块(mbA)和其上方一个的宏块(mbB)作为周边宏块。因此，可以在已经将分片2的最顶部宏块行的最左侧的宏块的系数数据写入存储单元152的点开始对分片2的CABAC。也就是说，不需要等待对分片I的CABAC结束就可以开始对分片2的CABAC。例如，可以与对分片I的CABAC并行地执行对分片2的CABAC。对分片I的CABAC不参考分片2的系数数据。另外，如下文所述，尽管关于分片2的最顶部宏块行参考分片I的最底部宏块行，在开始对分片2的CABAC的点，该分片I的系数数据位于存储单元152中。因此，对分片I的CABAC的处理和对分片2的CABAC可以相 互独立地进行，而不用等待彼此的处理等。因此，无损编码单元106可以改善编码处理的处理量。换句话说，无损编码单元106可以高速进行编码。另外，如上所述，在对分片2的最顶部宏块行进行CABAC时参考的上方一个宏块行是分片I的最底部宏块行，并且已经被存储在存储单元152中。因此，如图4的D所示，在对分片2进行CABAC的情况中，可以参考上方一个宏块(mbB)用于第一宏块行，即，用于编码最顶部宏块行。更具体地，分片2处理单元154的读出控制单元181在读出作为处理对象的分片2的最顶部宏块行的系数数据之前读出分片I的最底部宏块行并将其保存在宏块行存储器182 中。上下文计算单元183利用存储在宏块行存储器182中的分片I的最底部宏块行的系数数据等计算周边宏块的上下文，并将其提供给由算术编码单元185进行的对最顶部宏块行的系数数据的算术编码处理。算术编码单元185使用其上下文以进行对分片2的最顶部宏块行的系数数据的算术编码处理。通过这样，在熵分片边界也可以参考周边宏块，从而无损编码单元106可以抑制由于图像划分(多分片)导致的编码效率的下降。[编码处理]下面将描述通过上述图像编码装置100执行的处理的流程。首先，将参考图5的流程图描述编码处理的流程实例。在步骤S101，Α/D转换单元101进行对输入图像的Α/D转换。在步骤S102，画面重排列缓冲器102存储从Α/D转换单元101提供的图像，并进行从显示影像的顺序到编码的顺序的重排列。在步骤S103，画面内预测单元114和移动预测/补偿单元115每个对图像进行预测处理。也就是说，在步骤S103，画面内预测单元114进行画面内预测模式画面内预测处理。移动预测/补偿单元115进行画面间预测模式移动预测/补偿处理。在步骤S104，选择单元116基于从画面内预测单元114和移动预测/补偿单元115输出的成本函数值确定最优预测模式。也就是说，选择单元116选择通过画面内预测单元114生成的预测图像和通过移动预测/补偿单元115生成的预测图像的一个或另一个。另外，将预测图像的选择信息提供到画面内预测单元114或移动预测/补偿单元115。在已经选择最优画面内预测模式的预测图像的情况中，画面内预测单元114将指示最优画面内预测模式的信息(即画面内预测模式信息)提供到无损编码单元106。在已经选择最优画面间预测模式的预测图像的情况中，移动预测/补偿单元115将指示最优画面间预测模式的信息和需要的根据最优画面间预测模式的信息提供到无损编码单元106。根据最优画面间预测模式的信息的实例包括移动矢量信息、标志信息、参考帧信息等。在步骤S105，计算单元103计算在步骤S102重排列的图像与步骤S103中通过预测处理获得的预测图像之间的差分。在进行画面间预测的情况中从移动预测/补偿单元115向计算单元103提供预测图像，而在进行画面内预测的情况中从画面内预测单元114向计算单元103提供预测图像，在两种情况下都经选择单元116。·相比于原始图像数据，该差分数据在数据量上减小。因此，相比于无变化地编码原始图像的情况，可以压缩数据量。在步骤S106，正交变换单元104对从计算单元103提供的差分信息进行正交变换。具体地，进行诸如离散余弦变换、Karhunen-Lo6Ve变换等的正交变换，并输出变换系数。在步骤S107，量化单元105量化变换系数。在步骤S108，无损编码单元106对从量化单元105输出的量化的变换系数进行编码。也就是说，对差分图像(在画面内情况中的二次差分图像)进行诸如算术编码等的无损编码。在下文中会详细描述编码处理的细节。注意，无损编码单元106对与通过步骤S104中的处理选择的预测图像的预测模式相关的信息进行编码，并加到通过编码差分图像获得的编码数据的头信息。也就是说，无损编码单元106还编码从画面内预测单元114提供的画面内预测模式信息或根据从移动预测/补偿单元115提供的最优画面间预测模式的信息等，并将其加到头息。在步骤S109，存储缓冲器107存储从无损编码单元106输出的编码数据。适当时读出存储在存储缓冲器107中的编码数据，并经传输路径将其传输到解码侧。在步骤S110，速率控制单元117基于存储在存储缓冲器107中的压缩图像控制量化单元105的量化操作的速率，使得不导致上溢或下溢。另外，如下局部解码通过步骤S107中的处理量化的差分信息。也就是说，在步骤S111，逆量化单元108利用对应于量化单元105的特性的特性对通过量化单元105量化的变换系数进行逆量化。在步骤SI 12，逆正交变换单元109利用对应于正交变换单元104的特性的特性对通过逆量化单元108被逆量化的变换系数进行逆正交变换。在步骤S113，计算单元110将经选择单元116输入的预测图像加到局部解码的差分信息，并生成局部解码的图像(所述图像对应于到计算单元103的输入)。在步骤S114，去块滤波器111对从计算单元110输出的图像进行滤波。从而，除去块失真。在步骤S115，帧存储器112存储经过滤波的图像。注意，还从计算单元110向帧存储器112提供未通过去块滤波器111进行滤波处理的图像用于存储。
[无损编码处理]下面，将参考图6的流程图描述在图5的步骤S108中执行的无损编码处理的流程实例。当开始无损编码处理，在步骤S131，存储单元152存储经宏块检测单元161提供的每个宏块的系数数据。在步骤S132，存储单元152在与系数数据不同的区域中存储通过宏块检测单元161检测的宏块行的头地址。在步骤S133，分片检测单元162确定存储在存储单元152中的宏块是否是位于熵分片边界处的宏块，并且在确定其为熵分片边界的情况中，处理前进到步骤S134。在步骤S134，在已经将分片I的最底部宏块行的最左侧的宏块写入存储单元152的点，分片检测单元162控制分片I处理单元153以开始从分片I的底部朝向顶部进行编码(下述的分片I编码处理)。也就是说，如参考图4所述，作为分离的任务，分片检测单元162使得分片I处理单元153在分片I中从底部到顶部进行CABAC。 在步骤S135，在已经将分片2的最顶部宏块行的最左侧的宏块写入存储单元152的点，分片检测单元162控制分片2处理单元154以开始从分片2的顶部朝向底部进行编码(下述的分片2编码处理)。也就是说，如参考图4所述，作为分离的任务，分片检测单元162使得分片2处理单元154在分片2中从顶部到底部进行CABAC。当在分片I上开始CABAC且在分片2上开始CABAC时，分片检测单元162将处理前进到步骤S136。另外，在在步骤S133中确定其不是分片边界的情况中，分片检测单元162将处理前进到步骤S136。在步骤S136，宏块检测单元161确定是否已经处理图像(影像或字段)中的全部宏块，在确定存在未处理的宏块的情况中，处理返回到步骤S131，并在下一个提供的宏块上重复后续的处理。另外，当在步骤S136中确定已经处理全部宏块时，宏块检测单元161结束无损编码处理，将处理返回到图5中的步骤S108，并将处理前进到步骤S109。[分片I编码处理]下面，将参考图7的流程图描述通过分片I处理单元153执行的分片I编码处理的流程实例。当执行图6中的步骤S134的处理且开始分片I编码处理时，在步骤S151，分片I处理单元153的读出控制单元171读出分片I中的最后宏块行的系数数据。在步骤S152，宏块行存储器172存储在步骤S151中读出的宏块行的系数数据。在步骤S153，二值化单元174对在步骤S151中读出的宏块行的系数数据进行二值化。在步骤S154，算术编码单元175不参考下面的宏块行地进行算术编码。从而，在编码分片I的最底部宏块行的全部系数数据时，分片I处理单元153将处理前进到步骤S155。在步骤S155，分片I处理单元153的读出控制单元171读出上次读出的宏块行的上方一个的宏块行的系数数据。在步骤S156，宏块行存储器172存储在步骤S155中读出的宏块行的系数数据。在步骤S157，二值化单元174对在步骤S155中读出的宏块行的系数数据进行二值化。在步骤S158，上下文计算单元173参考下方一个的宏块行计算待处理的宏块的上下文。在步骤S159，算术编码单元175利用在步骤S158中计算的上下文进行算术编码。
在步骤S160，读出控制单元171确定是否已经处理图像(影像或字段)中的全部宏块行，在存在未处理的宏块行的情况中，将处理返回到步骤S155，并重复后续的处理。在重复执行步骤S155到步骤S160的处理并且在步骤S160中确定已经处理图像中的全部宏块行的情况中，读出控制单元171结束分片I编码处理。[分片2编码处理]下面，将参考图8的流程图描述通过分片2处理单元154执行的分片2编码处理的流程实例。当执行图6中的步骤S135的处理且开始分片2编码处理时，在步骤S181，分片2处理单元154的读出控制单元181读出分片I中的最后宏块行的系数数据和分片2中的第一宏块行的系数数据。在步骤S182，宏块行存储器182存储在步骤S181中读出的宏块行的系数数据。·在步骤S183，二值化单元184对在步骤S181中读出的分片2的第一宏块行的系数数据进行二值化。在步骤S184，上下文计算单元183参考在步骤S182中存储的分片I的上一个宏块行计算待处理的宏块的上下文。在步骤S185，算术编码单元185利用在步骤S184中计算的上下文进行算术编码。从而，在编码分片2的最顶部宏块行的全部系数数据时，分片2处理单元154将处理前进到步骤S186。在步骤S186，分片2处理单元154的读出控制单元181读出上次读出的宏块行的下方一个的宏块行的系数数据。在步骤S187，宏块行存储器182存储在步骤S186中读出的宏块行的系数数据。在步骤S188，二值化单元184对在步骤S186中读出的宏块行的系数数据进行二值化。在步骤S189，上下文计算单元183参考上方一个的宏块行计算待处理的宏块的上下文。在步骤S190，算术编码单元185利用在步骤S189中计算的上下文进行算术编码。在步骤S191，读出控制单元181确定是否已经处理图像(影像或字段)中的全部宏块行，在存在未处理的宏块行的情况中，将处理返回到步骤S186，并重复后续的处理。在重复执行步骤S186到步骤S191的处理并且在步骤S190中确定已经处理图像中的全部宏块行的情况中，读出控制单元181结束分片2编码处理。从而，无损编码单元106可以实现高速图像编码同时抑制编码效率的下降。〈2.第二实施例〉[图像解码装置]经预定传输路径将通过第一实施例中所述的图像编码装置100编码的编码数据传输到对应于图像编码装置100的图像解码装置并进行解码。下面将描述图像解码装置。图9为示出图像解码装置的主要配置实例的框图。如图9所示，图像解码装置200由以下部件构成存储缓冲器201、无损解码单元202、逆量化单元203、逆正交变换单元204、计算单元205、去块滤波器206、画面重排列缓冲器207以及D/Α转换单元208。图像解码装置200还具有帧存储器209、选择单元210、画面内预测单元211、移动预测/补偿单元212以及选择单元213。存储缓冲器201存储传输到其的编码数据。该编码数据已经通过图像编码装置100被编码。无损解码单元202利用对应于图2中的无损编码单元106的编码格式的格式在预定定时对从存储缓冲器201读出的编码数据解码。
逆量化单元203利用对应于图2的量化单元105的量化格式的格式对通过无损解码单元202解码获得的系数数据进行逆量化。逆量化单元203将经过逆量化的系数数据提供到逆正交变换单元204。逆正交变换单元204利用对应于图2中的正交变换单元104的正交变化格式的格式对所述系数数据进行逆正交变换，并获得对应于在图像编码装置100处的正交变换之前的残差数据的解码残差数据。经过逆正交变换获得的解码残差数据被提供给计算单元205。另外，经选择单元213从画面内预测单元211或移动预测/补偿单元212向计算单元205提供预测图像。计算单元205将解码残差数据与预测图像相加，并获得与在通过图像编码装置100的计算单元103的预测图像的减法之前的图像数据对应的解码图像数据。计算单元205将解码图像数据提供给去块滤波器206。去块滤波器206除去解码图像的块噪声，并随后将其提供给帧存储器209以存储， 并还将其提供给画面重排列缓冲器207。画面重排列缓冲器207进行对图像的重排列。也就是说，被重排列以用于通过图2中的画面重排列缓冲器102的编码的帧的顺序被重排列为原始显示顺序。D/Α转换单元208对从画面重排列缓冲器207提供的图像进行D/Α转换，输出到未示出的显示器，并显示。选择单元210从帧存储器读出用于画面间处理的图像和将要参考的图像，并提供到移动预测/补偿单元212。另外，选择单元210从帧存储器209读出将用于画面内预测的图像，并将其提供给画面内预测单元211。从无损解码单元202适当地向画面内预测单元211提供通过解码头信息获得的指示画面内预测模式的信息等。画面内预测单元211基于该信息生成预测图像，并将生成的预测图像提供给选择单元213。移动预测/补偿单元212从无损解码单元202获得通过解码头信息(预测模式信息、移动矢量信息、参考帧信息)获得的信息。在已经提供指示画面间预测模式的信息的情况中，基于来自无损解码单元202的画面间移动矢量，移动预测/补偿单元212生成预测图像，并将生成的预测图像提供到选择单元213。选择单元213选择通过移动预测/补偿单元212或画面内预测单元211生成的预测图像，并将其提供到计算单元205。[无损解码单元]图10为示出图9所示的无损解码单元202的主要配置实例的框图。如图10所示，无损解码单元202包括多路分解器251、分片I处理单元252、分片2存储单元253、存储单元254以及读出控制单元255。多路分解器251识别从存储缓冲器201提供的编码数据所属的熵分片(是分片I还是分片2)，并根据熵分片控制编码数据的提供目标。以每个熵分片作为独立流多路复用通过图2所示的图像编码装置100生成的位流。从存储缓冲器201提供多路复用的流。例如，在编码数据属于分片I的情况中，多路分解器251提供到分片I处理单元
252。另外，例如，在编码数据属于分片2的情况中，多路分解器251提供到分片2处理单元
253。分片I处理单元252对属于分片I的编码数据进行算术解码。通过图像编码装置100，已经从图像的左侧到右侧、从底部到顶部对属于分片I的每个宏块编码。另外，将参考的周边块是待处理的宏块中的左边一个的宏块和下方一个的宏块。还以与此相同的处理顺序和参考方向进行解码处理。分片2处理单元253对属于分片2的编码数据进行算术解码。通过图像编码装置100，已经从图像的左侧到右侧、从顶部到底部对属于分片2的每个宏块编码。另外，将参考的周边块是待处理的宏块的左边一个的宏块和上方一个的宏块。还以与此相同的处理顺序和参考方向进行解码处理。存储单元254获得在分片I处理单元252生成的解码系数数据(多值数据)和在分片2处理单元253生成的解码系数数据(多值数据)，并存储这些数据。读出控制单元255在预定定时且以预定顺序读出存储在存储单元254中的解码系数数据，并将其提供到逆量化单元203。 注意，无损解码单元202实际上从提供的位流提取诸如编码参数和预测模式信息等的元数据，并将其提供到画面内预测单元211和移动预测/补偿单元212。分片I处理单元252具有算术解码单元261、多值化单元262、宏块行存储器263以及上下文计算单元264。算术解码单元261利用通过上下文计算单元264计算的上下文进行对编码数据的算术解码，并生成二值数据。多值化单元262对从算术解码单元261输出的二值数据进行多值化。多值化单元262将生成的多值数据提供到存储单元254作为解码系数数据，并还将其提供到宏块行存储器263。宏块行存储器263存储从多值化单元262提供的解码系数数据。宏块行存储器263可存储解码系数数据的一个宏块行块份或更多。上下文计算单元264使用存储在宏块行存储器263中的解码系数数据以计算与将通过算术解码单元261进行解码处理的宏块相邻的周边宏块的上下文，并将其提供到算术解码单元261。例如，上下文计算单元264生成待处理的宏块的左边一个的宏块的上下文和待处理的宏块的下方一个的宏块的上下文。分片2处理单元253具有算术解码单元271、多值化单元272、宏块行存储器273以及上下文计算单元274。算术解码单元271利用通过上下文计算单元274计算的上下文进行对编码数据的算术解码，并生成二值数据。多值化单元272对从算术解码单元271输出的二值数据进行多值化。多值化单元272将生成的多值数据提供到存储单元254作为解码系数数据，并还将其提供到宏块行存储器273。宏块行存储器273存储从多值化单元272提供的解码系数数据。宏块行存储器273可存储解码系数数据的一个宏块行块份或更多。上下文计算单元274使用存储在宏块行存储器273中的解码系数数据以计算与将通过算术解码单元271进行解码处理的宏块相邻的周边宏块的上下文，并将其提供到算术解码单元271。例如，上下文计算单元274生成待处理的宏块的左边一个的宏块的上下文和待处理的宏块的上方一个的宏块的上下文。
注意，在解码处理的对象是位于分片2的最顶部位置的宏块行时，上下文计算单元274利用存储在分片I处理单元252的宏块行存储器263中的分片I的最底部宏块行的解码系数数据，生成待处理的宏块的上方一个的宏块的上下文。通过进行上述解码处理，无损解码单元202以与无损编码单元106的情况相同的顺序进行处理，并以相同的方向进行周边参考，从而可以适当地对编码数据进行解码。[解码处理]下面将描述通过上述图像解码装置200执行的每个处理的流程。首先，将参考图11的流程图描述解码处理的流程实例。当在步骤S201开始解码处理时，存储缓冲器201存储传输的编码数据。在步骤S202，无损解码单元202对从存储缓冲器201提供的编码数据解码。具体地，对通过图2中的无损编码单元106编码的影像I、影像P和影像B进行解码。·
此时，还对移动矢量信息、参考帧信息、预测模式信息(画面内预测模式或画面间预测模式)以及标志信息等进行解码。具体地，在预测模式信息是画面内预测模式信息的情况中，将预测模式信息提供到画面内预测单元211。在预测模式信息是画面间预测模式信息的情况中，将预测模式信息和对应的移动矢量信息提供到移动预测/补偿单元212。在步骤S203中，逆量化单元203利用对应于图2的量化单元105的特性的特性对通过无损解码单元202解码的变换系数进行逆量化。在步骤S204，逆正交变换单元204利用对应于图2中的正交变换单元104的特性的特性对通过逆量化单元203被逆量化的变换系数进行逆正交变换。这表示，已经对对应于图2中的正交变换单元104的输入的差分信息(计算单元103的输出)进行解码。在步骤S205，画面内预测单元211或移动预测/补偿单元212根据从无损解码单元202提供的预测模式信息进行各自的图像预测处理。也就是说，在从无损解码单元202提供画面内预测模式信息的情况中，画面内预测单元211进行画面内预测模式画面内预测处理。另外，在从无损解码单元202提供画面间预测模式信息的情况中，移动预测/补偿单元212进行画面间预测模式移动预测处理。在步骤S206，选择单元213选择预测图像。也就是说，向选择单元213提供通过画面内预测单元211生成的预测图像或通过移动预测/补偿单元212生成的预测图像。选择单元213选择其中一个。将选择的预测图像提供到计算单元205。在步骤S207，计算单元205将在步骤S206的处理中选择的预测图像加到通过步骤S204中的处理获得的差分信息。从而，对初始图像数据进行解码。在步骤S208，去块滤波器206对从计算单元205提供的解码图像数据进行滤波。从而，除去块失真。在步骤S209，帧存储器209存储经过滤波的解码图像数据。在步骤S210，画面重排列缓冲器207进行对解码图像数据的帧的重排列。具体地，被重排列以用于通过图像编码装置100的画面重排列缓冲器102 (图2)编码的解码图像数据的帧的顺序被重排列为初始显示顺序。在步骤S211，D/A转换单元208对来自画面重排列缓冲器207的解码图像数据(其帧已经被重排列)进行D/Α转换。将该解码图像数据输出到未示出的显示器，并显示图像。
[无损解码处理]下面，将参考图12的流程图描述在图11的步骤S202中执行的无损解码处理的流程实例。当开始无损解码处理时，在步骤S231，多路分解器251将系数数据划分为多个分片。在步骤S232，多路分解器251将分片I的编码数据提供到分片I处理单元252，并开始从分片I的底部到顶部的解码(分片I解码处理)作为单独的任务。在步骤S233，多路分解器251确定通过在步骤S232开始分片I解码处理对分片I的最后(最底部)宏块行的解码是否已经结束，并进行准备直到确定其已经结束。在确定对分片I的最后(最底部)宏块行的解码已经结束的情况中，多路分解器251将处理前进到步骤 S234。在步骤S234，多路分解器251将分片2的编码数据提供到分片2处理单元253，并开始从分片2的顶部到底部的解码(分片2解码处理)作为单独的任务。 在步骤S235，多路分解器251确定通过在步骤S234开始分片2解码处理对分片2的全部宏块的解码是否已经结束，并进行准备直到确定其已经结束。在确定对分片2的解码已经结束的情况中，多路分解器251结束无损解码处理，将处理返回到图11中的步骤S202，并将处理前进到步骤S203。[分片I解码处理]下面，将参考图13的流程图描述通过图12的步骤S232中的处理开始的分片I解码处理的流程实例。当开始分片I解码处理时，在步骤S251，算术解码单元261不参考下方的宏块行的宏块地进行对分片I的最后(最底部)宏块行中的每个宏块的算术解码。在步骤S252，多值化单元262对通过步骤S251中的解码获得的二值系数数据进行多值化，并将其转换为多值系数数据。在步骤S253，宏块行存储器263存储如上所述生成的待处理的宏块行的系数数据(多值数据)。在存储分片I的最底部宏块行的系数数据之后，宏块行存储器263将处理前进到步骤S254。在处理前进到步骤S254之后，将进行解码处理的宏块行向上移动一行。在步骤S254，上下文计算单元264不仅参考将进行解码处理的宏块行，还参考将进行解码处理的宏块行的下方一行的宏块行，并计算上下文。在步骤S255，算术解码单元261利用在步骤S254中生成的上下文进行算术解码。在步骤S256，多值化单元262对通过步骤S255中的解码获得的二值系数数据进行多值化，并生成多值数据。在步骤S257，宏块行存储器263存储如上所述生成的待处理的宏块行的系数数据(多值数据)。在存储待处理的宏块行的系数数据之后，宏块行存储器263将处理前进到步骤 S258。在步骤S258，分片I处理单元252确定是否已经处理分片I中的全部宏块行。在确定存在未处理的宏块行的情况中，分片I处理单元252将处理返回到步骤S254，采用被用作上次处理的对象的宏块行的上方一行的宏块行，并重复处理。重复进行步骤S254到步骤S258的处理，并且在步骤S258中确定已经处理全部宏块行的情况中，分片I解码处理结束。[分片2解码处理]下面，将参考图14的流程图描述通过图12的步骤S234中的处理开始的分片2解码处理的流程实例。当开始分片2解码处理时，在步骤S271，上下文计算单元274不仅参考待处理的宏块行还参考在宏块行存储器263中存储的分片I的最后(最底部)宏块行，计算待处理的分片2中的第一(最顶部)宏块行中的每个宏块的上下文。在步骤S272，算术解码单元271利用在步骤S271中计算的上下文进行算术解码。在步骤S273，多值化单元272对通过步骤S272中的解码获得的二值系数数据进行多值化，并将其转换为多值系数数据。在步骤S274，宏块行存储器273存储如上所述生成的待处理的宏块行的系数数据·(多值数据)。在存储分片2的最顶部宏块行的系数数据之后，宏块行存储器273将处理前进到步骤S275。在处理前进到步骤S275之后，将进行解码处理的宏块行向下移动一行。在步骤S275，上下文计算单元274不仅参考将进行解码处理的宏块行，还参考将进行解码处理的宏块行的上方一行的宏块行，并计算上下文。在步骤S276，算术解码单元271利用在步骤S275中生成的上下文进行算术解码。在步骤S277，多值化单元272对通过步骤S276中的解码获得的二值系数数据进行多值化，并生成多值数据。在步骤S278，宏块行存储器273存储如上所述生成的待处理的宏块行的系数数据(多值数据)。在存储待处理的宏块行的系数数据之后，宏块行存储器273将处理前进到步骤 S279。在步骤S279，分片2处理单元253确定是否已经处理分片2中的全部宏块行。在确定存在未处理的宏块行的情况中，分片2处理单元253将处理返回到步骤S275，采用被用作上次处理的对象的宏块行的下方一行的宏块行，并重复处理。重复进行步骤S275到步骤S279的处理，并且在步骤S279中确定已经处理全部宏块行的情况中，分片2解码处理结束。从而，图像解码装置200可以正确地对通过图像编码装置100的编码获得的编码数据进行解码。从而，无损编码单元202可以实现高速图像编码同时抑制编码效率的下降。<3.第三实施例>[无损编码单元的配置]现在，尽管已经描述了在分片I处理单元153和分片2处理单元154处进行对上下文的生成，可以在存储到存储单元152之前生成上下文，并且不限于此。图15为示出图I中的无损编码单元106的另一配置实例的框图。如图15所示，在该情况中，无损编码单元106除了图3中的配置情况之外还具有上下文处理单元301。另外，无损编码单元106具有分片I处理单元303以代替图3中的情况下的分片I处理单元153，还具有分片2处理单元304以代替分片2处理单元154。上下文处理单元301计算从量化单元105提供的系数数据的上下文表格。分片I处理单元303基本具有与分片I处理单元153相同的配置，但是由于上下文处理单元301位于分片I处理单元303的外部，省略了宏块行存储器172和上下文计算单元173。分片2处理单元304基本具有与分片2处理单元154相同的配置，但是由于上下文处理单元301位于分片2处理单元304的外部，省略了宏块行存储器182和上下文计算单元183。上下文处理单元301具有宏块行存储器311和上下文计算单元312。宏块行存储器311与宏块行存储器172和宏块行存储器182基本相同，并且存储从量化单元105提供的系数数据。注意，分片I的参考方向与常规的相反，并且参考待处理的宏块的下方一行的宏块行，从而宏块行存储器311需要被设置为存储至少一个宏块行的全部系数数据。上下文计算单元312与上下文计算单元173和上下文计算单元183基本相同，并参考存储在宏块行存储器311中的宏块行以计算上下文。在计算分片2的上下文的情况中，上下文计算单元312参考处理对象的上方一行的宏块行，而在计算分片I的上下文的情况中，参考处理对象的下方一行的宏块行。也就是说，在计算分片2中的上下文的情况中，与常规情况相同，上下文计算单元·312通过参考待处理的宏块(curr)的左侧一个的宏块(mb_A)和上方一个的宏块(mb_B)计算上下文(上下文指数)。相反，在计算分片I中的上下文的情况中，上下文计算单元312通过参考待处理的宏块(curr)的左侧一个的宏块(mb-A)和下方一个的宏块(mb_B’ )计算上下文(上下文指数)。也就是说，在提供下方一个的宏块(mb-B’ )的点，上下文计算单元312读出存储在宏块行存储器311中的待处理的宏块(curr)和左侧一个的宏块(mb-A)，并计算上下文(上下文指数)。注意，在生成分片I中自底部第二行的宏块行作为处理对象(curr)的上下文时，上下文计算单元312还生成分片I的最底部宏块行的上下文。上下文计算单元312以标记的方式在存储单元152的与系数数据和宏块地址的头地址分开的区域中存储计算的上下文，以指示与系数数据和宏块地址的头地址的关系。分片I处理单元303的读出控制单元171从存储单元152读出系数数据和宏块地址的头地址以及需要的上下文。读出控制单元171将已经读出的上下文提供到算术编码单元 175。分片2处理单元304的读出控制单元181从存储单元152读出系数数据和宏块地址的头地址以及需要的上下文。读出控制单元181将已经读出的上下文提供到算术编码单元 185。[无损编码处理]首先，将参考图16的流程图描述在该情况中的无损编码处理的流程实例。该流程图对应于图6的流程图。在该情况中，以与图6中的步骤S131和步骤S132的每个处理相同的方法执行步骤S301和步骤S302的每个处理。在步骤S303，上下文处理单元301确定待处理的宏块行是否是分片1，在确定其为分片I的情况中，将处理前进到步骤S304。在步骤S304，上下文处理单元301参考下方一行的宏块行计算上下文。注意，如上所述生成分片I的最顶部宏块行和最底部宏块行的上下文。当已经生成上下文时，上下文处理单元301将处理前进到步骤S306。
另外，在在步骤S303中确定待处理的宏块行是分片2的情况中，上下文处理单元301将处理前进到步骤S305。在步骤S305，上下文处理单元301参考上方一行的宏块行计算上下文。注意，参考分片I的最底部宏块行生成分片2中的最顶部宏块行的上下文。当已经生成上下文时，上下文处理单元301将处理前进到步骤S306。在步骤S306，存储单元152存储在步骤S304或步骤S305中计算的上下文。以与图6中的步骤S133到步骤S136的每个处理相同的方法执行步骤S307到步骤S310的每个处理。[分片I编码处理]下面，将参考图17的流程图描述从图16的步骤S308中的处理开始的分片I解码处理的流程实例。注意，该流程图对应于图7的流程图。 该情况也以与图7基本相同的方法进行，但是由于已经生成上下文，所以省略图7中的步骤S152、步骤S156和步骤S158的每个处理，并且执行对应于步骤S151的步骤S331、对应于步骤S153的步骤S332、对应于步骤S154的步骤S333、对应于步骤S155的步骤S334、对应于步骤S157的步骤S335、对应于步骤S159的步骤S336以及对应于步骤S160的步骤S337的每个处理。然而，注意，在步骤S334中，与分片I中的上方一行的宏块行一起，读出控制单元171还从存储单元152读出对应的上下文。在步骤S336中，算术编码单元175使用在步骤S334读出的上下文以进行算术编码。[分片2编码处理]下面，将参考图18的流程图描述从图16的步骤S309中的处理开始的分片2解码处理的流程实例。注意，该流程图对应于图8的流程图。该情况也以与图8基本相同的方法进行，但是由于已经生成上下文，所以省略图8中的步骤S182、步骤S184、步骤S186和步骤S189的每个处理，并且执行对应于步骤S181的步骤S351、对应于步骤S183的步骤S352、对应于步骤S185的步骤S353、对应于步骤S186的步骤S354、对应于步骤S188的步骤S355、对应于步骤S190的步骤S356以及对应于步骤S191的步骤S357的每个处理。然而，注意，在步骤S354中，与分片2中的第一(最顶部)宏块行一起，读出控制单元181还从存储单元152读出对应的上下文。也就是说，还读出分片I的最后(最底部)宏块行的上下文。在步骤S353中，算术编码单元185使用在步骤S351读出的上下文以进行算术编码。同样，在步骤S354中，与分片2中的下方一行的宏块行一起，读出控制单元181还从存储单元152读出对应的上下文。在步骤S356中，算术编码单元185使用在步骤S354读出的上下文以进行算术编码。如上所述，通过在将系数数据存储到存储单元152中之前进行对上下文的计算，可以减轻在读出(分片I处理单元303和分片2处理单元304)之后的算术编码处理上的负荷。通常，算术编码处理相比于其之前和之后的其它处理的负荷更大，从而如上所述，通过在将系数数据存储到存储单元152之前预先计算上下文，可以分散负荷，并且可以实现成本的下降以及甚至更高的编码处理速度等。
[对概率表的复制]可以进一步改善算术编码的初始状态。通过AVC 标准,利用称为 cabac_init_idc 的参数、称为 slice_type 和 SliceQPy的参数初始化用于CABAC的概率表。与此相比，如图19所示，在对分片I的最底部宏块行的处理结束的点，将分片I处理单元153具有的概率表的内容复制到分片2处理单元154具有的概率表。分片2处理单元154利用分片I处理单元153已经使用的值作为初始值开始CABAC。从而，无损编码单元106可以以相比于根据标准的初始值更适于图像的概率值开始编码，并且可以改善编码效率。[分片I编码处理]·首先，将参考图20的流程图描述在该情况中的分片I编码处理的流程实例。图20所示的流程图对应于图7中的流程图。在步骤S401，算术编码单元175初始化概率表。以与图7中的步骤S151到步骤S154的每个处理相同的方法执行步骤S402到步骤S405的每个处理。在步骤S406,算术编码单兀175复制最底部宏块行的最后(最右)宏块的概率表，并将其提供到算术编码单元185。以与图7中的步骤S155到步骤S160的每个处理相同的方法执行步骤S407到步骤S412的每个处理。[分片2编码处理]首先，将参考图21的流程图描述在该情况中的分片2编码处理的流程实例。图21所示的流程图对应于图8中的流程图。以与图8中的步骤S181和步骤S182的每个处理相同的方法执行步骤S431和步骤S432的每个处理。在步骤S433，算术编码单元185获得分片I的概率表的复制。以与图8中的步骤S183和步骤S184的每个处理相同的方法执行步骤S434和步骤S435的每个处理。在步骤S436，算术编码单元185利用以分片I的概率表的复制作为初始值的上下文进行算术编码。以与图8中的步骤S186到步骤S191的每个处理相同的方法执行步骤S437到步骤S442的每个处理。注意，还通过图像解码装置200，以相同的方式将概率表的复制用作用于解码的初始值。因此，图像编码装置100向图像解码装置200提供通过例如加到编码数据等指示是否已经初始化或复制概率表的信息。当获得使得将使用概率表的复制作为初始值的信息时，图像解码装置200的无损解码单元202在分片I处理单元252的算术解码单元261已经结束对分片I的最底部宏块行的处理的点复制CABAC概率表的内容，并且分片2处理单元253的算术解码单元271利用该复制开始算术解码处理。由于这样的设置，无损解码单元202可以使用与上述编码情况相同的概率表，并且可以正确地解码编码数据。[多划分]尽管在上文中描述了将图像划分为两个，然而划分数可以不是两个。例如，如图22所示，可以将图像划分为分片I到分片4的四个熵分片。
在这里如图22中的实例所示将图像划分为四个分片的情况中，以与上述划分为两个分片的情况相同的方式进行对分片I和分片2的编码。另外，以与分片I相同的方式对分片3编码，并以与分片2相同的方式对分片4编码。也就是说，以从底部宏块行到顶部宏块行的顺序进行对分片I和分片3的编码处理。另外，在对分片I和分片3的编码处理中，参考作为处理对象的宏块的左侧一个的宏块和下方一个的宏块作为周边宏块。另一方面，以与常规相同的方式，以从顶部宏块行到底部宏块行的顺序进行对分片2和分片4的编码处理。另外，在对分片2和分片4的编码处理中，参考作为处理对象的宏块的左侧一个的宏块和上方一个的宏块作为周边宏块。以与当将分片I的最底部宏块行的系数数据存储到存储单元152中时开始对分片
2的编码处理相同的方式，当将分片3的最底部宏块行的系数数据存储到存储单元152中时开始对分片4的编码处理。另外，以与在编码处理分片2的最顶部宏块行中参考分片I的最底部宏块行相同的方式，在分片4的最顶部宏块行的编码处理中，参考分片3的最底部宏块行作为待处理的宏块的上方一个的宏块。[无损编码单元的配置]在以该方式将图像划分为四个分片的情况中，无损编码单元106具有分片3处理单元503，其与图3中的分片I处理单元153相同；以及分片4处理单元504，其与分片2处理单元154相同。另外，代替将图像划分为两个分片的控制单元151，无损编码单元106具有将图像划分为四个分片的控制单元501。控制单元501具有宏块检测单元161和分片检测单元512。分片检测单元512控制分片I处理单元153、分片2处理单元154、分片3处理单元503和分片4处理单元504，以将图像划分为四个分片，并使得每个并行进行编码处理。除了将图像划分为四个分片之外，以与划分为两个分片相同的方式进行每个处理。也就是说，以与分片I相同的方式对分片3编码，并以与分片2相同的方式对分片4编码。通过这样增加划分数目，并行数目增大，从而提高了处理量，并且无损编码单元106可以以更高的速度进行无损编码处理。此时，以与划分为两个分片相同的方式进行编码处理，从而无损编码单元106可以实现高速图像编码，同时抑制编码效率的下降。也就是说，图像编码装置100的无损编码单元106将待编码的图像划分为垂直排列的多个区域。对于自顶部偶数编号的区域，无损编码单元106与常规相同地以从顶部宏块行到底部的顺序进行编码，并参考在待处理的宏块的左侧一个的宏块和上方一个的宏块作为周边宏块。相反地，对于自顶部奇数编号的区域，无损编码单元106与常规相反地以从底部宏块行到顶部的顺序进行编码，并参考在待处理的宏块的左侧一个的宏块和下方一个的宏块作为周边宏块。另外，在对自顶部奇数编号的区域的最底部宏块行的编码已经结束的点，无损编码单元106开始对下方一个(自顶部偶数编号)的区域的编码处理。
另外，在此时，无损编码单元106参考自顶部奇数编号的区域中的最底部宏块行，并进行对于下方一个(自顶部偶数编号)的最顶部宏块行的编码处理。[无损编码单元的配置]图24示出在将图像划分为四个分片的情况中图像解码装置200的无损解码单元202的配置实例。如图24所示，在该情况中的无损解码单元202具有相比于图10中的情况代替多路分解器251的多路分解器551，其将编码数据划分为用于四个分片，还具有分片3处理单元552和分片4处理单元553。分片3处理单元552是用于解码分片3的编码数据的处理单元，具有与分片I处理单元252相同的配置，并进行相同的处理。对于分片3，以与分片I相同的方法进行编码，从而分片3处理单元552通过以与分片I处理单元252相同的方法进行解码可以正确地解码分片3的编码数据。·分片4处理单元553是用于解码分片4的编码数据的处理单元，具有与分片2处理单元253相同的配置，并进行相同的处理。对于分片4，以与分片2相同的方法进行编码，从而分片4处理单元553通过以与分片2处理单元253相同的方法进行解码可以正确地解码分片4的编码数据。首先，开始通过分片I处理单元252的对分片I的编码数据的解码处理和通过分片3处理单元552的对分片3的编码数据的解码处理。在等待分片I的最底部宏块行(被参考为周边宏块)的解码处理结果之后，开始通过分片2处理单元253的对分片2的最顶部宏块行的解码处理。同样地，在等待分片3的最底部宏块行(被参考为周边宏块)的解码处理结果之后，开始通过分片4处理单元553的对分片4的最顶部宏块行的解码处理。也就是说，图像解码装置200的无损解码单元202将对应于将要解码的编码数据的编码前的图像划分为垂直排列的多个区域。无损解码单元202然后与常规相同地以从顶部宏块行到底部的顺序对与自顶部偶数编号的区域对应的编码数据进行解码，并参考在待处理的宏块的左侧一个的宏块和上方一个的宏块作为周边宏块。另一方面，无损解码单元202与常规相反地以从底部宏块行到顶部的顺序对与自顶部奇数编号的区域对应的编码数据进行解码，并参考在待处理的宏块的左侧一个的宏块和下方一个的宏块作为周边宏块。另外，在对与自顶部奇数编号的区域的最底部宏块行对应的编码数据的解码已经结束的点，无损解码单元202开始对下方一个(自顶部偶数编号)的区域的编码数据的解码处理。另外，在此时，无损解码单元202参考自顶部奇数编号的区域中的最底部宏块行，并进行对于与下方一个(自顶部的偶数编号)的区域的最顶部宏块行对应的编码数据的解码处理。注意，可以这样设置，其中图像编码装置100和图像解码装置200每个具有将开始的多个分片处理单元，并且与熵分片的数目相同的数目的分片处理单元被操作。也就是说，在图像增多、序列增多、内容增多等的情况中，可以改变熵分片的数目。在该情况中，图像编码装置100向图像解码装置200通知用于编码处理的熵分片的数目。图像解码装置200基于该信息进行解码处理，从而可以正确地对图像编码装置100已经生成的编码数据进行解码。[宏块]尽管宏块的尺寸可以为16X16或更小，该尺寸可以大于16X16。该技术可以用于例如如图25所示的各个尺寸的宏块。例如，该技术不仅可以应用于诸如常规16X16像素的宏块，还可以应用于诸如32X32的扩展宏块(extendedmacroblock)。在图25中，在上层按顺序从左示出了由32X32像素构成的宏块，其被划分为32 X 32像素、32 X 16像素、16 X 32像素以及16 X 16像素的块(部分)。另外，在中间层按顺序从左示出了由16 X 16像素构成的块，其被划分为16 X 16像素、16 X 8像素、8 X 16像素以及8 X 8像素的块。另外，在下层按顺序从左示出了由8 X 8像素构成的块，其被划分为8 X 8像素、8X4像素、4X8像素以及4X4像素的块。 换句话说，32X32像素的宏块可以利用在上层中示出的32 X 32像素、32 X 16像素、16 X 32像素以及16X16像素的块处理。在上层右侧示出的16X16像素的宏块可以以与H. 264/AVC格式相同的方式利用在中间层中示出的16X16像素、16X8像素、8X16像素以及8X8像素的块处理。在中间层右侧示出的8X8像素的块可以以与H. 264/AVC格式相同的方式利用在下层中示出的8X8像素、8X4像素、4X8像素以及4X4像素的块处理。可以将这些块分类为下面的三个分级级别。即，将图25中的上层中示出的32X 32像素、32X16像素和16X32像素的块表示为第一分级级别。将示出为上层右侧的16X16像素的块，以及中间层中所示的16X16像素、16X8像素以及8X16像素的块表示为第二分级级别。将示出为中间层右侧的8X8像素的块，以及下层中所示的8X8像素、8X4像素以及4X8像素的块表示为第三分级级别。通过使用这样的分级结构，关于16X16像素或更小的块，可以将更大的块定义为其超集(superset)，同时保持与H. 264/AVC格式的兼容性。〈4.第四实施例〉[个人计算机]上述系列处理可以通过硬件执行，也可以通过软件执行。在该情况中，可以制造诸如图26所示的个人计算机的配置。在图26中，个人计算机600的CPU (中央处理单元)601执行对下面的存储在ROM(只读存储器)602中的程序或从存储单元613加载到RAM (随机存取存储器)的程序的各种处理。RAM603还适当地存储CPU601执行各种处理所需的数据等。CPU60UR0M602和RAM603通过总线604彼此连接。该总线604还连接到输入/输出接口 610。以下部件被连接到输入/输出接口 610 :输入单元611，其由键盘、鼠标等构成；输出单元612，其由诸如CRT (阴极射线管)或IXD (液晶显示器)等的显示器、扬声器等构成；存储单元613，其由硬盘等构成；以及通信单元614，其由调制解调器等构成。通信单元614经包括互联网的网络进行通信处理。根据需要，还将驱动器615连接到输入/输出接口 610，在所述驱动器615上适当地安装可移动介质621，诸如磁盘、光盘、磁光盘、半导体存储器等，并根据需要将从其读出的计算机程序安装到存储单元613中。 在通过软件执行上述系列处理的情况中，从网络或记录介质安装构成软件的程序。 如图26所示，例如，该记录介质不仅由可移动介质621构成(包括磁盘(包括软盘)、光盘(包括⑶-ROM (压缩盘-只读存储器)、DVD (数字通用盘)、磁光盘(包括MD (迷你盘))、或半导体存储器等)，其中记录且分配程序以与装置主单元分离地将程序分配给用户，所述记录介质还可以由ROM 602、存储单元613中包括的硬盘等构成，其中以预先将程序内置到装置主单元中的状态将程序记录并分配给用户。注意，计算机执行的程序可以是这样的程序，其中以根据本说明书所述的顺序的时间序列进行处理；或者可以是这样的程序，其中并行地或在需要的定时(诸如当已经进行调用时)进行处理。另外，在本说明书中，描述被记录在记录介质中的程序的步骤当然包括以根据所述顺序的时间序列进行的处理，而且还包括并行或单独执行的处理，而不一定以时间序列进行处理。另外，在本说明书中，术语系统代表由多个装置构成的装置整体。另外，在上文中描述的作为一个装置(或处理单元)的配置可以被分割和配置为多个装置(或处理单元)。相反地，在上文中描述的作为多个装置(或处理单元)的配置可以被集成和配置为单个装置(或处理单元)。另外，当然，可以将除了上述配置以外的配置加到装置(或处理单元)的配置。另外，可以将特定装置(或处理单元)的配置的部分包括到另一装置(或另一处理单元)的配置中，只要整体系统的配置和操作基本相同。也就是说，本发明的实施例不限于上述实施例，在不偏离本发明主旨的情况下可以进行各种修改。例如，可以将上述图像编码装置100和图像解码装置200应用到各种电子装置中。下面为对其实例的描述。<5.第五实施例>[电视接收器]图27为示出使用图像解码装置200的电视接收器的主要配置实例的框图。图27所示的电视接收器1000包括地面调谐器1013、视频解码器1015、视频信号处理电路1018、图形生成电路1019、面板驱动电路1020以及显示面板1021。地面调谐器1013经天线接收地面模拟广播的广播波信号，解调制，获得视频信号，并且将其提供到视频解码器1015。视频解码器1015对从地面调谐器1013提供的视频信号进行解码处理，并将获得的数字分量信号提供到视频信号处理电路1018。视频信号处理电路1018对从视频解码器1015提供的视频数据进行预定处理，诸如噪声移除等，并将获得的视频数据提供到图形生成电路1019。图形生成电路1019生成将在显示面板1021上显示的程序的视频数据、或通过基于将经网络提供的应用处理获得的图像数据等，并将生成的视频数据或图像数据提供到面板驱动电路1020。另外，图形生成电路1019还进行这样的处理，诸如适当地将通过生成视频数据(图形)并将其叠加到程序的视频数据上获得的视频数据提供到面板驱动电路1020，所述生成的视频数据用于用户显示用于选择项目等的画面。
面板驱动电路1020基于从图形生成电路1019提供的数据驱动显示面板1021，以显示程序的视频或者显示面板1021上的上述各个画面。显示面板1021由IXD (液晶显示器)等构成，并根据通过面板驱动电路1020的控制显示程序等的视频。另外，电视接收器1000还包括音频A/D (模拟/数字)转换电路1014、音频信号处理电路1022、回波消除/音频合成电路1023、音频放大器电路1024以及扬声器1025。地面调谐器1013解调接收的广播波信号，从而不仅获得视频信号还获得音频信号。地面调谐器1013将获得的音频信号提供到音频A/D转换电路1014。音频A/D转换电路1014对从地面调谐器1013提供的音频信号进行A/D转换处理，并将获得的数字音频信号提供到音频信号处理电路1022。音频信号处理电路1022对从音频A/D转换电路1014提供的音频数据进行预定处 理，诸如噪声移除等，并将获得音频数据提供到回波消除/音频合成电路1023。回波消除/音频合成电路1023将从音频信号处理电路1022提供的音频数据提供到音频放大器电路1024。音频放大器电路1024对从回波消除/音频合成电路1023提供的音频数据进行D/A转换处理，进行放大器处理以调节到预定音量，然后从扬声器1025输出音频。另外，电视接收器1000还包括数字调谐器1016和MPEG解码器1017。数字调谐器1016经天线接收数字广播(地面数字广播、BS (广播卫星)/CS (通信卫星)数字广播)的广播波信号，解调以获得MPEG-TS (移动图像专家组-传输流)，并将其提供到MPEG解码器1017。MPEG解码器1017对施加到从数字调谐器1016提供的MPEG-TS的扰频进行解扰，并提取包括用作播放对象(观察对象)的程序的数据的流。MPEG解码器1017解码构成提取的流的音频包，将获得的音频数据提供到音频信号处理电路1022，并且还解码构成该流的视频包，并将获得的视频数据提供到视频信号处理电路1018。另外，MPEG解码器1017经未示出的路径将从MPEG-TS提取的EPG (电子节目指南)数据提供到CPU 1032。电视接收器1000使用上述图像解码装置200作为MPEG解码器1017用于以该方式解码视频包。注意，已经通过图像编码装置100对从广播站等传输的MPEG-TS进行编码。以与图像解码装置200相同的方式，MPEG解码器1017对于每个熵分片并行地对从图像编码装置100提供的编码数据进行解码，并生成解码图像数据。此时，以与图像解码装置200相同的方式，MPEG解码器1017将对应于待解码的编码数据的在编码前的图像划分为垂直排列的多个(偶数个)区域。MPEG解码器1017然后参考作为周边宏块的待处理的宏块的左侧一个的宏块和上方一个的宏块，对于对应于自顶部偶数编号的区域的编码数据，以从顶部宏块行到底部的顺序，以常规方式进行解码。相反地，MPEG解码器1017然后参考作为周边宏块的待处理的宏块的左侧一个的宏块和下方一个的宏块，对于对应于自顶部奇数编号的区域的编码数据，以从底部宏块行到顶部的顺序，以与常规方式相反的方式进行解码。另外，在对与自顶部奇数编号的区域的最底部宏块行对应的编码数据的解码结束的点，MPEG解码器1017开始对其下方一个(自顶部偶数编号)的区域的编码数据的解码处理。
另外，在此时，MPEG解码器1017参考自顶部偶数编号的区域中的最底部宏块行，并进行对于对应于其下方一个(自顶部偶数编号)的最顶部宏块行的编码数据的解码处理。从而，MPEG解码器1017可以实现高速图像编码，同时抑制编码效率的下降。通过与从视频解码器1015提供视频数据的情况相同的方式，对于从MPEG解码器1017提供的视频数据，在视频信号处理电路1018进行预定处理，在图形生成电路1019适当地叠加在生成的视频数据等上，经面板驱动电路1020提供到显示面板1021，并在所述显示面板1021上显示所述视频数据的图像。通过与从音频A/D转换电路1014提供的音频数据的情况相同的方式，对于从MPEG解码器1017提供的音频数据，在音频信号处理电路1022进行预定处理，经回波消除/音频合成电路1023提供到音频放大器电路1024，并进行D/A转换处理和放大器处理。从而，从扬声器1025输出被调节为预定音量的音频。
·
另外，电视接收器1000还包括传声器1026和A/D转换电路1027。A/D转换电路1027接收通过传声器1026采集的提供到电视接收器1000的用作音
频会话的用户的音频信号，对接收的音频信号进行A/D转换处理，并将获得的数字音频数据提供到回波消除/音频合成电路1023。在已经从A/D转换电路1027提供电视接收器1000的用户(用户A)的音频数据的情况中，回波消除/音频合成电路1023以用户(用户A)的音频数据作为对象进行回波消除，并经音频放大器电路1024从扬声器输出通过合成用户A的音频数据和其它音频数据等获得的音频数据。另外，电视接收器1000还包括音频编译码器1028、内部总线1029、SDRAM (合成动态随机存取存储器)1030、闪存1031、CPU1032、USB (通用串行总线)I/F 1033以及网络I/F 1034。A/D转换电路1027接收通过传声器1026采集的提供到电视接收器1000的用作音
频会话的用户的音频信号，对接收的音频信号进行A/D转换处理，并将获得的数字音频数据提供到音频编译码器1028。音频编译码器1028将从A/D转换电路1027提供的音频数据转换为预定格式的数据以用于经过网络传输，并经内部总线1029提供到网络I/F 1034。网络I/F 1034经安装在网络终端1035上的缆线连接到网络。网络I/F 1034将从音频编译码器1028提供的音频数据传输到另一装置，该另一装置例如连接到其网络。另夕卜，网络I/F 1034经网络终端1035接收从经网络与其连接的另一装置发送的音频数据，并经例如内部总线1029将其提供到音频编译码器1028。音频编译码器1028将从网络I/F 1034提供的音频数据转换为预定格式的数据，并将其提供到回波消除/音频合成电路1023。回波消除/音频合成电路1023以从音频编译码器1028提供的音频数据作为对象进行回波消除，并经音频放大器电路1024从扬声器1025输出通过合成音频数据与其它音频数据等获得的音频的数据。SDRAM1030存储用于供CPU 1032进行处理所需的各种数据。闪存1031存储将由CPU 1032执行的程序。通过CPU 1032在诸如当启动电视接收器1000等时的预定定时读出在闪存1031中存储的程序。在闪存1031中还存储经数字广播获得的EPG数据、经网络从预定服务器获得的数据等等。例如，在闪存1031中存储通过CPU 1032的控制经网络从预定服务器获得的内容数据。例如，闪存1031通过CPU 1032的控制经内部总线1029将其MPEG-TS提供到MPEG解码器1017。MPEG解码器1017以与从数字调谐器1016提供MPEG-TS的情况相同的方式处理其MPEG-TS0这样，电视接收器1000经网络接收由视频、音频等构成的内容数据，利用MPEG解码器1017解码，从而可以显示其视频，且输出其音频。另外，电视接收器1000还包括光接收单元1037，用于接收从远程控制器1051传输
的红外信号。光接收单元1037接收来自远程控制器1051的红外线，并将通过解调制获得的表·示用户的操作的内容的控制码输出给CPU 1032。CPU 1032根据从光接收单元1037提供的控制码等执行存储在闪存1031中的程序，以控制电视接收器1000的整体操作。CPU 1032与电视接收器1000的各单元通过未示出的路径连接。USB I/F 1033对于电视接收器1000的外部装置发送/接收数据，所述USB I/F1033经安装在USB终端1036上的USB缆线连接。网络I/F1034经安装在网络终端1035上的缆线连接到网络，还对于连接到网络的各个装置进行对除音频数据以外的数据的发送/接收。电视接收器1000通过使用图像解码装置200作为MPEG解码器1017，可以高速地对编码数据正确地解码，同时抑制编码效率的下降。从而，电视接收器1000可以进一步改善对经天线接收的广播信号或经网络获得的内容数据的编码效率，并且可以实现较低成本的实时处理。<6.第六实施例>[蜂窝电话]图28为示出使用图像编码装置100和图像解码装置200的蜂窝电话的主要配置实例的框图。图28所示的蜂窝电话1100包括被配置为整体控制各单元的主控制单元1150、供电电路单元1151、操作输入控制单元1152、图像编码器1153、摄像机I/F单元1154、IXD控制单元1155、图像解码器1156、多路复用/分离单元1157、记录/播放单元1162、调制/解调电路单元1158以及音频编译码器1159。这些单元通过总线1160相互连接。另外，蜂窝电话1100包括操作键1119、(XD (电荷耦合装置)摄像机116、液晶显示器1118、存储单元1123、发送/接收电路单元1163、天线1114、传声器(MIT)1121以及扬声器 1117。当呼叫结束，并且通过用户的操作接通电源键，供电电路单元1151在通过从电池组对各单元供电的操作状态中启动蜂窝电话1100。蜂窝电话1100基于由CPU、ROM、RAM等构成的主控制单元1150的控制，以诸如音频呼叫模式、数据通信模式等各种模式，进行各种操作，诸如音频信号的发送/接收、电子邮件和图像数据的发送/接收、图像拍摄、数据记录等。例如，在音频呼叫模式中，蜂窝电话1100通过音频编译码器1159将通过传声器(麦克风)1121采集的音频信号转换为数字音频数据，在调制/解调电路单元1158对其进行谱扩展，并在发送/接收电路单元1163对其进行数字/模拟转换处理和频率转换处理。蜂窝电话1100经天线1114将通过对发送用信号的转换处理获得的发送用信号发送到未示出的基站。经公用电话网将被发送到基站的发送用信号(音频信号)提供到另一方的蜂窝电话。另外，例如，在音频呼叫模式中，蜂窝电话1100在发送/接收电路单元1163放大在天线1114接收的接收信号，进一步进行频率转换处理和模拟/数字转换处理，在调制/解调电路单元1158进行光谱反向扩展处理，并通过音频编译码器1159转换为模拟音频信号。蜂窝电话1100从扬声器1117输出其转换的和获得的模拟音频信号。另外，例如，在以数据通信模式传输电子邮件的情况中，蜂窝电话1100接受通过在操作输入控制单元1152操作操作键1119输入的电子邮件的文本数据。蜂窝电话1100在主控制单元1150处理其文本数据，并经IXD控制单元1155在液晶显示器1118上显示为图像。 另外，蜂窝电话1100基于通过操作输入控制单元1152接受的文本数据、用户指令等，在主控制单元1150生成电子邮件数据。蜂窝电话1100在调制/解调电路单元1158对其电子邮件数据进行谱扩展处理，并在发送/接收电路单元1163进行数字/模拟转换处理和频率转换处理。蜂窝电话1100经天线1114将通过对发送用信号的转换处理获得的发送用信号发送到未示出的基站。经网络、邮件服务器等将发送到基站的发送用信号(电子邮件)提供到预定目标。 另外，例如，在以数据通信模式接收电子邮件的情况中，蜂窝电话1100通过发送/接收电路单元1163经天线1114接收从基站发送的信号，放大并进一步进行频率转换处理和模拟/数字转换处理。蜂窝电话1100在调制/解调电路单元1158对其接收信号进行谱反向扩展处理以恢复初始电子邮件数据。蜂窝电话1100经LCD控制单元1155在液晶显示器1118上显示恢复的电子邮件数据。注意，蜂窝电话1100可以经记录/播放单元1162在存储单元1123中记录(存储)接收的电子邮件数据。该存储单元1123是可选的可重写记录介质。存储单元1123可以例如为半导体存储器，诸如RAM、内置闪存等，可以为硬盘，或者可以为可移动介质，诸如磁盘、磁光盘、光盘、USB存储器、存储卡等。当然，存储单元1123可以为除此之外的其它类型。另外，例如，在以数据通信模式传输图像数据的情况中，蜂窝电话1100通过在CXD摄像机1116处成像而生成图像数据。CXD摄像机1116包括(XD，其用作诸如透镜、光圈等的光学装置，还用作光电转换装置，其对被摄体成像，将接收的光强转换为电信号，以及生成被摄体的图像的图像数据。CXD摄像机1116经摄像机I/F单元1154在图像编码器1153进行对图像数据的编码，并转换为编码的图像数据。蜂窝电话1100使用上述图像编码装置100作为用于进行该处理的图像编码器1153。以与图像解码装置100相同的方式，图像编码器1153将待编码的图像划分为在垂直排列的多个(偶数个)区域。图像编码器1153然后参考作为周边宏块的待处理的宏块的左侧一个的宏块和上方一个的宏块，对应于自顶部偶数编号的区域，以从顶部宏块行到底部的顺序，以常规方式进行编码。
相反地，图像编码器1153然后参考作为周边宏块的待处理的宏块的左侧一个的宏块和下方一个的宏块，对于自顶部奇数编号的区域，以从底部宏块行到顶部的顺序，以与常规方式相反的方式进行编码。另外，在对与自顶部奇数编号的区域的最底部宏块行的编码结束的点，图像编码器1153开始对其下方一个(自顶部偶数编号)的区域的编码数据的解码处理。另外，在此时，图像编码器1153参考自顶部偶数编号的区域中的最底部宏块行，并进行对于其下方一个(自顶部偶数编号)的最顶部宏块行的编码处理。从而，图像编码器1153可以实现高速图像编码同时抑制编码效率的下降。注意，与此同时，蜂窝电话1100在音频编译码器1159中在通过CXD摄像机1116 拍摄时将在传声器(麦克风)1121采集的音频从模拟的转换为数字的，并进一步对其编码。蜂窝电话1100利用预定方法在多路复用/分离单元1157对从图像编码器1153提供的编码图像数据和从音频编译码器1159提供的数字音频数据进行多路复用。蜂窝电话1100在调制/解调电路单元1158对作为其结果获得的多路复用数据进行谱扩展处理，并在发送/接收电路单元1163进行数字/模拟转换处理和频率转换处理。蜂窝电话1100经天线1114将通过对其发送用信号的转换处理获得的发送用信号发送到未示出的基站。经网络等将发送到基站的发送用信号(图像数据)提供到另一方。注意，在未传输图像数据的情况中，代替图像编码器1153，蜂窝电话1100还可以经IXD控制单元1155在液晶显示器1118上显示在CXD摄像机1116生成的图像数据。另外，例如，在以数据通信模式接收链接到简单的网站等的移动图像文件的数据的情况中，蜂窝电话1100经天线1114在发送/接收电路单元1163接收从基站发送的信号，放大，并进一步进行频率转换处理和模拟/数字转换处理。蜂窝电话1100在调制/解调电路单元1158对接收信号进行谱反向扩展处理以恢复初始多路复用数据。蜂窝电话1100在多路复用/分离单元1157将其多路复用数据分离为编码图像数据和音频数据。蜂窝电话1100在图像解码器1156解码编码的图像数据，从而生成播放运动图像数据，并经IXD控制单元1155将其在液晶显示器1118上显示。从而，例如，在液晶显示器1118上显示与简单网站链接的运动图像文件中包括的运动图像数据。蜂窝电话1100使用上述图像解码装置200作为用于进行该处理的图像解码器1156。也就是说，以与图像解码装置200相同的方式，图像解码器1156对于每个熵分片并行地对从图像编码装置100提供的编码数据进行解码，并生成解码图像数据。此时，以与图像解码装置200相同的方式，对应于将要解码的编码数据，图像解码器1156将编码前的图像划分为垂直排列的多个(偶数个)区域。图像解码器1156然后参考作为周边宏块的待处理的宏块的左侧一个的宏块和上方一个的宏块，对于对应于自顶部偶数编号的区域的编码数据，以从顶部宏块行到底部的顺序，以常规方式进行解码。相反地，图像解码器1156然后参考作为周边宏块的待处理的宏块的左侧一个的宏块和下方一个的宏块，对于对应于自顶部奇数编号的区域的编码数据，以从底部宏块行到顶部的顺序，以与常规方式相反的方式进行解码。另外，在对与自顶部奇数编号的区域的最底部宏块行对应的编码数据的解码结束的点，图像解码器1156开始对其下方一个(自顶部偶数编号)的区域的编码数据的解码处理。
另外，在此时，图像解码器1156参考自顶部的奇数编号的区域中的最底部宏块行，以进行对于对应于其下方一个(自顶部偶数编号)的最顶部宏块行的编码数据的解码处理。从而，图像解码器1156可以实现高速图像编码同时抑制编码效率的下降。此时，同时地，蜂窝电话1100在音频编译码器1159将数字音频数据转换为模拟音频信号，并从扬声器1117将其输出。从而，例如，播放与简单网站链接的运动图像文件中包括的音频数据。注意，以与电子邮件情况相同的方式，蜂窝电话1100可经记录/播放单元1162在存储单元1123中记录(存储)与简单网站等链接的接收数据。另外，蜂窝电话1100在主控制单元1150分析通过CXD摄像机1116获得的成像二 维码，从而可以获得在二维码中记录的信息。另外，蜂窝电话1100可以利用红外射线在红外通信单元1181处与外部装置通信。蜂窝电话1100使用图像编码装置100作为图像编码器1153，从而例如在编码和传输在CCD摄像机1116生成的图像数据时可以抑制由于高速图像编码导致的编码效率的下降，从而以较低成本实现实时处理。另外，蜂窝电话1100使用图像解码装置200作为图像解码器1156，从而例如可以正确地解码与简单网站等链接的运动图像文件的数据(在抑制编码效率的下降的同时高速编码的编码数据)，从而以较低成本实现了实时处理。注意，到此已经描述了其中蜂窝电话1100使用CXD摄像机1116，但是蜂窝电话1100可以使用一种利用CMOS (互补金属氧化物半导体)的图像传感器(CMOS图像传感器)代替该CCD摄像机1116。也在该情况中，蜂窝电话1100可以对被摄体成像，并以与使用CCD摄像机1116的情况相同的方式生成被摄体的图像的图像数据。另外，到此已经关于蜂窝电话1100进行了描述，但是图像编码装置100和图像解码装置200可以以与蜂窝电话1100的情况相同的方式应用于任何类型的装置，只要该装置具有与蜂窝电话1100相同的成像功能和通信功能，例如，所述装置诸如为PDA(个人数字助理)、智能电话、UMPC (超移动个人计算机)、网络书、笔记本尺寸个人计算机等。<7.第七实施例>[硬盘记录器]图29为示出应用本发明的使用图像编码装置100和图像解码装置200的硬盘记录器的主要配置实例的框图。图29所示的硬盘记录器(HDD记录器)1200是这样的装置，其在内置硬盘中存储在从卫星传输且通过调谐器接收的或通过地面天线等接收的广播波信号(电视信号)中包括的广播程序的音频数据和视频数据，并在根据用户指令的定时将存储的数据提供给用户。硬盘记录器1200可以从广播波信号提取音频数据和视频数据，适当地对其解码，以及存储在例如内置硬盘中。另外，硬盘记录器1200还可以经网络从另一个装置获得音频数据和视频数据，适当地对其解码，以及存储在例如内置硬盘中。另外，例如，硬盘记录器1200可以对记录在内置硬盘中的音频数据和视频数据解码，将其提供到监视器1260，在监视器1260的屏幕上显示其图像，以及从监视器1260的扬声器输出其音频。另外，例如，硬盘记录器1200可以对从通过调谐器获得的广播信号提取的音频数据和视频数据、或者经网络从另一个装置获得的音频数据和视频数据解码，将其提供到监视器1260，在监视器1260的屏幕上显示其图像，以及从监视器1260的扬声器输出
其音频。当然，可以进行除此之外的其它操作。如图29所示，硬盘记录器1200包括接收单元1221、解调单元1222、多路分解器1223、音频解码器1224、视频解码器1225以及记录器控制单元1226。硬盘记录器1200还包括EPG数据存储器1227、程序存储器1228、工作存储器1229、显示转换器1230、OSD (屏幕上显示)控制单元1231、显示控制单元1232、记录/播放单元1233、D/A转换器1234以及通信单元1235。另外，显示转换器1230包括视频编码器1241。记录/播放单元1233包括编码器1251和解码器1252。·接收单元1221从远程控制器(未示出)接收红外信号，转换为电信号，并输出到记录器控制单元1226。记录器控制单元1226由例如微处理器等构成，并根据存储在程序存储器1228中的程序执行各种处理。此时，记录器控制单元1226根据需要使用工作存储器1229。连接到网络的通信单元1235经网络进行与另一个装置的通信处理。例如，通过记录器控制单元1226控制通信单元1235以与调谐器(未示出)通信，并主要向通信器输出信道选择控制信号。解调单元1222对从调谐器提供的信号解调，并输出到多路分解器1223。多路分解器1223将从解调单元1222提供的数据分离为音频数据、视频数据和EPG数据，并分别输出到音频解码器1224、视频解码器1225和记录器控制单元1226。音频解码器1224对输入音频数据进行解码，并输出到记录/播放单元1233。音频解码器1225对输入视频数据进行解码，并输出到显示转换器1230。记录器控制单元1226将输入EPG数据提供到EPG数据存储器1227用于存储。显示转换器1230利用视频编码器1241将从视频解码器1225或记录器控制单元1226提供的视频数据编码为例如符合NTSC (国家电视标准委员会)格式的视频数据，并输出到记录/播放单元1233。另外，显示转换器1230将从视频解码器1225或记录器控制单元1226提供的视频数据的画面的尺寸转换为对应于监视器1260的尺寸的尺寸，利用视频编码器1241转换为符合NTSC格式的视频数据，转换为模拟信号，以及输出到显示控制单元1232。显示控制单元1232在记录器控制单元1226的控制下将从OSD (屏幕上显示)控制单元1231输出的OSD信号叠加到从显示转换器1230输入的视频信号上，并输出到监视器1260的显不器以用于显不。另外，从音频解码器1224输出的音频数据已经利用D/A转换器1234被转换为模拟信号，并提供到监视器1260。监视器1260从内置扬声器输出该音频信号。记录/播放单元1233包括作为记录介质的硬盘，其中记录视频数据、音频数据等。记录/播放单元1233例如通过编码器1251对从音频解码器1224提供的音频数据进行编码。另外，记录/播放单元1233通过编码器1251对从显示转换器1230的视频编码器1241提供的视频数据进行编码。记录/播放单元1233利用多路复用器合成其音频数据的编码数据与其视频数据的编码数据。记录/播放单元1233通过信号编码放大合成的数据，并经记录头将其数据写入到硬盘中。记录/播放单元1233经播放头播放在硬盘中记录的数据，放大，并利用多路分解器分离为音频数据和视频数据。记录/播放单元1233通过解码器1252对音频数据和视频数据进行解码。记录/播放单元1233将解码的音频数据从数字的转换为模拟的，并输出到监视器1260的扬声器。另外，记录/播放单元1233将解码的视频数据从数字的转换为模拟的，并输出到监视器1260的显示器。记录器控制单元1226基于通过接收单元1221从远程控制器接收的红外信号指示的用户指令从EPG数据存储器1227读出最新EPG数据，并将其提供到OSD控制单元1231。OSD控制单元1231生成对应于输入EPG数据的图像数据，并输出到显示控制单元1232。显示控制单元1232将从OSD控制单元1231输入的视频数据输出到监视器1260的显示器用于显示。从而，在监视器1260的显示器上显示EPG (电子节目指南)。 另外，硬盘记录器1200可以经诸如互联网等的网络获得从另一个装置提供的各种数据，诸如视频数据、音频数据、EPG数据等。通过记录器控制单元1226控制通信单元1235以经网络获得从另一个装置传输的诸如视频数据、音频数据、EPG数据等的编码数据，并将其提供到记录器控制单元1226。记录器控制单元1226将获得的音频数据和视频数据的编码数据提供到记录/播放单元1233，并存储到例如硬盘中。此时，记录器控制单元1226和记录/播放单元1233可以根据需要进行诸如再编码等的处理。另外，记录器控制单元1226对获得的视频数据和音频数据的编码数据进行解码，并将获得的视频数据提供到显示转换器1230。显示转换器1230以与从视频解码器1225提供的视频数据相同的方式处理从记录器控制单元1226提供的视频数据，经显示控制单元1232提供到监视器1260用于显示其图像。可选地，可以进行这样的配置，其中根据该图像显示器，记录器控制单元1226经D/A转换器1234将解码的音频数据提供到监视器1260，并从扬声器输出其音频。另外，记录器控制单元1226对获得的EPG数据的编码数据进行解码，并将解码的EPG数据提供到EPG数据存储器1227。由此配置的硬盘记录器1200使用图像解码装置200作为视频解码器1225、解码器1252和容纳在记录器控制单元1226中的解码器。以与图像解码装置200相同的方式，视频解码器1225、解码器1252和容纳在记录器控制单元1226中的解码器对于每个熵分片并行地对从图像编码装置100提供的编码数据进行解码，并生成解码图像数据。此时，以与图像解码装置200相同的方式，对应于将要解码的编码数据，视频解码器1225、解码器1252和容纳在记录器控制单元1226中的解码器将编码前的图像划分为垂直排列的多个(偶数个)区域。视频解码器1225、解码器1252和容纳在记录器控制单元1226中的解码器然后参考作为周边宏块的待处理的宏块的左侧一个的宏块和上方一个的宏块，对于对应于自顶部偶数编号的区域的编码数据，以从顶部宏块行到底部的顺序，以常规方式进行解码。相反地，视频解码器1225、解码器1252和容纳在记录器控制单元1226中的解码器参考作为周边宏块的待处理的宏块的左侧一个的宏块和下方一个的宏块，对于对应于自顶部奇数编号的区域的编码数据，以从底部宏块行到顶部的顺序，与常规方式相反地进行解码。另外，在对与自顶部奇数编号的区域的最底部宏块行对应的编码数据的解码结束的点，视频解码器1225、解码器1252和容纳在记录器控制单元1226中的解码器开始对其下方一个(自顶部偶数编号)的区域的编码数据的解码处理。另外，在此时，视频解码器1225、解码器1252和容纳在记录器控制单元1226参考自顶部奇数编号的区域中的最底部宏块行，并进行对于对应于其下方一个(自顶部偶数编号)的最顶部宏块行的编码数据的解码处理。因此，视频解码器1225、解码器1252和容纳在记录器控制单元1226可以实现高速图像编码，同时抑制编码效率的下降。因此，例如，硬盘记录器1200可以正确地对调谐器或通信单元1235接收的视频数 据(在抑制编码效率的下降的同时高速编码的编码数据)以及记录/播放单元1233播放的视频数据(在抑制编码效率的下降的同时高速编码的编码数据)解码，从而以较低成本实现了实时处理。另外，硬盘记录器1200使用图像编码装置100作为编码器1251。以与图像解码装置100相同的方式，图像编码器1251将待编码的图像划分为在垂直排列的多个(偶数个)区域。图像编码器1251然后参考作为周边宏块的待处理的宏块的左侧一个的宏块和上方一个的宏块，对于对应于自顶部偶数编号的区域的编码数据，以从顶部宏块行到底部的顺序，以常规方式进行编码。相反地，图像编码器1251然后参考作为周边宏块的待处理的宏块的左侧一个的宏块和下方一个的宏块，对应于自顶部奇数编号的区域，以从底部宏块行到顶部的顺序，以与常规方式相反的方式进行编码。另外，在对与自顶部奇数编号的区域的最底部宏块行的编码结束的点，图像编码器1251开始对其下方一个(自顶部偶数编号)的区域的编码数据的解码处理。另外，在此时，图像编码器1251参考自顶部奇数编号的区域中的最底部宏块行，并进行对于其下方一个(自顶部偶数编号)的最顶部宏块行的编码处理。从而，图像编码器1251可以实现高速图像编码同时抑制编码效率的下降。因此，硬盘记录器1200在生成将记录在硬盘中的编码数据时可以抑制由于高速图像编码导致的编码效率的下降。从而，蜂窝电话1100可以以较低成本实现实时处理。注意，目前关于用于在硬盘中记录音频数据和视频数据的硬盘记录器1200进行了描述，但是，显然，可以使用任何类型的记录介质。例如，即使在应用除硬盘以外的诸如闪存、光盘、视频带等的记录介质的记录器中，图像编码装置100和图像解码装置200可以以与上述硬盘记录器1200相同的方式应用到其中。<8.第八实施例>[摄像机]图30为示出应用本发明的使用图像编码装置100和图像解码装置200的摄像机的主要配置实例的框图。图30所示的摄像机1300对被摄体成像，在IXD 1316上显示被摄体的图像，以及在记录介质1333中将其记录为图像数据。透镜块1311对CCD/CM0S 1312输入光(即被摄体的影像)。CCD/CM0S 1312是使用CCD或CMOS的图像传感器，其将接收的光强转换为电信号，并提供到摄像机信号处理单元 1313。摄像机信号处理单元1313将从(XD/CM0S 1312提供的电信号转换为Y、Cr和Cb的色差信号，并提供到图像信号处理单元1314。在控制器1312的控制下，图像信号处理单元1314对从摄像机信号处理单元1313提供的图像信号进行预定图像处理，或通过编码器1341对其图像信号编码。图像信号处理单元1314将通过对图像信号编码生成的编码数据提供到解码器1315。另外，图像信号处理单元1314获得在屏幕上显示(OSD) 1320处生成的用于显示的数据，并将其提供到解码器1315。在上述处理中，摄像机信号处理单元1313根据需要适当地利用经总线1317连接的DRAM (动态随机存取存储器)1318，以在其DRAM1318中保存图像数据、从其图像数据编码的编码数据等。解码器1315对从图像信号处理单元1314提供的编码数据进行解码，并将获得的 图像数据(解码图像数据)提供到LCD 1316。另外，解码器1315将从图像信号处理单元1314提供的用于显示的数据提供到IXD 1316。IXD 1316适当地合成解码图像数据的图像和从解码器1315提供的用于显示的图像数据，并显示其合成图像。在控制器1321的控制下，屏幕上显示1320经总线1317将由符号、字符或数字构成的诸如菜单屏幕或图标等的用于显示的数据输出到图像信号处理单元1314。基于指示通过用户利用操作单元1322命令的内容的信号，控制器1321执行各种处理，并且还经总线1317控制图像信号处理单元1314、DRAM1318、外部接口 1319、屏幕上显示1320、介质驱动器1323等。在闪存ROM 1324中存储控制器1321执行各种处理所需的程序、数据等。例如，控制器1321可以代替图像信号处理单元1314和解码器1315，对存储在DRAM 1318中的图像数据进行编码，或者对存储在DRAM 1318中的编码数据进行解码。此时，控制器1321可以利用与图像信号处理单元1314和解码器1315的编码和解码格式相同的格式进行编码/解码处理，或者可以利用图像信号处理单元1314和解码器1315都不能处理的格式进行编码/解码处理。另外，例如，在已经从操作单元1322指示开始图像打印的情况中，控制器1321从DRAM 1318读出图像数据，并将其提供到经总线1317连接到外部接口 1319的打印机1334用于打印。另外，例如，在已经从操作单元1322指示开始图像记录的情况中，控制器1321从DRAM 1318读出编码数据，并将其提供到经总线1317安装到介质驱动器1323的记录介质1333用于存储。记录介质1333例如是可选的可读/可写的可拆卸介质，诸如磁盘、磁光盘、光盘、半导体存储器等等。当然，关于可拆除介质的类型，记录介质1333也是可选的，因此可以是盒带装置、或者可以是盘、或者可以是存储卡。当然，记录介质1333可以是非接触IC卡等。可选地，例如，介质驱动器1323和记录介质1333可被配置为被集成到不可移动的记录介质中，诸如内置硬盘驱动器、SSD (固态驱动器)等等。外部接口 1319例如由USB输入/输出终端等构成，并且在进行打印图像的情况中与打印机1334连接。另外，驱动器1331根据需要与外部接口 1319连接，在其上适当地安装诸如磁盘、光盘或磁光盘的可移动介质1332，并且根据需要在闪存ROM 1324中安装从其读出的计算机程序。另外，外部接口 1319包括网络接口，其将被连接到诸如LAN、互联网等等的预定网络。例如，根据来自操作单元1322的指令，控制器1321可以从DRAM 1318读出编码数据，并从外部接口 1319将其提供到经网络连接的另一个装置。另外，控制器1321可以经外部接口 1319获得经网络从另一个装置提供的编码数据或图像数据，并将其保存在DRAM 1318中，或将其提供到图像信号处理单元1314。由此配置的摄像机1300使用图像解码装置200作为解码器1315。也就是说，以与图像解码装置200相同的方式，解码器1315对于每个熵分片并行地对从图像编码装置100提供的编码数据进行解码，并生成解码图像数据。此时，以与图像解码装置200相同的方式，对应于将要解码的编码数据，解码器1315将编码前的图像划分为垂直排列的多个(偶数个)区域。解码器1315然后参考作为周边宏块的待处理的宏块的左侧一个的宏块和上方 一个的宏块，对于对应于自顶部偶数编号的区域的编码数据，以从顶部宏块行到底部的顺序，以常规方式进行解码。相反地，解码器1315然后参考作为周边宏块的待处理的宏块的左侧一个的宏块和下方一个的宏块，对于对应于自顶部奇数编号的区域的编码数据，以从底部宏块行到顶部的顺序，以与常规方式相反的方式进行解码。另外，在对与自顶部奇数编号的区域的最底部宏块行对应的编码数据的解码结束的点，解码器1315开始对其下方一个(自顶部偶数编号)的区域的编码数据的解码处理。另外，在此时，解码器1315参考自顶部奇数编号的区域中的最底部宏块行，并进行对于对应于其下方一个(自顶部偶数编号)的最顶部宏块行的编码数据的解码处理。从而，解码器1315可以实现高速图像编码同时抑制编码效率的下降。因此，摄像机1300可以进一步改善对例如在(XD/CM0S 1312生成的图像数据、从DRAM 1318或记录介质1333读出的视频数据的编码数据以及经网络获得的视频数据的编码数据的编码效率，从而以较低成本实现实时处理。另外，摄像机1300使用图像编码装置100作为编码器1341。以与图像解码装置100相同的方式，图像编码器1341将待编码的图像划分为垂直排列的多个(偶数个)区域。图像编码器1341然后参考作为周边宏块的待处理的宏块的左侧一个的宏块和上方一个的宏块，对于对应于自顶部偶数编号的区域的编码数据，以从顶部宏块行到底部的顺序，以常规方式进行编码。相反地，图像编码器1341然后参考作为周边宏块的待处理的宏块的左侧一个的宏块和下方一个的宏块，对于自顶部奇数编号的区域，以从底部宏块行到顶部的顺序，以与常规方式相反的方式进行编码。另外，在对与自顶部奇数编号的区域的最底部宏块行的编码结束的点，图像编码器1341开始对其下方一个(自顶部偶数编号)的区域的编码数据的解码处理。另外，在此时，图像编码器1341参考自顶部奇数编号的区域中的最底部宏块行，并进行对于其下方一个(自顶部的偶数编号)的最顶部宏块行的编码处理。从而，图像编码器1341可以实现高速图像编码同时抑制编码效率的下降。因此，通过使用图像编码装置100作为编码器1314，摄像机1300可以抑制由于对例如记录在DRAM 1318或记录介质1333中的编码数据或提供到其它装置的编码数据的图像编码的增加的速度导致的编码效率的下降。从而，摄像机1300可以以较低成本实现实时处理。注意，可以将图像解码装置200的解码方法应用到控制器1321进行的解码处理中。同样，可以将图像编码装置100的编码方法应用到控制器1321进行的编码处理中。另外，摄像机1300拍摄的图像数据可以是移动图像或者可以是静止图像。当然，图像编码装置100和图像解码装置200可以应用于除上述装置以外的装置或系统。注意，本发明技术可以具有下面的配置。
(I) 一种编码图像数据的图像处理装置，该图像处理装置包括编码单元，其以小区域行作为对象，在所述小区域行中在水平方向排列通过划分在图像的垂直方向排列的大区域获得的小区域，进行以与扫描顺序相同的顺序推进小区域的编码顺序，以及以与扫描顺序不同的顺序推进小区域行的编码顺序，对大区域的图像数据编码；以及控制单元，其控制所述编码单元，以根据位于待处理的小区域的左边缘的左侧小区域的状态以及位于待处理的小区域的下边缘的下方小区域的状态进行编码。(2)根据(I)所述的图像处理装置，其中所述编码单元以位于自图像顶部奇数编号的位置的大区域的图像数据作为对象，以与扫描顺序相同的顺序推进小区域的编码顺序，以及以与扫描顺序不同的顺序推进小区域行的编码顺序。(3)根据(2)所述的图像处理装置，其中所述控制单元以位于自图像顶部奇数编号的位置的大区域的图像数据作为对象控制所述编码单元，使得对于位于待处理的大区域的最底部位置的小区域行，不参考位于待处理的小区域的下方一个的小区域的状态，而对待处理的小区域的图像数据编码。(4)根据(3)所述的图像处理装置，其中在已经将位于待处理的大区域的最底部位置的小区域行的图像数据存储在存储单元中的情况下，控制单元以位于自图像顶部奇数编号的位置的大区域的图像数据作为对象，控制编码单元使得以编码的顺序从存储单元读出图像数据并进行编码。(5)根据(4)所述的图像处理装置，其中所述编码单元以位于自图像顶部偶数编号的位置的大区域的图像数据作为对象，以与用于小区域行的扫描顺序相同的顺序推进小区域的编码顺序，以及以与扫描顺序相同的顺序推进小区域行的编码顺序。(6)根据(5)所述的图像处理装置，其中控制单元以位于自图像顶部偶数编号的位置的大区域的图像数据作为对象，对于位于待处理的大区域的最顶部位置的小区域行，控制所述编码单元，使得参考位于所述大区域上方一个的大区域中的最底部位置的小区域行的小区域的状态对待处理的小区域的图像数据编码。(7)根据(6)所述的图像处理装置，其中在已经将位于待处理的大区域的最顶部位置的小区域行的图像数据存储在存储单元中的情况下，控制单元以位于自图像顶部偶数编号的位置的大区域的图像数据作为对象，控制编码单元使得以编码的顺序从存储单元读出图像数据并进行编码。(8)根据(I)到(7)中任一项所述的图像处理装置，其中所述编码单元以与扫描顺序相反的顺序推进小区域行的编码顺序。(9)根据(8)所述的图像处理装置，其中所述扫描顺序是光栅扫描顺序。(10) 一种用于编码图像数据的图像处理装置的图像处理方法，其中编码单元以小区域行作为对象，在所述小区域行中在水平方向排列通过划分在图像的垂直方向排列的大区域获得的小区域，进行以与扫描顺序相同的顺序推进小区域的编码顺序，以及以与扫描顺序不同的顺序推进小区域行的编码顺序，对大区域的图像数据编码；以及控制单元控制所述编码单元，以根据位于待处理的小区域的左边缘的左侧小区域的状态以及位于待处理的小区域的下边缘的下方小区域的状态进行编码。(11) 一种图像处理装置，对已经被编码的图像数据的编码数据进行解码，该图像处理装置包括·解码单元，其以小区域行作为对象，在所述小区域行中在水平方向排列通过划分在所述编码数据对应的图像的垂直方向排列的大区域获得的小区域，进行以与扫描顺序相同的顺序推进小区域的解码顺序，以及以与扫描顺序不同的顺序推进小区域行的解码顺序，对大区域的编码数据解码；以及控制单元，其控制所述解码单元，以根据位于待处理的小区域的左边缘的左侧小区域的状态以及位于待处理的小区域的下边缘的下方小区域的状态进行解码。(12)根据(11)所述的图像处理装置，其中所述解码单元以位于自图像顶部奇数编号的位置的大区域的图像数据作为对象，以与扫描顺序相同的顺序推进小区域的解码顺序，以及以与扫描顺序不同的顺序推进小区域行的解码顺序。(13)根据(12)所述的图像处理装置，其中所述控制单元以位于自图像顶部奇数编号的位置的大区域的图像数据作为对象控制所述解码单元，使得对于位于待处理的大区域的最底部位置的小区域行，不参考位于待处理的小区域的下方一个的小区域的状态，而对待处理的小区域的图像数据解码。(14)根据(13)所述的图像处理装置，其中在已经将位于待处理的大区域的最底部位置的小区域行的图像数据存储在存储单元中的情况下，控制单元以位于自图像顶部奇数编号的位置的大区域的图像数据作为对象，控制所述解码单元使得以解码的顺序从存储单元读出图像数据并进行解码。(15)根据(11)到(14)中任一项所述的图像处理装置，其中所述解码单元以位于自图像顶部偶数编号的位置的大区域的编码数据作为对象，以与用于小区域行的扫描顺序相同的顺序推进小区域的解码顺序，以及以与扫描顺序相同的顺序推进小区域行的解码顺序。(16)根据(11)到(15)中任一项所述的图像处理装置，其中控制单元以位于自图像顶部偶数编号的位置的大区域的编码数据作为对象，对于位于待处理的大区域的最顶部位置的小区域行，控制所述解码单元，使得参考位于所述大区域上方一个的大区域中的最底部位置的小区域行的小区域的状态对待处理的小区域的编码数据进行解码。(17)根据(16)所述的图像处理装置，其中在已经将位于待处理的大区域的最顶部位置的小区域行的图像数据存储在存储单元中的情况下，控制单元以位于自图像顶部偶数编号的位置的大区域的图像数据作为对象，控制所述解码单元使得以解码的顺序从存储单元读出图像数据并进行解码。(18)根据(11)到(17)中任一项所述的图像处理装置，其中所述解码单元以与扫描顺序相反的顺序推进小区域行的解码顺序。(19)根据(18)所述的图像处理装置，其中所述扫描顺序是光栅扫描顺序。(20)—种图像处理装置的图像处理方法，所述图像处理装置对已经被编码的图像数据的编码数据进行解码，其中解码单元以小区域行作为对象，在所述小区域行中在水平方向排列通过划分在所述编码数据对应的图像的垂直方向排列的大区域获得的小区域，进行以与扫描顺序相同的顺序推进小区域的解码顺序，以及以与扫描顺序不同的顺序推进小区域行的解码顺序，对大区域的编码数据解码；以及 控制单元控制所述解码单元，以根据位于待处理的小区域的左边缘的左侧小区域的状态以及位于待处理的小区域的下边缘的下方小区域的状态进行解码。附图标记列表100图像编码装置106无损编码单元151控制单元152存储单元153分片I处理单元154分片2处理单元200图像解码装置202无损编码单元251多路分解器252分片I处理单元253分片2处理单元301上下文处理单元501控制单元503分片3处理单元504分片4处理单元551多路分解器552分片3处理单元554分片4处理单元
权利要求
1.一种编码图像数据的图像处理装置，该图像处理装置包括 编码单元，其以小区域行作为对象，在所述小区域行中在水平方向排列通过划分在图像的垂直方向排列的大区域获得的小区域，进行以与扫描顺序相同的顺序推进小区域的编码顺序，以及以与扫描顺序不同的顺序推进小区域行的编码顺序，对大区域的图像数据编码；以及 控制单元，其控制所述编码单元，以根据位于待处理的小区域的左边缘的左侧小区域的状态以及位于待处理的小区域的下边缘的下方小区域的状态进行编码。
2.根据权利要求I所述的图像处理装置，其中所述编码单元以位于自图像顶部奇数编号的位置的大区域的图像数据作为对象，以与扫描顺序相同的顺序推进小区域的编码顺序，以及以与扫描顺序不同的顺序推进小区域行的编码顺序。
3.根据权利要求2所述的图像处理装置，其中所述控制单元以位于自图像顶部奇数编号的位置的大区域的图像数据作为对象控制所述编码单元，使得对于位于待处理的大区域的最底部位置的小区域行，不参考位于待处理的小区域的下方一个的小区域的状态，而对待处理的小区域的图像数据编码。
4.根据权利要求3所述的图像处理装置，其中在已经将位于待处理的大区域的最底部位置的小区域行的图像数据存储在存储单元中的情况下，控制单元以位于自图像顶部奇数编号的位置的大区域的图像数据作为对象，控制编码单元使得以编码的顺序从存储单元读出图像数据并进行编码。
5.根据权利要求4所述的图像处理装置，其中所述编码单元以位于自图像顶部偶数编号的位置的大区域的图像数据作为对象，以与用于小区域行的扫描顺序相同的顺序推进小区域的编码顺序，以及以与扫描顺序相同的顺序推进小区域行的编码顺序。
6.根据权利要求5所述的图像处理装置，其中控制单元以位于自图像顶部偶数编号的位置的大区域的图像数据作为对象，对于位于待处理的大区域的最顶部位置的小区域行，控制所述编码单元，使得参考位于所述大区域上方一个的大区域中的最底部位置的小区域行的小区域的状态对待处理的小区域的图像数据编码。
7.根据权利要求6所述的图像处理装置，其中在已经将位于待处理的大区域的最顶部位置的小区域行的图像数据存储在存储单元中的情况下，控制单元以位于自图像顶部偶数编号的位置的大区域的图像数据作为对象，控制编码单元使得以编码的顺序从存储单元读出图像数据并进行编码。
8.根据权利要求I所述的图像处理装置，其中所述编码单元以与扫描顺序相反的顺序推进小区域行的编码顺序。
9.根据权利要求8所述的图像处理装置，其中所述扫描顺序是光栅扫描顺序。
10.一种用于编码图像数据的图像处理装置的图像处理方法，其中 编码单元以小区域行作为对象，在所述小区域行中在水平方向排列通过划分在图像的垂直方向排列的大区域获得的小区域，进行以与扫描顺序相同的顺序推进小区域的编码顺序，以及以与扫描顺序不同的顺序推进小区域行的编码顺序，对大区域的图像数据编码；以及 控制单元控制所述编码单元，以根据位于待处理的小区域的左边缘的左侧小区域的状态以及位于待处理的小区域的下边缘的下方小区域的状态进行编码。
11.一种图像处理装置，对已经被编码的图像数据的编码数据进行解码，该图像处理装置包括 解码单元，其以小区域行作为对象，在所述小区域行中在水平方向排列通过划分在所述编码数据对应的图像的垂直方向排列的大区域获得的小区域，进行以与扫描顺序相同的顺序推进小区域的解码顺序，以及以与扫描顺序不同的顺序推进小区域行的解码顺序，对大区域的编码数据解码；以及 控制单元，其控制所述解码单元，以根据位于待处理的小区域的左边缘的左侧小区域的状态以及位于待处理的小区域的下边缘的下方小区域的状态进行解码。
12.根据权利要求11所述的图像处理装置，其中所述解码单元以位于自图像顶部奇数编号的位置的大区域的图像数据作为对象，以与扫描顺序相同的顺序推进小区域的解码顺序，以及以与扫描顺序不同的顺序推进小区域行的解码顺序。
13.根据权利要求12所述的图像处理装置，其中所述控制单元以位于自图像顶部奇数编号的位置的大区域的图像数据作为对象控制所述解码单元，使得对于位于待处理的大区域的最底部位置的小区域行，不参考位于待处理的小区域的下方一个的小区域的状态，而对待处理的小区域的图像数据解码。
14.根据权利要求13所述的图像处理装置，其中在已经将位于待处理的大区域的最底部位置的小区域行的图像数据存储在存储单元中的情况下，控制单元以位于自图像顶部奇数编号的位置的大区域的图像数据作为对象，控制所述解码单元使得以解码的顺序从存储单元读出图像数据并进行解码。
15.根据权利要求11所述的图像处理装置，其中所述解码单元以位于自图像顶部偶数编号的位置的大区域的编码数据作为对象，以与用于小区域行的扫描顺序相同的顺序推进小区域的解码顺序，以及以与扫描顺序相同的顺序推进小区域行的解码顺序。
16.根据权利要求11所述的图像处理装置，其中控制单元以位于自图像顶部偶数编号的位置的大区域的编码数据作为对象，对于位于待处理的大区域的最顶部位置的小区域行，控制所述解码单元，使得参考位于所述大区域上方一个的大区域中的最底部位置的小区域行的小区域的状态对待处理的小区域的编码数据进行解码。
17.根据权利要求16所述的图像处理装置，其中在已经将位于待处理的大区域的最顶部位置的小区域行的图像数据存储在存储单元中的情况下，控制单元以位于自图像顶部偶数编号的位置的大区域的图像数据作为对象，控制所述解码单元使得以解码的顺序从存储单元读出图像数据并进行解码。
18.根据权利要求11所述的图像处理装置，其中所述解码单元以与扫描顺序相反的顺序推进小区域行的解码顺序。
19.根据权利要求18所述的图像处理装置，其中所述扫描顺序是光栅扫描顺序。
20.一种图像处理装置的图像处理方法，所述图像处理装置对已经被编码的图像数据的编码数据进行解码，其中 解码单元以小区域行作为对象，在所述小区域行中在水平方向排列通过划分在所述编码数据对应的图像的垂直方向排列的大区域获得的小区域，进行以与扫描顺序相同的顺序推进小区域的解码顺序，以及以与扫描顺序不同的顺序推进小区域行的解码顺序，对大区域的编码数据解码；以及控制单元控制所述解码单元，以根据位于待处理的小区域的左边缘的左侧小区域的状 态以及位于待处理的小区域的下边缘的下方小区域的状态进行解码。
全文摘要
本发明涉及能够抑制由于高速图像编码导致的编码效率的下降的图像处理装置和方法。编码图像数据的图像处理装置包括编码单元，其以小区域行作为对象，在所述小区域行中在水平方向排列通过划分在图像的垂直方向排列的大区域获得的小区域，进行以与扫描顺序相同的顺序推进小区域的编码顺序，以及以与扫描顺序不同的顺序推进小区域行的编码顺序，对大区域的图像数据编码；以及控制单元，其控制所述编码单元，以根据位于待处理的小区域的左边缘的左侧小区域的状态以及位于待处理的小区域的下边缘的下方小区域的状态进行编码。该技术可以应用于例如图像处理装置。
文档编号H04N7/32GK102884795SQ20118002307
公开日2013年1月16日 申请日期2011年3月31日 优先权日2010年4月9日
发明者佐佐木雅朗 申请人:索尼公司