图像处理装置和方法与流程

本申请是申请号为201380010481.8、申请日为2013年2月28日、名称为“图像处理装置和方法”的发明专利申请的分案申请。

本公开内容涉及一种图像处理装置和方法。

背景技术：

在作为视频编码方案的标准规范之一的h.264/avc(高级视频编码)中，高规格(highprofile)或更高规格中的各规格允许利用针对正交变换系数的每个分量而不同的量化步长尺寸来量化图像数据。可基于参考步长值和由与正交变换的单位相等的尺寸定义的量化矩阵(也被称为缩放列表)设置针对正交变换系数的每个分量的量化步长尺寸。

针对每个预测模式(帧内预测模式、帧间预测模式)并且针对每个变换单位尺寸(4×4、8×8)准备量化矩阵的指定值。另外，使得用户能够指定不同于序列参数集或图像参数集中的指定值的独一无二的量化矩阵。在未使用量化矩阵的情况下，用于量化的量化步长尺寸针对所有分量具有相等的值。

在正被标准化为下一代视频编码方案并且作为h.264/avc的后继方案的hevc(高效率视频编码)中，已引入了与传统宏块对应的编码单位(cu)的概念(参见例如npl1)。编码单位的尺寸的范围由序列参数集中的一组值指定，所述一组值是2的幂，被称为最大编码单位(lcu)和最小编码单位(scu)。另外，使用split_flag指定由lcu和scu指定的范围中的具体编码单位尺寸。

在hevc中，一个编码单位可被划分为一个或多个正交变换单位或一个或多个变换单位(tu)。可用变换单位尺寸是4×4、8×8、16×16和32×32中的任何一个。

同时，为了诸如在传输期间减少编码量的目的，量化矩阵(缩放列表)的dc分量(也被称为直流分量)被传输作为不同于其ac分量(也被称为交流分量)的数据。具体地讲，缩放列表的dc分量被传输作为不同于ac系数(也被称为交流系数)的dc系数(也被称为直流系数)，ac系数是缩放列表的ac分量。

为了在传输期间减少dc系数的编码量，已提出从dc系数的值减去常数(例如，8)并且使用有符号指数golomb编码对作为结果的值(scaling_list_dc_coef_minus8)进行编码(参见例如npl1)。

引用列表

非专利文献

npl1：benjaminbross,fraunhoferhhi,woo-jinhan,gachonuniversity,jens-rainerohm,rwthaachen,garyj.sullivan,microsoft,thomaswiegand,fraunhoferhhi/tuberlin,jctvc-h1003,"highefficiencyvideocoding(hevc)textspecificationdraft6",jointcollaborativeteamonvideocoding(jct-vc)ofitu-tsg16wp3andiso/iecjtc1/sc29/wg117thmeeting:geneva,ch,2011年11月21-30日

技术实现要素：

技术问题

然而，存在这样的担心：虽然上述方法方便处理，但它将不会提供足够的压缩效率。

考虑到上述情况而提出本公开内容，并且本公开内容的目的在于使得能够抑制缩放列表的编码量的增加。

问题的解决方案

本公开内容的一方面提供一种图像处理装置，包括：设置单元，被配置为设置替换差系数，该替换差系数是替换系数与位于量化矩阵的开始的系数之差，该量化矩阵的尺寸局限于不大于发送尺寸，该发送尺寸是在发送中允许的最大尺寸，替换系数被用于替换位于上转换的量化矩阵的开始的系数，通过将量化矩阵上转换成与作为执行去量化的处理的单位的块尺寸相同的尺寸来获得所述上转换的量化矩阵；量化单元，被配置为量化图像以产生量化的数据；和发送单元，被配置为发送通过对由量化单元产生的量化的数据进行编码而获得的编码数据、通过对替换系数进行编码而获得的替换系数数据和通过对由设置单元设置的替换差系数进行编码而获得的替换差系数数据。

设置单元可以设置替换系数与为量化矩阵设置的初始值之差。

设置单元可以设置作为量化矩阵的系数之差的差系数，以及发送单元可以发送通过对由设置单元设置的差系数进行编码而获得的差系数数据。

发送单元可以共同发送替换系数数据和替换差系数数据。

发送单元可以按照替换系数数据、替换差系数数据的顺序发送替换系数数据和替换差系数数据。

量化单元可以使用量化矩阵或上转换的量化矩阵来量化图像。

作为执行编码处理的处理的单位的编码单位和作为执行变换处理的处理的单位的变换单位可以具有分层结构，以及图像处理装置还可以包括被配置为对由量化单元产生的量化的数据进行编码的编码单元。

本公开内容的一方面还提供一种图像处理方法，包括：设置替换差系数，该替换差系数是替换系数与位于量化矩阵的开始的系数之差，该量化矩阵的尺寸局限于不大于发送尺寸，该发送尺寸是在发送中允许的最大尺寸，替换系数被用于替换位于上转换的量化矩阵的开始的系数，通过将量化矩阵上转换成与作为执行去量化的处理的单位的块尺寸相同的尺寸来获得所述上转换的量化矩阵；量化图像以产生量化的数据；以及发送通过对产生的量化的数据进行编码而获得的编码数据、通过对替换系数进行编码而获得的替换系数数据和通过对设置的替换差系数进行编码而获得的替换差系数数据。

在本公开内容的一方面，设置替换差系数，该替换差系数是替换系数与位于量化矩阵的开始的系数之差，该量化矩阵的尺寸局限于不大于发送尺寸，该发送尺寸是在发送中允许的最大尺寸，替换系数被用于替换位于上转换的量化矩阵的开始的系数，通过将量化矩阵上转换成与作为执行去量化的处理的单位的块尺寸相同的尺寸来获得所述上转换的量化矩阵；图像被量化以产生量化的数据；以及发送通过对产生的量化的数据进行编码而获得的编码数据、通过对替换系数进行编码而获得的替换系数数据和通过对设置的替换差系数进行编码而获得的替换差系数数据。

发明的有益效果

根据本公开内容，可处理图像。特别地，可抑制量化矩阵的编码量的增加。

附图说明

[图1]图1是表示缩放列表的例子的示图。

[图2]图2是表示上转换的例子的示图。

[图3]图3是表示如何在解码器中使用缩放列表的例子的示图。

[图4]图4是表示缩放列表的编码的例子的示图。

[图5]图5是表示使用本技术的缩放列表的编码的例子的示图。

[图6]图6是表示指数golomb码的例子的示图。

[图7]图7包括表示缩放列表的语法的例子的示图。

[图8]图8是表示默认矩阵的语法的例子的示图。

[图9]图9包括表示默认矩阵的语义的例子的示图。

[图10]图10是表示缩放列表的语法的例子的示图。

[图11]图11是表示使用本技术的缩放列表的语法的例子的示图。

[图12]图12包括表示相关技术中的缩放列表的语法的例子的示图。

[图13]图13是表示缩放列表的语法的例子的示图。

[图14]图14是表示图像编码装置的主要配置的例子的方框图。

[图15]图15是表示正交变换/量化单元的主要配置的例子的方框图。

[图16]图16是表示矩阵处理单元的主要配置的例子的方框图。

[图17]图17是表示下采样的例子的示图。

[图18]图18是表示交叠部分的去除的例子的示图。

[图19]图19是表示dpcm单元的主要配置的例子的方框图。

[图20]图20是表示量化矩阵编码处理的流程的例子的流程图。

[图21]图21是表示dpcm处理的流程的例子的流程图。

[图22]图22是表示图像解码装置的主要配置的例子的方框图。

[图23]图23是表示去量化/逆正交变换单元的主要配置的例子的方框图。

[图24]图24是表示矩阵产生单元的主要配置的例子的方框图。

[图25]图25是表示最近邻居内插处理的例子的示图。

[图26]图26是表示逆dpcm单元的主要配置的例子的方框图。

[图27]图27是表示矩阵产生处理的流程的例子的流程图。

[图28]图28是表示残差信号解码处理的流程的例子的流程图。

[图29]图29是表示逆dpcm处理的流程的例子的流程图。

[图30]图30是表示缩放列表的语法的另一个例子的示图。

[图31]图31是表示dpcm单元的另一个示例配置的方框图。

[图32]图32是表示dpcm处理的流程的另一个例子的流程图。

[图33]图33是表示逆dpcm单元的另一个示例配置的方框图。

[图34]图34是表示逆dpcm处理的流程的另一个例子的流程图。

[图35]图35是表示缩放列表的语法的另一个例子的示图。

[图36]图36是表示逆dpcm处理的流程的另一个例子的流程图。

[图37]图37是表示缩放列表的语法的另一个例子的示图。

[图38]图38是表示dpcm单元的另一个示例配置的方框图。

[图39]图39是表示dpcm处理的另一个例子的流程图。

[图40]图40是表示逆dpcm单元的另一个示例配置的方框图。

[图41]图41是表示逆dpcm处理的流程的另一个例子的流程图。

[图42]图42是表示逆dpcm处理的流程的另一个例子的从图41继续的流程图。

[图43]图43包括表示缩放列表的语法的另一个例子的示图。

[图44]图44包括表示缩放列表的语法的另一个例子的示图。

[图45]图45包括表示缩放列表的语法的另一个例子的示图。

[图46]图46是表示多视点图像编码方案的例子的示图。

[图47]图47是表示应用本技术的多视点图像编码装置的主要配置的例子的示图。

[图48]图48是表示应用本技术的多视点图像解码装置的主要配置的例子的示图。

[图49]图49是表示分层图像编码方案的例子的示图。

[图50]图50是表示应用本技术的分层图像编码装置的主要配置的例子的示图。

[图51]图51是表示应用本技术的分层图像解码装置的主要配置的例子的示图。

[图52]图52是表示计算机的主要配置的例子的方框图。

[图53]图53是表示电视设备的主要配置的例子的方框图。

[图54]图54是表示移动终端装置的主要配置的例子的方框图。

[图55]图55是表示记录/再现设备的主要配置的例子的方框图。

[图56]图56是表示成像设备的主要配置的例子的方框图。

[图57]图57是表示可伸缩编码的使用的例子的方框图。

[图58]图58是表示可伸缩编码的使用的另一个例子的方框图。

[图59]图59是表示可伸缩编码的使用的另一个例子的方框图。

具体实施方式

将在以下描述用于执行本公开内容的模式(以下，被称为实施例)。在这个方面，将按照下面的次序进行描述。

1.第一实施例(本技术的示例性应用)

2.第二实施例(图像编码装置、图像解码装置：第一方法)

3.第三实施例(图像编码装置、图像解码装置：第二方法)

4.第四实施例(图像编码装置、图像解码装置：第三方法)

5.第五实施例(图像编码装置、图像解码装置：第四方法)

6.第六实施例(图像编码装置、图像解码装置：其它方法)

7.第七实施例(多视点图像编码装置、多视点图像解码装置)

8.第八实施例(分层图像编码装置、分层图像解码装置)

9.第九实施例(计算机)

10.示例应用

11.可伸缩编码的示例应用

<1.第一实施例>

在这个实施例中，将给出将在本技术的第二实施例和后面的实施例中详细描述的本技术的示例性应用的描述。

<1-1.本技术的示例性应用>

首先，将描述可应用本技术的示例性例子。本技术是与在当图像数据被编码和解码时执行的量化和去量化处理中使用的缩放列表的编码和解码相关的技术。

图像数据的编码和解码可包括系数数据的量化和去量化。以具有预定尺寸的块为单位执行这种量化和去量化，并且使用具有与块尺寸对应的尺寸的缩放列表(或量化矩阵)。例如，在hevc(高效率视频编码)中，以诸如4×4、8×8、16×16和32×32的尺寸执行量化(或去量化)。在hevc中，可准备具有4×4和8×8尺寸的量化矩阵。

图1表示8×8缩放列表的例子。如图1中所示，缩放列表包括dc系数和ac系数。包括一个值的dc系数是量化矩阵的(0,0)系数，并且对应于离散余弦转换(dct)的dc系数。ac系数是除(0,0)系数之外的量化矩阵的系数，并且对应于除dc系数之外的dct的系数。注意，如图1中所示，ac系数由矩阵表示。也就是说，ac系数也包括(0,0)系数(以下也被称为ac系数(0,0))，并且当被用于量化/去量化时，位于量化矩阵的开始的(0,0)系数被dc系数替换。因此，dc系数也被称为替换系数。在图1中示出的例子中，ac系数形成8×8矩阵。

此外，在hevc中，8×8量化矩阵的上转换的版本(向上转换)被用于16×16或32×32量化(或去量化)。

图2表示8×8缩放列表到16×16缩放列表的上转换的例子。如图2中所示，使用例如最近邻居内插处理对缩放列表进行上转换。将在以下参照例如图25描述最近邻居内插处理的细节。如图2中所示，对缩放列表的ac系数执行上转换。然后，上转换的ac系数之中的(0,0)系数被dc系数替换。

准备两个类型的8×8缩放列表，即用于上转换为16×16的8×8缩放列表(“用于16×16的8×8”)和用于上转换为32×32的8×8缩放列表(“用于32×32的8×8”)。

在编码(使用编码器)期间被用于量化的缩放列表也在解码(使用解码器)期间被用于去量化。也就是说，将缩放列表从编码侧(编码器)发送给解码侧(解码器)。图3表示缩放列表的发送的例子。

在图3中示出的例子中，发送如上所述的两个类型的8×8缩放列表，即用于上转换为16×16尺寸的8×8缩放列表和用于上转换为32×32尺寸的8×8缩放列表。虽然在附图中未示出，但还发送4×4缩放列表。

已经以上述方式发送的用于上转换为16×16尺寸的8×8缩放列表的ac系数在解码侧(解码器)使用上述最近邻居内插处理被上转换为16×16尺寸，并且在(0,0)系数被dc系数替换之后被用于具有16×16尺寸的块的去量化。

类似地，已经以上述方式发送的用于上转换为32×32尺寸的8×8缩放列表的ac系数也在解码侧(解码器)使用上述最近邻居内插处理被上转换为32×32尺寸，并且在(0,0)系数被dc系数替换之后被用于具有32×32尺寸的块的去量化。

<1-2.缩放列表的编码>

以上述方式执行的缩放列表的发送将会相应地增加编码量。因此，为了抑制编码效率的降低，使用一定的方法对缩放列表进行编码以减少缩放列表的编码量。图4表示缩放列表的编码的例子。具体地，如下发送8×8缩放列表。

在8×8矩阵至16×16矩阵的上转换的情况下：

(1)获取8×8矩阵的(0,0)系数(也就是说，ac系数(0,0))与预定初始值“8”之差。

(2)获取8×8矩阵的系数(也就是说，ac系数)(以扫描顺序按照一维方式排列的系数的序列中的相邻系数)之差。

(3)获取16×16矩阵的(0,0)系数(也就是说，dc系数)与预定初始值“8”之差。

(4)在(1)和(2)中获得的差以及在(3)中获得的差被分开地发送。

在8×8矩阵至32×32矩阵的上转换的情况下：

(1)获取8×8矩阵的(0,0)系数(也就是说，ac系数(0,0))与预定初始值“8”之差。

(2)获取8×8矩阵的系数(也就是说，ac系数)(以扫描顺序按照一维方式排列的系数的序列中的相邻系数)之差。

(3)获取32×32矩阵的(0,0)系数(也就是说，dc系数)与预定初始值“8”之差。

(4)在(1)和(2)中获得的差以及在(3)中获得的差被分开地发送。

然而，在上述方法中，使用有符号指数golomb编码对这些差进行编码并且在(4)中发送这些差。如上所述，在(1)中获得的差是ac系数(0,0)与初始值“8”之差。因此，存在这样的担心：如果ac系数(0,0)的值不是接近于初始值“8”的值，则编码量可能增加。

例如，在图4中，ac系数(0,0)的值是“12”，以及使用有符号指数golomb编码对值“4”进行编码并且发送值“4”作为在(1)中获得的差。也就是说，为了发送在(1)中获得的差而需要7比特，并且编码效率可能相应地降低。如果在(1)中获得的差的值增加，则编码效率可能进一步降低。对于用于上转换为16×16尺寸的8×8缩放列表和用于上转换为32×32尺寸的8×8缩放列表的情况而言，同样如此。

同时，dct系数的能量通常集中在dc系数和邻近的低阶系数中。因此，通常，量化矩阵还具有用于dc系数和邻近系数的小的值。另外，如果显著不同的值被用于各频率，则可能在主观上察觉到量化误差。为了抑制图像质量的这种视觉劣化，连续的值被用于dc系数和邻近系数。

在上转换之后获得的(0,1)系数、(1.0)系数和(1.1)系数对应于在上转换之前的ac系数(0,0)。另外，在上转换之后获得的(0,0)系数对应于dc系数。

因此，在缩放列表中，ac系数(0,0)的值和dc系数的值通常彼此接近。例如，mpeg2、avc和hevc默认矩阵采用具有这种关系的值。此外，在图4中示出的例子中，dc系数的值与ac系数(0,0)的值相同，也就是说，“12”。因此，在(3)中获得的差(也就是说，dc系数与初始值“8”之差)的值也是“4”。

也就是说，获取其值彼此接近的dc系数和ac系数(0,0)中的每一个与初始值之差可能增加它们之间的差值，并且还可能引起冗余。可以说，将会存在进一步降低编码效率的风险。

为了解决这个问题，替代使用图4中示出的方法，使用下面的方法发送缩放列表。图5表示该方法的例子。

在8×8矩阵至16×16矩阵的上转换的情况下：

(1)获取8×8矩阵的(0,0)系数(也就是说，ac系数(0,0))与16×16矩阵的(0,0)系数(也就是说，dc系数)之差。

(2)获取8×8矩阵的系数(也就是说，ac系数)(以扫描顺序按照一维方式排列的系数的序列中的相邻系数)之差。

(3)获取16×16矩阵的(0,0)系数(也就是说，dc系数)与预定初始值“8”之差。

(4)在(1)至(3)中获得的差被共同发送。

在8×8矩阵至32×32矩阵的上转换的情况下：

(1)获取8×8矩阵的(0,0)系数(也就是说，ac系数(0,0))与32×32矩阵的(0,0)系数(也就是说，dc系数)之差。

(2)获取8×8矩阵的系数(也就是说，ac系数)(以扫描顺序按照一维方式排列的系数的序列中的相邻系数)之差。

(3)获取32×32矩阵的(0,0)系数(也就是说，dc系数)与预定初始值“8”之差。

(4)在(1)至(3)中获得的差被共同发送。

类似于图4中示出的方法，在(4)中，使用指数golomb编码对这些差进行编码并且发送这些差作为指数golomb码。

在将这些差作为指数golomb码发送到的目的地，当接收到指数golomb码时，接收到的指数golomb码被解码以获得各个差，并且对获得的差执行与上述(1)至(3)中的处理相反的处理以确定各个系数(dc系数和ac系数)。

<1-3.本技术的示例性特征>

现在将描述与上述发送方法相关的本技术的示例性特征。

<1-3-1.ac系数(0,0)与dc系数之间的dpcm>

使用差分脉冲编码调制(dpcm)对缩放列表进行编码并且发送缩放列表。在图4中示出的例子中，分别对ac系数和dc系数进行dpcm编码，而根据本技术的特征之一，在图5中示出的例子中，确定并且发送ac系数(0,0)与dc系数之差(也被称为替换差系数)。

如上所述，ac系数(0,0)和dc系数通常采用彼此接近的值。因此，ac系数(0,0)与dc系数之差可能小于ac系数(0,0)与初始值“8”之差。也就是说，使用本技术的作为ac系数(0,0)与dc系数之差的替换差系数的发送可能更有可能减少编码量。

例如，在图5中示出的例子中，在(1)中获得的差的值是“0”。

图6是表示有符号指数golomb编码的例子的表。如图6中示出的表中所指示的，用于值“4”的指数golomb码具有7比特的码长，而用于值“0”的指数golomb码具有1比特的码长。也就是说，与图4中示出的方法相比较，图5中示出的方法可以减少6比特的编码量。

通常，具有8×8尺寸的量化矩阵的发送需要大约100比特至200比特的编码量。因此，6比特占据总量的大约6％。在高级语法中将编码量减少6％可以说是非常大的效果。

<1-3-2.dc系数和ac系数的共同发送>

图7表示缩放列表的语法的例子。在图7的部分a中示出的例子中表示图4中示出的例子的语法。具体地，在发送ac系数(0,0)与初始值“8”之差以及ac系数之差(scaling_list_delta_coef)之后，分开地发送dc系数与初始值“8”之差(scaling_list_dc_coef_minus8)。

相比之下，本技术的特征之一在于：dc系数与ac系数(0,0)之差以及ac系数之差按照该次序排列并且被共同发送。具体地，如图5中所示，在按照预定扫描顺序排列的dc系数和ac系数按照一维方式排列并且dc系数与初始值“8”之差被确定之后，系数的序列中的相邻系数之差被确定。另外，作为结果的差(系数之差)以获得的顺序按照一维方式排列并且被共同发送。

在图7的部分b中的例子中表示在这种情况下的语法。具体地，最初，发送dc系数与初始值“8”之差(scaling_list_dc_coef_minus8)，然后，发送dc系数与ac系数(0,0)之差以及ac系数之差(scaling_list_delta_coef)。也就是说，dc系数和ac系数被共同编码并且发送。

以这种方式，按照获得的顺序排列的差的共同发送使得差被发送到的解码侧(解码器)能够按照发送的顺序对这些差进行解码并且获得各个系数。也就是说，dpcm编码的缩放列表可以被容易地解码。更具体地，可以减少处理负载。另外，不再需要差的重新排列，从而导致缓冲容量的减少。另外，可以按照提供的顺序来解码各个差，从而导致抑制处理时间的增加。

<1-3-3.默认矩阵的发送>

图8是表示用于默认矩阵的发送的语法的例子的示图。在相关技术中，如图8中所示，将初始系数(也就是说，dc系数)发送为“0”以发送指示使用默认矩阵的信息。也就是说，dc系数与初始值“8”之差(scaling_list_dc_coef_minus8)的值是“-8”。然而，如图6中所示，用于值“-8”的指数golomb码具有9比特的码长。也就是说，存在这样的担心：编码效率可能显著降低。通常，希望高级语法的比特数尽可能少。另外，如图8中所示，由于增加的语法的复杂性，处理负载可能增加。

为了解决这些问题，初始系数不被设置为“0”，而是修改scaling_list_pred_matrix_id_delta的语义。更具体地，将scaling_list_pred_matrix_id_delta的语义从图9的部分a中示出的语义修改为图9的部分b中示出的语义。也就是说，在相关技术中，如图9的部分a中所示，等于“0”的值指示参照前一个矩阵(matrixid-1)。替代该描述，如图9的部分b中所示，scaling_list_pred_matrix_id_delta的值等于“0”意味着参照默认矩阵。

因此，用于指示使用默认矩阵的信息的发送的指数golomb码的码长可以等于1比特，并且可以抑制编码效率的降低。另外，在相关技术中，缩放列表需要如图10的部分a和b中所示的语法。可以如图11中示出的例子中一样简化该语法。也就是说，可以减少缩放列表的编码和解码中所包括的处理负载。

<1-4.使用本技术的语法的特征>

将更具体地描述语法。

在图10的部分a和b中示出的相关技术的例子中，默认的确定需要执行两次，即scaling_list_dc_coef_minus8和scaling_list_delta_coef。另外，对于scaling_list_delta_coef，在“for”循环中进行确定，并且当usedefaultscalingmatrixflag＝1时，离开该循环。另外，需要被称为“stopnow”的中间标记，并且因为该条件，还存在诸如将nextcoef代入到scalinglist的值中的分支。以这种方式，相关技术的语法包括复杂的处理。

在本技术中，相应地，如图11中示出的例子中一样，从scaling_list_dc_coef_minus8计算的dc系数被代入到nextcoef中，以将scaling_list_delta_coef的初始值设置为dc系数。

另外，在语义中，在相关技术中由“+1”代表的scaling_list_pred_matrix_id_delta的值保持不变，并且值“0”被用作特殊值。

也就是说，在相关技术中，当scalinglist[0][2]将要被解码(matrixid＝2)时，如果scaling_list_pred_matrix_id_delta＝0，则从refmatrixid＝matrixid-(1+scaling_list_pred_matrix_id_delta)获得matrixid＝2。因此，获得refmatrixid＝1，并且复制scalinglist[0][1]的值。

相比之下，在本技术中，设置refmatrixid＝matrixid-scaling_list_pred_matrix_id_delta。当scalinglist[0][2]将要被解码(matrixid＝2)时，如果将要复制scalinglist[0][1](或者如果将要获得refmatrixid＝1)，则可设置scaling_list_pred_matrix_id_delta＝1。

因此，如图11中所示，缩放列表的语法的行数可以显著减少。另外，将要作为中间数据而包括的两个变量，即usedefaultscalingmatrix和stopnow，可以被省略。另外，可以不再需要如图10中所示的在“for”循环中形成的分支。因此，可以减少缩放列表的编码和解码中所包括的处理负载。

<1-5.实现本技术的处理单元>

在本技术被应用于缩放列表的发送的情况下，以上述方式对缩放列表进行编码和解码。具体地，以下参照图14描述的图像编码装置10对缩放列表进行编码并且发送编码的缩放列表，以及以下参照图22描述的图像解码装置300接收编码的缩放列表并且对编码的缩放列表进行解码。

缩放列表由图像编码装置10的正交变换/量化单元14(图14)中的矩阵处理单元150(图15)进行编码。更具体地，缩放列表由矩阵处理单元150中的熵编码单元164(图16)中的dpcm单元192和exp-g单元193(dpcm单元192和exp-g单元193都被示出在图16中)进行编码。也就是说，dpcm单元192确定缩放列表的系数(dc系数与ac系数)之差，并且exp-g单元193使用指数golomb编码对各个差进行编码。

为了如上所述使用本技术对缩放列表进行编码，dpcm单元192可具有例如图19中所示的示例配置，并且可执行如图21中示出的例子中一样的dpcm处理。另外，可使用如图44的部分c或图45的部分c中示出的例子中一样的语义。

换句话说，可仅需要dpcm单元192和exp-g单元193来使用本技术实现缩放列表的编码，并且可根据需要使用具有任意配置的其它部件。可根据实施例提供需要的配置，诸如用于上转换缩放列表的处理单元和用于使用缩放列表执行量化的处理单元。

另外，缩放列表由图像解码装置300的去量化/逆正交变换单元313(图22)中的矩阵产生单元410(图23)进行解码。更具体地，缩放列表由矩阵产生单元410中的熵解码单元533(图24)中的exp-g单元551和逆dpcm单元552(图24)进行解码。也就是说，exp-g单元551对golomb码进行解码以获得差，并且逆dpcm单元552从各个差确定缩放列表的各系数(dc系数和ac系数)。

为了如上所述使用本技术对编码的缩放列表进行解码，逆dpcm单元552可具有例如图26中所示的示例配置，并且可执行如图29中示出的例子中一样的逆dpcm处理。另外，可使用如图44的部分c或图45的部分c中示出的例子中一样的语义。

换句话说，可仅需要exp-g单元551和逆dpcm单元552来使用本技术实现缩放列表的解码，并且可根据需要使用具有任意配置的其它部件。可根据实施例提供需要的配置，诸如用于上转换缩放列表的处理单元和用于使用缩放列表执行去量化的处理单元。

将在以下描述应用本技术的各实施例，以用于对本技术的更详细的描述。

<2.第二实施例>

<2-1.语法：第一方法>

(1)相关技术的语法

首先，图12表示相关技术中的量化矩阵(或缩放列表)的语法的例子。在实际使用中，通常发送缩放列表及其预测矩阵之间的差矩阵，而非发送缩放列表。因此，在下面对语法等的描述中，假设对缩放列表的描述也可以应用于差矩阵。

图12的部分a表示缩放列表数据的语法(缩放列表数据语法)，而图12的部分b表示缩放列表的语法(缩放列表语法)。

(1-1)缩放列表数据语法

如图12的部分a中所示，缩放列表数据的语法规定：读取指示是否提供缩放列表的标记(scaling_list_present_flag)、指示当前模式是否是复制模式的标记(scaling_list_pred_mode_flag)、指示在复制模式下参照哪个缩放列表的信息(scaling_list_pred_matrix_id_delta)等。

(1-2)缩放列表语法

如图12的部分b中所示，缩放列表的语法规定：读取从其减去常数(例如，8)的dc系数(scaling_list_dc_coef_minus8)、ac系数之间的差值(scaling_list_delta_coef)等，并且恢复dc系数和ac系数。

然而，存在这样的担心：虽然上述各条语法方便处理，但它将不会提供dc系数的足够的压缩效率。

因此，为了获得作为dc分量(直流分量)的系数的dc系数(也被称为直流系数)的足够的压缩效率，确定dc系数与另一个系数之差，并且替代dc系数而发送该差值。也就是说，该差值是用于计算dc系数的信息，并且换句话说，基本上等同于dc系数。然而，该差值通常小于dc系数。因此，替代dc系数的该差值的发送可导致编码量的减少。

在下面的描述中，为了描述的方便，缩放列表(量化矩阵)具有8×8尺寸。将在以下描述上述替代dc系数而发送dc系数与另一个系数之差的方法的具体例子。

(2)第一方法的语法

例如，可使用dpcm(差分脉冲编码调制)发送65个系数，其中dc系数被视为位于8×8矩阵(ac系数)的开始的元素(第一方法)。

也就是说，首先，计算预定常数与dc系数之差，并且该差值被用作dpcm数据的初始系数。然后，计算dc系数与初始ac系数之差，并且该差值被用作dpcm数据的第二系数。然后，计算初始ac系数与第二ac系数之差，并且该差值被用作dpcm数据的第三系数。随后，计算与前一个ac系数的差，并且该差值被用作dpcm数据的第四系数，并且以与上述方式类似的方式确定dpcm数据的随后的系数。从初始系数开始顺序地发送以上述方式产生的dpcm数据的系数。

因此，当8×8矩阵的(0,0)系数(ac系数)和dc系数的值彼此接近时，可以提高压缩比。通过实现上述第一方法，图像编码装置可以以与ac系数(交流系数)的方式类似的方式处理dc系数，其中ac系数是ac分量(也被称为交流分量)的系数。注意，为了实现上述第一方法，上述系数被发送到的图像解码装置需要仅特殊处理初始系数。具体地，图像解码装置需要从ac系数之中提取dc系数。

图13表示在上述情况下的缩放列表的语法。在图13中示出的例子中，读取系数之间的65个差值(scaling_list_delta_coef)，并且在从差值确定的系数(nextcoef)之中，位于开始的系数(nextcoef)被用作dc系数(scaling_list_dc_coef)，而其它系数被用作ac系数(scalinglist[i])。

将在下文中描述实现上述第一方法的语法的图像编码装置。

<2-2.图像编码装置>

图14是表示根据本公开内容的实施例的图像编码装置10的示例配置的方框图。图14中示出的图像编码装置10是应用本技术的图像处理装置，以及该图像处理装置被配置为对输入图像数据进行编码并且输出编码的图像数据。参照图14，图像编码装置10包括a/d(模数)转换单元11(a/d)、重新排列缓冲器12、减法单元13、正交变换/量化单元14、无损编码单元16、累积缓冲器17、速率控制单元18、去量化单元21、逆正交变换单元22、加法器单元23、去块滤波器24、帧存储器25、选择器26、帧内预测单元30、运动搜索单元40和模式选择单元50。

a/d转换单元11将以模拟形式输入的图像信号转换成数字形式的图像数据，并且将数字图像数据序列输出到重新排列缓冲器12。

重新排列缓冲器12重新排列从a/d转换单元11输入的图像数据序列中所包括的图像。在根据用于编码处理的gop(图像组)结构重新排列图像之后，重新排列缓冲器12将图像已被重新排列的图像数据输出到减法单元13、帧内预测单元30和运动搜索单元40。

向减法单元13提供从重新排列缓冲器12输入的图像数据和由模式选择单元50选择的预测图像数据，将在以下对此进行描述。减法单元13计算代表从重新排列缓冲器12输入的图像数据与从模式选择单元50输入的预测图像数据之差的预测误差数据，并且将计算的预测误差数据输出到正交变换/量化单元14。

正交变换/量化单元14对从减法单元13输入的预测误差数据执行正交变换和量化，并且将量化的变换系数数据(在下文中被称为量化的数据)输出到无损编码单元16和去量化单元21。根据从速率控制单元18提供的速率控制信号控制从正交变换/量化单元14输出的量化的数据的比特率。将在以下进一步描述正交变换/量化单元14的详细配置。

向无损编码单元16提供从正交变换/量化单元14输入的量化的数据、用于在解码侧产生缩放列表(或量化矩阵)的信息和关于由模式选择单元50选择的帧内预测或帧间预测的信息。关于帧内预测的信息可包括例如指示每个块的最佳帧内预测模式的预测模式信息。另外，关于帧间预测的信息可包括例如运动向量的逐块预测的预测模式信息、差分运动向量信息、参考图像信息等。此外，用于在解码侧产生缩放列表的信息可包括指示将要被发送的缩放列表的最大尺寸(或缩放列表(量化矩阵)及其预测矩阵之间的差矩阵)的识别信息。

无损编码单元16对量化的数据执行无损编码处理以产生编码流。由无损编码单元16执行的无损编码可以是例如可变长度编码、算术编码等。另外，无损编码单元16将用于产生缩放列表的信息多路复用到编码流的头部(例如，序列参数集和图像参数集)中。无损编码单元16还将上述关于帧内预测或帧间预测的信息多路复用到编码流的头部中。其后，无损编码单元16将产生的编码流输出到累积缓冲器17。

累积缓冲器17使用存储介质(诸如，半导体存储器)临时地累积从无损编码单元16输入的编码流。其后，累积缓冲器17以与传输路径(或图像编码装置10的输出线路)的带宽对应的速率输出累积的编码流。

速率控制单元18监测累积缓冲器17以检查容量的可用性。速率控制单元18根据累积缓冲器17的可用容量产生速率控制信号，并且将产生的速率控制信号输出到正交变换/量化单元14。例如，当累积缓冲器17的可用容量低时，速率控制单元18产生用于减小量化的数据的比特率的速率控制信号。替代地，例如，当累积缓冲器17的可用容量足够高时，速率控制单元18产生用于增加量化的数据的比特率的速率控制信号。

去量化单元21对从正交变换/量化单元14输入的量化的数据执行去量化处理。其后，去量化单元21将通过去量化处理获取的变换系数数据输出到逆正交变换单元22。

逆正交变换单元22对从去量化单元21输入的变换系数数据执行逆正交变换处理以恢复预测误差数据。其后，逆正交变换单元22将恢复的预测误差数据输出到加法器单元23。

加法器单元23将从逆正交变换单元22输入的恢复的预测误差数据和从模式选择单元50输入的预测图像数据相加在一起以产生解码图像数据。其后，加法器单元23将产生的解码图像数据输出到去块滤波器24和帧存储器25。

去块滤波器24执行用于减少由图像的编码引起的块伪像的滤波处理。去块滤波器24对从加法器单元23输入的解码图像数据进行滤波以去除(或至少减少)块伪像，并且将滤波后的解码图像数据输出到帧存储器25。

帧存储器25使用存储介质存储从加法器单元23输入的解码图像数据和从去块滤波器24输入的滤波后的解码图像数据。

选择器26从帧存储器25读取用于帧内预测的待滤波的解码图像数据，并且将读取的解码图像数据提供给帧内预测单元30作为参考图像数据。选择器26还从帧存储器25读取用于帧间预测的滤波后的解码图像数据，并且将读取的解码图像数据提供给运动搜索单元40作为参考图像数据。

帧内预测单元30基于从重新排列缓冲器12输入的待编码的图像数据和经由选择器26提供的解码图像数据，在每个帧内预测模式下执行帧内预测处理。例如，帧内预测单元30使用预定的成本函数评估在每个帧内预测模式下获得的预测结果。然后，帧内预测单元30选择使成本函数值最小化的帧内预测模式(也就是说，提供最高压缩比的帧内预测模式)作为最佳帧内预测模式。另外，帧内预测单元30将指示最佳帧内预测模式的预测模式信息、预测图像数据和关于帧内预测的信息(诸如，成本函数值)输出到模式选择单元50。

运动搜索单元40基于从重新排列缓冲器12输入的待编码的图像数据和经由选择器26提供的解码图像数据执行帧间预测处理(或帧之间预测处理)。例如，运动搜索单元40使用预定的成本函数评估在每个预测模式下获得的预测结果。然后，运动搜索单元40选择使成本函数值最小化的预测模式(也就是说，提供最高压缩比的预测模式)作为最佳预测模式。另外，运动搜索单元40根据最佳预测模式产生预测图像数据。运动搜索单元40将包括指示选择的最佳预测模式的预测模式信息的关于帧间预测的信息、预测图像数据和诸如成本函数值的关于帧间预测的信息输出到模式选择单元50。

模式选择单元50将从帧内预测单元30输入的用于帧内预测的成本函数值与从运动搜索单元40输入的用于帧间预测的成本函数值进行比较。然后，模式选择单元50选择具有用于帧内预测和帧间预测的成本函数值中的较小的成本函数值的预测技术。如果选择了帧内预测，则模式选择单元50将关于帧内预测的信息输出到无损编码单元16，并且还将预测图像数据输出到减法单元13和加法器单元23。替代地，如果选择了帧间预测，则模式选择单元50将上述关于帧间预测的信息输出到无损编码单元16，并且还将预测图像数据输出到减法单元13和加法器单元23。

<2-3.正交变换/量化单元的示例配置>

图15是表示图14中示出的图像编码装置10的正交变换/量化单元14的详细配置的例子的方框图。参照图15，正交变换/量化单元14包括选择单元110、正交变换单元120、量化单元130、缩放列表缓冲器140和矩阵处理单元150。

(1)选择单元

选择单元110从具有不同尺寸的多个变换单位之中选择用于待编码的图像数据的正交变换的变换单位(tu)。可由选择单元110选择的变换单位的可能的尺寸的例子包括用于h.264/avc(高级视频编码)的4×4和8×8，并且包括用于hevc(高效率视频编码)的4×4、8×8、16×16和32×32。选择单元110可根据例如待编码的图像的尺寸或质量、图像编码装置10的性能等选择变换单位。由选择单元110对变换单位的选择可由开发图像编码装置10的用户手工调整。其后，选择单元110将指定所选择的变换单位的尺寸的信息输出到正交变换单元120、量化单元130、无损编码单元16和去量化单元21。

(2)正交变换单元

正交变换单元120以由选择单元110选择的变换单位为单位，对从减法单元13提供的图像数据(也就是说，预测误差数据)执行正交变换。由正交变换单元120执行的正交变换可以是例如离散余弦变换(dct)、karhunen-loève变换等。其后，正交变换单元120将通过正交变换处理获取的变换系数数据输出到量化单元130。

(3)量化单元

量化单元130通过使用与由选择单元110选择的变换单位对应的缩放列表来量化由正交变换单元120产生的变换系数数据。另外，量化单元130根据从速率控制单元18提供的速率控制信号切换量化步长尺寸，以改变将要输出的量化的数据的比特率。

另外，量化单元130使得分别与可由选择单元110选择的多个变换单位对应的各组缩放列表被存储在缩放列表缓冲器140中。例如，在hevc中，如果存在四种可能的变换单位的尺寸，即4×4、8×8、16×16和32×32，则分别与这四种尺寸对应的四组缩放列表可被存储在缩放列表缓冲器140中。注意，如果指定的缩放列表被用于给定的尺寸，则仅指示使用指定的缩放列表(不使用由用户定义的缩放列表)的标记可被与给定的尺寸相关联地存储在缩放列表缓冲器140中。

通常可针对编码流的每个序列设置可由量化单元130使用的一组缩放列表。另外，量化单元130可在逐图像基础上更新针对每个序列设置的一组缩放列表。用于控制一组缩放列表的设置和更新的信息可被插入在例如序列参数集和图片参数集中。

(4)缩放列表缓冲器

缩放列表缓冲器140使用存储介质(诸如，半导体存储器)临时地存储分别与可由选择单元110选择的多个变换单位对应的一组缩放列表。当矩阵处理单元150执行以下描述的处理时，参照存储在缩放列表缓冲器140中的所述一组缩放列表。

(5)矩阵处理单元

矩阵处理单元150对将要被用于编码(量化)的缩放列表进行编码。其后，由矩阵处理单元150产生的缩放列表的编码数据(在下文中被称为编码缩放列表数据)被输出到无损编码单元16，并且可被插入到编码流的头部中。

<2-4.矩阵处理单元的详细示例配置>

图16是表示矩阵处理单元150的更详细的配置的例子的方框图。参照图16，矩阵处理单元150包括预测单元161、差矩阵产生单元162、差矩阵尺寸变换单元163、熵编码单元164、解码单元165和输出单元166。

(1)预测单元

预测单元161产生预测矩阵。如图16中所示，预测单元161包括复制单元171和预测矩阵产生单元172。

在复制模式下，复制单元171复制以前发送的缩放列表，并且使用复制的量化矩阵作为预测矩阵(或预测待处理的正交变换单位的缩放列表)。更具体地，复制单元171从解码单元165中的存储单元202获取以前发送的缩放列表的尺寸和列表id(listid)。尺寸是指示缩放列表的尺寸的信息(从例如4×4到32×32的范围)。列表id是指示待量化的预测误差数据的类型的信息。

例如，列表id包括识别信息，该识别信息指示待量化的预测误差数据是使用经受帧内预测的预测图像产生的亮度分量的预测误差数据(intraluma)、使用经受帧内预测的预测图像产生的色差分量(cr)的预测误差数据(intracr)、使用经受帧内预测的预测图像产生的色差分量(cb)的预测误差数据(intracb)、或使用经受帧间预测的预测图像产生的亮度分量的预测误差数据(interluma)。

复制单元171选择与输入到矩阵处理单元150的缩放列表(待处理的正交变换单位的缩放列表)相同尺寸的以前发送的缩放列表作为待复制的缩放列表，并且将待复制的缩放列表的列表id提供给输出单元166以将列表id输出到在矩阵处理单元150外面的装置(无损编码单元16和去量化单元21)。也就是说，在这种情况下，仅列表id被发送给解码侧(或被包括在编码数据中)作为指示通过复制以前发送的缩放列表产生的预测矩阵的信息。因此，图像编码装置10可以抑制缩放列表的编码量的增加。

另外，在正常模式下，预测矩阵产生单元172从解码单元165中的存储单元202获取以前发送的缩放列表，并且使用该缩放列表产生预测矩阵(或预测待处理的正交变换单位的缩放列表)。预测矩阵产生单元172将产生的预测矩阵提供给差矩阵产生单元162。

(2)差矩阵产生单元

差矩阵产生单元162产生差矩阵(残差矩阵)，该差矩阵(残差矩阵)是从预测单元161(预测矩阵产生单元172)提供的预测矩阵与输入到矩阵处理单元150的缩放列表之差。如图16中所示，差矩阵产生单元162包括预测矩阵尺寸变换单元181、计算单元182和量化单元183。

预测矩阵尺寸变换单元181变换(在下文中也被称为转换)从预测矩阵产生单元172提供的预测矩阵的尺寸，以使得预测矩阵的尺寸与输入到矩阵处理单元150的缩放列表的尺寸匹配。

例如，如果预测矩阵的尺寸大于缩放列表的尺寸，则预测矩阵尺寸变换单元181向下转换(在下文中也被称为下转换)预测矩阵。更具体地，例如，当预测矩阵具有16×16尺寸并且缩放列表具有8×8尺寸时，预测矩阵尺寸变换单元181将预测矩阵下转换为8×8预测矩阵。注意，可使用用于下转换的任何方法。例如，预测矩阵尺寸变换单元181可通过使用滤波器(通过计算)来减少预测矩阵中的元素的数量(在下文中也被称为下采样)。替代地，预测矩阵尺寸变换单元181也可通过例如如图17中所示去除一些元素(例如，二维元素之中的仅偶数编号的元素(在图17中，实心黑色的元素))来减少预测矩阵中的元素的数量而不使用滤波器(在下文中也被称为子采样)。

另外，例如，如果预测矩阵的尺寸小于缩放列表的尺寸，则预测矩阵尺寸变换单元181向上转换(在下文中也被称为上转换)预测矩阵。更具体地，例如，当预测矩阵具有8×8尺寸并且缩放列表具有16×16尺寸时，预测矩阵尺寸变换单元181将预测矩阵上转换为16×16预测矩阵。注意，可使用用于上转换的任何方法。例如，预测矩阵尺寸变换单元181可通过使用滤波器(通过计算)来增加预测矩阵中的元素的数量(在下文中也被称为上采样)。替代地，预测矩阵尺寸变换单元181也可通过例如复制预测矩阵中的各元素来增加预测矩阵中的元素的数量而不使用滤波器(在下文中也被称为逆子采样)。

预测矩阵尺寸变换单元181将其尺寸已与缩放列表的尺寸匹配的预测矩阵提供给计算单元182。

计算单元182用从预测矩阵尺寸变换单元181提供的预测矩阵减去输入到矩阵处理单元150的缩放列表，并且产生差矩阵(残差矩阵)。计算单元182将计算的差矩阵提供给量化单元183。

量化单元183对从计算单元182提供的差矩阵进行量化。量化单元183将量化的差矩阵提供给差矩阵尺寸变换单元163。量化单元183还将用于量化的信息(诸如，量化参数)提供给输出单元166以将该信息输出到在矩阵处理单元150外面的装置(无损编码单元16和去量化单元21)。注意，量化单元183可被省略(也就是说，可不必执行差矩阵的量化)。

(3)差矩阵尺寸变换单元

如果需要，则差矩阵尺寸变换单元163将从差矩阵产生单元162(量化单元183)提供的差矩阵(量化的数据)的尺寸转换成小于或等于在发送中允许的最大尺寸(在下文中也被称为发送尺寸)的尺寸。该最大尺寸可具有任何可选的值，并且例如是8×8。

从图像编码装置10输出的编码数据经由例如传输路径或存储介质被发送给与图像编码装置10对应的图像解码装置，并且由图像解码装置进行解码。在图像编码装置10中设置有在这种传输期间或在从图像编码装置10输出的编码数据中的差矩阵(量化的数据)的尺寸的上限(最大尺寸)。

如果差矩阵的尺寸大于最大尺寸，则差矩阵尺寸变换单元163下转换差矩阵，以使得差矩阵的尺寸变为小于或等于最大尺寸。

注意，类似于上述预测矩阵的下转换，可使用任何方法对差矩阵进行下转换。例如，可使用滤波器等执行下采样，或者可执行包括去除元素的子采样。

另外，下转换后的差矩阵可具有小于最大尺寸的任何尺寸。然而，通常，在转换之前与在转换之后的尺寸的差越大，误差变得越大。因此，希望差矩阵被下转换为最大尺寸。

差矩阵尺寸变换单元163将下转换后的差矩阵提供给熵编码单元164。注意，如果差矩阵的尺寸小于最大尺寸，则不需要上述下转换，并且因此，差矩阵尺寸变换单元163将输入到它的差矩阵按原样提供给熵编码单元164(也就是说，差矩阵的下转换被省略)。

(4)熵编码单元

熵编码单元164使用预定方法对从差矩阵尺寸变换单元163提供的差矩阵(量化的数据)进行编码。如图16中所示，熵编码单元164包括交叠确定单元(135度单元)191、dpcm(差分脉冲编码调制)单元192和exp-g单元193。

交叠确定单元191确定从差矩阵尺寸变换单元163提供的差矩阵的对称性。例如，如图18中所示，如果残差(差矩阵)代表135度对称矩阵，则交叠确定单元191去除作为交叠数据的对称部分的数据(矩阵元素)。如果残差矩阵不代表135度对称矩阵，则交叠确定单元191省略数据(矩阵元素)的去除。交叠确定单元191将已从其去除了对称部分(如果需要的话)的差矩阵的数据提供给dpcm单元192。

dpcm单元192执行从交叠确定单元191提供的已从其去除了对称部分(如果需要的话)的差矩阵的数据的dpcm编码，并且产生dpcm数据。dpcm单元192将产生的dpcm数据提供给exp-g单元193。

exp-g单元193使用有符号或无符号指数golomb码(在下文中也被称为指数golomb码)对从dpcm单元192提供的dpcm数据进行编码。exp-g单元193将编码结果提供给解码单元165和输出单元166。

(5)解码单元

解码单元165从由exp-g单元193提供的数据恢复缩放列表。解码单元165将关于恢复的缩放列表的信息提供给预测单元161作为以前发送的缩放列表。

如图16中所示，解码单元165包括缩放列表恢复单元201和存储单元202。

缩放列表恢复单元201对从熵编码单元164(exp-g单元193)提供的指数golomb码进行解码，以恢复将要被输入到矩阵处理单元150的缩放列表。例如，缩放列表恢复单元201使用与熵编码单元164的编码方法对应的方法对指数golomb码进行解码，以及通过执行与由差矩阵尺寸变换单元163执行的尺寸变换相反的变换并且执行与由量化单元183执行的量化对应的去量化来获得差矩阵。缩放列表恢复单元201还用预测矩阵减去获得的差矩阵以恢复缩放列表。

缩放列表恢复单元201将恢复的缩放列表提供给存储单元202，以便与缩放列表的尺寸和列表id相关联地存储。

存储单元202存储关于从缩放列表恢复单元201提供的缩放列表的信息。存储在存储单元202中的关于缩放列表的信息被用于产生在稍后时间处理的其它正交变换单位的预测矩阵。也就是说，存储单元202将存储的关于缩放列表的信息提供给预测单元161作为关于以前发送的缩放列表的信息。

注意，替代存储关于以上述方式恢复的缩放列表的信息，存储单元202可与输入的缩放列表的尺寸和列表id相关联地存储输入到矩阵处理单元150的缩放列表。在这种情况下，缩放列表恢复单元201可以被省略。

(6)输出单元

输出单元166将提供的各种类型的信息输出到在矩阵处理单元150外面的装置。例如，在复制模式下，输出单元166将从复制单元171提供的预测矩阵的列表id提供给无损编码单元16和去量化单元21。另外，例如，在正常模式下，输出单元166将从exp-g单元193提供的指数golomb码和从量化单元183提供的量化参数提供给无损编码单元16和去量化单元21。

输出单元166还将指示在缩放列表(或缩放列表及其预测矩阵之间的差矩阵)的发送中允许的最大尺寸(发送尺寸)的识别信息提供给无损编码单元16作为用于在解码侧产生缩放列表的信息。如上所述，无损编码单元16创建包括用于产生缩放列表的信息的编码流，并且将编码流提供给解码侧。可由级别、规格等预先指定指示发送尺寸的识别信息。在这种情况下，预先在位于编码侧的设备和位于解码侧的设备之间共享关于发送尺寸的信息。因此，上述识别信息的发送可以被省略。

<2-5.dpcm单元的详细示例配置>

图19是表示dpcm单元192的更详细的配置的例子的方框图。参照图19，dpcm单元192包括dc系数编码单元211和ac系数dpcm单元212。

dc系数编码单元211从由交叠确定单元191提供的系数之中获取dc系数，用预定初始值(例如，8)减去dc系数的值以确定差值，并且使用该差值作为初始(i＝0)差值(scaling_list_delta_coef)。dc系数编码单元211将计算的差值(scaling_list_delta_coef(i＝0))提供给exp-g单元193，作为与正被处理的关注区域对应的缩放列表的初始系数。

ac系数dpcm单元212从由交叠确定单元191提供的系数之中获取ac系数，并且用前一个处理的系数减去ac系数的值以确定差值(scaling_list_delta_coef(i>0))。ac系数dpcm单元212将确定的差值(scaling_list_delta_coef(i>0))提供给exp-g单元193，作为与正被处理的关注区域对应的缩放列表的系数。注意，当i＝1时，前一个系数由i＝0代表。因此，“dc系数”是前一个处理的系数。

以这种方式，dpcm单元192可以发送dc系数作为位于缩放列表(ac系数)的开始的元素。因此，可以提高缩放列表的编码效率。

<2-6.量化矩阵编码处理的流程>

接下来，将参照图20中示出的流程图描述由图16中示出的矩阵处理单元150执行的量化矩阵编码处理的流程的例子。

当量化矩阵编码处理开始时，在步骤s101中，预测单元161获取用于作为待处理的正交变换单位的当前区域(也被称为关注区域)的缩放列表(或量化矩阵)。

在步骤s102中，预测单元161确定当前模式是否是复制模式。如果确定当前模式不是复制模式，则预测单元161使处理前进至步骤s103。

在步骤s103中，预测矩阵产生单元172从存储单元202获取以前发送的缩放列表，并且使用该缩放列表产生预测矩阵。

在步骤s104中，预测矩阵尺寸变换单元181确定在步骤s103中产生的预测矩阵的尺寸是否不同于在步骤s101中获取的用于当前区域(关注区域)的缩放列表的尺寸。如果确定二者尺寸不同，则预测矩阵尺寸变换单元181使处理前进至步骤s105。

在步骤s105中，预测矩阵尺寸变换单元181将在步骤s103中产生的预测矩阵的尺寸转换为在步骤s101中获取的用于当前区域的缩放列表的尺寸。

当步骤s105的处理完成时，预测矩阵尺寸变换单元181使处理前进至步骤s106。如果在步骤s104中确定预测矩阵的尺寸与缩放列表的尺寸相同，则预测矩阵尺寸变换单元181使处理前进至步骤s106，同时跳过步骤s105的处理(或不执行步骤s105的处理)。

在步骤s106中，计算单元182用预测矩阵减去缩放列表以计算预测矩阵与缩放列表之间的差矩阵。

在步骤s107中，量化单元183量化在步骤s106中产生的差矩阵。注意，这个处理可被省略。

在步骤s108中，差矩阵尺寸变换单元163确定量化的差矩阵的尺寸是否大于发送尺寸(在发送中允许的最大尺寸)。如果确定量化的差矩阵的尺寸大于发送尺寸，则差矩阵尺寸变换单元163使处理前进至步骤s109，并且将差矩阵下转换为发送尺寸或更小。

当步骤s109的处理完成时，差矩阵尺寸变换单元163使处理前进至步骤s110。另外，如果在步骤s108中确定量化的差矩阵的尺寸小于或等于发送尺寸，则差矩阵尺寸变换单元163使处理前进至步骤s110，同时跳过步骤s109的处理(或不执行步骤s109的处理)。

在步骤s110中，交叠确定单元191确定量化的差矩阵是否具有135度对称。如果确定量化的差矩阵具有135度对称，则交叠确定单元191使处理前进至步骤s111。

在步骤s111中，交叠确定单元191去除量化的差矩阵中的交叠部分(交叠数据)。在交叠数据被去除之后，交叠确定单元191使处理前进至步骤s112。

另外，如果在步骤s110中确定量化的差矩阵不具有135度对称，则交叠确定单元191使处理前进至步骤s112，同时跳过步骤s111的处理(或不执行步骤s111的处理)。

在步骤s112中，dpcm单元192对已从其去除了交叠部分(如果需要的话)的差矩阵执行dpcm编码。

在步骤s113中，exp-g单元193确定在步骤s112中产生的dpcm数据是否具有正号或负号。如果确定包括符号，则exp-g单元193使处理前进至步骤s114。

在步骤s114中，exp-g单元193使用有符号指数golomb编码对dpcm数据进行编码。输出单元166将产生的指数golomb码输出到无损编码单元16和去量化单元21。当步骤s114的处理完成时，exp-g单元193使处理前进至步骤s116。

另外，如果在步骤s113中确定不包括符号，则exp-g单元193使处理前进至步骤s115。

在步骤s115中，exp-g单元193使用无符号指数golomb编码对dpcm数据进行编码。输出单元166将产生的指数golomb码输出到无损编码单元16和去量化单元21。当步骤s115的处理完成时，exp-g单元193使处理前进至步骤s116。

另外，如果在步骤s102中确定当前模式是复制模式，则复制单元171复制以前发送的缩放列表，并且使用复制的缩放列表作为预测矩阵。输出单元166将与预测矩阵对应的列表id输出到无损编码单元16和去量化单元21作为指示预测矩阵的信息。然后，复制单元171使处理前进至步骤s116。

在步骤s116中，缩放列表恢复单元201恢复缩放列表。在步骤s117中，存储单元202存储在步骤s116中恢复的缩放列表。

当步骤s117的处理完成时，矩阵处理单元150结束量化矩阵编码处理。

<2-7.dpcm处理的流程>

接下来，将参照图21中示出的流程图描述在图20中的步骤s112中执行的dpcm处理的流程的例子。

当dpcm处理开始时，在步骤s131中，dc系数编码单元211确定dc系数与常数之差。在步骤s132中，ac系数dpcm单元212确定dc系数与初始ac系数之差。

在步骤s133中，ac系数dpcm单元212确定是否所有的ac系数已被处理。如果确定存在未处理的ac系数，则ac系数dpcm单元212使处理前进至步骤s134。

在步骤s134中，ac系数dpcm单元212使处理目标改变为随后的ac系数。在步骤s135中，ac系数dpcm单元212确定之前处理的ac系数与正被处理的当前ac系数之差。当步骤s135的处理完成时，ac系数dpcm单元212使处理返回到步骤s133。

以这种方式，只要在步骤s133中确定存在未处理的ac系数，ac系数dpcm单元212就重复地执行步骤s133至s135的处理。如果在步骤s133中确定不存在未处理的ac系数，则ac系数dpcm单元212结束dpcm处理，并且使处理返回到图20。

如上所述，确定dc系数与ac系数之中的位于开始的ac系数之差，并且替代dc系数，该差值被发送给图像解码装置。因此，图像编码装置10可以抑制缩放列表的编码量的增加。

接下来，将描述根据本公开内容的实施例的图像解码装置的示例配置。

<2-8.图像解码装置>

图22是表示根据本公开内容的实施例的图像解码装置300的示例配置的方框图。图22中示出的图像解码装置300是应用本技术的图像处理装置，并且该图像处理装置被配置为对由图像编码装置10产生的编码数据进行解码。参照图22，图像解码装置300包括累积缓冲器311、无损解码单元312、去量化/逆正交变换单元313、加法器单元315、去块滤波器316、重新排列缓冲器317、d/a(数模)转换单元318、帧存储器319、选择器320和321、帧内预测单元330和运动补偿单元340。

累积缓冲器311使用存储介质临时地累积经由传输路径输入的编码流。

无损解码单元312根据用于编码的编码方案对从累积缓冲器311输入的编码流进行解码。无损解码单元312还对编码流的头部区域中多路复用的信息进行解码。编码流的头部区域中多路复用的信息可包括例如用于产生上述缩放列表的信息以及块头部中所包含的关于帧内预测的信息和关于帧间预测的信息。无损解码单元312将解码的量化的数据和用于产生缩放列表的信息输出到去量化/逆正交变换单元313。无损解码单元312还将关于帧内预测的信息输出到帧内预测单元330。无损解码单元312还将关于帧间预测的信息输出到运动补偿单元340。

去量化/逆正交变换单元313对从无损解码单元312输入的量化的数据执行去量化和逆正交变换以产生预测误差数据。其后，去量化/逆正交变换单元313将产生的预测误差数据输出到加法器单元315。

加法器单元315将从去量化/逆正交变换单元313输入的预测误差数据和从选择器321输入的预测图像数据相加在一起以产生解码图像数据。其后，加法器单元315将产生的解码图像数据输出到去块滤波器316和帧存储器319。

去块滤波器316对从加法器单元315输入的解码图像数据进行滤波以去除块伪像，并且将滤波后的解码图像数据输出到重新排列缓冲器317和帧存储器319。

重新排列缓冲器317重新排列从去块滤波器316输入的图像以产生时间系列图像数据序列。其后，重新排列缓冲器317将产生的图像数据输出到d/a转换单元318。

d/a转换单元318将从重新排列缓冲器317输入的数字形式的图像数据转换成模拟形式的图像信号。其后，d/a转换单元318将模拟图像信号输出到例如连接到图像解码装置300的显示器(未示出)以显示图像。

帧存储器319使用存储介质存储从加法器单元31输入的待滤波的解码图像数据和从去块滤波器316输入的滤波后的解码图像数据。

选择器320根据由无损解码单元312获取的模式信息，针对图像中的每个块在帧内预测单元330和运动补偿单元340之间切换从帧存储器319提供的图像数据将要被输出到的目的地。例如，如果指定了帧内预测模式，则选择器320将从帧存储器319提供的待滤波的解码图像数据输出到帧内预测单元330作为参考图像数据。另外，如果指定了帧间预测模式，则选择器320将从帧存储器319提供的滤波的解码图像数据输出到运动补偿单元340作为参考图像数据。

选择器321根据由无损解码单元312获取的模式信息，针对图像中的每个块在帧内预测单元330和运动补偿单元340之间切换将要从其输出将要被提供给加法器单元315的预测图像数据的源。例如，如果指定了帧内预测模式，则选择器321将从帧内预测单元330输出的预测图像数据提供给加法器单元315。如果指定了帧间预测模式，则选择器321将从运动补偿单元340输出的预测图像数据提供给加法器单元315。

帧内预测单元330基于从无损解码单元312输入的关于帧内预测的信息和从帧存储器319提供的参考图像数据执行像素值的屏幕内预测，并且产生预测图像数据。其后，帧内预测单元330将产生的预测图像数据输出到选择器321。

运动补偿单元340基于从无损解码单元312输入的关于帧间预测的信息和从帧存储器319提供的参考图像数据执行运动补偿处理，并且产生预测图像数据。其后，运动补偿单元340将产生的预测图像数据输出到选择器321。

<2-9.去量化/逆正交变换单元的示例配置>

图23是表示图22中示出的图像解码装置300的去量化/逆正交变换单元313的主要配置的例子的方框图。参照图23，去量化/逆正交变换单元313包括矩阵产生单元410、选择单元430、去量化单元440和逆正交变换单元450。

(1)矩阵产生单元

矩阵产生单元410对从比特流提取并且由无损解码单元312提供的编码缩放列表数据进行解码，并且产生缩放列表。矩阵产生单元410将产生的缩放列表提供给去量化单元440。

(2)选择单元

选择单元430从具有不同尺寸的多个变换单位之中选择用于待解码的图像数据的逆正交变换的变换单位(tu)。可由选择单元430选择的变换单位的可能的尺寸的例子包括用于h.264/avc的4×4和8×8，并且包括用于hevc的4×4、8×8、16×16和32×32。选择单元430可根据例如编码流的头部中所包含的lcu、scu和split_flag选择变换单位。其后，选择单元430将指定所选择的变换单位的尺寸的信息输出到去量化单元440和逆正交变换单元450。

(3)去量化单元

去量化单元440通过使用由选择单元430选择的变换单位的缩放列表，对当对图像进行编码时量化的变换系数数据进行去量化。其后，去量化单元440将去量化的变换系数数据输出到逆正交变换单元450。

(4)逆正交变换单元

逆正交变换单元450根据用于编码的正交变换方案，以选择的变换单位为单位对由去量化单元440去量化的变换系数数据执行逆正交变换以产生预测误差数据。其后，逆正交变换单元450将产生的预测误差数据输出到加法器单元315。

<2-10.矩阵产生单元的详细示例配置>

图24是表示图23中示出的矩阵产生单元410的详细配置的例子的方框图。参照图24，矩阵产生单元410包括参数分析单元531、预测单元532、熵解码单元533、缩放列表恢复单元534、输出单元535和存储单元536。

(1)参数分析单元

参数分析单元531分析从无损解码单元312提供的关于缩放列表的各种标记和参数。另外，根据分析结果，参数分析单元531将从无损解码单元312提供的各种信息(诸如，差矩阵的编码数据)提供给预测单元532或熵解码单元533。

例如，如果pred_mode等于0，则参数分析单元531确定当前模式是复制模式，并且将pred_matrix_id_delta提供给复制单元541。另外，例如，如果pred_mode等于1，则参数分析单元531确定当前模式是全扫描模式(正常模式)，并且将pred_matrix_id_delta和pred_size_id_delta提供给预测矩阵产生单元542。

另外，例如，如果residual_flag为真，则参数分析单元531将从无损解码单元312提供的缩放列表的编码数据(指数golomb码)提供给熵解码单元533的exp-g单元551。参数分析单元531还将residual_symmetry_flag提供给exp-g单元551。

另外，参数分析单元531将residual_down_sampling_flag提供给缩放列表恢复单元534的差矩阵尺寸变换单元562。

(2)预测单元

预测单元532根据参数分析单元531的控制产生预测矩阵。如图24中所示，预测单元532包括复制单元541和预测矩阵产生单元542。

在复制模式下，复制单元541复制以前发送的缩放列表，并且使用复制的缩放列表作为预测矩阵。更具体地，复制单元541从存储单元536读取与pred_matrix_id_delta对应并且具有与用于当前区域的缩放列表相同的尺寸的以前发送的缩放列表，使用读取的缩放列表作为预测图像，并且将预测图像提供给输出单元535。

在正常模式下，预测矩阵产生单元542使用以前发送的缩放列表产生(或预测)预测矩阵。更具体地，预测矩阵产生单元542从存储单元536读取与pred_matrix_id_delta和pred_size_id_delta对应的以前发送的缩放列表，并且使用读取的缩放列表产生预测矩阵。换句话说，预测矩阵产生单元542产生与由图像编码装置10的预测矩阵产生单元172(图16)产生的预测矩阵类似的预测矩阵。预测矩阵产生单元542将产生的预测矩阵提供给缩放列表恢复单元534的预测矩阵尺寸变换单元561。

(3)熵解码单元

熵解码单元533从由参数分析单元531提供的指数golomb码恢复差矩阵。如图24中所示，熵解码单元533包括exp-g单元551、逆dpcm单元552和逆交叠确定单元553。

exp-g单元551对有符号或无符号指数golomb码进行解码(在下文中也被称为指数golomb解码)以恢复dpcm数据。exp-g单元551将恢复的dpcm数据与residual_symmetry_flag一起提供给逆dpcm单元552。

逆dpcm单元552对已从其去除了交叠部分的数据执行dpcm解码以从dpcm数据产生残差数据。逆dpcm单元552将产生的残差数据与residual_symmetry_flag一起提供给逆交叠确定单元553。

如果residual_symmetry_flag为真，也就是说，如果残差数据是已从其去除了交叠对称部分的数据(矩阵元素)的135度对称矩阵的剩余部分，则逆交叠确定单元553恢复对称部分的数据。换句话说，恢复135度对称矩阵的差矩阵。注意，如果residual_symmetry_flag不为真，也就是说，如果残差数据代表不是135度对称矩阵的矩阵，则逆交叠确定单元553使用残差数据作为差矩阵，而不恢复对称部分的数据。逆交叠确定单元553将以上述方式恢复的差矩阵提供给缩放列表恢复单元534(差矩阵尺寸变换单元562)。

(4)缩放列表恢复单元

缩放列表恢复单元534恢复缩放列表。如图24中所示，缩放列表恢复单元534包括预测矩阵尺寸变换单元561、差矩阵尺寸变换单元562、去量化单元563和计算单元564。

如果从预测单元532(预测矩阵产生单元542)提供的预测矩阵的尺寸不同于待恢复的用于当前区域的缩放列表的尺寸，则预测矩阵尺寸变换单元561转换预测矩阵的尺寸。

例如，如果预测矩阵的尺寸大于缩放列表的尺寸，则预测矩阵尺寸变换单元561对预测矩阵进行下转换。另外，例如，如果预测矩阵的尺寸小于缩放列表的尺寸，则预测矩阵尺寸变换单元561对预测矩阵进行上转换。与用于图像编码装置10的预测矩阵尺寸变换单元181(图16)的方法相同的方法被选择为转换方法。

预测矩阵尺寸变换单元561将其尺寸已与缩放列表的尺寸匹配的预测矩阵提供给计算单元564。

如果residual_down_sampling_flag为真，也就是说，如果发送的差矩阵的尺寸小于待量化的当前区域的尺寸，则差矩阵尺寸变换单元562对差矩阵进行上转换，以将差矩阵的尺寸增加至与将要被去量化的当前区域对应的尺寸。可使用用于上转换的任何方法。例如，可使用与由图像编码装置10的差矩阵尺寸变换单元163(图16)执行的下转换方法对应的方法。

例如，如果差矩阵尺寸变换单元163已对差矩阵进行了下采样，则差矩阵尺寸变换单元562可对差矩阵进行上采样。替代地，如果差矩阵尺寸变换单元163已对差矩阵进行了子采样，则差矩阵尺寸变换单元562可对差矩阵执行逆子采样。

例如，差矩阵尺寸变换单元562可执行如图25中所示的最近邻居内插处理(最近邻居)，而非通常的线性内插。最近邻居内插处理可以减少存储容量。

因此，即使未发送具有大尺寸的缩放列表，也不需要为了从具有小尺寸的缩放列表进行上采样而存储在上采样之后获得的数据。另外，当在上采样期间的计算中涉及的数据被存储时，不需要中间缓冲器等。

注意，如果residual_down_sampling_flag不为真，也就是说，如果以与当用于量化处理时的尺寸相同的尺寸发送差矩阵时，差矩阵尺寸变换单元562省略差矩阵的上转换(或可通过因数1对差矩阵进行上转换)。

差矩阵尺寸变换单元562根据需要将以上述方式上转换的差矩阵提供给去量化单元563。

去量化单元563使用与由图像编码装置10的量化单元183(图16)执行的量化的方法对应的方法对提供的差矩阵(量化的数据)进行去量化，并且将去量化的差矩阵提供给计算单元564。注意，如果量化单元183被省略，也就是说，如果从差矩阵尺寸变换单元562提供的差矩阵不是量化的数据，则去量化单元563可以被省略。

计算单元564将从预测矩阵尺寸变换单元561提供的预测矩阵和从去量化单元563提供的差矩阵相加在一起，并且恢复用于当前区域的缩放列表。计算单元564将恢复的缩放列表提供给输出单元535和存储单元536。

(5)输出单元

输出单元535将提供的信息输出到在矩阵产生单元410外面的装置。例如，在复制模式下，输出单元535将从复制单元541提供的预测矩阵提供给去量化单元440作为用于当前区域的缩放列表。另外，例如，在正常模式下，输出单元535将从缩放列表恢复单元534(计算单元564)提供的用于当前区域的缩放列表提供给去量化单元440。

(6)存储单元

存储单元536存储从缩放列表恢复单元534(计算单元564)提供的缩放列表以及缩放列表的尺寸和列表id。存储在存储单元536中的关于缩放列表的信息被用于产生在稍后时间处理的其它正交变换单位的预测矩阵。换句话说，存储单元536将存储的关于缩放列表的信息提供给预测单元532，作为关于以前发送的缩放列表的信息。

<2-11.逆dpcm单元的详细示例配置>

图26是表示图24中示出的逆dpcm单元552的详细配置的例子的方框图。参照图26，逆dpcm单元552包括初始设置单元571、dpcm解码单元572和dc系数提取单元573。

初始设置单元571获取sizeid和matrixid，并且将各种变量设置为初始值。初始设置单元571将获取的和设置的信息提供给dpcm解码单元572。

dpcm解码单元572使用从初始设置单元571提供的初始设置等，从dc系数与ac系数的差值(scaling_list_delta_coef)确定各系数(dc系数和ac系数)。dpcm解码单元572将确定的系数提供给dc系数提取单元573(scalinglist[i])。

dc系数提取单元573从由dpcm解码单元572提供的系数(scalinglist[i])之中提取dc系数。dc系数位于ac系数的开始。也就是说，从dpcm解码单元572提供的系数之中的初始系数(scalinglist[0])是dc系数。dc系数提取单元573提取位于开始的系数作为dc系数，并且将提取的系数输出到逆交叠确定单元553(dc_coef)。dc系数提取单元573将其它系数(scalinglist[i](i>0))输出到逆交叠确定单元553作为ac系数。

因此，逆dpcm单元552可以执行正确的dpcm解码，并且可以获得dc系数和ac系数。也就是说，图像解码装置300可以抑制缩放列表的编码量的增加。

<2-12.量化矩阵解码处理的流程>

将参照图27中示出的流程图描述由具有上述配置的矩阵产生单元410执行的量化矩阵解码处理的流程的例子。

当量化矩阵解码处理开始时，在步骤s301中，参数分析单元531读取区域0至3的量化的值(qscale0至qscale3)。

在步骤s302中，参数分析单元531读取pred_mode。在步骤s303中，参数分析单元531确定pred_mode是否等于0。如果确定pred_mode等于0，则参数分析单元531确定当前模式是复制模式，并且使处理前进至步骤s304。

在步骤s304中，参数分析单元531读取pred_matrix_id_delta。在步骤s305中，复制单元541复制已被发送的缩放列表，并且使用复制的缩放列表作为预测矩阵。在复制模式下，预测矩阵被输出为用于当前区域的缩放列表。当步骤s305的处理完成时，复制单元541结束量化矩阵解码处理。

另外，如果在步骤s303中确定pred_mode不等于0，则参数分析单元531确定当前模式是全扫描模式(正常模式)，并且使处理前进至步骤s306。

在步骤s306中，参数分析单元531读取pred_matrix_id_delta、pred_size_id_delta和residual_flag。在步骤s307中，预测矩阵产生单元542从已发送的缩放列表产生预测矩阵。

在步骤s308中，参数分析单元531确定residual_flag是否为真。如果确定residual_flag不为真，则不存在残差矩阵，并且在步骤s307中产生的预测矩阵被输出为用于当前区域的缩放列表。因此，在这种情况下，参数分析单元531结束量化矩阵解码处理。

另外，如果在步骤s308中确定residual_flag为真，则参数分析单元531使处理前进至步骤s309。

在步骤s309中，参数分析单元531读取residual_down_sampling_flag和residual_symmetry_flag。

在步骤s310中，exp-g单元551和逆dpcm单元552对残差矩阵的指数golomb码进行解码，并且产生残差数据。

在步骤s311中，逆交叠确定单元553确定residual_symmetry_flag是否为真。如果确定residual_symmetry_flag为真，则逆交叠确定单元553使处理前进至步骤s312，并且恢复残差数据的去除的交叠部分(或执行逆对称处理)。当以上述方式产生作为135度对称矩阵的差矩阵时，逆交叠确定单元553使处理前进至步骤s313。

另外，如果在步骤s311中确定residual_symmetry_flag不为真(或如果残差数据是这样的差矩阵，即该差矩阵不是135度对称矩阵)，则逆交叠确定单元553使处理前进至步骤s313，同时跳过步骤s312的处理(或不执行逆对称处理)。

在步骤s313中，差矩阵尺寸变换单元562确定residual_down_sampling_flag是否为真。如果确定residual_down_sampling_flag为真，则差矩阵尺寸变换单元562使处理前进至步骤s314，并且将差矩阵上转换为与将要被去量化的当前区域对应的尺寸。在差矩阵被上转换之后，差矩阵尺寸变换单元562使处理前进至步骤s315。

另外，如果在步骤s313中确定residual_down_sampling_flag不为真，则差矩阵尺寸变换单元562使处理前进至步骤s315，同时跳过步骤s314的处理(或不对差矩阵进行上转换)。

在步骤s315中，计算单元564将差矩阵与预测矩阵相加以产生用于当前区域的缩放列表。当步骤s315的处理完成时，量化矩阵解码处理结束。

<2-13.残差信号解码处理的流程>

接下来，将参照图28中示出的流程图描述在图27中的步骤s310中执行的残差信号解码处理的流程的例子。

当残差信号解码处理开始时，在步骤s331中，exp-g单元551对提供的指数golomb码进行解码。

在步骤s332中，逆dpcm单元552对由exp-g单元551通过解码获得的dpcm数据执行逆dpcm处理。

当逆dpcm处理完成时，逆dpcm单元552结束残差信号解码处理，并且使处理返回到图27。

<2-14.逆dpcm处理的流程>

接下来，将参照图29中示出的流程图描述在图28中的步骤s332中执行的逆dpcm处理的流程的例子。

当逆dpcm处理开始时，在步骤s351中，初始设置单元571获取sizeid和matrixid。

在步骤s352中，初始设置单元571如下设置coefnum。

coefnum＝min((1<<(4+(sizeid<<1))),65)

在步骤s353中，初始设置单元571如下设置变量i和变量nextcoef。

i＝0

nextcoef＝8

在步骤s354中，dpcm解码单元572确定是否变量i<coefnum。如果变量i小于coefnum，则初始设置单元571使处理前进至步骤s355。

在步骤s355中，dpcm解码单元572读取系数的dpcm数据(scaling_list_delta_coef)。

在步骤s356中，dpcm解码单元572使用读取的dpcm数据如下地确定nextcoef，并且还确定scalinglist[i]。

nextcoef＝(nextcoef+scaling_list_delta_coef+256)％256

scalinglist[i]＝nextcoef

在步骤s357中，dc系数提取单元573确定sizeid是否大于1以及变量i是否等于0(也就是说，位于开始的系数)。如果确定sizeid大于1并且变量i代表位于开始的系数，则dc系数提取单元573使处理前进至步骤s358，并且使用该系数作为dc系数(dc_coef＝nextcoef)。当步骤s358的处理完成时，dc系数提取单元573使处理前进至步骤s360。

另外，如果在步骤s357中确定sizeid小于或等于1或者变量i不代表位于开始的系数，则dc系数提取单元573使处理前进至步骤s359，并且针对每个系数使变量i改变一，因为dc系数已被提取。(scalinglist[(i-(sizeid)>1)？1；0]＝nextcoef)如果步骤s359的处理完成，则dc系数提取单元573使处理前进至步骤s360。

在步骤s360中，dpcm解码单元572使变量i增加以将处理目标改变为随后的系数，然后使处理返回到步骤s354。

在步骤s354中，重复地执行步骤s354至s360的处理，直至确定变量i大于或等于coefnum。如果在步骤s354中确定变量i大于或等于coefnum，则dpcm解码单元572结束逆dpcm处理，并且使处理返回到图28。

因此，dc系数与位于ac系数的开始的ac系数之差可被正确地解码。因此，图像解码装置300可以抑制缩放列表的编码量的增加。

<3.第三实施例>

<3-1.语法：第二方法>

用于替代dc系数而发送dc系数与另一个系数之差的另一方法可以是例如：发送dc系数与8×8矩阵的(0,0)分量之差作为与8×8矩阵的dpcm数据不同的dpcm数据(第二方法)。例如，在8×8矩阵的dpcm发送之后，可发送dc系数与8×8矩阵的(0,0)分量之差。

因此，类似于第一方法，当8×8矩阵的(0,0)系数(ac系数)的值和dc系数的值彼此接近时，可以进一步提高压缩比。

图30表示第二方法中的缩放列表的语法。在图30中示出的例子中，读取系数之间的64个差值(scaling_list_delta_coef)。最后，读取dc系数与(0,0)系数(ac系数)之差(scaling_list_dc_coef_delta)，并且从该差确定dc系数。

在第二方法中，相应地，用于对ac系数进行解码的语法可以类似于图12中示出的相关技术的语法。也就是说，通过少量修改相关技术的例子可以获得第二方法的语法，并且第二方法的语法可以比第一方法的语法更可行。

然而，第一方法允许图像解码装置在图像解码装置接收到初始系数时恢复dc系数，而第二方法不允许图像解码装置获得dc系数，直至图像解码装置已接收到所有的系数并且已解压缩所有的dpcm数据。

将在下文中描述实现上述第二方法的语法的图像编码装置。

<3-2.dpcm单元的详细示例配置>

在第二方法中，图像编码装置10具有与上述第一方法中的配置基本上类似的配置。具体地，图像编码装置10具有与图14中示出的例子一样的配置。另外，正交变换/量化单元14具有与图15中示出的例子一样的配置。另外，矩阵处理单元150具有与图16中示出的例子一样的配置。

第二例子中的dpcm单元192的示例配置被示出在图31中。如图31中所示，在第二例子中，dpcm单元192包括ac系数缓冲器611、ac系数编码单元612、ac系数dpcm单元613和dc系数dpcm单元614。

ac系数缓冲器611存储从交叠确定单元191提供的初始ac系数(也就是说，(0,0)系数)。在所有的ac系数已经过了dpcm处理之后的预定定时，或者响应于请求，ac系数缓冲器611将存储的初始ac系数(ac系数(0,0))提供给dc系数dpcm单元614。

ac系数编码单元612获取从交叠确定单元191提供的初始ac系数(ac系数(0,0))，并且用常数(例如，8)减去初始ac系数的值。ac系数编码单元612将减法结果(差)提供给exp-g单元193，作为ac系数的dpcm数据的初始系数(scaling_list_delta_coef(i＝0))。

ac系数dpcm单元613获取从交叠确定单元191提供的ac系数，针对第二ac系数和随后的ac系数中的每一个确定与前一个ac系数的差(dpcm)，并且将确定的差提供给exp-g单元193作为dpcm数据(scaling_list_delta_coef(i＝1至63))。

dc系数dpcm单元614获取从交叠确定单元191提供的dc系数。dc系数dpcm单元614还获取保存在ac系数缓冲器611中的初始ac系数(ac系数(0,0))。dc系数dpcm单元614用dc系数减去初始ac系数(ac系数(0,0))以确定它们之差，并且将确定的差提供给exp-g单元193作为dc系数的dpcm数据(scaling_list_dc_coef_delta)。

如上所述，在第二方法中，确定dc系数与另一个系数(初始ac系数)之差。然后，在作为ac系数之差的ac系数的dpcm数据(scaling_list_delta_coef)的发送之后，发送该差值作为与ac系数的dpcm数据不同的dc系数的dpcm数据(scaling_list_dc_coef_delta)。因此，类似于第一方法，图像编码装置10可以提高缩放列表的编码效率。

<3-3.dpcm处理的流程>

此外，在第二方法中，图像编码装置10以与参照图20中示出的流程图描述的第一方法中的方式类似的方式执行量化矩阵编码处理。

将参照图32中示出的流程图描述在图20中的步骤s112中执行的第二方法中的dpcm处理的流程的例子。

当dpcm处理开始时，在步骤s401中，ac系数缓冲器611保存初始ac系数。

在步骤s402中，ac系数编码单元612用预定常数(例如，8)减去初始ac系数以确定它们之差(初始dpcm数据)。

ac系数dpcm单元613以类似于图21中的步骤s133至s135的处理的方式来执行步骤s403至s405的处理。也就是说，步骤s403至s405的处理被重复地执行以产生所有ac系数的dpcm数据(与前一个ac系数的差)。

如果在步骤s403中确定所有的ac系数已被处理(也就是说，如果不存在未处理的ac系数)，则ac系数dpcm单元613使处理前进至步骤s406。

在步骤s406中，dc系数dpcm单元614用dc系数减去在步骤s401中保存的初始ac系数以确定它们之差(dc系数的dpcm数据)。

当步骤s406的处理完成时，dc系数dpcm单元614结束dpcm处理，并且使处理返回到图20。

因此，还确定dc系数与另一个系数之差并且将该差发送给图像解码装置作为dpcm数据。因此，图像编码装置10可以抑制缩放列表的编码量的增加。

<3-4.逆dpcm单元的详细示例配置>

在第二方法中，图像解码装置300具有与第一方法中的配置基本上类似的配置。具体地，在第二方法中，图像解码装置300也具有与图22中示出的例子一样的配置。另外，去量化/逆正交变换单元313具有与图23中示出的例子一样的配置。此外，矩阵产生单元410具有与图24中示出的例子一样的配置。

图33是表示第二方法中的图24中示出的逆dpcm单元552的详细配置的例子的方框图。参照图33，逆dpcm单元552包括初始设置单元621、ac系数dpcm解码单元622、ac系数缓冲器623和dc系数dpcm解码单元624。

初始设置单元621获取sizeid和matrixid，并且将各种变量设置为初始值。初始设置单元621将获取的和设置的信息提供给ac系数dpcm解码单元622。

ac系数dpcm解码单元622获取从exp-g单元551提供的ac系数的dpcm数据(scaling_list_delta_coef)。ac系数dpcm解码单元622使用从初始设置单元621提供的初始设置等，对获取的ac系数的dpcm数据进行解码以确定ac系数。ac系数dpcm解码单元622将确定的ac系数(scalinglist[i])提供给逆交叠确定单元553。ac系数dpcm解码单元622还将所确定的ac系数之中的初始ac系数(scalinglist[0]，也就是说，ac系数(0,0))提供给ac系数缓冲器623以进行保存。

ac系数缓冲器623存储从ac系数dpcm解码单元622提供的初始ac系数(scalinglist[0]，也就是说，ac系数(0,0))。在预定定时或响应于请求，ac系数缓冲器623将初始ac系数(scalinglist[0]，也就是说，ac系数(0,0))提供给dc系数dpcm解码单元624。

dc系数dpcm解码单元624获取从exp-g单元551提供的dc系数的dpcm数据(scaling_list_dc_coef_delta)。dc系数dpcm解码单元624还获取存储在ac系数缓冲器623中的初始ac系数(scalinglist[0]，也就是说，ac系数(0,0))。dc系数dpcm解码单元624使用初始ac系数对dc系数的dpcm数据进行解码以确定dc系数。dc系数dpcm解码单元624将确定的dc系数(dc_coef)提供给逆交叠确定单元553。

因此，逆dpcm单元552可以执行正确的dpcm解码，并且可以获得dc系数和ac系数。也就是说，图像解码装置300可以抑制缩放列表的编码量的增加。

<3-5.逆dpcm处理的流程>

此外，在第二方法中，图像解码装置300以与以上参照图27中示出的流程图描述的第一方法中的方式类似的方式执行量化矩阵解码处理。类似地，图像解码装置300以与以上参照图28中示出的流程图描述的第一方法中的方式类似的方式执行残差信号解码处理。

将参照图34中示出的流程图描述由逆dpcm单元552执行的逆dpcm处理的流程的例子。

当逆dpcm处理开始时，在步骤s421中，初始设置单元621获取sizeid和matrixid。

在步骤s422中，初始设置单元621如下地设置coefnum。

coefnum＝min((1<<(4+(sizeid<<1))),64)

在步骤s423中，初始设置单元621如下地设置变量i和变量nextcoef。

i＝0

nextcoef＝8

在步骤s424中，dpcm解码单元572确定是否变量i<coefnum。如果变量i小于coefnum，则初始设置单元621使处理前进至步骤s425。

在步骤s425中，ac系数dpcm解码单元622读取ac系数的dpcm数据(scaling_list_delta_coef)。

在步骤s426中，ac系数dpcm解码单元622使用读取的dpcm数据如下地确定nextcoef，并且还确定scalinglist[i]。

nextcoef＝(nextcoef+scaling_list_delta_coef+256)％256

scalinglist[i]＝nextcoef

注意，计算的初始ac系数(scalinglist[0]，也就是说，ac系数(0,0))被保存在ac系数缓冲器623中。

在步骤s427中，ac系数dpcm解码单元622使变量i递增以将待处理的目标改变为随后的系数，然后使处理返回到步骤s424。

在步骤s424中，重复地执行步骤s424至s427的处理，直至确定变量i大于或等于coefnum。如果在步骤s424中确定变量i大于或等于coefnum，则ac系数dpcm解码单元622使处理前进至步骤428。

在步骤s428中，dc系数dpcm解码单元624确定sizeid是否大于1。如果确定sizeid大于1，则dc系数dpcm解码单元624使处理前进至步骤s429，并且读取dc系数的dpcm数据(scaling_list_dc_coef_delta)。

在步骤s430中，dc系数dpcm解码单元624获取保存在ac系数缓冲器623中的初始ac系数(scalinglist[0]，也就是说，ac系数(0,0))，并且如下地使用初始ac系数对dc系数(dc_coef)的dpcm数据进行解码。

dc_coef＝scaling_list_dc_coef_delta+scalinglist[0]

当获得了dc系数(dc_coef)时，dc系数dpcm解码单元624结束逆dpcm处理，并且使处理返回到图28。

另外，如果在步骤s428中确定sizeid小于或等于1，则dc系数dpcm解码单元624结束逆dpcm处理，并且使处理返回到图28。

因此，dc系数与位于ac系数的开始的ac系数之差可以被正确地解码。因此，图像解码装置300可以抑制缩放列表的编码量的增加。

<4.第四实施例>

<4-1.语法：第三方法>

在上述第二方法中，dc系数还可能局限于小于初始ac系数(ac系数(0,0))的值(第三方法)。

这确保dc系数的dpcm数据(也就是说，通过用dc系数减去初始ac系数而获得的差值)可以是正值。因此，可以使用无符号指数golomb码对该dpcm数据进行编码。因此，第三方法可防止dc系数大于初始ac系数，但与第一方法和第二方法相比较可以减少编码量。

图35表示第三方法中的缩放列表的语法。如图35中所示，在这种情况下，dc系数的dpcm数据(scaling_list_dc_coef_delta)局限于正值。

上述第三方法的语法可以由与第二方法中的图像编码装置类似的图像编码装置10来实现。然而，在第三方法中，exp-g单元193可以使用无符号指数golomb码对dc系数的dpcm数据进行编码。注意，图像编码装置10可以以与第二方法中的方式类似的方式执行处理，诸如量化矩阵编码处理和dpcm处理。

另外，可以由图像解码装置300以与第二方法中的方式类似的方式来实现第三方法的语法。此外，图像解码装置300可以以与第二方法中的方式类似的方式执行量化矩阵解码处理。

<4-2.逆dpcm处理的流程>

将参照图36中示出的流程图描述由逆dpcm单元552执行的逆dpcm处理的流程的例子。

以类似于图34中的步骤s421至s429的处理的方式执行步骤s451至s459的处理。

在步骤s460中，dc系数dpcm解码单元624获取保存在ac系数缓冲器623中的初始ac系数(scalinglist[0]，也就是说，ac系数(0,0))，并且如下地使用初始ac系数对dc系数(dc_coef)的dpcm数据进行解码。

dc_coef＝scalinglist[0]-scaling_list_dc_coef_delta

当获得了dc系数(dc_coef)时，dc系数dpcm解码单元624结束逆dpcm处理，并且使处理返回到图28。

另外，如果在步骤s458中确定sizeid小于或等于1，则dc系数dpcm解码单元624结束逆dpcm处理，并且使处理返回到图28。

因此，dc系数与位于ac系数的开始的ac系数之差可以被正确地解码。因此，图像解码装置300可以抑制缩放列表的编码量的增加。

<5.第五实施例>

<5-1.语法：第四方法>

用于替代dc系数而发送dc系数与另一个系数之差的另一个方法可以是例如：仅收集多个缩放列表的dc系数，并且通过分别获得各缩放列表的dc系数与ac系数之差来执行dpcm(第四方法)。在这种情况下，dc系数的dpcm数据是用于多个缩放列表的数据的集合，并且被发送作为与各缩放列表的ac系数的dpcm数据不同的数据。

因此，例如当在缩放列表(matrixid)的dc系数之间存在关联时，可以进一步提高压缩比。

图37表示第四方法中的缩放列表的dc系数的语法。在这种情况下，如图37中示出的例子中所示，由于在与各缩放列表的ac系数的周期不同的周期中处理dc系数，所以用于ac系数的处理和用于dc系数的处理需要彼此独立。

这确保可以实现用于缩放列表编码和解码处理的更多的各种方法，但dpcm处理和逆dpcm处理的复杂性可能增加。例如，可以被容易地实现用于在复制模式下仅复制ac系数并且使dc系数的值不同的处理。

dc系数被共同处理的缩放列表的数量是任意的。

<5-2.dpcm单元的详细示例配置>

在第四方法中，图像编码装置10具有与上述第一方法中的配置基本上类似的配置。具体地，图像编码装置10具有与图14中示出的例子一样的配置。另外，正交变换/量化单元14具有与图15中示出的例子一样的配置。此外，矩阵处理单元150具有与图16中示出的例子一样的配置。

第四方法中的dpcm单元192的示例配置被示出在图38中。如图38中所示，在这种情况下，dpcm单元192包括ac系数dpcm单元631、dc系数缓冲器632和dc系数dpcm单元633。

ac系数dpcm单元631对从交叠确定单元191提供的每个缩放列表的各ac系数执行dpcm处理。具体地，ac系数dpcm单元631针对每个缩放列表用预定常数(例如，8)减去初始ac系数，并且用前一个ac系数减去正被处理的ac系数(当前ac系数)。ac系数dpcm单元631将针对每个缩放列表产生的dpcm数据(scaling_list_delta_coef)提供给exp-g单元193。

dc系数缓冲器632存储从交叠确定单元191提供的各缩放列表的dc系数。在预定定时或响应于请求，dc系数缓冲器632将存储的dc系数提供给dc系数dpcm单元633。

dc系数dpcm单元633获取累积在dc系数缓冲器632中的dc系数。dc系数dpcm单元633确定获取的dc系数的dpcm数据。具体地，dc系数dpcm单元633用预定常数(例如，8)减去初始dc系数，并且用前一个dc系数减去正被处理的dc系数(当前dc系数)。dc系数dpcm单元633将产生的dpcm数据(scaling_list_delta_coef)提供给exp-g单元193。

因此，图像编码装置10可以提高缩放列表的编码效率。

<5-3.dpcm处理的流程>

此外，在第四方法中，图像编码装置10以与以上参照图20中示出的流程图描述的第一方法中的方式类似的方式执行量化矩阵编码处理。

将参照图39中示出的流程图描述在图20中的步骤s112中执行的第四方法中的dpcm处理的流程的例子。

ac系数dpcm单元631以类似于图32中的步骤s401至s405的处理(第二方法中的处理)的方式来执行步骤s481至s485的处理。

如果在步骤s483中确定所有的ac系数已被处理，则ac系数dpcm单元631使处理前进至步骤s486。

在步骤s486中，ac系数dpcm单元631确定是否其中对dc系数共同进行dpcm编码的所有的缩放列表(或差矩阵)已被处理。如果确定存在未处理的缩放列表(或差矩阵)，则ac系数dpcm单元631使处理返回到步骤s481。

如果在步骤s486中确定所有的缩放列表(或差矩阵)已被处理，则ac系数dpcm单元631使处理前进至步骤s487。

dc系数dpcm单元633以类似于步骤s481至s485的处理的方式对存储在dc系数缓冲器632中的dc系数执行步骤s487至s491的处理。

如果在步骤s489中确定存储在dc系数缓冲器632中的所有的dc系数已被处理，则dc系数dpcm单元633结束dpcm处理，并且使处理返回到图20。

通过以上述方式执行dpcm处理，图像编码装置10可以提高缩放列表的编码效率。

<5-4.逆dpcm单元的详细示例配置>

第四方法中的图像解码装置300具有与第一方法中的配置基本上类似的配置。具体地，在第四方法中，图像解码装置300也具有与图22中示出的例子一样的配置。另外，去量化/逆正交变换单元313具有与图23中示出的例子一样的配置。此外，矩阵产生单元410具有与图24中示出的例子一样的配置。

图40是表示第四方法中的图24中示出的逆dpcm单元552的详细配置的例子的方框图。参照图40，逆dpcm单元552包括初始设置单元641、ac系数dpcm解码单元642和dc系数dpcm解码单元643。

初始设置单元641获取sizeid和matrixid，并且将各种变量设置为初始值。初始设置单元641将获取的和设置的信息提供给ac系数dpcm解码单元642和dc系数dpcm解码单元643。

ac系数dpcm解码单元642获取从exp-g单元551提供的ac系数的dpcm数据(scaling_list_delta_coef(ac))。ac系数dpcm解码单元642使用从初始设置单元641提供的初始设置等对获取的ac系数的dpcm数据进行解码，并且确定ac系数。ac系数dpcm解码单元642将确定的ac系数(scalinglist[i])提供给逆交叠确定单元553。ac系数dpcm解码单元642对多个缩放列表执行上述处理。

dc系数dpcm解码单元643获取从exp-g单元551提供的dc系数的dpcm数据(scaling_list_delta_coef(dc))。dc系数dpcm解码单元643使用从初始设置单元641提供的初始设置等对获取的dc系数的dpcm数据进行解码，并且确定各缩放列表的dc系数。dc系数dpcm解码单元643将确定的dc系数(scaling_list_dc_coef)提供给逆交叠确定单元553。

因此，逆dpcm单元552可以执行正确的dpcm解码，并且可以获得dc系数和ac系数。也就是说，图像解码装置300可以抑制缩放列表的编码量的增加。

<5-5.逆dpcm处理的流程>

此外，在第四方法中，图像解码装置300以与以上参照图27中示出的流程图描述的第一方法中的方式类似的方式执行量化矩阵解码处理。类似地，图像解码装置300以与以上参照图28中示出的流程图描述的第一方法中的方式类似的方式执行残差信号解码处理。

将参照图41和图42中示出的流程图描述由逆dpcm单元552执行的逆dpcm处理的流程的例子。

当逆dpcm处理开始时，初始设置单元641和ac系数dpcm解码单元642以与图34中的步骤s421至s427的处理中的方式类似的方式执行步骤s511至s517的处理。

如果在步骤s514中确定变量i大于或等于coefnum，则ac系数dpcm解码单元642使处理前进至步骤s518。

在步骤s518中，ac系数dpcm解码单元642确定是否其中对dc系数共同进行dpcm处理的所有的缩放列表(差矩阵)已被处理。如果确定存在未处理的缩放列表(差矩阵)，则ac系数dpcm解码单元642使处理返回到步骤s511，并且重复地执行随后的处理。

另外，如果确定不存在未处理的缩放列表(差矩阵)，则ac系数dpcm解码单元642使处理前进至图42。

在图42中的步骤s521中，初始设置单元641如下地设置sizeid和变量nextcoef。

sizeid＝2

nextcoef＝8

另外，在步骤s522中，初始设置单元641如下地设置matrixid。

matrixid＝0

在步骤s523中，dc系数dpcm解码单元643确定是否sizeid<4。如果确定sizeid小于4，则dc系数dpcm解码单元643使处理前进至步骤s524。

在步骤s524中，dc系数dpcm解码单元643确定是否满足matrixid<(sizeid＝＝3)？2:6。如果确定满足matrixid<(sizeid＝＝3)？2:6，则dc系数dpcm解码单元643使处理前进至步骤s525。

在步骤s525中，dc系数dpcm解码单元643读取dc系数的dpcm数据(scaling_list_delta_coef)。

在步骤s526中，dc系数dpcm解码单元643使用读取的dpcm数据如下地确定nextcoef，并且还确定scaling_dc_coef。

nextcoef＝(nextcoef+scaling_list_delta_coef+256)％256

scaling_dc_coef[sizeid-2][matrixid]＝nextcoef

在步骤s527中，dc系数dpcm解码单元643使matrixid递增以将处理目标改变为随后的dc系数(随后的缩放列表或残差矩阵)，然后使处理返回到步骤s524。

如果在步骤s524中确定不满足matrixid<(sizeid＝＝3)？2:6，则dc系数dpcm解码单元643使处理前进至步骤s528。

在步骤s528中，dc系数dpcm解码单元643使sizeid递增以将处理目标改变为随后的dc系数(随后的缩放列表或残差矩阵)，然后使处理返回到步骤s523。

如果在步骤s523中确定sizeid大于或等于4，则dc系数dpcm解码单元643结束逆dpcm处理，并且使处理返回到图28。

因此，dc系数之差可以被正确地解码。因此，图像解码装置300可以抑制缩放列表的编码量的增加。

<6.第六实施例>

<6-1.其它语法：第一例子>

图43表示缩放列表的语法的另一个例子。该附图对应于图12。在图12中示出的例子中，nextcoef的初始值被设置为预定常数(例如，8)。替代地，如图43中所示，nextcoef的初始值可被dc系数的dpcm数据(scaling_list_dc_coef_minus8)改写。

因此，可以减少16×16缩放列表和32×32缩放列表中的初始ac系数(ac系数(0,0))的编码量。

<6-2.其它语法：第二例子>

图44表示缩放列表的语法的另一个例子。该附图对应于图12。

在图12中示出的例子中，当作为在复制模式下指定参考目的地的信息的scaling_list_pred_matrix_id_delta的值是“0”时，参照比正被处理的当前缩放列表早一个缩放列表的缩放列表，并且当scaling_list_pred_matrix_id_delta的值是“1”时，参照比正被处理的当前缩放列表早两个缩放列表的缩放列表。

与之相比，在图44中示出的例子中，如图44的部分c中所示，当作为在复制模式下指定参考目的地的信息的scaling_list_pred_matrix_id_delta的值是“0”时，参照默认缩放列表，并且当scaling_list_pred_matrix_id_delta的值是“1”时，参照前一个缩放列表。

以这种方式，修改scaling_list_pred_matrix_id_delta的语义可以以图44的部分b中示出的方式简化语法，并且可以减少dpcm处理和逆dpcm处理的负载。

<6-3.其它语法：第三例子>

图45表示缩放列表的语法的另一个例子。该附图对应于图12。

在图45中示出的例子中，既使用上述图43中示出的例子又使用上述图44中示出的例子。

在图45中示出的例子中，相应地，可以减少16×16缩放列表和32×32缩放列表中的初始ac系数(ac系数(0,0))的编码量。另外，语法可以被简化，并且可以减少dpcm处理和逆dpcm处理的负载。

在前面的实施例中，预定常数的值是任意的。另外，缩放列表的尺寸也是任意的。

另外，尽管前面已给出缩放列表、预测矩阵或它们之间的差矩阵的尺寸变换处理的描述，但尺寸变换处理可以是用于实际产生其尺寸已被变换的矩阵的处理，或者可以是用于在不实际产生矩阵的数据的情况下设置如何从存储器读取矩阵中的每个元素的处理(矩阵数据的读取控制)。

在上述尺寸变换处理中，其尺寸已被变换的矩阵中的每个元素由其尺寸还未被变换的矩阵中的任何元素构成。也就是说，通过使用某个方法(诸如，读取矩阵中的一些元素或多次读取一个元素)读取存储在存储器中的其尺寸还未被变换的矩阵中的元素，可产生其尺寸已被变换的矩阵。换句话说，定义用于读取每个元素的方法(或执行矩阵数据的读取控制)以基本上实现上述尺寸变换。这种方法可去除诸如将其尺寸已被变换的矩阵数据写到存储器的处理。另外，其尺寸已被变换的矩阵数据的读取基本上取决于如何执行最近邻居内插等，因此，可通过比较低负载的处理(诸如，选择预先准备的多个选项中的一个合适的选项)来实现尺寸变换。因此，上述方法可减少尺寸变换的负载。

也就是说，上述尺寸变换处理包括用于实际产生其尺寸已被变换的矩阵数据的处理，并且还包括矩阵数据的读取控制。

注意，尽管在差矩阵被编码和发送的情况下进行前面的描述，但这仅是说明性的，并且缩放列表可被编码和发送。换句话说，已在以上被描述为待处理的系数的缩放列表的ac系数和dc系数可以是缩放列表与预测矩阵之间的差矩阵的ac系数和dc系数。

另外，关于缩放列表的参数、标记等(诸如，缩放列表的尺寸和列表id)的信息的编码量可通过下述方式减少：例如，获得该信息与以前发送的信息之差并且发送该差。

另外，尽管已在大尺寸的量化矩阵或差矩阵被下转换和发送的情况下进行前面的描述，但这仅是说明性的，并且量化矩阵或差矩阵可在未被下转换的情况下被发送，同时用于量化的量化矩阵的尺寸保持不变。

本技术可以被应用于包括量化和去量化的任何类型的图像编码和解码。

另外，本技术还可以被应用于例如用于经由网络介质(诸如，卫星广播、有线电视、因特网或移动电话)接收使用正交变换(诸如，离散余弦变换)和运动补偿(诸如，mpeg或h.26x)压缩的图像信息(比特流)的图像编码装置和图像解码装置。本技术还可以被应用于用于存储介质(诸如，光盘、磁盘和闪存)上的处理的图像编码装置和图像解码装置。另外，本技术还可以被应用于上述图像编码装置和图像解码装置中所包括的量化装置和去量化装置等。

<7.第七实施例>

<应用于多视点图像编码和多视点图像解码>

上述一系列处理可以被应用于多视点图像编码和多视点图像解码。图46表示多视点图像编码方案的例子。

如图46中所示，多视点图像包括在多个视点(或视图)的图像。多视点图像中的多个视图包括：基本视图，每个基本视图在不使用另一个视图的图像的情况下使用它的图像而被编码和解码；和非基本视图，每个非基本视图使用另一个视图的图像而被编码和解码。每个非基本视图可使用基本视图的图像或使用任何其它非基本视图的图像而被编码和解码。

当图46中示出的多视点图像将要被编码和解码时，每个视图的图像被编码和解码。以上在前面的实施例中描述的方法可被应用于每个视图的编码和解码。这可以抑制各视图的图像质量的降低。

另外，可在每个视图的编码和解码中共享以上在前面的实施例中描述的方法中使用的标记和参数。这可以抑制编码效率的降低。

更具体地，例如，可在每个视图的编码和解码中共享关于缩放列表的信息(例如，参数、标记等)。

当然，可在每个视图的编码和解码中共享任何其它需要的信息。

例如，当将要发送缩放列表或序列参数集(sps)或图像参数集(pps)中所包括的关于缩放列表的信息时，如果在视图之间共享这些参数集(sps和pps)，则缩放列表或关于缩放列表的信息也被相应地共享。这可以抑制编码效率的降低。

另外，可根据视图之间的差异值改变基本视图的缩放列表(或量化矩阵)中的矩阵元素。此外，可发送用于针对基本视图的缩放列表(量化矩阵)中的矩阵元素调整非基本视图矩阵元素的偏移值。因此，可以抑制编码量的增加。

例如，每个视图的缩放列表可被预先分开地发送。当将要针对每个视图改变缩放列表时，可仅发送指示与预先发送的缩放列表中的对应缩放列表的差的信息。指示该差的信息是任意的，并且可以是例如以4×4或8×8为单位的信息或矩阵之差。

注意，如果缩放列表或关于缩放列表的信息在视图之间被共享但sps或pps未被共享，则可以能够参照其它视图的sps或pps(也就是说，能够使用其它视图的缩放列表或关于缩放列表的信息)。

此外，如果这种多视点图像被表示为具有yuv图像和与视图之间的差异的量对应的深度图像(深度)作为分量的图像，则可使用每个分量(y，u，v和深度)的图像的独立的缩放列表或关于缩放列表的信息。

例如，由于深度图像(深度)是边缘的图像，所以不需要缩放列表。因此，虽然sps或pps指定缩放列表的使用，但缩放列表可不被应用于(或者可应用所有的矩阵元素相同(或平坦)的缩放列表)深度图像(深度)。

<多视点图像编码装置>

图47是表示用于执行上述多视点图像编码操作的多视点图像编码装置的示图。如图47中所示，多视点图像编码装置700包括编码单元701、编码单元702和多路复用单元703。

编码单元701对基本视图的图像进行编码，并且产生编码基本视图图像流。编码单元702对非基本视图的图像进行编码，并且产生编码非基本视图图像流。多路复用单元703多路复用由编码单元701产生的编码基本视图图像流和由编码单元702产生的编码非基本视图图像流，并且产生编码多视点图像流。

图像编码装置10(图14)可以被用于多视点图像编码装置700的编码单元701和编码单元702中的每一个。也就是说，可以抑制每个视图的编码中的缩放列表的编码量的增加，并且可以抑制每个视图的图像质量的降低。另外，编码单元701和编码单元702可以使用相同的标记或参数(也就是说，标记和参数可以被共享)来执行处理(诸如，量化和去量化)。因此，可以抑制编码效率的降低。

<多视点图像解码装置>

图48是表示用于执行上述多视点图像解码操作的多视点图像解码装置的示图。如图48中所示，多视点图像解码装置710包括多路解复用单元711、解码单元712和解码单元713。

多路解复用单元711对已多路复用编码基本视图图像流和编码非基本视图图像流的编码多视点图像流进行多路解复用，并且提取编码基本视图图像流和编码非基本视图图像流。解码单元712对由多路解复用单元711提取的编码基本视图图像流进行解码，并且获得基本视图的图像。解码单元713对由多路解复用单元711提取的编码非基本视图图像流进行解码，并且获得非基本视图的图像。

图像解码装置300(图22)可以被用于多视点图像解码装置710的解码单元712和解码单元713中的每一个。也就是说，可以抑制每个视图的解码中的缩放列表的编码量的增加，并且可以抑制每个视图的图像质量的降低。另外，解码单元712和解码单元713可以使用相同的标记和参数(也就是说，标记和参数可以被共享)来执行处理(诸如，量化和去量化)。因此，可以抑制编码效率的降低。

<8.第八实施例>

<应用于分层图像编码和分层图像解码>

上述一系列处理可以被应用于分层图像编码和分层图像解码(可缩放编码和可缩放解码)。图49表示分层图像编码方案的例子。

分层图像编码(可缩放编码)是这样的处理：将图像划分成多个层(分层)以便针对预定参数为图像数据提供可缩放性功能，并且对各层进行编码。分层图像解码(可缩放解码)是与分层图像编码对应的解码处理。

如图49中所示，在图像分层中，使用具有可缩放性功能的预定参数作为参考，一个图像被划分为多个子图像(或层)。也就是说，分解为层的图像(或分层图像)包括多个分层(或层)图像，所述多个分层(或层)图像具有所述预定参数的不同值。分层图像中的所述多个层包括：基本层，每个基本层在不使用另一层的图像的情况下使用它的图像而被编码和解码；和非基本层(也被称为增强层)，每个非基本层使用另一层的图像而被编码和解码。每个非基本层可使用基本层的图像或使用任何其它非基本层的图像而被编码和解码。

通常，每个非基本层包括它的图像与另一层的图像之间的差图像的数据(差数据)以便减少冗余。例如，在一个图像被分解为两个层(即，基本层和非基本层(也被称为增强层))的情况下，可仅使用基本层的数据获得具有低于原始图像的质量的图像，并且可通过组合基本层的数据和非基本层的数据来获得原始图像(也就是说，具有高质量的图像)。

以上述方式执行的图像的分层可以方便根据情况获得具有各种质量的图像。这确保：可以在不执行译码的情况下根据终端和网络的能力从服务器发送图像压缩信息，从而例如仅关于基本层的图像压缩信息被发送给具有低处理能力的终端(诸如，移动电话)以再现具有低空间时间分辨率或低质量的运动图像，并且除了关于基本层的图像压缩信息之外，关于增强层的图像压缩信息也被发送给具有高处理能力的终端(诸如，电视机和个人计算机)以再现具有高空间时间分辨率或高质量的运动图像。

当图49中示出的例子中的分层图像将要被编码和解码时，每个层的图像被编码和解码。以上在每个前面的实施例中描述的方法可被应用于每个层的编码和解码。这可以抑制各层的图像质量的降低。

另外，可在每个层的编码和解码中共享以上在每个前面的实施例中描述的方法中使用的标记和参数。这可以抑制编码效率的降低。

更具体地，例如，可在每个层的编码和解码中共享关于缩放列表的信息(例如，参数、标记等)。

当然，可在每个层的编码和解码中共享任何其它需要的信息。

分层图像的例子包括按照空间分辨率分层的图像(也被称为空间分辨率可缩放性)(空间可缩放性)。在具有空间分辨率可缩放性的分层图像中，图像的分辨率针对每层而不同。例如，具有空间最低分辨率的图像的层被指定为基本层，并且具有比基本层高的分辨率的图像的层被指定为非基本层(增强层)。

非基本层(增强层)的图像数据可以是独立于其它层的数据，并且类似于基本层，可仅使用图像数据获得具有与该层的分辨率相同的分辨率的图像。然而，通常，非基本层(增强层)的图像数据是与该层的图像和另一层(例如，比该层低一层的层)的图像之间的差图像对应的数据。在这种情况下，仅使用基本层的图像数据获得具有与基本层的分辨率相同的分辨率的图像，而通过非基本层(增强层)的图像数据和另一层(例如，比该层低一层的层)的图像数据的组合来获得具有与该非基本层(增强层)的分辨率相同的分辨率的图像。这可以抑制层之间的图像数据的冗余。

在上述具有空间分辨率可缩放性的分层图像中，图像的分辨率针对每层而不同。因此，各个层被编码和解码的处理单位的分辨率也不同。因此，如果在各层的编码和解码中共享缩放列表(量化矩阵)，则可根据各层的分辨率比率对缩放列表(量化矩阵)进行上转换。

例如，假设基本层的图像具有2k的分辨率(例如，1920×1080)，并且非基本层(增强层)的图像具有4k的分辨率(例如，3840×2160)。在这种情况下，例如，基本层的图像(2k图像)的16×16尺寸对应于非基本层的图像(4k图像)的32×32尺寸。根据分辨率比率合适地对缩放列表(量化矩阵)进行上转换。

例如，用于基本层的量化和去量化的4×4量化矩阵在非基本层的量化和去量化中被上转换为8×8并且被使用。类似地，基本层的8×8缩放列表在非基本层中被上转换为16×16。类似地，在基本层中被上转换为16×16并且使用的量化矩阵在非基本层中被上转换为32×32。

注意，为其提供可缩放性的参数不限于空间分辨率，并且参数的例子可包括时间分辨率(时间可缩放性)。在具有时间分辨率可缩放性的分层图像中，图像的帧速针对每层而不同。其它例子包括：比特深度可缩放性，其中图像数据的比特深度针对每层而不同；和色度可缩放性，其中分量的格式针对每层而不同。

其它例子包括snr可缩放性，其中图像的信噪比(snr)针对每层而不同。

考虑到图像质量的提高，按照所希望的方式，图像具有的信噪比越低，量化误差越小。为此，在snr可缩放性中，按照所希望的方式，根据信噪比，不同的缩放列表(非共同缩放列表)被用于各层的量化和去量化。由于这个原因，如上所述，如果缩放列表在层之间被共享，则可发送用于针对基本层的缩放列表中的矩阵元素调整增强层的矩阵元素的偏移值。更具体地，可在逐层的基础上发送指示共同缩放列表和实际使用的缩放列表之差的信息。例如，可在针对每个层的序列参数集(sps)或图像参数集(pps)中发送指示该差的信息。指示该差的信息是任意的。例如，该信息可以是具有代表两个缩放列表中的对应元素之间的差值的元素的矩阵，或者可以是指示该差的函数。

<分层图像编码装置>

图50是表示用于执行上述分层图像编码操作的分层图像编码装置的示图。如图50中所示，分层图像编码装置720包括编码单元721、编码单元722和多路复用单元723。

编码单元721对基本层的图像进行编码，并且产生编码基本层图像流。编码单元722对非基本层的图像进行编码，并且产生编码非基本层图像流。多路复用单元723多路复用由编码单元721产生的编码基本层图像流和由编码单元722产生的编码非基本层图像流，并且产生编码分层图像流。

图像编码装置10(图14)可以被用于分层图像编码装置720的编码单元721和编码单元722中的每一个。也就是说，可以抑制每个层的编码中的缩放列表的编码量的增加，并且可以抑制每个层的图像质量的降低。另外，编码单元721和编码单元722可以使用相同的标记或参数(也就是说，标记和参数可以被共享)来执行处理(诸如，量化和去量化)。因此，可以抑制编码效率的降低。

<分层图像解码装置>

图51是表示用于执行上述分层图像解码操作的分层图像解码装置的示图。如图51中所示，分层图像解码装置730包括多路解复用单元731、解码单元732和解码单元733。

多路解复用单元731对已多路复用编码基本层图像流和编码非基本层图像流的编码分层图像流进行多路解复用，并且提取编码基本层图像流和编码非基本层图像流。解码单元732对由多路解复用单元731提取的编码基本层图像流进行解码，并且获得基本层的图像。解码单元733对由多路解复用单元731提取的编码非基本层图像流进行解码，并且获得非基本层的图像。

图像解码装置300(图22)可以被用于分层图像解码装置730的解码单元732和解码单元733中的每一个。也就是说，可以抑制每个层的解码中的缩放列表的编码量的增加，并且可以抑制每个层的图像质量的降低。另外，解码单元712和解码单元713可以使用相同的标记或参数(也就是说，标记和参数可以被共享)来执行处理(诸如，量化和去量化)。因此，可以抑制编码效率的降低。

<9.第九实施例>

<计算机>

上述一系列处理可以由硬件执行，或者也可以由软件执行。在这种情况下，所述一系列处理可被实现为例如图52中示出的计算机。

在图52中，计算机800中的cpu(中央处理单元)801根据存储在rom(只读存储器)802中的程序或从存储单元813加载到ram(随机存取存储器)803中的程序执行各种处理操作。ram803还根据需要存储cpu801执行各种处理操作所需的数据等。

cpu801、rom802和ram803经由总线804彼此连接。输入/输出接口810也连接到总线804。

输入/输出接口810连接到输入单元811、输出单元812、存储单元813和通信单元814。输入单元811包括键盘、鼠标、接触面板、输入终端等。输出单元812包括期望的输出装置(诸如，扬声器和显示器，显示器包括crt(阴极射线管)、lcd(液晶显示器)和oeld(有机电致发光显示器))、输出终端等。存储单元813包括：期望的存储介质，诸如硬盘或闪存；和控制单元，控制存储介质的输入和输出。通信单元814包括期望的有线或无线通信装置，诸如调制解调器、lan接口、usb(通用串行总线)装置和bluetooth(蓝牙，注册商标)装置。通信单元814经由网络(包括例如因特网)与其它通信装置执行通信处理。

如果需要，驱动器815也连接到输入/输出接口810。可移动介质821(诸如，磁盘、光盘、磁光盘或半导体存储器)根据需要被放置在驱动器815中。驱动器815根据例如cpu801的控制从放置在它里面的可移动介质821读取计算机程序、数据等。读取的数据和计算机程序被提供给例如ram803。如果需要，从可移动介质821读取的计算机程序被进一步安装到存储单元813中。

当上述一系列处理由软件执行时，从网络或记录介质安装构成该软件的程序。

如图52中所示，记录介质的例子包括：可移动介质821，其与装置体分开地分发以将程序提供给用户，诸如记录有程序的磁盘(包括软盘)、光盘(包括cd-rom(压缩盘-只读存储器)和dvd(数字通用盘))、磁光盘(包括md(迷你盘))或半导体存储器。记录介质的其它例子包括以预先被包括在装置体中的方式分发给用户的装置，诸如记录有程序的rom802和存储单元813中所包括的硬盘。

注意，计算机800执行的程序可以是以这里描述的次序按照时间顺序方式执行处理操作的程序，或者可以是并行地或在需要的定时(诸如，当被调用时)执行处理操作的程序。

另外，如这里所使用，描述存储在记录介质中的程序的步骤当然包括以描述的次序按照时间顺序方式执行的处理操作和并行地或单独地执行(而并不一定按照时间顺序方式执行)的处理操作。

另外，如这里所使用，术语“系统”表示一组的组成元件(装置、模块(部件)等)，而不管是否所有组成元件被容纳在同一壳体中。因此，被容纳在不同壳体中并且经由网络连接的多个装置和包括被容纳在单个壳体中的多个模块的单个装置被定义为系统。

另外，以上描述为单个装置(或处理单元)的配置可被划分为多个装置(或处理单元)。相反地，以上描述为多个装置(或处理单元)的配置可被组合为单个装置(或处理单元)。另外，当然，除上述配置之外的配置可被添加到每个装置(或每个处理单元)的配置。另外，如果就整个系统而言装置(或处理单元)具有基本上相同的配置和/或操作，则某一装置(或处理单元)的配置的一部分可被包括在另一装置(或另一处理单元)的配置中。换句话说，本技术的实施例不限于前面的实施例，并且在不脱离本技术的范围的情况下可以做出各种修改。

尽管已参照附图详细描述了本公开内容的优选实施例，但本公开内容的技术范围不限于这里公开的例子。明显的是，具有本公开内容的技术领域中的常识的人能够在不脱离如权利要求中所定义的技术概念的范围的情况下实现各种变化或修改，并且应该理解，这种变化或修改自然也落在本公开内容的技术范围内。

例如，可利用多个装置经由网络共享并且协作以处理单个功能的云计算配置来实现本技术。

另外，上述流程图中示出的每个步骤可由单个装置执行或由多个装置以共享方式执行。

另外，如果单个步骤包括多个处理，则所述单个步骤中所包括的所述多个处理可由单个装置执行或由多个装置以共享方式执行。

根据前面的实施例的图像编码装置10(图14)和图像解码装置300(图22)可被应用于各种电子装备，诸如用于经由卫星广播、有线广播(诸如，有线tv)或因特网传送数据或者用于经由蜂窝通信将数据传送给终端或从终端传送数据的发射器或接收器、将图像记录在介质(诸如，光盘、磁盘和闪存)上的记录设备和从这种存储介质再现图像的再现设备。将在以下描述四个示例性应用。

<10.示例应用>

<第一示例应用：电视接收器>

图53表示应用前面的实施例的电视设备的示意性配置的例子。电视设备900包括天线901、调谐器902、多路解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911和总线912。

调谐器902从经由天线901接收的广播信号提取期望频道中的信号，并且解调提取的信号。然后，调谐器902将通过解调获得的编码比特流输出到多路解复用器903。换句话说，调谐器902在用于接收包括编码图像的编码流的电视设备900中用作发送单元。

多路解复用器903将编码比特流多路解复用为将要观看的节目的视频流和音频流，并且将多路解复用的流输出到解码器904。多路解复用器903还从编码比特流提取辅助数据(诸如，epg(电子节目指南))，并且将提取的数据提供给控制单元910。注意，如果编码比特流已被加扰，则多路解复用器903还可对编码比特流进行解扰。

解码器904对从多路解复用器903输入的视频流和音频流进行解码。然后，解码器904将通过解码处理产生的视频数据输出到视频信号处理单元905。解码器904还将通过解码处理产生的音频数据输出到音频信号处理单元907。

视频信号处理单元905再现从解码器904输入的视频数据，并且使视频被显示在显示单元906上。视频信号处理单元905还可使经由网络提供的应用画面被显示在显示单元906上。视频信号处理单元905还可根据设置对视频数据执行其它处理，诸如噪声去除。另外，视频信号处理单元905还可产生gui(图形用户界面)图像(诸如，菜单、按钮或光标)，并且将产生的图像叠加在输出图像上。

显示单元906由从视频信号处理单元905提供的驱动信号驱动，并且在显示装置(诸如，液晶显示器、等离子体显示器或oeld(有机电致发光显示器)(有机el显示器))的视频表面上显示视频或图像。

音频信号处理单元907对从解码器904输入的音频数据执行再现处理(诸如，d/a转换和放大)，并且使音频被从扬声器908输出。音频信号处理单元907还可对音频数据执行其它处理，诸如噪声去除。

外部接口909是用于将电视设备900连接到外部装置或网络的接口。例如，经由外部接口909接收的视频流或音频流可由解码器904解码。换句话说，外部接口909也在用于接收包括编码图像的编码流的电视设备900中用作发送单元。

控制单元910包括处理器(诸如，cpu)和存储器(诸如，ram和rom)。存储器存储将要由cpu执行的程序、节目数据、epg数据、经由网络获取的数据等。当例如电视设备900启动时，存储在存储器中的程序由cpu读取并且执行。cpu根据例如从用户接口911输入的操作信号执行程序以控制电视设备900的操作。

用户接口911连接到控制单元910。用户接口911包括例如用于允许用户操作电视设备900的按钮和开关、用于遥控信号的接收单元等。用户接口911检测用户经由上述部件的操作以产生操作信号，并且将产生的操作信号输出到控制单元910。

总线912用于将调谐器902、多路解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910彼此连接。

在具有上述配置的电视设备900中，解码器904具有根据前面的实施例的图像解码装置300(图22)的功能。因此，电视设备900可以抑制缩放列表的编码量的增加。

<第二示例应用：移动电话>

图54表示应用前面的实施例的移动电话的示意性配置的例子。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处理单元927、多路复用/多路解复用单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932和总线933。

天线921连接到通信单元922。扬声器924和麦克风925连接到音频编解码器923。操作单元932连接到控制单元931。总线933用于将通信单元922、音频编码解码器923、相机单元926、图像处理单元927、多路复用/多路解复用单元928、记录/再现单元929、显示单元930和控制单元931彼此连接。

移动电话920在各种操作模式下执行操作，诸如发送和接收音频信号、发送和接收电子邮件或图像数据、拍摄图像和记录数据，所述各种操作模式包括语音呼叫模式、数据通信模式、图像拍摄模式和视频电话模式。

在语音呼叫模式下，由麦克风925产生的模拟音频信号被提供给音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据，并且对转换的音频数据执行a/d转换和压缩。音频编解码器923随后将压缩音频数据输出到通信单元922。通信单元922对音频数据进行编码和调制，并且产生发送信号。通信单元922随后经由天线921将产生的发送信号发送给基站(未示出)。另外，通信单元922放大经由天线921接收的无线电信号，并且对放大的信号执行频率转换以获取接收信号。然后，通信单元922对接收信号进行解调和解码以产生音频数据，并且将产生的音频数据输出到音频编解码器923。音频编解码器923缩放音频数据并且执行d/a转换以产生模拟音频信号。音频编解码器923随后将产生的音频信号提供给扬声器924以使得输出音频。

另外，在数据通信模式下，例如，控制单元931根据用户经由操作单元932的操作产生形成电子邮件的文本数据。另外，控制单元931使文本被显示在显示单元930上。控制单元931还根据经由操作单元932从用户给出的发送指令产生电子邮件数据，并且将产生的电子邮件数据输出到通信单元922。通信单元922对电子邮件数据进行编码和调制以产生发送信号。然后，通信单元922经由天线921将产生的发送信号发送给基站(未示出)。另外，通信单元922放大经由天线921接收的无线电信号，并且对放大的信号执行频率转换以获取接收信号。然后，通信单元922对接收信号进行解调和解码以恢复电子邮件数据，并且将恢复的电子邮件数据输出到控制单元931。控制单元931使电子邮件的内容被显示在显示单元930上，并且还使电子邮件数据被存储在记录/再现单元929的存储介质中。

记录/再现单元929包括期望的可读/可写存储介质。存储介质可以是例如内置存储介质(诸如，ram或闪存)或者外部存储介质(诸如，硬盘、磁盘、磁光盘、光盘、usb存储器或存储卡)。

另外，在图像拍摄模式下，例如，相机单元926拍摄物体的图像以产生图像数据，并且将产生的图像数据输出到图像处理单元927。图像处理单元927对从拍摄单元926输入的图像数据进行编码，并且使编码流被存储在记录/再现单元929的存储介质中。

另外，在视频电话模式下，例如，多路复用/多路解复用单元928多路复用由图像处理单元927编码的视频流和从音频编码解码器923输入的音频流，并且将多路复用流输出到通信单元922。通信单元922对多路复用流进行编码和调制以产生发送信号。然后，通信单元922经由天线921将产生的发送信号发送给基站(未示出)。通信单元922还放大经由天线921接收的无线电信号，并且对放大的信号执行频率转换以获取接收信号。发送信号和接收信号可包括编码比特流。通信单元922对接收信号进行解调和解码以恢复流，并且将恢复的流输出到多路复用/多路解复用单元928。然后，多路复用/多路解复用单元928将输入流多路解复用为视频流和音频流，并且将视频流和音频流分别输出到图像处理单元927和音频编码解码器923。图像处理单元927对视频流进行解码以产生视频数据。视频数据被提供给显示单元930，并且一系列图像由显示单元930显示。音频编解码器923扩展音频流并且执行d/a转换以产生模拟音频信号。音频编解码器923随后将产生的音频信号提供给扬声器924以使得输出音频。

在具有上述配置的移动电话920中，图像处理单元927具有根据前面的实施例的图像编码装置10(图14)的功能和图像解码装置300(图22)的功能。因此，移动电话920可以抑制缩放列表的编码量的增加。

另外，尽管已给出对例如移动电话920的描述，但类似于移动电话920，应用本技术的图像编码装置和图像解码装置可被用于具有与移动电话920的成像功能和通信功能类似的成像功能和通信功能的任何设备，诸如pda(个人数字助手)、智能电话、umpc(超移动个人计算机)上网本或笔记本个人计算机。

<第三示例应用：记录/再现设备>

图55表示应用前面的实施例的记录/再现设备的示意性配置的例子。记录/再现设备940对例如接收的广播节目的音频数据和视频数据进行编码，并且将编码音频数据和视频数据记录在记录介质上。另外，记录/再现设备940还可对从例如另一设备获取的音频数据和视频数据进行编码，并且将编码音频数据和视频数据记录在记录介质上。此外，记录/再现设备940根据从用户给出的指令使用监视器和扬声器再现例如记录在记录介质上的数据。在这种情况下，记录/再现设备940对音频数据和视频数据进行解码。

记录/再现设备940包括调谐器941、外部接口942、编码器943、hdd(硬盘驱动器)944、盘驱动器945、选择器946、解码器947、osd(屏上显示器)948、控制单元949和用户接口950。

调谐器941从经由天线(未示出)接收的广播信号提取期望频道中的信号，并且解调提取的信号。调谐器941随后将通过解调获得的编码比特流输出到选择器946。换句话说，调谐器941在记录/再现设备940中用作发送单元。

外部接口942是用于将记录/再现设备940连接到外部装置或网络的接口。外部接口942可以是例如ieee1394接口、网络接口、usb接口、闪存接口等。例如，经由外部接口942接收的视频数据和音频数据被输入到编码器943。换句话说，外部接口942在记录/再现设备940中用作发送单元。

如果从外部接口942输入的视频数据和音频数据未被编码，则编码器943对从外部接口942输入的视频数据和音频数据进行编码。编码器943随后将编码比特流输出到选择器946。

hdd944将包括压缩内容数据(诸如，视频和音频)的编码比特流、各种程序和其它数据记录在内部硬盘上。另外，当再现视频和音频时，hdd944从硬盘读取上述数据。

盘驱动器945将数据记录在放置在它里面的记录介质上并且从放置在它里面的记录介质读取数据。放置在盘驱动器945中的记录介质可以是例如dvd盘(诸如，dvd-视频、dvd-ram、dvd-r、dvd-rw、dvd+r或dvd+rw)或blu-ray(蓝光，注册商标)盘。

当记录视频和音频时，选择器946选择从调谐器941或编码器943输入的编码比特流，并且将选择的编码比特流输出到hdd944或盘驱动器945。当再现视频和音频时，选择器946将从hdd944或盘驱动器945输入的编码比特流输出到解码器947。

解码器947对编码比特流进行解码以产生视频数据和音频数据。解码器947随后将产生的视频数据输出到osd948。解码器904还将产生的音频数据输出到外部扬声器。

osd948再现从解码器947输入的视频数据，并且显示视频。另外，osd948还可将gui图像(诸如，菜单、按钮或光标)叠加在将要显示的视频上。

控制单元949包括处理器(诸如，cpu)和存储器(诸如，ram和rom)。存储器存储将要由cpu执行的程序、节目数据等。当例如记录/再现设备940启动时，存储在存储器中的程序由cpu读取并且执行。cpu根据例如从用户接口950输入的操作信号执行程序以控制记录/再现设备940的操作。

用户接口950连接到控制单元949。用户接口950包括例如用于允许用户操作记录/再现设备940的按钮和开关、用于遥控信号的接收单元等。用户接口950检测用户经由上述部件的操作以产生操作信号，并且将产生的操作信号输出到控制单元949。

在具有上述配置的记录/再现设备940中，编码器943具有根据前面的实施例的图像编码装置10(图14)的功能。另外，解码器947具有根据前面的实施例的图像解码装置300(图22)的功能。因此，记录/再现设备940可以抑制缩放列表的编码量的增加。

<第四示例应用：成像设备>

图56表示应用前面的实施例的成像设备的示意性配置的例子。成像设备960拍摄物体的图像以产生图像数据，对图像数据进行编码，并且将编码图像数据记录在记录介质上。

成像设备960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、介质驱动器968、osd969、控制单元970、用户接口971和总线972。

光学块961连接到成像单元962。成像单元962连接到信号处理单元963。显示单元965连接到图像处理单元964。用户接口971连接到控制单元970。总线972用于将图像处理单元964、外部接口966、存储器967、介质驱动器968、osd969和控制单元970彼此连接。

光学块961包括聚焦透镜、孔径机构等。光学块961在成像单元962的成像表面上形成物体的光学图像。成像单元962包括图像传感器(诸如，ccd或cmos图像传感器)，并且通过执行光电转换来将形成在成像表面上的光学图像转换成用作电信号的图像信号。成像单元962随后将图像信号输出到信号处理单元963。

信号处理单元963对从成像单元962输入的图像信号执行各种相机信号处理操作，诸如拐点校正、伽马校正和颜色校正。信号处理单元963将经受了相机信号处理操作的图像数据输出到图像处理单元964。

图像处理单元964对从信号处理单元963输入的图像数据进行编码以产生编码数据。图像处理单元964随后将产生的编码数据输出到外部接口966或介质驱动器968。另外，图像处理单元964对从外部接口966或介质驱动器968输入的编码数据进行解码以产生图像数据。图像处理单元964随后将产生的图像数据输出到显示单元965。另外，图像处理单元964还可将从信号处理单元963输入的图像数据输出到显示单元965以使得显示图像。此外，图像处理单元964还可将从osd969获取的显示数据叠加在将要被输出到显示单元965的图像上。

osd969产生gui图像(诸如，菜单、按钮或光标)，并且将产生的图像输出到图像处理单元964。

外部接口966被形成为例如usb输入/输出端子。当打印图像时，外部接口966将例如成像设备960连接到打印机。如果需要，驱动器也连接到外部接口966。可移动介质(诸如，磁盘或光盘)被放置在该驱动器中，并且从可移动介质读取的程序可被安装在成像设备960中。另外，外部接口966还可被形成为网络接口以连接到网络(诸如，lan或因特网)。换句话说，外部接口966在成像设备960中用作发送单元。

将要被放置在介质驱动器968中的记录介质可以是例如任何可读/可写的可移动介质，诸如磁盘、磁光盘、光盘或半导体存储器。替代地，记录介质可被固定地连接到介质驱动器968，并且可形成内置硬盘驱动器或非便携式存储单元，诸如ssd(固态驱动器)。

控制单元970包括处理器(诸如，cpu)和存储器(诸如，ram和rom)。存储器存储将要由cpu执行的程序、节目数据等。当例如成像设备960启动时，存储在存储器中的程序由cpu读取并且执行。cpu根据例如从用户接口971输入的操作信号执行程序以控制成像设备960的操作。

用户接口971连接到控制单元970。用户接口971包括例如用于允许用户操作成像设备960的按钮、开关等。用户接口971检测用户经由上述部件的操作以产生操作信号，并且将产生的操作信号输出到控制单元970。

在具有上述配置的成像设备960中，图像处理单元964具有根据前面的实施例的图像编码装置10(图14)的功能和图像解码装置300(图22)的功能。因此，成像设备960可以抑制缩放列表的编码量的增加。

<7.可缩放编码的示例应用>

<第一系统>

接下来，将描述已使用可缩放编码(分层(图像)编码)编码的可缩放编码数据的使用的特定例子。可缩放编码可被用于例如待发送的数据的选择，如图57中示出的例子中所示。

在图57中示出的数据发送系统1000中，分发服务器1002读取存储在可缩放编码数据存储单元1001中的可缩放编码数据，并且经由网络1003将可缩放编码数据分发给终端装置(诸如，个人计算机1004、av装置1005、平板装置1006和移动电话1007)。

在这种情况下，分发服务器1002根据终端装置的性能、通信环境等选择具有期望质量的编码数据，并且发送选择的编码数据。即使分发服务器1002发送具有高于需要水平的质量的数据，终端装置也可能并不总是获得高质量图像，并且可能引起延迟或溢出。另外，这种数据可能占用超过需要水平的通信带宽，或者可能增加超过需要水平的终端装置上的负载。相反地，即使分发服务器1002发送具有低于需要水平的质量的数据，终端装置也可能并不一定获得具有足够质量的图像。因此，分发服务器1002根据需要读取存储在可缩放编码数据存储单元1001中的可缩放编码数据作为具有适合终端装置的性能、通信环境等的质量的编码数据，并且发送读取的编码数据。

例如，假设可缩放编码数据存储单元1001存储已被执行可缩放编码的可缩放编码数据(bl+el)1011。可缩放编码数据(bl+el)1011是包括基本层和增强层的编码数据，并且是被解码以获得基本层的图像和增强层的图像的数据。

分发服务器1002根据发送数据的终端装置的性能、通信环境等选择合适的层，并且读取该层的数据。例如，分发服务器1002从可缩放编码数据存储单元1001读取高质量可缩放编码数据(bl+el)1011，并且将读取的可缩放编码数据(bl+el)1011按原样发送给具有高处理能力的个人计算机1004或平板装置1006。相比之下，例如，分发服务器1002从可缩放编码数据(bl+el)1011提取基本层的数据，并且将提取的基本层的数据发送给具有低处理能力的av装置1005和移动电话1007作为具有与可缩放编码数据(bl+el)1011相同的内容但具有比可缩放编码数据(bl+el)1011低的质量的可缩放编码数据(bl)1012。

以这种方式使用可缩放编码数据方便数据量的调整，由此抑制延迟或溢出的发生并且抑制终端装置或通信介质上的负载的不必要的增加。另外，可缩放编码数据(bl+el)1011具有减少的层之间的冗余，并且因此与具有单独编码的各层的数据的数据相比具有更少量的数据。因此，可以更高效地使用可缩放编码数据存储单元1001的存储区域。

注意，由于各种装置(诸如，个人计算机1004、av装置1005、平板装置1006和移动电话1007)可以被用作终端装置，所以终端装置的硬件性能针对每个装置而不同。另外，由于各种应用可由终端装置执行，所以应用的软件能力可不同。另外，用作通信介质的网络1003可被实现为任何通信线路网络(所述通信线路网络可以是有线通信线路网络、无线通信线路网络或二者，诸如因特网和lan(局域网))，并且具有各种数据传输能力。这种性能和能力可根据其它通信等而不同。

因此，在数据的发送开始之前，分发服务器1002可与数据将要被发送到的终端装置通信，并且可获得关于终端装置的能力的信息(诸如，终端装置的硬件性能或由终端装置执行的应用(软件)的性能)和关于通信环境的信息(诸如，网络1003的可用带宽)。另外，分发服务器1002可基于获得的信息选择合适的层。

注意，层可由终端装置提取。例如，个人计算机1004可对发送的可缩放编码数据(bl+el)1011进行解码，并且显示基本层的图像或增强层的图像。替代地，例如，个人计算机1004可从发送的可缩放编码数据(bl+el)1011提取基本层的可缩放编码数据(bl)1012，存储提取的可缩放编码数据(bl)1012，将提取的可缩放编码数据(bl)1012传送到另一装置，或者对提取的可缩放编码数据(bl)1012进行解码以显示基本层的图像。

当然，可缩放编码数据存储单元1001的数量、分发服务器1002的数量、网络1003的数量和终端装置的数量是任意的。另外，尽管已给出分发服务器1002将数据发送给终端装置的例子的描述，但使用的例子不限于这个例子。数据发送系统1000可被用在当将已使用可缩放编码编码的编码数据发送给终端装置时根据终端装置的能力、通信环境等选择合适的层的任何系统。

另外，以类似于以上参照图49至51描述的针对分级编码和分级解码的应用的方式，本技术还可以被应用于上述如图57中所示的数据发送系统1000，由此实现与以上参照图49至51描述的优点类似的优点。

<第二系统>

例如，如图58中示出的例子中所示，可缩放编码还可被用于经由多个通信介质的传输。

在图58中示出的数据发送系统1100中，广播站1101经由地面广播1111发送基本层的可缩放编码数据(bl)1121。广播站1101还经由期望网络1112(网络1112由通信网络形成，通信网络可以是有线通信网络、无线通信网络或二者)发送(例如，打包和发送)增强层的可缩放编码数据(el)1122。

终端装置1102具有从广播站1101接收地面广播1111的功能，并且经地面广播1111接收基本层的可缩放编码数据(bl)1121。终端装置1102还具有经网络1112执行通信的通信功能，并且接收经由网络1112发送的增强层的可缩放编码数据(el)1122。

终端装置1102根据例如用户指令等对经由地面广播1111获取的基本层的可缩放编码数据(bl)1121进行解码以获得基本层的图像，存储可缩放编码数据(bl)1121，或者将可缩放编码数据(bl)1121传送到另一装置。

另外，终端装置1102根据例如用户指令等组合经由地面广播1111获取的基本层的可缩放编码数据(bl)1121与经由网络1112获取的增强层的可缩放编码数据(el)1122以获得可缩放编码数据(bl+el)，并且对可缩放编码数据(bl+el)进行解码以获得增强层的图像，存储可缩放编码数据(bl+el)，或者将可缩放编码数据(bl+el)传送到另一装置。

如上所述，可以经由例如针对每个层而不同的通信介质传输可缩放编码数据。因此，可以分配负载，并且可以防止发生延迟或溢出。

此外，可根据情况针对每个层选择将要用于传输的通信介质。例如，可经由具有大带宽的通信介质传输具有相对较大量的数据的基本层的可缩放编码数据(bl)1121，并且可经具有窄带宽的通信介质传输具有相对较小量的数据的增强层的可缩放编码数据(el)1122。替代地，例如，用于传输增强层的可缩放编码数据(el)1122的通信介质可根据网络1112的可用带宽在网络1112和地面广播1111之间切换。自然，以上情况类似地应用于任意层的数据。

以上述方式进行的控制可以进一步抑制数据传输的负载的增加。

当然，层的数量是任意的，并且用于传输的通信介质的数量也是任意的。另外，数据将要被分发到的终端装置1102的数量也是任意的。另外，尽管已作为例子在从广播站1101广播的情况下给出描述，但使用的例子不限于这个例子。数据发送系统1100可被用在以层为单位将使用可缩放编码编码的数据划分为多个段并且经多个线路传输数据段的任何系统中。

另外，以类似于以上参照图49至51描述的针对分级编码和分级解码的应用的方式，本技术还可以被应用于上述如图58中所示的数据发送系统1100，由此实现与以上参照图49至51描述的优点类似的优点。

<第三系统>

例如，如图59中示出的例子中所示，可缩放编码还可被用于编码数据的存储。

在图59中示出的成像系统1200中，成像设备1201对通过拍摄物体1211的图像而获得的图像数据执行可缩放编码，并且将所获得的数据提供给可缩放编码数据存储装置1202作为可缩放编码数据(bl+el)1221。

可缩放编码数据存储装置1202以与情况对应的质量存储从成像设备1201提供的可缩放编码数据(bl+el)1221。例如，在通常时间中，可缩放编码数据存储装置1202从可缩放编码数据(bl+el)1221提取基本层的数，并且存储提取的基本层的数据作为具有低质量和少量数据的基本层的可缩放编码数据(bl)1222。相比之下，例如，在关注时间中，可缩放编码数据存储装置1202按原样存储具有高质量和大量数据的可缩放编码数据(bl+el)1221。

因此，可缩放编码数据存储装置1202可以仅在必要时以高质量保存图像。这可以在抑制由于质量的降低导致的图像的价值的降低的同时抑制数据量的增加，并且可以提高存储区域的使用效率。

例如，假设成像设备1201是安全相机。如果待监视的物体(例如，侵入者)未出现在拍摄图像中(通常时间)，则拍摄图像可能不具有重要的内容。因此，优先考虑数据量的减少，并且图像的图像数据(可缩放编码数据)被以低质量存储。相比之下，如果待监视的物体作为物体1211出现在拍摄图像中(关注时间)，则拍摄图像可能具有重要的内容。因此，优先考虑图像质量，并且图像的图像数据(可缩放编码数据)被以高质量存储。

注意，通常时间或关注时间可由例如可缩放编码数据存储装置1202通过分析图像来确定。替代地，成像设备1201可确定通常时间或关注时间，并且可将确定结果发送给可缩放编码数据存储装置1202。

注意，通常时间或关注时间的确定可基于任意标准，并且该确定所基于的图像可具有任何内容。当然，除图像的内容之外的条件可被用作确定标准。状态可根据例如记录的音频的大小、波形等而改变，或者可按照预定时间段的间隔改变。替代地，状态可根据外部指令(诸如，用户指令)改变。

另外，尽管已给出在两个状态(即，通常时间和关注时间)之间改变的例子的描述，但状态的数量是任意的，并且可在超过两个状态(诸如，通常时间、关注时间、更加关注时间和严重关注时间)之间执行状态改变。注意，将要改变的状态的上限数量取决于可缩放编码数据的层的数量。

此外，成像设备1201可被配置为根据状态确定可缩放编码的层的数量。例如，在通常时间中，成像设备1201可产生具有低质量和少量数据的基本层的可缩放编码数据(bl)1222，并且将产生的可缩放编码数据(bl)1222提供给可缩放编码数据存储装置1202。另外，例如，在关注时间中，成像设备1201可产生具有高质量和大量数据的基本层的可缩放编码数据(bl+el)1221，并且将产生的可缩放编码数据(bl+el)1221提供给可缩放编码数据存储装置1202。

尽管安全相机已被描述为例子，但成像系统1200可被用在任何应用中，并且可被用在除安全相机之外的应用中。

另外，以类似于以上参照图49至51描述的针对分级编码和分级解码的应用的方式，本技术还可以被应用于上述图59中示出的成像系统1200，由此实现与以上参照图49至51描述的优点类似的优点。

注意，本技术还可以被应用于http流传输，诸如mpegdash，其中从预先准备并且具有不同分辨率的多条编码数据之中选择合适的编码数据并且以段为单位使用选择的合适的编码数据。换句话说，也可以在多条编码数据之间共享关于编码和解码的信息。

理所当然地，应用本技术的图像编码装置和图像解码装置还可以被应用于除上述设备之外的设备或系统。

注意，这里已描述这样的例子：量化矩阵(或用于形成量化矩阵的系数)被从编码侧发送到解码侧。用于发送量化矩阵的技术可以是：发送或记录量化矩阵作为与编码比特流关联的分开的数据，而不将量化参数多路复用到编码比特流中。如这里所使用，术语“关联”表示：当比特流中所包括的图像(该图像可以是图像的一部分，诸如片或块)被解码时，允许该图像链接到与该图像对应的信息。也就是说，可在与图像(或比特流)的传输路径不同的传输路径上传输该信息。另外，该信息可被记录在与图像(或比特流)的记录介质不同的记录介质上(或记录在同一记录介质的不同记录区域中)。此外，信息和图像(或比特流)可按照任意单位彼此关联，诸如多个帧、一个帧或帧的一部分。

标号列表

10图像编码装置，14正交变换/量化单元，16无损编码单元，150矩阵处理单元，192dpcm单元，211dc系数编码单元，212ac系数dpcm单元，300图像解码装置，312无损解码单元，313去量化/逆正交变换单元，410矩阵产生单元，552逆dpcm单元，571初始设置单元，572dpcm解码单元，573dc系数提取单元，611ac系数缓冲器，612ac系数编码单元，613ac系数dpcm单元，614dc系数dpcm单元，621初始设置单元，622ac系数dpcm解码单元，623ac系数缓冲器，624dc系数dpcm解码单元，631ac系数dpcm单元，632dc系数缓冲器，633dc系数dpcm单元，641初始设置单元，642ac系数dpcm解码单元，643dc系数dpcm解码单元。