图像处理装置和图像处理方法与流程

本申请是同一申请人的申请日为2012年4月10日的、申请号为201280023109.6(pct/jp2012/059779)、发明名称为“图像处理装置和图像处理方法”的中国发明专利申请的分案申请。

本公开涉及图像处理装置和图像处理方法。

背景技术：

在作为图像编码方案的标准说明之一的h.264/avc中，能够在以高规格甚至更高规格量化图像数据的同时对正交变换系数的各成分使用不同的量化步长。针对正交变换系数的各成分的量化步长可以基于以与正交变换单位相同大小定义的量化矩阵(也被称为缩放列表)以及标准步长值而被设定。

图28例示了在h.264/avc中预定义的四类默认量化矩阵。矩阵sl1是用于帧内预测模式的默认4×4量化矩阵。矩阵sl2是用于帧间预测模式的默认4×4量化矩阵。矩阵sl3是用于帧内预测模式的默认8×8量化矩阵。矩阵sl4是用于帧间预测模式的默认8×8量化矩阵。用户还可以在序列参数集或图片参数集中定义与图28所例示默认矩阵不同的自己的量化矩阵。注意到在没有量化矩阵被指定的情况下，可以使用对所有成分都具有相等量化步长的平坦量化矩阵。

在其标准化被发展作为h.264/avc之后的下一代图像编码方案的高效视频编码(hevc)中，引入了与过去的宏块(参见如下的非专利文献1)相对应的编码单位(cu)的概念。此外，一个编码单位可被分成用于指代各个预测处理的单位的一个或多个预测单位(pu)。随后对各预测单位进行帧内预测或帧间预测。此外，一个编码单位可被分成用于指代各个正交变换的单位的一个或多个变换单位(tu)。每个变换单位随后经历从图像数据到变换系数数据的正交变换，并且变换系数数据被量化。如下的非专利文献2提出了一种被称为短距离帧内预测法的技术，其能够在帧内预测模式中选择大小相对较小的、非正方形预测单位(例如，线状或矩形预测单位)。在此情况下，变换单位的形状也可以变为非正方形，以与预测单位的形状相匹配。

现有技术文献

非专利文献

非专利文献1：jctvc-b205,"testmodelunderconsideration",itu-tsg16wp3andiso/iecjtc1/sc29/wg112ndmeeting:geneva,21-28july,2010

非专利文献2：jctvc-e278,"ce6.b1reportonshortdistanceintrapredictionmethod",itu-tsg16wp3andiso/iecjtc1/sc29/wg115thmeeting:geneva,16-23march,2011

技术实现要素：

技术问题

然而，随着用于变换单位的形状和大小的可选择类型的增加，对应量化矩阵的数量也增加，并且由这些量化矩阵引起的比特率的增加又可能会导致编码效率的降低。结果，期望提供一种即便在所使用的候选量化矩阵增加的情况下仍然不会显著降低编码效率的机制。

问题的解决方案

根据本公开的一个实施例，提供了一种图像处理装置，包括：解码部，对编码流进行解码并生成量化的变换系数数据；以及逆量化部，该逆量化部采用变换系数数据作为要在逆正交变换期间使用的变换单位来对由所述解码部解码的量化的变换系数数据进行逆量化，使得在选择了非正方形变换单位的情况下，该逆量化部使用从与正方形变换单位相对应的正方形量化矩阵生成的、与非正方形变换单位相对应的非正方形量化矩阵。

上述图像处理装置可以典型地被实现为解码图像的图像解码设备。

进一步地，根据本公开的一个实施例，提供了一种图像处理方法，包括：对编码流进行解码并生成量化的变换系数数据；以及

采用变换系数数据作为要在逆正交变换期间使用的变换单位来对经解码的量化的变换系数数据进行逆量化，使得在选择了非正方形变换单位的情况下，使用与非正方形变换单位相对应的非正方形量化矩阵，所述非正方形量化矩阵是从与正方形变换单位相对应的正方形量化矩阵生成的。

本发明的有益效果

如上所述，根据本公开，提供了一种即便在所使用的候选量化矩阵由于变换单位的可选类型增加而增加的情况下仍然不会显著降低编码效率的机制。

附图说明

图1是例示了根据一个实施例的图像编码装置的示例性构成的框图。

图2是示出了图1所示语法处理部的详细构造例的框图。

图3是示出了图1所示正交变换部的详细构造例的框图。

图4是示出了图1所示量化部的详细构造例的框图。

图5是示出了用于生成量化矩阵的参数例的示意图。

图6a是用于说明在复制模式下生成非正方形量化矩阵的第一示意图。

图6b是用于说明在复制模式下生成非正方形量化矩阵的第二示意图。

图6c是用于说明在复制模式下生成非正方形量化矩阵的第三示意图。

图7是用于说明在转置模式下生成量化矩阵的示意图。

图8a是说明用于生成非正方形量化矩阵的简化技术的第一示意图。

图8b是说明用于生成非正方形量化矩阵的简化技术的第二示意图。

图9是说明在使用默认正方形量化矩阵的情况下用于生成非正方形量化矩阵的技术的示意图。

图10是说明用于非正方形量化矩阵的扫描图案例的示意图。

图11是示出了根据一个实施例的编码期间的处理流程例的流程图。

图12是例示了根据一个实施例的图像解码装置的示例性构成的框图。

图13是示出了图12所示语法处理部的详细构造例的框图。

图14是示出了图12所示逆量化部的详细构造例的框图。

图15是示出了图12所示逆正交变换部的详细构造例的框图。

图16是示出了根据一个实施例的解码期间的处理流程例的流程图。

图17是示出了图16所示量化矩阵生成处理的流程例的流程图。

图18是用于说明多视角编解码器的示意图。

图19是用于说明根据多视角编解码器的一个实施例的图像编码处理应用的示意图。

图21是用于说明可缩放编解码器的示意图。

图22是用于说明根据可缩放编解码器的一个实施例的图像编码处理应用的示意图。

图23是用于说明根据可缩放编解码器的一个实施例的图像编码处理应用的示意图。

图24是示出了电视的概略配置例的框图。

图25是示出了移动电话的概略配置例的框图。

图26是示出了记录和回放装置的概略配置例的框图。

图27是示出了成像装置的概略配置例的框图。

图28是示出了在h.264/avc中预定义的默认量化矩阵的示意图。

具体实施例

其后，将参考附图详细描述本发明的优选实施例。注意到，在此说明书和附图中，具有基本相同功能和结构的元件由相同的参考编号所指示，并由此省略对其的重复解释。

同样地，描述将以如下次序进行。

1.根据实施例的图像编码装置的示例性配置

1-1.示例性整体配置

1-2.语法处理部的示例性配置

1-3.正交变换部的示例性配置

1-4.量化部的示例性配置

1-5.示例性参数结构

1-6.生成非正方形量化矩阵的示例

1-7.扫描图案的示例

2.根据实施例的编码期间的处理流程

3.根据实施例的图像解码装置的示例性配置

3-1.示例性整体配置

3-2.语法处理部的示例性配置

3-3.逆量化部的示例性配置

3-4.逆正交变换部的示例性配置

4.根据实施例的解码期间的处理流程

5.各种编解码器的应用

5-1.多视角编解码器

5-2.可缩放编解码器

6.应用

7.结论

<1.根据实施例的图像编码装置的示例性配置>

这一部分描述根据一个实施例的图像编码装置的示例性配置。

[1-1.示例性整体配置]

图1是例示了根据一个实施例的图像编码装置10的示例性构成的框图。参见图1，图像编码装置10配备有模数(a/d)转换部11、重排序缓冲器12、语法处理部13、减法部14、正交变换部15、量化部16、无损编码部17、累积缓冲器18、速率控制部19、逆量化部21、逆正交变换部22、加法部23、解块滤波器24、帧存储器25、选择器26、帧内预测部30、运动估计部40、以及模式选择部50。

a/d转换部11将模拟格式的图像信号输入转换成数字格式，并将数字图像数据序列输出到重排序缓冲器12。

重排序缓冲器12对从a/d转换部11输入的图像数据序列内包括的图像进行重新排序。在根据按照编码处理的图片组(gop)结构重新排序图像后，重排序缓冲器12将重新排序的图像数据输出至语法处理部13。

从重排序缓冲器12输出至语法处理部13的图像数据以被称为网络抽象层(nal)单元的单位映射至比特流。图像数据流包括一个或多个序列。序列中的前导图片被称为瞬时解码刷新(idr)图片。每个序列包括一个或多个图片，并且每个图片还包括一个或多个片段。在h.264/avc和hevc中，这些片段是图像编码和解码的基本单位。用于各个片段的数据被识别为视频编码层(vcl)nal单元。

语法处理部13依次识别从重排序缓冲器12输入的图像数据流的nal单元，并且将存储首部信息的非vclnal单元插入该流中。由语法处理部13插入流中的非vclnal单元包括序列参数集(sps)和图片参数集(pps)。存储在sps和psp中的首部信息例如包括随后描述的与量化矩阵有关的参数(其后称为量化矩阵参数)。注意到也可以设定与sps和pps不同的其他新参数集。例如，语法处理部13可以将仅存储所述量化矩阵参数的量化矩阵参数集(qmps)插入流内。语法处理部13还可以在片段开始处添加片段首部(sh)。语法处理部13随后将包括vclnal单元和非vclnal单元的图像数据流输出至减法部14、帧内预测部30和运动估计部40。随后将进一步描述语法处理部13的详细配置。

减法部14被供应有从语法处理部13输入的图像数据以及由随后描述的模式选择部50选择的预测图像数据。减法部14计算作为从语法处理部13输入的图像数据和从模式选择部50输入的预测图像数据之差的预测误差数据，并将该计算出的预测误差数据输出至正交变换部15。

正交变换部15设置要被编码的图像中的变换单位，并且通过针对每个变换单位对图像数据进行正交变换来生成变换系数数据。在本实施例中，由正交变换部15设置的变换单位的形状可以是正方形或非正方形。正方形变换单位的边长大小可以是诸如4个像素、8个像素、16个像素或32个像素之类的大小。非正方形变换单位的长边尺寸类似地可以是诸如4个像素、8个像素、16个像素或32个像素之类的尺寸，并且长边尺寸和短边尺寸之比可以是诸如2:1、4:1或8:1的比例。经历由正交变换部15进行的正交变换的图像数据是从减法部14输入的预测误差数据。正交变换部15进行的正交变换可以根据任意正交变换方案进行，诸如离散余弦变换(dct)方案、离散正弦变换(dst)方案、hadamard变换方案、karhunen-loeve变换方案等。正交变换部15将经由正交变换处理从预测误差数据变换而来的变换系数数据输出至量化部16。随后将进一步描述正交变换部15的详细配置。

量化部16使用与各变换单位相对应的量化矩阵按照各个变换单位量化从正交变换部15输入的变换系数数据，并将经量化的变换系数数据(其后称为量化数据)输出至无损编码部17和逆量化部21。量化数据的比特率基于来自速率控制部19的速率控制信号而被控制。由量化部16使用的量化矩阵在sps、pps或其他参数集中定义，并且可以在片段首部为各个片段所指定。还可以使用像是图28中例示的默认量化矩阵来代替在参数集中定义的量化矩阵。在此情况下，用于定义量化矩阵的参数变为不必要。随后将进一步描述量化部16的详细配置。

无损编码部17通过对从量化部16输入的量化数据进行编码来生成编码流。此外，无损编码部17对由语法处理部13插入流内的量化矩阵参数进行编码，并将经编码的参数多路复用到编码流内。此外，无损编码部17对从模式选择部50输入的有关帧内预测的信息或有关帧间预测的信息进行编码，并将经编码的信息多路复用到编码流内。典型地，由无损编码部17进行的编码是基于诸如算术编码、golomb编码或huffman编码之类的方案的无损长度可变编码。无损编码部17随后将由此生成的编码流输出至累积缓冲器18。

累积缓冲器18使用诸如半导体存储器的存储介质临时缓冲从无损编码部17输入的编码流。累积缓冲器18随后以根据传输通道的带宽的速率将由此缓冲的编码流输出至未示出的传输部(诸如与外围设备的通信接口或连接接口)。

速率控制部19监视累积缓冲器18内的空闲容量。随后，速率控制部19依据累积缓冲器18内的空闲容量生成速率控制信号，并将生成的速率控制信号输出至量化部16。例如，当累积缓冲器18内没有什么空闲容量时，速率控制部19生成降低量化数据的比特率的速率控制信号。同样地，例如，当累积缓冲器18内有充足空闲容量时，速率控制部19生成提升量化数据的比特率的速率控制信号。

逆量化部21使用与量化部16在量化处理期间设定的量化矩阵相同的量化矩阵对从量化部16输入的量化数据执行逆量化处理。逆量化部21随后将通过逆量化处理获取的变换系数数据输出至逆正交变换部22。

逆正交变换部22通过对从逆量化部21输入的变换系数数据应用逆正交变换来恢复预测误差数据。由逆正交变换部22使用的正交变换方法与正交变换部15在正交变换处理期间选择的方法相等同。随后，逆正交变换部22将经恢复的预测误差数据输出至加法部23。

加法部23将从逆正交变换部22输入的经恢复的预测误差数据与从模式选择部50输入的预测图像数据相加，藉此生成解码图像数据。随后，加法部23将由此生成的解码图像数据输出至解块滤波器24和帧存储器25。

解块滤波器24应用滤波以减少图像编码时产生的成块伪像。解块滤波器24通过对从加法部23输入的解码图像数据进行滤波来移除成块伪像，并且将由此滤波的解码图像数据输出至帧存储器25。

帧存储器25使用存储介质存储从加法部23输入的解码图像数据以及从解块滤波器24输入的滤波后的解码图像数据。

选择器26从帧存储器25中读取要被用于帧内预测的未经滤波的解码图像数据，并将由此读取的解码图像数据作为参考图像数据供应至帧内预测部30。同样地，选择器26从帧存储器25中读取要被用于帧间预测的经滤波的解码图像数据，并将由此读取的解码图像数据作为参考图像数据供应至运动估计部40。

帧内预测部30基于从语法处理部13输入的要被编码的图像数据和经由选择器26供应的解码图像数据而在各个帧内预测模式下执行帧内预测处理。例如，帧内预测部30使用预先确定的成本函数评估每个帧内预测模式的预测结果。然后，帧内预测部30选择产生最小成本函数值的帧内预测模式(即，产生最高压缩比率的帧内预测模式)作为最优帧内预测模式。帧内预测部30随后将预测图像数据、包括所选最优帧内预测模式等的有关帧内预测的信息以及成本函数值输出至模式选择部50。

运动估计部40基于从语法处理部13输入的要被编码的图像数据和经由选择器26供应的解码图像数据而执行帧间预测处理(多个帧之间的预测处理)。例如，运动估计部40使用预先确定的成本函数评估每个预测模式的预测结果。然后，运动估计部40选择产生最小成本函数值的预测模式(即，产生最高压缩比率的预测模式)作为最优预测模式。运动估计部40根据该最优预测模式生成预测图像数据。运动估计部40将预测图像数据、包括所选最优预测模式等的有关帧间预测的信息以及成本函数值输出至模式选择部50。

模式选择部50将从帧内预测部30输入的有关帧内预测的成本函数值与从运动估计部40输入的有关帧间预测的成本函数值相比较。随后，模式选择部50在帧内预测和帧间预测之中选择具有最小成本函数值的预测方法。在选择帧内预测的情况下，模式选择部50将与帧内预测有关的信息输出至无损编码部17，并将预测图像数据输出至减法部14和加法部23。同样地，在选择帧间预测的情况下，模式选择部50将与上述帧间预测有关的信息输出至无损编码部17，并将预测图像数据输出至减法部14和加法部23。

[1-2.语法处理部的示例性配置]

图2是示出了图1所示图像编码装置10的语法处理部13的详细构造例的框图。参考图2，语法处理部13包括设置存储部132、参数生成部134和插入部136。

(1)设置存储部

设置存储部132存储由图像编码装置10在编码处理中使用的各种设置。例如，设置存储部132存储诸如用于图像数据内每个序列的类(profile)、用于每个图片的编码模式、有关gop结构的数据、以及编码单位、预测单位和变换单位设置之类的信息。同样地，在本实施例中，设置存储部132存储由量化部16(和逆量化部21)使用的有关量化矩阵的设置。这些设置可以是针对每个片段被预定的，典型地基于离线图像分析。

(2)参数生成部

参数生成部134生成定义由设置存储部132存储的设置的参数，并且将生成的参数输出至插入部136。

例如，在本实施例中，参数生成部134生成量化矩阵参数，后者则用于生成可由量化部16用作候选的量化矩阵。由量化部16使用的候选量化矩阵包括与可在图像内设置的各类变换单位相对应的量化矩阵。在本实施例中，至少根据变换单位的形状和尺寸的组合来对变换单位类型进行分类。随后将进一步讨论由参数生成部134生成的量化矩阵参数的例子。

(3)插入部

插入部136将相应地包括由参数生成部134生成的参数组的诸如sps和pps的首部信息以及片段首部插入从重排序缓冲器12输入的图像数据流。由插入部136插入图像数据流的首部信息包括由参数生成部134生成的量化矩阵参数。插入部136随后将带有插入的首部信息的图像数据流输出至减法部14、帧内预测部30和运动估计部40。

[1-3.正交变换部的示例性配置]

图3是示出了图1所示图像编码装置10的正交变换部15的详细构造例的框图。参见图3，正交变换部15包括变换单位设置部152和正交变换计算部154。

(1)变换单位设置部

变换单位设置部152在图像内设置在对要被编码的图像数据进行正交变换时使用的变换单位。由变换单位设置部152设置的变换单位的形状可以是正方形或非正方形。例如，在帧内预测部30使用在前讨论的短距离帧内预测方法的情况下，变换单位设置部152可以在非正方形预测单位被选作预测单位时设置与图像中的预测单位具有相同尺寸的非正方形变换单位。

(2)正交变换计算部

针对由变换单位设置部152在图像内设置的各变换单位，正交变换计算部154通过对从减法部14输入的预测误差数据进行正交变换来生成变换系数数据。正交变换计算部154随后将生成的变换系数数据输出至量化部16。此外，变换单位设置部152将指定设置的变换单位的变换单位信息输出至量化部16。

[1-4.量化部的示例性配置]

图4是示出了图1所示图像编码装置10的量化部16的详细构造例的框图。参见图4，量化部16包括量化矩阵设置部162和量化计算部164。

(1)量化矩阵设置部

对于由正交变换部15设置的各变换单位，量化矩阵设置部162设置用于量化由正交变换生成的变换系数数据的量化矩阵。例如，量化矩阵设置部162首先从正交变换部15获取变换单位信息。变换单位信息可以是指定将各编码单位划分为一个或多个变换单位的分区位置的信息。此外，变换单位信息在其中预测单位和变换单位相等同的情况下可以是指定预测单位而非变换单位的信息。

量化矩阵设置部162从获取的变换单位信息中识别各变换单位的形状和尺寸，并且设置与所识别的各变换单位的形状和大小相对应的量化矩阵。例如，针对8×8像素变换单位设置一个8行8列的量化矩阵，针对2×8像素变换单位设置一个2行8列的量化矩阵，以及针对8×2像素变换单位设置一个8行2列的量化矩阵。量化矩阵设置部162针对各变换单位设置设置的量化矩阵可以对于例如预测模式(帧内预测/帧间预测)和信号成分(y/cb/cr)的每种组合而不同。还可以根据来自速率控制部19的速率控制信号来对设定量化矩阵的量化步长进行调整。

(2)正交变换计算部

针对每个变换单位，正交变换计算部154使用由变换方法选择部152选择的正交变换方法将从减法部14输入的预测误差数据变换为变换系数数据。正交变换计算部154随后将经变换的变换系数数据输出至量化部16。变换方法选择部152还可以将表达为每个变换单位选择的正交变换方法的变换方法信息输出至量化部16。

[1-5.示例性参数结构]

图5示出了由语法处理部13的参数生成部134生成的量化矩阵参数中与非正方形量化矩阵有关的参数例。注意到与正方形量化矩阵有关的参数可以是与诸如h.264/avc的现有图像编码方案中的那些参数相类似的参数。

参见图5，量化矩阵参数包括用于生成各非正方形量化矩阵的参数组和“非正方形矩阵标志”。

“非正方形矩阵标志”是表达是否使用非正方形量化矩阵的标志。在其中非正方形矩阵标志指示“0:否”的情况下，不使用非正方形量化矩阵，并且由此省略图5所示的用于生成非正方形量化矩阵的其他参数。另一方面，在其中非正方形矩阵标志指示“1:是”的情况下，可以使用非正方形量化矩阵，并且这些量化矩阵将在解码侧基于以下描述的参数生成。

“生成模式”是用于生成非正方形量化矩阵的一个参数。“生成模式“是表达如何生成非正方形量化矩阵的一种类别。作为一例，生成模式类别可以采用如下之一的值：

0:完全扫描模式

1:复制模式

2:转置模式

完全扫描模式

如果生成模式是“0:完全扫描模式”，则量化矩阵参数额外包括“差分数据”。该“差分数据”是定义非正方形量化矩阵的数据。该“差分数据”可以是通过例如根据给定扫描图案将非正方形量化矩阵的所有元素转换成线性阵列并以差分脉冲代码调制(dpcm)格式编码该线性阵列而获取的数据。

(2)复制模式

如果生成模式是“1:复制模式”，非正方形量化矩阵则通过将对应的正方形量化矩阵的某些行或列复制到非正方形量化矩阵的相应行或列中来生成。与一具体非正方形量化矩阵相对应的正方形量化矩阵可以是其边长尺寸与该非正方形量化矩阵的长边尺寸相等的正方形量化矩阵。在此情况下，量化矩阵参数额外包括“指定模式”。该“指定模式”是表达如何指定将被用作复制源行或列的正方形量化矩阵的行或列的类别。作为一例，该类别可以采用如下之一的值：

0:默认

1:复制源id

2:方向+复制源id

如果指定模式是“0:默认”，则处于预定义的默认位置处的行或列被看做是复制源行或列。例如，如果正被处理的非正方形量化矩阵的尺寸是2行乘8列(2×8)，则相对应的正方形量化矩阵的尺寸是8行乘8列(8×8)。在此情况下，该8×8量化矩阵的第0行和第4行或是第0行和第1行可以是默认复制源。另举一例，如果正被处理的非正方形量化矩阵的尺寸是8×2，则相对应的正方形量化矩阵的尺寸类似地仍是8×8。在此情况下，该8×8量化矩阵的第0列和第4列或是第0列和第1列可以是默认复制源。注意到，矩阵的最上行和最左列在本文中分别被看作是第0行和第0列。

如果指定模式是“1:复制源id”，则量化矩阵参数额外包括“复制源id”。该“复制源id”表达用于指定对应正方形量化矩阵中将被用作复制源行或列的行或列的位置的一个或多个行id或列id。例如，假设正被处理的非正方形量化矩阵的尺寸为2×8，并且“复制源id”指示“0”和“3”。在此情况下，该8×8正方形量化矩阵的第0行和第3行变为复制源。注意到使用该指定方案，如果正被处理的非正方形量化矩阵的长边是水平边，则相应正方形量化矩阵的一些行变为复制源。与此同时，如果正被处理的非正方形量化矩阵的长边是垂直边，则相应正方形量化矩阵的一些列变为复制源。

如果指定模式是“2:方向+复制源id”，则可以将相应正方形量化矩阵的行指定为复制源，也可以将列指定为复制源，而不考虑正被处理的非正方形量化矩阵的长边方向。在此情况下，量化矩阵参数额外包括“复制源id”和“复制源方向”。“复制源方向”是指示是采用相应正方形量化矩阵的行作为复制源还是采用列作为复制源的类别。作为一例，复制源方向类别可以采用如下之一的值：

0:相同方向

1:不同方向

例如，假设正被处理的非正方形量化矩阵的尺寸为2×8，“复制源id”指示“0”和“3”，并且“复制源方向”指示“0:相同方向”。在此情况下，该8×8正方形量化矩阵的第0行和第3行变为复制源。另一方面，在“复制源方向”在类似条件下指示“1:不同方向”的情况下，8×8正方形量化矩阵的第0列和第3列分别变为用于2×8非正方形量化矩阵的第0行和第1行的复制源。

(3)转置模式

如果生成模式是“2:转置模式”，则正被处理的非正方形量化矩阵被计算作为其长边尺寸和短边尺寸相反的另一非正方形量化矩阵的转置。例如，一个8×2量化矩阵可被计算作为一个2×8量化矩阵的转置。

在其中生成模式是“1:复制模式”或“2:转置模式”的情况下，“残差数据”可被包括在量化矩阵参数内。残差数据可以是通过把根据复制或转置生成的量化矩阵相对于实际正被使用的量化矩阵的所有元素的残差使用给定扫描图案转换为线性阵列而获取的数据。

正如在前所讨论的，在图5例示的量化矩阵参数可被插入sps或pps，或是与这些参数集不同的参数集。应该注意到这些量化矩阵参数仅是一个例子。换句话说，可以省略上述量化矩阵参数中的一些参数，并且还可以添加其他参数。此外，还可以分别为各类型的非正方形量化矩阵定义除图5例示的“非正方形矩阵标志”和“残差数据”之外的参数，或为多种类型的非正方形量化矩阵共同定义上述参数。

例如，有关是否以复制模式生成非正方形量化矩阵以及复制哪些行或列的问题可以被预定义为在编码器和解码器之间共享的规范。在此情况下，可以不将诸如“生成模式”、“指定模式”、“复制源id”和“复制源方向”之类的参数插入参数集，由此减少开销并潜在地改善编码效率。

此外，在使用默认量化矩阵作为相应正方形量化矩阵的情况下，即便“非正方形矩阵标志”指示“1:是”，也可以省略图5例示的除“非正方形矩阵标志”之外的量化矩阵参数。在此情况下，还可以为该非正方形量化矩阵使用预定义的默认量化矩阵。

[1-6.生成非正方形量化矩阵的示例]

图6a至6c示出了在复制模式下生成非正方形量化矩阵的例子。

图6a的右侧示出了2×8非正方形量化矩阵mns28，其是正被生成的量化矩阵。与此同时，图6a的左侧示出了与量化矩阵mns28相对应的8×8正方形量化矩阵ms8。同样地，“0:默认”被规定作为指定模式。假设预定义的默认复制源是第0行和第4行。在此情况下，量化矩阵mns28可以通过将量化矩阵ms8的第0行复制到第0行，并将量化矩阵ms8的第4行复制到第1行来生成。此外，还可以在需要时向复制得到的量化矩阵mns28的每个元素添加残差。

以此方式，通过使得能够通过复制正方形量化矩阵的行或列生成非正方形量化矩阵，就能够抑制因使用非正方形量化矩阵引起的比特率的增加。此外，采用复制源行或列的位置作为默认位置则避免了由指定所述复制源行或列的位置所引起的比特率的增加。

图6b的右侧示出了8×2非正方形量化矩阵mns82，其是正被生成的量化矩阵。与此同时，图6b的左侧示出了与量化矩阵mns82相对应的8×8正方形量化矩阵ms8。同样地，“1:复制源id”被规定作为指定模式，并且(0,6)被指定为复制源id。在此情况下，量化矩阵mns82可以通过将量化矩阵ms8的第0列复制到第0列并将量化矩阵ms8的第6列复制到第1列来生成。此外，还可以在需要时向复制得到的量化矩阵mns82的每个元素添加残差。

以此方式，通过在从正方形量化矩阵中生成非正方形量化矩阵时指定复制源行或列的位置，变得能够进一步减小复制所得矩阵相对于实际使用矩阵的残差，并抑制用于残差数据的比特率。于是，能够更为有效地抑制由使用非正方形量化矩阵引起的比特率的增加。

图6c的右侧示出了2×4非正方形量化矩阵mns24，其是正被生成的量化矩阵。与此同时，图6c的左侧示出了与量化矩阵mns24相对应的4×4正方形量化矩阵ms4。此外，“2:复制源方向+复制源id”被规定作为指定模式，(0,3)被规定为复制源id，并且“1:不同方向”被规定为复制源方向。在此情况下，量化矩阵mns24可以通过将量化矩阵ms4的第0列复制到第0行并将量化矩阵ms4的第3列复制到第1行来生成。此外，还可以在需要时向复制得到的量化矩阵mns24的每个元素添加残差。

以此方式，通过使得能够将正方形量化矩阵的行和列两者指定为复制源，而不考虑非正方形量化矩阵的形状，就能够拓展复制源的选择范围，尤其是在使用具有不对称元素值的量化矩阵的情况下。于是，能够最小化复制所得矩阵相比于正实际使用矩阵的残差。

图7示出了在转置模式下生成非正方形量化矩阵的例子。

图7的右侧示出了2×8非正方形量化矩阵mns28，其是正被生成的量化矩阵。与此同时，图7的左侧示出了8×2非正方形量化矩阵mns82。在此情况下，量化矩阵mns28可被生成作为量化矩阵mns82的转置(mns82^t)。此外，还可以在需要时向转置得到的量化矩阵mns28的每个元素添加残差。

以此方式，在转置模式下，就能够与使用来自另一对称非正方形量化矩阵的复制模式的情况相类似地生成非正方形量化矩阵，而不需要诸如指定模式、复制源id和复制源方向之类的参数。结果，就能够进一步降低用于非正方形量化矩阵的比特率。

图8a和8b是说明用于生成非正方形量化矩阵的简化技术的说明图。

图8a的右侧示出了两个非正方形量化矩阵mns416和mns164，其是正被生成的量化矩阵。与此同时，图8a的左侧示出了对应的8×8正方形量化矩阵ms16。在此，假设有关是否以复制模式生成非正方形量化矩阵以及复制哪些行/列的问题已为编码器和解码器两者所知(例如，预定义为规范)。结果，“生成模式”、“指定模式”、“复制源id”和“复制源方向”没有被编码为量化参数。该预定义的默认复制源行/列的位置可以是任意位置。在图8a的例子中，假设该预定义的默认复制源行和列的位置分别是从第0行开始每隔3行以及从第0列开始每隔3列的位置(图中的阴影部分)。在此情况下，量化矩阵mns416可以通过将量化矩阵ms16的第0行、第4行、第8行和第12行复制到四行内来生成。而量化矩阵mns164则可通过将量化矩阵ms16的第0列、第4列、第8列和第12列复制到四列内来生成。

图8b的右侧示出了两个非正方形量化矩阵mns832和mns328，其是正被生成的量化矩阵。与此同时，图8b的左侧示出了对应的32×32正方形量化矩阵ms32。类似于图8a的例子，“生成模式”、“指定模式”、“复制源id”和“复制源方向”没有被编码为量化参数。类似于图8a的例子，假设该预定义的默认复制源行和列的位置分别是从第0行开始每隔3行以及从第0列开始每隔3列的位置(图中的阴影部分)。在此情况下，量化矩阵mns832可以通过将量化矩阵ms32的第0行、第4行、第8行、第12行、第16行、第20行、第24行和第28行复制到八行内来生成。量化矩阵mns328可以通过将量化矩阵ms32的第0列、第4列、第8列、第12列、第16列、第20列、第24列和第28列复制到八列内来生成。

注意到，如同图8a和8b中的例子，默认复制源行/列的位置是根据矩阵的边长尺寸的比例以相等的间隔分配的位置。另外，例如可以使用从顶边或左边开始的n个连续的行/列。此外，作为复制默认位置上的行/列的代替，可以将正方形量化矩阵内默认位置处的四个元素复制到非正方形量化矩阵的四个顶点位置处的元素内，而其余元素则被插值(使用诸如线性插值之类的技术)。此外，还可以将正方形量化矩阵内默认位置处的n个元素(其中n等于非正方形量化矩阵中所有元素的数目)分别复制到非正方形量化矩阵内相应位置处的元素内。

以此方式，通过预定义是否要在复制模式下从正方形量化矩阵中生成非正方形量化矩阵以及如何复制所述矩阵，就能够省略用于非正方形量化矩阵的量化矩阵参数的大部分编码。于是，能够降低传送开销，同时还降低编码器和解码器配置的复杂度。

图9是说明在使用默认正方形量化矩阵的情况下用于生成非正方形量化矩阵的技术的说明图。

图9的左侧例示的是8×8默认正方形量化矩阵ms8def。在使用这一默认正方形量化矩阵ms8def的情况下，相应的非正方形量化矩阵也可以是默认矩阵。图9的右侧例示的是两个默认非正方形量化矩阵mns28def和mns82def。作为从正方形量化矩阵ms8def生成(使用诸如复制行或列的技术)的代替，非正方形量化矩阵mns28def和mns82def则例如可被预定义为共享规范，并且可被存储在编码器和解码器两者的存储器内。

以此方式，在使用默认正方形量化矩阵的情况下，还采用非正方形量化矩阵作为默认量化矩阵，使得减少编码用量化矩阵参数并降低传送开销变得可能。此外，还能够降低编码器和解码器配置的复杂度。

[1-7.扫描图案的示例]

使用图5例示的量化矩阵参数，通过根据某一扫描图案线性化二维矩阵而在完全扫描模式下生成差分数据，而在复制模式和转置模式下生成残差数据。在线性化正方形量化矩阵的各元素时通常使用的扫描图案是被称为折线扫描的图案。相比之下，在线性化非正方形量化矩阵的各元素时，也可以使用与类似折线扫描的扫描图案不相同的扫描图案。

图10示出了可被用于非正方形量化矩阵的扫描图案的三个例子。

图10左侧的第一例是类似于折线扫描的扫描图案。在此，这一扫描图案也被称为折线扫描。在折线扫描中，假设位于量化矩阵的从右上到左下的对角线上的元素高度相关，并且扫描顺序被确定为使得高度相关元素组中的元素被连续扫描。

在图10中央的第二例是连续扫描布置在非正方形量化矩阵的长边方向内的元素组的扫描图案。该扫描图案被称为长边优先扫描。在布置在量化矩阵的长边方向内的各元素之间具有高度相关的情况下，该长边优先扫描减小被连续扫描的各元素之间的差异并优化dpcm后的线性阵列。

在图10右侧的第三例是连续扫描布置在非正方形量化矩阵的短边方向内的元素组的扫描图案。该扫描图案被称为短边优先扫描。在布置在量化矩阵的短边方向内的各元素之间具有高度相关的情况下，该短边优先扫描减小被连续扫描的各元素之间的差异并优化dpcm后的线性阵列。

用于非正方形量化矩阵的扫描图案可以是根据图10例示的扫描图案的任意被静态定义的扫描图案。另外，可以为各序列、各图片或各片段从多个候选扫描图案中适应性地选择用于优化编码效率的扫描图案。在此情况下，用于标识所使用的扫描图案的标识符(诸如图10中例示的扫描id(scan_id))可被包括在诸如sps、pps或片段首部之类的参数集内。

<2.根据实施例的编码期间的处理流程>

图11是示出了由根据本实施例的图像编码装置10编码期间的处理流程例的流程图。注意到，出于在此描述简明的目的，仅例示了与图像数据的正交变换和量化有关的处理步骤。

参见图11，首先，正交变换部15的变换单位设置部152识别要在图像数据中设置以用于编码的各变换单位的形状和尺寸，并设置该图像内的变换单位(步骤s110)。

接下来，针对由变换单位设置部152设置的各变换单位，正交变换计算部154通过对图像数据(从减法部14输入的预测误差数据)进行正交变换来生成变换系数数据(步骤s120)。

接下来，量化部16的量化矩阵设置部162根据设置的变换单位的形状和尺寸设置用于各变换单位的量化矩阵(步骤s130)。

接下来，针对各变换单位，量化计算部164使用由量化矩阵设置部162设置的量化矩阵来对从正交变换计算部154输入的变换系数数据进行量化(步骤s140)。

无损编码部17随后通过对从量化计算部164输入的量化数据进行编码生成编码流，并且还将量化矩阵参数编码并多路复用到该编码流中(步骤s150)。

典型地，可以为要编码图像内的所有变换单位重复这些处理步骤。

<3.根据实施例的图像解码装置的示例性配置]

这一部分描述根据一个实施例的图像解码装置的示例性配置。

[3-1.示例性整体配置]

图12是例示了根据一个实施例的图像解码装置60的示例性构成的框图。参考图12，图像解码装置60包括语法处理部61、无损解码部62、逆量化部63、逆正交变换部64、加法部65、解块滤波器66、重排序缓冲器67、数模(d/a)转换部68、帧存储器69、选择器70和71、帧内预测部80和运动补偿部90。

语法处理部61从经由传输通道输入的编码流获取诸如sps、pps和片段首部的首部信息，并基于所获取的首部信息识别由图像解码装置60进行解码处理的各种设置。例如，在本实施例中，语法处理部61基于在每个参数集内包括的量化矩阵参数生成可在由逆量化部63进行的逆量化处理期间使用的候选量化矩阵。随后将进一步描述语法处理部61的详细配置。

无损解码部62根据在编码时使用的编码方法解码从语法处理部61输入的编码流。无损解码部62随后将经解码的量化数据输出至逆量化部63。此外，无损解码部62将包括在首部信息内的与帧内预测有关的信息输出至帧内预测部80，并将与帧间预测有关的信息输出至运动补偿部90。

逆量化部63使用从由语法处理部61生成的候选量化矩阵中与各变换单位的形状和尺寸相对应的量化矩阵对由无损解码部62解码的量化数据(即，量化的变换系数数据)进行逆量化。随后将进一步描述逆量化部63的详细配置。

逆正交变换部64通过对要解码的图像内设置的各变换单位的经逆量化的变换系数数据进行逆正交变换来生成预测误差数据。可在本实施例中设置的变换单位的形状如前所述是正方形或非正方形。随后，逆正交变换部64将生成的预测误差数据输出至加法部65。

加法部65将从逆正交变换部64输入的预测误差数据与从选择器71输入的预测图像数据相加，藉此生成解码图像数据。随后，加法部65将由此生成的解码图像数据输出至解块滤波器66和帧存储器69。

解块滤波器66通过对从加法部65输入的解码图像数据进行滤波来移除成块伪像，并且将由此滤波的解码图像数据输出至重排序缓冲器67和帧存储器69。

重排序缓冲器67通过对从解块滤波器66输入的图像进行重新排序而生成按时间顺序的图像数据序列。随后，重排序缓冲器67将生成的图像数据输出至d/a转换部68。

d/a转换部68将从重排序缓冲器67输入的数字格式的图像数据转换成模拟格式的图像信号。然后，d/a转换部68就通过将模拟图像信号输入至例如连接至图像解码装置60的显示器(未示出)而实现图像的显示。

帧存储器69使用存储介质存储从加法部65输入的未经滤波的解码图像数据以及从解块滤波器66输入的经滤波的解码图像数据。

选择器70根据由无损解码部62获取的模式信息为图像内的每个块在帧内预测部80和运动补偿部90之间切换来自帧存储器69的图像数据的输出目的地。例如，在帧内预测模式被指定的情况下，选择器70将从帧存储器69供应的未经滤波的解码图像数据作为参考图像数据输出至帧内预测部80。同样地，在帧间预测模式被指定的情况下，选择器70将从帧存储器69供应的经滤波的解码图像数据作为参考图像数据输出至运动补偿部90。

选择器71根据由无损解码部62获取的模式信息为图像内的每个块在帧内预测部80和运动补偿部90之间切换要被供应至加法部65的预测图像数据的输出源。例如，在帧内预测模式被指定的情况下，选择器71为加法部65供应从帧内预测部80输出的预测图像数据。在帧间预测模式被指定的情况下，选择器71为加法部65供应从运动补偿部90输出的预测图像数据。

基于从无损解码部62输入的与帧内预测有关的信息以及来自帧存储器69的参考图像数据，帧内预测部80执行像素值的图片内预测，并且生成预测图像数据。随后，帧内预测部80将由此生成的预测图像数据输出至选择器71。

基于从无损解码部62输入的与帧间预测有关的信息以及来自帧存储器69的参考图像数据，运动补偿部90执行运动补偿处理，并且生成预测图像数据。随后，运动补偿部90将由此生成的预测图像数据输出至选择器71。

[3-2.语法处理部的示例性配置]

图13是示出了图12所示图像解码装置60的语法处理部61的详细构造例的框图。参见图13，语法处理部61包括参数获取部212和生成部214。

(1)参数获取部

参数获取部212从图像数据流中识别诸如sps、pps和片段首部之类的首部信息，并且获取包括在该首部信息内的参数。例如，在本实施例中，参数获取部212从各个参数集获取定义量化矩阵的量化矩阵参数。参数获取部212随后将获取的参数输出至生成部214。参数获取部212还将图像数据流输出至无损解码部62。

(2)生成部

生成部214基于由参数获取部212获取的量化矩阵参数生成可由逆量化部63使用的候选量化矩阵。在本实施例中，由生成部214生成的量化矩阵包括与各类型的变换单位(即，形状和尺寸的每个组合)相对应的量化矩阵，其中所述变换单位是由逆正交变换部64进行逆正交变换的单位。

更具体地，例如在其中不使用默认量化矩阵的情况下，生成部214基于在编码流的首部或参数集中的定义来生成各种尺寸的正方形量化矩阵。生成部214还在编码流的首部或参数集包括指示要使用非正方形量化矩阵的标志(例如，在前讨论的非正方形矩阵标志)的情况下生成非正方形量化矩阵。非正方形量化矩阵可以根据在前讨论的完全扫描模式、复制模式和转置模式中的任意模式生成。

例如，在复制模式下，生成部214通过从相应的正方形量化矩阵中复制行或列来生成非正方形量化矩阵。有关从该正方形量化矩阵中复制哪些行或列的问题可由量化矩阵参数中的复制源id和复制源方向指定。与此同时，在要复制的行或列未被指定的情况下，可以将在预定义的默认位置处的行或列看作是复制源。

此外，在完全扫描模式下，生成部214基于在dpcm格式下使用的差分数据的定义生成非正方形量化矩阵，而非从正方形量化矩阵中生成非正方形量化矩阵。

此外，在转置模式下，生成部214生成作为另一非正方形量化矩阵的转置的非正方形量化矩阵，其中该另一非正方形量化矩阵具有与所述非正方形量化矩阵对称的形状。在复制模式和转置模式下，生成部214可以进一步地将量化矩阵参数中定义的残差添加至复制得到的量化矩阵或转置得到的量化矩阵的各元素。

注意到在其中与一具体非正方形量化矩阵相对应的正方形量化矩阵是默认量化矩阵的情况下，生成部214使用预定义的默认非正方形量化矩阵作为所述非正方形量化矩阵。

生成部214将以此方式生成的候选量化矩阵输出至逆量化部63。

[3-3.逆量化部的示例性配置]

图14是示出了图12所示图像解码装置60的逆量化部63的详细构造例的框图。参见图14，逆量化部63包括量化矩阵设置部232和逆量化计算部234。

(1)量化矩阵设置部

量化矩阵设置部232识别由逆正交变换部64在进行逆正交变换期间所使用的变换单位的形状和尺寸，并且为各变换单位设置与所识别的形状和尺寸相对应的量化矩阵。例如，量化矩阵设置部232获取包括在编码流首部信息内的变换单位信息。随后，量化矩阵设置部232从变换单位信息中识别各变换单位的形状和尺寸，并且针对各变换单位设置与从由语法处理部61的生成部214生成的量化矩阵中识别的形状和尺寸相对应的量化矩阵。注意到量化矩阵设置部232还可以为各变换单位设置针对例如预测模式(帧内预测/帧间预测)和信号成分(y/cb/cr)的每种组合而有所不同的量化矩阵。

(2)逆量化计算部

针对每个变换单位，逆量化计算部234使用由量化矩阵设置部232设置的量化矩阵来对从正交变换部62输入的变换系数数据(量化数据)进行逆量化。逆量化计算部234随后将经逆量化的变换系数数据输出至逆正交变换部64。

[3-4.逆正交变换部的示例性配置]

图15是示出了图12所示图像解码装置60的逆正交变换部64的详细构造例的框图。参见图15，逆正交变换部64包括变换单位选择部242和逆正交变换计算部244。

(1)变换单位设置部

变换单位设置部242设置正方形或非正方形变换单位作为在对要解码的图像数据进行逆正交变换时使用的变换单位。由变换单位设置部242设置的变换单位的形状可以是正方形或非正方形。例如，在帧内预测部80使用在前讨论的短距离帧内预测法的情况下，变换单位设置部242可以在非正方形预测单位被选作预测单位时设置与该预测单位具有相同尺寸的非正方形变换单位。

(2)正交变换计算部

针对由变换单位设置部242设置的各变换单位，逆正交变换计算部244通过对从逆量化部63输入的变换系数数据进行逆正交变换来生成预测误差数据。随后，逆正交变换计算部244将生成的预测误差数据输出至加法部65。

<4.根据实施例的解码期间的处理流程>

(1)处理流程概述

图16是示出了由根据本实施例的图像解码装置60解码期间的处理流程例的流程图。注意到，出于在此描述简明的目的，仅例示了与图像数据的逆正交变换和逆量化有关的处理步骤。

参见图16，首先，语法处理部61的参数获取部212从图像数据的流中识别诸如sps、pps和片段首部之类的首部信息，并且获取包括在该首部信息内的量化矩阵参数(步骤s210)。

接下来，语法处理部61的生成部214基于由参数获取部212获取的量化矩阵参数从可由逆量化部63使用的候选量化矩阵中生成正方形量化矩阵(步骤s220)。

接下来，生成部214基于上述量化矩阵参数从可由逆量化部63使用的候选量化矩阵中生成非正方形量化矩阵(步骤s230)。随后使用图17进一步描述在此处的详细处理流程。

接下来，逆量化部63的量化矩阵设置部232为各变换单位设置与该变换单位的形状和尺寸的组合相对应的量化矩阵(步骤s260)。

接下来，针对各变换单位，逆量化部63的逆量化计算部234使用由量化矩阵设置部232设置的量化矩阵对从无损解码部62输入的量化数据进行逆量化(步骤s270)。

接下来，针对各变换单位，逆正交变换部64通过对从逆量化部63生成的变换系数数据进行逆正交变换来生成预测误差数据(步骤s280)。通过具有将在此处生成的预测误差数据与预测图像数据相加的加法部65，编码前的图像数据得以恢复。

注意到，典型地可以为要解码图像内的全部变换单位重复从步骤s260到步骤s280的处理。

(2)非正方形量化矩阵生成处理

图17是示出了图16的步骤s230的非正方形量化矩阵生成处理的流程例的流程图。在图17中例示的处理可以针对包括量化矩阵参数的各参数集进行。注意到，假设各参数集包括图5例示的量化矩阵参数。

参见图17，首先，生成部214获取非正方形矩阵标志(步骤s231)。生成部214随后基于该非正方形矩阵标志的值判定是否要生成非正方形量化矩阵(步骤s232)。在此处，生成部214在判定不生成非正方形量化矩阵的情况下跳过后续处理。另一方面，该处理在生成部214判定生成非正方形量化矩阵的情况下行进至步骤s234。

可以针对每种类型的非正方形量化矩阵重复从步骤s236到步骤s252的处理(步骤s234)。可以通过例如量化矩阵尺寸、预测模式和信号成分的组合来对非正方形量化矩阵的类型进行分类。

在步骤s238，生成部214判定相应的正方形量化矩阵是否是默认量化矩阵(步骤s236)。在此处，该处理在相应的正方形量化矩阵是默认量化矩阵的情况下行进至骤s237。另一方面，该处理在相应的正方形量化矩阵不是默认量化矩阵的情况下行进至骤s238。

在步骤s237，生成部214获取在存储器中存储的预定义的默认量化矩阵作为要生成的非正方形量化矩阵(步骤s237)。

在步骤s238，生成部214获取生成模式(步骤s238)。生成部214随后基于获取的生成模式的值切换后续处理。

例如，在生成模式指示完全扫描模式的情况下(步骤s240)，生成部214额外获取差分数据并且在完全扫描模式下生成非正方形量化矩阵(步骤s242)。

此外，在生成模式指示复制模式的情况下(步骤s244)，生成部214额外获取指定模式，并且在需要时获取复制源id和复制源方向(步骤s246)。生成部214随后在复制模式下生成非正方形量化矩阵，或者换句话说，通过从相应正方形量化矩阵中复制指定的行或列来生成非正方形量化矩阵(步骤s248)。

此外，例如在其中生成模式指示转置模式的情况下，生成部214在转置模式下从另一非正方形量化矩阵生成非正方形量化矩阵，其中该另一非正方形量化矩阵具有与所述非正方形量化矩阵对称的形状(步骤s250)。

注意到在通过从正方形量化矩阵中复制来预定义生成非正方形量化矩阵的情况下，非正方形量化矩阵可以在作为一般规则的复制模式下生成，而无需基于生成模式的值来进行切换处理。

此外，在复制模式或转置模式中存在残差数据的情况下，生成部214将残差添加至复制得到的量化矩阵或转置得到的量化矩阵的各元素(步骤s252)。

<5.各种编解码器的应用>

根据本公开的技术可以应用至与图像编码和解码有关的各种编解码器。在本章内，将描述根据本公开的技术被分别应用于多视点编解码器和可缩放编解码器的例子。

[5-1.多视图编解码器]

多视图编解码器是用于对被称为多视点视频进行编码和解码的图像编码方案。图18是用于说明多视图编解码器的说明图。参见图18，例示了分别从三个视点捕捉的三个视图的帧序列。向每个视图给出一个视图id(view_id)。多个视图之一被指定为基本视图。基本视图之外的其他视图被称为非基本视图。在图18的例子中，带有视图id“0”的视图是基本视图，而另两个带有视图id“1”和“2”的视图是非基本视图。当对该多视图图像数据进行编码时，编码流的总数据大小可以通过基于基本视图内各帧的编码信息来编码非基本视图内的帧而被压缩。

在根据上述多视图编解码器的编码处理和解码处理中，可以从与正方形变换单位相对应的量化矩阵中生成与非正方形变换单位相对应的量化矩阵。还可以为各视图设置某种类型的控制参数(例如，图5例示的参数)，以生成要由各视图使用的量化矩阵。同样地，在基本视图中设置的控制参数也可以针对非基本视图重新使用。同样地，可以额外指定用于指示是否要跨视图重新使用控制参数的标志。

图19是用于说明上述图像编码处理对多视图编解码器的应用的说明图。参见图19，示出了多视图编码装置710的配置作为例子。多视图编码装置710配备有第一编码部720、第二编码部730和多路复用部740。

第一编码部720对基本视图图像进行编码，并且生成基本视图的编码流。第二编码部730对非基本视图图像进行编码，并且生成非基本视图的编码流。多路复用部740将由第一编码部720生成的基本视图的编码流与由第二编码部730生成的非基本视图的编码流进行多路复用，并生成多视图的多路复用流。

图19例示的第一编码部720和第二编码部730具有与根据在前讨论的实施例的图像编码装置10相类似的配置。于是，变得能够从与正方形变换单位相对应的量化矩阵中生成与要用于各视图的非正方形变换单位相对应的量化矩阵。控制这些处理的参数可被插入到各视图的编码流的首部区域，或可被插入到多路复用流的共享首部区域。

图20是用于说明上述图像解码处理对多视图编解码器的应用的说明图。参见图20，示出了多视图解码装置760的配置作为例子。该多视图解码装置760配备有解多路复用部770、第一解码部780和第二解码部790。

解多路复用部770将多视图的多路复用流解多路复用为基本视图的编码流和一个或多个非基本视图的编码流。第一解码部780将基本视图的编码流解码成基本视图图像。第二解码部790将非基本视图的编码流解码成非基本视图图像。

图20例示的第一解码部780和第二解码部790具有与根据在前讨论的实施例的图像解码装置60相类似的配置。于是，变得能够从与正方形变换单位相对应的量化矩阵中生成与要用于各视图的非正方形变换单位相对应的量化矩阵。控制这些处理的参数可以从各视图的编码流的首部区域获取，或者可以从多路复用流的共享首部区域获取。

[5-2.可缩放编解码器]

可缩放编解码器是用于实现被称为可缩放编码的图像编码方案。图21是用于说明可缩放编解码器的说明图。参见图21，例示了空间分辨率、时间分辨率或质量有所不同的三层的帧序列。向每层给出一个层id(layer_id)。在这多个层中，具有最低分辨率(或质量)的层是基层。基层之外的其它层被称为增强层。在图21的例子中，带有层id“0”的层是基层，而另两个带有层id“1”和“2”的层是增强层。当对该多层图像数据进行编码时，编码流的总数据大小可以通过基于基层内各帧的编码信息来编码增强层内的帧而被压缩。

在根据上述可缩放编解码器的编码处理和解码处理中，可以从与正方形变换单位相对应的量化矩阵中生成与非正方形变换单位相对应的量化矩阵。还可以为各层设置某种类型的控制参数(例如，图5例示的参数)，以生成要由各层使用的量化矩阵。同样地，在基层中设置的控制参数也可以针对增强层重新使用。同样地，可以额外指定用于指示是否要跨层重新使用控制参数的标志。

图22是用于说明上述图像编码处理对可缩放编解码器的应用的说明图。参见图22，示出了可缩放编码装置810的配置作为例子。可缩放编码装置810配备有第一编码部820、第二编码部830和多路复用部840。

第一编码部820对基层图像进行编码，并且生成基层的编码流。第二编码部830对增强层图像进行编码，并且生成增强层的编码流。多路复用部840将由第一编码部820生成的基层的编码流与由第二编码部830生成的一个或多个增强层的编码流进行多路复用，并生成多层的多路复用流。

图22例示的第一编码部820和第二编码部830具有与根据在前讨论的实施例的图像编码装置10相类似的配置。于是，变得能够从与正方形变换单位相对应的量化矩阵中生成与要用于各层的非正方形变换单位相对应的量化矩阵。控制这些处理的参数可被插入到各层的编码流的首部区域，或可被插入到多路复用流的共享首部区域。

图23是用于说明上述图像解码处理对可缩放编解码器的应用的说明图。参见图23，示出了可缩放解码装置860的配置作为例子。该可缩放解码装置860配备有解多路复用部870、第一解码部880和第二解码部890。

解多路复用部870将多层的多路复用流解多路复用为基层的编码流和一个或多个增强层的编码流。第一解码部880将基层的编码流解码成基层图像。第二解码部880将增强层的编码流解码成增强层图像。

图23例示的第一解码部880和第二解码部890具有与根据在前讨论的实施例的图像解码装置60相类似的配置。于是，变得能够从与正方形变换单位相对应的量化矩阵中生成与要用于各层的非正方形变换单位相对应的量化矩阵。控制这些处理的参数可以从各层的编码流的首部区域获取，或者可以从多路复用流的共享首部区域获取。

<6.应用例>

根据上述实施例的图像编码装置10和图像解码装置60可被应用于各种电子设备，诸如用于卫星广播、诸如有线电视的线缆广播、因特网上的分发、经由蜂窝通信向客户机装置分发等的发射机和接收机；将图像记录在诸如光盘、磁盘或闪存的介质上的记录装置；以及从这类存储介质中回放图像的回放装置。如下将讨论四种应用示例。

[6-1.第一应用例]

图24是例示了适用于上述实施例的电视的概略构成的框图。电视900包括天线901、调谐器902、解多路复用器903、解码器904、视频信号处理部905、显示部906、音频信号处理部907、扬声器908、外部接口909、控制部910、用户接口911和总线912。

调谐器902从经由天线901接收的广播信号中提取期望的频道，并且解调所提取的信号。随后，调谐器902将通过解调获得的编码比特流输出至解多路复用器903。也就是说，调谐器902用作电视900的传输装置来接收图像被编码到其中的编码流。

解多路复用器903将经编码的比特流分离成要被观看的节目的视频流和音频流，并将分离的流输出至解码器904。同样地，解多路复用器903从经编码的比特流中提取诸如电子节目指南(epg)的辅助数据，并将所提取的数据供应至控制部910。此外，解多路复用器903还可以在经编码比特流被扰频的情况下执行解扰频。

解码器904对从解多路复用器903输入的视频流和音频流进行解码。其后，解码器904将通过解码处理生成的视频数据输出至视频信号处理部905。其后，解码器904将通过解码处理生成的音频数据输出至音频信号处理部907。

视频信号处理部905回放从解码器904输入的视频数据，并使得显示部906显示所述视频。视频信号处理部905还使得显示部显示经由网络供应的应用屏幕。其后，视频信号处理部905可以根据设置对视频数据执行诸如噪声移除的附加处理。此外，视频信号处理部905可以生成诸如菜单、按钮或光标的图形用户界面(gui)图像，并将所生成的图像叠加在输出图像上。

显示部906由驱动信号(由视频信号处理部905供应)驱动，并且在显示装置(例如液晶显示器、等离子显示器或)led显示器)的视频屏幕上显示视频或图像。

音频信号处理部907对从解码器904输入的音频数据执行诸如d/a转换和放大的回放处理，并将音频输出到扬声器908。同样地，音频信号处理部907也对音频数据执行诸如噪声移除的附加处理。

外部接口909是用于将电视900连接至外部机器或网络的接口。例如，经由外部接口909接收到的视频流或音频流可由解码器904解码。也就是说，外部接口909用作电视900接收图像被编码其中的编码流的传输途径。

控制部910包括诸如中央处理单位(cpu)的处理器和诸如随机存取存储器(ram)和只读存储器(rom)的存储器。存储器存储待由cpu执行的程序、程序数据、epg数据、经由网络获取的数据等等。存储器中存储的程序例如在电视900启动时由cpu读取并执行。通过执行程序，cpu根据例如从用户接口911输入的操作信号控制电视900的操作。

用户接口911连接至控制部910。用户接口911例如包括由操作电视900的用户使用的按钮和开关，以及遥控信号接收器。用户接口911检测用户经由这些结构元件所进行的操作，生成操作信号，并将生成的操作信号输出至控制部910。

总线912互连调谐器902、解多路复用器903、解码器904、视频信号处理部905、音频信号处理部907、外部接口909和控制部910。

在以此方式构成的电视900中，解码器904包括根据前述实施例的图像解码装置60的各种功能。结果，就能够抑制用于定义要由电视900解码的视频的量化矩阵所需的比特率的增加，即便在可以使用非正方形量化矩阵的情况下亦是如此。

[6-2.第二应用例]

图25是例示了适用于上述实施例的移动电话的概略构成的框图。移动电话920包括天线921、通信部922、音频编解码器923、扬声器924、麦克风925、相机部926、图像处理部927、多路复用/解多路复用(mux/demux)部928、记录和回放部929、显示部930、控制部931、可操作部932和总线933。

天线921连接至通信部922。扬声器924和麦克风925连接至音频编解码器923。可操作部932连接至控制部931。总线933互连通信部922、音频编解码器923、相机部926、图像处理部927、mux/demux部928、记录和回放部929、显示部930和控制部931。

移动电话920以包括音频通信模式、数据通信模式、成像模式和视频电话模式在内的各种操作描述执行诸如发送和接收音频信号、发送和接收电子邮件或图像数据、拍摄图像及记录数据的操作。

在音频通信模式中，由麦克风925生成的模拟音频数据被供应至音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据，并且a/d转换和压缩经转换的音频数据。随后，音频编解码器923将经压缩的音频数据输出至通信部922。通信部922编码并调整音频数据，并且生成发送信号。随后，通信部922将生成的发送信号经由天线921发送至基站(未示出)。同样地，通信部922放大经由天线921接收到的无线信号，转换该无线信号的频率，并获取接收到的信号。随后，通信部922解调并解码接收到的信号，生成音频数据，并将生成的音频数据输出至音频编解码器923。音频编解码器923解压缩并d/a转换音频数据，并生成模拟音频信号。随后，音频编解码器923将生成的音频信号供应至扬声器924并使得音频被输出。

同样地，在数据通信模式中，控制部931根据例如用户经由可操作部932进行的操作而生成构成电子邮件的文本数据。此外，控制部931使得该文本在显示部930上显示。此外，控制部931根据用户经由可操作部932输入的发送指令生成电子邮件数据，并将生成的电子邮件数据输出至通信部922。通信部922编码并调整电子邮件数据，并且生成发送信号。随后，通信部922将生成的发送信号经由天线921发送至基站(未示出)。同样地，通信部922放大经由天线921接收到的无线信号，转换该无线信号的频率，并获取接收到的信号。随后，通信部922解调并解码接收到的信号，重构电子邮件数据，并将重构的电子邮件数据输出至控制部931。控制部931使得显示部930显示电子邮件的内容，并且还使得该电子邮件数据在记录和回放部929的存储介质中存储。

记录和回放部929包括任意可读和可写存储介质。例如，存储介质可以是诸如ram或闪存的内建存储介质，或者是诸如硬盘、磁盘、磁光盘、光盘、usb存储器或存储卡之类的外部安装的存储介质。

此外，在成像模式中，相机部926拍摄对象的图像，生成图像数据，并将生成的图像数据输出至例如图像处理部927。图像处理部927编码从相机部926接收的图像数据，并且使得编码流在记录和回放部929的存储介质中存储。

此外，在视频电话模式中，mux/demux部928多路复用由图像处理部927编码的视频流以及从音频编解码器923输入的音频流，并且将经多路复用的流输出至例如通信部922。通信部922编码并调整所述流，并且生成发送信号。随后，通信部922将生成的发送信号经由天线921发送至基站(未示出)。同样地，通信部922放大经由天线921接收到的无线信号，转换该无线信号的频率，并获取接收到的信号。发送信号和接收到的信号可以包括经编码的比特流。随后，通信部922解调并解码接收到的信号，重构所述流，并将重构的流输出至mux/demux部928。mux/demux部928分离来自输入流的视频流和音频流，并将视频流输出至图像处理部927而将音频流输出至音频编解码器923。图像处理部927解码视频流并生成视频数据。视频数据被供应给显示部930，并由显示部930显示一系列图像。音频编解码器923解压缩并d/a转换音频流，并生成模拟音频信号。随后，音频编解码器923将生成的音频信号供应至扬声器924并使得音频被输出。

在以此方式构成的移动电话920中，图像处理部927包括根据前述实施例的图像编码装置10和图像解码装置60的各种功能。结果，就能够抑制用于定义要由移动电话920编码和解码的视频的量化矩阵所需的比特率的增加，即便在可以使用非正方形量化矩阵的情况下亦是如此。

[6-3.第三应用例]

图26是例示了适用于上述实施例的记录和回放装置的概略构成的框图。记录和回放装置940对例如接收到的广播节目的音频数据和视频数据进行编码，并将其记录介质上进行记录。记录和回放装置940还可以对例如从其他装置获取的音频数据和视频数据进行编码，并将其在记录介质上进行记录。此外，记录和回放装置940还根据例如来自用户的指令，经由监视器和扬声器回放在记录介质上记录的数据。在这些时刻，记录和回放装置940解码音频数据和视频数据。

记录和回放装置940包括调谐器941、外部接口942、编码器943、硬盘驱动器(hdd)944、盘驱动器945、选择器946、解码器947、屏上显示器(osd)948和用户接口950。

调谐器941从经由天线901(未示出)接收的广播信号中提取期望的频道，并且解调所提取的信号。随后，调谐器941将通过解调获得的编码比特流输出至选择器946。也就是说，调谐器941用作记录和回放装置940的传输途径。

外部接口942是用于将记录和回放装置940连接至外部机器或网络的接口。例如，外部接口942可以是ieee1394接口、网络接口、usb接口、闪存接口等。例如，由外部接口942接收到的视频数据和音频数据输入至编码器943。也就是说，外部接口942用作记录和回放装置940的传输途径。

在从外部接口942输入的视频数据和音频数据未被编码的情况下，编码器943对所述视频数据和音频数据进行编码。随后，编码器943将经编码的比特流输出至选择器946。

hdd944将编码的比特流(作为经压缩的内容数据，诸如视频或音频、各种节目和其他数据)记录在内部硬盘上。同样地，hdd944在回放视频和音频时从硬盘读取这些数据。

盘驱动器945根据插入的记录介质记录或读取数据。插入到盘驱动器945内的记录介质可以是dvd盘(诸如，dvd-视频、dvd-ram、dvd-r、dvd-rw、dvd+或dvd+rw盘)、蓝光(注册商标)盘等。

当记录视频和音频时，选择器946选择从调谐器941或从解码器943输入的经编码比特流，并将所选的经编码比特流输出至hdd944或盘驱动器945。同样地，当回放视频和音频时，选择器946将从hdd944或从盘驱动器945输入的经编码比特流输出至解码器947。

解码器947解码经编码的比特流，并生成视频数据和音频数据。随后，解码器947将生成的视频数据输出至osd948。同样地，解码器904将生成的音频数据输出至外部扬声器。

osd948回放从解码器947输入的视频数据，并且显示视频。同样地，osd948可以将诸如菜单、按钮或光标的gui图像叠加在所显示的视频上。

控制部949包括诸如cpu的处理器，以及诸如ram或rom的存储器。存储器存储要被cpu执行的程序、程序数据等。存储器中存储的程序例如在记录和回放装置940启动时由cpu读取并执行。通过执行程序，cpu根据例如从用户接口950输入的操作信号控制记录和回放装置940的操作。

用户接口950连接至控制部949。用户接口950例如包括由操作记录和回放装置940的用户使用的按钮和开关，以及遥控信号接收器。用户接口950检测用户经由这些结构元件所进行的操作，生成操作信号，并将生成的操作信号输出至控制部949。

在以此方式构成的记录和回放装置940中，编码器943包括根据前述实施例的图像编码装置10的各种功能。此外，解码器947包括根据前述实施例的图像解码装置60的各种功能。结果，就能够抑制用于定义要由记录和回放装置940编码和解码的视频的量化矩阵所需的比特率的增加，即便在可以使用非正方形量化矩阵的情况下亦是如此。

[6-4.第四应用例]

图27是例示了适用于上述实施例的程序装置的概略构成示例的框图。成像装置960拍摄对象的图像，生成图像，编码图像数据，并将图像数据在记录介质上记录。

成像装置960包括光学块961、成像部962、信号处理部963、图像处理部964、显示部965、外部接口966、存储器967、介质驱动器968、osd969、控制部970、用户接口971和总线972。

光学块961连接至成像部962。成像部962连接至信号处理部963。显示部965连接至信号处理部964。用户接口971连接至控制部970。通信972互连图像处理部964、外部接口966、存储器967、介质驱动器968、osd969和控制部970。

光学块961包括聚焦透镜和孔径光阑机构等。光学块961在成像部962的成像表面上形成对象的光学图像。成像部962包括诸如ccd或cmos传感器的图像传感器，并将在成像表面上形成的光学图像光电转换成作为电子信号的图像信号。随后，成像部962将图像信号输出至信号处理部963。

信号处理部963对从成像部962输入的图像信号执行各种相机信号处理，诸如拐点(knee)校正、伽马校正和色差校正。信号处理部963将经处理的图像数据输出至图像处理部964。

图像处理部964对从信号处理部963输入的图像信号进行编码，并生成经编码的数据。随后，图像处理部964将由此生成的经编码数据输出至外部接口966或介质驱动器968。同样地，图像处理部964解码从外部接口966或介质驱动器968输入的经编码数据，并生成图像数据。随后，图像处理部964将生成的图像数据输出至显示部965。同样地，图像处理部964可以将从信号处理部963输入的图像数据输出至显示部965，并使得图像被显示。此外，图像处理部964可以将从osd969获取的显示数据叠加到要被输出至显示部965的图像上。

osd969生成诸如菜单、按钮或图标的gui图像，并将生成的图像输出至图像处理部964。

外部接口966被构造成例如usb输入/输出终端。外部接口966在例如打印图像时将成像装置960连接至打印机。同样地，驱动器在需要时连接至外部接口966。诸如磁盘或光盘的可移动介质被插入驱动器，从可移除介质中读取的程序则可被安装在成像装置960内。此外，外部接口966还可被构造为用于连接诸如lan或因特网的网络的网络接口。也就是说，外部接口966用作图像捕捉装置960的发送途径。

插入介质驱动器968的记录介质可以是任意的可读和可写的可移除介质，诸如磁盘、磁光盘、光盘或半导体存储器。同样地，记录介质可被永久性地安装在介质驱动器968内，由此构成诸如内部硬盘驱动器或固态驱动器(ssd)的非便携式存储部。

控制部970包括诸如cpu的处理器，以及诸如ram或rom的存储器。存储器存储要被cpu执行的程序、程序数据等。存储器中存储的程序例如在成像装置960启动时由cpu读取并执行。通过执行程序，cpu根据例如从用户接口971输入的操作信号控制成像装置960的操作。

用户接口971连接至控制部970。用户接口971例如可包括用户用来操作成像装置960的按钮和开关等。用户接口971检测用户经由这些结构元件所进行的操作，生成操作信号，并将生成的操作信号输出至控制部970。

在以此方式构成的成像装置960中，图像处理部964包括根据前述实施例的图像编码装置10和图像解码装置60的各种功能。结果，就能够抑制用于定义要由成像装置960编码和解码的视频的量化矩阵所需的比特率的增加，即便在可以使用非正方形量化矩阵的情况下亦是如此。

<7.结论>

前面使用图1至27描述了根据实施例的图像编码装置10和图像解码装置60。根据前述实施例，当对变换系数数据进行量化和逆量化时，与变换单位的形状相对应地为各变换单位设置量化矩阵。量化矩阵的形状是正方形或非正方形，并且与非正方形变换单位相对应的量化矩阵可以从与正方形变换单位相对应的量化矩阵生成。结果，就能够部分地省略定义与非正方形变换单位相对应的量化矩阵，或是能够有效(即，以更低的比特率)定义与非正方形变换单位相对应的量化矩阵。出于这一原因，能够避免由变换单位的可选择类型增加引起的编码效率的显著降低，即便在实现能对非正方形变换单位的所述选择的方案的情况下亦是如此。

同样地，根据各实施例，长边尺寸等于给定正方形量化矩阵边长的非正方形量化矩阵可以通过从该正方形量化矩阵复制某些行或列来生成。结果，就能够仅通过重复复制元素值的成本极低的处理操作而更为容易地生成非正方形量化矩阵。

同样地，根据各实施例，可以在编码流的参数集或首部中灵活指定从正方形量化矩阵复制的行或列。结果，就能够经由上述复制生成适于对非正方形变换单位的变换系数数据进行量化和逆量化的量化矩阵。与此同时，在预定义了从正方形量化矩阵中复制的行和列的情况下，能够在降低装置复杂度的同时减少要编码的量化矩阵参数的数量并降低传送开销。

注意到本说明书描述了其中量化矩阵参数被多路复用至编码流的首部并从编码侧传送至解码侧的例子。然而，传送量化矩阵参数的技术不限于这一例子。例如，首部信息也可被发送或记录为与编码比特流相关联的分离数据，而无需被多路复用至编码比特流。在此，术语关联的指的是包括在比特流内的图像(以及涵盖诸如片段或块的部分图像)以及与这些图像相对应的信息能够在解码时被链接。换句话说，信息还可以在与图像(或比特流)分离的传送通道上传送。同样地，该信息可被记录在与图像(或比特流)分离的记录介质(或相同记录介质的不同记录区域)上。此外，信息和图像(或比特流)可以以诸如多个帧、单个帧、帧内一部分等的任意单位彼此关联。

上文由此参考附图详细描述了本公开的各优选实施例。然而，本公开的技术范围不限于这些例子。对于本公开所属技术领域的普通技术人员而言，显见的是可以在所附权利要求声明的技术理念的范围内出现各种修改或变化，并且可以理解的是这些修改或变化显然属于本公开的技术范围。

此外，本技术还可如下构成。

(1)一种图像处理装置，包括：

解码部，对编码流进行解码并生成量化的变换系数数据；以及

逆量化部，该逆量化部采用变换系数数据作为要在逆正交变换期间使用的变换单位来对由所述解码部解码的量化的变换系数数据进行逆量化，使得在选择了非正方形变换单位的情况下，该逆量化部使用从与正方形变换单位相对应的正方形量化矩阵生成的、与非正方形变换单位相对应的非正方形量化矩阵。

(2)如(1)所述的图像处理装置，其中

通过复制所述正方形量化矩阵的行元素和列元素之一来生成所述非正方形量化矩阵。

(3)如(2)所述的图像处理装置，其中

所述非正方形量化矩阵的长边尺寸等于所述正方形量化矩阵的边长尺寸。

(4)如(2)或(3)所述的图像处理装置，其中

要从所述正方形量化矩阵复制的行元素和列元素之一是预定义的。

(5)如(2)-(4)中任一项所述的图像处理装置，其中

通过以相等间隔复制所述正方形量化矩阵的行元素和列元素之一来生成所述非正方形量化矩阵。

(6)如(5)所述的图像处理装置，其中

要从所述正方形量化矩阵复制的行元素和列元素之一的间隔是根据所述非正方形量化矩阵的短边尺寸相对于所述正方形量化矩阵的边长尺寸的比例来确定的。

(7)如(6)所述的图像处理装置，其中

所述比例是1:4，并且所述间隔是四行和四列之一。

(8)如(7)所述的图像处理装置，其中

所述正方形量化矩阵的尺寸是4×4，而所述非正方形量化矩阵的尺寸是1×4和4×1之一。

(9)如(7)所述的图像处理装置，其中

所述正方形量化矩阵的尺寸是8×8，而所述非正方形量化矩阵的尺寸是2×8和8×2之一。

(10)如(7)所述的图像处理装置，其中

所述正方形量化矩阵的尺寸是16×16，而所述非正方形量化矩阵的尺寸是4×16和16×4之一。

(11)如(7)所述的图像处理装置，其中

所述正方形量化矩阵的尺寸是32×32，而所述非正方形量化矩阵的尺寸是8×32和32×8之一。

(12)根据(2)-(11)所述的图像处理装置，还包括：

生成部，从所述正方形量化矩阵生成所述非正方形量化矩阵。

(13)根据(2)-(12)所述的图像处理装置，还包括：

逆正交变换部，通过使用所选择的非正方形变换单位对由所述逆量化部逆量化的变换系数数据进行逆正交变换。

(14)一种图像处理方法，包括：

对编码流进行解码并生成量化的变换系数数据；以及

采用变换系数数据作为要在逆正交变换期间使用的变换单位来对经解码的量化的变换系数数据进行逆量化，使得在选择了非正方形变换单位的情况下，使用与非正方形变换单位相对应的非正方形量化矩阵，所述非正方形量化矩阵是从与正方形变换单位相对应的正方形量化矩阵生成的。

参考标记列表

10图像处理装置(图像编码装置)

15正交变换部

152变换单位设置部

16量化部

17无损编码部

60图像解码装置

63逆量化部

214生成部

242变换单位设置部