用于使用信号依赖型自适应量化将运动图像编码及解码的方法及装置与流程

本发明涉及为了将信息进行压缩而使用量化的图像及运动图像的编码及解码。

背景技术：

在下一代运动图像(例如4k分辨率或8k分辨率)的无线及有线传送中，需要超过现行的编码性能的编码效率。目前进行了关于自适应量化技术的研究及实验，结果证明了编码效率的提高。通过使用该自适应量化技术，通常编码器为了提高编码效率而能够在同一图片的图像块之间在空间上或在不同的图片之间在时间上更灵活地分配比特。在与上述自适应量化技术对应的以往技术中，通常以图像块单位或图片单位进行自适应化，在压缩比特流内需要以块级(level)进行某种形式的信号传输。

现有技术文献

非专利文献

非专利文献1：h.265(iso/iec23008－2hevc(highefficiencyvideocoding))

技术实现要素：

发明要解决的课题

通常，视频编码器在向解码器指示进行从多个操作模式中选择一个模式的决定时，为了该决定，信号比特必须被编码为比特流。在该决定以较小的单位(例如，4×4的块单位)进行的情况下及操作模式的数量多的情况下，信号传输比特成为相当长的长度。由于信号传输比特的大小成为问题，所以多数情况下，最好不以最小的单位进行信号传输。因为这样的问题，自适应工具的编码效率下降。

所以，本发明提供一种在使用自适应量化技术的运动图像的编码及解码中能够改善主观画质、并且提高编码效率的编码方法及解码方法。

用于解决课题的手段

有关本发明的一技术方案的编码方法，对一个或多个量化后的第1变换系数进行逆量化；基于上述逆量化后的一个或多个第1变换系数，导出量化参数；基于所导出的上述量化参数，对量化后的第2变换系数进行逆量化。

有关本发明的一技术方案的解码方法，对一个或多个量化后的第1变换系数进行逆量化；基于上述逆量化后的一个或多个第1变换系数，导出量化参数；基于所导出的上述量化参数，对量化后的第2变换系数进行逆量化。

另外，这些包含性或具体的技术方案也可以由系统、装置、集成电路、计算机程序或计算机可读取的cd－rom等的记录介质实现，也可以由系统、装置、集成电路、计算机程序及记录介质的任意的组合来实现。

发明效果

有关本发明的一技术方案的编码方法及解码方法在使用自适应量化技术的运动图像的编码及解码中，能够改善主观画质，提高编码效率。

附图说明

图1是表示有关实施方式1的编码装置的功能结构的框图。

图2是表示实施方式1的块分割的一例的图。

图3是表示与各变换类型对应的变换基础函数的表。

图4a是表示在alf中使用的滤波器的形状的一例的图。

图4b是表示在alf中使用的滤波器的形状的另一例的图。

图4c是表示在alf中使用的滤波器的形状的另一例的图。

图5是表示帧内预测的67个帧内预测模式的图。

图6是用于说明沿着运动轨道的2个块间的模式匹配(双边匹配)的图。

图7是用于说明当前图片内的模板与参照图片内的块之间的模式匹配(模板匹配)的图。

图8是用于说明假定了等速直线运动的模型的图。

图9是用于说明基于多个邻接块的运动矢量的子块单位的运动矢量的导出的图。

图10是表示有关实施方式1的解码装置的功能结构的框图。

图11是表示有关实施方式1的编码装置中的信号依赖型自适应量化/逆量化处理的流程图。

图12是表示有关实施方式1的解码装置中的信号依赖型适应逆量化处理的流程图。

图13是表示有关实施方式1的变形例1的编码装置中的信号依赖型自适应量化/逆量化处理的流程图。

图14是表示有关实施方式1的变形例1的解码装置中的信号依赖型自适应逆量化处理的流程图。

图15是表示有关实施方式1的变形例2的编码装置中的信号依赖型自适应量化/逆量化处理的流程图。

图16是表示有关实施方式1的变形例2的解码装置中的信号依赖型自适应逆量化处理的流程图。

图17是表示有关实施方式1的变形例3的编码装置中的信号依赖型自适应量化/逆量化处理的流程图。

图18是表示有关实施方式1的变形例3的解码装置中的信号依赖型自适应逆量化处理的流程图。

图19是表示有关实施方式1的编码装置的逆量化部的详细的功能结构的框图。

图20是表示有关实施方式1的解码装置的逆量化部的详细的功能结构的框图。

图21是表示有关实施方式1的变形例1的编码装置的逆量化部的详细的功能结构的框图。

图22是表示有关实施方式1的变形例1的解码装置的逆量化部的详细的功能结构的框图。

图23是表示有关实施方式1的变形例2的编码装置的逆量化部的详细的功能结构的框图。

图24是表示有关实施方式1的变形例2的解码装置的逆量化部的详细的功能结构的框图。

图25是表示有关实施方式1的变形例3的编码装置的逆量化部的详细的功能结构的框图。

图26是表示有关实施方式1的变形例3的解码装置的逆量化部的详细的功能结构的框图。

图27是表示编码视频流中的控制参数的位置的多个例的图。

图28是表示8×8像素大小的块的变换系数的逆量化的一例的图。

图29a是表示基于强度参数的变换系数与量化参数的关系的调整的一例的图。

图29b是表示基于选择参数的变换系数与量化参数的关系的切换的一例的图。

图30是实现内容分发服务的内容供给系统的整体结构图。

图31是表示可扩展编码时的编码构造的一例的图。

图32是表示可扩展编码时的编码构造的一例的图。

图33是表示web页的显示画面例的图。

图34是表示web页的显示画面例的图。

图35是表示智能电话的一例的图。

图36是表示智能电话的结构例的框图。

具体实施方式

以下，参照附图对实施方式具体地进行说明。

另外，以下说明的实施方式都表示本发明的包含性或具体的例子。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，不是限定本发明的意思。此外，关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素进行说明。

(实施方式1)

[编码装置的概要]

首先，说明有关实施方式1的编码装置的概要。图1是表示有关实施方式1的编码装置100的功能结构的框图。编码装置100是将运动图像/图像以块单位编码的运动图像/图像编码装置。

如图1所示，编码装置100是将图像以块单位编码的装置，具备分割部102、减法部104、变换部106、量化部108、熵编码部110、逆量化部112、逆变换部114、加法部116、块存储器118、环路滤波部120、帧存储器122、帧内预测部124、帧间预测部126和预测控制部128。

编码装置100例如由通用处理器及存储器实现。在此情况下，当保存在存储器中的软件程序被处理器执行时，处理器作为分割部102、减法部104、变换部106、量化部108、熵编码部110、逆量化部112、逆变换部114、加法部116、环路滤波部120、帧内预测部124、帧间预测部126及预测控制部128发挥功能。此外，编码装置100也可以作为与分割部102、减法部104、变换部106、量化部108、熵编码部110、逆量化部112、逆变换部114、加法部116、环路滤波部120、帧内预测部124、帧间预测部126及预测控制部128对应的专用的一个以上的电子电路实现。

以下，对编码装置100中包含的各构成要素进行说明。

[分割部]

分割部102将输入运动图像中包含的各图片分割为多个块，将各块向减法部104输出。例如，分割部102首先将图片分割为固定大小(例如128×128)的块。该固定大小的块有被称作编码树单元(ctu)的情况。并且，分割部102基于递归性的四叉树(quadtree)及/或二叉树(binarytree)块分割，将固定大小的块分别分割为可变大小(例如64×64以下)的块。该可变大小的块有被称作编码单元(cu)、预测单元(pu)或变换单元(tu)的情况。另外，在本实施方式中，不需要区分cu、pu及tu，也可以是图片内的一部分或全部的块为cu、pu、tu的处理单位。

图2是表示实施方式1的块分割的一例的图。在图2中，实线表示基于四叉树块分割的块边界，虚线表示基于二叉树块分割的块边界。

这里，块10是128×128像素的正方形块(128×128块)。该128×128块10首先被分割为4个正方形的64×64块(四叉树块分割)。

左上的64×64块进一步被垂直地分割为2个矩形的32×64块，左方的32×64块进一步被垂直地分割为2个矩形的16×64块(二叉树块分割)。结果，左上的64×64块被分割为2个16×64块11、12和32×64块13。

右上的64×64块被水平地分割为2个矩形的64×32块14、15(二叉树块分割)。

左下的64×64块被分割为4个正方形的32×32块(四叉树块分割)。4个32×32块中的左上的块及右下的块进一步被分割。左上的32×32块被垂直地分割为2个矩形的16×32块，右方的16×32块进一步被水平地分割为2个16×16块(二叉树块分割)。右下的32×32块被水平地分割为2个32×16块(二叉树块分割)。结果，左下的64×64块被分割为16×32块16、2个16×16块17、18、2个32×32块19、20和2个32×16块21、22。

右下的64×64块23没有被分割。

如以上这样，在图2中，块10基于递归性的四叉树及二叉树被块分割为13个可变大小的块11～23。这样的分割有时被称作qtbt(quad－treeplusbinarytree，四叉树加二叉树)分割。

另外，在图2中，一个块被分割为4个或2个块(四叉树或二叉树块分割)，但分割并不限定于此。例如，也可以将一个块分割为3个块(三叉树块分割)。包括这样的三叉树块分割的分割有时被称作mbt(multitypetree，多类型树)分割的情况。

[减法部]

减法部104以由分割部102分割的块单位从原信号(原样本)减去预测信号(预测样本)。即，减法部104计算编码对象块(以下称作当前块)的预测误差(也称作残差)。并且，减法部104将计算出的预测误差向变换部106输出。

原信号是编码装置100的输入信号，是表示构成运动图像的各图片的图像的信号(例如亮度(luma)信号及2个色差(chroma)信号)。以下，也有将表示图像的信号称作样本的情况。

[变换部]

变换部106将空间域的预测误差变换为频域的变换系数，将变换系数向量化部108输出。具体而言，变换部106例如对空间域的预测误差进行预先设定的离散余弦变换(dct)或离散正弦变换(dst)。

另外，变换部106也可以从多个变换类型中适应性地选择变换类型，使用与所选择的变换类型对应的变换基础函数(transformbasisfunction)将预测误差变换为变换系数。这样的变换有被称作emt(explicitmultiplecoretransform)或amt(adaptivemultipletransform)的情况。

多个变换类型例如包括dct－ii、dct－v、dct－viii、dst－i及dst－vii。图3是表示与各变换类型对应的变换基础函数的表。在图3中，n表示输入像素的数量。从这些多个变换类型中的变换类型的选择例如既可以依赖于预测的种类(帧内预测及帧间预测)，也可以依赖于帧内预测模式。

将表示是否应用这样的emt或amt的信息(例如称作amt标志)及表示所选择的变换类型的信息以cu级进行信号化。另外，这些信息的信号化并不需要限定于cu级，也可以是其他级(例如，序列级、图片级、切片级，瓦片(tile)级或ctu级)。

此外，变换部106也可以对变换系数(变换结果)进行再变换。这样的再变换有被称作ast(adaptivesecondarytransform)或nsst(non－separablesecondarytransform)的情况。例如，变换部106按与帧内预测误差对应的变换系数的块中包含的每个子块(例如4×4子块)进行再变换。将表示是否应用nsst的信息及关于在nsst中使用的变换矩阵的信息以cu级进行信号化。另外，这些信息的信号化并不需要限定于cu级，也可以是其他级(例如，序列级、图片级、切片级、瓦片级或ctu级)。

[量化部]

量化部108将从变换部106输出的变换系数进行量化。具体而言，量化部108将当前块的变换系数以规定的扫描顺序扫描，基于与扫描的变换系数对应的量化参数(qp)将该变换系数进行量化。并且，量化部108将当前块的量化后的变换系数(以下，称作量化系数)向熵编码部110及逆量化部112输出。

规定的顺序是用于变换系数的量化/逆量化的顺序。例如，规定的扫描顺序由频率的升序(从低频向高频的顺序)或降序(从高频向低频的顺序)定义。

量化参数是定义量化步长(量化宽度)的参数。例如，量化参数的值越增加，量化步长也越增加。即，量化参数的值越增加，量化误差越增大。

[熵编码部]

熵编码部110通过将从量化部108输入的量化系数进行可变长编码，生成编码信号(编码比特流)。具体而言，熵编码部110例如将量化系数进行二值化，将二值信号进行算术编码。

[逆量化部]

逆量化部112将从量化部108输入的量化系数进行逆量化。具体而言，逆量化部112将当前块的量化系数以规定的扫描顺序进行逆量化。并且，逆量化部112将当前块的逆量化后的变换系数向逆变换部114输出。

[逆变换部]

逆变换部114通过将从逆量化部112输入的变换系数进行逆变换，将预测误差复原。具体而言，逆变换部114通过对变换系数进行与变换部106的变换对应的逆变换，将当前块的预测误差复原。并且，逆变换部114将复原后的预测误差向加法部116输出。

另外，复原后的预测误差由于通过量化而信息丢失，所以不与减法部104计算出的预测误差一致。即，复原后的预测误差中包含量化误差。

[加法部]

加法部116通过将来自逆变换部114的输入即预测误差与来自预测控制部128的输入即预测信号相加，重构当前块。并且，加法部116将重构的块向块存储器118及环路滤波部120输出。重构块也有被称作局部解码块的情况。

[块存储器]

块存储器118是用于保存帧内预测中参照的块且编码对象图片(以下称作当前图片)内的块的存储部。具体而言，块存储器118保存从加法部116输出的重构块。

[环路滤波部]

环路滤波部120对由加法部116重构的块实施环路滤波，将滤波后的重构块向帧存储器122输出。环路滤波是指在编码环路内使用的滤波(环路内滤波)，例如是解块滤波(df)、样本自适应偏移(sao)及自适应环路滤波(alf)等。

在alf中，使用用于除去编码畸变的最小二乘误差滤波器，例如按当前块内的每2×2子块，使用基于局部性的梯度(gradient)的方向及活性度(activity)从多个滤波器中选择的一个滤波器。

具体而言，首先，将子块(例如2×2子块)分类为多个类(例如15个或25个类)。子块的分类基于梯度的方向及活性度来进行。例如，使用梯度的方向值d(例如0～2或0～4)和梯度的活性值a(例如0～4)计算分类值c(例如c＝5d+a)。并且，基于分类值c将子块分类为多个类(例如15个或25个类)。

梯度的方向值d例如通过将多个方向(例如水平、垂直及2个对角方向)的梯度进行比较来导出。此外，梯度的活性值a例如通过将多个方向的梯度相加并将相加结果进行量化而导出。

基于这样的分类的结果，从多个滤波器中决定用于子块的滤波器。

作为在alf中使用的滤波器的形状，例如利用圆对称形状。图4a～图4c是表示在alf中使用的滤波器的形状的多个例子的图。图4a表示5×5钻石形状滤波器，图4b表示7×7钻石形状滤波器，图4c表示9×9钻石形状滤波器。将表示滤波器的形状的信息以图片级进行信号化。另外，表示滤波器的形状的信息的信号化不需要限定于图片级，也可以是其他级(例如，序列级、切片级、瓦片级、ctu级或cu级)。

alf的开启/关闭例如以图片级或cu级决定。例如，关于亮度，决定是否以cu级使用alf，关于色差决定是否以图片级使用alf。将表示alf的开启/关闭的信息以图片级或cu级信号化。另外，表示alf的开启/关闭的信息的信号化不需要限定于图片级或cu级，也可以是其他级(例如，序列级、切片级、瓦片级或ctu级)。

将可选择的多个滤波器(例如15或25以内的滤波器)的系数集以图片级进行信号化。另外，系数集的信号化不需要限定于图片级，也可以是其他级(例如，序列级、切片级、瓦片级、ctu级、cu级或子块级)。

[帧存储器]

帧存储器122是用于保存帧间预测中使用的参照图片的存储部，也有称作帧缓冲器的情况。具体而言，帧存储器122保存由环路滤波部120滤波后的重构块。

[帧内预测部]

帧内预测部124通过参照保存在块存储器118中的当前图片内的块进行当前块的帧内预测(也称作画面内预测)，生成预测信号(帧内预测信号)。具体而言，帧内预测部124通过参照与当前块邻接的块的样本(例如亮度值、色差值)进行帧内预测而生成帧内预测信号，将帧内预测信号向预测控制部128输出。

例如，帧内预测部124使用预先规定的多个帧内预测模式中的一个进行帧内预测。多个帧内预测模式包括一个以上的非方向性预测模式和多个方向性预测模式。

一个以上的非方向性预测模式包括例如由h.265/hevc(high－efficiencyvideocoding)标准(非专利文献1)规定的平面(planar)预测模式及dc预测模式。

多个方向性预测模式包括例如由h.265/hevc标准规定的33个方向的预测模式。另外，多个方向性预测模式也可以除了33个方向以外还包括32个方向的预测模式(合计65个方向性预测模式)。图5表示帧内预测中的67个帧内预测模式(2个非方向性预测模式及65个方向性预测模式)的图。实线箭头表示由h.265/hevc标准规定的33个方向，虚线箭头表示追加的32个方向。

另外，在色差块的帧内预测中，也可以参照亮度块。即，也可以基于当前块的亮度成分来预测当前块的色差成分。有将这样的帧内预测称作cclm(cross－componentlinearmodel：跨组件的线性模型)预测的情况。也可以将参照这样的亮度块的色差块的帧内预测模式(例如称作cclm模式)作为色差块的帧内预测模式的一个而添加。

帧内预测部124也可以基于水平/垂直方向的参照像素的梯度将帧内预测后的像素值修正。伴随着这样的修正的帧内预测有被称作pdpc(positiondependentintrapredictioncombination：基于位置的帧内预测组合)的情况。将表示是否使用pdpc的信息(例如称作pdpc标志)例如以cu级进行信号化。另外，该信息的信号化不需要限定于cu级，也可以是其他级(例如，序列级、图片级、切片级、瓦片级或ctu级)。

[帧间预测部]

帧间预测部126参照保存在帧存储器122中的参照图片且与当前图片不同的参照图片进行当前块的帧间预测(也称作画面间预测)，从而生成预测信号(帧间预测信号)。帧间预测以当前块或当前块内的子块(例如4×4块)的单位进行。例如，帧间预测部126对当前块或子块在参照图片内进行运动搜索(motionestimation：运动估计)。并且，帧间预测部126使用通过运动搜索得到的运动信息(例如运动矢量)进行运动补偿，从而生成当前块或子块的帧间预测信号。并且，帧间预测部126将所生成的帧间预测信号向预测控制部128输出。

将在运动补偿中使用的运动信息进行信号化。在运动矢量的信号化中也可以使用预测运动矢量(motionvectorpredictor)。即，也可以将运动矢量与预测运动矢量之间的差分进行信号化。

另外，不仅是通过运动搜索得到的当前块的运动信息，也可以还使用邻接块的运动信息来生成帧间预测信号。具体而言，也可以通过将基于通过运动搜索得到的运动信息的预测信号与基于邻接块的运动信息的预测信号进行加权相加，以当前块内的子块单位生成帧间预测信号。有将这样的帧间预测(运动补偿)称作obmc(overlappedblockmotioncompensation，重叠块运动补偿)的情况。

在这样的obmc模式中，将表示用于obmc的子块的大小的信息(例如称作obmc块大小)以序列级进行信号化。此外，将表示是否使用obmc模式的信息(例如称作obmc标志)以cu级进行信号化。另外，这些信息的信号化的级并不需要限定于序列级及cu级，也可以是其他级(例如图片级、切片级、瓦片级、ctu级或子块级)。

另外，也可以不将运动信息进行信号化，而在解码装置侧导出。例如，也可以使用由h.265/hevc标准规定的合并模式。此外，例如也可以通过在解码装置侧进行运动搜索来导出运动信息。在此情况下，不使用当前块的像素值来进行运动搜索。

这里，对在解码装置侧进行运动搜索的模式进行说明。在该解码装置侧进行运动搜索的模式有被称作pmmvd(patternmatchedmotionvectorderivation，模式匹配的运动矢量推到)模式或fruc(flamerateup－conversion，帧速率上变换)模式的情况。

首先，选择在合并列表中包含的候选之一作为基于模式匹配的搜索的开始位置。作为模式匹配，使用第1模式匹配或第2模式匹配。有将第1模式匹配及第2模式匹配分别称作双边匹配(bilateralmatching)及模板匹配(templatematching)的情况。

在第1模式匹配中，在不同的2个参照图片内的2个块且沿着当前块的运动轨道(motiontrajectory)的2个块之间进行模式匹配。

图6是说明沿着运动轨道的2个块间的模式匹配(双边匹配)的图。如图6所示，在第1模式匹配中，通过在沿着当前块(curblock)的运动轨道的2个块且不同的2个参照图片(ref0，ref1)内的2个块的对之中搜索最匹配的对，导出2个运动矢量(mv0，mv1)。

在连续性的运动轨道的假定下，指示2个参照块的运动矢量(mv0，mv1)相对于当前图片(curpic)与2个参照图片(ref0，ref1)之间的时间上的距离(td0，td1)成比例。例如，在当前图片在时间上位于2个参照图片之间、从当前图片向2个参照图片的时间上的距离相等的情况下，在第1模式匹配中，导出镜像对称的双向的运动矢量。

在第2模式匹配中，在当前图片内的模板(在当前图片内与当前块邻接的块(例如上及/或左邻接块))与参照图片内的块之间进行模式匹配。

图7是用于说明当前图片内的模板与参照图片内的块之间的模式匹配(模板匹配)的图。如图7所示，在第2模式匹配中，通过在参照图片(ref0)内搜索与在当前图片(curpic)内邻接于当前块(curblock)的块最匹配的块，导出当前块的运动矢量。

将表示是否使用这样的fruc模式的信息(例如称作fruc标志)以cu级进行信号化。此外，在使用fruc模式的情况下(例如在fruc标志为真的情况下)，将表示模式匹配的方法(第1模式匹配或第2模式匹配)的信息(例如称作fruc模式标志)以cu级进行信号化。另外，这些信息的信号化并不需要限定于cu级，也可以是其他的级(例如，序列级、图片级、切片级、瓦片级、ctu级或子块级)。

另外，在与运动搜索不同的方法中，也可以在解码装置侧导出运动信息。例如，也可以基于假定了等速直线运动的模型，以像素单位使用周边像素值来计算运动矢量的修正量。

这里，对基于假定了等速直线运动的模型导出运动矢量的模式进行说明。有将该模式称作bio(bi－directionalopticalflow，双向光流)模式的情况。

图8是用于说明假定了等速直线运动的模型的图。在图8中，(vx，vy)表示速度矢量，τ0，τ1分别表示当前图片(curpic)与2个参照图片(ref0，ref1)之间的时间上的距离。(mvx0，mvy0)表示与参照图片ref0对应的运动矢量，(mvx1，mvy1)表示与参照图片ref1对应的运动矢量。

此时，在速度矢量(vx，vy)的等速直线运动的假定下，(mvx0，mvy0)及(mvx1，mvy1)分别被表示为(vxτ0，vyτ0)及(－vxτ1，－vyτ1)，以下的光流(opticalflow)等式(1)成立。

[数式1]

这里，i^(k)表示运动补偿后的参照图像k(k＝0、1)的亮度值。该光流等式表示(i)亮度值的时间微分、(ii)水平方向的速度及参照图像的空间梯度的水平成分的积、(iii)垂直方向的速度及参照图像的空间梯度的垂直成分的积三者之和等于零。基于该光流等式与埃尔米特插值(hermiteinterpolation)的组合，将从合并列表等得到的块单位的运动矢量以像素单位修正。

另外，也可以用与基于假定了等速直线运动的模型的运动矢量的导出不同的方法，在解码装置侧导出运动矢量。例如，也可以基于多个邻接块的运动矢量，以子块单位导出运动矢量。

这里，对基于多个邻接块的运动矢量以子块单位导出运动矢量的模式进行说明。有将该模式称作仿射运动补偿预测(affinemotioncompensationprediction)模式的情况。

图9是用于说明基于多个邻接块的运动矢量的子块单位的运动矢量的导出的图。在图9中，当前块包括16个4×4子块。这里，基于邻接块的运动矢量导出当前块的左上角控制点的运动矢量v0，基于邻接子块的运动矢量导出当前块的右上角控制点的运动矢量v1。并且，使用2个运动矢量v0及v1，通过以下的式(2)导出当前块内的各子块的运动矢量(vx，vy)。

[数式2]

这里，x及y分别表示子块的水平位置及垂直位置，w表示预先设定的权重系数。

在这样的仿射运动补偿预测模式中，左上及右上角控制点的运动矢量的导出方法也可以包含不同的几个模式。将表示这样的仿射运动补偿预测模式的信息(例如称作仿射标志)以cu级进行信号化。另外，表示该仿射运动补偿预测模式的信息的信号化不需要限定于cu级，也可以是其他的级(例如，序列级、图片级、切片级、瓦片级、ctu级或子块级)。

[预测控制部]

预测控制部128选择帧内预测信号及帧间预测信号中的某一个，将所选择的信号作为预测信号向减法部104及加法部116输出。

[解码装置的概要]

接着，对能够将从上述编码装置100输出的编码信号(编码比特流)解码的解码装置的概要进行说明。图10是表示有关实施方式1的解码装置200的功能结构的框图。解码装置200是将运动图像/图像以块单位解码的运动图像/图像解码装置。

如图10所示，解码装置200具备熵解码部202、逆量化部204、逆变换部206、加法部208、块存储器210、环路滤波部212、帧存储器214、帧内预测部216、帧间预测部218和预测控制部220。

解码装置200例如由通用处理器及存储器实现。在此情况下，当保存在存储器中的软件程序被处理器执行时，处理器作为熵解码部202、逆量化部204、逆变换部206、加法部208、环路滤波部212、帧内预测部216、帧间预测部218及预测控制部220发挥功能。此外，解码装置200也可以作为与熵解码部202、逆量化部204、逆变换部206、加法部208、环路滤波部212、帧内预测部216、帧间预测部218及预测控制部220对应的专用的一个以上的电子电路实现。

以下，对解码装置200中包含的各构成要素进行说明。

[熵解码部]

熵解码部202将编码比特流进行熵解码。具体而言，熵解码部202例如从编码比特流算术解码为二值信号。并且，熵解码部202将二值信号进行多值化(debinarize)。由此，熵解码部202以块单位将量化系数向逆量化部204输出。

[逆量化部]

逆量化部204将作为来自熵解码部202的输入的解码对象块(以下，称作当前块)的量化系数进行逆量化。具体而言，逆量化部204关于当前块的量化系数，分别基于与该量化系数对应的量化参数将该量化系数进行逆量化。并且，逆量化部204将当前块的逆量化后的量化系数(即变换系数)向逆变换部206输出。

[逆变换部]

逆变换部206通过将作为来自逆量化部204的输入的变换系数进行逆变换，将预测误差复原。

例如在从编码比特流解读出的信息表示使用emt或amt的情况下(例如amt标志是真)，逆变换部206基于解读出的表示变换类型的信息将当前块的变换系数进行逆变换。

此外，例如在从编码比特流解读出的信息表示使用nsst的情况下，逆变换部206将变换后的变换系数(变换结果)进行再变换。

[加法部]

加法部208通过将作为来自逆变换部206的输入的预测误差与作为来自预测控制部220的输入的预测信号相加，重构当前块。并且，加法部208将重构的块向块存储器210及环路滤波部212输出。

[块存储器]

块存储器210是用于保存帧内预测中参照的块且解码对象图片(以下称作当前图片)内的块的存储部。具体而言，块存储器210保存从加法部208输出的重构块。

[环路滤波部]

环路滤波部212对由加法部208重构的块实施环路滤波，将滤波后的重构块向帧存储器214及显示装置等输出。

在从编码比特流解读出的表示alf的开启/关闭的信息表示alf的开启的情况下，基于局部性的梯度的方向及活性度从多个滤波器中选择一个滤波器，所选择的滤波器应用于重构块。

[帧存储器]

帧存储器214是用于保存帧间预测中使用的参照图片的存储部，也有被称作帧缓冲器的情况。具体而言，帧存储器214保存由环路滤波部212滤波后的重构块。

[帧内预测部]

帧内预测部216基于从编码比特流解读出的帧内预测模式，参照保存在块存储器210中的当前图片内的块进行帧内预测，由此生成预测信号(帧内预测信号)。具体而言，帧内预测部216通过参照与当前块邻接的块的样本(例如亮度值、色差值)进行帧内预测而生成帧内预测信号，将帧内预测信号向预测控制部220输出。

另外，在色差块的帧内预测中选择了参照亮度块的帧内预测模式的情况下，帧内预测部216也可以基于当前块的亮度成分来预测当前块的色差成分。

此外，在从编码比特流解读出的信息表示pdpc的使用的情况下，帧内预测部216基于水平/垂直方向的参照图片的梯度，对帧内预测后的像素值进行修正。

[帧间预测部]

帧间预测部218参照保存在帧存储器214中的参照图片，预测当前块。预测以当前块或当前块内的子块(例如4×4块)的单位进行。例如，帧间预测部126通过使用从编码比特流解读出的运动信息(例如运动矢量)进行运动补偿而生成当前块或子块的帧间预测信号，将帧间预测信号向预测控制部128输出。

另外，在从编码比特流解读出的信息表示使用obmc模式的情况下，帧间预测部218不仅使用通过运动搜索而得到的当前块的运动信息，还使用邻接块的运动信息来生成帧间预测信号。

此外，在从编码比特流解读出的信息表示使用fruc模式的情况下，帧间预测部218通过按照从编码流解读出的模式匹配的方法(双边匹配或模板匹配)进行运动搜索，来导出运动信息。并且，帧间预测部218使用所导出的运动信息进行运动补偿。

此外，帧间预测部218在使用bio模式的情况下，基于假定了等速直线运动的模型导出运动矢量。此外，在从编码比特流解读出的信息表示使用仿射运动补偿预测模式的情况下，帧间预测部218基于多个邻接块的运动矢量，以子块单位导出运动矢量。

[预测控制部]

预测控制部220选择帧内预测信号及帧间预测信号中的某一个，将所选择的信号作为预测信号向加法部208输出。

接着，参照附图具体说明在如以上那样构成的编码装置100及解码装置200中进行的信号依赖型自适应量化/逆量化。

[编码装置中的信号依赖型自适应量化/逆量化处理]

图11是表示有关实施方式1的编码装置100中的信号依赖型自适应量化/逆量化处理1000的流程图。图11所示的信号依赖型自适应量化/逆量化处理1000主要由图1所示的编码装置100的逆量化部112进行。

首先，在步骤s1001中，将一个或多个量化后的变换系数(第1变换系数)进行缩放。该缩放处理是逆量化处理。即，在步骤s1001中，用规定的量化参数对量化系数进行逆量化。

在步骤s1002中，基于在步骤s1001中缩放后的变换系数，导出新的量化参数。该新导出的量化参数的值通常比规定的量化参数大。作为量化参数与基于该量化参数进行缩放后的变换系数的关系的例子，有线性函数，但除此以外还有非线性函数(例如幂函数)。

在本实施方式的一变形例中，导出的量化参数与在该量化参数的导出中使用的变换系数(第1变换系数)的关系可以通过一个或多个强度参数来调整。此外，在本实施方式的其他变形例中，在量化参数的导出中，使用可以通过一个或多个选择参数来切换的多个映射函数。该多个映射函数是用于从变换系数导出量化参数的相互不同的函数。进而，在本实施方式的其他变形例中，基于图像块的量化参数来决定强度参数或选择参数(例如，从值大的量化参数得到值大的强度参数，此外从不同值的量化参数得到不同值的切换参数)。

最后，在步骤s1003中，基于在步骤s1002中新导出的量化参数，将量化后的变换系数(第2变换系数)进行缩放。

步骤s1003中的变换系数(第1变换系数)和步骤s1001中的变换系数(第2变换系数)属于同一个图像块。此外，这些变换系数既可以属于相同的颜色成分，也可以属于不同的颜色成分。例如，也可以将步骤s1001中的变换系数作为亮度块的变换系数，将步骤s1003中的变换系数作为色差块的变换系数。在本实施方式的一变形例中，变换系数都是一个图像块的变换系数。此外，在本实施方式的其他变形例中，变换系数都是一个图像块的ac变换系数。此外，在本实施方式的其他变形例中，至少一个变换系数是图像块的dc系数。

图28表示8×8像素大小的块的变换系数的逆量化的一例。在图28中，多个圆分别表示系数。将量化后的变换系数(量化系数)按照规定的扫描顺序进行缩放(逆量化)。在图28中，圆内的数值表示规定的扫描顺序中的顺序。这里，规定的扫描顺序由频率的升顺定义。如图28所示，在规定的扫描顺序中先被逆量化的变换系数在该规定的扫描顺序中用来导出用于后续的变换系数的量化/逆量化的量化参数。

具体而言，在图28中，将最初被逆量化的dc成分的量化系数(0)基于第1规定的量化参数进行逆量化。接着，将第2个被逆量化的ac成分的量化系数(1)基于第2规定的量化参数进行逆量化。第2规定的量化参数既可以与第1量化参数相同，也可以比第1量化参数大。

并且，基于通过量化系数(1)的逆量化得到的ac成分的变换系数(1)，导出用于接下来被逆量化的量化系数(2)的量化参数。将第3个被逆量化的ac成分的量化系数(2)基于从变换系数(1)导出的量化参数进行逆量化，得到变换系数(2)。

另外，用于作为量化/逆量化的对象的变换系数(以下称作当前系数)的量化参数也可以根据在规定的扫描顺序中先行于当前系数的变换系数的累积合计来导出。例如，用于在规定的扫描顺序中第16个当前系数的量化/逆量化的量化参数也可以基于第1～15个变换系数的累积合计来导出。此时，如果累积合计增加，则量化参数也增加就可以。由此，与低频域相比，能够增大高频域的变换系数的量化/逆量化的量化步长，与低频域相比能够进一步压缩高频域的变换系数。

另外，也可以在这样的变换系数的累积合计中将dc系数(例如第一个变换系数)去除。即，用于当前系数的量化参数也可以基于先行于该当前系数的ac变换系数(例如第2个以后的变换系数)的累积合计来导出。

此外，也可以在变换系数的累积合计中将低频域的变换系数去除。即，用于当前系数的量化参数也可以基于先行于该当前系数且阈值顺序以后的变换系数的累积合计来导出。例如如果阈值顺序是第7个，则用于在扫描顺序中第16个当前系数的量化/逆量化的量化参数也可以基于第7～15个变换系数的累积合计来导出。

该阈值顺序也可以用标准规格等预先定义。此外，阈值顺序也可以基于序列、图片或块等适应性地决定。在此情况下，也可以将阈值顺序例如以序列、图片或块级进行信号化。

[编码装置的逆量化部的详细情况]

图19是表示有关实施方式1的编码装置100的逆量化部112的详细的功能结构的框图。

量化部108基于规定的量化参数或从逆量化部112输入的量化参数，将从变换部106输入的变换系数进行量化。并且，量化部108将量化后的变换系数(量化系数)向逆量化部112及熵编码部110输出。

逆量化部112将由量化部108量化的变换系数进行逆量化。并且，逆量化部112将逆量化后的变换系数向逆变换部114输出。如图19所示，逆量化部112具备逆量化器9003及量化参数导出器9010。

逆量化器9003基于规定的量化参数或由量化参数导出器9010导出的量化参数，进行由量化部108量化的变换系数的逆量化，将逆量化后的变换系数向逆变换部114及量化参数导出器9010输出。

量化参数导出器9010基于从逆量化器9003输入的逆量化后的变换系数，导出用于接下来被量化/逆量化的变换系数的新的量化参数。并且，量化参数导出器9010将所导出的新的量化参数向量化部108及逆量化器9003输出。

[解码装置中的信号依赖型自适应逆量化处理]

图12是表示有关实施方式1的解码装置200中的信号依赖型自适应逆量化处理2000的流程图。图12所示的信号依赖型自适应逆量化处理2000主要由图10所示的解码装置200的逆量化部204进行。

首先，在步骤s2001中，将一个或多个量化后的变换系数(第1变换系数)进行缩放。该缩放处理是逆量化处理。即，在步骤s2001中，用规定的量化参数对量化系数进行逆量化。

在步骤s2002中，基于在步骤s2001中缩放后的变换系数，导出新的量化参数。该新导出的量化参数的值通常比规定的量化参数大。作为量化参数与基于该量化参数缩放后的变换系数的关系的例子，有线性函数，除此以外还有非线性函数(例如幂函数)。

在本实施方式的一变形例中，导出的量化参数与在该量化参数的导出中使用的变换系数的关系可以通过一个或多个强度参数来调整。此外，在本实施方式的其他变形例中，在量化参数的导出中，使用能够通过一个或多个选择参数来切换的多个映射函数。该多个映射函数是用于从变换系数导出量化参数的相互不同的函数。进而，在本实施方式的其他变形例中，基于图像块的量化参数决定强度参数或选择参数(例如，从值大的量化参数得到值大的强度参数，此外从不同值的量化参数得到不同值的切换参数)。

最后，在步骤s2003中，基于在步骤s2002中新导出的量化参数，将量化后的变换系数(第2变换系数)进行缩放。

步骤s2003中的变换系数和步骤2001中的变换系数属于同一个图像块。此外，这些变换系数既可以属于相同的颜色成分，也可以属于不同的颜色成分。例如，也可以将步骤s2001中的变换系数作为亮度块的变换系数，将步骤s2003中的变换系数作为色差块的变换系数。在本实施方式的一变形例中，变换系数全部是一个图像块的变换系数。此外，在本实施方式的其他变形例中，变换系数全部是一个图像块的ac变换系数。此外，在本实施方式的其他变形例中，至少一个变换系数是图像块的dc系数。

[解码装置的逆量化部的详细情况]

图20是表示有关实施方式1的解码装置200的逆量化部204的详细的功能结构的框图。

逆量化部204将作为来自熵解码部202的输入的当前块的量化后的变换系数(量化系数)进行逆量化。并且，逆量化部204将逆量化后的变换系数向逆变换部206输出。如图20所示，逆量化部204具备逆量化器10002及量化参数导出器10008。

逆量化器10002基于规定的量化参数或由量化参数导出器10008导出的量化参数，进行由熵解码部202解码的量化系数的逆量化，将变换系数向逆变换部206及量化参数导出器10008输出。

量化参数导出器10008基于作为来自逆量化器9003的输入的变换系数，导出用于接下来被逆量化的变换系数的量化参数，向逆量化器10002输出。

如以上这样，有关本实施方式的编码装置100及解码装置200将一个或多个量化后的第1变换系数进行逆量化，基于逆量化后的一个或多个第1变换系数导出量化参数，基于所导出的量化参数将量化后的第2变换系数进行逆量化。

由此，能够基于先被逆量化的第1变换系数，导出在量化后的第2变换系数的逆量化中使用的量化参数。即，能够以系数单位自适应地导出量化参数。通过基于以这样的系数单位自适应地导出的量化参数将量化后的变换系数进行逆量化，能够实现主观画质的改善。进而，由于能够基于先被逆量化的第1变换系数导出量化参数，所以能够抑制用于量化参数的导出的信号比特的增加，能够实现编码效率的提高。

(实施方式1的变形例1)

接着，对实施方式1的变形例1进行说明。在本变形例中，基于先被逆量化的变换系数和从当前块的预测信号变换后的变换系数来导出量化参数这一点与上述实施方式1不同。以下，对于本变形例，以与上述实施方式1不同的点为中心进行说明。

[编码装置中的信号依赖型自适应量化/逆量化处理]

图13是表示有关实施方式1的变形例1的编码装置100中的信号依赖型自适应量化/逆量化处理3000的流程图。图13所示的信号依赖型自适应量化/逆量化处理3000主要由后述的逆量化部112a(图21)进行。

首先，在步骤s3001中，将一个或多个量化后的变换系数(第1变换系数)进行缩放。

在步骤s3002中，将预测样本的块变换为变换系数(第3变换系数。即，将当前块的预测信号向变换系数进行频率变换。

在步骤s3003中，基于在步骤s3001中缩放后的变换系数和在步骤s3002中从预测样本的块进行变换而得到的一个或多个变换系数，导出新的量化参数。

在量化参数的导出中，也可以包括将在步骤s3001中缩放后的一个变换系数和在步骤s3002中从预测样本的块进行变换而得到的多个变换系数中的一个进行合计的工序。作为量化参数的导出的其他例子，有基于从预测样本的块进行变换而得到的多个变换系数的分布导出的方法。在步骤s3003中的导出中，为了决定新的量化参数，也可以使用从预测样本的块进行变换而得到的多个变换系数的合计和分布双方。

最后，在步骤s3004中，基于在步骤s3003中新导出的量化参数，将量化后的变换系数(第2变换系数)进行缩放。

[编码装置的逆量化部的详细情况]

图21是表示有关实施方式1的变形例1的编码装置100的逆量化部112a的详细的功能结构的框图。在本变形例中，在编码装置100中代替图1的逆量化部112而包含逆量化部112a。

如图21所示，逆量化部112a具备逆量化器11003、量化参数导出器11010和变换器11011。逆量化器11003基于规定的量化参数或由量化参数导出器11010导出的量化参数，将由量化部108量化的变换系数进行逆量化。并且，逆量化器11003将逆量化后的变换系数向逆变换部114及量化参数导出器11010输出。

量化参数导出器11010基于从逆量化器11003输入的逆量化后的变换系数和从变换器11011输入的变换系数，导出用于接下来被量化/逆量化的变换系数的新的量化参数。并且，量化参数导出器11010将所导出的新的量化参数向逆量化器11003输出。

变换器11011将从预测控制部128输入的当前块的预测样本变换为频域的变换系数。并且，变换器11011将变换系数向量化参数导出器11010输出。

[解码装置中的信号依赖型自适应逆量化处理]

图14是表示有关实施方式1的变形例1的解码装置200中的信号依赖型自适应逆量化处理4000的流程图。图14所示的信号依赖型自适应逆量化处理4000主要由后述的逆量化部204a(图22)进行。

首先，在步骤s4001中，将一个或多个量化后的变换系数(第1变换系数)进行缩放。

在步骤s4002中，将预测样本的块变换为变换系数(第3变换系数)。即，将当前块的预测信号向变换系数进行频率变换。

在步骤s4003中，基于在步骤s4001中缩放后的变换系数和在步骤s4002中从预测样本的块进行变换而得到的一个或多个系数，导出新的量化参数。

另外，在量化参数的导出中，也可以包括将在步骤s4001中缩放后的一个变换系数和在步骤s4002中从预测样本的块进行变换而得到的多个变换系数中的一个进行合计的工序。作为量化参数的导出的其他例子，有基于从预测样本的块进行变换而得到的多个变换系数的分布来导出的方法。在步骤s4003中的导出中，为了决定新的量化参数，也可以使用从预测样本的块进行变换而得到的多个变换系数的合计和分布双方。

最后，在步骤s4004中，基于在步骤s4003中新导出的量化参数，将量化后的变换系数(第2变换系数)进行缩放。

[解码装置的逆量化部的详细情况]

图22是表示有关实施方式1的变形例1的解码装置200的逆量化部204a的详细的功能结构的框图。在本变形例中，解码装置200中代替图10的逆量化部204而包含逆量化部204a。

如图22所示，逆量化部204a具备逆量化器12002、量化参数导出器12008和变换器12009。逆量化器12002基于规定的量化参数或由量化参数导出器12008导出的量化参数，进行由熵解码部202解码的量化系数的逆量化，将变换系数向逆变换部206及量化参数导出器12008输出。

量化参数导出器12008基于作为来自逆量化器12002的输入的变换系数和作为来自变换器12009的输入的变换系数，导出量化参数，向逆量化器12002输出。

变换器12009将从预测控制部220输入的当前块的预测样本变换为频域的变换系数变换。并且，变换器12009将变换系数向量化参数导出器12008输出。

如以上这样，有关本变形例的编码装置100及解码装置200还将编码对象块的预测信号变换为一个以上的第3变换系数，基于逆量化后的一个或多个第1变换系数和从编码对象块的预测信号进行变换而得到的一个以上的第3变换系数，导出量化参数。

由此，还能够基于从编码对象块的预测信号进行变换而得到的一个以上的第3变换系数，导出在量化后的第2变换系数的逆量化中使用的量化参数。因而，还能够导出更适当的量化参数，能够实现主观画质的改善及编码效率的提高。

(实施方式1的变形例2)

接着，对实施方式1的变形例2进行说明。在本变形例中，基于先被逆量化的变换系数和根据当前块的预测信号决定的活性度导出量化参数这一点与上述实施方式1不同。以下，对于本变形例，以与上述实施方式1不同的点为中心进行说明。

[编码装置中的信号依赖型自适应量化/逆量化处理]

图15是表示有关实施方式1的变形例2的编码装置100中的信号依赖型自适应量化/逆量化处理5000的流程图。图15所示的信号依赖型自适应量化/逆量化处理5000主要由后述的逆量化部112b(图23)进行。

首先，在步骤s5001中，将一个或多个量化后的变换系数(第1变换系数)进行缩放。

在步骤s5002中，根据预测块(当前块的预测信号)决定活性度(activitymeasure)。该活性度既可以从保存在帧存储器122中的参照图片读出，也可以由计算机基于预测块来求出。作为活性度的例子，可以举出块的方差值，但除此以外，还有通过规定的方向(例如，水平、垂直或对角)上的边缘检测而得到的边缘的强度。作为活性度的其他例子，有空间或频域中的信号(图像)强度。基于该活性度将预测块分类为不同的组，基于分类结果导出量化参数。

在步骤s5003中，基于在步骤s5001中缩放后的变换系数和在步骤s5002中决定的活性度，导出新的量化参数。

在步骤s5003的一变形例中，在预测块是帧间预测块的情况下在量化参数的导出中使用活性度。在预测块是帧内预测块的情况下，将用于决定活性度的步骤s5002跳过，在步骤s5003中，不基于活性度而基于缩放后的变换系数来导出新的量化参数。

最后，在步骤s5004中，基于在步骤s5003中新导出的量化参数，将量化后的变换系数(第2变换系数)进行缩放。

[编码装置的逆量化部的详细情况]

图23是表示有关实施方式1的变形例2的编码装置100的逆量化部112b的详细的功能结构的框图。在本变形例中，编码装置100中代替图1的逆量化部112而包含逆量化部112b。

如图23所示，逆量化部112b具备逆量化器13003和量化参数导出器13010。逆量化器13003基于规定的量化参数或由量化参数导出器13010导出的量化参数，将由量化部108量化的变换系数进行逆量化。并且，逆量化器13003将逆量化后的变换系数向逆变换部114及量化参数导出器13010输出。

量化参数导出器13010从帧存储器122读出预测块的活性度。并且，量化参数导出器13010基于由逆量化器11003逆量化后的变换系数和从帧存储器122读出的活性度，导出用于接下来被量化/逆量化的变换系数的新的量化参数。并且，量化参数导出器13010将所导出的新的量化参数向逆量化器13003输出。

[解码装置中的信号依赖型自适应逆量化处理]

图16是表示有关实施方式1的变形例2的解码装置200中的信号依赖型自适应逆量化处理6000的流程图。图16所示的信号依赖型自适应逆量化处理6000主要由后述的逆量化部204b(图24)进行。

首先，在步骤s6001中，将一个或多个量化后的变换系数(第1变换系数)进行缩放。

在步骤s6002中，根据预测块决定活性度。该活性度既可以从保存在帧存储器214中的参照图片读出，也可以由计算机基于预测块来求出。作为活性度的例子，可以举出块的方差值，但除此以外，还有通过规定的方向(例如，水平、垂直或对角)上的边缘检测而得到的边缘的强度。作为活性度的其他例子，有空间或频域中的信号(图像)强度。基于该活性度将预测块分类为不同的组，基于分类结果导出量化参数。

在步骤s6003中，基于在步骤s6001中缩放后的变换系数和在步骤s6002中决定的活性度，导出新的量化参数。

在步骤s6003的一变形例中，在预测块是帧间预测块的情况下在量化参数的导出中使用活性度。在预测块是帧内预测块的情况下，将用于决定活性度的步骤s6002跳过，在步骤s6003中，不基于活性度而基于缩放后的变换系数来导出新的量化参数。

最后，在步骤s6004中，基于在步骤s6003中新导出的量化参数，将量化后的变换系数(第2变换系数)进行缩放。

[解码装置的逆量化部的详细情况]

图24是表示有关实施方式1的变形例2的解码装置200的逆量化部204b的详细的功能结构的框图。在本变形例中，在解码装置200中代替图10的逆量化部204而包括逆量化部204b。

如图24所示，逆量化部204b具备逆量化器14002和量化参数导出器14008。逆量化器14002基于规定的量化参数或由量化参数导出器14008导出的量化参数，进行由熵解码部202解码后的量化系数的逆量化，将变换系数向逆变换部206及量化参数导出器14008输出。

量化参数导出器14008从帧存储器214读出预测块的活性度。并且，量化参数导出器14008基于由逆量化器14002逆量化后的变换系数和从帧存储器214读出的活性度，导出用于接下来被逆量化的变换系数的新的量化参数。并且，量化参数导出器14008将所导出的新的量化参数向逆量化器14002输出。

如以上这样，有关本变形例的编码装置100及解码装置200还基于编码对象块的预测信号决定活性度，基于逆量化后的一个或多个第1变换系数和所决定的活性度，导出量化参数。

由此，还能够基于根据编码对象块的预测信号决定的活性度，导出在量化后的第2变换系数的逆量化中使用的量化参数。因而，还能够导出更适当的量化参数，能够实现主观画质的改善及编码效率的提高。

(实施方式1的变形例3)

接着，对实施方式1的变形例3进行说明。在本变形例中，基于先被逆量化的变换系数和被编码在编码比特流内的控制参数来导出量化参数这一点与上述实施方式1不同。以下，对于本变形例，以与上述实施方式1不同的点为中心进行说明。

[编码装置中的信号依赖型自适应量化/逆量化处理]

图17是表示有关实施方式1的变形例3的编码装置100中的信号依赖型自适应量化/逆量化处理7000的流程图。图17所示的信号依赖型自适应量化/逆量化处理7000主要由后述的逆量化部112c(图25)进行。

首先，在步骤s7001中，将一个或多个控制参数向压缩图像头(编码比特流内的头)写入。该控制参数既可以是强度参数，也可以是切换参数。

在接着的步骤s7002中，将一个或多个量化后的变换系数(第1变换系数)进行缩放。

在步骤s7003中，基于在步骤s7001中写入的控制参数及在步骤s7002中缩放后的变换系数，导出新的量化参数。在本变形例中，量化参数与在该量化参数的导出中使用的变换系数的关系可以通过一个或多个强度参数来调整。此外，在量化参数的导出中，也可以使用能够通过一个或多个选择参数进行切换的多个映射函数。即，基于控制参数(强度参数或选择参数)决定变换系数与量化参数的关系，基于所决定的关系，从变换系数导出量化参数。例如，将变换系数与量化参数的关系用线性函数表示，在控制参数是强度参数的情况下，通过强度参数来调整线性函数的斜率，使用调整后的斜率，从变换系数导出量化参数。此外，例如在控制参数是选择参数的情况下，基于选择参数，从变换系数和量化参数的预先决定的多个映射函数之中选择一个映射函数，使用所选择的映射函数，从变换系数导出量化参数。

最后，在步骤s7004中，基于在步骤s7003中新导出的量化参数，将量化后的变换系数(第2变换系数)进行缩放。

[编码装置的逆量化部的详细情况]

图25是表示有关实施方式1的变形例3的编码装置100的逆量化部112c的详细的功能结构的框图。在本变形例中，在编码装置100中代替图1的逆量化部112而包括逆量化部112c。

如图25所示，逆量化部112c具备逆量化器15003和量化参数导出器15010。逆量化器15003基于规定的量化参数或由量化参数导出器15010导出的量化参数，将由量化部108量化后的变换系数进行逆量化。并且，逆量化器15003将逆量化后的变换系数向逆变换部114及量化参数导出器15010输出。

量化参数导出器15010基于由逆量化器15003逆量化后的变换系数和用于量化参数的导出的控制参数，导出新的量化参数，向逆量化器15003输出。该控制参数既可以是强度参数，也可以是选择参数。

[句法]

图27表示编码视频流(压缩视频比特流)中的控制参数的位置的多个例子。图17的(i)表示在视频参数集内有控制参数。图17的(ii)表示在视频流的序列参数集内有控制参数。图17的(iii)表示在图片的图片参数集内有控制参数。图17的(iv)表示在切片的切片头内有控制参数。图17的(v)表示在用于进行运动图像系统或视频解码器的设置或初始化的参数的组内有控制参数。在控制参数处于多个层级(例如，图片参数集及切片头)中的情况下，处于较低的层级(例如切片头)中的控制参数的值覆盖处于更高的层级(例如图片参数集)中的控制参数的值。

图29a表示基于强度参数的变换系数与量化参数(qp)的关系的调整的一例。如图29a所示，强度参数的值越增加，线性函数的斜率也越增加。即，如果强度参数的值增加，则即使变换值是相同的值，量化参数的值也增加。

图29b表示基于选择参数的变换系数与量化参数(qp)的关系的切换的一例。如图29b所示，变换系数与量化参数的多个映射函数(线性函数及幂函数)被预先定义，基于选择参数(switchindex1及switchindex1)选择映射函数。例如，在选择参数是switchindex1的情况下选择线性函数，在选择参数是switchindex2的情况下选择幂函数。

[解码装置中的信号依赖型自适应逆量化处理]

图18是表示有关实施方式1的变形例3的解码装置200中的信号依赖型自适应逆量化处理8000的流程图。图16所示的信号依赖型自适应逆量化处理8000主要由后述的逆量化部204c(图26)进行。

首先，在步骤s8001中，从压缩图像头解读出一个或多个控制参数。该控制参数既可以是强度参数，也可以是选择参数。

接着，在步骤s8002中，将一个或多个量化后的变换系数(第1变换系数)进行缩放。

在步骤s8003中，基于在步骤s8002中缩放后的变换系数和在步骤s8001中解读出的控制参数，导出新的量化参数。在本变形例中，量化参数与在该量化参数的导出中使用的变换系数的关系可以通过一个或多个强度参数来调整。此外，在量化参数的导出中，也可以使用能够通过一个或多个选择参数进行切换的多个映射函数。即，基于控制参数(强度参数或选择参数)决定变换系数与量化参数的关系，基于所决定的关系，从变换系数导出量化参数。例如，将变换系数与量化参数的关系用线性函数表示，在控制参数是强度参数的情况下，通过强度参数来调整线性函数的斜率，使用调整后的斜率，从变换系数导出量化参数。此外，例如在控制参数是选择参数的情况下，基于选择参数，从变换系数与量化参数的预先决定的多个映射函数之中选择一个映射函数，使用所选择的映射函数从变换系数导出量化参数。

最后，在步骤s8004中，基于新导出的量化参数，将量化后的变换系数(第2变换系数)进行缩放。

[解码装置的逆量化部的详细情况]

图26是表示有关实施方式1的变形例3的解码装置200的逆量化部204c的功能结构的框图。在本变形例中，在解码装置200中代替图10的逆量化部204而包括逆量化部204c。

如图26所示，逆量化部204c具备逆量化器16002和量化参数导出器16008。逆量化器16002进行由熵解码部202解码后的量化系数的逆量化，将变换系数向逆变换部206及量化参数导出器16008输出。

量化参数导出器16008基于逆量化后的变换系数和控制参数，导出新的量化参数，向逆量化器16002输出。控制参数例如由熵解码部202从编码比特流中解读出。

如以上这样，根据有关本变形例的编码装置100及解码装置200，量化参数与第1变换系数的关系能够通过一个或多个强度参数来调整。此外，在本变形例中，在量化参数的导出中，也可以使用能够通过一个或多个选择参数来切换的多个映射函数。并且，将这样的一个或多个强度参数及一个或多个选择参数向编码比特流内的头写入。

由此，在量化参数的导出中，能够进行变换系数与量化参数之间的关系的调整或切换。因而，还能够导出更适当的量化参数，能够实现主观画质的改善及编码效率的提高。

另外，在本变形例中，将控制参数进行了信号化，但也可以并不一定将控制参数信号化。例如，控制参数也可以基于在与当前块不同的块的系数的逆量化中使用的量化参数来决定。例如，也可以以如果在与当前块不同的块的系数的逆量化中使用的量化参数增加则强度参数增加的方式决定强度参数。此外，例如也可以根据在与当前块不同的块的系数的逆量化中使用的量化参数的值来决定选择参数。

另外，也可以将上述实施方式1的多个变形例组合。例如，既可以将变形例1～变形例3全部组合，也可以将变形例1～变形例3中的任意的2个组合。

(实施方式2)

在以上的各实施方式中，各个功能块通常可以通过mpu及存储器等实现。此外，各个功能块的处理通常通过由处理器等程序执行部将记录在rom等的记录介质中的软件(程序)读出并执行来实现。该软件既可以通过下载等来分发，也可以记录到半导体存储器等记录介质中来分发。另外，当然也能够将各功能块用硬件(专用电路)实现。

此外，在各实施方式中说明的处理既可以通过使用单一的装置(系统)集中处理来实现，或者也可以通过使用多个装置进行分散处理来实现。此外，执行上述程序的处理器既可以是单个，也可以是多个。即，既可以进行集中处理，也可以进行分散处理。

本发明并不限定于以上的实施例，能够进行各种各样的变更，它们也包含在本发明的范围内。

进而，这里说明在上述各实施方式中示出的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于，具有使用图像编码方法的图像编码装置、使用图像解码方法的图像解码装置、以及具备这两者的图像编码解码装置。关于系统的其他结构，可以根据情况适当变更。

[使用例]

图30是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。

在该内容供给系统ex100中，在因特网ex101上经由因特网服务提供商ex102或通信网ex104、以及基站ex106～ex110连接着计算机ex111、游戏机ex112、相机ex113、家电ex114、智能电话ex115等各设备。该内容供给系统ex100也可以将上述的某些要素组合而连接。也可以不经由作为固定无线站的基站ex106～ex110，而各设备经由电话网或近距离无线等直接或间接地相互连接。此外，流媒体服务器ex103经由因特网ex101等与计算机ex111、游戏机ex112、相机ex113、家电ex114及智能电话ex115等各设备连接。此外，流媒体服务器ex103经由卫星ex116与飞机ex117内的热点内的终端等连接。

另外，也可以代替基站ex106～ex110而使用无线接入点或热点等。此外，流媒体服务器ex103既可以不经由因特网ex101或因特网服务提供商ex102直接与通信网ex104连接，也可以不经由卫星ex116而直接与飞机ex117连接。

相机ex113是数字相机等的能够进行静止图像拍摄及运动图像拍摄的设备。此外，智能电话ex115是与通常被称作2g、3g、3.9g、4g、及今后被称作5g的移动通信系统的方式对应的智能电话机、便携电话机或phs(personalhandyphonesystem)等。

家电ex118是冰箱或在家庭用燃料电池热电联供系统(cogenerationsystem)中包含的设备等。

在内容供给系统ex100中，通过将具有拍摄功能的终端经由基站ex106等连接到流媒体服务器ex103上，能够进行现场转播等。在现场转播中，终端(计算机ex111、游戏机ex112、相机ex113、家电ex114、智能电话ex115及飞机ex117内的终端等)对由用户使用该终端拍摄的静止图像或运动图像内容进行在上述各实施方式中说明的编码处理，将通过编码得到的影像数据和将与影像对应的声音进行编码而得到的声音数据进行复用，将得到的数据向流媒体服务器ex103发送。即，各终端作为有关本发明的一技术方案的图像编码装置发挥功能。

另一方面，流媒体服务器ex103将针对有请求的客户端发送的内容数据进行流分发。客户端是能够对上述编码处理后的数据进行解码的计算机ex111、游戏机ex112、相机ex113、家电ex114、智能电话ex115或飞机ex117内的终端等。接收到被分发的数据的各设备对接收到的数据进行解码处理并再现。即，各设备作为有关本发明的一技术方案的图像解码装置发挥功能。

[分散处理]

此外，流媒体服务器ex103也可以是多个服务器或多个计算机，并且是将数据分散起来处理或记录或分发的结构。例如，流媒体服务器ex103也可以由cdn(contentsdeliverynetwork)实现，通过将分散在世界中的许多边缘服务器与边缘服务器间相连的网络实现内容分发。在cdn中，根据客户端而动态地分配物理上近的边缘服务器。并且，通过将内容向该边缘服务器高速缓存及分发，能够减少延迟。此外，在发生了某种错误的情况下或因通信量的增加等而通信状态变化的情况下，能够用多个边缘服务器将处理分散、或将分发主体切换为其他的边缘服务器、或绕过发生故障的网络部分而继续分发，所以能够实现高速且稳定的分发。

此外，不仅仅是分发自身的分散处理，所拍摄的数据的编码处理既可以由各终端进行，也可以在服务器侧进行，也可以相互分担而进行。作为一例，通常在编码处理中进行2次处理循环。在第1次的循环中检测帧或场景单位的图像的复杂度或编码量。此外，在第2次的循环中进行维持画质而使编码效率提高的处理。例如，由终端进行第1次的编码处理，接收到内容的服务器侧进行第2次的编码处理，由此能够在减少各终端中的处理负荷的同时提高内容的质和效率。在此情况下，如果有大致实时地接收并解码的要求，则也可以将终端进行的第一次的已编码数据由其他终端接收并再现，所以也能够进行更灵活的实时分发。

作为其他的例子，相机ex113等从图像进行特征量提取，将有关特征量的数据作为元数据进行压缩并发送给服务器。服务器例如根据特征量判断对象的重要性而切换量化精度等，进行与图像的意义对应的压缩。特征量数据对于服务器中的再次压缩时的运动矢量预测的精度及效率提高特别有效。此外，也可以由终端进行vlc(可变长编码)等简单的编码，由服务器进行cabac(上下文自适应二值算术编码方式)等处理负荷较大的编码。

作为其他的例子，在体育场、购物中心或工厂等中，有时存在由多个终端拍摄大致相同的场景的多个影像数据。在此情况下，使用进行了拍摄的多个终端、以及根据需要而使用没有进行拍摄的其他终端及服务器，例如以gop(groupofpicture)单位、图片单位或将图片分割得到的瓦片单位等分别分配编码处理而进行分散处理。由此，能够减少延迟，更好地实现实时性。

此外，由于多个影像数据是大致相同的场景，所以也可以由服务器进行管理及/或指示，以便相互参照各终端中拍摄的影像数据。或者，也可以由服务器接收来自各终端的已编码数据，并在多个数据间变更参照关系，或者对图片自身进行修正或替换而重新编码。由此，能够生成提高了一个个数据的质和效率的流。

此外，服务器也可以在进行将影像数据的编码方式变更的转码后将影像数据分发。例如，服务器也可以将mpeg类的编码方式变换为vp类，也可以将h.264变换为h.265。

这样，编码处理能够由终端或一个以上的服务器进行。由此，以下作为进行处理的主体而使用“服务器”或“终端”等的记载，但也可以将由服务器进行的处理的一部分或全部用终端进行，也可以将由终端进行的处理的一部分或全部用服务器进行。此外，关于这些，解码处理中也是同样的。

[3d、多角度]

近年来，将由相互大致同步的多个相机ex113及/或智能电话ex115等终端拍摄的不同场景、或以不同的角度拍摄相同场景而得到的图像或影像合并而利用的情况正在增加。将由各终端拍摄的影像基于另取得的终端间的相对位置关系或影像中包含的特征点一致的区域等进行合并。

服务器不仅将二维的运动图像进行编码，也可以基于运动图像的场景解析等自动地或在用户指定的时刻将静止图像编码并向接收终端发送。服务器还在能够取得拍摄终端间的相对位置关系的情况下，不仅是二维的运动图像，还能够基于从不同的角度拍摄相同场景而得到的影像，生成该场景的三维形状。另外，服务器既可以将由点云等生成的三维数据另行编码，也可以基于使用三维数据对人物或对象进行识别或跟踪而得到的结果，从由多个终端拍摄的影像中选择或重构而生成要向接收终端发送的影像。

这样，用户既能够任意地选择与各拍摄终端对应的各影像而欣赏场景，也能够欣赏从使用多个图像或影像来重构的三维数据切取了任意视点的影像的内容。进而，与影像同样，关于声音也可以从多个不同的角度收音，服务器匹配于影像而将来自特定的角度或空间的声音与影像进行复用并发送。

此外，近年来，virtualreality(vr，虚拟现实)及augmentedreality(ar，增强现实)等将现实世界与虚拟世界建立对应的内容也正在普及。在vr图像的情况下，服务器分别制作右眼用及左眼用的视点图像，既可以通过multi－viewcoding(mvc，多视点编码)等进行在各视点影像间容许参照的编码，也可以相互不参照而作为不同的流编码。在不同的流的解码时，可以根据用户的视点相互同步地再现，以再现虚拟的三维空间。

在ar图像的情况下，也可以是，服务器基于三维位置或用户的视点的移动，在现实空间的相机信息上叠加虚拟空间上的虚拟物体信息。解码装置取得或保持虚拟物体信息及三维数据，根据用户的视点的移动而生成二维图像，通过平滑地相连来制作叠加数据。或者，也可以是，解码装置除了虚拟物体信息的委托以外还将用户的视点的移动发送给服务器，服务器根据保持在服务器中的三维数据，匹配于接收到的视点的移动而制作叠加数据，将叠加数据编码并向解码装置分发。另外，也可以是，叠加数据除了rgb以外还具有表示透射度的α值，服务器将从三维数据制作的对象以外的部分的α值设定为0等，在该部分透射的状态下进行编码。或者，服务器也可以如色度键那样将规定的值的rgb值设定为背景，生成使对象以外的部分为背景色的数据。

同样，所分发的数据的解码处理既可以由作为客户端的各终端进行，也可以在服务器侧进行，也可以相互分担而进行。作为一例，也可以是某终端先向服务器发送接收请求，由其他终端接收与该请求对应的内容并进行解码处理，将已解码的信号向具有显示器的装置发送。通过不论可通信的终端自身的性能如何都将处理分散而选择适当的内容，能够再现画质好的数据。此外，作为其他的例子，也可以由tv等接收较大的大小的图像数据，并且由欣赏者的个人终端将对图片进行分割而得到的瓦片等一部分区域解码并显示。由此，能够在使整体像共有化的同时，在手边确认自己的负责领域或想要更详细地确认的区域。

此外，在今后不论室内外都能够使用多个近距离、中距离或长距离的无线通信的状况下，预想利用mpeg－dash等分发系统规格，一边对连接中的通信切换适当的数据一边无缝地接收内容。由此，不仅是自身的终端，用户还能够一边自由地选择设置在室内外的显示器等解码装置或显示装置一边实时地切换。此外，能够基于自身的位置信息等，一边切换进行解码的终端及进行显示的终端一边进行解码。由此，也能够在向目的地的移动中一边使地图信息显示在埋入有可显示的设备的旁边的建筑物的墙面或地面的一部分上一边移动。此外，还能够基于编码数据被高速缓存在能够从接收终端以短时间访问的服务器中、或被复制到了内容分发服务的边缘服务器中等的、向网络上的编码数据的访问容易性，来切换接收数据的比特率。

[可扩展编码]

关于内容的切换，使用图31所示的、应用在上述各实施方式中示出的运动图像编码方法进行压缩编码而得到的可扩展的流进行说明。服务器中作为单独的流也可以具有内容相同而品质不同的多个流，但也可以是如图所示利用通过分层地进行编码而实现的时间/空间上的可扩展的流的特征来切换内容的结构。即，通过由解码侧根据性能这样的内在因素和通信频带的状态等外在因素来决定解码到哪个层，解码侧能够自由地切换低分辨率的内容和高分辨率的内容来进行解码。例如在将移动中用智能电话ex115视听的影像的后续部分在回家后想要用因特网tv等设备视听的情况下，该设备只要将相同的流解码到不同的层就可以，所以能够减轻服务器侧的负担。

进而，除了如上述那样实现将图片按每个层进行编码、在基础层的上位存在增强层的可扩展性的结构以外，也可以是增强层包含基于图像的统计信息等的元信息，解码侧通过基于元信息将基础层的图片进行超析像来生成高画质化的内容。超析像可以是相同分辨率下的sn比的提高及分辨率的扩大中的某一个。元信息包含用于确定在超析像处理中使用的线性或非线性的滤波系数的信息、或用于确定在超析像处理中使用的滤波处理、机械学习或最小2乘运算中的参数值的信息等。

或者，也可以是根据图像内的对象等的意义将图片分割为瓦片等，由解码侧通过选择要解码的瓦片而仅将一部分区域进行解码的结构。此外，通过将对象的属性(人物、车、球等)和影像内的位置(同一图像中的坐标位置等)作为元信息保存，解码侧能够基于元信息来确定希望的对象的位置，决定包括该对象的瓦片。例如，如图32所示，使用hevc中的sei消息等与像素数据不同的数据保存构造保存元信息。该元信息例如表示主对象的位置、大小或色彩等。

此外，也可以以流、序列或随机访问单位等由多个图片构成的单位保存元信息。由此，解码侧能够取得特定人物在影像内出现的时刻等，并通过与图片单位的信息匹配，能够确定对象存在的图片、以及图片内的对象的位置。

[web页的优化]

图33是表示计算机ex111等中的web页的显示画面例的图。图34是表示智能电话ex115等中的web页的显示画面例的图。如图33及图34所示，web页有时包含多个作为向图像内容的链接的链接图像，根据进行阅览的设备而其可见方式不同。在画面上能看到多个链接图像的情况下，在用户明确地选择链接图像之前、或者链接图像接近于画面的中央附近或链接图像整体进入到画面内之前，显示装置(解码装置)中作为链接图像而显示各内容所具有的静止图像或i图片，或者用多个静止图像或i图片等显示gif动画那样的影像，或者仅接收基础层而将影像解码及显示。

在由用户选择了链接图像的情况下，显示装置最优先解码基础层。另外，如果在构成web页的html中有表示是可扩展的内容的信息，则显示装置也可以解码到增强层。此外，为了确保实时性，当为被选择之前或通信频带非常紧张的情况下，显示装置可以通过仅对前方参照的图片(i图片、p图片、仅进行前方参照的b图片)进行解码及显示，来减少开头图片的解码时刻与显示时刻之间的延迟(从内容的解码开始到显示开始的延迟)。此外，显示装置也可以暂且忽视图片的参照关系而将全部的b图片及p图片设为前方参照而较粗地解码，随着时间经过而接收到的图片增加，进行正常的解码。

[自动行驶]

此外，也可以是，在为了车的自动行驶或行驶支持而收发二维或三维的地图信息等的静止图像或影像数据的情况下，接收终端除了属于一个以上的层的图像数据以外，作为元信息还接收天气或施工的信息等，将它们建立对应而解码。另外，元信息既可以属于层，也可以只是与图像数据复用。

在此情况下，由于包括接收终端的车、无人机或飞机等移动，所以接收终端通过在接收请求时发送该接收终端的位置信息，能够一边切换基站ex106～ex110一边进行无缝的接收及解码。此外，接收终端根据用户的选择、用户的状况或通信频带的状态，能够动态地切换将元信息接收何种程度、或将地图信息更新何种程度。

如以上这样，在内容供给系统ex100中，客户端能够将用户发送的已编码的信息实时地接收并解码、再现。

[个人内容的分发]

此外，在内容供给系统ex100中，不仅分发影像分发业者的高画质、长时间的内容，还能够进行个人的低画质、短时间的内容的单播或多播分发。此外，可以想到这样的个人的内容今后会不断增加。为了使个人内容成为更好的内容，服务器也可以在进行编辑处理后进行编码处理。这例如可以通过以下这样的结构实现。

在拍摄时实时地或储存下来在拍摄后，服务器根据原图像或已编码数据，进行拍摄错误、场景搜索、意义的解析及对象检测等识别处理。并且，服务器基于识别结果，手动或自动地进行如下编辑：将焦点偏离或手抖动等进行修正，删除明亮度比其他图片低或焦点没有对上的场景等重要性低的场景，强调对象的边缘，使色调变化等。服务器基于编辑结果，对编辑后的数据进行编码。此外，如果拍摄时刻过长则视听率会下降这也是已知的，服务器也可以根据拍摄时间，不仅将如上述那样重要性低的场景、还将运动少的场景等基于图像处理结果自动地裁剪，以成为特定的时间范围内的内容。或者，服务器也可以基于场景的意义解析的结果而生成摘要并编码。

另外，对个人内容而言，还有如果保持原样则被写入成为著作权、著作者人格权或肖像权等的侵害的内容的情形，也有共享的范围超过了想要的范围等而对于个人而言不便的情况。因此，例如，服务器也可以将画面的周边部的人的脸、或家内部等强行地变更为焦点没有对上的图像而进行编码。此外，服务器也可以识别在编码对象图像内是否拍到了与预先登记的人物不同的人物的脸，在拍到了的情况下，进行对脸的部分施加马赛克等的处理。或者，作为编码的前处理或后处理，从著作权等的观点出发，也可以由用户指定想要将图像加工的人物或背景区域，服务器进行将所指定的区域替换为别的影像、或将焦点模糊化等的处理。如果是人物，则能够一边在运动图像中跟踪人物，一边将脸的部分的影像替换。

此外，由于数据量小的个人内容的视听对实时性的要求较强，所以虽然也取决于带宽，但解码装置首先最优先地接收基础层而进行解码及再现。解码装置也可以在此期间中接收增强层，在再现被循环的情况等再现2次以上的情况下，将增强层也包括在内再现高画质的影像。如果是像这样进行了可扩展的编码的流，则能够提供虽然在未选择时或刚开始看的阶段是较粗糙的运动图像、但流逐渐变得流畅而图像变好的体验。除了可扩展编码以外，即使在第1次被再现的较粗糙的流和参照第1次的运动图像被编码的第2次的流构成为一个流，也能够提供同样的体验。

[其他的使用例]

此外，这些编码或解码处理通常在各终端所具有的lsiex500中处理。lsiex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码或解码用的软件装入到能够由计算机ex111等读取的某些记录介质(cd－rom、软盘、硬盘等)中、使用该软件进行编码或解码处理。进而，在智能电话ex115是带有相机的情况下，也可以发送由该相机取得的运动图像数据。此时的运动图像数据是由智能电话ex115具有的lsiex500进行编码处理后的数据。

另外，lsiex500也可以是将应用软件下载并将其激活的结构。在此情况下，终端首先判定该终端是否与内容的编码方式对应、或是否具有特定服务的执行能力。在终端不与内容的编码方式对应的情况下或不具有特定服务的执行能力的情况下，终端下载编解码器或应用软件，然后进行内容的取得及再现。

此外，并不限于经由因特网ex101的内容供给系统ex100，也能够在数字广播用系统中组装上述各实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码化装置(图像解码装置)中的某一种。由于利用卫星等使广播用的电波承载将影像与声音进行复用而得到复用数据来收发，所以相对于内容供给系统ex100的容易单播的结构，有适合多播的差异，但关于编码处理及解码处理能够进行同样的应用。

[硬件结构]

图35是表示智能电话ex115的图。此外，图36是表示智能电话ex115的结构例的图。智能电话ex115具有用于在与基站ex110之间收发电波的天线ex450、能够拍摄影像及静止图像的相机部ex465、显示对由相机部ex465拍摄的影像以及由天线ex450接收到的影像等进行解码而得到的数据的显示部ex458。智能电话ex115还具备作为操作面板等的操作部ex466、用于输出声音或音响的作为扬声器等的声音输出部ex457、用于输入声音的作为麦克风等的声音输入部ex456、能够保存所拍摄的影像或静止图像、录音的声音、接收到的影像或静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex467、以及作为与simex468的接口部的插槽部ex464，该simex468用于确定用户，进行以网络为代表向各种数据的访问的认证。

此外，对显示部ex458及操作部ex466等进行综合控制的主控制部ex460、与电源电路部ex461、操作输入控制部ex462、影像信号处理部ex455、相机接口部ex463、显示器控制部ex459、调制/解调部ex452、复用/分离部ex453、声音信号处理部ex454、插槽部ex464以及存储器部ex467经由总线ex470相互连接。

电源电路部ex461如果通过用户的操作而电源键成为接通状态，则通过从电池组对各部供给电力，智能电话ex115启动为能够动作的状态。

智能电话ex115基于具有cpu、rom及ram等的主控制部ex460的控制，进行通话及数据通信等的处理。在通话时，将由声音输入部ex456集音的声音信号通过声音信号处理部ex454变换为数字声音信号，将其用调制/解调部ex452进行波谱扩散处理，由发送/接收部ex451实施数字模拟变换处理及频率变换处理之后经由天线ex450发送。此外，将接收数据放大并实施频率变换处理及模拟数字变换处理，由调制/解调部ex452进行波谱逆扩散处理，由声音信号处理部ex454变换为模拟声音信号后，将其从声音输出部ex457输出。在数据通信模式时，通过主体部的操作部ex466等的操作将文本、静止图像或影像数据经由操作输入控制部ex462向主控制部ex460送出，同样进行收发处理。在数据通信模式时，发送影像、静止图像或影像和声音的情况下，影像信号处理部ex455将保存在存储器部ex467中的影像信号或从相机部ex465输入的影像信号通过在上述各实施方式中示出的运动图像编码方法进行压缩编码，将编码后的影像数据向复用/分离部ex453送出。此外，声音信号处理部ex454将在由相机部ex465拍摄影像、静止图像等的过程中由声音输入部ex456集音的声音信号进行编码，将编码后的声音数据向复用/分离部ex453送出。复用/分离部ex453以规定的方式将已编码影像数据和已编码声音数据进行复用，由调制/解调部(调制/解调电路部)ex452及发送/接收部ex451实施调制处理及变换处理，经由天线ex450发送。

在接收到附加在电子邮件或聊天室中的影像、或链接在网页等上的影像的情况下，为了将经由天线ex450接收到的复用数据进行解码，复用/分离部ex453通过将复用数据分离，将复用数据分为影像数据的比特流和声音数据的比特流，经由同步总线ex470将编码后的影像数据向影像信号处理部ex455供给，并且将编码后的声音数据向声音信号处理部ex454供给。影像信号处理部ex455通过与在上述各实施方式中示出的运动图像编码方法对应的运动图像解码方法将影像信号进行解码，经由显示器控制部ex459从显示部ex458显示被链接的运动图像文件中包含的影像或静止图像。此外，声音信号处理部ex454将声音信号进行解码，从声音输出部ex457输出声音。另外，由于实时流媒体正在普及，所以根据用户的状况，也可能发生声音的再现在社会上不适合的场合。因此，作为初始值，优选的是不再现声音信号而仅再现影像数据的结构。也可以仅在用户进行了点击影像数据等操作的情况下将声音同步地再现。

此外，这里以智能电话ex115为例进行了说明，但作为终端，可以考虑具有编码器及解码器双方的收发型终端以外，还有仅具有编码器的发送终端、仅具有解码器的接收终端这3种安装形式。进而，在数字广播用系统中，设为接收或发送在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但在复用数据中，除了声音数据以外还可以复用与影像关联的字符数据等，也可以接收或发送影像数据自身而不是复用数据。

另外，设为包括cpu的主控制部ex460控制编码或解码处理而进行了说明，但终端具备gpu的情况也较多。因此，也可以是通过由cpu和gpu共用的存储器、或对地址进行管理以便能够共同使用的存储器，利用gpu的性能将较大的区域一起处理的结构。由此，能够缩短编码时间，确保实时性，实现低延迟。特别是，如果不是由cpu而是由gpu以图片等单位将运动搜索、解块滤波、sao(sampleadaptiveoffset：取样自适应偏移)及变换/量化的处理一起进行，则效率高。

产业上的可利用性

本申请能够应用于将运动图像进行编码的编码装置及将被编码的运动图像进行解码的解码装置。

标号说明

100编码装置

102分割部

104减法部

106变换部

108量化部

110熵编码部

112、112a、112b、112c、204、204a、204b、204c逆量化部

114、206逆变换部

116、208加法部

118、210块存储器

120、212环路滤波部

122、214帧存储器

124、216帧内预测部

126、218帧间预测部

128、220预测控制部

200解码装置

202熵解码部

9003、10002、11003、12002、13003、14002、15003、16002逆量化器

9010、10008、11010、12008、13010、14008、15010、16008量化参数导出器

11011、12009变换器