图像解码装置、图像解码方法、接收装置与流程

本分案申请为申请号201380013459.9、国际申请号pct/jp2013/002033、申请日2013年3月26日的发明名称为“图像编码装置、图像编码方法、图像编码程序、发送装置、发送方法、及发送程序、以及图像解码装置、图像解码方法、图像解码程序、接收装置、接收方法、及接收程序”的发明申请的分案申请。

本发明涉及图像编码及解码技术，特别涉及残差信号的熵编码及解码技术。

背景技术：

在作为运动图像编码的国际标准的mpeg-4avc中，作为熵编码方式，采用了被称为cabac的上下文(context)切换型的算术编码。cabac具有多个保存所应编码的信息的发生概率的被称作上下文的变量。从周边的编码信息选择最佳的上下文用于编码。另外，在各上下文中也进行基于编码过程的发生概率的更新，故能高精度地预测编码信息的发生概率，能进行高效的编码。

[在先技术文献]

[专利文献]

[专利文献1]日本特开2007-300517号公报

技术实现要素：

在mpeg-4avc中，除通过根据周边的已解码信息切换上下文来预测信息的发生概率外，还进行基于解码结果的发生概率的学习。能使针对各上下文的应解码信息的发生概率最佳化，实现了编码效率的提高。然而，需要针对处理对象块内的所有有效差分系数信息依次处理上下文索引的计算和有效差分系数信息的解码，比较花费计算时间。

在专利文献1中，公开了一种通过将针对发生频率高的构文要素的上下文配置于访问等待时间小的存储器上，来使解码的处理延迟减少的方法。但专利文献1的方法并没有消除上下文索引的计算与构文要素的解码的依赖性，在无法对其进行并行执行这一点上，不能说是对处理延迟的本质性的解决。

本发明是鉴于这样的状况而研发的，其目的在于提供一种实现了在差分系数编码/解码中能进行并行处理且运算量少的上下文索引计算方法，且电路构成简单、适于实时处理的图像编码及解码技术。此外，另一目的在于通过实现参照相关上适当的周边差分系数的上下文索引的计算，来提供编码效率高的图像编码及解码技术。

为解决上述课题，本发明一个方案的图像编码装置一种将成为编码对象的图像与成为预测对象的图像的差分信息分割成多个子块，按预定顺序对分割后的上述子块进行编码的图像编码装置，该图像编码装置包括：有效子块信息编码部(706、708、701)，对表示属于上述子块的各差分系数的值是否全都为零的有效子块信息进行编码；有效差分系数信息编码部(706、708)，对表示上述差分系数的值是否为零的有效差分系数信息进行编码；差分系数值编码部(707、701)，对上述差分系数的值进行编码；以及上下文导出部(707、701)，基于与成为编码对象的上述子块相邻的已编码的上述子块的、上述有效子块信息、上述有效差分系数信息、及上述差分系数的值的至少任一者，导出用于对上述成为编码对象的子块的上述有效差分系数信息进行编码的上下文。

本发明的另一方案是一种图像编码方法。该方法是将成为编码对象的图像与成为预测对象的图像的差分信息分割成多个子块，按预定顺序对分割后的上述子块进行编码的图像编码方法，包括：有效子块信息编码步骤，对表示属于上述子块的各差分系数的值是否全都为零的有效子块信息进行编码；有效差分系数信息编码步骤，对表示上述差分系数的值是否为零的有效差分系数信息进行编码；差分系数值编码步骤，对上述差分系数的值进行编码；以及上下文导出步骤，基于与成为编码对象的上述子块相邻的已编码的上述子块的、上述有效子块信息、上述有效差分系数信息、及上述差分系数的值的至少任一者，导出用于对上述成为编码对象的子块的上述有效差分系数信息进行编码的上下文。

本发明的再一个方案是一种发送装置。该装置包括：包处理部，对通过将成为编码对象的图像与成为预测对象的图像的差分信息分割成多个子块、按预定顺序对分割后的上述子块进行编码的图像编码方法而被编码了编码流进行打包，得到编码数据；发送部，发送被打包后的上述编码数据。上述图像编码方法包括：有效子块信息编码步骤，对表示属于上述子块的各差分系数的值是否全都为零的有效子块信息进行编码；有效差分系数信息编码步骤，对表示上述差分系数的值是否为零的有效差分系数信息进行编码；差分系数值编码步骤，对上述差分系数的值进行编码；以及上下文导出步骤，基于与成为编码对象的上述子块相邻的已编码的上述子块的、上述有效子块信息、上述有效差分系数信息、及上述差分系数的值的至少任一者，导出用于对上述成为编码对象的子块的上述有效差分系数信息进行编码的上下文。

本发明的再一个方案是一种发送方法。该方法包括：包处理步骤，对通过将成为编码对象的图像与成为预测对象的图像的差分信息分割成多个子块、按预定顺序对分割后的上述子块进行编码的图像编码方法而被编码了编码流进行打包，得到编码数据；发送步骤，发送被打包后的上述编码数据。上述图像编码方法包括：有效子块信息编码步骤，对表示属于上述子块的各差分系数的值是否全都为零的有效子块信息进行编码；有效差分系数信息编码步骤，对表示上述差分系数的值是否为零的有效差分系数信息进行编码；差分系数值编码步骤，对上述差分系数的值进行编码；以及上下文导出步骤，基于与成为编码对象的上述子块相邻的已编码的上述子块的、上述有效子块信息、上述有效差分系数信息、及上述差分系数的值的至少任一者，导出用于对上述成为编码对象的子块的上述有效差分系数信息进行编码的上下文。

本发明一个方案的图像解码装置是一种对编码流进行解码的图像解码装置，所述编码流是成为解码对象的图像与成为预测对象的图像的差分信息被分割成多个子块、分割后的上述子块被按预定顺序进行编码后的编码流，该图像解码装置包括：有效子块信息解码部(1006、1008、1001)，将表示属于上述子块的各差分系数的值是否全都为零的有效子块信息解码；有效差分系数信息解码部(1006、1008)，将表示上述差分系数的值是否为零的有效差分系数信息解码；差分系数值解码部(1007、1001)，将上述差分系数的值解码；上下文导出部(1007、1001)，基于与成为解码对象的上述子块相邻的已解码的上述子块的、上述有效子块信息、上述有效差分系数信息、及上述差分系数的值的至少任一者，导出用于解码上述成为解码对象的子块的上述有效差分系数信息的上下文。

本发明的另一方案是一种图像解码方法。该方法是一种对编码流进行解码的图像解码方法，所述编码流是成为解码对象的图像与成为预测对象的图像的差分信息被分割成多个子块、分割后的上述子块被按预定顺序进行编码后的编码流，该图像解码方法包括：有效子块信息解码步骤，将表示属于上述子块的各差分系数的值是否全都为零的有效子块信息解码；有效差分系数信息解码步骤，将表示上述差分系数的值是否为零的有效差分系数信息解码；差分系数值解码步骤，将上述差分系数的值解码；上下文导出步骤，基于与成为解码对象的上述子块相邻的已解码的上述子块的、上述有效子块信息、上述有效差分系数信息、及上述差分系数的值的至少任一者，导出用于解码上述成为解码对象的子块的上述有效差分系数信息的上下文。

本发明的再一个方案是一种接收装置。该装置是一种接收装置，接收运动图像被编码后的编码流，对接收到的上述编码流进行解码，其特征在于，包括：接收部，接收编码流被打包后的编码数据，所述编码流是成为解码对象的图像与成为预测对象的图像的差分信息被分割成多个子块、分割后的上述子块被按预定顺序编码后的编码流；复原部，对接收到的上述被打包了的编码数据进行包处理，复原上述编码流；有效子块信息解码部(1006、1008、1001)，从复原后的上述编码流，解码表示属于上述子块的各差分系数的值是否都为零的有效子块信息；有效差分系数信息解码部(1006、1008)，从复原后的上述编码流，解码表示上述差分系数的值是否为零的有效差分系数信息；差分系数值解码部(1007、1001)，从复原后的上述编码流，解码上述差分系数的值；上下文导出部(1007、1001)，基于与成为解码对象的上述子块相邻的已解码的上述子块的、上述有效子块信息、上述有效差分系数信息、及上述差分系数的值的至少任一者，导出用于对上述成为解码对象的子块的上述有效差分系数信息进行解码的上下文。

本发明的再一个方案是一种接收方法。该方法是接收运动图像被编码后的编码流，对接收到的上述编码流进行解码的接收方法，其特征在于，包括：接收步骤，接收编码流被打包后的编码数据，所述编码流是成为解码对象的图像与成为预测对象的图像的差分信息被分割成多个子块、分割后的上述子块被按预定顺序编码后的编码流；复原步骤，对接收到的上述被打包了的编码数据进行包处理，复原上述编码流；有效子块信息解码步骤，从复原后的上述编码流，解码表示属于上述子块的各差分系数的值是否都为零的有效子块信息；有效差分系数信息解码步骤，从复原后的上述编码流，解码表示上述差分系数的值是否为零的有效差分系数信息；差分系数值解码步骤，从复原后的上述编码流，解码上述差分系数的值；上下文导出步骤，基于与成为解码对象的上述子块相邻的已解码的上述子块的、上述有效子块信息、上述有效差分系数信息、及上述差分系数的值的至少任一者，导出用于对上述成为解码对象的子块的上述有效差分系数信息进行解码的上下文。

此外，将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、存储介质、计算机程序等间变换后的方案，作为本发明的实施方式也是有效的。

通过本发明，能实现电路构成简单、适于实时处理的差分信号的编码及解码。

附图说明

图1是用于说明以往的差分系数的解码步骤的流程图。

图2是用于说明以往的子块差分系数的解码步骤的流程图。

图3是用于说明以往的有效差分系数的解码步骤的流程图。

图4是用于说明以往的差分系数值的解码步骤的流程图。

图5是表示实施方式的用于执行差分系数编码方法的图像编码装置的构成的功能块图。

图6是表示实施方式的用于执行差分系数解码方法的图像解码装置的构成的功能块图。

图7是用于说明子块、差分系数的扫描顺序的图。

图8是表示图6的图像解码装置的第1实施例的详细构成的功能块图。

图9是用于说明图3的有效差分系数的解码步骤中的周边差分系数的定义的图。

图10是用于说明图13的有效差分系数的解码步骤中的周边差分系数的定义的图。

图11是用于说明图4的有效差分系数的解码步骤中的上下文定义的图。

图12是用于说明差分系数的子块分割的图。

图13是用于说明第1实施例中的差分系数值的解码步骤的流程图。

图14是用于说明编码块尺寸的图。

图15是表示图5的图像编码装置的第1实施例的详细构成的功能块图。

图16是用于说明第1实施例中的差分系数的编码步骤的流程图。

图17是用于说明第1实施例中的子块差分系数的编码步骤的流程图。

图18是用于说明第1实施例中的有效差分系数的编码步骤的流程图。

图19是用于说明第1实施例中的差分系数值的编码步骤的流程图。

图20是用于说明将子块位置包含于有效差分系数信息的上下文计算中的构成的图。

具体实施方式

首先，说明本发明实施方式的前提技术。

针对各编码构文，与多个上下文建立对应，并选择基于构文要素的相关性的上下文的方法能使码分配最佳化，故能实现高效的编码。

作为上下文切换熵编码的例子，利用图1的流程图说明被按16×16尺寸编码的差分信号的量化正交变换系数的解码步骤。图12是处理对象的量化正交变换系数。以下将量化正交变换系数称作差分系数。在本步骤中，将处理对象的16×16差分系数分割成4×4尺寸的子块401至416，并优先进行子块单位的扫描。

按照后述的扫描顺序，决定处理对象子块(s101)。若扫描完全部子块，则结束差分系数的解码处理。图7的标号902表示子块的扫描顺序。在本步骤中，从差分系数区域的最右下方的子块开始扫描，按从右下向左上、进而从右上向左上这样的规则进行扫描，在最左上方的子块结束扫描。图7的标号901是用箭头表示子块的扫描顺序的图。在按照图7的扫描顺序的情况下，为在所有处理对象子块中、空间上位于右侧及下侧的子块的扫描已完成的状态。

回到图1的流程图，进行处理对象子块的所有差分系数值的解码处理(s102)。在子块差分系数值的解码完成后，转移到步骤s101。

利用图2的流程图说明子块差分系数值的解码处理的详细情况。

对有效子块信息进行解码(s201)。有效子块信息是用于表示处理对象子块中存在非0的差分系数这一情况的1比特的标志。有效子块信息为1，表示在处理对象子块中至少存在1个非0的差分系数。有效子块信息为0，表示处理对象子块的所有差分系数都为0。

判定有效子块信息的值(s202)。有效子块信息为0时，将处理对象子块的所有差分系数值设定为0(s209)，结束子块差分系数值解码处理。

在有效子块信息为1时，进行处理对象子块的所有有效差分系数信息的解码处理(s203)。有效差分系数信息是用于表示处理对象位置的差分系数值非0的1比特的标志。有效系数信息为1，表示处理对象位置的差分系数值非0，有效系数信息为0，表示处理对象位置的差分系数值为0。关于子块的有效差分系数信息的解码步骤的详细情况，将在后面说明。在子块的所有有效差分系数信息的解码结束后，转移到步骤s204的差分系数值的解码。

进行差分系数值的解码处理(s204)。关于差分系数值解码处理的详细情况，将在后面说明。在完成差分系数值的解码处理后，进入步骤s101，进行下一子块的扫描。

[有效差分系数信息的解码处理步骤]

利用图3的流程图说明步骤s203的子块的有效差分系数信息的解码步骤。

按照预定的扫描顺序决定处理对象子块(s301)。子块内的差分系数的扫描顺序与差分系数区域内的子块的扫描顺序一样，遵从图7所示的规则。

计算与处理对象差分系数位置相邻、且已解码的非0差分系数的数量之和、即周边有效差分系数和countcoeff(s302)。图9中表示用于计算周边有效差分系数和countcoeff的差分系数位置的例子。标号202是处理对象位置为标号201时的周边差分系数，标号204是处理对象位置为标号203时的周边差分系数。如图9所示，将位于处理对象差分系数位置的右侧及下侧、且与处理对象差分系数位置相邻的5个差分系数作为周边差分系数。差分系数的扫描顺序为图7所示顺序，故属于与处理对象差分系数相同的子块、且位于处理对象差分系数位置的右侧及下侧的差分系数是已解码的。同样地，属于处在处理对象位置所属子块的右侧及下侧的子块的有效差分系数也是已解码的。周边差分系数和countcoeff是用于预测有效差分系数的发生概率的变量。在图像的特性及视觉特性上，作为有效差分系数，在低频容易集中1、在高频容易集中0。有效差分系数具有空间相关性，故将与处理对象位置相邻的差分系数作为周边差分系数和countcoeff的运算对象。对于表示差分系数区域的外侧的周边差分系数，从周边有效系数和countcoeff的计算中排除。

回到图3的流程图，判定周边有效系数和countcoeff是否为0(s303)。若周边有效系数和countcoeff为0，则将用于解码有效差分系数信息的上下文索引ctxidx设定为0(s304)，利用与上下文索引ctxidx对应的上下文解码有效差分系数信息。然后对差分系数值设定有效差分系数信息(s308)。

若周边有效系数和countcoeff非0，则判定周边有效系数和countcoeff是否在2以下(s305)。若周边有效系数和countcoeff在2以下，则将用于解码有效差分系数信息的上下文索引ctxidx设定为1(s306)，利用与上下文索引ctxidx对应的上下文解码有效差分系数信息。然后对差分系数值设定有效差分系数信息(s308)。

若周边有效系数和countcoeff不在2以下，即周边有效系数和countcoeff在3以上，则将用于解码有效差分系数信息的上下文索引ctxidx设定为2(s307)，利用与上下文索引ctxidx对应的上下文解码有效差分系数信息。然后对差分系数值设定有效差分系数信息(s308)。

上下文是用于保存要解码的信息的发生概率的变量，基于上下文所示的发生概率来切换码字的分配。在上述的例子中，定义了3个对有效差分系数进行编码的上下文，根据周边有效差分系数和的大小，来决定对有效差分系数进行解码的上下文。预先进行如下设定：在与周边有效系数和countcoeff为0个时的上下文索引ctxidx＝0对应的上下文中，成为0的有效系数信息的发生概率较高，在与周边有效系数和countcoeff为3个以上时的上下文索引ctxidx＝2对应的上下文中，成为1的有效系数信息的发生概率较高。对于发生概率高的信息，为缩短码量，可以通过提高发生概率的预测精度来提高编码效率。

在mpeg-4avc中，除通过根据周边的已解码信息切换上下文来预测信息的发生概率外，还基于解码结果进行发生概率的学习。能使针对各上下文的应解码信息的发生概率最佳化，实现了编码效率的提高。

一般来说，图像的正交变换分量的信息容易集中在低频。此外，高频分量的劣化在视觉特性上的影响较少，故实用中多较粗地对高频分量进行量化。因此，有效系数信息倾向于集中在低频分量。有效系数信息与周边有效系数的相关较高，从编码效率的观点来说，根据周边有效系数信息的数量进行上下文的切换是合理的。

[差分系数值解码处理]

利用图13的流程图说明图2的流程图的步骤s204的子块的差分系数值的解码步骤。

按照预定的扫描顺序决定处理对象子块(s501)。子块内的差分系数的扫描顺序同有效差分系数信息的扫描顺序一样，遵从图7所示的规则。若扫描完子块的所有差分系数，则完成差分系数值的解码处理，转移到下一子块的决定步骤(s101)。

判定处理对象差分系数位置的差分系数值是否为0(s502)。若处理对象差分系数位置的差分系数值为0，则完成处理对象差分系数位置的差分系数值的解码，转移到步骤s501。

若处理对象差分系数位置的差分系数值为1，则解码处理对象差分系数位置的差分系数的绝对值(s503)。在执行本步骤时，已确定差分系数值非0，作为编码序列，与差分系数的绝对值减1的值对应的码字被编码。由此，作为差分系数的绝对值，设定对将码字熵解码后的值加1的值。

将处理对象差分系数位置的差分系数的标号解码(s504)。根据差分系数的绝对值和差分系数的符号决定差分系数值。

在上述有效差分系数信息解码步骤中，图9的201如图7的902的扫描顺序所示那样在子块中最后被扫描，如图7的902所示，其扫描顺序为16。此外，201的周边差分系数202中的在201下方相邻的位置的扫描顺序为15，在201前被扫描。解码201的有效差分系数信息所需的上下文索引ctxidx是基于202的有效差分系数和来计算的，故在完成202的有效差分系数信息的解码前无法确定201的上下文索引ctxidx。这意味着对于子块内的所有有效差分系数信息，需要依次处理ctxidx的计算和有效差分系数信息的解码，无法通过并行化减少时间计算量。另一方面，差分系数在编码序列中所占的比例较高，有效差分系数信息的上下文索引计算处理及解码处理在解码处理整体中所占的时间计算量较大。即，有效系数信息的解码处理成为实时解码处理上的最大瓶颈。

专利文献1中公开了一种通过将针对发生频率高的构文要素的上下文配置在访问等待时间小的存储器上来减少解码的处理延迟的方法。但专利文献1的方法并非消除上下文索引的计算和构文要素的解码的依赖性，在无法将其并行执行这一点上，不能说是对处理延迟的本质性解决。

因此，在本发明的实施方式中，提供一种实现了在差分系数编码/解码中消除上下文索引的计算与有效差分系数信息的编码/解码间的依赖性，能进行并行处理且运算量少的上下文索引计算方法，电路构成简单、适于实时处理的图像编码技术。此外，通过实现参照了相关上适当的周边差分系数的上下文索引的计算，来提供编码效率高的图像编码技术。以下说明本发明的实施方式。

在以下的说明中，所谓“处理对象块”，在图像编码装置进行编码处理时，是指编码对象块，在图像解码装置进行解码处理时，是指解码对象块。所谓“已处理块”，在图像编码装置进行编码处理时，是已编码的被解码后的块，在图像解码装置进行解码处理时，是已解码的块。以下只要无特别说明，就按该意义来使用。

[编码装置]

参照附图说明实施本发明的优选的图像编码装置。图5是表示实施方式的图像编码装置的构成的功能块图。实施方式的图像编码装置包括减法部501、正交变换和量化部502、逆量化和逆变换部503、加法部504、解码图像存储器505、预测部506、差分信息编码部507、预测信息编码部508、模式判定部509。

模式判定部509尝试所有预测候选的编码，针对图像的每个块决定最佳的预测信息。作为预测信息，包括分割块尺寸、表示帧间预测/帧内预测的预测模式，此外，在预测模式为帧间预测时，还包括运动矢量、参照图片索引等运动信息，在预测模式为帧内预测时，还包括帧内预测模式。将所决定的预测信息传送给预测部506和预测信息编码部508。

预测信息编码部508对所输入的预测信息进行可变长度编码，输出预测信息的编码序列。

预测部506利用被输入的预测信息和保存在解码图像存储器505中的已解码图像生成预测图像，将所生成的预测图像提供给减法部501。

减法部501通过从编码对象原图像减去预测图像，来生成差分图像，并将生成的差分信号提供给正交变换和量化部502。

正交变换和量化部502对差分图像进行正交变换和量化，生成差分系数，并将生成的差分系数提供给逆量化和逆变换部503和差分信息编码部507。

差分信息编码部507对差分系数进行熵编码，输出差分信息的编码序列。

逆量化和逆变换部503对从正交变换和量化部502收到的差分系数进行逆量化和逆正交变换，生成解码差分信号，并将生成的解码差分信号提供给加法部504。

加法部504使预测图像和解码差分信号相加，生成解码图像，将生成的解码图像存储在解码图像存储器505中。

[解码装置]

参照附图说明实施本发明的优选的图像解码装置。图6是表示实施方式的运动图像解码装置的构成的功能块图。实施方式的图像解码装置包括差分信息解码部801、逆量化和逆变换部802、预测信息解码部803、加法部804、解码图像存储器805、预测部806。

图6的图像解码装置的解码处理是与图5的图像编码装置内部所设的解码处理对应，故图8的逆量化和逆变换部802、加法部804、解码图像存储器805、及预测部806的各构成分别具有与图5的图像编码装置的逆量化和逆变换部503、加法部504、解码图像存储器505、及预测部506的各构成对应的功能。

预测信息解码部803对所输入的预测信息编码序列进行熵解码，生成预测信息，并将生成的预测信息提供给预测部806。

预测部806利用所输入的预测信息和保存在解码图像存储器805中的已解码图像生成预测图像，并将生成的预测图像提供给加法部804。

差分信息解码部801对差分信息进行熵解码，生成差分信息。将生成的差分信息提供给逆量化和逆变换部802。

逆量化和逆变换部802对从差分信息解码部801收到的差分信息进行逆量化和逆正交变换，生成解码差分信号，并将生成的解码差分信号提供给加法部804。

加法部804使预测图像和解码差分信号相加，生成解码图像，将生成的解码图像存储在解码图像存储器805中并输出。

本发明实施方式的差分系数编码及解码处理在图5的运动图像编码装置的差分信息编码部507及图8的运动图像解码装置的差分信息解码部801中被实施。以下详细说明实施方式的差分信息编码及解码处理的详细情况。

[编码块]

在实施方式中，如图14所示，将画面用矩形块阶层地分割，并对各块进行基于预定处理顺序的依次处理。将要分割的各块称作编码块。图18的块1817在实施方式中是分割的最大单位，将其称作最大编码块。图14的块1816在实施方式中是分割的最小单位，将其称作最小编码块。以下假定最小编码块为4×4像素、最大编码块为16×16像素，来进行说明。

[预测块]

将编码块中的进行帧内预测的单位称作预测块。预测块具有最小编码块以上、最大编码块以下的任一大小。在图14中，块1802、1803及1804为16×16块，块1805、1810、1811及1801为8×8块，块1806、1807、1808、1809为4×4块。块1812、1813、1814、1815是未处理块，没有确定编码块尺寸。在编码步骤中，决定最佳的预测块尺寸，并对预测块尺寸进行编码。在解码步骤中，从比特流取得预测块尺寸。以下，以预测块为处理单位进行说明。

[差分系数的处理单位]

进行量化和正交变换的单位是假定为与预测块的单位相同的，但在编码和解码处理中，是将差分系数区域分割成多个子块来进行扫描的。子块的大小定为4×4尺寸。图12中示出16×16尺寸的差分系数区域。401至416是子块。但是，也可以与预测块的单位独立地决定进行量化和正交变换的单位。

(第1实施例)

[编码步骤]

说明本发明实施方式的差分信息的编码方法的第1实施例。图15是图5的差分信息编码部507的第1实施例的详细构成的功能块图。第1实施例的差分信息编码部507包括算术编码部701、差分系数缓存器702、编码控制部703、上下文存储器704、及扫描控制部705，进而，编码控制部703包括有效系数信息编码控制部706、差分系数值编码控制部707、及有效子块信息编码控制部708。

以下参照图16、图17、图18及图19的流程图，说明差分系数的编码步骤。

扫描控制部705决定处理对象子块(s601)。若已扫描完所有子块，则结束差分系数的解码处理。图7的902表示子块的扫描顺序。在本步骤中，从差分系数区域的最右下方的子块起开始扫描，按从右下向左上、再从右上向左上这样的规则进行扫描，在最左上方的子块结束扫描。如上所述，上下文被进行基于编码过程的更新。采取该扫描顺序具有以下处理上的优点：通过使容易产生差分系数的低频分量的编码在高频分量之后进行，来提高低频分量的差分系数的发生概率的预测精度。图7的标号901是利用箭头表示子块的扫描顺序的图。在按照图7的扫描顺序的情况下，成为相对于处理对象子块、空间上处于右侧及下侧位置的子块的扫描已完成的状态。针对处理对象子块进行子块的编码处理(s602)。

[子块编码步骤(s602)]

有效子块信息编码控制部708从差分系数缓存器702取得处理对象子块。在扫描子块的所有差分系数，所有差分系数值都为0时，将有效子块信息设定为0。若非此(存在至少一个非0的差分系数值)，则将有效子块信息设定为1(s701)。

有效子块信息编码控制部708从差分系数缓存器702参照与处理对象子块相邻、且已解码的子块中所包含的差分系数，决定用于编码有效子块信息的上下文索引ctxidx。从上下文存储器704读出与上下文索引ctxidx对应的上下文。向算术编码部701发送有效子块信息和上下文。算术编码部701利用上下文进行有效子块信息的编码(s702)。

有效子块信息编码控制部708判定有效子块信息的值(s703)。在有效子块信息为0时，结束子块差分系数值编码处理，移到步骤s601。

在有效子块信息为1时，进行处理对象子块的所有有效差分系数信息的编码处理(s704)。关于有效差分系数信息的编码步骤的详细情况，将在后面说明。在子块的所有有效差分系数信息的编码结束后，转移到步骤s704的差分系数值的编码。

差分系数值编码控制部707进行处理对象子块的所有差分系数值的编码处理(s705)。关于子块的差分系数值的编码步骤的详细情况，将在后面说明。在子块的所有差分系数值的编码结束后，移到步骤s601。

[有效差分系数信息的编码处理步骤(s704)]

有效系数信息编码控制部706计算处理对象子块的周边的非0的差分系数的数量之和、即周边有效系数和countcoeff(s801)。在本步骤中，将属于处在处理对象子块的空间上右侧及下侧的子块、且与处理对象子块相邻的差分系数定义为周边差分系数。

图10表示周边差分系数位置。标号301是处理对象子块，标号302是周边差分系数。关于表示差分系数区域的外侧的周边差分系数，将其从周边有效系数和countcoeff的计算中排除。在属于处理对象子块的右侧且下侧的子块的差分系数303中，既可能采取包含于周边差分系数的构成，也可能采取不包含于周边差分系数的构成。在将标号303包含于周边差分系数的构成中，周边差分系数的数量变多，能高精度地预测有效差分系数信息发生概率，在不将标号303包含于周边差分系数的构成中，因周边有效系数和countcoeff的相关加法处理的减少、以及差分系数区域的边界判定处理的减少，能减少运算量和电路规模。

有效系数信息编码控制部706决定处理对象的差分系数(s802)。子块内的差分系数的扫描顺序与差分系数区域内的子块的扫描顺序一样，遵从图7所示的规则。若已扫描完子块的所有有效差分系数，则结束有效差分系数的编码处理，转移到差分系数值的编码步骤(s704)。

有效系数信息编码控制部706判定周边有效系数和countcoeff是否为0(s803)。

若周边有效系数和countcoeff为0，则判定处理对象子块内的处理对象差分系数位置(s804)。将水平方向差分系数位置记作posx、将垂直方向差分系数位置记作posy、将处理对象差分系数位置记作pos＝posx+posy。若pos<＝2，则将用于编码有效系数信息的上下文索引ctxidx设定为1(s805)，若非此(pos>2)，则将上下文索引ctxidx设定为0(s806)。将countcoeff＝0时的上下文索引ctxidx的定义示于图11的标号601。

在周边有效系数和countcoeff非0时，判定周边有效系数和countcoeff是否在1以下(s807)。若周边有效系数和countcoeff在1以下，则判定处理对象子块内的处理对象差分系数位置(s408)。若pos<＝3，则将用于解码有效系数信息的上下文索引ctxidx设定为1(s809)，若非此(pos>3)，则将上下文索引ctxidx设定为0(s810)。将countcoeff＝1时的上下文索引ctxidx的定义示于图11的标号602。

当周边有效系数和countcoeff在1以下时，判定周边有效系数和countcoeff是否在2以下(s811)。若周边有效系数和countcoeff在2以下，则判定处理对象子块内的处理对象差分系数位置(s812)。若pos<＝2，则将用于解码有效系数信息的上下文索引ctxidx设定为2(s813)，若非此(pos>2)，则将上下文索引ctxidx设定为1(s814)。将countcoeff＝2时的上下文索引ctxidx的定义示于图11的标号603。

当周边有效系数和countcoeff在2以下时，将用于解码有效系数信息的上下文索引ctxidx设定为2(s815)。将countcoeff>2时的上下文索引ctxidx的定义示于图11的标号605。

有效系数信息编码控制部706从差分系数缓存器702取得处理对象位置的差分系数。若差分系数值不为0，则将有效差分系数信息设定为1，若非此(差分系数值为0时)，则将有效差分系数信息设定为0(s816)。

有效系数信息编码控制部706在从上下文存储器704读出与所决定的上下文索引ctxidx对应的上下文后，向算术编码部701发送有效差分系数信息和上下文。算术编码部701利用上下文对有效差分系数信息进行编码(s817)。

[差分系数值编码处理(s705)]

差分系数值编码控制部707决定处理对象差分系数(s901)。设子块内的差分系数的扫描顺序与有效差分系数的扫描顺序一样，遵从图7所示的规则。若已扫描完子块的所有差分系数，则结束差分系数值的编码处理，转移到下一子块的决定步骤(s601)。

差分系数值编码控制部707判定处理对象差分系数位置的差分系数值是否为0(s902)。若处理对象差分系数位置的差分系数值为0，则完成处理对象差分系数位置的差分系数值的编码，转移到步骤s901。

若处理对象差分系数位置的差分系数值不为0，则计算处理对象差分系数位置的编码差分系数绝对值及符号(s903、s904)。在本步骤被执行时，已确定差分系数值不为0，故将编码差分系数绝对值定为差分系数的绝对值减1的值。此外，若差分系数为正，则将符号设定为0，若差分系数为负，则将符号设定为1。

差分系数值编码控制部707从上下文存储器704读出上下文后，向算术编码部701发送编码绝对值和上下文。算术编码部701利用上下文度编码绝对值进行编码(s905)。

差分系数值编码控制部707从上下文存储器704读出上下文后，向算术编码部701发送符号和上下文。算术编码部701利用上下文对编码绝对值进行编码(s905)。

[解码步骤]

说明本发明实施方式的差分系数的解码方法的第1实施例。图8是图6的差分信息解码部801的第1实施例的详细构成的功能块图。第1实施例的差分信息解码部801具有算术解码部1001、差分系数缓存器1002、解码控制部1003、上下文存储器1004、及扫描控制部1005，进而，解码控制部1003具有有效系数信息解码控制部1006、差分系数值解码控制部1007、及有效子块信息解码控制部1008。

图8的差分信息解码部801中的差分信息解码处理是与图5的差分信息编码部507中的差分信息编码处理对应的，故图8的差分信息编码部中的差分系数缓存器1002、上下文存储器1004、及扫描控制部1005的各构成分别具有与图15的差分系数缓存器702、上下文存储器704、及扫描控制部705的各构成对应的功能。

以下参照图1、图2、图4及图13的流程图说明差分信息的解码步骤。

扫描控制部1005决定处理对象子块(s101)。若已扫描完所有子块，则结束差分系数的解码处理。图7的902表示子块的扫描顺序。在本步骤中，从差分系数区域的最右下方的子块开始扫描，按从右下向左上、再从右上向左上这样的规则进行扫描，在最左上方的子块结束扫描。图7的901是用箭头表示子块的扫描顺序的图。在按照图7的扫描顺序的情况下，相对于处理对象子块位于空间上右侧及下侧的子块的扫描成为已完成的状态。对处理对象子块进行子块的解码处理(s102)。

[子块解码(s102)]

有效子块信息解码控制部1008从差分系数缓存器1002参照与处理对象子块相邻、且已解码的子块中所包含的差分系数，决定用于解码有效子块信息的上下文，并从上下文存储器1004读出所决定的上下文。向算术解码部1001发送上下文和解码命令。算术解码部1001利用上下文进行编码序列的解码处理，将有效子块信息解码(s201)。

有效子块信息解码控制部1008判定有效子块信息的值(s202)。当有效子块信息为0时，将差分系数缓存器1002的处理对象子块的所有差分系数值设定为0(s209)，结束子块差分系数值解码处理。

当有效子块信息为1时，进行处理对象子块的所有有效差分系数信息的解码处理(s203)。关于子块的有效差分系数信息的解码步骤的详细情况，将在后面说明。在子块的所有有效差分系数信息的解码结束后，转移到步骤s204的差分系数值的解码。

进行处理对象子块的所有差分系数值的解码处理(s204)。关于子块的差分系数值的解码步骤的详细情况，将在后面说明。在子块的所有差分系数值的解码结束后，转移到步骤s101。

[有效差分系数信息的解码处理步骤(s203)]

有效系数信息解码控制部1006计算处理对象差分系数位置的周边的有效差分系数的数量之和countcoeff(s401)。在本步骤中，将属于处在处理对象子块的空间上右侧及下侧的子块、且与处理对象子块相邻的差分系数定义为周边差分系数。

图10表示周边差分系数位置。标号301是处理对象子块，标号302是周边差分系数。对于表示差分系数区域的外侧的周边差分系数，将其从周边有效系数和countcoeff的计算中排除。在属于处理对象子块的右侧且下侧的子块的差分系数303中，可以取包含于周边差分系数的构成和不包含于周边差分系数的构成的任一者。在将标号303包含于周边差分系数的构成中，周边差分系数的数量变多，能高精度地预测有效差分系数信息发生概率，在不将标号303包含于周边差分系数的构成中，因周边有效系数和countcoeff的相关加法处理的减少、及差分系数区域的边界判定处理的减少，运算量和电路规模能够减少。

有效系数信息解码控制部1006决定处理对象差分系数(s402)。设子块内的差分系数的扫描顺序与差分系数区域中的子块的扫描顺序一样，遵从图7所示的规则。若已扫描完子块的所有有效差分系数，则完成有效差分系数的解码处理，转移到差分系数值的解码步骤(s204)。有效系数信息解码控制部1006判定周边有效系数和countcoeff是否为0(s403)。若周边有效系数和countcoeff为0，则判定处理对象子块内的处理对象差分系数位置(s404)。将水平方向差分系数位置记作posx、将垂直方向差分系数位置记作posy，将处理对象差分系数位置记作pos＝posx+posy。若pos<＝2，则将用于解码有效系数信息的上下文ctxidx设定为1(s405)，若非此(pos>2)，则将上下文ctxidx设定为0(s406)。将countcoeff＝0时的上下文的定义示于图11的标号601。在将所决定的上下文从上下文存储器1004读出后，向算术解码部1001发送上下文和解码命令。算术解码部1001利用上下文进行编码序列的解码处理，解码有效差分系数信息(s416)。

当周边有效系数和countcoeff不为0时，判定周边有效系数和countcoeff是否在1以下(s407)。若周边有效系数和countcoeff在1以下，则判定处理对象子块内的处理对象差分系数位置(s408)。若pos<＝3，则将用于解码有效系数信息的上下文索引ctxidx设定为1(s409)，若非此(pos>3)，则将上下文索引ctxidx设定为0(s410)。将countcoeff＝1时的上下文的定义示于图11的标号602。在将所决定的上下文从上下文存储器1004读出后，向算术解码部1001发送上下文和解码命令。算术解码部1001利用上下文进行编码序列的解码处理，解码有效差分系数信息(s416)。

当周边有效系数和countcoeff在1以下时，判定周边有效系数和countcoeff是否在2以下(s411)。若周边有效系数和countcoeff在2以下，则判定处理对象子块内的处理对象差分系数位置(s412)。若pos<＝2，则将用于解码有效系数信息的上下文索引ctxidx设定为2(s413)，若非此(pos>2)，则将上下文索引ctxidx设定为1(s414)。将countcoeff＝2时的上下文的定义示于图11的标号603。在将所决定的上下文从上下文存储器1004读出后，向算术解码部1001发送上下文和解码命令。算术解码部1001利用上下文进行编码序列的解码处理，解码有效差分系数信息(s416)。

当周边有效系数和countcoeff在2以下时，将用于解码有效系数信息的上下文索引ctxidx设定为2(s415)。将countcoeff>2时的上下文的定义示于图11的标号605。在将所决定的上下文从上下文存储器1004读出后，向算术解码部1001发送上下文和解码命令。算术解码部1001利用上下文进行编码序列的解码处理，解码有效差分系数信息(s416)。

在周边有效系数和countcoeff较大时，处理对象子块内的所有有效系数信息都成为1的可能性较高。因此，在上述步骤中，若周边有效系数和countcoeff在3以上，则无论pos的值如何，都将ctxidx设定为2。另外，还能将周边有效系数和countcoeff的判定条件再细分。例如，可以当周边有效系数和countcoeff在3以上时，若周边有效系数和countcoeff为3，则取图11的标号604的上下文索引定义，若周边有效系数和countcoeff在4以上，则取图11的标号605的上下文索引定义。在采用这样的构成时，能使周边信息的相关性利用效率提高，提高编码效率。

在本步骤中，在用于有效差分系数信息的上下文索引ctxidx的计算中，参照已解码相邻子块的有效系数信息的数量之和、和处理对象差分系数的子块内位置。下面说明采取这样的构成的理由。

一般来说，图像的正交变换系数易集中于低频分量，有效系数信息成为1的可能性较高。此外，正交变换系数的高频分量不易受视觉上的影响，故多被较粗地量化，因此，高频分量的系数值成为0、高频分量的有效系数信息成为0的可能性较高。该性质不限于差分系数区域整体，对各子块都是一样的，可以说处于子块的低频侧的分量与处于相同子块的高频侧的分量相比，有效系数信息成为1的可能性要高。将在子块内处于低频的有效差分系数信息的上下文索引ctxidx的值设定得比处于高频的有效差分系数信息的上下文索引ctxidx的值大，将使得有效系数信息的发生概率的预测精度提高。此外，在有效差分系数成为0的概率较高的高频，周边有效系数和也变小，在有效差分系数成为1的概率较高的低频，周边有效系数和也变大这样的倾向较强，利用周边有效系数和作为处理对象子块怎样程度地包含有效差分系数信息的指标，将使得有效系数信息的发生概率的预测精度提高。

在本步骤中，能针对子块仅计算1次周边有效差分系数和，并计算子块内的所有系数位置的上下文索引。与在各系数位置分别计算周边有效差分系数和的方法相比，能减少周边有效差分系数和的运算量。另外，当采用在上下文索引的计算中使用扫描顺序上前一个有效差分系数的解码结果的构成时，需要依次处理所有的子块内的上下文索引计算和有效差分系数解码。在本实施例中，在上下文索引的计算中是参照周边有效差分系数和和处理对象系数位置的，但周边有效差分系数和不以属于处理对象子块的差分系数为对象，故上下文索引的计算中不存在子块内的依赖关系。能在子块的开头就计算针对所有的有效差分系数的上下文索引，故能与有效差分系数信息的解码处理并行地计算上下文索引。能减少编码序列中发生频率高的有效系数信息的解码的相关处理延迟。

也可以不参照周边有效系数，而是参照有效子块信息来进行上下文计算。换言之，也能够不基于周边有效系数之和、而是基于相邻的有效子块信息的和，来计算上下文。利用处理对象子块的例如右侧相邻的子块的有效子块信息和例如下侧相邻的子块的有效子块信息的和的构成，与上述的构成相比，能减少运算量和电路规模。此外，还能使子块位置反映到上下文计算中。如上所述，低频分量具有与高频相比有效系数的发生概率变高的特性。通过使子块位置反映到上下文计算中，能实现更高精度的上下文预测。图20是将差分系数区域分离成低频区域和高频区域的2种区域的例子。图20的标号1101、1102、1103、1104、1105、1109表示低频分量，标号1106、1107、1108、1110、1111、1112、1113、1114、1115、1116表示高频区域。既可以采用在针对高频区域按上述的步骤计算上下文索引ctxidx后，针对低频区域，对上述上下文索引ctxidx加上预定的与子块位置相应的偏置值的构成，也可以采用针对低频区域、在上述的上下文索引ctxidx的计算中追加基于子块位置的条件分支这样的构成。此外，还可以采用在针对低频区域按上述步骤计算上下文索引ctxidx后，针对高频区域，基于一般来说有效差分系数成为0的可能性较高、周边的有效差分系数的数量容易包含概率预测上的误差这样的原因而总是设定上下文ctxidx＝0的构成。

此外，还可以不使用周边有效差分系数和，而是使用周边系数绝对值和来计算上下文索引。一般来说低频分量的差分系数绝对值较大，故通过设定在周边差分系数绝对值和较大时、有效差分系数信息的发生概率变高这样的上下文，能使编码效率提高。

进而，通过将计算差分系数时所用的预测模式加到有效差分系数的上下文索引计算步骤中的条件判定中，也能使上下文预测的精度提高。这是由于存在以下这样的特性的差异：一般来说，与仅解码对象图像的已解码区域成为参照对象的帧内预测相比，能参照多个解码图像的帧间预测的预测精度更高、更不易产生差分。

[差分系数值解码处理(s204)]

有效系数信息解码控制部1006决定处理对象差分系数(s501)。设子块内的差分系数的扫描顺序同有效差分系数的扫描顺序一样，遵从图7所示的规则。若已扫描完子块的所有差分系数，则完成差分系数值的解码处理，转移到下一子块的决定步骤(s101)。

有效系数信息解码控制部1006判定处理对象差分系数位置的差分系数值是否为0(s502)。若处理对象差分系数位置的差分系数值为0，则完成处理对象差分系数位置的差分系数值的解码，转移到步骤s501。

若处理对象差分系数位置的差分系数值为1，则将处理对象差分系数位置的差分系数的绝对值解码(s503)。在执行本步骤时，已确定差分系数值不为0，作为编码序列，与差分系数的绝对值减1后的值对应的码字被解码。由此，作为差分系数的绝对值，设定对将码字熵解码后的值加1的值。

对处理对象差分系数位置的差分系数的符号进行解码(s504)。根据差分系数的绝对值和差分系数的符号决定差分系数值。

本实施例是根据已解码子块的有效差分系数信息计算用于解码有效差分系数信息的上下文索引的，故也能将同样的步骤适用于差分系数值的上下文索引计算。同有效差分系数信息一样，差分系数值具有与周边系数值的相关、以及向低频分量的集中性，故在周边有效差分系数和或周边差分系数绝对值和较大时，设定表示大的差分系数值的发生概率高的上下文索引，在周边有效差分系数和或周边差分系数绝对值和较小时，设定表示小的差分系数值的发生概率高的上下文索引，由此能高效地编码差分系数值。

以上所述的第1实施例的图像编码装置及图像解码装置具有以下作用效果。

(1)能根据属于与处理对象差分系数所属子块相邻的已解码子块的差分系数，计算处理对象差分系数的上下文索引。通过设定在周边有效差分系数和较大时预测有效差分系数信息1的发生概率较高、在周边有效差分系数和较小时预测有效差分系数信息0的发生概率较高的上下文，能设定基于有效差分系数信息的周边相关的恰当的概率模型。因此，能高效地编码有效差分系数信息。

(2)基于处理对象差分系数的子块内的位置计算上下文索引。设定在子块内处于低频的差分系数与在子块内处于高频的差分系数相比、预测有效差分系数1的发生概率较高的上下文。能设定基于有效差分系数信息的频域上的性质的恰当的概率模型，能高效地编码有效差分系数信息。

(3)周边有效差分系数和的计算及子块内的处理对象差分系数的位置不依赖于子块内的有效差分系数信息的解码结果。由此，能采用并行处理子块内的上下文索引的计算和有效差分系数信息的解码的构成，故能减少有效差分系数信息的解码处理的相关处理延迟。差分系数相对于编码序列所占的比例较高，通过减少处理次数多的有效差分系数信息的处理延迟，能实现适于实时处理的解码装置。此外，在编码装置中也同样能减少有效差分系数信息编码的处理延迟。

(4)由于基于有效差分系数信息的上下文索引计算所涉及的周边有效差分系数和、即有效子块信息、有效差分系数信息或差分系数的绝对值之和的计算结果不依赖于处理对象差分系数的位置，故在子块中只进行1次计算即可。与根据处理对象差分系数位置计算个别的周边有效差分系数和的构成相比，能减少上下文索引计算的相关运算量。

以上所述的实施方式的图像编码装置输出的图像的编码流具有特定的数据格式，以使得能根据实施方式所采用的编码方法来进行解码，与图像编码装置对应的图像解码装置能解码该特定的数据格式的编码流。

为在图像编码装置和图像解码装置之间收发编码流，若采用了有线或无线的网络，则可以将编码流变换成适于通信路径的传输方式的数据格式来进行传输。此时，设置将图像编码装置输出的编码流变换成适于通信路径的传输方式的数据格式的编码数据而发送于网络的图像发送装置，和从网络接收编码数据并复原成编码流提供给图像解码装置的图像接收装置。

图像发送装置包括：对图像编码装置输出的编码流进行缓存的存储器；将编码流打包的包处理部；介由网络发送被打包后的编码数据的发送部。图像接收装置包括：介由网络接收被打包了的编码数据的接收部；对接收到的编码数据进行缓存的存储器；对编码数据进行包处理而生成编码流，提供给图像解码装置的包处理部。

以上关于编码及解码的处理当然可以作为使用了硬件的传输、存储、接收装置来实现，还可以通过被保存在rom(只读存储器)或闪存存储器等中的固件、计算机等的软件来实现。可以将该固件程序、软件程序记录在计算机等可读取的存储介质中进行提供、也可以通过有线或无线的网络从服务器提供，还可以作为地面波或卫星数字广播的数据广播来提供。

以上基于实施方式说明了本发明。实施方式仅是例示，本领域技术人员能够理解可以对其各构成要素或各处理过程的组合进行各种变形，且这样的变形例也包含在本发明的范围内。

〔标号说明〕

501减法部、502正交变换和量化部、503逆量化和逆变换部、504加法部、505解码图像存储器、506预测部、507差分信息编码部、508预测信息编码部、509模式判定部、701算术编码部、702差分系数缓存器、703编码控制部、704上下文存储器、705扫描控制部、706有效系数信息编码控制部、707差分系数值编码控制部、708有效子块信息编码控制部、801差分信息解码部、802逆量化和逆变换部、803预测信息解码部、804加法部、805解码图像存储器、806预测部、1001算术解码部、1002差分系数缓存器、1003解码控制部、1004上下文存储器、1005扫描控制部、1006有效系数信息解码控制部、1007差分系数值解码控制部、1008有效子块信息解码控制部。

〔工业可利用性〕

本发明能够用于残差信号的熵编码及解码技术。