视频解码设备以及视频解码方法与流程

分案申请说明

本申请是2013年9月6日进入中国国家阶段的、国际申请日为2012年3月8日、申请号为201280012218.8的发明专利申请(名称为“视频编码设备、视频解码设备、视频编码方法以及视频解码方法”)的分案申请。

本发明涉及一种视频编码技术，并且特别涉及一种参考重构的图像进行预测并且通过量化执行数据压缩的视频编码技术。

背景技术：

典型的视频编码设备执行编码过程，该编码过程遵照预定的视频编码方案来生成编码数据，即比特流。在非专利文献(npl)1中作为预定视频编码方案的代表性示例加以描述的iso/iec14496-10先进视频编码(avc)中，每一帧被分成16×16像素大小的块(称为mbs(宏块))，并且每个mb进一步被分成4×4像素大小的块，将mb设为编码的最小单元。图23示出了在帧的色彩格式是ycbcr4：2：0格式和空间分辨率是qcif(四分之一通用中间格式)的情况下块划分的示例。

每个划分的图像块按顺序输入到视频编码设备并且被编码。图24是示出了用于生成符合avc的比特流的典型视频编码设备的结构的示例的框图。参考图24，典型视频编码设备的结构和操作描述如下。

图24中所示的视频编码设备包括变频器、量化器102、可变长度编码器103、量化控制器104、逆量化器105、逆变频器106、帧存储器107、帧内预测器108、帧间预测器109以及预测选择器110。

在从输入图像减去经过预测选择器110由帧内预测器108或帧间预测器109提供的预测图像后，至视频编码设备的输入图像作为预测误差图像输入到变频器101。

变频器101将输入预测误差图像从空间域变换到频率域，并且输出结果作为系数图像。

量化器102使用由控制量化的粒度的量化控制器104提供的量化步长来量化由变频器101提供的系数图像，并且输出作为量化的系数图像的结果。

可变长度编码器103熵编码由量化器102提供的量化的系数图像。可变长度的编码器103还编码以上由量化控制器104提供的量化步长和由预测选择器110提供的图像预测参数。这些编码的数据块被多路复用并且作为比特流从视频编码设备输出。

这里参考图25描述在可变长度编码器103处的用于量化步长的编码过程。在可变长度编码器103中，用于编码量化步长的量化步长编码器包括如图25中所示的量化步长缓冲器10311和熵编码器10312。

量化步长缓冲器10311保持量化步长q(i-1)，其被分配给恰好在将要被编码的图像块之前被编码的先前的图像块。

如下面的式(1)中所示，从输入量化步长q(i)减去由量化步长缓冲器10311提供的先前的量化步长q(i-1)，并且将结果作为差值量化步长dq(i)输入到熵编码器10312。

dq(i)＝q(i)-q(i-1)…(1)

熵编码器10312熵编码输入差值量化步长dq(i)，并且输出作为对应于量化步长的码的结果。

以上描述了用于量化步长的编码过程。

量化控制器104确定用于当前输入图像块的量化步长。一般来说，量化控制器104监测可变长度编码器103的输出码率用于增加量化步长以便减少用于所关注的图像块的输出码率，或者相反地，用于减少量化步长以便增加用于所关注的图像块的输出码率。量化步长的增加或减少使视频编码设备能够以目标速率编码输入运动图像。确定的量化步长被提供至量化器102和可变长度编码器103。

由量化器102输出的量化的系数图像被逆量化器105逆量化以获得用于在编码随后的图像块中的预测的系数图像。由逆量化器105输出的系数图像被逆变频器106设置回空间域以获得预测误差图像。该预测图像被加到预测误差图像，并且结果作为重构图像被输入到帧存储器107和帧内预测器108。

帧存储器107存储在过去输入的编码图像帧的重构图像。存储在帧存储器107中的图像帧被称为参考帧。

帧内预测器108参考图像块的重构图像来生成预测图像，该图像块在当前正在被编码的图像帧内在过去被编码。

帧间预测器109参考由帧存储器107提供的参考帧来生成预测图像。

预测选择器110比较由帧内预测器108提供的预测图像与由帧间预测器109提供的预测图像，选择并且输出一个更接近于输入图像的预测图像。预测选择器110还输出关于由帧内预测器108或帧间预测器109使用的预测方法的信息(称为图像预测参数)，并且向可变长度编码器103提供该信息。

根据上面所提到的处理，典型视频编码设备压缩地编码输入移动图像以生成比特流。

输出比特流被传输到视频解码设备。视频解码设备执行解码过程，以使得比特流将被解压缩为运动图像。图26示出了典型视频解码设备的结构的示例，该视频解码设备解码由典型视频编码设备输出的比特流以获得解码视频。参考图26，典型视频解码设备的结构和操作描述如下。

图26中所示的视频解码设备包括可变长度解码器201、逆量化器202、逆变频器203、帧存储器204、帧内预测器205、帧间预测器206以及预测选择器207。

可变长度解码器201可变长度解码输入比特流以获得控制逆量化的粒度、量化的系数图像以及图像预测参数的量化步长。上面提到的量化步长和量化的系数图像被提供至逆量化器202。图像预测参数被提供给预测选择器207。

逆量化器202基于输入量化步长逆量化输入量化系数图像，并且输出作为系数图像的结果。

逆变频器203将由逆量化器202提供的系数图像从频率域变换到空间域，并且作为预测误差图像输出结果。由预测选择器207提供的预测图像被加到预测误差图像以获得解码图像。解码图像不仅作为输出图像由视频解码设备输出，而且被输入到帧存储器204和帧内预测器205。

帧存储器204存储在过去被解码的图像帧。存储在帧存储器204中的图像帧被称为参考帧。

基于由可变长度解码器201提供的图像预测参数，帧内预测器205参考图像块的重构图像以生成预测图像，该图像块在当前正在被解码的图像帧内在过去被解码。

基于由可变长度解码器201提供的图像预测参数，帧间预测器206参考由帧存储器204提供的参考帧以生成预测图像。

预测选择器207基于由可变长度解码器201提供的图像预测参数选择由帧内预测器205和帧间预测器206提供的预测图像中的任何一个。

这里参考图27描述了在可变长度解码器201处用于量化步长的解码过程。在可变长度解码器201中，用于解码量化步长的量化步长解码器包括如图27中所示的熵解码器20111和量化步长缓冲器20112。

熵解码器20111熵解码输入码，并且输出差值量化步长dq(i)。

量化步长缓冲器20112保持先前的量化步长q(i-1)。

如下面的式(2)中所示，由量化步长缓冲器20112提供的q(i-1)被加到由熵解码器20111生成的差值量化步长dq(i)。所加的值不仅作为量化步长q(i)输出，而且被输入到量化步长缓冲器20112。

q(i)＝q(i-1)+dq(i)…(2)

以上描述了用于量化步长的解码过程。

根据以上所提到的处理，典型视频解码设备解码比特流以生成运动图像。

同时，为了维持将要被编码过程压缩的运动图像的主观质量，典型视频编码设备中的量化控制器104通常分析输入图像和预测误差图像中的任一个或两者，以及分析输出码率，以根据人类视觉灵敏度确定量化步长。换句话说，量化控制器104执行基于视觉灵敏度的自适应量化。具体地，当对于将要被编码的当前图像的人类视觉灵敏度被确定为高时，量化步长被设为小的，而当视觉灵敏度被确定为低时，量化步长被设为大的。因为这样的控制可以向低视觉灵敏度区域分配较大的码率，所以主观质量得以提高。

作为基于视觉灵敏度的自适应量化技术，例如，用于mpeg-2试验模型5(tm5)的基于输入图像的纹理复杂度的自适应量化是已知的。纹理复杂度通常称为活动。专利文献(ptl)1提出了一种结合输入图像的活动使用预测图像的活动的自适应量化系统。ptl2提出了一种基于考虑边缘部分的活动的自适应量化系统。

当使用基于视觉灵敏度的自适应量化技术时，如果量化步长在图像帧内经常改变，则将引起问题。在用于生成符合avc方案的比特流的典型视频编码设备中，来自用于正好在将要被编码的图像块之前被编码的图像块的量化步长的差值在编码量化步长中被熵编码。因此，随着在编码序列方向上量化步长的变化变大，编码量化步长所需的速率增加。结果，被分配到系数图像的编码的码率相对减少，并且因此使图像质量退化。

因为编码序列方向独立于视觉灵敏度在荧幕上的连续性，所以基于视觉灵敏度的自适应量化技术不可避免地增加了编码量化步长所需的码率。因此，即使在典型的视频编码设备中使用基于视觉灵敏度的自适应量化技术，与用于量化步长的码率的增加相关联的图像退化可以抵消由自适应量化技术提高的主观质量，即，出现无法实现图像质量的足够改善的问题。

为了解决这个问题，ptl3公开了一种用于根据空间域和频率域中的视觉灵敏度自适应地将量化范围设置为零(即死区)而不是根据视觉灵敏度自适应地设置量化步长的技术。在ptl3中描述的系统中，就视觉灵敏度而言被确定为低的变换系数的死区比就视觉灵敏度而言被确定为高的变换系数的死区更加扩宽。这样的控制在不改变量化步长的情况下使能基于视觉灵敏度的自适应量化。

引文列表

专利文献

ptl1：日本专利第2646921号

ptl2：日本专利第4529919号

ptl3：日本专利第4613909号

非专利文献

npl1：iso/iec14496-10先进视频编码

npl2：“wd1：workingdraft1ofhigh-efficiencyvideocoding，”文档jctvc-c403，itu-tsg16wp3和iso/iecjtc1/sc29/wg11第3次会议的关于视频编码的联合协作团队(jct-vc)，中国广州，2010年10月

技术实现要素：

技术问题

然而，当使用ptl3中描述的技术时，不能对未落入死区内的变换系数执行适应于视觉灵敏度的量化。换句话说，即使当视觉灵敏度被确定为低时，用于未落入死区内的变换系数的系数码的速率不能被减少。进一步地，当量化步长被放大时，经过量化后的变换系数值集中在零附近，而当死区加宽时，未落入死区内的变换系数即使在经过量化后也不集中在零附近。换句话说，当死区扩大时，与量化步长被放大的情况相比，熵编码的效率不足。由于这些原因，可以说，在典型的编码技术中存在向高视觉灵敏度区域的码率的分配不能充分地增加的问题。

鉴于上述问题做出本发明，并且其目的是提供能够再生高质量的运动图像的视频解码设备和视频解码方法。

问题的解决方案

根据本发明的用于使用输入压缩视频数据的逆量化来解码图像块以执行将图像数据生成为图像块的集合的过程的视频解码设备，包括：量化步长解码装置，用于解码控制逆量化的粒度的量化步长，以及预测图像生成装置，用于通过使用在过去被解码的图像和预定的参数来生成将要被解码的图像块的预测图像，其中该量化步长解码装置通过使用用以生成预测图像的参数来预测控制逆量化的粒度的量化步长。

根据本发明的用于使用输入压缩视频数据的逆量化来解码图像块以执行将图像数据生成为图像块的集合的过程的视频解码方法，包括通过使用在过去被解码的图像和预定的参数来生成将要被解码的图像块的预测图像，以及通过使用用以生成预测图像的参数来预测控制逆量化的粒度的量化步长。

发明的有益效果

根据本发明，由于视频解码设备可以通过仅接收小码率来解码频繁改变的量化步长，所以可以以小码率再生高质量的运动图像。

附图说明

图1描述了示出本发明的第一示例性实施例中的视频编码设备中的量化步长编码器的框图。

图2描述了示出将要被编码的图像块和相邻图像块的示例的解释性图。

图3描述了示出本发明的第二示例性实施例中的视频解码设备中的量化步长解码器的框图。

图4描述了示出本发明的第三示例性实施例中的视频编码设备中的量化步长编码器的框图。

图5描述了示出本发明的第四示例性实施例中的视频解码设备中的量化步长解码器的框图。

图6描述了示出帧内预测的预测方向的解释性图。

图7描述了示出帧间预测的示例的解释性图。

图8描述了示出在本发明的第三示例性实施例中的视频编码设备中使用帧间预测的运动矢量预测量化步长的示例的解释性图。

图9描述了示出根据本发明的另一视频编码设备的结构的框图。

图10描述了示出根据本发明的另一视频编码设备中的特征部件的框图。

图11描述了示出量化步长预测参数的多路复用的示例的列表的解释性图。

图12描述了示出根据本发明的另一解码设备的结构的框图。

图13描述了示出根据本发明的另一视频解码设备中的特征部件的框图。

图14描述了示出本发明的第七示例性实施例中的量化步长编码器的框图。

图15描述了示出本发明的第八示例性实施例中的视频解码设备中的量化步长解码器的框图。

图16描述了示出信息处理系统的配置示例的框图，该信息处理系统能够实现根据本发明的视频编码设备和视频解码设备的功能。

图17描述了示出根据本发明的视频编码设备中的特征部件的框图。

图18描述了示出根据本发明的另一视频编码设备中的特征部件的框图。

图19描述了示出根据本发明的视频解码设备中的特征部件的框图。

图20描述了示出根据本发明的另一视频解码设备中的特征部件的框图。

图21描述了示出根据本发明的视频编码方法中的特征步骤的流程图。

图22描述了示出根据本发明的视频解码方法中的特征步骤的流程图。

图23描述了示出块划分的示例的解释性图。

图24描述了示出视频编码设备的结构的示例的框图。

图25描述了示出典型的视频编码设备中的量化步长编码器的框图。

图26描述了示出视频解码设备的结构的示例的框图。

图27描述了示出典型的视频解码设备中的量化步长编码器的框图。

具体实施方式

以下参考附图描述本发明的示例性实施例。

示例性实施例1

如图24中所示的视频编码设备，本发明的第一示例性实施例中的视频编码设备包括变频器101、量化器102、可变长度编码器103、量化控制器104、逆量化器105、逆变频器106、帧存储器107、帧内预测器108、帧间预测器109以及预测选择器110。然而，包括在可变长度编码器103中的量化步长编码器的结构不同于图25中所示的结构。

图1是示出本发明的第一示例性实施例中的视频编码设备中的量化步长编码器的框图。与图25中所示的量化步长编码器相比较，示例性实施例中的量化步长编码器的不同之处在于包括如图1中所示的预测量化步长生成器10313。

量化步长缓冲器10311存储并且保持被分配到在过去被编码的图像块的量化步长。

预测量化步长生成器10313从量化步长缓冲器取回被分配到在过去被编码的相邻图像块的量化步长以生成预测量化步长。

从输入量化步长减去由预测量化步长生成器10313提供的预测量化步长，并且其结果作为差值量化步长被输入到熵编码器10312。

熵编码器10312熵编码输入差值量化步长并且作为对应于量化步长的码输出结果。

这样的结构可以降低编码量化步长所需的码率，并且因此可以实现高质量的运动图像编码。原因在于可以减少输入到熵编码器10312的差值量化步长的绝对数量，因为预测量化步长生成器10313使用独立于编码序列的相邻图像块的量化步长来生成预测量化步长。在使用相邻图像块的量化步长来生成预测量化步长的情况下可以减少输入到熵编码器10312的差值量化步长的绝对数量的原因是因为运动图像中的相邻像素之间一般存在相关性并且因此当使用基于视觉灵敏度的自适应量化时，被分配到彼此具有高相关性的相邻图像块的量化步长的相似度是高的。

以下通过使用具体示例来描述第一示例性实施例中的视频编码设备中的量化步长编码器的具体操作。

在该示例中，假定作为编码单元的图像块大小为固定大小。还假定在同一图像帧内分别向左、向上和向斜右上相邻的三个图像块被用作用于预测量化步长的相邻图像块。

假设将要被编码的当前图像块用x表示，并且三个相邻图像块a、b和c分别位于与如图2中所示的图像块x向左、向上和向斜右上相邻。在这种情况下，如果任何块z中的量化步长用q(z)表示并且预测量化步长用pq(z)表示，则预测量化步长生成器10313通过下面的式(3)来确定预测量化步长pq(x)。

pq(x)＝median(q(a)，q(b)，q(c)…(3)

注意，median(x，y，z)是用于由三个值x，y，z确定中间值的函数。

熵编码器10312使用作为熵编码之一的带符号的exp-golomb(exponential-golomb)码编码由下面的式(4)得到的差值量化步长dq(x)，并且输出作为对应于用于所关注的图像块的量化步长的码的结果。

dq(x)＝q(x)-pq(x)…(4)

在该示例中，在同一图像帧内向左、向上和向斜右上相邻的三个图像块被用作用于预测量化步长的相邻图像块。然而，相邻图像块不限于此。例如，向左、向上和向斜左上相邻的图像块可以用来由下面的式(5)确定预测量化步长。

pq(x)＝median(q(a)，q(b)，q(d))…(5)

用于预测的图像块的数量可以是除三之外的任何数，并且随着用于预测的计算可以使用，可以使用除中间值之外的平均值等。用于预测的图像块并不一定与将要被编码的图像块相邻。用于预测的图像块可以与将要被编码的图像块相隔预定的距离。进一步地，用于预测的图像块不限于以空间相邻(即，在同一图像帧内)而定位的图像块，其可以是已经被编码的任何其他图像帧内的图像块。

进一步地，在该示例中，假定将要被编码的图像块和相邻的图像块具有同一固定大小。然而，本发明不限于固定大小的情况，并且作为编码单元的块大小可以是可变大小。

进一步地，在该示例中，基于exp-golomb码执行编码以编码将要被编码的图像块的量化步长与预测量化步长之间的差值。然而，本发明不限于使用exp-golomb码，并且可以基于任何其他熵编码执行编码。例如，可以执行基于huffman码或算术码的编码。

以上描述了本发明的第一示例性实施例中的视频编码设备。

示例性实施例2

如图26中所示的视频解码设备，本发明的第二示例性实施例中的视频解码设备包括可变长度解码器201、逆量化器202、逆变频器203、帧存储器204、帧内预测器205、帧间预测器206以及预测选择器207。然而，包括在可变长度解码器201中的量化步长解码器的结构不同于图27中所示的结构。

图3是示出本发明的第二示例性实施例中的视频解码设备中的量化步长解码器的框图。与图27中所示的量化步长解码器相比较，示例性实施例中的量化步长解码器的不同之处在于包括如图3中所示的预测量化步长生成器20113。

熵解码器20111熵解码输入码以输出差值量化步长。

量化步长缓冲器20112存储并且保持在过去被解码的量化步长。

在过去被解码的量化步长中，预测量化步长生成器20113从量化步长缓冲器取回对应于将要被解码的当前图像块的相邻像素块的量化步长以生成预测量化步长。具体地，例如，预测量化步长生成器20113如第一示例性实施例中的视频编码设备的具体示例中的预测量化步长生成器10313相同的方式进行操作。

由预测量化步长生成器20113提供的预测量化步长被加到由熵解码器20111生成的差值量化步长，并且其结果不仅作为量化步长被输出，而且被输入到量化步长缓冲器20112。

量化步长解码器的这样的结构使视频解码设备能够通过仅接收较小的码率来解码量化步长。结果，可以解码和再生高质量的运动图像。原因在于熵解码器20111仅须解码接近零的差值量化步长，因为当预测量化步长生成器20113使用独立于解码序列的相邻图像块的量化步长生成预测量化步长时，预测量化步长接近于实际分配的量化步长。通过使用相邻图像块的量化步长生成预测量化步长可以获得接近于实际分配的量化步长的预测量化步长的原因是因为运动图像中的相邻像素之间一般存在相关性并且因此当使用基于视觉灵敏度的自适应量化时，被分配到彼此具有高相关性的相邻图像块的量化步长的相似度是高的。

以上描述了本发明的第二示例性实施例中的视频解码设备。

示例性实施例3

如本发明的第一示例性实施例中的视频编码设备，本发明的第三示例性实施例中的视频编码设备包括变频器101、量化器102、可变长度编码器103、量化控制器104、逆量化器105、逆变频器106、帧存储器107、帧内预测器108、帧间预测器109以及预测选择器110，如图24中所示。然而，包括在可变长度编码器103中的量化步长编码器的结构不同于图25中所示的结构。

图4是示出本发明的第三示例性实施例中的视频编码设备中的量化步长编码器的框图。如图4中所示，本发明的第三示例性实施例中的视频编码设备中的量化步长编码器的结构与图1中所示的量化步长编码器的结构相同。然而，第三示例性实施例不同于第一示例性实施例的地方在于用于图像预测的参数由图24中所示的预测选择器110提供到第三示例性实施例中的预测量化步长生成器10313，并且在于预测量化步长生成器10313的操作。

因为量化步长缓冲器10311和熵编码器10312的操作与第一示例性实施例中的视频编码设备中的量化步长编码器的操作相同，所以这里省略冗余的描述。

预测量化步长生成器10313使用图像预测参数来从在过去被编码的图像块中选择将要被用于预测量化步长的图像块。预测量化步长生成器10313从对应于所选择的图像块的量化步长生成预测量化步长。

与第一示例性实施例中的视频编码设备相比，这样的结构使视频编码设备能够进一步降低编码量化步长所需的码率。结果，可以实现高质量的运动图像编码。原因在于可以从与所关注的图像块具有高相关性的相邻图像块来预测量化步长，因为预测量化步长生成器10313使用图像预测参数来预测量化步长。

示例性实施例4

如本发明的第二示例性实施例中的视频解码设备，本发明的第四示例性实施例中的视频解码设备包括可变长度解码器201、逆量化器202、逆变频器203、帧存储器204、帧内预测器205、帧间预测器206以及预测选择器207，如图26中所示。然而，包括在可变长度解码器201中的量化步长解码器的结构不同于图27中所示的结构。

图5是示出本发明的第四示例性实施例中的视频解码设备中的量化步长解码器的框图。如图5中所示，本发明的第四示例性实施例中的视频解码设备中的量化步长解码器的结构与图3中所示的量化步长解码器的结构相同。然而，第四示例性实施例不同于第二示例性实施例的地方在于用于图像预测的参数由图26中所示的预测选择器207提供到预测量化步长生成器20313，并且在于预测量化步长生成器20113的操作。

因为熵解码器20111和量化步长缓冲器20112的操作与第二示例性实施例中的视频解码设备中的量化步长解码器的操作相同，所以这里省略冗余的描述。

预测量化步长生成器20113使用图像预测参数来从在过去被解码的图像块中选择将要被用于预测量化步长的图像块。预测量化步长生成器20113从对应于所选择的图像块的量化步长生成预测量化步长。由熵解码器20111输出的差值量化步长被加到生成的预测量化步长，并且其结果不仅作为量化步长被输出，而且被输入到量化步长缓冲器20112。

因为在预测量化步长生成器20113处的用于预测量化步长的导出方法与在上面所提到的第三示例性实施例中的视频编码设备中的预测量化步长生成器10313处的用于预测量化步长的生成方法相同，所以这里省略冗余的描述。

与第二示例性实施例中的视频解码设备相比，这样的结构使视频解码设备能够通过仅接收进一步更小的码率来解码量化步长。结果，可以解码和再生高质量的运动图像。原因在于可以从与所关注的图像块具有较高相关性的相邻图像块来预测量化步长，因为预测量化步长生成器20113使用图像预测参数来预测量化步长。

[示例1]

使用示例，以上所提及的第三示例性实施例中的视频编码设备中的量化步长编码器的具体操作描述如下。

在该示例中，帧内预测的预测方向用作图像预测参数以用于预测量化步长。进一步地，作为帧内预测，使用npl1中描述的avc中用于4×4像素块和8×8像素块的八方向的定向预测以及平均预测(在图6中图示)。

假设作为编码单元的图像块大小是固定大小。还假定作为确定量化步长的单元的块(称为量化步长传输块)和作为帧内预测的单元的块(称为预测块)具有相同大小。如果将要被编码的当前图像块用x表示，并且四个相邻块a、b、c和d具有图2中所示的位置关系，则预测量化步长生成器10313由下面的式(6)来确定预测量化步长pq(x)。

pq(x)＝pq(b)；如果m＝0

pq(x)＝pq(a)；如果m＝1

pq(x)＝(pq(a)+pq(b)+1)/2；如果m＝2

pq(x)＝pq(c)；如果m＝3

pq(x)＝pq(d)；如果m＝4

pq(x)＝(pq(c)+pq(d)+1)/2；如果m＝5

pq(x)＝(pq(a)+pq(d)+1)/2；如果m＝6

pq(x)＝(pq(b)+pq(d)+1)/2；如果m＝7

pq(x)＝pq(a)；如果m＝8

…(6)

注意，m是图6中所示的帧中的帧内预测方向指数。

熵编码器10312将量化步长q(x)和预测量化步长pq(x)应用于式(4)以获得差值量化步长dq(x)。熵编码器10312使用作为熵编码之一的带符号的exp-golomb码来编码获得的差值量化步长dq(x)，并且输出作为对应于所关注的图像块的量化步长的代码的结果。

在该示例中，八个方向的定向预测和平均预测被用作帧内预测，但本发明不限于此。例如，可以使用在npl2中描述的33个方向的定向预测和平均预测，或者可以使用任何其他的帧内预测。

进一步地，用于预测的图像块的数量可以是除四之外的任何数量。在该示例中，如上面所提到的式(6)中所示，图像块中的任何一个图像块中的量化步长或者两个图像块中的量化步长的平均值被用作预测量化步长。然而，本发明不限于上面所提到的式(6)，并且任何其他计算结果可以被用作预测量化步长。例如，如下面的式(7)中所示，可以使用图像块中的任何一个图像块中的量化步长或者三个量化步长的中间值，或者可以使用任何其他计算来确定预测量化步长。进一步地，用于预测的图像块不一定与将要被编码的当前图像块相邻。用于预测的图像块可以与将要被编码的当前图像块相隔预定距离。

pq(x)＝pq(b)；如果m＝0、5或7

pq(x)＝pq(a)；如果m＝1、6或8

pq(x)＝pq(c)；如果m＝3

pq(x)＝pq(d)；如果m＝4

pq(x)＝median(pq(a)，pq(b)，pq(c))；如果m＝2

…(7)

在该示例中，假设将要被编码的图像块与相邻图像块具有相同的固定大小。然而，本发明不限于固定大小，并且作为编码单元的块可以具有可变大小。

进一步地，在该示例中，假定量化步长传输块和预测块具有相同大小。然而，本发明不限于相同大小，并且量化步长传输块和预测块可以具有不同大小。例如，如果两个或更多预测块包含在量化步长传输块中，则两个或更多预测块中的任何一个预测块中的预测块可以用于预测量化步长。备选地，将任何计算(诸如中间值计算或平均值计算)加到两个或更多预测块的预测方向的结果可以用于预测量化步长。

进一步地，在该示例中，基于exp-golomb码对将要被编码的图像块的量化步长与预测量化步长之间的差值进行编码。然而，本发明不限于使用exp-golomb码，并且可以执行基于任何其他熵编码的编码。例如，可以执行基于huffman码或算术码的编码。

[示例2]

使用另一示例，以上所提及的第三示例性实施例中的视频编码设备中的量化步长编码器的具体操作描述如下。

在该示例中，帧间预测的运动矢量被用作用于预测量化步长的图像预测参数。由如图7中所示的块单元的转化所定义的预测假定为帧间预测。假设预测图像从位于参考帧中的这样的位置的图像块生成，该位置从与将要被编码的块相同的空间位置离开对应于运动矢量的位移。而且，如图7中所示，从单一参考帧的预测(即单向预测)假定为帧间预测。进一步地，在该示例中，假定量化步长传输块和预测块具有相同大小。

这里，将要被编码的块用x表示，块x的中心位置用cent(x)表示，x的帧间预测中的运动矢量用v(x)表示，以及将要在帧间预测中被参考的参考帧用refpic(x)表示。然后，如图8中所示，帧refpic(x)中位置cent(x)+v(x)所属的块表示为block(refpic(x)，cent(x)+v(x))。预测量化步长生成器10313由下面的式(8)确定预测量化步长pq(x)。

pq(x)＝q(block(refpic(x)，cent(x)+v(x))

…(8)

dq(x)的推导以及由熵编码器10312进行的编码过程与第一示例中的相同。

在该示例中，假设为单向预测，但本发明不限于使用单向预测。例如，在双向预测(其中通过加权平均两个参考帧中的参考图像块来生成预测图像)的情况下，如果一个参考帧用refpic0(x)表示，对于refpic0(x)的运动矢量用v0(x)表示，另一个参考帧用refpic1(x)表示，对于refpic1(x)的运动矢量用v1(x)表示，在预测图像的生成上赋予refpic0(x)的权重用w0表示，以及赋予refpic1(x)的权重用w1表示，则预测量化步长生成器10313可以由下面的式(9)确定预测量化步长pq(x)。

pq(x)＝w0q(block(refpic0(x)，cent(x)+v0(x))+w1q(block(refpic1(x)，cent(x)+v1(x))

…(9)

进一步地，在该示例中，参考图像块的中心位置所属的块的量化步长被用作预测量化步长，但是预测量化步长不限于此。例如，参考图像块的左上角位置所属的块的量化步长可以被用作预测量化步长。备选地，参考图像块的所有像素所属的块的量化步长可以分别被参考以使用这些量化步长的平均值作为预测量化步长。

进一步地，在该示例中，由块之间的转化所表示的预测假定为帧间预测。然而，参考图像块不限于此，并且其可以具有任何形状。

进一步地，在该示例中，假定量化步长传输块和预测块具有相同大小。然而，如同在以上所提到的第三示例性实施例中的视频编码设备的第一示例中那样，量化步长传输块和预测块可以具有彼此不同的大小。

[示例3]

使用又一示例，以上所提及的第三示例性实施例中的视频编码设备中的量化步长编码器的具体操作描述如下。

在该示例中，帧间预测的运动矢量的预测(即预测运动矢量)用作用于预测量化步长的图像预测参数。当预测运动矢量由将要被编码的块的相邻图像块导出时，用于导出预测运动矢量的相邻图像块的量化步长用于预测将要被编码的块的运动矢量。

在该示例中，假定量化步长传输块和预测块具有相同大小。而且，如同在以上所提到的第三示例性实施例中的视频编码设备的第二示例中那样，由运动矢量表示的单向预测假定为帧间预测。在该示例中，从图7中所示的运动矢量减去由预定的方法导出的预测运动矢量，并且其差值被熵编码。作为预定的预测运动矢量导出方法，使用在npl2的“8.4.2.1.4derivationprocessforlumamotionvectorprediction”中描述的预测运动矢量导出方法。

这里，简要描述该示例中使用的预测运动矢量导出方法。将要被编码的块用x表示，并且如图2中所示的向左、向上、向斜右上、向斜左上和向斜左下相邻的块分别用a、b、c、d和e表示。块a的运动矢量用mva表示并且块b的运动矢量用mvb表示。当块c存在于图像中并且已经被编码时，块c的运动矢量被设为mvc。否则，当块d存在于图像中并且已经被编码时，块d的运动矢量被设为mvc。否则，块e的运动矢量被设为mvc。

进一步地，由下面的式(10)确定的运动矢量用mvmed表示，并且在被分配给将要被编码的图像帧的参考帧上与将要被编码的块相同的空间位置中的块(在图8中被图示为关于将要被编码的块x的同步块xcol)的运动矢量用mvcol表示。分配的参考帧例如意思是正好在将要被编码的图像帧之前被编码的图像帧。

mvmed＝(mvmedx，mvmedy)

mvmedx＝median(mvax，mvbx，mvcx)

mvmedy＝median(mvay，mvby，mvcy)

…(10)

如上所述，五个运动矢量(即，mvmed、mva、mvb、mvc和mvcol)是将要被编码的块x中的预测运动矢量的候选者。根据预定的优先级顺序从候选者中选择任何一个运动矢量，并且被设为将要被编码的块的预测运动矢量pmv(x)。npl2的“8.4.2.1.4derivationprocessforlumamotionvectorprediction”和“8.4.2.1.8removalprocessformotionvectorprediction”中描述了预定的优先级顺序的示例。

当如上所述确定预测运动矢量pmv(x)时，预测量化步长生成器10313由下面的式(11)确定将要被编码的块x的预测量化步长pq(x)。

pq(x)＝q(a)；如果pmv(x)＝mva

pq(x)＝q(b)；否则如果pmv(x)＝mvb

pq(x)＝q(c)；否则如果pmv(x)＝mvc，并且mvc是块c的运动矢量

pq(x)＝q(d)；否则如果pmv(x)＝mvc，并且mvc是块d的运动矢量

pq(x)＝q(e)；否则如果pmv(x)＝mvc，并且mvc是块e的运动矢量

pq(x)＝q(xcol)；否则如果pmv(x)＝mvcol

pq(x)＝median(q(a)，q(b)，q(c))；否则

…(11)

在该示例中，假设为单向预测，但是本发明不限于使用单向预测。如同在以上所提到的第三示例性实施例中的视频编码设备的第二示例中那样，该示例还可以应用于双向预测。

进一步地，在该示例中，npl2的“8.4.2.1.4derivationprocessforlumamotionvectorprediction”中描述的预测运动矢量导出方法被用作预测运动矢量导出方法，但是本发明不限于此。例如，如npl2的“8.4.2.1.3derivationprocessforlumamotionvectorsformergemode”中所描述的，如果将要被编码的块x的运动矢量由块a或块b的运动矢量来预测，则预测量化步长生成器10313可以由下面的式(12)确定将要被编码的块x的预测量化步长pq(x)，或者可以使用任何其他预测运动矢量导出方法。

pq(x)＝q(a)；如果pmv(x)＝mva

pq(x)＝q(b)；否则

…(12)

进一步地，在该示例中，如式(11)中所示，用于预测量化步长的图像块以块a、b、c、d、e和xcol的顺序被参考。然而，本发明不限于该顺序，并且可以使用任何顺序。至于用于预测量化步长的图像块的数量和位置，可以使用图像块的任意数量和位置。进一步地，在该示例中，当pmv(x)不与mva、mvb、mvc和mvcol中的任何一个一致时，使用如同式(3)中的中间值计算，但是本发明不限于使用中间值计算。还可以使用诸如如同第一示例性实施例中的平均值计算之类的任何计算。

进一步地，在该示例中，假定量化步长传输块和预测块具有相同大小。然而，量化步长传输块和预测块可以具有彼此不同的大小，如同在以上所提到的第三示例性实施例中的视频编码设备的第一示例和第二示例那样。

示例性实施例5

图9是示出本发明的第五示例性实施例中的视频编码设备的结构的框图。图10是示出在该示例性实施例中的视频编码设备中的量化步长编码器的结构的框图。

与图24中所示的视频编码设备相比较，该示例性实施例中的视频编码设备的不同之处在于包括量化步长预测控制器111和多路复用器112，如图9中所示。注意，图24中所示的视频编码设备也是如上所述的第三示例性实施例中的视频编码设备。

进一步地，如图10中所示，该示例性实施例与第三示例性实施例的不同之处在于与图4中所示的量化步长编码器相比较，视频编码设备的可变长度编码器103中用于编码量化步长的量化步长编码器被配置为将来自图9中所示的量化步长预测控制器111的量化步长预测参数提供到预测量化步长生成器10313，以及在于预测量化步长生成器10313的操作。

量化步长预测控制器111将用于控制预测量化步长生成器10313的量化步长预测操作的控制信息提供到可变长度编码器103和多路复用器112。用于控制量化步长预测操作的控制信息称为量化步长预测参数。

多路复用器112多路复用量化步长预测参数为由可变长度编码器103提供的视频比特流，并且输出作为比特流的结果。

使用图像预测参数和量化步长预测参数，预测量化步长生成器10313从在过去被编码的图像块中选择用于预测量化步长的图像块。预测量化步长10313还从对应于所选择的图像块的量化步长生成预测量化步长。

与第三示例性实施例中的视频编码设备相比，该示例性实施例中的视频编码设备的这样的结构可以进一步降低编码量化步长所需的码率。因此，可以实现高质量的运动图像编码。原因在于可以针对图像块以较高的精度预测量化步长，因为预测量化步长生成器10313使用除图像预测参数外的量化步长预测参数来切换或纠正使用图像预测参数的量化步长的预测值。可以通过使用量化步长预测参数切换或校正来以较高的精度预测量化步长的原因是因为图9中所示的量化控制器104监测可变长度编码器103的输出码率以在不单独依赖于人类视觉灵敏度的情况下增加或减少量化步长，并且因此将要还被给到具有相同视觉灵敏度的图像块的量化步长可以不同。

以下使用具体示例描述以上提到的第五示例性实施例中的视频编码设备中的量化步长编码器的具体操作。

在该示例中，如同以上提到的第三示例性实施例中的视频编码设备的第二示例中那样，帧间预测的运动矢量被用作用于预测量化步长的图像预测参数。由如图7中所示的块单元的转化所定义的预测假定为帧间预测。在这种情况下，假设从位于参考帧中的这样的位置的图像块生成预测图像，该位置从与将要被编码的块相同的空间位置离开对应于运动矢量的位移。而且，如图7中所示，从单一参考帧的预测(即单向预测)假定为帧间预测。进一步地，在该示例中，假定量化步长传输块和预测块具有相同大小。

这里，将要被编码的块用x表示，将要被编码的帧用pic(x)表示，块x的中心位置用cent(x)表示，x的帧间预测中的运动矢量用v(x)表示，并且将要在帧间预测中被参考的参考帧用refpic(x)表示。然后，如图8中所示，在帧refpic(x)中位置cent(x)+v(x)所属的块表示为block(refpic(x)，cent(x)+v(x))。进一步地，假设三个相邻图像块a、b和c分别位于向左、向上和向斜右上与块x相邻的位置，如图2中所示。在这种情况下，预测量化步长生成器10313由下面的式(13)确定预测量化步长pq(x)。

pq(x)＝q(block(refpic(x)，cent(x)+v(x))；如果temporal_qp_pred_flag＝1

pq(x)＝median(pq(a)，pq(b)，q(c))；否则

…(13)

这里，temporal_qp_pred_flag表示用于在帧间运动矢量是否可以用于预测量化步长之间切换的标志。该标志由量化步长预测控制器111提供到预测量化步长生成器10313。

预测量化步长生成器10313还可以使用被用于补偿将要被编码的帧pic(x)和参考帧refpic(x)之间的量化步长的变化的偏移值，即对于量化步长的偏移量qofs(pic(x)，refpic(x))来由下面的式(14)确定预测量化步长pq(x)。

pq(x)＝q(block(refpic(x)，cent(x)+v(x))+qofs(pic(x)，refpic(x))

…(14)

进一步地，预测量化步长生成器10313可以使用以上提到的temporal_qp_pred_flag和对于量化步长的偏移量两者来由下面的式(15)确定预测量化步长pq(x)。

pq(x)＝q(block(refpic(x)，cent(x)+v(x))+qofs(pic(x)，refpic(x))；如果temporal_qp_pred_flag＝1

pq(x)＝median(pq(a)，pq(b)，q(c))；否则

…(15)

例如，如果任何帧z的初始量化步长用qinit(z)表示，则以上提到的式(14)和(15)中对于量化步长的偏移量qofs(pic(x)，refpic(x))可以由下面的式(16)确定。

qofs(pic(x)，refpic(x))＝qinit(pic(x))-qinit(refpic(x))…(16)

初始量化步长是作为用于每帧的量化步长的初始值而给出的值，并且例如，可以使用npl1的“7.4.3sliceheadersemantics”中描述的sliceqpy。

例如，如图11中所示的列表中所图示的，其对应于npl1的“specificationofsyntaxfunctions，categories，anddescriptors”中的描述，以上提到的temporal_qp_pred_flag值和qofs(pic(x)，refpic(x))值中的任一或者两者可以作为头信息被多路复用到比特流中。

在图11中所示的列表中，qp_pred_offset表示以上提到的式(14)中的qofs值。如图11中所示，多条qp_pred_offset可以被多路复用为对应于各自的参考帧的qofs值，或者一条qp_pred_offset可以被多路复用为对于所有参考帧的公用qofs值。

在该示例中，帧间预测的运动矢量假设为图像预测参数。然而，本发明不限于使用帧间预测的运动矢量。如同在以上提到的第三示例性实施例中的视频编码设备的第一示例中那样，可以如此使用帧内预测的预测方向以致以上提到的标志将在是否使用帧内预测的预测方向以预测量化步长之间切换。如同在以上提到的第三示例性实施例中的视频编码设备的第三示例中那样，可以使用预测运动矢量的预测方向，或者可以使用任何其他图像预测参数。

进一步地，在该示例中，单向预测假定为帧间预测。然而，本发明不限于使用单向预测。如同在以上提到的第三示例性实施例中的视频编码设备的第二示例中那样，本发明还可以被应用于双向预测。

进一步地，在该示例中，参考图像块的中心位置所属的块的量化步长被用作预测量化步长。然而，本发明中预测量化步长的导出不限于此。例如，参考图像块的左上角位置所属的块的量化步长可以被用作预测量化步长。备选地，参考图像块的所有像素所属的块的量化步长可以分别被参考以使用这些量化步长的平均值作为预测量化步长。

进一步地，在该示例中，由具有相同形状的块之间的转化所表示的预测假定为帧间预测。然而，本发明的参考图像块不限于此，并且其可以具有任何形状。

进一步地，在该示例中，如式(13)和式(15)中所示，当不使用帧间预测信息时，基于中间值计算从三个空间上相邻的图像块来预测量化步长，但是本发明不限于此。如同在第一示例性实施例的具体示例中那样，用于预测的图像块的数量可以是除三以外的任何数量，并且可以使用平均值计算等而不是中间值计算。进一步地，用于预测的图像块不一定与将要被编码的当前图像块相邻，并且该图像块可以从将要被编码的当前图像块隔开预定的距离。

进一步地，在该示例中，假定量化步长传输块和预测块具有相同大小，但是如同在以上提到的第三示例性实施例中的视频编码设备的第一示例中那样，量化步长传输块和预测块可以具有彼此不同的大小。

示例性实施例6

图12是示出本发明的第六示例性实施例中的视频解码设备的结构的框图。图13是示出该示例性实施例中的视频解码设备中的量化步长解码器的结构的框图。

与图26中所示的视频解码设备相比较，该示例性实施例中的视频解码设备的不同之处在于包括解多路复用器208和量化步长预测控制器209，如图12中所示。如上所述，图26中所示的视频解码设备也是第四示例性实施例中的视频解码设备。

进一步地，与图5中所示的量化步长解码器相比较，如图13中所示，该示例性实施例中的视频解码设备的可变长度解码器201中用于解码量化步长的量化步长解码器与第四示例性实施例的不同之处在于，将来自图12中所示的量化步长预测控制器209的量化步长预测参数提供到预测量化步长生成器20113，以及在于预测量化步长生成器20113的操作。

解多路复用器208解多路复用比特流以提取视频比特流和用于控制量化步长预测操作的控制信息。解多路复用器208进一步分别将提取的控制信息提供到量化步长预测控制器209，并且将提取的视频比特流提供到可变长度解码器。

量化步长预测控制器209基于所提供的控制信息建立预测量化步长生成器20113的操作。

预测量化步长生成器20113使用图像预测参数和量化步长预测参数来从在过去被解码的图像块中选择用于预测量化步长的图像块。预测量化步长生成器20113进一步从对应于所选择的图像块的量化步长生成预测量化步长。由熵解码器20111输出的差值量化步长被加到生成的预测量化步长，并且其结果不仅被输出为量化步长，而且被输入到量化步长缓冲器20112。

因为在预测量化步长生成器20113处的用于预测量化步长的导出方法与以上提到的第五示例性实施例中的视频编码设备中的预测量化步长生成器10313处的用于预测量化步长的生成方法相同，所以这里省略冗余的描述。

与第四示例性实施例中的视频解码设备相比，这样的结构使视频解码设备能够通过仅接收进一步更小的码率来解码量化步长。结果，可以解码和再生高质量的运动图像。原因在于可以针对图像块以较高的精度预测量化步长，因为预测量化步长生成器20113使用除图像预测参数外的量化步长预测参数来切换或纠正使用图像预测参数的量化步长的预测值。

示例性实施例7

如同第三示例性实施例中的视频编码设备那样，本发明的第七示例性实施例中的视频编码设备包括变频器101、量化器102、可变长度编码器103、量化控制器104、逆量化器105、逆变频器106、帧存储器107、帧内预测器108、帧间预测器109以及预测选择器110，如图24中所示。然而，包含在可变长度编码器103中的量化步长编码器的结构不同于图4中所示的第三示例性实施例中的视频编码设备的结构。

图14是示出本发明的第七示例性实施例中的视频编码设备中的量化步长编码器的结构的框图。与图4中所示的量化步长编码器相比较，该示例性实施例中的量化步长编码器的结构的不同之处在于包括如图14中所示的量化步长选择器10314。

因为量化步长缓冲器10311、熵编码器10312和预测量化步长生成器10313的操作与第三示例性实施例中的视频编码设备中的量化步长编码器的操作相同，所以这里省略冗余的描述。

量化步长选择器10314根据图像预测参数选择被分配到先前编码的图像块的量化步长或者由预测量化步长生成器10313输出的预测量化步长，并且输出作为选择性预测量化步长的结果。被分配到先前编码的图像块的量化步长被保存在量化步长缓冲器10311中。从被输入到量化步长编码器并且当前将要被编码的量化步长减去由量化步长选择器10314输出的选择性预测量化步长，并且其结果被输入到熵编码器10312。

与第三示例性实施例中的视频编码设备相比，这样的结构使该示例性实施例中的视频编码设备能够进一步降低编码量化步长所需的码率。结果，可以实现高质量的运动图像编码。原因在于量化步长可以通过量化步长选择器10314的操作被编码以选择性地使用由图像预测参数和先前编码的量化步长导出的预测量化步长。通过选择性地使用由图像预测参数和先前编码的量化步长导出的预测量化步长可以进一步降低编码量化步长所需的码率的原因是因为编码设备中的量化控制器104不仅执行基于视觉灵敏度的自适应量化，而且监测输出码率以增加或减少如上所述的量化步长。

以下使用具体示例描述第七示例性实施例中的视频编码设备中的量化步长编码器的具体操作。

这里，帧内预测的预测方向被用作用于预测量化步长的图像预测参数。进一步地，作为帧内预测，使用npl1中描述的avc方案中用于4×4像素块和8×8像素块的八方向的定向预测以及平均预测(见图6)。

假设作为编码的单元的图像块大小是固定大小。还假设作为确定量化步长的单元的块(称为量化步长传输块)和作为帧内预测的单元的块(称为预测块)具有相同大小。如果将要被编码的当前图像块用x表示，并且四个相邻块a、b、c和d具有图2中所示的位置关系，则预测量化步长生成器10313由以上提到的式(6)确定预测量化步长pq(x)。

量化步长选择器10314根据下面的式(17)选择由式(6)获得的预测量化步长pq(x)或者先前编码的量化步长q(xprev)以生成选择性预测量化步长sq(x)，即，由式(6)确定的预测量化步长作为选择性预测量化步长被用于定向预测，而先前的量化步长作为选择性预测量化步长被用于平均值预测。

sq(x)＝q(xprev)；如果m＝2

sq(x)＝pq(x)；如果m＝0、1、3、4、5、6、7或8

…(17)注意，m是图6中所示的帧中的帧内预测方向指数。

熵编码器10312使用作为熵编码之一的带符号的exp-golomb(exponential-golomb)码编码由下面的式(18)获得的差值量化步长dq(x)，并且输出作为对应于用于所关注的图像块的量化步长的码的结果。

dq(x)＝q(x)-sq(x)…(18)

在该示例性实施例中，八方向的定向预测以及平均预测被用作帧内预测，但是本发明不限于此。例如，可以使用npl2中描述的33方向的定向预测以及平均预测，或者可以使用任何其他帧内预测。

进一步地，在该示例性实施例中，在预测量化步长和先前被编码的量化步长之间基于帧内预测的参数做出选择，但是本发明不限于使用帧内预测信息。例如，可以做出选择以在帧内预测块中使用预测量化步长而在帧间预测块中使用先前被编码的量化步长，反之亦然。当帧间预测的参数满足某一具体条件时，可以做出选择以使用先前被编码的量化步长。

用于预测的图像块的数量可以是除四以外的任何数量。进一步地，在示例性实施例中，图像块中的任何一个图像块中的量化步长或者两个图像块中的量化步长的平均值被用作如式(6)中所示的预测量化步长。然而，预测量化步长不限于式(6)中的那些预测量化步长。任何其他计算结果可以被用作预测量化步长。例如，如式(7)中所示，可以使用图像块中的任何一个图像块中的量化步长或者三个量化步长的中间值，或者可以使用任何其他计算来确定预测量化步长。进一步地，用于预测的图像块不一定与将要被编码的当前图像块相邻。用于预测的图像块可以与将要被编码的当前图像块相隔预定的距离。

进一步地，在该示例性实施例中，假定将要被编码的图像块和用于预测的图像块具有相同的固定大小。然而，本发明不限于作为编码单元的图像块具有固定大小的情况。作为编码单元的图像块可以具有可变大小，并且将要被编码的图像块和用于预测的图像块可以具有彼此不同的大小。

进一步地，在该示例性实施例中，假定量化步长传输块和预测块具有相同大小。然而，本发明不限于相同大小的情况，并且量化步长传输块和预测块可以具有不同大小。例如，当两个或更多预测块包含在量化步长传输块中时，两个或更多预测块中的任何一个预测块的预测方向可以用于预测量化步长。备选地，将任何计算(诸如中间值计算或平均值计算)加到两个或更多预测块的预测方向的结果可以用于预测量化步长。

进一步地，在该示例性实施例中，将要被编码的图像块的量化步长和预测量化步长之间的差值基于exp-golomb码被编码。然而，本发明不限于使用exp-golomb码，并且可以执行基于任何其他熵编码的编码。例如，可以执行基于huffman码或算术码的编码。

示例性实施例8

如同本发明的第四示例性实施例中的视频解码设备那样，本发明的第八示例性实施例中的视频解码设备包括可变长度解码器201、逆量化器202、逆变频器203、帧存储器204、帧内预测器205、帧间预测器206以及预测选择器207，如图26中所示。然而，包含在可变长度解码器201中的量化步长解码器的结构不同于图5中所示的结构。

图15是示出本发明的第八示例性实施例中的视频解码设备中的量化步长解码器的框图。与图5中所示的量化步长解码器的结构相比较，该示例性实施例中的量化步长解码器的结构的不同之处在于包括如图15中所示的量化步长选择器20114。

因为熵解码器20111、量化步长缓冲器20112和预测量化步长生成器20113的操作与第四示例性实施例中的视频编码设备中的量化步长解码器的操作相同，所以这里省略冗余的描述。

量化步长选择器20114根据图像预测参数选择被分配到先前被解码的图像块的量化步长或者由预测量化步长生成器20113输出的预测量化步长，并且输出作为选择性预测量化步长的结果。被分配到先前被解码的图像块的量化步长被保存在量化步长缓冲器20112中。由熵解码器20111生成的差值量化步长被加到所输出的选择性预测量化步长，并且其结果不仅作为量化步长被输出，而且被存储在量化步长缓冲器20112中。

与第四示例性实施例中的视频解码设备相比，这样的结构使视频解码设备能够通过仅接收进一步更小的码率来解码量化步长。结果，可以解码和再生高质量的运动图像。原因在于量化步长可以通过量化步长选择器20114的操作被解码以选择性地使用由图像预测参数和先前被编码的量化步长导出的预测量化步长，以使得对于通过应用基于视觉灵敏度的自适应量化以及由监测输出码率导致的量化步长的增加或减少这两者而生成的比特流，可以用较小的码率解码量化步长，并且因此可以以较小的码率解码和再生运动图像。

以上提到的每个示例性实施例可以由硬件或者计算机程序来实现。

图16中所示的信息处理系统包括处理器1001、程序存储器1002、用于存储视频数据的存储介质1003以及用于存储比特流的存储介质1004。存储介质1003和存储介质1004可以是独立的存储介质，或者包括在相同存储介质中的存储区域。作为存储介质，诸如硬盘之类的磁存储介质可以被用作存储介质。

在图16中所示的信息处理系统中，用于实现图24和图26中的每幅图中所示的每个块(包括图1、图3、图4和图5中所示的块中的每个块，缓冲器块除外)的功能的程序被存储在程序存储器1002中。处理器1001根据存储在程序存储器1002中的程序执行处理以分别实现在图24、图26以及图1、图3、图4和图5中的每幅图中所示的视频编码设备或视频解码设备的功能。

图17是示出根据本发明的视频编码设备中的特征部件的框图。如图17中所示，根据本发明的视频编码设备包括用于编码控制量化的粒度的量化步长的量化步长编码单元10，并且量化步长编码单元10包括用于使用被分配到已经被编码的相邻图像块的量化步长来预测量化步长的量化步长预测单元11。

图18是示出根据本发明的另一视频编码设备中的特征部件的框图。如图18中所示，除图17中所示的结构之外，根据本发明的另一视频编码设备还包括用于使用在过去被编码的图像和预定的参数来生成将要被编码的图像块的预测图像的预测图像生成单元20。在该结构中，量化步长编码单元10使用被用于生成预测图像的参数来预测量化步长。还可以包括用于通过使用被分配到已经被编码的相邻图像块的运动矢量来预测用于帧间预测的运动矢量的预测运动矢量生成单元30，以使得量化步长编码单元10将使用预测运动矢量的预测方向来预测量化步长。

图19是示出根据本发明的视频解码设备中的特征部件的框图。如图19中所示，根据本发明的视频解码设备包括用于解码控制逆量化的粒度的量化步长的量化步长解码单元50，并且量化步长解码单元50包括用于使用被分配到已经被解码的相邻图像块的量化步长来预测量化步长的步长预测单元51。

图20是示出根据本发明的另一视频解码设备中的特征部件的框图。如图20中所示，除图19中所示的结构之外，根据本发明的另一视频解码设备还包括用于使用在过去被解码的图像和预定的参数来生成将要被解码的图像块的预测图像的预测图像生成单元60。在该结构中，量化步长解码单元50使用被用于生成预测图像的参数来预测量化步长。还可以包括用于通过使用被分配到已经被编码的相邻图像块的运动矢量来预测用于帧间预测的运动矢量的预测运动矢量生成单元70，以使得量化步长解码单元50将使用预测运动矢量的预测方向来预测量化步长。

图21是示出根据本发明的视频编码方法中的特征步骤的流程图。如图21中所示，视频编码方法包括用于确定帧内预测的预测方向的步骤s11、用于使用帧内预测生成预测图像的步骤s12以及用于使用帧内预测的预测方向预测量化步长的步骤s13。

图22是示出根据本发明的视频解码方法中的特征步骤的流程图。如图22中所示，视频解码方法包括用于确定帧内预测的预测方向的步骤s21、用于使用帧内预测生成预测图像的步骤s22以及用于使用帧内预测的预测方向预测量化步长的步骤s23。

部分或所有前述示例性实施例可以被描述为以下提到的补充说明，但是本发明的结构不限于下面的结构。

(补充说明1)

一种视频编码设备，用于将输入图像数据划分成预定大小的块，并且将量化应用于每个划分的图像块以执行压缩编码过程，其包括用于编码控制量化的粒度的量化步长的量化步长编码装置，以及用于使用在过去被编码的图像和预定的参数来生成将要被编码的图像块的预测图像的预测图像生成装置，该量化步长编码装置用于通过使用由该预测图像生成装置使用的参数来预测量化步长，其中该预测图像生成装置通过至少使用帧间预测来生成预测图像，并且该量化步长编码装置使用帧间预测的运动矢量来预测量化步长。

(补充说明2)

一种视频编码设备，用于将输入图像数据划分成预定大小的块，并且将量化应用于每个划分的图像块以执行压缩编码过程，其包括用于编码控制量化的粒度的量化步长的量化步长编码装置，以及用于通过使用在过去被编码的图像和预定的参数来生成将要被编码的图像块的预测图像的预测图像生成装置，该量化步长编码装置用于通过使用由该预测图像生成装置使用的参数来预测量化步长，其中该量化步长编码装置通过使用被分配到已经被编码的相邻图像块的量化步长来预测量化步长，该预测图像生成装置通过至少使用帧间预测来生成预测图像，进一步包括用于通过使用被分配到已经被编码的相邻图像块的运动矢量来预测用于帧间预测的运动矢量的预测运动矢量生成装置，并且量化步长编码装置使用预测运动矢量的预测方向来预测量化步长。

(补充说明3)

一种视频解码设备，用于使用输入压缩视频数据的逆量化来解码图像块以执行将图像数据生成为图像块的集合的过程，其包括用于解码控制逆量化的粒度的量化步长的量化步长解码装置，以及用于通过使用在过去被解码的图像和预定的参数来生成将要被解码的图像块的预测图像的预测图像生成装置，该量化步长解码装置用于通过使用被分配到已经被解码的相邻图像块的参数来预测量化步长，其中该量化步长解码装置通过使用被用于生成预测图像的参数来预测量化步长，该预测图像生成装置通过至少使用帧间预测来生成预测图像，并且该量化步长解码装置使用帧间预测的运动矢量来预测量化步长。

(补充说明4)

一种视频解码设备，用于使用输入压缩视频数据的逆量化来解码图像块以执行将图像数据生成为图像块的集合的过程，其包括用于解码控制逆量化的粒度的量化步长的量化步长解码装置，以及用于通过使用在过去被解码的图像和预定的参数来生成将要被解码的图像块的预测图像的预测图像生成装置，该量化步长解码装置用于通过使用被分配到已经被解码的相邻图像块的量化步长来预测量化步长，其中量化步长解码装置使用被用于生成预测图像的预测图像来预测量化步长，预测图像生成装置至少使用帧间预测来生成预测图像，进一步包括用于使用被分配到已经被编码的相邻图像块的运动矢量来预测用于帧间预测的运动矢量的预测运动矢量生成装置，并且量化步长解码装置使用预测运动矢量的预测方向来预测量化步长。

(补充说明5)

一种视频编码方法，用于将输入图像数据划分成预定大小的块，并且将量化应用于每个划分的图像块以执行压缩编码过程，其包括使用被分配到已经被编码的相邻图像块的量化步长来预测控制量化的粒度的量化步长的步骤，以及通过使用在过去被编码的图像和预定的参数来生成将要被编码的图像块的预测图像的步骤，其中通过使用被用于生成预测图像的参数来预测量化步长。

(补充说明6)

根据补充说明5所述的视频编码方法，其中在生成预测图像的步骤中至少使用帧内预测来生成预测图像，并且帧内预测的预测方向被用来预测量化步长。

(补充说明7)

根据补充说明5所述的视频编码方法，其中在生成预测图像的步骤中至少使用帧间预测来生成预测图像，并且帧间预测的运动矢量被用来预测量化步长。

(补充说明8)

根据补充说明5所述的视频编码方法，在生成预测图像的步骤中至少使用帧间预测来生成预测图像，包括使用被分配到已经被编码的相邻图像块的运动矢量来预测用于帧间预测的运动矢量的步骤，并且预测运动矢量的预测方向被用来预测量化步长。

(补充说明9)

一种视频编码方法，用于使用输入压缩视频数据的逆量化来解码图像块以执行将图像数据生成为图像块的集合的过程，其包括通过使用被分配到已经被解码的相邻图像块的量化步长来预测控制逆量化的粒度的量化步长的步骤，以及至少使用帧间预测来生成预测图像的步骤，其中帧间预测的运动矢量被用来预测量化步长。

(补充说明10)

一种视频解码方法，用于使用输入压缩视频数据的逆量化来解码图像块以执行将图像数据生成为图像块的集合的过程，其包括通过使用被分配到已经被解码的相邻图像块的量化步长来预测控制逆量化的粒度的量化步长的步骤，以及至少使用帧间预测来生成预测图像的步骤，被分配到已经被编码的相邻图像块的运动矢量被用来预测用于帧间预测的运动矢量，并且预测运动矢量的预测方向被用来预测量化步长。

(补充说明11)

一种用于视频编码设备的视频编码程序，用于将输入图像数据划分成预定大小的块，并且将量化应用于每个划分的图像块以执行压缩编码过程，使计算机使用被分配到已经被编码的相邻图像块的量化步长，以便预测控制量化的粒度的量化步长。

(补充说明12)

根据补充说明11所述的视频编码程序，使计算机使用在过去被编码的图像和预定的参数以执行生成将要被编码的图像块的预测图像的过程，以便使用被用于生成预测图像的参数来预测量化步长。

(补充说明13)

根据补充说明12所述的视频编码程序，使计算机执行至少使用帧内预测来生成预测图像的过程，以便使用帧内预测的预测方向来预测量化步长。

(补充说明14)

根据补充说明12所述的视频编码程序，使计算机执行至少使用帧间预测来生成预测图像的过程，以便使用帧间预测的运动矢量来预测量化步长。

(补充说明15)

根据补充说明12所述的视频编码程序，使计算机执行至少使用帧间预测来生成预测图像的过程以及使用被分配到已经被编码的相邻图像块的运动矢量来预测用于帧间预测的运动矢量的过程，以便使用预测运动矢量的预测方向来预测量化步长。

(补充说明16)

一种用于视频解码设备的视频解码程序，用于使用输入压缩视频数据的逆量化来解码图像块以执行将图像数据生成为图像块的集合的过程，使计算机使用被分配到已经被解码的相邻图像块的量化步长，以便预测控制逆量化的粒度的量化步长。

(补充说明17)

根据补充说明16所述的视频解码程序，使计算机执行使用在过去被解码的图像和预定的参数来生成将要被解码的图像块的预测图像的过程，以便使用被用于生成预测图像的参数来预测量化步长。

(补充说明18)

根据补充说明17所述的视频解码程序，使计算机执行至少使用帧内预测来生成预测图像的过程，以便使用帧内预测的预测方向来预测量化步长。

(补充说明19)

根据补充说明17所述的视频解码程序，使计算机执行至少使用帧间预测来生成预测图像的过程，以便使用帧间预测的运动矢量来预测量化步长。

(补充说明20)

根据补充说明17所述的视频解码程序，使计算机执行至少使用帧间预测来生成预测图像的过程，以及使用被分配到已经被编码的相邻图像块的运动矢量来预测用于帧间预测的运动矢量的过程，以便使用预测运动矢量的预测方向来预测量化步长。

(补充说明21)

一种视频编码设备，用于将输入图像数据划分成预定大小的块，并且将量化应用于每个划分的图像块以执行压缩编码过程，其包括用于编码控制量化的粒度的量化步长的量化步长编码装置；用于通过使用在过去被编码的图像和预定的参数来生成将要被编码的图像块的预测图像的预测图像生成装置，其中该量化步长编码装置使用由该预测图像生成装置使用的参数来预测量化步长；用于基于预定的参数来控制量化步长编码装置的操作的量化步长预测控制装置；以及多路复用装置，用于多路复用量化步长编码装置的操作参数到压缩编码过程的结果中。

(补充说明22)

根据补充说明21所述的视频编码设备，其中量化步长编码装置的操作参数至少包括标志，该标志表示是否使用由预测图像生成装置使用的参数，并且量化步长预测控制装置基于该标志控制量化步长编码装置的操作。

(补充说明23)

根据补充说明21所述的视频编码设备，其中量化步长编码装置的操作参数至少包括量化步长的调制参数，并且量化步长编码装置使用该调制参数来调制基于由预测图像生成装置使用的参数所确定的量化步长，以便预测量化步长。

(补充说明24)

根据补充说明23所述的视频编码设备，其中量化步长编码装置将预定的偏移量加到基于由预测图像生成装置使用的参数所确定的量化步长，以便预测量化步长。

(补充说明25)

一种视频解码设备，用于使用输入压缩视频数据的逆量化来解码图像块以执行将图像数据生成为图像块的集合的过程，其包括：用于解码控制逆量化的粒度的量化步长的量化步长解码装置；用于使用在过去被解码的图像和预定的参数来生成将要被解码的图像块的预测图像的预测图像生成装置，其中该量化步长解码装置使用被分配到已经被解码的相邻图像块的量化步长来预测量化步长；用于解多路复用包括量化步长解码装置的操作参数的比特流的解多路复用装置；以及用于基于量化步长解码装置的解多路复用的操作参数来控制量化步长解码装置的操作的量化步长预测控制装置。

(补充说明26)

根据补充说明25所述的视频解码设备，其中解多路复用装置至少提取标志作为量化步长解码装置的操作参数，该标志表示是否使用由预测图像生成装置使用的参数，并且量化步长预测控制装置基于该标志控制量化步长解码装置的操作。

(补充说明27)

根据补充说明25所述的视频解码设备，其中解多路复用装置至少提取量化步长的调制参数作为量化步长解码装置的操作参数，并且量化步长解码装置使用该调制参数来调制基于由预测图像生成装置使用的参数所确定的量化步长，以便预测量化步长。

(补充说明28)

根据补充说明27所述的视频解码设备，其中量化步长解码装置将预定的偏移量加到基于由预测图像生成装置使用的参数所确定的量化步长，以便预测量化步长。

(补充说明29)

一种视频编码方法，用于将输入图像数据划分成预定大小的块，并且将量化应用于每个划分的图像块以执行压缩编码过程，其包括：编码控制量化的粒度的量化步长；使用在过去被编码的图像和预定的参数来生成将要被编码的图像块的预测图像；使用被用于生成预测图像的参数来预测量化步长；以及多路复用用于编码量化步长的操作参数到压缩编码过程的结果中。

(补充说明30)

根据补充说明29所述的视频编码方法，其中用于编码量化步长的操作参数至少包括标志，该标志表示是否在生成预测图像时使用该参数，以便基于该标志控制用于编码量化步长的操作。

(补充说明31)

根据补充说明29所述的视频编码方法，其中用于编码量化步长的操作参数至少包括量化步长的调制参数，并且在编码量化步长时，该调制参数被用来调制基于用于生成预测图像的参数所确定的量化步长，以便预测量化步长。

(补充说明32)

根据补充说明31所述的视频编码方法，其中预定的偏移量被加到基于用于生成预测图像的参数所确定的量化步长，以预测量化步长。

(补充说明33)

一种视频解码方法，用于使用输入压缩视频数据的逆量化来解码图像块以执行将图像数据生成为图像块的集合的过程，其包括：解码控制逆量化的粒度的量化步长；使用在过去被解码的图像和预定的参数来生成将要被解码的图像块的预测图像；在解码量化步长时，使用被分配到已经被解码的相邻图像块的量化步长来预测量化步长；解多路复用包括用于解码量化步长的操作参数的比特流，以及基于解多路复用的操作参数来控制用于解码量化步长的操作。

(补充说明34)

根据补充说明33所述的视频解码方法，其中至少提取标志作为用于解码量化步长的操作参数，该标志表示是否使用被用于生成将要被解码的图像块的预测图像的参数，并且基于该标志控制用于解码量化步长的操作。

(补充说明35)

根据补充说明33所述的视频解码方法，其中至少提取量化步长的调制参数作为用于解码量化步长的操作参数，并且使用该调制参数来调制基于用于生成将要被解码的图像块的预测图像的参数所确定的量化步长，以便预测量化步长。

(补充说明36)

根据补充说明35所述的视频解码方法，其中在解码量化步长时，将预定的偏移量加到基于用于生成将要被解码的图像块的预测图像的参数所确定的量化步长，以便预测量化步长。

(补充说明37)

一种视频编码程序，用于将输入图像数据划分成预定大小的块，并且将量化应用于每个划分的图像块以执行压缩编码过程，使计算机执行：编码控制量化的粒度的量化步长的过程；使用在过去被编码的图像和预定的参数来生成将要被编码的图像块的预测图像的过程；使用被用于生成预测图像的参数来预测量化步长的过程；以及多路复用用于编码量化步长的操作参数到压缩编码过程的结果中。

(补充说明38)

根据补充说明37所述的视频编码程序，其中用于编码量化步长的操作参数至少包括标志，该标志表示是否在生成预测图像时使用该参数，并且使计算机基于该标志控制用于编码量化步长的操作。

(补充说明39)

根据补充说明37所述的视频编码程序，其中用于编码量化步长的操作参数至少包括量化步长的调制参数，并且在编码量化步长时，使计算机使用该调制参数调制基于用于生成预测图像的参数所确定的量化步长，以便预测量化步长。

(补充说明40)

根据补充说明39所述的视频编码程序，其中使计算机将预定的偏移量加到基于用于生成预测图像的参数所确定的量化步长，以便预测量化步长。

(补充说明41)

一种视频解码程序，用于使用输入压缩视频数据的逆量化来解码图像块以执行将图像数据生成为图像块的集合的过程，使计算机执行：解码控制逆量化的粒度的量化步长的过程；使用在过去被解码的图像和预定的参数来生成将要被解码的图像块的预测图像的过程；在解码量化步长时，使用被分配到已经被解码的相邻图像块的量化步长来预测量化步长的过程；解多路复用包括用于解码量化步长的操作参数的比特流的过程，以及基于解多路复用的操作参数来控制用于解码量化步长的操作的过程。

(补充说明42)

根据补充说明41所述的视频解码程序，使计算机进一步执行：至少提取标志作为用于解码量化步长的操作参数的过程，该标志表示是否使用被用于生成将要被解码的图像块的预测图像的参数；以及基于该标志控制用于解码量化步长的操作的过程。

(补充说明43)

根据补充说明41所述的视频解码程序，使计算机进一步执行：至少提取量化步长的调制参数作为用于解码量化步长的操作参数的过程；以及使用该调制参数来调制基于用于生成将要被解码的图像块的预测图像的参数所确定的量化步长以便预测量化步长的过程。

(补充说明44)

根据补充说明43所述的视频解码程序，其中在解码量化步长时，使计算机将预定的偏移量加到基于用于生成将要被解码的图像块的预测图像的参数所确定的量化步长，以便预测量化步长。

(补充说明45)

一种视频编码设备，用于将输入图像数据划分成预定大小的块，并且将量化应用于每个划分的图像块以执行压缩编码过程，其包括用于编码控制量化的粒度的量化步长的量化步长编码装置，其中量化步长编码装置通过使用被分配到已经被编码的多个相邻图像块的量化步长的平均值来预测控制量化的粒度的量化步长。

(补充说明46)

一种视频解码设备，用于使用输入压缩视频数据的逆量化来解码图像块以执行将图像数据生成为图像块的集合的过程，其包括：用于解码控制逆量化的粒度的量化步长的量化步长解码装置，其中量化步长解码装置通过使用被分配到已经被编码的多个相邻图像块的量化步长的平均值来预测控制逆量化的粒度的量化步长。

(补充说明47)

一种视频编码方法，用于将输入图像数据划分成预定大小的块，并且将量化应用于每个划分的图像块以执行压缩编码过程，其包括使用被分配到已经被编码的多个相邻图像块的量化步长的平均值来预测控制量化的粒度的量化步长。

(补充说明48)

一种视频解码方法，用于使用输入压缩视频数据的逆量化来解码图像块以执行将图像数据生成为图像块的集合的过程，其包括使用被分配到已经被编码的多个相邻图像块的量化步长的平均值来预测控制逆量化的粒度的量化步长。

(补充说明49)

一种视频编码程序，用于将输入图像数据划分成预定大小的块，并且将量化应用于每个划分的图像块以执行压缩编码过程，使计算机执行：编码控制量化的粒度的量化步长的过程；以及使用被分配到已经被编码的多个相邻图像块的量化步长的平均值来预测控制量化的粒度的量化步长的过程。

(补充说明50)

一种视频解码程序，用于使用输入压缩视频数据的逆量化来解码图像块以执行将图像数据生成为图像块的集合的过程，使计算机执行：解码控制逆量化的粒度的量化步长的过程；以及使用被分配到已经被解码的多个相邻图像块的量化步长的平均值来预测控制逆量化的粒度的量化步长的过程。

虽然已经参考示例性实施例和示例描述了本发明，但是本发明不限于前述示例性实施例和示例。可以对本发明的结构和细节在本发明的范围内做出对于本领域技术人员而言可以理解的各种改变。

本申请要求基于在2011年3月9日提交的日本专利申请第2011-51291号和在2011年4月21日提交的日本专利申请第2011-95395号的优先权，其公开内容整体并入本文。

参考标记列表

10量化步长编码单元

11步长预测单元

20预测图像生成单元

30预测运动矢量生成单元

50量化步长解码单元

51步长预测单元

60预测图像生成单元

70预测运动矢量生成单元

101频率变换器

102量化器

103可变长度编码器

104量化控制器

105逆量化器

106逆频率变换器

107帧存储器

108帧内预测器

109帧间预测器

110预测选择器

111量化步长预测控制器

112多路复用器

201可变长度解码器

202逆量化器

203逆频率变换器

204帧存储器

205帧内预测器

206帧间预测器

207预测选择器

208解多路复用器

209量化步长预测控制器

1001处理器

1002程序存储器

1003存储介质

1004存储介质

10311量化步长缓冲器

10312熵编码器

10313预测量化步长生成器

20111熵解码器

20112量化步长缓冲器

20113预测量化步长生成器