专利名称：图像处理装置和图像处理方法
技术领域：
本公开涉及能够可靠地检测出先前的编码处理中所使用的量化因子的图像处理装置和图像处理方法。
背景技术：
在有关技术中，当在电视广播站之间传送视频数据时或者当利用多个视频记录器 (VTR设备)拷贝视频数据时，被压缩并被编码的视频数据被解压缩并被解码，并且再次被压缩并被编码。因此，必需将编码器和解码器一前一后地串联连接。现今，替代MPEG(运动画面专家组)技术，AVC(高级视频编码)技术已经被广泛地用于以下范围中从诸如移动电话的电视电话之类的低速低图像质量的使用到诸如高清晰电视广播之类的大容量高图像质量的运动画面。然而，AVC使用了多种算法的组合，这些算法包括运动补偿、帧间预测、DCT和熵编码，并且AVC相比于MPEG的改进在于其能以大约一半的数据量来实现相同的质量。具体地，根据仅用于帧内编码的AVC(下文中称为“AVC-htra”)，通过与作为目标的比特率进行匹配来确定用于量化的量化参数QP的最佳值。然而，此时的量化参数QP的值不限于先前的编码处理中所使用的量化参数的值。如果使用不同于先前的编码处理中所使用的值的量化参数QP的值，则会由于再量化期间的舍入(rounding)而发生失真，从而导致在配音(diAbing)被重复时图像质量的下降。因此，所谓的“向后搜索(back search)”技术被采用，以减少当编码器和解码器被一前一后地串联连接时由于压缩和编码处理以及解压缩和解码处理的重复而导致的视频质量的恶化。例如，国际公布W02009/035149公开了这样一种技术，该技术在AVC编码被采用时通过向后搜索来检测作为先前的编码处理中所使用的量化因子的量化矩阵Qmatrix 或量化参数QP。通过再次使用所检测出的量化因子，能够减少配音期间的误差，从而增强配音特性。此外，JP-A-2009-71520公开了一种利用向后搜索来执行编码处理的技术。这里，“向后搜索”是指利用以下特性来检测先前的编码处理中所使用的量化因子的方法 当使用先前的压缩和编码处理中所使用的量化因子时，离散余弦变换(DCT)系数的残差 (residue)之和变得最小。
发明内容
然而，在AVCHntra中，预测是利用周边像素来执行的，并且当通过周边像素的预测完全实现时有关差分图像的信息消失。因此，会出现这样的一种现象，即，即使图像信息存在，DCT系数也不存在。此外，在相关技术的向后搜索中，量化矩阵Qmatrix或者量化参数QP是利用亮度分量的DCT系数来检测的。因此，如果通过周边像素的预测完全实现并且亮度分量的DCT系数不存在，则难以通过向后搜索来检测量化矩阵Qmatrix或者量化参数 QP。因此，希望提供一种相比于相关技术中的向后搜索能够可靠地检测出先前的编码
3处理中所使用的量化因子的图像处理装置和图像处理方法。本公开的实施例涉及一种图像处理装置，该图像处理装置包括正交变换部件，所述正交变换部件对图像数据执行正交变换以生成变换系数；以及量化因子检测部件，所述量化因子检测部件利用所述变换系数来检测先前的编码处理中所使用的量化因子，其中， 所述量化因子检测部件独立地执行根据通过对图像数据的亮度分量进行正交变换而生成的变换系数来检测量化因子的处理以及根据通过对图像数据的色差分量进行正交变换而生成的变换系数来检测量化因子的处理。在本实施例中，利用正交变换部件通过对图像数据执行正交变换而得到的变换系数来检测先前的编码处理中所使用的量化因子。在该量化因子检测中，独立地执行根据通过对图像数据的亮度分量进行正交变换而生成的变换系数来检测量化因子的亮度向后搜索处理以及根据通过对图像数据的色差分量进行正交变换而生成的变换系数来检测量化因子的色差向后搜索处理。这里，例如，在根据通过对图像数据的亮度分量进行正交变换而生成的变换系数检测出了量化因子的情况中，所检测出的量化因子被确定作为先前的编码处理中所使用的量化因子。此外，在不能根据通过对图像数据的亮度分量进行正交变换而生成的变换系数检测出量化因子的情况中，根据通过对图像数据的色差分量进行正交变换而生成的变换系数检测出的量化因子被确定作为先前的编码处理中所使用的量化因子。此外，在检测作为量化因子的量化参数和量化矩阵的情况中，利用变换系数来检测先前的编码处理中所使用的量化矩阵，然后利用所检测出的量化矩阵来检测量化参数。此外，所述图像处理装置还包括预编码部件，所述预编码部件检测其中当图像数据被编码时所生成的代码量等于或小于目标代码量的量化因子；量化设定部件；和编码部件。量化设定部件在不能通过向后搜索检测出量化因子的情况中或者在当图像数据被利用所检测出的量化因子编码时所生成的代码量大于目标代码量的情况中选择在所述预编码部件中所检测出的量化因子，并且在当图像数据被利用由所述量化因子检测部件所检测出的量化因子编码时所生成的代码量等于或小于所述目标代码量的情况中选择通过所述向后搜索所检测出的量化因子。所述编码部件利用所选择的量化因子来执行编码处理。本公开的另一实施例涉及一种在执行对于图像数据的编码处理的图像处理装置中所执行的图像处理方法，该方法包括对图像数据执行正交变换以生成变换系数；以及独立地执行根据通过对图像数据的亮度分量进行正交变换而生成的变换系数来检测量化因子的处理以及根据通过对图像数据的色差分量进行正交变换而生成的变换系数来检测量化因子的处理。根据本公开的实施例，根据通过对图像数据的亮度分量进行正交变换而生成的变换系数来检测量化因子的处理以及根据通过对图像数据的色差分量进行正交变换而生成的变换系数来检测量化因子的处理被独立执行。因此，例如，在不能根据通过对图像数据的亮度分量进行正交变换而生成的变换系数检测出量化因子的情况中，根据通过对图像数据的色差分量进行正交变换而生成的变换系数所检测出的量化因子被确定作为先前的编码处理中所使用的量化因子。因此，相比于其中只使用通过对亮度分量进行正交变换而生成的变换系数进行检测的情况，能够可靠地检测出先前的编码处理中所使用的量化因子。
图1是图示出当未经历任何编码处理的图像被输入时量化参数QP与残差r的和 Σ r之间的关系的示图。图2是图示出对于已经历编码和解码处理的输入图像的量化参数QP与残差r的和Σ r之间的关系的示图。图3是图示出在利用再缩放因子(rescaling factor) RF进行标准化之后量化参数QP与残差r的和Σ r之间的关系的示图。图4是图示出在利用DCT系数的绝对值|W|对残差r进行缩放之后量化参数QP 与利用再缩放因子RF标准化后的估计值Y的和Σ Y之间的关系的示图。图5是图示出图像处理装置的配置的示图。图6是图示出向后搜索部件的配置的示图。图7是图示出图像处理装置的操作的流程图。图8是图示出向后搜索处理的流程图。图9是图示出量化矩阵Qmatrix的检测处理的流程图。图10是图示出量化参数QP的检测处理的流程图。
具体实施例方式下面，将参考附图按照如下顺序详细描述本公开的实施例。1.本公开的概念2.图像处理装置的配置3.图像处理装置的操作<1.本公开的概念>—般，因为AVC(高级视频编码)编码是不可逆的变换，所以在编码和解码处理期间会在原始的基带图像中发生失真。因此，例如，在一前一后地连接的情况中当配音等期间重复编码和解码处理时，图像质量会由于失真而下降。因此，在本实施例中，当已经经历了编码和解码处理的图像被以AVC的帧内编码方式再次编码时，先前的编码处理中所使用的量化因子被检测出来。此外，所检测出的量化因子被用于防止量化舍入(quantization rounding)，从而实现配音特性的改善。量化因子指量化参数QP，或者指量化参数QP和量化矩阵Qmatrix。接下来，将详细描述帧内编码中的特性性质和原理。如果在以AVCHntra方式对已经经历了编码和解码处理的图像再次编码时使用先前的编码处理中所使用的量化因子， 则由于量化失真已经在先前的编码处理中被减小，所以量化失真不再容易发生。为了利用此特性，通过向后搜索来检测先前的编码处理中所使用的量化因子。下文中，将描述向后搜索的具体方法。假定量化因子包括量化参数QP和量化矩阵 Qmatrix0 在AVC^ntra中，在解码期间，使整数DCT系数W向左偏移6比特以便对其进行解码，其中所述整数DCT系数W是通过将量化等级(quantization level) Z与作为量化矩阵 Qmatrix和量化参数QP的函数的再缩放因子RF相乘得到的。(W << 6) = ZXRF(1)RF= {VQmatrix 2floor(QP/6)} >>4 (2)
在表达式O)中，“V”是由AVC标准确定的乘法因子。按照这种方式，在解码处理中，因为可通过将量化等级Z与再缩放因子RF相乘来获得整数DCT系数W，所以在随后的编码处理中用再缩放因子RF来除整数DCT系数W。也就是说，如果在随后的编码处理中用相同的再缩放因子RF来除经偏移的整数DCT系数(W << 6)，则作为结果的残差r被认为是“零”。考虑到这样的性质，通过以组合各种量化矩阵Qmatrix和量化参数QP得到的再缩放因子RF来除经偏移的整数DCT系数(W<<6)获得的残差r被计算出来。通过估计所计算出的残差r的大小，来检测先前的编码处理中所使用的量化矩阵Qmatrix和量化参数QP。此外，为了提高检测的精度，考虑与AVC^ntra的特有特性相关联的以下项⑴到 (vi)，这些项将在下文中被描述。(i)编码和解码处理期间的再缩放因子RF的变换在AVCHntra中，DCT部件被划分成整数部件和非整数部件，其中整数部件被称为整数DCT，而非整数部件和量化被统称为量化。在AVC-Intra中，因为在编码处理中整数部件与非整数部件分开的位置在编码处理和解码处理中互不相同，所以在编码处理中所使用的整数DCT (下文中简称为“DCT”)和在解码处理中所使用的整数反DCT (下文中简称为“反 DCT")不具有反变换的关系。因此，在编码处理中所使用的DCT系数W不等于在解码处理中所使用的DCT系数W’，并且如下表达式(3)和(4)成立。这里，“X”是DCT部件的输入数据。 W=AXAT =
1-1-11 1-2 2-1
X
-1 -2
-1 -1
1 -2 2-1
3
I LN X=CW1Ct=
■12 12
1 I -1 -1
W
1 i
1 \ -1 -1 1 -γ -1 1
ι-ι 1 -4
(4)此外，根据表达式(3)和(4)，在DCT系数W和反DCT系数W’之间，如下的表达式 (5)成立。
权利要求
1.一种图像处理装置，包括正交变换部件，所述正交变换部件对图像数据执行正交变换以生成变换系数；以及量化因子检测部件，所述量化因子检测部件利用所述变换系数来检测先前的编码处理中所使用的量化因子，其中，所述量化因子检测部件独立执行根据通过对所述图像数据的亮度分量进行正交变换而生成的变换系数来检测量化因子的处理以及根据通过对所述图像数据的色差分量进行正交变换而生成的变换系数来检测量化因子的处理。
2.根据权利要求1所述的图像处理装置，其中，所述量化因子检测部件在根据通过对所述图像数据的亮度分量进行正交变换而生成的变换系数检测出了量化因子的情况中，将所检测出的量化因子确定作为先前的编码处理中所使用的量化因子，并且所述量化因子检测部件在不能根据通过对所述图像数据的亮度分量进行正交变换而生成的变换系数检测出量化因子的情况中，将根据通过对所述图像数据的色差分量进行正交变换而生成的变换系数检测出的量化因子确定作为先前的编码处理中所使用的量化因子。
3.根据权利要求2所述的图像处理装置，其中，所述量化因子检测部件在根据所述色差分量检测出量化因子的情况中，根据不包括表示直流分量的变换系数的不同变换系数来检测量化因子。
4.根据权利要求3所述的图像处理装置，其中，量化因子是量化参数。
5.根据权利要求4所述的图像处理装置，其中，在量化因子包括量化矩阵的情况中，所述量化因子检测部件利用变换系数来检测先前的编码处理中所使用的量化矩阵，并且利用所检测出的量化矩阵来检测量化参数。
6.根据权利要求2所述的图像处理装置，还包括预编码部件，所述预编码部件检测其中当所述图像数据被编码时所生成的代码量等于或小于目标代码量的量化因子；量化设定部件，所述量化设定部件在所述量化因子检测部件不能检测出量化因子的情况中或者在当所述图像数据被利用所检测出的量化因子编码时所生成的代码量大于所述目标代码量的情况中选择在所述预编码部件中所检测出的量化因子，并且在当所述图像数据被利用所述量化因子检测部件所检测出的量化因子编码时所生成的代码量等于或小于所述目标代码量的情况中选择在所述量化因子检测部件中所检测出的量化因子；以及编码部件，所述编码部件利用在所述量化设定部件中所选择的量化因子来对所述图像数据进行编码。
7.一种在执行对于图像数据的编码处理的图像处理装置中所执行的图像处理方法，所述方法包括对图像数据执行正交变换以生成变换系数；以及独立执行根据通过对所述图像数据的亮度分量进行正交变换而生成的变换系数来检测量化因子的处理以及根据通过对所述图像数据的色差分量进行正交变换而生成的变换系数来检测量化因子的处理。
全文摘要
本发明涉及图像处理装置和图像处理方法。图像处理装置包括正交变换部件，所述正交变换部件对图像数据执行正交变换以生成变换系数；以及量化因子检测部件，所述量化因子检测部件利用所述变换系数来检测先前的编码处理中所使用的量化因子，其中，所述量化因子检测部件独立地执行根据通过对所述图像数据的亮度分量进行正交变换而生成的变换系数来检测量化因子的处理以及根据通过对所述图像数据的色差分量进行正交变换而生成的变换系数来检测量化因子的处理。
文档编号H04N7/26GK102387362SQ201110253159
公开日2012年3月21日 申请日期2011年8月26日 优先权日2010年9月2日
发明者堀内祐哉, 柴田正二郎, 渕江孝明 申请人:索尼公司