专利名称：图像评价装置、图像评价方法、计算机可读介质和计算机数据信号的制作方法
技术领域：
本发明涉及一种用于判断输入图像的图像质量的图像评价装置。具体地说，本发明涉及一种用于估计由JPEG造成的几何失真的图像评价装置。
背景技术：
在经解码的图像数据中产生的图像质量的劣化程度根据图像数据的压缩程度(如压缩率、量化等级(quantization level)等)而变化。因此，可以根据压缩程度来改变用于校正这种图像质量的劣化的图像处理。
当输入图像数据是编码数据时，能够根据该编码数据中包含的编码参数(如比例因数)来评价压缩程度。然而，当输入图像数据不是编码数据而是经解码的图像数据时，无法获取编码参数。
即使可以从编码数据中获取编码参数，但是该编码参数也不指示与在多个编码处理中累积的图像质量劣化相对应的压缩程度，而是指示当对图像数据进行了这样的多个编码处理时的最后一个编码处理的压缩程度。
为了解决这个问题，已经提出了一种根据图像数据来估计由JPEG编码处理引起的几何失真的方法。具体地说，提出了一种用于检测块失真的技术，因为在几何失真中块失真在视觉上是显著的，所以块失真是个问题。
例如，日本专利申请公报JP2000-151418(美国2002/0097911A)和日本专利申请公报特开平8-79752提出了一种技术，在该技术中，获取块边界部分中的像素之间的差的直方图和块边界部分之外的区域中的相邻像素之间的差的直方图，以验证这两种直方图之间的差。
具体地讲，日本专利申请公报第2000-151418号(美国2002/0097911A)公开了一种验证两种直方图之间的差的绝对值之和的方法。
日本专利申请公报特开平8-79752公开了一种验证两种直方图的众数(mode)之间的差的方法。
在这些技术中，针对整个图像来获取两种差的直方图，从而当两种直方图之间的差大时，判断出块失真大。即，把“相邻像素之间没有块边界的情况下的相邻像素之间的差”视为背景信号，由此来判断目标信号与背景信号是否明显不同，其中，目标信号是“相邻像素之间存在块边界的情况下的相邻像素之间的差”。
当以这种方式来获取观察两种直方图之间的差时，会出现以下问题。
如果针对整个图像获取的两种直方图之间的差小，则不能充分地检测到块失真。具体地说，如果在该图像中局部存在杂乱的部分，则块失真隐藏在该杂乱的部分之后，从而减小了直方图之间的差。
发明内容
考虑到以上情况作出了本发明，本发明提供了一种适当地评价为图像数据执行的编码处理的图像评价装置。
根据本发明的一方面，一种图像评价装置包括像素提取单元、对内差计算单元、对间差计算单元和评价单元。所述像素提取单元从输入图像中提取像素区域，所述像素区域包括(i)位于编码块的边界位置处的块边界像素对和(ii)位于所述编码块的所述边界位置之外的位置处的非块边界像素对。所述对内差计算单元计算所提取的块边界像素对之间的差作为第一差。所述对内差计算单元计算所提取的非块边界像素对之间的差作为第二差。所述对间差计算单元计算所述第一差和所述第二差之间的差作为所提取的像素区域的块失真的量。所述评价单元根据计算出的所提取的像素区域的块失真的量，评价所述输入图像的块失真的量。
所述块边界像素对可跨相邻编码块之间的边界彼此相对。
另外，所述像素提取单元可提取包括所述一个块边界像素对和多个非块边界像素对的所述像素区域。所述对内差计算单元可计算各个提取的非块边界像素对之间的差。所述对内差计算单元可将计算出的所提取的非块边界像素对之间的差的平均值设定为所述第二差。
另外，所述像素提取单元可提取多个像素区域。所述对内差计算单元可针对各个提取的像素区域计算所述第一差和所述第二差。所述对间差计算单元可计算各个提取的像素区域的块失真的量。所述评价单元可计算所提取的像素区域的块失真的量的平均值，作为所述输入图像的块失真的量。
另外，所述像素提取单元可提取多个像素区域。所述对内差计算单元可针对各个提取的像素区域计算所述第一差和所述第二差。所述对间差计算单元可计算各个提取的像素区域的块失真的量。所述评价单元可用所提取的像素区域的块失真的量的标准偏差除所提取的像素区域的块失真的量的平均值，以获得所述输入图像块失真的量。
所述图像评价装置还可包括平坦像素区域判断单元，该平坦像素区域判断单元根据所述输入图像的灰度级变化的量，判断所提取的像素区域是否包含边缘。当所述平坦像素区域判断单元判断出所提取的像素区域不包含边缘时，所述对内差计算单元可计算所述第一差和所述第二差。
另外，所述平坦像素区域判断单元可利用所提取的像素区域中的最大像素值和最小像素值之间的差来判断所提取的像素区域是否包含边缘。
另外，所述块边界像素对可跨相邻编码块之间的边界彼此相对。所述平坦像素区域判断单元可计算所述相邻编码块之一中的所提取的像素区域中的最大像素值和最小像素值之间的差。所述平坦像素区域判断单元可计算所述相邻编码块的另一个中的所提取的像素区域中的最大像素值和最小像素值之间的差。所述平坦像素区域判断单元可利用计算出的差中的最大差来判断所提取的像素区域是否包含边缘。
另外，所述块边界像素对可跨相邻编码块之间的边界彼此相对。所述平坦像素区域判断单元可计算所述相邻编码块之一中的所提取的像素区域中的最大像素值和最小像素值之间的差。所述平坦像素区域判断单元可计算所述相邻编码块的另一个中的所提取的像素区域中的最大像素值和最小像素值之间的差。所述平坦像素区域判断单元可利用计算出的差的平均值来判断所提取的像素区域是否包含边缘。
另外，所述像素提取单元可按使所述块边界像素对之间的相对位置与所述非块边界像素对之间的相对位置相同的方式来提取所述像素区域。
另外，所述像素提取单元可按使所述块边界像素对之间的相对位置相对于所述非块边界像素对之间的相对位置旋转至少90度的方式来提取所述像素区域。
另外，所述像素提取单元可提取包括四个像素的像素区域，所述四个像素由所述块边界像素对和在左右方向上或在上下方向上与所述块边界像素对相邻的两个像素构成。
另外，所述像素提取单元可提取包括所述块边界像素对的像素区域，所述块边界像素对在横向方向上或纵向方向上排列。
另外，所述像素提取单元可从所述输入图像的一部分行或列中提取多个像素区域。
另外，所述像素提取单元可从所述输入图像的一部分块边界中提取多个像素区域。
根据本发明的另一方面，一种图像评价装置包括块设定单元、差评价单元、控制单元和评价值产生单元。所述块设定单元在输入图像中设定具有预定大小的块。所述差评价单元基于所述块设定单元所设定的所述块，评价所述输入图像的灰度级差。所述控制单元控制所述块设定单元和所述差评价单元，以针对大小不同或在图像中的相位不同的多种类型的块评价所述输入图像的灰度级差。所述评价值产生单元根据所述差评价单元针对各个所述多种类型的块评价出的所述灰度级差来产生所述输入图像的评价值。
要注意的是，所述块设定单元对块的设定可包括假定块划分处理。对于块的设定而言，将所述输入图像实际划分成块并不是必须包括的。
所述评价值产生单元可从针对各个所述多种类型的块计算出的所述灰度级差之中选择最大值作为所述输入图像的所述评价值。
另外，所述差评价单元可包括像素提取单元、对内差计算单元、对间差计算单元和评价单元。所述像素提取单元从输入图像中提取像素区域，所述像素区域包括(i)位于编码块的边界位置处的块边界像素对和(ii)位于所述编码块的所述边界位置之外的位置处的非块边界像素对。所述对内差计算单元计算所提取的块边界像素对之间的差作为第一差。所述对内差计算单元还计算所提取的非块边界像素对之间的差作为第二差。所述对间差计算单元计算所述第一差和所述第二差之间的差作为所提取的像素区域的块失真的量。所述评价单元根据计算出的所提取的像素区域的块失真的量，评价所述输入图像的块失真的量。所述评价值产生单元基于所述块失真的量产生所述输入图像的所述评价值。
根据本发明的又一方面，一种图像评价方法包括从输入图像中提取像素区域，所述像素区域包括(i)位于编码块的边界位置处的块边界像素对和(ii)位于所述编码块的所述边界位置之外的位置处的非块边界像素对；计算所提取的块边界像素对之间的差作为第一差；计算所提取的非块边界像素对之间的差作为第二差；计算所述第一差和所述第二差之间的差作为所提取的像素区域的块失真的量；以及根据计算出的所提取的像素区域的块失真的量，评价所述输入图像的块失真的量。
根据本发明的又一方面，一种计算机可读介质存储有使计算机执行评价输入图像的块失真的量的处理的程序。所述处理包括从输入图像中提取像素区域，所述像素区域包括(i)位于编码块的边界位置处的块边界像素对和(ii)位于所述编码块的所述边界位置之外的位置处的非块边界像素对；计算所提取的块边界像素对之间的差作为第一差；计算所提取的非块边界像素对之间的差作为第二差；计算所述第一差和所述第二差之间的差作为所提取的像素区域的块失真的量；以及根据计算出的所提取的像素区域的块失真的量，评价所述输入图像的块失真的量。
根据以上述结构，可以对应用于图像数据的编码处理进行适当的评价。
将根据附图详细描述本发明的实施例，在附图中图1是示出了应用了根据本发明示例性实施例的图像评价方法、以控制器20为其中心的图像处理装置2的硬件结构的图；图2是示出了控制器20(图3)所执行的图像处理程序5的功能结构的图；图3A和图3B是示出了所提取的像素区域的图；图4是示出了在输入图像中提取的具有32×32像素的像素区域的示例的图；图5是图像处理过程的流程图；图6是示出了根据示例性实施例的图像评价处理的实验结果的图表；图7是平坦区域中的标准偏差的图表；图8A和图8B是示出了变型例1的实验结果的图表；图9A和图9B是示出了仅沿一个方向分别提取的提取像素区域的图；图10A和图10B是示出了在仅横向提取像素的情况下实验结果的图表；图11A和图11B是示出了分别以预定间隔取样的所提取的像素区域的图；图12A至图12C是示出了在行取样的情况下的实验结果的图表；图13A和图13B是示出了在块取样的情况下的实验结果的图表；图14A至图14F是示出了变型例3中的块边界像素对和非块边界像素对的图；图15A至图15C是解释变型例4中的判断平坦区域的方法的图；图16是例示了对其进行了剪取(clipping)的图像的图；图17是例示了其中块边界位置仅在横向方向上移动的图像的图；图18是例示了其中块边界位置在横向方向上和纵向方向上都移动的图像的图；图19是解释通过改变移动来计算块失真的方法的图；
图20是示出了与变型例5相关的实验结果的图表；图21是示出了变型例5的图像处理装置2的功能结构的图；以及图22是变型例5的图像处理装置2的操作的流程图。
具体实施例方式
本发明的示例性实施例的图像处理装置2不产生相邻像素之间的差的直方图。在根据示例性实施例的图像处理装置2中，把“相邻像素之间存在块边界的情况下的相邻像素之间的差”视为目标信号，而把“相邻像素之间不存在块边界的情况下的相邻像素之间的差”视为背景信号。另外，该示例性实施例将从其获取了背景信号的像素位置和从其获取了目标信号的像素位置限定为彼此靠近的位置。
以这种方式利用彼此靠近的像素之间的差使得可以利用“目标信号和背景信号彼此紧密相关”的特性，由此使得可以以较高的精度来估计块失真。
另外，已经出现了关于以下事实的各种报告在普通图像中相邻像素的像素值彼此紧密相关。例如，在Hajime Enomoto的“Image InformationProcessing”(Corona出版公司，1984，第一版，第五次印刷，第64页)中描述了图像的自相关函数。当参照自相关函数的曲线时，证实了相邻像素之间的相关性高。还可以想到的是，因为像素值之间的相关性高，所以像素值之间的差彼此紧密相关。
更具体地讲，图像处理装置2执行下面的处理。提取块边界中的两个像素(即，块边界像素对)，并计算这两个像素之间的差。然后，把靠近所提取的像素但是位于块边界之外的区域中的两个像素视为非块边界像素对。提取一个这样的非块边界像素对或多个这样的非块边界像素对，并计算每对非块边界像素之间的差。
然后，计算非块边界像素对之间的差的平均值。然后，计算块边界像素对之间的差与非块边界像素对之间的差的平均值之间的差。最后，把所述差的绝对值的平均值视为块失真。
另外，为了计算平均值，获得块边界像素对和非块边界像素对之中的最大像素值和最小像素值，并计算最大像素值和最小像素值之间的差。当最大像素值和最小像素值之间的差大时，图像区域被判断为随机图像区域。不使用这种图像区域来计算失真(计算平均值)。
首先将描述根据本示例性实施例的图像处理装置2(图像评价装置)的硬件结构。
图1是示出了应用了根据本发明示例性实施例的图像评价方法、以控制器20为其中心的图像处理装置2的硬件结构的图。
如图1所示，图像处理装置2包括控制器20、通信装置220、存储装置240和用户接口装置(UI装置)230。控制器20包括CPU212和存储器214。存储装置240包括硬盘(HDD)和CD装置。UI装置230包括LCD显示装置或CRT显示装置、以及键盘或触摸板。
例如，图像处理装置2设置在打印机10的内部。图像处理装置2通过通信装置220或存储装置240获取图像数据，并基于所获取的图像数据对编码处理所引起的图像质量的劣化进行校正。
图2是示出了由控制器20(图3)执行的图像处理程序5的功能结构的图。
如图2所示，图像处理程序5包括图像评价单元500和图像校正单元600。图像评价单元500执行根据本发明的示例性实施例的图像评价方法。图像校正单元600基于图像评价单元500作出的评价结果来校正图像数据。
图像评价单元500包括像素对提取部510、平坦区域判断部520、块边界差获取部530、非块边界差获取部540、提取区域失真计算部550和总图像失真计算部560。
当一图像是输入到像素对提取部510的输入图像数据时，像素对提取部510将该输入图像数据划分为多个8×8像素块，并从所划分的像素块中提取块边界像素对和非块边界像素对。
例如，如图3A所示，像素对提取部510将输入图像划分为多个8×8像素块，并从各自具有所划分的8×8像素块的相邻块中提取8对块边界像素。
如图3B所示，这个示例的像素对提取部510从相邻的两个块中提取了4个像素a、b、c和d作为一个块边界像素对和多个非块边界像素对。即，像素对提取部510同时提取所述块边界像素对和所述非块边界像素对。在图3B示出的示例中，所述块边界像素对由像素b和c构成。一个非块边界像素对由像素a和b构成。另一非块边界像素对由像素c和d构成。像素b和c跨该相邻两个块之间的边界彼此相对。另一方面，在像素a和b之间或在像素c和d之间没有边界。
图4示出了在输入图像的大小为32×32的情况下提取的块边界像素对和非块边界像素对。当输入图像的大小为32×32时，提取图4中示出的像素区域。
另外，不需要一次性地提取像素区域。为了进行处理，可以一次提取如图3B所示的四个像素a、b、c和d。在完成了提取这四个像素的处理之后，可以执行提取下四个像素的处理。
为了便于描述，将各包含四个像素的像素区域按I(I＝1，2 ,…，MaxI)进行编号。把各四像素区域视为所提取的像素区域I。在下面的描述中，a、b、c和d表示像素a、b、c和d的像素值。设E(I)为所提取的像素区域I的块失真的量。下面将描述获得E(I)的方法。
平坦区域判断部520(图2)根据下面的表达式计算所提取的像素区域I的平坦度H(I)H(I)＝max(a，b，c，d)-min(a，b，c，d)其中，max(x0，x1，...)是用于计算x0，x1，...中最大值的函数，min(x0，x1，...)是用于计算x0，x1，...中最小值的函数。
块边界差获取部530(图2)根据下面的表达式计算块边界差B(I)B(I)＝abs(b-c)其中，abs(x)是用于计算x的绝对值的函数。
非块边界差获取部540根据下面的表达式计算非块边界像素对之间的差N(I)。
N(I)＝{abs(a-b)+abs(c-d)}/2换言之，N(I)是用于计算在所提取的像素区域I中的非块边界像素对之间的差的绝对值的平均值的函数。
提取区域失真计算部550根据下面的表达式计算所提取区域I的块失真E(I)。
E(I)＝B(I)一N(I)总图像失真计算部560根据下面的表达式计算整个图像的块失真BNBN＝mean(E)/std(E)其中，mean(E)是用于计算E(I)的平均值的函数，std(E)是用于计算E(I)的标准偏差的函数。
预先准备阈值TH1。总图像失真计算部560选择平坦度H(I)小于阈值TH1的提取区域I，并利用所选择的提取区域I来计算平均值(mean(E))和标准偏差(std(E))。这样做的目的是仅针对平坦区域计算块失真。
按图5中示出的流程图来执行图像评价单元500的操作。在图5中，sqrt(x)是用于获得x的平方根的函数。
在步骤S101中，初始化变量。具体地讲，NumI＝0，I＝1，S＝0和S2＝0。NumI表示平坦度H(I)小于TH1的块的数量。附标I表示所提取的像素区域。S表示块失真的量。S2表示S的平方和。然后，像素对提取部510提取像素区域I，平坦区域判断部520基于所提取的像素区域I计算H(I)(步骤S102)。总图像失真计算部560确定平坦区域判断部520计算出的H(I)是否小于TH1(步骤S103)。如果总图像失真计算部560确定H(I)小于TH1(在步骤S103中为是)，则总图像失真计算部560使NumI递增1，按上述方式计算E(I)，并将E(I)加到S，还将E(I)×E(I)加到S2(步骤S104)。如果总图像失真计算部560确定H(I)等于或大于TH1(在步骤S103中为否)，则处理跳到步骤S105。在步骤S105，总图像失真计算部560使I递增1。然后，总图像失真计算部560确定I是否等于MaxI(步骤S106)。如果总图像失真计算部560确定I不等于MaxI，即，小于MaxI(在步骤S106中为否)，则处理返回到步骤S102。如果总图像失真计算部560确定I等于MaxI(在步骤S106中为是)，则总图像失真计算部560通过将S除以NumI来计算mean(E)(即，E(I)的平均值)，并通过利用下面的表达式来计算std(E)(即，E(I)的标准偏差)std(E)=S2NumI-(mean(E))2]]>然后，总图像失真计算部560通过将mean(E)除以std(E)来计算整个图像的块失真BN(步骤S107)。
如果在所有区域I中H(I)≥TH1(即，NumI＝0)，则图像评价单元500判定无法获得输入图像数据的块失真BN。
以下将描述图像处理装置2进行的图像评价处理的实验结果。
在该实验中使用了三十三个图像(第1至第33)。
当从视觉上检查实验图像第1至第33时，图像第15和第16的块失真看起来小于其他图像的块失真。
因此，如果图像处理装置2所执行的图像评价处理检测到图像第15和第16的块失真小，则图像评价处理操作工作良好。
图6是示出了图像处理装置2从图像第1至第33中检测到的块失真的图表。
从图6中显而易见，图像第15和第16的块失真明显小于其他图像的块失真。这与基于人眼观察的评价结果相符。即，显而易见的是，根据本示例性实施例的图像处理装置2可以适当地评价块失真。
在以上的示例性实施例中，以用E(I)的标准偏差(std(E))除E(I)的平均值(mean(E))的方式来计算输入图像数据的块失真的量BN。用E(I)的标准偏差除E(I)的平均值的原因在于将E(I)的平均值归一化。即，在E(I)变化幅度大的图像中，可以认为mean(E)的值并不重要。另一方面，在E(I)变化幅度小的图像中，可以认为mean(E)的值是重要的。
然而，在如示例性实施例所述的仅对平坦像素区域执行输入图像数据的块失真的量BN的计算的情况下，如图7所示，标准偏差的值根据图像变化很小。因此可以得出用std(E)除mean(E)的必要性低。
因此，在变型例1中，如下计算整个图像的块失真的量。
BN＝mean(E)图8A和图8B是将按BN＝mean(E)/std(E)计算的块失真的量与按BN＝mean(E)计算的块失真的量进行比较的图表。图8A示出了按BN＝mean(E)/std(E)计算的结果。图8B示出了按BN＝mean(E)计算的结果。
参照图8A和图8B显而易见的是，即使使用BN＝mean(E)时也可获得几乎相同的结果。
尽管示例性实施例已经示出了如图4所示地提取块边界像素的所有对的情况，但是没有必要提取块边界像素的所有对。
例如，在变型例2中，像素对提取部510仅提取横向像素对，如图9A所示。即，变型例2的像素对提取部510提取这样的像素区域I，即，各像素区域I包含相邻两个块之间的边界并具有排列在同一行的像素。
图10示出了在这种情况下的实验结果。图10A示出了示例性实施例的变型例2的实验结果(即，与图6相同的图)。参照图10A显而易见的是，即使仅使用横向像素对，也可以以足够的精度来检测块失真。
另外，如图9B所示，像素对提取部510可以仅提取纵向像素对。即，像素对提取部510可提取这样的像素区域I，即，各像素区域I包含相邻两个块之间的边界并具有排列在同一列的像素。图10B示出了示例性实施例的变型例2的另一实验结果(即，与图6相同的图)。参照图10B显而易见的是，即使仅使用横向像素对，也可以以足够的精度来检测块失真。
如图11A所示，像素对提取部510可以提取像素对(像素区域I)，从而以若干行为间隔对像素对(像素区域I)进行取样。假定像素对提取部510以Nr行为间隔对像素对(像素区域I)进行取样，图11A等价于像素对提取部510仅横向地对像素对(像素区域I)进行取样并且Nr等于2的情况。
图12A至图12C示出了在这种情况下的实验结果。图12A等价于像素对提取部510提取所有横向像素对(像素区域I)的情况。图12B等价于像素对提取部510以两个像素为间隔对横向像素对(像素区域I)进行取样的情况。图12C等价于像素对提取部510以四个像素为间隔对横向像素对(像素区域I)进行取样的情况。
从图12A至图12C所示的图表可以显见，虽然对行进行了取样，但性能劣化很小。
像素对提取部510可以如图11B所示那样对处理块进行取样。具体地讲，像素对提取部510可以仅对Nb×Nb个块中的一个块进行取样。另外，图11B等价于像素对提取部510执行横向取样、Nr等于4且Nb等于2的情况。
图13A和图13B示出了在这种情况下的试验结果。图13A等价于按照Nr＝2且Nb＝1来进行取样(即，不是对每个块都进行取样)的情况。图13B等价于按照Nr＝4且Nb＝2来进行取样的情况。
从图13A和图13B所示的图表可以显见，虽然对块进行了取样，但性能劣化很小。
尽管示例性实施例已经示出了提取图3B所示的像素a、b、c和d作为块边界像素对和非块边界像素对(像素区域I)的情况，但非块边界像素对的图案并不限于该示例性实施例。以下将描述与块边界像素对b和c相对应的非块边界像素对的另一图案。
如图14A所示，像素对提取部510可以使用像素a和b作为非块边界像素对。换言之，像素对提取部510可以提取包括一对块边界像素(像素b和c)和一对非块边界像素(像素a和b)的像素区域。在这种情况下，不需要获取非块边界像素之间的差的平均值。
如图14B所示，像素对提取部510可以使用像素a和d作为非块边界像素对。所述非块边界像素对不是必需包含像素b。换言之，像素对提取部510可以提取包括一对块边界像素(像素b和c)和一对非块边界像素(像素a和d)的像素区域。尽管图14B示出了像素d和b彼此并不相邻的情况，但是这些像素可以彼此相邻。在那样的情况下，像素对提取部510不将像素d和b的对当作非块边界像素对。
如图14C所示，像素对提取部510可以提取多个非块边界像素对(像素a1和d1的对以及像素a2和d2的对)，所述多个非块边界像素对与块边界像素对(像素b和c的对)分立。换言之，像素对提取部510可以提取包括一对块边界像素和与所述一对块边界像素分立的多个非块边界像素对的像素区域。如图14D所示，像素对提取部510可以将像素a至e(包括像素a至e的像素区域)视为包括三对非块边界像素“a和d”、“d和e”以及“e和b”的像素区域。
如图14E所示，像素对提取部510可以分别从不同的行提取块边界像素对和非块边界像素对。换言之，像素对提取部510可以提取包括不同行的多个像素的像素区域。在这种情况下，所述块边界像素对之间的相对位置关系与所述非块边界像素对之间的相对位置关系相同。例如，如图14E所示，由于像素b和c彼此横向相邻，所以像素a和d彼此横向相邻。
作为另一选择，如图14F所示，像素对(例如，像素b和c)之间的相对位置关系可以相对于其他像素对(例如，像素a和d)之间的相对位置关系旋转90度。
在所述示例性实施例中，平坦区域判断部520将所提取的像素区域I中的最大像素值和最小像素值之间的差设定为H(I)。
然而，可以使用另一方法作为判断平坦区域(非边缘区域)的方法。例如，可将具有非块边界像素对的区域中的最大像素值和最小像素值之间的差设定为H(I)。
在图15A所示的情况下，如下获得H(I)。
H(I)＝max(a1，d1，a2，d2)-min(a1，d1，a2，d2)平坦区域判断部520可以计算包含在单个块中的像素区域中的最大像素值和最小像素值之间的差作为H(I)。由于两个块与边界相邻，所以可以计算最大像素值和最小像素值之间的两种差。可以将这两种差中最大值设定为H(I)。
例如，在图15B所示的情况下，如下获得H(I)。
H(I)＝max[{max(a1，d1)-min(a1，d1)}，{max(a2，d2)-min(a2，d2)}]＝max{abs(a1-d1)，abs(a2-d2)}作为另一选择，在图15C所示的情况下，如下获得H(I)。
H(I)＝max[{max(a，b)-min(a，b)}，{max(c，d)-min(c，d)}]＝max{abs(a-b)，abs(c-d)}作为另一选择，H(I)可以不是差的最大值，而像下面一样是差的平均值。
H(I)＝{max(a，b)-min(a，b)}，{max(c，d)-min(c，d)}/2＝{abs(a-b)，abs(c-d)}/2作为另一选择，可以将在所提取的像素区域I中的像素值的方差或标准偏差设定为H(I)。
在以上的示例性实施例和该示例性实施例的变型例中，根据已知JPEG编码处理的块位置这一假定，计算以每个具有8像素×8像素的块为单位的失真程度作为块失真的量。
在变型例5中，将给出对以下方法的描述，该方法用于在未知JPEG编码处理的块位置的情况下计算块失真的量同时检测8×8块的边界位置。
在未知块位置的情况下的示例包括如图16所示地执行剪取处理的情况、以及执行旋转处理的情况。
图17是例示了其中编码处理的块在横向方向上移动的图像的图。首先，将给出对如图17所示的块边界在横向方向上移动的情况的描述。
如所述示例性实施例和该示例性实施例的变型例中所描述的，图像处理装置2基于在块边界上沿横向方向排列的四个像素(a、b、c、d)之间的灰度级差(gradation difference)来计算块失真(例如，各相邻像素对之间的差的绝对值或像素区域的块失真的量，所述像素区域包括四个像素(a、b、c、d)并包括块边界)。因此，块位置沿图像纵向方向的移动基本上不影响对块失真的量的计算。例如，如图17所示，即使沿纵向方向移动了块位置，用于计算的四个像素的位置也仅在纵向方向上移动，并且仍然包括块边界。因此，通常可以检测到块失真。
图18例示了编码处理的块也在横向方向移动的图像。接下来，将对如图1 8所示的块边界在横向方向移动的情况给出描述。在这种情况下，沿横向方向排列的四个像素(a、b、c、d)可能不包括块边界。因此，不能根据上述方法计算块失真。
例如，如图18所示，在块位置沿横向方向移动的情况下，用于计算的四个像素也在横向方向上移动，不能检测块边界中的灰度级差。
变型例5的图像处理装置2具有图21所示的结构。图21类似于图1，但其差别在于，在图21中示出了CPU 212的具体部件。CPU 212包括块设置单元212a、差评价单元212b、控制单元212c和评价值产生单元212d。控制单元212c控制块设置单元212a、差评价单元212b和评价值产生单元212d。
变型例5的图像处理装置2计算图像的多种类型的块(其相位或大小不同)的块失真的量。然后，图像处理装置2根据计算出的多个块失真的量，评价输入图像的块失真的量。在这个示例中，图像处理装置2在沿横向方向移动起始位置(总共8个位置)的同时的计算块失真的量，并采用最大值。
例如，如图19所示，差评价单元212b计算各提取像素区域I的块失真E(I，1)。然后，差评价单元212b基于块失真E(I，1)通过在示例性实施例中描述的方法计算整个图像F的块失真的量BN(F，1)。差评价单元212b存储所计算出的整个图像F的块失真的量BN(F，1)。在图像F中，编码处理的块位置未知。这时，如图18所示，不能计算块边界。即使在此情况下，图像处理装置2也不在意。
然后，如图19所示，块设置单元212a将块失真计算的起始点沿向右的方向移动一个像素。然后，差评价单元212b计算各提取像素区域I的块失真E(I，2)。差评价单元212b以相似的方式来计算并存储整个图像F的块失真的量BN(F，2)。随后，图像处理装置2在块设置单元212a将起始位置沿向右的方向逐个像素地移动的同时来计算整个图像F的块失真的量B(N，i)。
这样，本变型例的图像处理装置2在将起始位置逐个像素地移动的同时总共计算8次整个图像F的块失真的量BN(F，i)(i＝1，2，...8)。这里，将这样计算的BN(F，i)的最大值表示为BN(F)。评价值产生单元212d判断块边界位于给出最大值BN(F)的位置。
接着，将描述之所以将用多个相位计算出的块失真的量的最大值用作输入图像的块失真的量的原因。这里，术语“相位”定义如下。假定假想正弦曲线具有为一个周期的块尺寸(在本示例性实施例中，该块尺寸等于8)。要注意的是，不考虑假想正弦波的幅度。由于假想正弦波的周期等于块尺寸(例如8块)，所以如果“相位”改变，则假想正弦波的位置改变。此外，假定块的位置和假想正弦波的位置是固定的。这时，可用“相位”表示各块的位置。另外，可用“相位”表示块失真计算的起始位置的位移。例如，如果位移等于块尺寸(即8块)，则“相位”等于2n弧度。另外，如果位移等于块尺寸的一半(即4块)，则“相位”等于n弧度。
首先，显而易见的是，如果在将起始位置逐个像素地移动的同时计算块失真的量(总共8个)，则计算出的块失真的量中的任何一个应该与真正的块失真的量相匹配。另外，如示例性实施例和示例性实施例的变型例中所描述的，当比较不同的图像时，当块失真的量较大时，JPEG块失真就较大。另外，JPEG块失真之外的因素很少会引起以8个像素间隔出现的大边界差的块失真的量。从这些特征可以推出，如果计算出的八个值中的最大值大于特定等级，则该最大值就被认为是块失真的量。另外，如果计算出的八个值中的最大值小于特定等级，则难以精确地判断这个最大值是否是块失真的量。然而，即使这个最大值被用作块失真的量，因为该最大值相对较小，所以也不会出现问题。因此，如果不管计算出的八个值中的最大值的大小是多少，都将该最大值用作块失真的量，则将不会出现问题。
按三个像素对在变型例5的示例中使用的33个图像各自周围的边缘图像进行剪取。然后，通过采用最大值的上述方法来计算块失真的量。然后，如图20所示，计算的块失真的量在剪取的情况和非剪取的情况之间没有大的差别。
可以根据总共八个位置计算块失真的量的事实意味着可以同时指定块失真的边界位置。因此，图像处理装置2通过计算多个相位的块失真的量并将计算出的块失真的量相互比较，可以估计编码处理的块边界位置。
另外，如上所述，块失真的量是特征值，其在高压缩的JPEG图像中取大值。因此，最大值在根据八个位置计算出的八个值中通常很突出。另一方面，如果八个值中的最大值不突出，则存在这样的可能该最大值是根据图像的结构而不是块失真的量而偶然获得的值。因此，图像处理装置2可以计算多个相位的块失真的量，并将块失真的量相互比较，然后判断是否有必要去除块失真。
另外，在与编码处理的块相对应的图像区域的大小由于图像的放大或缩小而改变的情况下，图像处理装置2计算具有多个大小的块的块失真的量，并将块失真的量相互比较，由此计算真正的块失真的量。
将参照图22所示的流程图描述变型例5的图像处理装置2的操作。
在步骤S201，对变量进行初始化。具体地说，I＝1，i＝1，NumI＝0，S＝0以及S2＝0。要注意的是，附标“I”和附标“i”是不同的变量。NumI表示块的数量，其具有小于TH1的平坦度H(I，i)。附标I表示所提取的像素区域。附标“i”表示块失真计算的起始点。S表示块失真的量。S2表示S的平方和。然后，差评价单元212b从起始点i提取像素区域I，并基于所提取的像素区域I计算H(I，i)(步骤S202)。差评价单元212b确定H(I，i)是否小于TH1(步骤S203)。如果差评价单元212b确定了H(I，i)小于TH1(在步骤S203中为是)，则差评价单元212b使NumI增加1，按上述方式计算E(I，i)，将E(I，i)加到S，并且还将E(I，i)×E(I，i)加到S2(步骤S204)。如果差评价单元212b确定出H(I，i)等于或大于TH1(在步骤S203中为否)，则处理跳到步骤S205。在步骤S205，差评价单元212b使I增加1。然后，差评价单元212b确定I是否等于MaxI(步骤S206)。如果差评价单元212b确定出I不等于MaxI，即，小于MaxI(在步骤S206中为否)，则处理返回到步骤S202。如果差评价单元212b确定出I等于MaxI(在步骤S206中为是)，则差评价单元212b通过将S除以NumI来计算mean(E，i)(即，E(I，i)的平均值)，并通过利用下面的表达式来计算std(E，i)(即，E(I，i)的标准偏差)std(E,i)=S2NumI-(mean(E,i))2]]>然后，评价值产生单元212d通过将mean(E，i)除以std(E，i)来计算整个图像的块失真BN(F，i)(步骤S207)。
如果在所有区域I中H(I，i)≥TH1(即，NumI＝0)，则控制单元212c判定无法获得块失真BN(F，i)。
然后，差评价单元212b确定附标i是否等于Maxi(步骤S208)。如果差评价单元212b确定了附标i小于Maxi(在步骤S208中为否)，则块设置单元212a更新变量(步骤S209)。具体地说，块设置单元212a使附标i增加1。并重置附标I、NumI、S和S2(即，设置I＝1，NumI＝0，S＝0以及S2＝0)。然后，处理返回到步骤S202，并且在块失真计算的起始点如图19所示地沿向右的方向移动一个像素时，重复步骤S202至S208。
如果差评价单元212b确定出附标i等于Maxi(在步骤S208中为是)，则评价值产生单元212d从BN(F，i)(i＝1至Maxi)中选择最大值BN(F)，作为整个图像F的块失真的量(步骤S210)。
应该注意的是，平坦区域判断部520对示例性实施例来说不是必需的。
尽管示例性实施例已经示出了总图像失真计算部560计算E(I)的平均值的情况，但是总图像失真计算部560也可以计算E(I)的中间值、E(I)的众数或E(I)的和(仅当图像的大小恒定并且没有进行平坦像素区域判断时才能获取该和)，而不是E(I)的平均值。
出于例示和说明的目的，已经提供了本发明的示例性实施例的以上描述。这并不意图穷举或将本发明限制为所公开的精确形式。明显的是，对本领域的技术人员来说很多修改和变型将是明显的。选择并描述了示例性实施例以最好地解释本发明的原理及其实际应用，从而使本领域的其他技术人员可以针对适于所构想的具体用途的各种实施例和各种变型例来理解本发明。本发明的范围旨在由下面的权利要求及其等同物限定。
权利要求
1.一种图像评价装置，该装置包括像素提取单元，从输入图像中提取像素区域，所述像素区域包括(i)位于编码块的边界位置处的块边界像素对和(ii)位于所述编码块的所述边界位置之外的位置处的非块边界像素对；对内差计算单元，计算所提取的块边界像素对之间的差作为第一差，所述对内差计算单元还计算所提取的非块边界像素对之间的差作为第二差；对间差计算单元，计算所述第一差和所述第二差之间的差作为所提取的像素区域的块失真的量；和评价单元，根据计算出的所提取的像素区域的块失真的量，评价所述输入图像的块失真的量。
2.根据权利要求1所述的装置，其中，所述块边界像素对跨相邻编码块之间的边界彼此相对。
3.根据权利要求1所述的装置，其中所述像素提取单元提取包括所述一个块边界像素对和所述多个非块边界像素对的所述像素区域，所述对内差计算单元计算各个提取的非块边界像素对之间的差，以及所述对内差计算单元将计算出的所提取的非块边界像素对之间的差的平均值设定为所述第二差。
4.根据权利要求1所述的装置，其中所述像素提取单元提取多个像素区域，所述对内差计算单元针对各个提取的像素区域计算所述第一差和所述第二差，所述对间差计算单元计算各个提取的像素区域的块失真的量，以及所述评价单元计算所提取的像素区域的块失真的量的平均值，作为所述输入图像的块失真的量。
5.根据权利要求1所述的装置，其中所述像素提取单元提取多个像素区域，所述对内差计算单元针对各个提取的像素区域计算所述第一差和所述第二差，所述对间差计算单元计算各个提取的像素区域的块失真的量，以及所述评价单元用所提取的像素区域的块失真的量的标准偏差除所提取的像素区域的块失真的量的平均值，以获得所述输入图像的块失真的量。
6.根据权利要求1所述的装置，该装置还包括平坦像素区域判断单元，根据所述输入图像的灰度级变化的量，判断所提取的像素区域是否包含边缘，其中当所述平坦像素区域判断单元判断出所提取的像素区域不包含边缘时，所述对内差计算单元计算所述第一差和所述第二差。
7.根据权利要求6所述的装置，其中，所述平坦像素区域判断单元利用所提取的像素区域中的最大像素值和最小像素值之间的差来判断所提取的像素区域是否包含边缘。
8.根据权利要求6所述的装置，其中所述块边界像素对跨相邻编码块之间的边界彼此相对，所述平坦像素区域判断单元计算所述相邻编码块之一中的所提取的像素区域中的最大像素值和最小像素值之间的差，所述平坦像素区域判断单元计算所述相邻编码块的另一个中的所提取的像素区域中的最大像素值和最小像素值之间的差，以及所述平坦像素区域判断单元利用计算出的差中的最大差来判断所提取的像素区域是否包含边缘。
9.根据权利要求6所述的装置，其中所述块边界像素对跨相邻编码块之间的边界彼此相对，所述平坦像素区域判断单元计算所述相邻编码块之一中的所提取的像素区域中的最大像素值和最小像素值之间的差，所述平坦像素区域判断单元计算所述相邻编码块的另一个中的所提取的像素区域中的最大像素值和最小像素值之间的差，以及所述平坦像素区域判断单元利用计算出的差的平均值来判断所提取的像素区域是否包含边缘。
10.根据权利要求1所述的装置，其中，所述像素提取单元以使所述块边界像素对之间的相对位置与所述非块边界像素对之间的相对位置相同的方式来提取所述像素区域。
11.根据权利要求1所述的装置，其中，所述像素提取单元以使所述块边界像素对之间的相对位置相对于所述非块边界像素对之间的相对位置旋转至少90度的方式来提取所述像素区域。
12.根据权利要求1所述的装置，其中，所述像素提取单元提取包括四个像素的像素区域，所述四个像素由所述块边界像素对和在左右方向上或在上下方向上与所述块边界像素对相邻的两个像素构成。
13.根据权利要求1所述的装置，其中，所述像素提取单元提取包括所述块边界像素对的像素区域，所述块边界像素对在横向方向上或纵向方向上排列。
14.根据权利要求1所述的装置，其中，所述像素提取单元从所述输入图像的一部分行或列中提取多个像素区域。
15.根据权利要求1所述的装置，其中，所述像素提取单元从所述输入图像的一部分块边界中提取多个像素区域。
16.一种图像评价装置，该装置包括块设定单元，在输入图像中设定具有预定大小的块；差评价单元，基于所述块设定单元所设定的所述块，评价所述输入图像的灰度级差；控制单元，控制所述块设定单元和所述差评价单元，以针对大小不同或在图像中的相位不同的多种类型的块评价所述输入图像的灰度级差；和评价值产生单元，根据所述差评价单元针对各个所述多种类型的块评价出的所述灰度级差来产生所述输入图像的评价值。
17.根据权利要求16所述的装置，其中，所述评价值产生单元从针对各个所述多种类型的块计算出的多个所述灰度级差之中选择最大值作为所述输入图像的所述评价值。
18.根据权利要求16所述的装置，其中所述差评价单元包括像素提取单元，从输入图像中提取像素区域，所述像素区域包括(i)位于编码块的边界位置处的块边界像素对和(ii)位于所述编码块的所述边界位置之外的位置处的非块边界像素对；对内差计算单元，计算所提取的块边界像素对之间的差作为第一差，所述对内差计算单元还计算所提取的非块边界像素对之间的差作为第二差；对间差计算单元，计算所述第一差和所述第二差之间的差作为所提取的像素区域的块失真的量；和评价单元，根据计算出的所提取的像素区域的块失真的量，评价所述输入图像的块失真的量，以及所述评价值产生单元基于所述块失真的量产生所述输入图像的所述评价值。
19.一种图像评价方法，该方法包括从输入图像中提取像素区域，所述像素区域包括(i)位于编码块的边界位置处的块边界像素对和(ii)位于所述编码块的所述边界位置之外的位置处的非块边界像素对；计算所提取的块边界像素对之间的差作为第一差；计算所提取的非块边界像素对之间的差作为第二差；计算所述第一差和所述第二差之间的差作为所提取的像素区域的块失真的量；以及根据计算出的所提取的像素区域的块失真的量，评价所述输入图像的块失真的量。
20.一种计算机可读介质，其存储有使计算机执行评价输入图像的块失真的量的处理的程序，所述处理包括从输入图像中提取像素区域，所述像素区域包括(i)位于编码块的边界位置处的块边界像素对和(ii)位于所述编码块的所述边界位置之外的位置处的非块边界像素对；计算所提取的块边界像素对之间的差作为第一差；计算所提取的非块边界像素对之间的差作为第二差；计算所述第一差和所述第二差之间的差作为所提取的像素区域的块失真的量；以及根据计算出的所提取的像素区域的块失真的量，评价所述输入图像的块失真的量。
全文摘要
本发明提供了图像评价装置、图像评价方法、计算机可读介质和计算机数据信号。该图像评价装置包括像素提取单元、对内差计算单元、对间差计算单元和评价单元。像素提取单元从输入图像中提取包括位于编码块的边界位置处的块边界像素对和位于所述边界位置之外的位置处的非块边界像素对的像素区域。对内差计算单元计算所提取的块边界像素对之间的差作为第一差，并且计算所提取的非块边界像素对之间的差作为第二差。对间差计算单元计算第一差和第二差之间的差作为所提取的像素区域的块失真的量。评价单元根据计算出的所提取的像素区域的块失真的量，评价输入图像的块失真的量。
文档编号H04N7/30GK101014079SQ20061016703
公开日2007年8月8日 申请日期2006年12月13日 优先权日2005年12月16日
发明者木村俊一 申请人:富士施乐株式会社