专利名称：：空间活动量度和用于评价空间活动量度的方法
技术领域：
：本发明涉及通过空间活动量度(spatialactivitymetric)对图像进行表征。
背景技术：
：在图像处理领域，空间活动量度提供了对图像的规定区域内的纹理(texture)的测量。利用此对纹理的测量使得许多通常的图像处理应用能够利用人类视觉系统的空间掩蔽效应(spatialmaskingeffect)。空间掩蔽的发生是因为人类视觉系统机制可以容忍引入到图像的纹理化区域中的更多失真(与引入到图像的平滑区域中的失真相比而言)。在经过压縮的视频图像的情况中，引入到图像中的失真对应于因量化引起的压縮噪声。在对视频图像加水印的情况中，引入的失真对应于嵌入的数据。许多图像处理应用使用空间活动量度来在平坦的或者低细节的区域(在此区域中，引入的失真对人眼来说表现为较明显)和繁杂的或纹理化的区域(在此区域中，引入的失真表现为较不明显)之间进行区分。虽然现有的空间活动量度提供了对无颗粒(grain-free)图像(诸如与动画有关的图像或者其他具有诸如低胶片颗粒强度(filmgrainstrength)的低分辨率噪声的图像)的良好测量，但是这些量度不能在存在这种噪声的情况下对空间活动进行表征。因此，对于包含噪声的图像，空间掩蔽可能产生引入的失真未被掩蔽的图像部分。现有的空间活动量度可以被分成三类(1)基于方差(variance)4的；(2)基于梯度(gradient)的；以及(3)基于DCT的。下面给出每类的说明，所有说明都基于16x16的块。基于方差的量度此量度利用亮度(luminance)的方差来测量空间活动。此类中的一种代表性量度是在MPEG-2参考软件的速率控制算法中所使用的量度。^Tvar=l+.=i^4(vari)，(1)其中，var,.是第i个8x8的子块的方差。利用此量度，MPEG-2参考软件允许纹理化区域中的较多失真以及平滑区域中的较少失真，并且因此以相同的比特率为整个画面获得了较高的视觉质量。基于梯度的量度在此类中存在两种量度。第一量度JCj;。考虑了水平和竖直梯度:<formula>formulaseeoriginaldocumentpage5</formula>其中，/,、,是像素(Z，力处的亮度值。第二量度^C7^考虑了对角线方向:<formula>formulaseeoriginaldocumentpage5</formula>其中，gm《,"是通过下面的4个5x5的定向高通滤波器在像素(z'，力[3]处计算得到的局部梯度<table>tableseeoriginaldocumentpage5</column></row><table>基于DCT的量度此量度利用了亮度值的DCT系数的AC成分。第-数的绝对值<formula>formulaseeoriginaldocumentpage5</formula>其中，F(z',力是频率("力的DCT系数。另一量度通过DC系数[3]对AC系数进行归一化(normalize):釘16xl6台台F2(0,0)上述量度提供了对具有低噪声(诸如胶片颗粒强度)的无颗粒或低分辨率图像的良好测量。但是，这些量度将诸如胶片颗粒之类的噪声作为纹理来对待，并且对主要由强噪声(诸如胶片颗粒)构成的平滑区域分配了相对高的值。因此，这些量度将错误地把具有强噪声的平滑区域认为是纹理化区域。因此，这样的量度将很可能引入比这些平滑区域可以掩蔽的失真更多的失真。因此，需要一种有效地对存在诸如胶片颗粒之类的噪声的区域的空间活动进行测量的新的空间活动量度。当空间活动量度测量与空间掩蔽一起被用于改善显示图像的质量时，图像的视觉质量用作对量度的有效性的测量。在视频压縮的情况中，经解码的画面用作显示画面。在加水印的应用中，显示的画面将具有嵌入的数据。对空间活动量度的有效性的测量涉及大量主观评价。为了减少评价时间，需要一种对空间活动量度的性能进行评估的客观方法。
发明内容简要地，根据当前原理的一个优选实施例，提供了一种建立用于对图像进行表征的空间活动量度的方法。该方法通过首先确定空间活动量度而开始。之后，估计图像内的噪声(该噪声可以包括胶片颗粒)。然后，将空间活动量度减少所估计的噪声量，以使得在结合空间掩蔽使用该空间活动量度时降低因噪声(诸如胶片颗粒)的存在而引起的未掩蔽的失真的似然性(likelihood)。根据当前原理的另一方面，提供了一种对空间活动量度的有效性进行表征的方法，该空间活动量度具有用于提供对图像中的纹理的测量的类型。该方法通过确定由空间活动量度针对图像中具有相似纹理的区域做出的测量的相似性而开始。还要确定由空间活动量度针对图像中具有不同纹理的区域做出的测量的差异。空间活动测量对相似地纹理化的区域提供相似测量以及对具有不同纹理的区域的测量之间的较大差距(largespread)的程度反映了该量度的高性能程度。图1以流程图的形式示出用于将根据当前原理的第一实施例所建立的空间活动量度应用于图像的处理的步骤；图2以流程图的形式示出用于将根据当前原理的第二实施例所建立的空间活动量度应用于图像的处理的步骤；图3以流程图的形式示出用于将根据当前原理的第三实施例所建立的空间活动量度应用于图像的处理的步骤；图4以流程图的形式示出根据当前原理的另一方面的用于对空间活动量度的有效性进行表征的处理的步骤；图5示出一种示例性视频编码器的示意框图，其示出针对编码器所使用的速率控制算法可以如何应用空间活动量度；图6以流程图的形式示出根据当前原理的另一方面的用于在图5的编码器中实现速率控制的处理的步骤；以及图7示出应用空间活动量度对视频质量进行分级的视觉质量分析器的示意框图。具体实施例方式虽然现有的空间活动量度提供了对胶片颗粒强度较低的无颗粒或低分辨率图像的良好测量，但是在存在胶片颗粒时，这些量度不仅对空间活动表现出强的依赖性，而且对明度(brightness)表现出强的依赖性。为了论述的目的，胶片颗粒一般是作为胶片显影期间生成的随机纹理而出现在图像中的。胶片颗粒一般被认为是附加的、依赖于信号的噪声，其依赖胶片库存(filmstock)、光照条件和显影处理而在大小、形状和强度上不同。胶片颗粒的灰度(intensity)表现为与像素灰度非常相关，这解释了为什么现有空间活动量度强烈地依赖于明度。根据当前原理，提供了一种用于建立空间活动量度的方法，该空间活动量度大大降低了对明度的依赖性。当前原理的方法通过下述两方面来降低对明度的依赖性(1)估计胶片颗粒(通常通过建模)，以及(2)从空间活动量度去除胶片颗粒强度。胶片颗粒估计可以根据下面的关系通常通过建模来估计胶片颗粒g("')=/(")+/(";rxo.，_/)，(7)其中抓力和/(!'，_/)分别构成位置(!，力处的观察到的像素值和无噪声像素值，7是给出胶片库存和拍摄条件的常数，且《,力是零均值正态分布噪声。乘积/"/)《("/)表征了胶片颗粒。通常，y落在0.3-0.7的范围内，并且在大多数情况中具有约为0.5的值。对于/o',力紧密聚在一起的平滑区域，式(8)可近似为(8)假定w，/)独立于/(/,_/)，则可以得到如(9)/(")和—'，力的方差，C7二"是胶片颗粒的方差。对于最初记录在胶片上并且之后被转换成高分辨率视频的图像，通常大部分区域表现为平坦或者几乎平坦，也就是它们没有纹理。这些区域的方差主要依赖于胶片颗粒，即，^-0并且《^CTn2。对于具有相似明度的平坦区域，颗粒的特性是均一的，这产生了比纹理化区域的方差更小的非常接近的《。因此，方差的直方图通常具有较小的峰。因此，基于直方图的用于估计颗粒强度的方法将产生良好的结果。为了利用基于直方图的方法，首先根据分开的明度范围将图像中的区域分类成为多个组。对于每个组，计算方差的直方图，以使得能够识别出第一峰《—.。禾'J用来自所有明度范围的《w，可以利用线性回归得出<,.作为明度的线性函数。g0'，■/)=/o'，y)+/x"('，刀，其中，7=77471:艺/("力*/0'，力。下的方差关系《=OJ+,X2=oj+CT"，其中，《、C^和C7〗分别是g("力、为了消除胶片颗粒的影响，根据下述关系式从现有的基于方差的量度^C7^导出胶片颗粒项釘==釘咖-)，(10)其中，W^^)是^;n的函数。在特定实施例中，胶片颗粒的影响可以被认为是胶片颗粒的方差，即，m(cri。,.)=o^,。当考虑胶片颗粒以外的噪声时，类似的方法可用于对噪声进行建模并且去除其对空间活动量度的影响。扩展从其它现有空间活动量度去除诸如胶片颗粒之类的噪声影响的方法将为具有噪声的画面产生改善的性能。图1以流程图的形式示出用于将根据当前原理的第一实施例所建立的空间活动量度应用于图像的处理的步骤。图1的处理在步骤100开始，在该步骤中，各种变量被初始化。在步骤100之后，执行步骤110以发起第一迭代循环，该循环被示出为循环(1)，该循环的循环索引值(loopindexvalue)i最初等于l。在每次执行此循环时，循环索引值i增加l。循环(1)包括步骤120-170。步骤120被执行以发起从图像读取第i组数据。之后，步骤130被执行，并且通常通过前面描述的建模处理来进行胶片颗粒估计。在步骤130之后是步骤140，并且第二迭代循环开始，该循环被示出为循环(2)，该循环的循环索引值j最初等于1。在每次执行此循环时，循环索引值j增加1。循环(2)包括步骤150-160。步骤150被执行以计算第j区域的空间活动量度。步骤150的重复执行使得能够为第i组数据的每个区域计算空间活动量度。对于基于块的视频压縮应用(诸如MPEG-4AVC)，一个区域指16x16的宏块(macroblock)。步骤150中对空间活动量度的计算是通过最初建立量度(通常利用前面所述的己知技术之一)而开始的。这样，最初建立的空间活动量度可以构成基于方差、基于梯度或者基于DCT的量度。在最初建立量度之后，从此量度减去通常根据建模而获得的估计的噪声(例如胶片颗粒)，以去除这种噪声的影响。然后，在步骤160中将步骤150中计算出的空间活动量度应用于图像。当被应用于图像时，空间活动量度提供对纹理的测量，以通过引入失真而允许空间掩蔽，使得在平坦区域(在此区域中，失真相对于人眼是较明显的)中引入的失真表现较不明显。在步骤170中，第二循环(循环(2))结束。换句话，循环(2)内的步骤被重复执行，直到循环变量j达到其最大值(对应于总区域数)时为止。在步骤180中，第一循环(循环(1))结束。换句话，循环O)内的步骤被重复执行，直到循环变量i达到其最大值(对应于要被读取的总数据组数)时为止。在所有数据组的每个区域都经过处理之后，整个处理在步骤190结束。图2以流程图的形式示出用于将根据当前原理的第二实施例所建立的空间活动量度应用于图像的处理的步骤。如在下文中将会更好地理解的，图2的处理包括许多与图1相同的步骤。然而，图2的处理实质区别在于通过利用与模型所操作的那组数据不同的一组数据来对胶片颗粒进行建模。在特定实施例中，序列中的最初n个画面可用于对胶片颗粒进行建模，但是该模型被应用于该序列中的每个画面。参考图2，一旦执行进行初始化的开始步骤(步骤200)，就开始空间活动量度应用处理。之后，步骤210被执行，在该步骤中，读取用于胶片颗粒建模的一组数据，之后在步骤220中提取模型参数(例如对颗粒的建模)以估计噪声。然后，步骤230被执行以发起第一迭代循环，该循环被示出为循环(1)，该循环的循环索引值i最初等于1。在每次执行此循环时，循环索引值i增加l。此循环包括步骤240-280。步骤240被执行以发起从图像读取第i组数据。步骤250发起第二迭代循环，该循环被示出为循环(2)，该循环的循环索引值j最初等于1。在每次执行此循环时，循环索引值j增加1。循环(2)包括步骤260-270。步骤260被执行以计算第j区域的空间活动量度。步骤260的重复执行确保为此组数据的每个区域计算空间活动量度。步骤260中对空间活动量度的计算是通过最初建立量度(通常利用前面所述的已知技术之一)而开始的。最初，空间活动量度可以构成基于方差、基于梯度或者基于DCT的量度。在最初建立量度之后，减去通常根据建模而获得的估计的噪声(例如胶片颗粒)，以去除这种噪声对量度的影响。然后，在步骤270中将步骤260中计算出的空间活动量度应用于图10像。此空间活动量度提供对纹理的测量，以通过引入失真来允许空间掩蔽，使得在失真相对于人眼较明显的平坦区域中引入的失真表现较不明显。在步骤280中，第二循环(循环(2))结束。换句话，循环(2)内的步骤被重复执行，直到循环变量j达到其最大值(对应于总区域数)时为止。在步骤290中，第一循环(循环(1))结束。换句话，循环(1)内的步骤被重复执行，直到循环变量i达到其最大值(对应于要被读取的总数据组数)时为止。在所有数据组的每个区域都经过处理之后，整个处理在步骤295结束。与图1的处理相比，图2的处理的优点在于通过利用可能与模型被应用于的数据不同的一组数据来进行图2中的胶片颗粒的建模。通过增大建模的样本数，模型精度增大。将所有数据组中的一部分用于建模将会增大处理速度。图3以流程图的形式示出用于将根据当前原理的第三实施例所建立的空间活动量度应用于图像的处理的步骤。图3的处理通过利用作为元数据而提供的胶片颗粒模型，构成图1的处理的变体。图3的处理在步骤300开始，在该步骤中，各种变量被初始化。在步骤300之后，步骤310被执行以从元数据获得胶片颗粒模型。之后，步骤320被执行以开始第一迭代循环，该循环被示出为循环(1)，该循环的循环索引值i最初等于1。在每次执行此循环时，循环索引值i增加1。该循环包括步骤330-370。步骤330被执行以发起从图像读取第i组数据。步骤330之后为步骤340，并且第二迭代循环开始，该循环被示出为循环(2)，该循环的循环索引值j最初等于1。在每次执行此循环(2)时，循环索引值j增加1。循环(2)包括步骤350-360。步骤350被执行以计算第j区域的空间活动量度。步骤350的重复执行使得能够为此组数据的每个区域来计算空间活动量度。步骤350中对空间活动量度的计算是通过最初建立量度(通常利用前面所述的已知技术之一)而开始的。最初，空间活动量度可以构成基于方差、基于梯度或者基于DCT的量度。在最初建立量度之后，减去通常根据建模而获得的估计的噪声(例如胶片颗粒)，以去除这种噪声对量度的影响。然后，在步骤360中将步骤350中计算出的空间活动量度应用于图像。此活动量度提供对纹理的测量，以通过引入失真来允许空间掩蔽，使得在失真相对于人眼较明显的平坦区域中引入的失真表现为较不明显。在步骤370中，第二循环(循环(2))结束。换句话，循环(2)内的步骤被重复执行，直到循环变量j达到其最大值(对应于总区域数)时为止。在步骤380中，第一循环(循环(1))结束。换句话，循环(1)内的步骤被重复执行，直到循环变量i达到其最大值(对应于要被读取的总数据组数)时为止。在所有数据组的每个区域都经过处理之后，整个处理在步骤390结束。空间活动量度性能评估方法一般而言，空间活动量度有助于充分利用空间掩蔽效应。例如，为了在视频压縮应用中获得均一的高视觉质量，与较小的空间活动量度测量相关联的区域被以较低的量化步长压縮。相反，与较大的空间活动量度测量相关联的区域被以较高的量化步长压縮。因此，空间活动量度的性能将强烈地影像显示画面的视觉质量。通过评估显示画面的视觉质量来判断空间活动量度的性能是常见的。这样的处理涉及大量主观评价。根据当前原理的另一方面，提供了一种用于评估空间活动量度的性能的方法。如下文所述，该方法通过针对平滑区域和纹理化区域二者客观地评估量度的性能来作出这样的评估。平滑区域集中(concentration)优选地，有效的空间活动量度应当对具有相似视觉平滑度的区域分配相似的测量，g卩，对于所有平滑区域，空间活动量度测量应当集中在一个水平。平滑区域和繁杂区域之间的差距为了使给定的图像处理应用(例如，视频压縮)充分利用掩蔽效应并允许纹理化区域中的更多失真，空间活动量度测量应当提供平滑区域和纹理化区域(例如繁杂区域)之间的差距。根据上面两个标准，评估(下文中称为"平滑繁杂区域差距(SBAS)")可以被定义，用于对以下二者进行量化(1)空间量度如何对具有相似视觉平滑度的区域分配测量，以及(2)空间量度如何将平滑区域和繁杂区域分开。数学上，平滑繁杂区域差距可以通过下式表达(11)其中，^^,,是用于整个画面的平均量度，"vg,和。,分别是平滑区域中的量度的平均值和标准偏差。注意，对于本方法，平滑区域被手动选择并且用作该方法的视觉提示。当空间活动量度为具有相似视觉平滑度的区域分配相似测量时，C7,将较小。另一方面，当空间活动量度将平滑区域和纹理化区域分开时，l"&「av^,l变大。因此，SBAS的值越大，空间活动量度越有效。图4示出根据当前原理的说明性实施例的用于对空间活动量度的有效性进行评估的方法。本评估方法以步骤400的执行开始，在步骤400中，进行初始化。之后，步骤410被执行，并且读取一组图像数据。在步骤420中，手动选择图像内的平滑区域。接着，在步骤430中，第一循环开始，其中循环索引值i最初等于1。该循环包括步骤440，并且在每次执行此循环时，索引值i增大，直到所有空间活动量度中的最后一个已经经过分析为止，如下所述。在每次执行步骤440时，为每个空间活动量度i来计算如根据式(11)所述的SBAS的值。该循环在步骤450结束。换句话，该循环内的步骤被重新执行，直到循环变量i达到其最大值(对应于经过评价的空间活动量度数)时为止。在步骤460，对空间活动量度进行总的评价。具有最大SBAS的空间活动量度成为"最佳"量度。图5示出示例性视频编码器的示意框图，其示出针对编码器所采用的速率控制算法可以如何应用空间活动量度。图5的编码器包括对进入的视频信号进行缓冲的帧排序缓冲器500。帧排序缓冲器500将其输出端耦合到求和块502的第一输入端，求和块502的输出端连接到变换和量化块13505，变换和量化块505用于在熵编码块510执行熵编码之前对来自求和块的进入视频数据执行变换和量化。熵编码块510将其输出端连接到求和块515的第一输入端，求和块515的输出端连接到输出缓冲器520，输出缓冲器520在编码器进行输出之前存储经编码的视频。该求和块的第二输入端接收来自SEI插入器518的补充增强信息(SEI)消息，SEI插入器518根据输入的元数据来产生这种消息。由熵编码块510执行的编码依赖于由运动估计块525对存储在参考画面存储器527中的参考画面执行的运动估计。运动补偿块530确定由运动估计块525建立的运动估计所需的运动补偿量。在帧间预测(inter-prediction)模式中，运动估计在编码器的操作期间被经由开关535而施加到求和块502的第二输入端。宏块(MB)确定块540控制开关535，以基于哪种模式对目前的宏块提供最佳编码来在帧间预测和内部预测之间进行选择。当在内部预测模式下操作时，开关535耦合到内部预测块545的输出端，内部预测块545基于逆变换和量化块550和宏块确定块540的输出信号的和(如求和块555所提供的)来提供相同画面的预测。逆变换和量化块550对由变换和量化块505产生的输出信号执行逆变换和量化。求和块555的输出端连接到解块滤波器(deblockingfilter)560，解块滤波器560对画面执行操作以便随后存储在参考画面缓冲器527中。图5的编码器包括速率控制块570，速率控制块570控制变换和量化块505的量化水平。另外，速率控制块570还控制画面类型确定块580，以控制进行编码的画面的类型。此外，速率控制块570还控制序列参数集(SPS)和画面参数集(PPS)插入器590，SPS和PPS插入器590将序列集提供到求和块以插入到经编码的视频中。在图5中看到，速率控制块570响应于空间活动量度而操作。图6以流程图的形式示出在图5的编码器的速率控制块570内应用空间活动量度的处理的步骤。处理在步骤600开始，在该步骤期间进行初始化。之后，步骤610被执行，在步骤610期间，通常操作员的帮助下进行编码器设置。编码器设置可涉及对目标比特率和与编码处理有关的一个或多个参数的规范的设置。在步骤610之后是步骤620，用于开始一个循环，该循环的索引值i对应于宏块(MB)数。最初，索引值i等于1。该循环包括步骤630-650。在每次执行步骤630时，计算第i个宏块(MB》的空间活动量度ACTn^的值。在每次执行步骤640时，根据以下关系式计算第i个宏块的量化偏移-A萨^4CTJ(12)按照这种方式，空间活动量度将映射到量化步长或者QP参数偏移。在步骤650期间，编码器将对第i个宏块(MBi)进行编码，通常利用现有的压縮标准，诸如MPEG-2、MPEG-4AVC或VC-1。该循环在步骤660结束。换句话，这些步骤重复执行，直到循环变量i达到其最大值(对应于宏块数)时为止。之后，处理在步骤670结束。图7描述在对视频质量进行分类时应用空间活动量度的视觉质量分析器的示意框图。该视频质量分析器包括应用于输入画面的空间活动量度700。空间活动量度700提供的对纹理的测量控制着块705所执行的空间噪声掩蔽。第一质量分析器710针对参考画面对输入画面进行客观质量分析。第二质量分析器720接收第一分析器的输出以及来自块705的经过空间掩蔽的画面，以与这组参考画面相比较。第二分析器720的输出提供质量评估结果。前面描述了利用考虑了图像噪声的空间活动量度对图像进行表征的技术。权利要求1.一种方法，包括以下步骤建立用于对图像进行表征的空间活动量度；估计所述图像内的噪声；以及根据所估计的噪声修改所建立的空间活动量度。2.根据权利要求l所述的方法，其中，根据所述图像内的方差来建立所述空间活动量度。3.根据权利要求1所述的方法，其中，根据图像梯度来建立所述空间活动量度。4.根据权利要求1所述的方法，其中，根据离散余弦变换系数来建立所述空间活动量度。5.根据权利要求1所述的方法，其中，根据公共的图像数据组来建立所述空间活动量度并估计所述噪声。6.根据权利要求1所述的方法，其中，根据不同的数据组来建立所述空间活动量度并估计所述噪声。7.根据权利要求1所述的方法，其中，利用通过元数据获得的模型来估计所述噪声。8.根据权利要求1所述的方法，还包括以下步骤将所述空间活动量度应用于所述图像，以提供对图像纹理的测量；以及通过根据所述空间活动量度引入失真来在空间上掩蔽所述图像，以降低引入的失真在具有低纹理的区域中的出现。9.根据权利要求1所述的方法，还包括以下步骤将所建立的空间活动量度按照要减少的量应用于编码器，以改变速率控制。10.根据权利要求1所述的方法，还包括以下步骤将所建立的空间活动量度按照要减少的量应用于编码器，以控制量化偏移。11.一种用于对表征图像中的纹理的空间活动量度的有效性进行表征的方法，该方法包括以下步骤确定所述空间活动量度对所述图像中具有相似纹理的区域做出的测量的相似性；以及确定所述空间活动量度对所述图像中具有不同纹理的区域做出的测量的差异。12.根据权利要求11所述的方法，其中，第一个确定步骤还包括手动选择至少两个具有低纹理的区域的步骤。全文摘要通常基于图像方差、图像梯度或DCT系数中的一种来建立用于对图像进行表征的空间活动量度。然后，将空间活动量度减小所估计的图像中的噪声量，以使得当空间活动量度与空间掩蔽相结合时将会降低因诸如胶片颗粒之类的噪声的存在而引起的未掩蔽失真的似然性。通过确定空间活动量度对图像中具有相似纹理的区域做出的测量的相似性以及确定空间活动量度对图像中具有不同纹理的区域做出的测量的差异，来确定这种空间活动量度的有效性。文档编号G06T7/40GK101523441SQ200780036506公开日2009年9月2日申请日期2007年9月18日优先权日2006年9月29日发明者克里斯蒂娜·古米拉,翟杰夫,路小安申请人:汤姆逊许可证公司