使用图像的多级分解确定用于图像的质量计量的方法和系统的制作方法

专利名称：使用图像的多级分解确定用于图像的质量计量的方法和系统的制作方法
技术领域：
本发明涉及评估图像质量，尤其涉及以增强的感知性能确定对图像的质量或度量的改善的计量的方法和系统。
背景技术：
在包括图像转码和压缩的各种情境中，评估图像质量是重要的。在异构网络(包括移动终端、蜂窝电话、计算机和其它电子设备)中传播丰富的多媒体内容时，对图像进行转码是关键的，所述多媒体内容包括文本、音频、静止和运动的图像、照片、视频剪辑。可通过测量原始图像(通常称为基准图像)与在图像处理之后获得的图像(通常称为失真图像)之间的相似性而评估图像质量。这样的质量评估可例如用于确定图像处理技术的有效性。在开发各种图像和视频处理应用(包括多媒体应用)以对终端用户(人类用户)提供可接受的输出中，图像质量评估具有重要的作用。图像质量最佳地通过人类观察员主观评估。然而，主观评估质量是耗时、昂贵的，并且不能用于实时应用。从而，需要定义客观标准，该客观标准可测量未失真的原始图像与失真的图像信号之间的差异。理想地，这样的客观测量应与两个图像信号之间的感知的差异强相关并且可以随着主观质量线性变化。主观图像质量涉及人类观察者如何感知处理的图像以及如何指示他对质量的意见。通常基于基准图像的可用性对客观方法进行分类。如果基准图像是可用的，则将对质量或质量度量的测量认为是全基准(FR)评估测量。峰值信噪比(PSNR)是最老和最广泛使用的FR评估测量并且具有多个有吸引力的特征。它非常简单，具有清楚的物理含义，无参数，并且在如Z. Wang和A. C. Bovik在Mean squared error:Love it or leave it Anew look at signal fidelity measures (IEEE Signal Processing Mag. , vol. 26, no. I,第98-117页，2009年I月)中描述的各种优化情境中非常好地进行。该测量被如下定义FS1KR.1) = W t&3±s \mse^xY)/MSECX,￥) = , 2- Ys) .)2
I fn.K其中，X和Y分别表示基准(原始)和失真的图像，Xfflax是基准图像X的最大可能像素值(假设最小像素值为零)，并且Np为每个图像中的像素数目。然而，常规PSNR不能充分反映图像保真度的人类感知，即，大PSNR增益可能获得视觉质量上很小的改善。从而，已经通过研究开发了多个其它质量计量。概括地说，对图像信号的FR评估包括两种方法自下而上的方法和自上而下的方法，在Z. Wang和A. C. Bovik的 “Modern Image Quality Assessment，，(USA:Morgan & Claypool, 2006)中对其进行了讨论。在自下而上的方法中，通过量化错误的可视性最佳地估计对质量的感知测量。为了根据人类视觉系统(HVS)的特征量化错误，在该类型中的技术尝试对由心理和生理实验表征的HVS的不同阶段的功能特性进行建模。如Z. Wang和A. C. Bovik在“ModemImage Quality Assessment” (USA:Morgan & Claypool, 2006and)中和 A. C. Bovik 在“The Essential Guide to Image Processing^ (USA:Academic Press，2009，ch. 21)中所述，这通常在预处理、频率分析、对比度敏感性分析、亮度掩蔽、对比度掩蔽以及错误集中的若干阶段中完成。大部分基于HVS的质量评估技术使用多信道模型，其假设通过独立的信道处理空间频率的每个带。利用S. Daly在“The visible difference predictor:Analgorithm for the assessment of image fidelity”(Proc. SPIE，vol. 1616，1992 年 2月，第2-15页)中讨论的可见差异预测(VDP) 模型，利用Watson的Cortex变换的变型将图像分解为五个空间级别以及六个取向级别。然后，从信道中的对比度计算阈值地图。在“A visual discrimination mode for image system design and evaluation，， (VisualModels for Target Detection and Recognition,新加坡World Scientific，1995 年，第207 - 220页)中示出的Lubin的模型(也称为Samoff视觉分辨模型(VDM))中，在低通滤波和再釆样之后将图像分解为七个解析度。P. C Teo和D. J. Heeger使用可控棱锥变换将图像分解为若干个空间频率级别，其中将每个级别进一步分为一组(六个)取向带。他们的方法在 D. M. Chandler 的 “Perceptual Image distortion” (Proc. IEEE. Int. Conf.Image Processing, vol. 2，1994年 11 月，第 982-986 页，VSNR)中进行了描述，而 S. S. Hemami的 “A wavelet-based visual signal-to-noise ratio for natural images，，(IEEETransactions on Image Processing, vol. 16，no. 9，第 2284-2298 页，2007 年 9 月)是在图像预处理利用分离小波变换和9/7双正交滤波器将基准图像和在基准和失真的图像之间的错误都分解为五个级别之后的另一个高级的基于HVS的度量。然后，其计算对比度检测阈值，以对于通过小波分解生成的每个子带评估检测失真的能力。其它已知的基于自下而上的方法的方法使用傅立叶变换而不是多解析度分解，包括由N. Damera-Venkata.T. D. Kite、W. S. Geisler、B. L Evans 和 A. C. Bovik 在 “Image quality assessment basedon a degradation model，，(IEEE Transactions on Image Processing, vol. 9, no. 4,第636-650页，2000年4月)中讨论的加权信噪比(WSNR)、以及由M. Miyahara. K. Kotani和V. R. Algazi 在“Objective Picture Quality Scale (PQS) for image coding” (IEEETransactions on Communication, vol. 46，no. 9，第 1215 - 1225 页，1998 年 9 月)中描述的图像质量分级(PQS)。基于自下而上的方法的方法具有若干个重要限制，Z. Wang和
A.C. Bovik 在“Modern Image Quality Assessment” (USA:Morgan & Claypool，2006)中以及 Z. Wang、A. Bovik、H. Sheikh 和 E. Simoncelli 在 “Image quality assessment:Fromerror visibility to structural similarity，， (IEEETransactions on ImageProcessing, vol. 13，no. 4，第600 - 612页，2004年4月)对其进行了讨论。而且，基于错误的技术，诸如 WSNR、噪声质量计量(NQM)(由 N. Damera-Venkata^T. D. Kite、W. S. Geisler、
B.L.Evans 和 A. C. Bovik 在“Image quality assessment based on a degradationmodel，，(IEEE Transactions on Image Processing, vol. 9, no. 4,第 636-650 页，2000年 4 月)中描述)、以及 VSNR(由 D. M. Chandler 和 S. S. Hemami 在“VSNR:A wavelet-basedvisual signal-to-noise ratio for natural images，，(IEEE Transactions on ImageProcessing, vol. 16，no. 9，第2284-2298页，2007年9月)中描述)，不是那么易于使用，因为它们需要复杂的过程以计算人类视觉系统(HVS)参数。
利用基于自上而下的方法的技术，将HVS的总体功能看作为黑盒，并将输入/输出关系作为关注焦点。从而，根据自上而下的方法的技术不需要任何来自HVS的校准参数或观察配置。在该类型中的两种主要策略使用结构方法和信息理论方法。使用结构方法的最重要的方法为Z. Wang、A. Bovik、H. Sheikh和E. Simoncelli在“Image quality assessment:from error visibility to structural similarity^IEEETransactions on Image Processing，vol. 13，no. 4，第 600 - 612 页，2004 年 4 月)中描述的结构相似性(SSIM)指数。如 H. R. Sheikh、M. F. Sabir 和 A. C. Bovik 在“A statisticalevaluation of recent full reference image quality assessment algorithms”( IEEETransactions on Image Processing, vol. 15，no. 11，第 3440 - 3451 页，2006 年 11 月)中所讨论的，相比于其它质量计量，SS頂以可接受的计算复杂度提供了精确的分数。SSIM在近年已经获得大量的关注，并且被考虑用于大范围的应用。如Z.Wang，A.Bovik、H. Sheikh和E. SimoncelIi在“Image quality assessment:from error visibility to structuralsimilarity，，(IEEE Transactions on Image Processing, vol. 13, no. 4,第 600 - 612页，2004年4月)中所述，在SSIM方法中的主要构思是，HVS高度适于从可视场景中提取信息，因此，对结构相似性(或失真)的测量应提供对感知的图像质量的好的近似。一些方法尝试改善 SSIM 指数。由 Z. Wang、E. P. Simoncelli 和 A. C. Bovik 在“Multi-scale structuralsimilarity for image quality assessment，，(Proc. IEEE Asilomar Conf. Signals, Systems，Computers，vol. 2，2003年11月，第1398-1402页)中讨论的多级SSIM尝试通过应用连续低通滤波和下釆样而引入处于五个不同解析度的图像细节以增加SSIM评估精度。在D. M. Rouse 的 “Understanding and simplifying the structural similarity metric，，(Proc. IEEE International Conference on Image Processing, San Diego，2008年 10 月，第 1188-1191 页)，和 S. S. Hemami 的“Discrete wavelet transform-based structuralsimilarity for image quality assessment” (Proc.IEEE International Conferenceon Image Processing, San Diego，2008 年 10 月，第 377-380 页)中，提出利用不同级别的子带在分离小波域对其进行计算。将利用Daubechies 9/7小波的五级分解应用到原始图像和失真的图像，然后计算对应的子带之间的SSIM。最后，通过计算全部SSIM的加权平均获得相似性测量。为了确定权重，已经进行大量的实验以测量人眼对不同频带的敏感度。Z. Wang和 E. P. Simoncelli 在“Translation insensitive image similarity in complexwavelet domain，，(Proc. IEEE International Conference on Acoustics, Speech, SignalProcessing, vol. 2，2005 年 3 月，第 573-576 页)中、以及 M. P. Sampat、Z. Wang、S. Gupta、A.C. Bovik 和 M. K. Markey 在“Complex wavelet structural similarity:A new imagesimilarity index，，(IEEE Transactions on Image Processing，vol. 18，no. 11，第2385 -2401页，2009年11月)中讨论了复杂小波结构相似性(CW-SSDO (其受益于6级、16方向可控的棱锥分解特征的复合模式)，并提出能抵抗小的几何失真的措施。利用信息理论方法，视觉质量评估被视作信息保真度问题。H.R. Sheikh、A.C.Bovik 和 G. de Veciana 在 “An information fidelity criterion for imagequality assessment using natural scene statistics，，( IEEE Transactions on ImageProcessing, vol. 14，no. 12，第2117 - 2128页，2005年12月)中提出基于自然场景统计的用于图像质量计量的信息保真度标准(IFC)。在IFC中，通过使用高斯尺度混合(GSM)对图像源建模，而将图像失真处理建模为易出错的通信信道。通过使用作为信息失真度的统计测量的交互信息，量化在正在比较的图像之间共享的信息。另一信息理论质量度量为 H. R. Sheikh 和 A. C. Bovik 在“Image information and visual quality，，(IEEETransactions on Image Processing, vol. 15, no. 2,第 430 - 444 页，2006 年 2 月)中讨论的“视觉信息保真度(VIF)指数”。对VIF指数的计算遵循与IFC相同的过程，不同的是，在确定VIF指数中，将图像失真处理和视觉感知处理都建模为易出错的通信信道。对于VIF测量，以加性高斯白噪声建模HVS失真信道。根据H. R. Sheikh、M. F. Sabir和A. C. Bovik在“A statistical evaluation of recent full reference image quality assessmentalgorithms，，(IEEE Transactions on Image Processing, vol. 15, no. 11,第 3440 - 3451页，2006年11月)中示出的突出图像质量评 估算法的性能评估，VIF指数是最精确的图像质量测量。回顾已有的文献揭示了现有技术方法的多个缺陷。这些现有技术方法的局限包括下述内容。首先，用于精确确定质量计量的现有评估技术的计算复杂性非常高。如果使用用于确定质量(质量度量)测量的精确低复杂度技术，则可以更有效地使用一些图像/视频处理应用，例如如 S. L. P. Yasakethu、ff. A. C. Fernando> S. Adedoyin 和 A. Kondoz 在名为 “Arate control technique for off line H. 264/AVC video coding using subjectivequality of video，，(IEEE Transactions on Consumer Electronics, vol. 54, no. 3,第1465-1472页，2008年8月)的文献中描述的对于视频编码中的每个帧识别最佳量化参数。第二，现有技术方法使用的自下而上的方法需要相关的技术应用多解析度(resolution)变换、将输入图像分解为大量的解析度(五个或多个)。然而,HVS是不被完全所知的复杂的系统，将不同带合并到最终的度量中是困难的。在相似的自上而下的方法中，诸如 Z. Wang、E. P. Simoncelli 和 A. C. Bovik在“Multi-scale structural similarity forimage qualityassessment，，(Proc. IEEE Asilomar Conf. Signals, Systems, Computers, vol. 2，2003年11月，第1398-1402页)以及较早引用的C. -L. Yang、ff. -R. Gao和较早应用的 L.-M. Po 在“Discrete wavelet transform-based structural similarity for imagequality assessment，，(Proc. IEEE Int. Conf. Image Processing, San Diego, 2008 年 10月，第377-380页)中讨论的多尺度(scale)和多级别SSIM，确定HVS对于不同的尺度或子带的敏感度需要多次实验。而且，如果改变小波或滤波器，计算的权重和参数不再是最优的甚至可能是无效的。第三，诸如SSIM的自上而下的方法收集方形滑动窗中的局部统计值，从而不能总是那么精确。第四，如在上段中引用的C. -L. Yang、W. -R. Gao 和 L. -M. Po 在“Discrete wavelettransform-based structural similarity for image quality assessment，，(Proc. IEEEInt. Conf. Image Processing, San Diego, 2008 年 10 月，第 377-380 页)中讨论的，多个分解级别将使得具有主图像内容的近似子带的尺寸非常小，并且其将不再能够有助于对图像统计值的有效提取。第五，前述SSM方法使用SSM质量映像(map)的平均值来确定图像质量的计量(或总体图像质量分数)。然而，在各个图像区域中的失真对HVS具有不同的影响。
从而，还需要开发对图像质量的改善测量，其能够避免或消除现有技术的缺陷。

发明内容
从而，本发明的一个目的为提供消除现有技术缺陷的用于确定对图像质量计量的改善的方法和系统。根据本发明的一方面，提供一种用于确定对失真图像Y的质量的计量的方法，该计量表征在图像Y与未失真的基准图像X之间的相似性，所述基准图像X具有与图像Y相同的行数和列数的像素，该方法包括
(a)对图像 X 应用 N 级多解析度(multiresolution)分解(decomposition),包括级 1、2、... i、i + 1、...N，以生成对于每个级i，i的范围为I至N-1，用于在级i + I处理的图像X的中间子带；以及对于级N，包含图像X的主体内容的近似子带和包含图像X的边缘的细节子带；(b)对图像Y应用所述N级多解析度分解，包括级1、2、... i、i + I、... N，以生成对于每个级i，i的范围为I至N-1，用于在级i + I处理的图像Y的中间子带；以及对于级N，包含图像Y的主体内容的近似子带和包含图像Y的边缘的细节子带；(C)对图像X的近似子带和图像Y的近似子带应用图像质量度量(IQM)，以生成表征图像X的主体内容与图像Y的主体内容之间的相似度的近似质量计量；Cd)对图像X的级i (i的范围为级I到N_l)的中间子带以及图像X的细节子带进行聚合，以生成表征图像X的边缘的图像X的边缘映像(map)；(d)对图像Y的级i (i的范围为级I到N_l)的中间子带以及图像Y的细节子带进行聚合，以生成表征图像Y的边缘的图像Y的边缘映像；(f )在图像X的边缘映像和图像Y的边缘映像之间应用IQM，以生成表征图像X的边缘与图像Y的边缘之间的相似性的边缘质量计量；以及(g)处理所述近似质量计量和所述边缘质量计量，以确定对质量的计量。在上述方法中步骤(d)还包括基于在确定质量计量中将要实现的精度，选择图像X的在每级i (i的范围为I至N-I)的中间子带和细节子带；仅聚合图像X的选择的中间子带和选择的细节子带；以及步骤(e)还包括基于在确定质量计量中将要实现的精度，选择图像Y的在所述每级i的中间子带和细节子带；仅聚合图像Y的选择的中间子带和选择的细节子带。在上述方法中选择图像X的中间子带和细节子带的步骤还包括选定具有基本相同的解析度的图像X的选择的每级i的中间子带和细节子带；以及选择图像Y的中间子带和细节子带的步骤还包括选定具有基本相同的解析度的图像Y的选择的每级i的中间子带和细节子带。图像X和图像Y的在所述每级i的中间子带对于每个各自的图像包括级i细节子带和级i小波包(WP)子带；级i-WP子带包括级i-WP近似子带和级i-WP细节子带；以及级i-WP近似子带还包括级i_水平 WP近似子带、级i_垂直WP近似子带和级i-对角WP近似子带。上述方法还包括下述中的一个或多个在步骤(a):对于级1，对图像X应用多解析度分解，生成用于在级2处理的级I的中间子带；以及对于级i，i的范围为2至N，对通过在级i-1进行的多解析度分解生成的一个或多个中间子带应用多解析度分解；以及在步骤(b):对于级1，对图像Y应用多解析度分解，生成用于在级2处理的级I的中间子带；以及对于级i，i的范围为2至N，对通过在级i_l进行的多解析度分解生成的一个或多个中间子带应用多解析度分解。在本发明一个实施例中，近似质量计量是近似质量映像,边缘质量计量是边缘质量映像，所述步骤(g)还包括生成对比度映像，包括，根据其对于人类视觉系统的相应的重要性，为图像X和图像Y的近似子带和边缘映像的像素分配对应值；使用对比度映像对近似质量映像进行加权集合(pool)，以生成近似质量分数；使用对比度映像对边缘质量映像进行加权集合，以生成边缘质量分数；以及合并来自步骤(bl8)的近似相似性分数与边缘相似性分数，以确定质量计量。所述方法还包括根据近似子带的最小尺寸S确定N，其生成针对人类视觉系统的基本峰值的响应。在上述方法中步骤(C)包括对图像X的近似子带和图像Y的近似子带应用结构相似性(SSIM)IQM,以生成近似SSM映像，SSIMa ；步骤(f)包括在图像X的边缘映像与图像Y的边缘映像之间应用SSMIQM，以生成边缘SSM映像，SSMe;以及步骤(g)包括处理所述SSMa和所述SSMe以确定SSIMdwt分数作为质量计量；或者步骤(C)包括对图像X的近似子带和图像Y的近似子带应用绝对差(AD)IQM，以生成近似AD映像，ADa ；步骤(f)包括在图像X的边缘映像与图像Y的边缘映像之间应用ADIQM，以生成边缘AD映像，ADe;以及步骤(g)包括处理所述ADa和所述ADe以确定ADdwt分数作为质量计量；或者
步骤(c)包括对图像X的近似子带和图像Y的近似子带应用峰值信号-噪声比(PSNR) IQM,以生成PSNR近似质量分数，PSNRa ；步骤(f)包括在图像X的边缘映像与图像Y的边缘映像之间应用PSNRIQM，以生成PSNR边缘质量分数，PSNRe ；以及 步骤(g)包括处理所述PSNRa和所述PSNRe以确定PSNRdwt分数作为质量计量；或者步骤(C)包括对图像X的近似子带和图 像Y的近似子带应用视觉信息保真度(VIF) IQM,以生成VIF近似质量分数，VIFa ；步骤(f)包括在图像X的边缘映像与图像Y的边缘映像之间应用VIFIQM，以生成VIF边缘质量分数，VIFe ；以及步骤(g)包括处理所述VIFa和所述VIFe以确定VIFdwt分数作为质量计量。在上述方法中，步骤(a)和(b)包括应用N级分离小波变换。方便地，分离小波变换是Haar变换。可选地,分离小波变换是Newland变换、或使用Daubechies滤波器的小波
变换之一。根据本发明的另一方面，提供一种用于确定对失真图像Y的质量的计量的系统，该计量表征在图像Y与未失真的基准图像X之间的相似性，所述基准图像X具有与图像Y相同的行数和列数的像素，该系统包括处理器，以及计算机可读存储介质，其具有存储在其上的计算机可读指令，所述指令当由所述处理器执行时形成以下单元(a)第一分解单元，其对图像X应用N级多解析度分解，包括级1、2、 . . i、i +I、... N，以生成对于每个级i，i的范围为I至N-1，用于在级i + I处理的图像X的中间子带；以及对于级N，包含图像X的主体内容的近似子带和包含图像X的边缘的细节子带；(b)第二分解单元，其对图像Y应用所述N级多解析度分解，包括级1、2、... i、i +I、... N，以生成对于每个级i，i的范围为I至N-1，图像Y的中间子带；以及对于级N，包含图像Y的主体内容的近似子带和包含图像Y的边缘的细节子带；(C)近似质量计量单元，其对图像X的近似子带和图像Y的近似子带应用图像质量度量(IQM)，以生成表征图像X的主体内容与图像Y的主体内容之间的相似性的近似质量计量;(d)第一聚合单元，其对图像X的级i (i的范围为级I到N-1)的中间子带以及图像X的细节子带进行聚合，以生成表征图像X的边缘的图像X的边缘映像；(e)第二聚合单元，其对图像Y的级i (i的范围为级I到N-1)的中间子带以及图像Y的细节子带进行聚合，以生成表征图像Y的边缘的图像Y的边缘映像；(f)边缘质量计量单元,其在图像X的边缘映像和图像Y的边缘映像之间应用IQM,以生成表征图像X的边缘与图像Y的边缘之间的相似性的边缘质量计量；以及(g)质量计量单元,其处理所述近似质量计量和所述边缘质量计量，以确定对质量的计量。
在上述系统中所述第一聚合单元还包括第一选择单元，其基于在确定质量计量中将要获得的精度，选择图像X的在每级i(i的范围为I至N-I)的中间子带和细节子带；以及第一选择性聚合单元，其仅聚合图像X的选择的中间子带和选择的细节子带；以及所述第二聚合单元还包括第二选择单元，其基于在确定质量计 量中将要获得的精度，选择图像Y的在所述每级i的中间子带和细节子带；第二选择性聚合单元，其仅聚合图像Y的选择的中间子带和选择的细节子带。在上述系统中所述第一聚合单元还包括计算装置，用于选定具有基本相同的解析度的图像X的选择的每级i的中间子带和细节子带；以及所述第二聚合单元还包括计算装置，用于选定具有基本相同的解析度的图像Y的选择的每级i的中间子带和细节子带。在上述系统中，所述图像X和图像Y的在所述每级i的中间子带对于每个各自的图像包括级i细节子带和级i小波包(WP)子带；级i-WP子带包括级i-WP近似子带和级i-WP细节子带；以及级i-WP近似子带还包括级i_水平WP近似子带、级i_垂直WP近似子带和级i-对角WP近似子带。上述系统还包括下述中的一个或多个在所述第一分解单元第一级I分解单元，其对图像X应用多解析度分解，生成用于在级2处理的级I的中间子带；第一级i分解单元，其对通过在级i_l进行的多解析度分解生成的一个或多个中间子带应用多解析度分解，其中i的范围为2至N ;在所述第二分解单元第二级I分解单元，其对图像Y应用多解析度分解，生成用于在级2处理的级I的中间子带；第二级i分解单元，其对通过在级i_l进行的多解析度分解生成的一个或多个中间子带应用多解析度分解，其中i的范围为2至N。所述系统还包括这样的计算装置，用于根据近似子带的最小尺寸S确定N，其生成针对人类视觉系统的基本峰值的响应。在上述系统中，所述第一分解单元(a)和所述第二分解单元(b)包括用于应用N级分离小波变换的计算装置，所述分离小波变换可选地为Haar变换、Newland变换或利用Daubechies滤波器的小波变换。根据本发明另一方面，提供了一种计算机可读存储介质，其上存储有计算机可读程序代码指令，所述指令当由处理器执行时进行以下步骤(a)对图像X应用N级多解析度分解，包括级l、2、...i、i + I、... N，以生成对于每个级i，i的范围为I至N-1，用于在级i + I处理的图像X的中间子带；以及对于级N，包含图像X的主体内容的近似子带和包含图像X的边缘的细节子带；(b)对图像Y应用所述N级多解析度分解，包括级1、2、... i、i + I、... N，以生成对于每个级i，i的范围为I至N-1，用于在级i + I处理的图像Y的中间子带；以及对于级N，包含图像Y的主体内容的近似子带和包含图像Y的边缘的细节子带；(c)对图像X的近似子带和图像Y的近 似子带应用图像质量度量(IQM)，以生成表征图像X的主体内容与图像Y的主体内容之间的相似性的近似质量计量；(d)对图像X的级i (i的范围为级I到N-1)的中间子带以及图像X的细节子带进行聚合，以生成表征图像X的边缘的图像X的边缘映像；(e)对图像Y的级i (i的范围为级I到N-1)的中间子带以及图像Y的细节子带进行聚合，以生成表征图像Y的边缘的图像Y的边缘映像；(f )在图像X的边缘映像和图像Y的边缘映像之间应用IQM，以生成表征图像X的边缘与图像Y的边缘之间的相似性的边缘质量计量；以及(g)处理所述近似质量计量和所述边缘质量计量，以确定对质量的计量。从而，提供了使用图像的多级分解来确定图像的质量计量的改善方法和系统。


通过下面参考附图的示例性的对实施例的描述，本发明的其它特征和优点将变得显而易见，其中图I (a)示出本发明实施例的系统100 ；图I (b)更详细地示出图I (a)的级数单元102 ；图I (c)更详细地示出图I (a)的第一分解单元103 ；图I (d)更详细地示出图I (a)的第二分解单元104 ；图I (e)更详细地示出图I (a)的第一聚合单元113 ；图I (f)更详细地示出图I (a)的第二聚合单元114 ；图I (g)更详细地示出基于SSM IQM的用于可选实施例的图I (a)的近似质量计量单元105、质量计量单元108和边缘质量计量单元109 ；图I (h)更详细地示出基于AD IQM的用于可选实施例的图I (a)的近似质量计量单元105、质量计量单元108和边缘质量计量单元109 ；图I (i)更详细地示出基于PSNR IQM的用于可选实施例的图I (a)的近似质量计量单元105、质量计量单元108和边缘质量计量单元109 ；图I (j)更详细地示出基于VIF IQM的用于可选实施例的图I (a)的近似质量计量单元105、质量计量单元108和边缘质量计量单元109 ；图I (k)示出本发明可选实施例的系统IOOa ；图I (I)更详细地示出图I (k)的第一聚合单元113a ;图I (m)更详细地示出图I (k)的第二聚合单元114a ；图I (n)更详细地示出用于可选实施例的图I (I)的第一选择性聚合单元171 ；图I (O)更详细地示出用于可选实施例的图I (m)的第二选择性聚合单元183 ；
图I (p)更详细地示出图I (n)的第一合并单元197 ；图I (q)更详细地示出图I (O)的第一合并单元206 ;图I (r)更详细地示出图I (k)的第一分解单元103a ；图I (s)更详细地示出图I (k)的第二分解单元104a ；图2 (a)示出对本发明实施例使用的用于计算质量计量的方法进行高级描述的框图；图2 (b)为示出在用于计算质量计量的 系统100的总框架中使用的方法的步骤的流程图；图3 (al)示出示例二级分解图像的图像X的子带；图3 (a2)示出示例三级分解图像的图像X的子带；图3 (b)示出示例原始图像；图3 (C)示出为了便于观察通过使用在
之间缩放的采样值计算的用于图3 (b)的图像的对比度映像；图3 Cd)为示出进行逐级聚合的方法的步骤的流程图；图3 Ce)为示出进行跨层聚合的方法的步骤的流程图；图4为示出使用基于SSIM的质量计量计算的可选实施例所使用的方法的步骤的流程图；图5 Ca)显示用于各个分解级的DMOS和SSIMa预测值之间的LCC和SRCC ；图5 (b)显示在用于各个P值的DMOS和SSMdwt预测值之间的RMSE ；图6 Ca)示出基于VIF指数的现有技术方法的框图；图6 (b)为示出使用基于VIF的质量计量计算的可选实施例所使用的方法的步骤的流程图；图7 Ca)显示用于各个分解级的DMOS和VIFa预测值之间的LCC和SRCC ；图7 (b)显示在用于各个P值的DMOS和VIFdwt预测值之间的RMSE ；图8为示出使用基于PSNR的质量计量计算的可选实施例所使用的方法的步骤的流程图；图9 Ca)显示用于各个分解级的DMOS和PSNRa质量预测值之间的LCC和SRCC ；图9 (b)显示在用于各个P值的DMOS和PSNRdwt预测值之间的RMSE ；图9 (C)显示一表格，其示出用于LIVE图像数据库中的不同类型的图像失真的PSNRa 值的 SRCC ；图10为示出使用基于AD的质量计量计算的可选实施例所使用的方法的步骤的流程图；图11显示用于各个分解级的DMOS和平均ADA预测值之间的LCC和SRCC ；图12示出不同的度量和LIVE数据库的DMOS值之间的LCC ；图13示出不同的度量和LIVE数据库的DMOS值之间的RMSE ;以及图14示出不同的度量和LIVE数据库的DMOS值之间的SRCC。
具体实施例方式术语
对比度映像加权函数，用于基于图像或子图像的视觉重要性对图像或子图像的不同区域自动分配权重。差分平均意见分数(DM0S):DM0S值指示失真图像相比于其基准图像的主观质量损失。分离小波变换对图像应用的变换，以将其低频率分量与其高频率分量分离。边缘映像表征对图像的边缘的估计。高斯滑动窗具有单位和与高斯概率分 布的一组系数。线性相关系数(LCC):线性或Pearson相关系数是两个量之间的依赖关系的计量。其通过以两个变量的协方差除以它们的标准偏差的乘积而获得。在提出的方法中，LCC指示预测精度。多解析度分解应用在数字图像并生成多个子图像的方法(或变换)。一个子图像表示原始图像的低频主体内容，其它子图像示出原始图像的细节。Spearman秩相关系数(SRCC):SRCC是对两个变量之间的统计依赖关系的计量。其示出使用单调函数可以多好地描述两个变量之间的关系。+ I的SRCC表示每个变量是另一个的完全单调函数。子带在对图像的N级多解析度分解期间生成各种子带。示出了对图像X的这些子带的描述和用于表示所述子带的术语。需要注意的是，在该部分中使用的X和指数变量L仅是示例的并且在该申请的讨论中由其它变量名称替换。将在N级多解析度分解末尾生成的子带称为下面的近似子带和细节子带。近似子带在N级分解之后获得的图像X的子带，由表示。该近似子带包括图像的主体内容。细节子带在N级分解之后获得的图像X的子带，包括水平子带、垂直子带和对角子带。这些分别表示为=Xttii (in,HXXvhCm,UXXdii(m9n)。细节子带包含图像的边缘。水平子带包含水平边缘，垂直子带包含垂直边缘，对角子带包含图像的对角边缘。中间子带在对图像X的分解的每级L (L=I至N-1)生成，包括级L小波包(WP)子带和级L细节子带。其在下面得到描述。级L-WP子带包括级L-WP近似子带和级L-WP细节子带。级L-WP近似子带包括级L-水平WP近似子带、级L-垂直WP近似子带和级L-对角WP近似子带。这些分别表示为(m，nX(吼釋)。级L-WP细节子带包括级L-WP水平子带、级L-WP垂直子带和级L-WP对角子带。这些分别表示为Xh Hnl (m;n);XVL %L (m;n);XDi (m,n) 。级L细节子带包括级L水平子带、级L垂直子带和级L对角子带。这些分别表示为XHl (m, n), Xvl (m, n% XDl (m, n)。
本发明实施例示出了用于确定图像的质量计量的新颖总架构，其相比于分离小波域中的现有技术更加精确且具有较少的计算复杂性。通过本发明的不同实施例确定每个基于特定图像质量度量(IQM)的各种质量计量。提出的架构包括如下所述的自上而下的方法和自下而上的方法，并且可应用于IQM，所述IQM包括结构相似性(SSM)指数、绝对差(AD)、峰值信号-噪声比(PSNR)以及视觉信息保真度(VIF)。下面描述本发明的实施例的系统。图I (a)和图I (k)示出两个实施例。这些实施例每个包括多个单元，也会对这些单元进行描述。图I (a)和图I (k)所示的本发明实施例的系统包括通用或专用计算机，所述计算机具有CPU和计算机可读存储介质，所述计算机可读存储介质例如为存储器、DVD、CD -ROM、软盘、闪存、磁带或其它存储介质，并且其上存储有由CPU执行的计算机可读指令。可选地，图I (a)和图I (k)的系统可以在固件、或固件与具有计算机可读存储介质的专用计算机的组合中实现。首先描述图I (a)所示的实施例。首先讨论由实施例提供的总架构，然后讨论各种其它实施例，其每个使用该利用特定IQM的架构。用于确定图像的质量计量的系统100包括级数单元102、第一分解单元103、第二分解单元104、近似质量计量单元105、第一细节子带单元106、第二细节子带单元107、质量计量单元108以及边缘质量计量单元109。级数单元102确定将应用到基准图像X和失真图像Y的分解的级数N。根据近似子带的最小尺寸S确定分解的级数N，其生成对于人类视觉系统的基本峰值的响应。然后通过第一分解单元103和第二分解单元104读取N的值，所述第一分解单元103和第二分解单元104分别对图像X和图像Y应用N级DWT，以进行对图像X和图像Y的N级分解。对于每个图像，N级分解生成用于在级i + I处理的在每级i (i = I至N-1)的中间子带和在级N的细节子带。在通过第一分解单元103和第二分解单元104进行的多解析度分解之后生成的近似子带被馈送到近似质量计量单元105。在通过第一分解单元103和第二分解单元104进行的多解析度分解之后生成的细节子带被用作第一细节子带单元106和第二细节子带单元107的输入,所述第一细节子带单元106和第二细节子带单元107分别生成用于图像X和图像Y的边缘映像。这些单元的输出被连接到边缘质量计量单元109，所述边缘质量计量单元109处理所述边缘映像并生成由质量计量单元108使用的输出，所述质量计量单元108用于确定质量计量。级数单元102又包括用于确定级数的计算装置110。第一分解单元103和第二分解单元104包括用于应用N级DWT的计算装置(分别为111和112)。第一细节子带单元106包括第一聚合单元113,第二细节子带单元107包括第二聚合单元114。质量计量单元108包括第一集合单元115、第二集合单元118、对比度映像单元116以及分数合并单元117。第一集合单元115和第二集合单元118使用通过对比度映像单元116生成的对比度映像，以对由近似质量计量单元105生成的近似质量映像和通过边缘质量计量单元109生成的边缘映像进行加权集合。第一集合单元115和第二集合单元118的输出被分数合并单元117使用，以生成质量计量。图I (b)示出用于本发明另一个实施例的级数单元102的结构。其包括最小尺寸单元120，用于确定其上显示图像的装置的观察距离和高度之间的比值；以及计算单元121，用于使用该比值并确定N的值。在可选实施例中，第一分解单元103包括(参考图I(c 第一级I分解单元124和第一级j分解单元125，以及第一子带选择单元126，其基于精度确定选择的中间子带。第一子带选择单元126用于确定将由第一级I分解单元124和第一级j分解单元125使用的中间子带。第一子带选择单元126还包括第一子带选择子单元127，其基于获得精度所要求的中间子带的数目确定选择的中间子带。如在本申请的后面部分中讨论的，使用另一个选择方法以选择在子带聚合期间将使用通过N级多解析度分解生成的子带中的哪些子带。第一级I分解单元124的输出被馈送到第一级j分解单元125的输入端，所述第一级I分解单元124对图像X应用多解析度分解，生成用于在级2处理的级I的中间子带，所述第一级j分解单元125仅对通过在级j-1 (j的范围为2至N)进行的多解析度分解生成的选择的中间子带应用多解析度分解。类似地，所述第二分解单元104还包括(参考图I (d))第二级I分解单元130和第二级j分解单元131，以及第二子带选择单元132，其基于精度确定选择的中间子带。 所述第二子带选择单元132用于确定第二级j分解单元131的中间子带。第二子带选择单元132还包括第二子带选择子单元133，其基于获得精度所要求的中间子带的数目确定选择的中间子带。第二级I分解单元130的输出被馈送到第二级j分解单元131的输入端，所述第二级I分解单元130对图像Y应用多解析度分解，生成用于在级2处理的级I的中间子带，所述第二级j分解单元131仅对通过在级j-1 (j的范围为2至N)进行的多解析度分解生成的选择的中间子带应用多解析度分解。图I (e)示出第一聚合单元113的部件。第一聚合单元113包括第一细节子带聚合单元135、第一级j聚合单元136以及计算装置134，所述计算装置用于选定具有基本相同的解析度的图像X的在每级j的选择的中间子带和选择的细节子带。第一级j聚合单元136根据在所述每级j (j = I至N-1)生成的选择的中间子带的平方确定用于图像X的每级j的边缘映像。需要注意，仅选定在级j生成的一些中间子带，例如具有基本相同的解析度的子带，来进行聚合，而导向级j的边缘映像。通过第一细节子带聚合单元135处理第一级j聚合单元136的输出，所述第一细节子带聚合单元135将在级N生成的图像X的一个或多个选择的细节子带与在每个级j生成的一个或多个选择的中间子带进行聚合。用于选定具有基本相同的解析度的图像X的在每级j的选择的中间子带和选择的细节子带的计算装置134由第一细节子带单元135和第一级j聚合单元136使用，用于选择具有基本相同的解析度的图像X的在每个级j的中间子带和细节子带以进行聚合。需要注意，j仅仅是指数变量，并且可采用在I和N-I之间的任何整数值。第一细节子带单元135还包括第一级N聚合单元137和第一边缘映像单元138。第一级N聚合单元137根据在级N生成的图像X的选择的细节子带的平方来确定图像X在级N的边缘映像，而第一边缘映像单元138确定图像X的边缘映像作为级j的边缘映像与从第一级N聚合单元137接收的级N的边缘映像的加权和。图I (f)示出第二聚合单元114的部件。第二聚合单元114包括第二细节子带聚合单元140、第二级j聚合单元141以及计算装置139，所述计算装置用于选定具有基本相同的解析度的图像Y的在每级j的选择的中间子带和选择的细节子带。第二级j聚合单元141根据在所述每级j (j = I至N-1)生成的选择的中间子带的平方确定用于图像Y的每级j的边缘映像。通过第二细节子带聚合单元140处理第二级j聚合单元141的输出，所述第二细节子带聚合单元140将在级N生成的图像Y的一个或多个选择的细节子带与在每个级j生成的一个或多个选择的中间子带进行聚合。用于选定具有基本相同的解析度的图像Y的在每级j的选择的中间子带和选择的细节子带的计算装置139由第二细节子带单元140和第二级j聚合单元141使用，用于选择具有基本相同的解析度的图像Y的在每个级j的中间子带和细节子带，以进行聚合。同样，需要注意，j仅仅是指数变量，并且可采用在I和N-I之间的任何整数值。第二细节子带单元140还包括第二级N聚合单元142和第二边缘映像单元143。第二级N聚合单元142根据在级N生成的图像Y的选择的细节子带的平方确定图像Y的在级N的边缘映像，而第二边缘映像单元143确定图像Y的边缘映像作为级j的边缘映像与从第二级N聚合单元142接收的级N的边缘映像的加权和。在可选实施例中使用由系统1 00提供的总架构，所述可选实施例每个使用特定IQM以确定质量计量。图I (g)示出基于SSM IQM的实施例的系统。在该实施例中，近似质量计量单元105包括近似SSIM单元145,质量计量单元108包括SSIMdwt分数单元146,边缘质量计量单元109包括边缘SSIM映像单元147。近似SSIM映像单元145对图像X的近似子带和图像Y的近似子带应用SSM IQM以生成近似SSM映像，而边缘SSM映像单元147在图像X的边缘映像与图像Y的边缘映像之间应用SSM IQM,以生成边缘SSM映像。通过SSMdwt分数单元146处理近似SSM映像单元145和边缘SSM映像单元147的输出，以确定SSIMdwt分数作为质量计量。图I (h)示出基于AQ IQM的实施例的系统。在该实施例中，近似质量计量单元105包括近似AD映像单元150,质量计量单元108包括ADdwt分数单元151,边缘质量计量单元109包括边缘AD映像单元152。近似AD映像单元150对图像X的近似子带和图像Y的近似子带应用AD IQM以生成近似AD映像，而边缘AD映像单元152在图像X的边缘映像与图像Y的边缘映像之间应用AD IQM,以生成边缘AD映像。通过ADdwt分数单元151处理近似AD映像单元150和边缘AD映像单元152的输出，以确定ADdwt分数作为质量计量。图I (i)示出基于PSNR IQM的实施例的系统。在该实施例中，近似质量计量单元105包括PSNR近似质量分数单元155,质量计量单元108包括PSNRdwt分数单元156,边缘质量计量单元109包括PSNR边缘质量分数确定单元157。PSNR近似质量分数单元155对图像X的近似子带和图像Y的近似子带应用PSNR IQM以生成PSNR近似质量分数，而边缘PSNR边缘质量分数确定单元157在图像X的边缘映像与图像Y的边缘映像之间应用PSNRIQM，以生成PSNR边缘质量分数。通过PSNRdwt分数单元156处理PSNR近似质量分数单元155和PSNR边缘质量分数确定单元157的输出，以确定PSNRdwt分数作为质量计量。图I (j)示出基于VIF IQM的实施例的系统。在该实施例中，近似质量计量单元105包括VIF近似质量分数单元160,质量计量单元108包括VIFdwt分数单元161,边缘质量计量单元109包括VIF边缘质量分数确定单元162。VIF近似质量分数单元160对图像X的近似子带和图像Y的近似子带应用VIF IQM以生成VIF近似质量分数，而VIF边缘质量分数确定单元162在图像X的边缘映像与图像Y的边缘映像之间应用VIF IQM,以生成VIF边缘质量分数。通过VIFdwt分数单元161处理VIF近似质量分数单元160和VIF边缘质量分数确定单元162的输出，以确定VIFdwt分数作为质量计量。包括单元和子单元100、102、103、104、105、106、107、108、109、113、114、115、116、117、118、120、121、124、125、126、127、130、131、132、133、135、136、137、138、140、141、142、143、145、146、147、150、151、152、155、156、157、160、161 和 162 的系统 100 的全部部件包括
固件或可选的存储在计算机可读存储介质以由处理器执行的计算机可读指令。包括110、111、112、134和139的全部计算装置包括将由CPU执行的计算机可读代码，所述计算机可读代码执行存储在计算机可读存储介质上的方法、过程、函数或子程序。下面讨论在图I (k)中示出的总架构的可选实施例。用于确定图像的质量计量的系统100包括用于确定N的计算装置110a、第一分解单元103a、第二分解单元104a、近似质量计量单元105a、第一聚合单元113a、第二聚合单元114a、质量计量单元108a以及边缘质量计量单元 109a。单元 103a、104a、105a、108a、109a、115a、116a、117a 和 118a 与系统 100的单元103、104、105、108、109、115、116、117和118相同，不再进行描述。计算装置110a、11 la、112a、134a和139a与前述系统100的计算装置110、111、112、134和139相同。
如图I (I)所示，处理图像X的第一聚合单元113a包括第一选择单元170，所述第一选择单元170的输出端被连接到所述第一选择性聚合单元171的输入端。第一选择单元170基于在确定质量计量中将要获得的精度，选择图像X的在每级i (i的范围为I至N-I)的中间子带和细节子带。第一选择性聚合单元171仅聚合图像X的选择的中间子带和选择的细节子带。所述第一聚合单元113a还包括计算装置134a，用于选定具有基本相同的解析度的图像X的选择的每级j的中间子带和选择的细节子带。计算装置134a与前述计算装置134类似，用于选择具有基本相同的解析度的中间子带和细节子带以进行聚合。第一选择单元170还包括第一选择子单元172，其基于获得精度所需的中间子带和细节子带的数目选择图像X的在每级i的中间子带和细节子带。在另一个可选实施例中，第一选择单元包括第一小波包(WP)细节选择子单元176，其选择图像X的一个或多个级i-WP近似子带和一个或多个细节子带。第一 WP细节子带选择子单元176还包括第一细节选择模块179,用于在选择中包括图像X的一个或多个级i细节子带。第一级i中间子带聚合单元173包括第一级i计算单元177，用于对每级i (i=l至N-1)的图像X的每个选择的中间子带求平方；将进行求平方的结果与用于图像X的所述每个选择的中间子带的预定权重相乘；对在步骤中进行乘法获得的乘积求和；以及对进行的求和的结果应用平方根函数，生成图像X的级i的边缘映像。第一细节子带计算单元180包括第一细节子带计算单元，用于对图像X的每个所述选择的细节子带求平方；将步骤中进行的求平方的结果与用于图像X的所述每个选择的中间子带的预定权重相乘；对步骤中进行的乘法获得的乘积求和；以及对步骤中进行的求和的结果应用平方根函数，生成图像X的级N的边缘映像。第一边缘映像计算单元175包括第一计算单元178，用于将图像X的每级i的边缘映像与级i的预定权重相乘；将图像X的级N的边缘映像与级N的预定权重相乘；以及对从所述乘法获得的乘积求和。如图I (m)所示，处理图像Y的第二聚合单元114a包括第二选择单元182，所述第二选择单元182的输出端被连接到第二选择性聚合单元183的输入端。第二选择单元182基于在确定质量计量中将要获得的精度，选择图像Y的在每级i (i的范围为I至N-1)的中间子带和细节子带。第二选择性聚合单元183仅聚合图像Y的选择的中间子带和选择的细节子带。所述第二聚合单元114a还包括计算装置139a，用于选定具有基本相同的解析度的图像Y的选择的每级j的中间子带和选择的细节子带。计算装置139a与前述计算装置139类似，用于选择具有基本相同解析度的中间子带和细节子带，以进行聚合。第二选择单元182还包括第二选择子单元184，其基于获得精度所需的中间子带和细节子带的数目选择图像Y的在每级i的中间子带和细节子带。在另一个可选实施例中，第二选择单元182包括第二 WP细节选择子单元188，其选择图像Y的一个或多个级i-WP近似子带和一个或多个细节子带。第二 WP细节子带选择子单元188还包括第二细节选择模块191,用于在选择中包括图像Y的一个或多个级i细节子带。第二级i中间子带聚合单元185包括第二级i计算单元189，用于对每级i的图像Y的每个选择的中间子带求平方；将步骤中进行的求平方的结果与用于图像Y的所述每个选择的中间子带的预定权重相乘；对进行乘法所获得的乘积求和；以及对进行求和的结果应用平方根函数，生成图像Y的级i的边缘映像。第二细节子带计算单元192包括第二细节子带计算单元，用于对图像Y的每个所述 选择的细节子带求平方；将进行求平方的结果与图像Y的所述每个选择的细节子带的预定权重相乘；对进行乘法所获得的乘积求和；以及对进行求和的结果应用平方根函数，生成图像Y的级N的边缘映像。第二边缘映像计算单元187包括第二计算单元190，用于将图像Y的每级i的边缘映像与级i的预定权重相乘；将图像Y的级N的边缘映像与级N的预定权重相乘；以及对从所述乘法获得的乘积求和。图I (n)示出第一选择性聚合单元171的结构。第一选择性聚合单元包括第一水平边缘映像单元194、第一垂直边缘映像单元195、第一对角边缘映像单元196、以及第一合并单元197。在分解的级i生成的中间子带包括小波包(WP)近似和小波包细节子带。这些单元194、195、和196的每个处理特定类型的WP近似子带和WP细节子带。在该说明书的下文中更详细地讨论了这些子带。第一水平边缘映像单元194聚合每级i (i=l至N-1)的图像X的级i水平WP近似子带以及图像X的水平子带，生成图像X的水平边缘映像。第一垂直边缘映像单元195聚合每级i的图像X的级i垂直WP近似子带以及图像X的垂直子带，生成图像X的垂直边缘映像。第一对角边缘映像单元196聚合每级i的图像X的级i对角WP近似子带以及图像X的对角子带，生成图像X的对角边缘映像。通过第一合并单元197聚合所述图像X的水平、垂直和对角边缘映像。图像X的级i-WP细节子带还包括用于每个对应图像的级i-WP水平子带、级i-WP垂直子带以及i-WP对角子带。第一水平边缘映像单元194包括第一水平子单元198，其在聚合中包括图像X的级i-WP水平子带。第一垂直边缘映像单元195包括第一垂直子单元199，其在聚合中包括图像X的级i-WP垂直子带。第一对角边缘映像单元196包括第一对角子单元200,其在聚合中包括图像X的级i-WP对角子带。第一合并单元197又包括第一合并子单元201，其对图像X的水平边缘映像、垂直边缘映像和对角边缘映像应用平方根函数，并对应用平方根函数的结果求和。图I (O)示出第二选择性聚合单元183的结构。第二选择性聚合单元包括第二水平边缘映像单元203、第二垂直边缘映像单元204、第二对角边缘映像单元205、以及第二合并单元206。第二水平边缘映像单元203聚合每级i (i=l至N-1)的图像Y的级i水平WP近似子带以及图像Y的水平子带，生成图像Y的水平边缘映像。第二垂直边缘映像单元204聚合每级i的图像Y的级i垂直WP近似子带以及图像Y的垂直子带，生成图像Y的垂直边缘映像。第二对角边缘映像单元205聚合每级i的图像Y的级i对角WP近似子带以及图像Y的对角子带，生成图像Y的对角边缘映像。通过第二合并单元206聚合所述图像Y的水平、垂直和对角边缘映像。如同图像X的情况，图像Y的级i-WP细节子带还包括用于每个对应图像的级i-WP水平子带、级i-WP垂直子带以及i-WP对角子带。第二水平边缘映像单元203包括第二水平子单元207，其在聚合中包括图像Y的级i-WP水平子带。第二垂直边缘映像单元204包括第二垂直子单元208，其在聚合中包括图像Y的级i-WP垂直子带。第二对角边缘映像单元205包括第二对角子单元209，其在聚合中包括图像Y的级i-WP对角子带。第二合并单元206又包括第二合并子单元210，其对图像Y的水平边缘映像、垂直边缘映像和对角边缘映像应用平方根函数，并对应用平方根函数的结果求和。在可选实施例中，在通过第一合并单元197和第二合并单元进行的聚合期间进行不同组的数学运算。该实施例第一合并单元包括第三合并子单元211 (参考图I (p))，第二合并单元206包括第四合并子单元212 (参 考图I (q))。第三合并子单元211用于对图像X的水平边缘映像、垂直边缘映像以及对角边缘映像求和，并对进行求和的结果应用平方根函数。第四合并子单元212用于对图像Y的水平边缘映像、垂直边缘映像以及对角边缘映像求和，并对进行求和的结果应用平方根函数。图I (r)所示的第一分解单元103a包括第一级I分解单元214，其输出被第一级i分解单元215使用。所述第一级I分解单元214对图像X应用多解析度分解，生成用于在级2处理的级I的中间子带，所述第一级i分解单元215对通过在级i-1 (i的范围为2至N)进行的多解析度分解生成的选择的中间子带应用多解析度分解。图I (s)所示的第二分解单元104a包括第二级I分解单元216，其输出被第二级i分解单元217使用。所述第二级I分解单元216对图像Y应用多解析度分解，生成用于在级2处理的级I的中间子带，所述第二级i分解单元217对通过在级i-1 (i的范围为2至N)进行的多解析度分解生成的选择的中间子带应用多解析度分解。如同在系统100的总架构的情况，系统IOOa的总架构可以与各种IQM结合使用，每个所述IQM对应于特定实施例。包括以标号103a、104a、105a、108a、109a、113a、114a、115a、116a、117a、118a、170、171、172、173、174、175、176、177、178、179、180、182、183、184、185、186、187、188、189、190、191、192、194、195、196、197、198、199、200、201、203、204、205、206、207、208、209、210、211、212、214、215、216和217表示的单元、子单元以及模块的系统IOOa的全部部件包括固件或可选的存储在计算机可读存储介质以由处理器执行的计算机可读指令。以标号110a、llla、112a、134a和139a标记的全部计算装置包括计算机可读存储介质，所述计算机可读存储介质具有由CPU执行的计算机可读代码，以进行如本申请所述的方法、过程、函数或子程序。在图2 (a)示出的简图220中提供对架构所使用的用于确定质量计量的技术的高级描述。该过程开始于对基准图像(框222)和失真图像(框224)进行N级DWT。通过应用DffT实现的多解析度分解生成了两个图像的近似子带和细节子带。处理两个图像的近似子带以计算近似质量计量(框232)。需要注意，根据使用的IQM，该质量计量可以是质量映像或质量分数。对原始图像和失真图像的细节子带进行聚合(框226和框230)。然后处理这些聚合以计算边缘质量计量、映像或分数(框234)。确定的映像或指数取决于在生成质量计量中使用的IQM，其在下文中得到详细描述。对于特定IQM (在下文中描述)，需要生成对比度映像(框228)。生成对比度映像包括，对于图像的近似子带和边缘映像的像素，根据其对于人类视觉系统的相应的重要性，为其分配对应值。对比度映像被用于集合近似质量映像(框236 )和集合边缘质量映像(框238 )。然后，合并两种集合操作的结果以生成失真图像的质量计量(框240)。利用未使用对比度映像的IQM，通过框240合并分别来自框232和框234的近似质量计量和边缘质量计量，以生成质量计量。在本发明中使用两种选择方法。第一种用于分解的级i (i=l. . n-1),以选择由在图像X或Y的级i-1进行的多解析度分解生成的中间子带，将对这些中间子带在级i应用多解析度分解。第二种用于选择有待聚合的图像X或Y的每级i的中间子带以及细节子带。以满足精度和计算成本之间的有效平衡的方式进行选择。选择方法可以基于获得精度所需的子带数目。通过图2(b)说明基于在架构中使用的技术的实施例的方法。首先(框252)，过程250计算DWT的级数N(框254)。可通过使用图像Y的分辨率(或尺寸)、图像Y的观察距离、以及应用到图像Y的图像质量度量(IQM)中的一个或多个计算N。过程250根据近似子带的最小尺寸S确定解析度级数N，其生成针对人类视觉系统的基本峰值的响应。从而，确定N的值的方式使得生成这样的近似子带解析 度，在该处对应的最大频率接近人类视觉系统的峰值灵敏度(即人类视觉系统的空间频率响应的最大值)。如Y. Wang、J. Ostermann 和 Y.-Q. Zhang 在“Video Processing Communications，，(Prentice Hall, 2001)中所述，空间频率响应通常是人类对比度灵敏度的曲线，该曲线是以周/度(CPD)表示的空间频率的函数。该峰值在2和4之间。针对在本申请下文中讨论的使用的特定IQM来定制使用的N的值。对于特定IQM，N是固定值，但是对于基于误差的IQM，诸如PSNR或绝对差(AD)，如下以公式表示需要的分解级数N。如M. R. Bolin和G. ff. Meyer在“A visual difference metric for realistic image synthesis，，(Proc. SPIE HumanVision, Electron. Imag. , vol. 3644, San Jose, 1999,第 106 - 120 页)中所述，当在高度为h、距离为d的显示器处观察图像时爲人(周/度)(Ia)
Iol.) h其中fe是单位为周/度(cpd)的角频率，匕表示空间频率。对于高度为H的图像，Nyquist定理导出公式(lb)。
/ \".I.I f I =——(周/图片高度)(Ib)
、j x已知，HVS对于约2_4cpd的频率具有峰值响应。从而f 9固定为3。如果在观察距离d=kh处评估图像，利用公式(Ia)和公式(Ib)获得公式(lc)。
、360./;, _ 360x3 344~ 7r(d/h) 3.14X/c k(Ic)从而，对人眼评估来说图像的有效尺寸应为大约(344/k)。这表示，在N级分解之后的近似子带的最小尺寸应近似等于(344/k)。从而，对于图像尺寸HXW，如下近似地计算N (N必须是非负数)
min(H W) 344 J5tWlrt0 (ww(H,W)\\
.............……辑Jy ssJ|3E* 里 7 I y ^\ I I
2W k, I (344M) I)
'(Id)
权利要求
1.一种用于确定失真图像Y的质量计量的方法，所述质量计量表征在图像Y与未失真的基准图像X之间的相似性，所述基准图像X具有与图像Y相同的行数和列数的像素，该方法包括 Ca)对图像X应用N级多解析度分解，包括级1、2、. . . i、i + I、. . . N，以生成 对于每个级i，i的范围为I至N-1，用于在级i + I处理的图像X的中间子带；以及 对于级N，包含图像X的主体内容的近似子带和包含图像X的边缘的细节子带； (b)对图像Y应用所述N级多解析度分解，包括级1、2、.. . i、i + I、. . . N，以生成 对于每个级i，i的范围为I至N-1，用于在级i + I处理的图像Y的中间子带；以及 对于级N，包含图像Y的主体内容的近似子带和包含图像Y的边缘的细节子带； (c)对图像X的近似子带和图像Y的近似子带应用图像质量度量(IQM)，以生成表征图像X的主体内容与图像Y的主体内容之间的相似性的近似质量计量； (d)对图像X的级i的中间子带以及图像X的细节子带进行聚合，以生成表征图像X的边缘的图像X的边缘映像，其中i的范围为级I到N-I ； (e)对图像Y的级i的中间子带以及图像Y的细节子带进行聚合，以生成表征图像Y的边缘的图像Y的边缘映像，其中i的范围为级I到N-I ； (f )在图像X的边缘映像和图像Y的边缘映像之间应用IQM，以生成表征图像X的边缘与图像Y的边缘之间的相似性的边缘质量计量；以及 (g)处理所述近似质量计量和所述边缘质量计量，以确定所述质量计量。
2.根据权利要求I所述的方法，其中 所述步骤(d)还包括 基于在确定质量计量中将要获得的精度，选择图像X的在每级i的中间子带和细节子带，其中i的范围为I至N-I ;以及 仅聚合图像X的选择的中间子带和选择的细节子带；以及步骤(e)还包括 基于在确定质量计量中将要获得的精度，选择图像Y的在所述每级i的中间子带和细节子带；以及 仅聚合图像Y的选择的中间子带和选择的细节子带。
3.根据权利要求2所述的方法，其中 选择图像X的中间子带和细节子带的步骤还包括，选定具有基本相同的解析度的图像X的选择的所述每级i的中间子带和细节子带；以及 选择图像Y的中间子带和细节子带的步骤还包括，选定具有基本相同的解析度的图像Y的选择的所述每级i的中间子带和细节子带。
4.根据权利要求2或3所述的方法，所述图像X和图像Y的在所述每级i的中间子带对于每个各自的图像包括 级i细节子带和级i小波包(WP)子带； 级i-WP子带包括级i-WP近似子带和级i-WP细节子带；并且 级i-WP近似子带还包括级i_水平WP近似子带、级i_垂直WP近似子带和级i_对角WP近似子带。
5.根据权利要求I至4中任一项所述的方法，包括以下中的一个或多个 在步骤(a)对于级1，对图像X应用多解析度分解，生成用于在级2处理的级I的中间子带；以及对于级i，i的范围为2至N，对通过在级i-1进行的多解析度分解生成的一个或多个中间子带应用多解析度分解；以及在步骤(b) 对于级1，对图像Y应用多解析度分解，生成用于在级2处理的级I的中间子带；以及对于级i，i的范围为2至N，对通过在级i-1进行的多解析度分解生成的一个或多个中间子带应用多解析度分解。
6.根据权利要求I至5中任一项所述的方法，其中所述近似质量计量是近似质量映像，而所述边缘质量计量是边缘质量映像，所述步骤(g)还包括 生成对比度映像，包括对于图像X和图像Y的近似子带和边缘映像的像素根据其对于人类视觉系统的相应的重要性分配对应值； 使用对比度映像对近似质量映像进行加权集合，以生成近似质量分数； 使用对比度映像对边缘质量映像进行加权集合，以生成边缘质量分数；以及 合并来自步骤(bl8)的近似相似性分数与边缘相似性分数，以确定质量计量。
7.根据权利要求I至6中任一项所述的方法，还包括根据近似子带的最小尺寸S确定N，其生成针对人类视觉系统的基本峰值的响应。
8.根据权利要求I到7中任一项所述的方法，其中 步骤(c)包括对图像X的近似子带和图像Y的近似子带应用结构相似性(SSIM)IQM，以生成近似SSM映像，SSMa; 步骤(f)包括在图像X的边缘映像与图像Y的边缘映像之间应用SSIMIQM，以生成边缘SSM映像，SSMe ;以及 步骤(g)包括处理所述SSIMa和所述SSIMe以确定SSIMdwt分数作为质量计量； 或者 步骤(c)包括对图像X的近似子带和图像Y的近似子带应用绝对差(AD)IQM，以生成近似AD映像，ADa ； 步骤(f)包括在图像X的边缘映像与图像Y的边缘映像之间应用ADIQM，以生成边缘AD映像，ADe;以及 步骤(g)包括处理所述ADa和所述ADe以确定ADdwt分数作为质量计量； 或者 步骤(c)包括对图像X的近似子带和图像Y的近似子带应用峰值信号-噪声比(PSNR)IQM,以生成PSNR近似质量分数，PSNRa ； 步骤(f)包括在图像X的边缘映像与图像Y的边缘映像之间应用PSNRIQM，以生成PSNR边缘质量分数，PSNRe ；以及 步骤(g)包括处理所述PSNRa和所述PSNRe以确定PSNRdwt分数作为质量计量； 或者 步骤(c)包括对图像X的近似子带和图像Y的近似子带应用视觉信息保真度(VIF)IQM,以生成VIF近似质量分数，VIFa ； 步骤(f)包括在图像X的边缘映像与图像Y的边缘映像之间应用VIFIQM，以生成VIF边缘质量分数，VIFe ；以及步骤(g)包括处理所述VIFa和所述VIFe以确定VIFdwt分数作为质量计量。
9.根据权利要求I至8中任一项所述的方法，其中所述步骤(a)和(b)包括应用N级分离小波变换，所述分离小波变换可选地是Haar变换、或者Newland变换或利用Daubechies滤波器的小波变换之一。
10.一种用于确定失真图像Y的质量计量的系统，所述质量计量表征在图像Y与未失真的基准图像X之间的相似性，所述基准图像X具有与图像Y相同的行数和列数的像素，该系统包括 处理器，以及计算机可读存储介质，其具有存储在其上的计算机可读指令，所述指令当由所述处理器执行时形成以下单元 (a)第一分解单元，其对图像X应用N级多解析度分解，包括级1、2、.. . i、i + I、. . . N，以生成 对于每个级i，i的范围为I至N-1，用于在级i + I处理的图像X的中间子带；以及 对于级N，包含图像X的主体内容的近似子带和包含图像X的边缘的细节子带； (b)第二分解单元，其对图像Y应用所述N级多解析度分解，包括级1、2、.. . i、i +I、... N，以生成 对于每个级i，i的范围为I至N-1，图像Y的中间子带；以及 对于级N，包含图像Y的主体内容的近似子带和包含图像Y的边缘的细节子带； (c )近似质量计量单元，其对图像X的近似子带和图像Y的近似子带应用图像质量度量(IQM),以生成表征图像X的主体内容与图像Y的主体内容之间的相似性的近似质量计量；Cd)第一聚合单元，其对图像X的级i的中间子带以及图像X的细节子带进行聚合，以生成表征图像X的边缘的图像X的边缘映像，其中i的范围为级I到N-I ； Ce)第二聚合单元，其对图像Y的级i的中间子带以及图像Y的细节子带进行聚合，以生成表征图像Y的边缘的图像Y的边缘映像，其中i的范围为级I到N-I ； Cf)边缘质量计量单元，其在图像X的边缘映像和图像Y的边缘映像之间应用IQM，以生成表征图像X的边缘与图像Y的边缘之间的相似性的边缘质量计量；以及 (g)质量计量单元，其处理所述近似质量计量和所述边缘质量计量，以确定所述质量计量。
11.根据权利要求10所述的系统，其中 所述第一聚合单元还包括 第一选择单元，其基于在确定质量计量中将要获得的精度，选择图像X的在每级i的中间子带和细节子带，其中i的范围为I至N-I ;以及 第一选择性聚合单元，其仅聚合图像X的选择的中间子带和选择的细节子带；以及 所述第二聚合单元还包括 第二选择单元，其基于在确定质量计量中将要获得的所述精度，选择图像Y的在所述每级i的中间子带和细节子带； 第二选择性聚合单元，其仅聚合图像Y的选择的中间子带和选择的细节子带。
12.根据权利要求11所述的系统，其中 所述第一聚合单元还包括计算装置，用于选定具有基本相同的解析度的图像X的选择的所述每级i的中间子带和细节子带；以及所述第二聚合单元还包括计算装置，用于选定具有基本相同的解析度的图像Y的选择的所述每级i的中间子带和细节子带。
13.根据权利要求11或12所述的系统，所述图像X和图像Y的在所述每级i的中间子带对于每个各自的图像包括 级i细节子带和级i小波包(WP)子带； 级i-WP子带包括级i-WP近似子带和级i-WP细节子带；以及 级i-WP近似子带还包括级i_水平WP近似子带、级i_垂直WP近似子带和级i_对角WP近似子带。
14.根据权利要求10至13中任一项所述的系统，包括以下一个或多个 在所述第一分解单元 第一级I分解单元，对图像X应用多解析度分解，生成用于在级2处理的级I的中间子带; 第一级i分解单元，对通过在级i-1进行的多解析度分解生成的一个或多个中间子带应用多解析度分解，其中i的范围为2至N ; 在所述第二分解单元 第二级I分解单元，对图像Y应用多解析度分解，生成用于在级2处理的级I的中间子带; 第二级i分解单元，对通过在级i-1进行的多解析度分解生成的一个或多个中间子带应用多解析度分解，其中i的范围为2至N。
15.根据权利要求10至14中任一项所述的系统，还包括计算装置，用于根据近似子带的最小尺寸S确定N，其生成针对人类视觉系统的基本峰值的响应。
16.根据权利要求10至15中任一项所述的系统，其中所述第一分解单元(a)和所述第二分解单元(b)包括用于应用N级分离小波变换的计算装置，所述分离小波变换可选地为Haar变换、Newland变换或利用Daubechies滤波器的小波变换。
17.一种计算机可读存储介质，其具有存储在其上的计算机可读程序代码指令，所述指令当由处理器执行时进行以下步骤 (a)对图像X应用N级多解析度分解，包括级1、2、...i、i + I、... N，以生成 对于每个级i，i的范围为I至N-1，用于在级i + I处理的图像X的中间子带；以及 对于级N，包含图像X的主体内容的近似子带和包含图像X的边缘的细节子带； (b)对图像Y应用所述N级多解析度分解，包括级1、2、.. . i、i + I、. . . N，以生成 对于每个级i，i的范围为I至N-1，用于在级i + I处理的图像Y的中间子带；以及 对于级N，包含图像Y的主体内容的近似子带和包含图像Y的边缘的细节子带； (c)对图像X的近似子带和图像Y的近似子带应用图像质量度量(IQM)，以生成表征图像X的主体内容与图像Y的主体内容之间的相似性的近似质量计量； (d)对图像X的级i的中间子带以及图像X的细节子带进行聚合，以生成表征图像X的边缘的图像X的边缘映像，其中i的范围为级I到N-I ； (e)对图像Y的级i的中间子带以及图像Y的细节子带进行聚合，以生成表征图像Y的边缘的图像Y的边缘映像，其中i的范围为级I到N-I ； (f )在图像X的边缘映像和图像Y的边缘映像之间应用IQM，以生成表征图像X的边缘与图像Y的边缘之间的相似性的边缘质量计量；以及(g)处理所述近似质量计量和所述边缘质 量计量，以确定质量计量。
全文摘要
示出了一种通过利用多级分解确定图像的质量计量的方法和系统。在小波域上进行对图像的多级分解，生成分解的每级的子带。在多个级上进行对子带的聚合，以生成图像质量的精确计量。通过仅聚合选择的子带，大大降低了方法的计算复杂性。
文档编号G06T9/00GK102754126SQ201080063472
公开日2012年10月24日 申请日期2010年10月27日 优先权日2010年2月12日
发明者S·库隆布, S·拉扎扎德 申请人:高等技术学校