多尺度全参考型图像质量评测方法
【专利摘要】本发明涉及数字图像【技术领域】，为提出一种客观图像质量评测方法，使图像的评价结果更加符合人类主观评价，为此，本发明采取的技术方案是，多尺度全参考型图像质量评测方法，包括如下步骤：(1)首先用高斯塔形分解分别将参考图像和失真图像分解为五层；(2)分别计算参考图像和失真图像的相位谱；(3)通过加权梯度特征值计算得梯度相似性矩阵；(4)通过把视觉显著性矩阵和梯度相似性矩阵按照一定的比例加权相乘，获得单尺度图像质量的客观评价值；(5)将(4)的结果扩展到多尺度上，获得多尺度图像质量的客观评价值。本发明主要应用于数字图像处理。
【专利说明】多尺度全参考型图像质量评测方法
【技术领域】
[0001] 本发明涉及数字图像【技术领域】，具体来说是一种利用相位谱和梯度相似度的多尺 度全参考型质量评测方法，该方法与人类主观评测方法相对应，为一种客观图像质量评测 方法。 技术背景
[0002] 随着数字图像和通信技术的发展，图像质量评价（imagequality assessment，IQA)在很多应用领域变得很重要，如数据捕获，处理，压缩，存储，传输和复制。 现有的IQA方法可分为主观和客观两种。尽管由人的主观评价得出的结果更加可靠，但是 缺点是昂贵，费时且不能用于实时处理。所以客观图像质量评价方法的研究方向就是发展 定量的方法来自动预测感知图像的质量。客观图像质量评价方法可根据是否使用参考图像 划分为如下几种方法：最常用的是全参考型图像质量评价方法，意味着整个参考图像都要 被用到。然而在许多实际应用中不需要用到参考图像，这叫做无参考型图像质量评价方法。 第三种情况是参考图像只是部分被用到，根据参考图像的部分特征信息来评价图像质量， 这叫做半参考型图像质量评价方法。本发明用的是全参考型图像质量评价方法。
[0003] 最简单及最容易实现的客观IQA为均方根误差（MSE)，信噪比（SNR)，以及峰值信 噪比（PSNR)，这些方法都是从均方误差（MSE)上发展而来。这些方法很流行的原因是计算 简单，物理含义明确，并且在数学上很容易优化，但是也常常因为其在感知图像质量方面和 主观评价不一致而被诟病。
[0004] 大多数情况下图像的最终受众是人，所以很长时间以来研究者们都在试图开发能 更符合人类视觉系统（HVS)的方法，并取得了一些成果。这些方法可被大致分为两类，利用 人类视觉系统的方法和利用工程学的方法。
[0005] 不像RMSE或PSNR处理的是像素值，利用人类视觉系统的方法主要处理的是图像 对比度。有人提出了HVS的两个特性：人眼感知亮度的非线性和在空间频率上的对比敏感 度特性，通过后者可建立对比敏感度函数（CSF)。视觉信噪比（VSNR)方法在形式上和SNR很 像，但是用的是对比度处理方法，并且考虑到了失真的全局优先级中断。最明显失真（MD) 方法在测量时分别使用近阈值和超阈值方法，然后把两种方法测得的结果整合为一个数 值。
[0006] 利用工程学的方法常常建立一个计算模型来测量图像特征的失真情况，用得出的 结果评估图像质量。结构相似度（SSM)方法通过合并三个部分（亮度，对比度和结构）来 获得。用多尺度（MS)方法替换单尺度（SS)方法可获得MS-SIM方法。更多的，IW-SSIM方 法通过使用信息内容作为权重值，在综合时把图像质量图转换为图像质量值。视觉信息保 真度（VIF)方法通过图像质量保真度来衡量大脑要处理信息的比例。
[0007] 利用工程学的方法的优点之处在于实际上人眼对于图像的结构信息很敏感。图像 的视觉信息常常是非常冗余的，而人眼理解一幅图像主要利用图像的低层特征，比如边缘 和零交叉。换句话说，突出的低层特征为人眼解释图像提供了重要的信息。利用傅里叶变换 的谱残差（SR)方法首先移除了图像的统计冗余部分，然后参考图像和光滑图像之间的log振幅谱的差别被计算出来，通过转换SR到空间域，可获得显著图矩阵。
【发明内容】
[0008] 为了克服现有技术的不足，提出一种客观图像质量评测方法，使图像的评价结果 更加符合人类主观评价，为此，本发明采取的技术方案是，多尺度全参考型图像质量评测方 法，包括如下步骤：
[0009] (1)首先用高斯塔形分解分别将参考图像和失真图像分解为五层；
[0010] ⑵分别计算参考图像和失真图像的相位谱，通过将相位谱向空间域转换获得视 觉显著性矩阵；
[0011] (3)分别计算参考图像和失真图像的图像块的中心像素的梯度特征值，通过加权 梯度特征值计算得梯度相似性矩阵；
[0012] (4)通过把视觉显著性矩阵和梯度相似性矩阵按照一定的比例加权相乘，获得单 尺度图像质量的客观评价值；
[0013] (5)将（4)的结果扩展到多尺度上，获得多尺度图像质量的客观评价值。
[0014] 所述的分别计算参考图像和失真图像的相位谱，通过将相位谱向空间域转换可以 获得视觉显著性矩阵，包括以下步骤：
[0015] (1)分别求得参考图像和失真图像的傅里叶变换；
[0016] (2)分别求得参考图像和失真图像傅里叶变换后图像的相位谱，获得相位谱矩 阵；
[0017] (3)分别求得参考图像和失真图像谱相图矩阵的傅里叶逆变换，并对矩阵中每个 元素作平方运算；
[0018] (4)用一个二维高斯滤波器与（3)的结果作卷积乘法，获得视觉显著矩阵。所述的 分别计算计算参考图像和失真图像的图像块的中心像素的梯队特征值，通过加权梯度特征 值可计算得梯度相似性矩阵，包括以下步骤：
[0019] (1)用（m，n)坐标处的像素值与一个四方向高通滤波器相乘，用来做结构检测的 梯度特征值；
[0020] (2)取（1)算得的四个方向中最大的值，作为图像块的中心像素的梯度特征值；
[0021] (3)通过加权⑵获得的梯度值计算得梯度相似性矩阵。
[0022] 所述通过把视觉显著性矩阵和梯度相似性矩阵按照一定的比例加权相乘，获得单 尺度图像质量的客观评价值，包括以下步骤：
[0023] (1)将获得的谱相图加权可得总的相位谱的视觉显著性矩阵；
[0024] (2)将获得的梯度相似性加权可得总的梯度相似性矩阵；
[0025] (3)将总的相位谱的视觉显著图及总的梯度相似性按照1:1比例组合，获得质量 的客观评价值。
[0026] 与已有技术相比，本发明的技术特点与效果：
[0027] 本发明提供了一种利用相位谱和梯度相似度的多尺度全参考型客观质量评价方 法。该方法适用于各种图像编码、处理算法的设计，以及不同的算法的效果比较。由于全参 考型评价方法可以利用原始图像的全部信息，因此相对部分参考型和无参考型评价方法， 全参考型对图像的评价结果更加符合人类主观评价，有着广泛的应用前景。
【专利附图】
【附图说明】
[0028] 图1为本发明的方法流程图；
[0029] 图2为本发明的视觉特征感知图；其中：
[0030] (a)参考图像（b)失真图像（C)参考图像的视觉显著图⑷失真图像的视觉显著 图（e)参考图像的梯度相似性图（f)失真图像的梯度相似性图。
[0031] 图3为本发明的客观质量与主观质量的拟合结果图。
[0032] 图4为用于结构检测的定向高通滤波器。
【具体实施方式】
[0033] 利用相位谱和梯度相似度的多尺度全参考型客观质量评价方法，包括：
[0034] (1)首先用高斯塔形分解分别将参考图像和失真图像分解为五层；
[0035] (2)分别计算参考图像和失真图像的相位谱，通过将相位谱向空间域转换可以获 得视觉显著性矩阵。
[0036] (3)分别计算参考图像和失真图像的图像块的中心像素的梯度特征值，通过加权 梯度特征值可计算得梯度相似性矩阵。
[0037] (4)通过把视觉显著性矩阵和梯度相似性矩阵按照一定的比例加权相乘，获得单 尺度图像质量的客观评价值。
[0038] (5)将（4)的结果扩展到多尺度上，可获得多尺度图像质量的客观评价值。
[0039] 所述的分别计算参考图像和失真图像的相位谱，通过将相位谱向空间域转换可以 获得视觉显著性矩阵，包括以下步骤：
[0040] (1)分别求得参考图像和失真图像的傅里叶变换；
[0041] (2)分别求得参考图像和失真图像傅里叶变换后图像的相位谱，可获得相位谱矩 阵；
[0042] (3)分别求得参考图像和失真图像谱相图矩阵的傅里叶逆变换，并对矩阵中每个 元素作平方运算；
[0043] (4)用一个二维高斯滤波器（〇 = 8,sigma为标准方差）与（3)的结果作卷积乘 法，可获得视觉显著矩阵。
[0044] 所述的分别计算计算参考图像和失真图像的图像块的中心像素的梯队特征值，通 过加权梯度特征值可计算得梯度相似性矩阵，包括以下步骤：
[0045] (1)用（m，n)坐标处的像素值与一个四方向高通滤波器相乘，用来做结构检测的 梯度特征值；
[0046] (2)取（1)算得的四个方向中最大的值，作为图像块的中心像素的梯度特征值；
[0047] (3)通过加权（2)获得的梯度值可计算得梯度相似性矩阵；
[0048] 所述的通过把视觉显著性矩阵和梯度相似性矩阵按照一定的比例加权相乘，获得 单尺度图像质量的客观评价值，包括以下步骤：
[0049] (1)将获得的谱相图加权可得总的相位谱的视觉显著性矩阵；
[0050] (2)将获得的梯度相似性加权可得总的梯度相似性矩阵；
[0051] (3)将总的相位谱的视觉显著图及总的梯度相似性按照1:1比例组合，获得质量 的客观评价值。
[0052] 下面结合附图和具体实施例进一步详细说明本发明。
[0053] 如图1所示，一种采用本发明利用相位谱和梯度相似度的多尺度全参考型客观质 量评价方法，包括：
[0054] (1)首先用高斯塔形分解分别将参考图像和失真图像分解为五层；
[0055] (2)分别计算参考图像和失真图像的相位谱，通过将相位谱向空间域转换可以获 得视觉显著性矩阵。
[0056] (3)分别计算参考图像和失真图像的图像块的中心像素的梯度特征值，通过加权 梯度特征值可计算得梯度相似性矩阵。
[0057] (4)通过把视觉显著性矩阵和梯度相似性矩阵按照一定的比例加权相乘，获得单 尺度的图像质量的客观评价值。
[0058] (5)将（4)的结果扩展到多尺度上，可获得多尺度图像质量的客观评价值。
[0059] 分别计算参考图像和失真图像的相位谱，通过将相位谱向空间域转换可以获得视 觉显著性矩阵的具体过程包括以下步骤：
[0060] 1)分别求得参考图像和失真图像的傅里叶变换；
[0061] F(u,v) =F(I(x,y)) (I)
[0062] F代表傅里叶变换，I(x，y)为参考（失真）图像，这里的x，y为空间坐标，u，v为 谐波分量的频率。
[0063] 2)分别求得参考图像和失真图像傅里叶变换后图像的相位谱，可获得的相位谱矩 阵；
[0064] A(u,v) =angle(F(u,v)) (2)
[0065] angle(?)代表求图像的相位谱。
[0066] 3)分别求参考图像和失真图像相位谱矩阵的傅里叶逆变换，并对矩阵中每个元素 作平方运算：
[0067] P(x，y) = ||r1[exp(j.A(u，v))]||2 (3)
[0068] 4)用一个二维高斯滤波器（〇 = 8,sigma为标准方差）与⑶的结果作卷积乘 法，可获得视觉显著性矩阵。
[0069] PSVS(x,y) =g(x,y)*P(x,y) (4)
[0070] *代表两式做卷积运算，F-1代表傅里叶逆变换，g(x，y)是一个二维高斯滤波器。
[0071] 分别计算参考图像和失真图像的图像块的中心像素的梯度特征值，通过加权梯度 特征值可计算得梯度相似性矩阵的具体过程包括以下步骤：
[0072] 1)分别把参考图像与失真图像（m，n)坐标处的像素值与一个四方向的高通滤波 器相乘，得到用来做结构检测的梯度特征值；
[0073]
【权利要求】
1. 一种多尺度全参考型图像质量评测方法，其特征是，包括如下步骤： (1) 首先用高斯塔形分解分别将参考图像和失真图像分解为五层； (2) 分别计算参考图像和失真图像的相位谱，通过将相位谱向空间域转换获得视觉显 著性矩阵； (3) 分别计算参考图像和失真图像的图像块的中心像素的梯度特征值，通过加权梯度 特征值计算得梯度相似性矩阵； (4) 通过把视觉显著性矩阵和梯度相似性矩阵按照一定的比例加权相乘，获得单尺度 图像质量的客观评价值； (5) 将（4)的结果扩展到多尺度上，获得多尺度图像质量的客观评价值。
2. 如权利要求1所述的多尺度全参考型图像质量评测方法，其特征是，所述的分别计 算参考图像和失真图像的相位谱，通过将相位谱向空间域转换可以获得视觉显著性矩阵， 包括以下步骤： (1) 分别求得参考图像和失真图像的傅里叶变换； (2) 分别求得参考图像和失真图像傅里叶变换后图像的相位谱，获得相位谱矩阵； (3) 分别求得参考图像和失真图像谱相图矩阵的傅里叶逆变换，并对矩阵中每个元素 作平方运算； (4) 用一个二维高斯滤波器与（3)的结果作卷积乘法，获得视觉显著矩阵。
3. 如权利要求1所述的多尺度全参考型图像质量评测方法，其特征是，所述的分别计 算计算参考图像和失真图像的图像块的中心像素的梯队特征值，通过加权梯度特征值可计 算得梯度相似性矩阵，包括以下步骤： (1) 用（m，η)坐标处的像素值与一个四方向高通滤波器相乘，用来做结构检测的梯度 特征值； (2) 取（1)算得的四个方向中最大的值，作为图像块的中心像素的梯度特征值； (3) 通过加权（2)获得的梯度值计算得梯度相似性矩阵。
4. 如权利要求1所述的多尺度全参考型图像质量评测方法，其特征是，所述的用（2)和 (3)生成的谱相图和梯度相似性按照一定的比例加权，获得单尺度图像质量的客观评价值， 包括以下步骤： (1) 将获得的谱相图加权可得总的相位谱的视觉显著性矩阵； (2) 将获得的梯度相似性加权可得总的梯度相似性矩阵； (3) 将总的相位谱的视觉显著图及总的梯度相似性按照1:1比例组合，获得质量的客 观评价值。
【文档编号】G06T7/00GK104318577SQ201410623521
【公开日】2015年1月28日 申请日期:2014年11月6日 优先权日:2014年11月6日
【发明者】史再峰, 李钊, 曹清洁, 满晨龙, 高静, 李斌桥 申请人:天津大学