基于视觉注意特征的全参考图像质量评价方法与流程

本发明主要涉及诸如图像获取、传递、压缩、插值和增强等实际的视觉应用领域。图像质量评价方法在评估或优化图像相关算法和系统性能上具有决定性作用。具体讲,涉及基于视觉注意心理和生理特征的全参考图像质量评价方法。

背景技术：

图像作为信息的载体，一幅拥有好质量的图片能够传递给人更多的信息量。然而，在图像的形成、传递和处理等过程中，信息量会不同程度地丢失。因此，图像质量评价在评估或优化图像相关算法和系统性能上具有重要的作用。依据评价对象不同来划分图像质量评价方法，可分为以人眼为评价对象的主观评价方法和以机器为评价对象的客观评价方法。主观评价方法是最可信赖的评价方式，但是由于主观评价方法成本高并且耗时长，所以研究者更致力于发展完善符合人类视觉系统感知过程的客观评价方法。本专利方法为原图像完全可用的全参考图像质量评价方法。

在长期研究人眼视觉感知过程中，并结合va(visualattention，视觉注意)的生理、心理特征的研究成果，人们逐渐发现了igm(internalgenerativemechanism，内部生成机制)、视觉显著性和各种基于内容的视觉掩盖效应在视觉感知过程中起到的关键性作用。

在大脑处理视觉信息的过程中，igm结合先验知识积极预测主要视觉信息并最小化残留的不确定信息，即积极获取相对简单结构易于推断的部分并忽视结构杂乱难于预测的部分。关于视觉显著性的研究主要是图像的哪部分区域更加吸引人眼的注意。基于内容的视觉掩盖效应有很多种，本专利方法主要考虑了熵掩盖、颜色掩盖和纹理掩盖。熵掩盖和作为视觉注意心理特征的igm紧密相关，它发生在中心像素的背景复杂且大脑觉察其陌生的时候。

作为视觉注意生理特征的颜色掩盖发生在人眼敏感的图像边缘区域，人眼往往过多关注该区域的结构信息变化，而忽略颜色信息变化。同样作为视觉注意生理特征的纹理掩盖发生在比较杂乱的区域，人眼往往忽略该区域的结构信息变化，而关注颜色信息变化。

当图像失真类型与图像内容无关时，psnr评价指标更符合人类视觉系统感知；当图像失真类型与图像内容相关时，模拟人类视觉系统的评价指标，比如：ssim，更符合人类视觉系统感知；

技术实现要素：

为克服现有技术的不足，解决现有图像质量评价方法不能很好地符合人类视觉系统感知过程这个问题，本发明结合视觉注意的生理和心理特点的相关内容，提出一种新型全参考图像质量评价方法，可得到与人类主观图像质量评价更相近的结果。为此，本发明采取的技术方案是，基于视觉注意特征的全参考图像质量评价方法，步骤如下：

step1：结构和色彩特征提取：分别将原始图像和失真图像的rgb色彩空间转换到更符合人类视觉系统感知特性的色彩空间上，然后，通过对与亮度或灰度相关的通道信息进行处理得到两幅图像的结构相似性矩阵，通过对色彩通道信息进行处理得到两幅图像的色彩相似性矩阵，至此，完成了图像结构和色彩两个特征的提取；

step2-1：整幅图片的分类：引入边缘检测算法分别对原始图像和失真图像进行分区，将图像分为两个区域：边缘区域，非边缘区域，边缘区域是指边缘检测算子检测到的两幅图像共同的边缘区域，其余区域为非边缘区域；

step2-2：非边缘区域的分类：通过引入va心理因子包括但不限于贝叶斯预测模型将非边缘区域划分为简单结构区域和复杂结构区域，简单结构区域是指拥有规律结构的图像部分，复杂结构区域是指具有信号杂乱特点的图像部分；

step3：边缘区域、复杂结构区域和简单结构区域的失真测量：结合周围像素影响中心像素的颜色掩盖和纹理掩盖效应，在边缘区，人眼只对结构信息敏感，因此只考虑原始图像和失真图像像素点的结构相似性特征；在复杂结构区，人眼对结构信息不敏感且对颜色信息敏感，因此考虑原始图像和失真图像像素点的色彩相似性特征，除此之外，还采用psnr来评价这部分与内容无关的失真；在简单结构区，考虑原始图像和失真图像像素点的结构和色彩相似性特征；

step4：整体综合策略：根据图像中每个像素点各自的特征，综合策略赋予每个像素点相应的权重，目的是突出表现该像素点相对于整幅图像在人类视觉系统感知图像质量过程中的重要性。综合策略同时考虑了va生理因子和心理因子，包括视觉显著性和与igm相关的熵掩盖效应这两个在人类视觉系统中重要的因素，综合二者的结果作为最终的综合策略；

step5：最终图像质量分数的形成：通过结合局部的失真测量和针对整体像素点的综合策略，分别得到边缘区域、复杂结构区域和简单结构区域的图像质量评价分数；接着，分别计算复杂结构区域和简单结构区域噪声能量在非边缘区所占比例，把各自的噪声能量占比作为各自在非边缘区质量评估重要程度的体现，进而分配两部分结果在非边缘区评价中所占的比例；对于边缘区和非边缘区的比例分配，把各自区域像素点个数占整幅图像像素点个数的比值作为两个区域的权重，最终形成原始图像和失真图像的质量评价结果。

三原色rgb色彩空间不符合人类视觉系统感知特性，因此首先对其进行转换,将rgb色彩空间转换至符合人类视觉系统感知特性的lmn色彩空间。

其中，l为图像的亮度通道，m和n为图像的色彩通道，通过l计算图像结构相似性，即提取图像的结构特征，通过m和n计算图像的色彩相似性；在计算结构相似性时，采用普鲁伊特(prewitt)算子计算梯度幅值gm(gradientmagnitude)，并用gm代表每个像素点的结构特征：

其中，gh(x)和gv(x)分别是水平方向梯度和竖直方向梯度。

原始图像和失真图像内每个像素点的结构相似性矩阵sg(x)和颜色相似性矩阵sc(x)计算如下，其中g1(x)和g2(x)分别为原始图像和失真图像的梯度幅值，m1(x)和m2(x)分别为原始图像和失真图像m通道的数值，n1(x)和n2(x)分别为原始图像和失真图像n通道的数值，cg、cm和cn被设置为大于0的常数：

通过坎尼canny边缘检测器后，整体图像被划分为边缘区和方非边缘区，非边缘区通过贝叶斯预测模型后，被划分为简单结构区和复杂结构区，对于边缘区域，像素点提取像素的结构特征；对于简单结构区像素点，提取像素的结构和色彩特征；对于复杂结构区像素点提取包括像素的色彩特征并结合psnr共同测量该区域失真。

在整体综合策略中，采用与igm相关的熵掩盖效应，为了衡量图像中各点的混乱程度，采用香农熵来描述该效应，如下式所示：

选取以x为n*n正方形区域wx的中心像素点，l0；...lm；为wx内的亮度值，p(li)是wx内亮度值的发生概率，h(wx)是wx的熵，h(wx)的值越大，表明该像素点的熵掩盖效应越明显，被感知的失真图像信息越少。

除了熵掩盖效应，在整体综合策略中，还包括采用结合简单先验的显着性检测sdsp(saliencydetectionbycombiningsimplepriors)模型的视觉显著性模型，该模型考虑三个方面：1)人眼捕捉显著物体的过程可以被带通滤波器模拟2)图像的中心区域比其它部分更吸引人类视觉系统3)和冷色相比，暖色更容易引起人眼注意，因此整体综合策略ev(x)为：

ev(x)＝(1-hmin(wx))·vsmax(x)

其中，hmin(wx)＝min(hs(wx),hd(wx))，hs(wx)和hd(wx)分别为原始图像和失真图像的熵掩盖效应参数，vsmax(x)＝max(ss(x),sd(x))，ss(x)和sd(x)分别为原始图像和失真图像的视觉显著性参数，由此分别得到边缘区域、简单结构区域和复杂结构区域的图像失真测量结果e,s和o，综合三个区域的失真测量结果，对每个区域的失真测量结果在整体评价中所占的比例进行分配，获得最终的原始图像和失真图像的质量评价分数ppcva，简单结构区域和复杂结构区域间比例系数的计算过程如下式：

其中，m和1-m用于调整易感知区域和难感知区域的相对重要性且m∈[0,1]，msed是原始图像和失真图像复杂结构区的噪声能量，msep是两幅图像简单结构区的噪声能量，进而得到非边缘区的失真测量结果，非边缘区的失真测量结果如下式：

n＝s^mo^(1-m)

关于边缘区域和非边缘区域间比例系数为该区域像素点数目占整幅图像像素点数量的比重，α,β和γ是用于调节psnr,gm和色彩特征相对重要性的比例系数，根据对大型图像数据库的实际测试结果得到。

本发明的特点及有益效果是：

本发明所提出的面向视觉应用的全参考图像质量评价方法，基于视觉注意的生理和心理特点，模拟人类视觉系统感知图像的过程。可以得到更接近人类视觉系统在实际感知后所得到的评价结果，能更好地代表人眼对图像信息真实的理解和感受，为优化和图像处理相关的算法和系统提供了更有效的保障。

附图说明：

图1全参考图像质量评价方法流程图。

图2全参考图像质量评价方法实例。

图3图像分区示意图。

具体实施方式

本发明提出的基于视觉注意心理和生理特征的全参考图像质量评价方法的流程如图1所示，其中，原始图像指的是未发生任何失真变化的原图片，失真图像指的是掺杂了模糊和噪声等失真信息的扭曲图片。具体实施方案如下：

step1：结构和色彩特征提取。分别将原始图像和失真图像的rgb色彩空间转换到更符合人类视觉系统感知特性的色彩空间上。然后，通过对与亮度或灰度相关的通道信息进行处理得到两幅图像的结构相似性矩阵，通过对色彩通道信息进行处理得到两幅图像的色彩相似性矩阵。至此，完成了图像结构和色彩两个特征的提取。

step2-1：整幅图片的分类。引入边缘检测算法分别对原始图像和失真图像进行分区，将图像分为两个区域：边缘区域，非边缘区域，边缘区域是指边缘检测算子检测到的两幅图像共同的边缘区域，其余区域为非边缘区域。

step2-2：非边缘区域的分类。通过引入va心理因子包括但不限于贝叶斯预测模型将非边缘区域划分为简单结构区域和复杂结构区域。简单结构区域是指拥有规律结构的图像部分，复杂结构区域是指具有信号杂乱特点的图像部分。

step3：边缘区域、复杂结构区域和简单结构区域的失真测量。结合周围像素影响中心像素的颜色掩盖和纹理掩盖效应，在边缘区，人眼只对结构信息敏感，因此只考虑原始图像和失真图像像素点的结构相似性特征；在复杂结构区，人眼对结构信息不敏感且对颜色信息敏感，因此考虑原始图像和失真图像像素点的色彩相似性特征，除此之外，还用包括但不限于psnr来评价这部分与内容无关的失真；在简单结构区，考虑原始图像和失真图像像素点的结构和色彩相似性特征。

step4：整体综合策略。根据图像中每个像素点各自的特征，综合策略赋予每个像素点相应的权重，目的是突出表现该像素点相对于整幅图像在人类视觉系统感知图像质量过程中的重要性。综合策略同时考虑了va生理因子和心理因子包括但不限于视觉显著性和与igm相关的熵掩盖效应这两个在人类视觉系统中重要的因素，综合二者的结果作为最终的综合策略；

step5：最终图像质量分数的形成。通过结合局部的失真测量和针对整体像素点的综合策略，分别得到边缘区域、复杂结构区域和简单结构区域的图像质量评价分数。接着，分别计算复杂结构区域和简单结构区域噪声能量在非边缘区所占比例，把各自的噪声能量占比作为各自在非边缘区质量评估重要程度的体现，进而分配了两部分结果在非边缘区评价中所占的比例。对于边缘区和非边缘区的比例分配，把各自区域像素点个数占整幅图像像素点个数的比值作为两个区域的权重。最终形成原始图像和失真图像的质量评价结果，该结果结合了视觉注意的心理和生理特征并具有局部与整体相结合的特点。

通过以上五步，便可利用本发明所提出的基于视觉注意的全参考图像质量评价方法完成图像质量的精确评估。

下面结合附图和具体实施方式进一步详细说明本发明。

基于图1结构的全参考图像质量评价过程如上五步所述，主要包括结构和色彩特征提取、整幅图片的分类、非边缘区域的分类、边缘区域、三个区域的失真测量、整体综合策略及最终图像质量分数的形成。下面结合图2所示的算法流程图，通过一个实例进一步对本发明进行说明。首先，三原色rgb色彩空间不符合人类视觉系统感知特性，因此首先对其进行转换,将rgb色彩空间转换至符合人类视觉系统感知特性的包括但不限于lmn色彩空间。

其中，l为图像的亮度通道，m和n为图像的色彩通道。通过l计算图像结构相似性，即提取图像的结构特征，通过m和n计算图像的色彩相似性。在计算结构相似性时，我们采用普鲁伊特(prewitt)算法计算gm(gradientmagnitude，梯度幅值)，并用gm代表每个像素点的结构特征。

其中，gh(x)和gv(x)分别是水平方向梯度和竖直方向梯度。

原始图像和失真图像内每个像素点的结构相似性矩阵sg(x)和颜色相似性矩阵sc(x)计算如下，其中g1(x)和g2(x)分别为原始图像和失真图像的梯度幅值，m1(x)和m2(x)分别为原始图像和失真图像m通道的数值，n1(x)和n2(x)分别为原始图像和失真图像n通道的数值。cg、cm和cn被设置为大于0的常数，常数防止sg(x)和sc(x)的分母为0，进而增强了sg(x)和sc(x)的稳定性。

通过包括但不限于坎尼(canny)边缘检测器后，整体图像被划分为边缘区和方非边缘区，非边缘区通过包括但不限于贝叶斯预测模型后，被划分为简单结构区和复杂结构区。图3为按边缘特征和贝叶斯预测模型划分后的示意图，底端第一幅图的白色区域是原始图像和失真图像共同的边缘区域，对于该区域像素点提取像素的包括但不限于结构特征；底端第二幅图的红色区域表示被去除的边缘区部分，剩余的其它部分是简单结构区，该区域虽然没有十分明显的边缘，但仍然携带特定的结构信息，对于该区域像素点，我们提取包括但不限于像素的结构和色彩特征；底端第三幅图的白色区域是复杂结构区，该区域结构杂乱，其失真类型与图像内容无关，此外，由于psnr在评价与图像内容无关的失真方面有很好的效果，因此，对于该区域像素点提取包括但不限于像素的色彩特征并结合包括但不限于psnr共同测量该区域失真。

在整体综合策略中，关于视觉掩盖效应我们考虑与igm相关的包括但不限于熵掩盖效应，整体综合策略中的熵掩盖和局部关于复杂结构区的失真测量起到互补的作用。为了衡量图像中各点的混乱程度，我们用包括但不限于香农熵来描述该效应，如下式所示：

选取以x为5*5正方形区域wx的中心像素点，l0；...l24；为wx内的亮度值，p(li)是wx内亮度值的发生概率，h(wx)是wx的熵，h(wx)的值越大，表明该像素点的熵掩盖效应越明显，被感知的失真图像信息越少。

除了熵掩盖效应，在整体综合策略中，包括但不限于视觉显著性也该被考虑。在这里我们采用一个包括但不限于名为sdsp(saliencydetectionbycombiningsimplepriors，结合简单先验的显着性检测)模型。

的视觉显著性模型，该模型主要考虑三个方面：1.人眼捕捉显著物体的过程可以被带通滤波器模拟2.图像的中心区域比其它部分更吸引人类视觉系统3.和冷色相比，暖色更容易引起人眼注意。因此整体综合策略ev(x)为：

ev(x)＝(1-hmin(wx))·vsmax(x)

其中，hmin(wx)＝min(hs(wx),hd(wx))，hs(wx)和hd(wx)分别为原始图像和失真图像的熵掩盖效应参数，vsmax(x)＝max(ss(x)，sd(x))，ss(x)和sd(x)分别为原始图像和失真图像的视觉显著性参数。如图2所示，我们可以分别得到边缘区域，简单结构区域和复杂结构区域的图像失真测量结果e，s和o。综合三个区域的失真测量结果，对每个区域的失真测量结果在整体评价中所占的比例进行分配，包括但不限于这种方式，获得最终的原始图像和失真图像的质量评价分数ppcva。简单结构区域和复杂结构区域间比例系数的计算过程如下式：

其中，m和1-m用于调整易感知区域和难感知区域的相对重要性且m∈[0,1]，msed是原始图像和失真图像复杂结构区的噪声能量，msep是两幅图像简单结构区的噪声能量，进而得到非边缘区的失真测量结果，非边缘区的失真测量结果如下式：

n＝s^mo^(1-m)

关于边缘区域和非边缘区域间比例系数为该区域像素点数目占整幅图像像素点数量的比重。α，β和γ是用于调节psnr，gm和色彩特征相对重要性的比例系数可以根据对大型图像数据库的实际测试结果得到。