基于图谱视觉显著的立体图像质量客观评价方法与流程

本发明属于图像处理领域，涉及图像质量评价方法改进优化，尤其是涉及一种基于图谱显著性的立体图像质量客观评价方法。

背景技术：
20世纪以来，立体成像技术(3DTechnology)在科技领域和生活娱乐等领域的应用越来越广泛，越来越多的将更多的精力投入在3D影像技术的研究。但是立体图像在采集、压缩、储存、传输和显示的过程中，可能由于种种原因产生各种失真，严重影像人们观看立体影像时的感受。立体图像质量作为立体图像的固有属性是评判立体图像失真的一个重要指标。虽然主观质量评价方法的准确性较高，但是具有费时费力且成本较高的缺陷，因此建立一个能够准确高效模拟人眼主观评价结果的立体图像质量客观评价算法具有重要的意义。经过多年的研究，国内外研究者已提出了许多立体图像质量客观评价算法。最初，将均方误差(MeanSquaredError,MSE)、峰值信噪比(PeakSignalNoiseRatio,PSNR)、结构相似度(StructuralSimilarity,SSIM)[1]等一些经典的平面图像质量评价算法直接应用于立体图像的左右视点，通过加权左右图像质量得到立体图像质量客观评价值[2]。You[3]等人将其中的一些2D图像质量评价方法应用到立体图像当中，并对其性能进行了相应的分析比较。目前，研究者已将一些容易建模的人眼视觉特性例如亮度幅度非线性特性、多通道特性、对比度敏感度特性和掩盖效应等，用于立体图像质量客观评价算法中。而且，随着各研究领域对人类视觉系统的认识逐渐加深，客观评价模型中融入更加复杂和高级的人眼视觉特性成为了必然的发展方向。视觉显著性作为一种人类视觉系统高级特性，是指人眼对图像不同区域分配的注意力强度不同。显著区域是人眼比较容易关注的区域，所以观看失真立体图像时，显著区域出现的失真对人眼的视觉感受影响更大。视觉显著图为立体图像质量客观评价提供了重要依据，目前，利用视觉显著性进行立体图像质量评价的文献主要有[4-7]，文献[4]主要利用单视点图和视差图生成另一个视点，然后结合立体显著性和结构相似度(SSIM)算法[1]对所生成视图进行质量评价。文献[5]结合相位一致性特征和显著特征分别获取立体图像左右视点的特征图，使用局部匹配函数加权两个特征图的差异以评估左右视点间的相关性，进行立体图像质量经验值评价。文献[6]使用结构相似度(SSIM)算法得到原始与失真立体图像的结构相似度图，将其与立体显著图融合得到立体图像质量评价指标。文献[7]利用原始和失真左右视图的显著图分别对原始和失真左右视图加权，确定原始、失真立体图像左右视图的选择性显著图；然后采用结构相似度(SSIM)算法得到左右视图的显著结构相似度图，通过为边缘区域、平滑区域和纹理区域分配不同的权值来获取单视图的客观评价值；最后，加权平均左右视图的客观评价值得到立体图像质量客观评价值。一般来说，由于人类视觉系统对图像的观察是自下而上的，不能同时将整幅图的内容同时观察到，而是只关注图像中最引人注意的地方。因此，结合显著性能够有效的对立体图像质量进行客观评价。

技术实现要素：
为克服现有技术的不足，本发明旨在实现客观评价的结果与主观评测的一致性更高，同时在一定程度上推动立体成像技术的发展。本发明采用的技术方案是，基于图谱视觉显著的立体图像质量客观评价方法，步骤如下：1)采用结构相似度算法SSIM，计算参考右图像和右图像的亮度、对比度和结构的比较函数，将从而得出SSIM的图像质量权值矩阵，再通过最近邻域插值算法将图像质量权值矩阵放大到与原图像大小相同；2)通过特征图技术方法改进提出的GBVS(Graph-basedVisualSaliency)图谱显著计算模型计算失真图像显著特征，再结合人眼中央偏移特性得到优化后的失真图像显著图；3)将1)中得到的图像质量权值与2)中得到的失真图像显著图加权计算，得到单幅右眼图像的质量评价得分；重复上述过程，计算左眼的图像的客观评价得分，再对左右眼图像的客观评分进行加权处理，得到最终的立体图像质量客观评价得分。结构相似度算法结构相似度算法具体为，使用M×M、标准差为1.5的高斯滑动窗口分别对原始立体图像对的右视点和失真立体图像对的右视点采样获取子图像块X,Y，计算它们的亮度、结构和对比度相似度：其中：其中,C1、C2、C3表示非常小的正常量,避免分母为零,且C1＝(k1L)2、C2＝(k2L)2、C3＝(C2/2)2；k1、k2分别是[0,1]之间的常量；xi,yi分别是图像块X,Y中第i个像素点的值,μX,μY分别为图像块X,Y的均值，σX,σY分别为图像块X,Y的方差，σXY为图像块X,Y的协方差，N是图像块X或Y的像素数量，l(X,Y)，c(X,Y)，s(X,Y)分别为图像块X,Y的亮度、对比度和结构参数矩阵。图像块的结构相似度定义为：SSIM(x,y)＝(l(X,Y))τ(c(X,Y))β(s(X,Y))γ(7)其中τ,β，γ为调节参数，取τ＝β＝γ＝1，(x,y)为图像的像素点，由式(7)计算滑动窗口内的结构相似度，SSIM(x,y)为滑动窗口从图像左上角至右下角后计算得出的结果，其大小为((W-10)×(H-10))，其中W和H表示图像的水平像素和垂直像素个数。为进而获取失真立体图像对右视点的质量矩阵QR(x,y)，采用最近邻域插值算法将SSIM(x,y)放大到与原图像大小相同。最近邻域插值算法具体是指，目标像素点处的灰度值是，由该像素点周围距离该像素点最近的像素点的灰度值决定的，而其它所有的像素点对其没有影响；(i,j)、(i,j+1)、(i+1,j)、(i+1,j+1)分别是进行插值前浮点坐标(i+a,j+b)(i,j分别表示坐标的整数部分，a,b则分别表示坐标的小数部分，且a∈[0,1)，b∈[0,1))，的四个邻域，f(i,j)、f(i,j+1)、f(i+1,j)、f(i+1,j+1)分别是对应像素点的灰度值，A、B、C、D分别表示像素点f(i,j)、f(i,j+1)、f(i+1,j)、f(i+1,j+1)所构成的区域的左上、右上、左下、右下区域，最近邻域差值算法就是确定上述四个点中距离目标像素点(i+a,j+b)最近的点，则其最近点的灰度值就是目标像素点的灰度值，最近邻域算法用以下公式表示：最后，使用上述的最近邻域插值算法将由SSIM算法得到的失真立体图像对右视点的质量矩阵SSIM(x,y)放大到原图像大小，此时放大后的图像即为右视点的质量矩阵QR(x,y)。GBVS具体步骤是：首先根据Itti模型的四阶高斯金字塔分解提取图像的亮度与方向特征，然后采用基于图谱的方法分别提取亮度、方向显著特征图，最后合并显著特征图得到图像的显著图。提取多尺度亮度信息：对灰度图像进行四阶高斯金字塔低通滤波，金字塔的每一阶均是二维的高斯低通滤波器如公式(9)所示：其中，(x,y)表示像素点，σ0表示尺度因子，σ0越小，则该滤波器的平滑范围越好，金字塔是指对图像进行连续的1/2下采样和高斯低通滤波，高斯金字塔中每阶的输入图像都是上阶输入图像经过高斯低通滤波和下采样后的结果，把灰度图像经过高斯金字塔滤波后的结果记为Il以表示亮度信息。提取多尺度方向信息：对灰度图像进行二维Gabor金字塔滤波来提取方向信息，二维Gabor滤波器如公式(10)：其中，σ1表示尺度因子，θ表示方向，通常情况下选取四个方向θ＝[0,π/4,π/2,3π/4]，同样，把灰度图像经过二维Gabor金字塔滤波后得到的四组滤波结果记为Iθ，用其来表示方向信息；对每一尺度的滤波结果均求其对应的平衡分布，然后将这些按照亮度信息和方向信息叠加并且归一化，针对同一信息，将尺度小的图像方法扩大并与大尺度图像叠加，这样亮度信息获得一张亮度特征图，方向信息有4个方向的特征图，将4个方向的特征图叠加得到一个方向特征图，最后将亮度特征图与方向特征图相加并归一化获得最终的视觉显著图SM，(x,y)，尺寸与原来图像相同。优化显著图具体步骤是，采用公式(11)的方式[14]对GBVS模型获取的显著图SM1进行优化，SMR(x,y)＝α×SM1(x,y)+(1-α)×CB(x,y)(11)其中，SM1(x,y)和SMR(x,y)是SM1和优化后的立体视觉显著图SMR在像素点(x,y)处的显著值。为α为控制参数，根据实验取α＝0.7；具有各向异性的高斯核函数[13]模拟注意力由中央向四周扩散的中央偏移(CB)因子：其中CB(x,y)表示像素点(x,y)对中心点(x0,y0)的偏移信息，(x0,y0)表示失真右视点的中心点坐标，(x,y)为像素点坐标，σh和σv分别表示图像水平方向和垂直方向的标准差,取σh＝1/3W,σv＝1/3H，其中W和H表示图像的水平像素和垂直像素个数。用右视点的显著图SMR(x,y)来反映失真立体图像对右视点各部分的视觉重要性，用失真右视点的视觉显著图SMR(x,y)加权图像质量图QR(x,y)，加权求和并归一化，得到失真右视点的质量客观评价值QR，如式(13)所示：采用上述方法得到失真左视点的质量客观评价值QL，则立体图像质量客观评价值为：Q＝0.5×QL+0.5×QR(14)。本发明的特点及有益效果是：由实验结果及数据可以看出，VS-SSIM算法的PCC值均在0.92以上，RMSE值均在0.54以下。与SSIM算法相比，引入中央偏移因子的CB-SSIM算法的各项性能指标均有不同程度的提高，说明中央偏移因子能够提高立体图像质量客观评价的性能；VS-SSIM算法的各项性能指标均优于CB-SSIM算法，说明考虑中央偏移的视觉显著性能够提高立体图像质量客观评价的性能，并且验证了视觉显著性对立体图像质量客观评价具有积极的影响。总体来说，针对不同的失真类型，VS-SSIM算法的PCC、KROCC和RMSE指标均优于其余二种算法，VS-SSIM算法的客观评价值与主观评价结果具有更好的一致性。附图说明：图1VS-SSIM原理框图。图2最近邻域插值算法原理。图3本算法所用的8幅标准立体图像对。图中，(a)源图像Tree2(b)源图像“Family”(c)源图像“Girl”(d)源图像“River”(e)源图像“Tree1”(f)源图像“Ox”(g)源图像“Tju”(h)源图像“Woman”。具体实施方式本发明旨在结合图谱视觉显著方法对立体图像质量进行客观评价。通过结合图像的显著信息和人眼的中央偏移特性对立体图像质量客观评价算法进行优化，使客观评价的结果与主观评测的一致性更高，同时在一定程度上推动了立体成像技术的发展。本发明提供了一种基于图谱视觉显著的立体图像质量客观评价方法，本发明根据融合立体视觉显著图和立体图像综合质量图，准确有效地建立了反映主观评价结果的立体图像质量的客观评价模型。下面以立体图像的右视图为例，基本步骤如下：1.通过采用ZhouWang提出的结构相似度算法SSIM[1]，计算参考右图像和右图像的亮度、对比度和结构的比较函数，将从而得出SSIM的图像质量权值矩阵，再通过最近邻域插值算法将图像质量权值矩阵放大到与原图像大小相同。2.通过Harel[8]等人Itti模型[9]的特征图技术方法改进提出的GBVS(Graph-basedVisualSaliency)图谱显著计算模型计算失真图像显著特征，再结合人眼中央偏移特性得到优化后的失真图像显著图。3.将1中得到的图像质量权值与2中得到的失真图像显著图加权计算，得到单幅右眼图像的质量评价得分。重复上述过程，计算左眼的图像的客观评价得分，再对左右眼图像的客观评分进行加权处理，得到最终的立体图像质量客观评价得分。下面将对各个步骤进行详细的分析：1.1结构相似度算法采用ZhouWang提出的结构相似度算法[1]。为防止出现块效应，使用M×M(M＝11)、标准差为1.5的高斯滑动窗口分别对原始立体图像对的右视点和失真立体图像对的右视点采样获取子图像块X和图像块Y，计算它们的亮度、结构和对比度相似度。其中：其中,C1、C2、C3表示非常小的正常量,避免分母为零,且C1＝(k1L)2、C2＝(k2L)2、C3＝(C2/2)2；k1、k2分别是[0,1]之间的常量；xi,yi分别是图像块X,Y中第i个像素点的值,μX,μY分别为图像块X,Y的均值，σX,σY分别为图像块X,Y的方差，σXY为图像块X,Y的协方差，N是图像块X或Y的像素数量，l(X,Y)，c(X,Y)，s(X,Y)分别为图像块X,Y的亮度、对比度和结构参数矩阵。图像块的结构相似度定义为：SSIM(X,Y)＝(l(X,Y))τ(c(X,Y))β(s(X,Y))γ(7)其中τ,β，γ为调节参数，取τ＝β＝γ＝1，(x,y)为图像的像素点，由式(7)计算滑动窗口内的结构相似度，SSIM(x,y)为滑动窗口从图像左上角至右下角后计算得出的结果，其大小为((W-10)×(H-10))，其中W和H表示图像的水平像素和垂直像素个数。为进而获取失真立体图像对右视点的质量矩阵QR(x,y)，采用最近邻域插值算法将SSIM(x,y)放大到与原图像大小相同。1.2最近邻域插值算法最近邻域插值算法[11]作为一种最简单的缩放算法，适合应用于设计图像缩放的所有领域。其原理是目标像素点处的灰度值是，由该像素点周围距离该像素点最近的像素点的灰度值决定的，而其它所有的像素点对其没有影响。图2中(i,j)、(i,j+1)、(i+1,j)、(i+1,j+1)分别是进行插值前浮点坐标(i+a,j+b)(i,j分别表示坐标的整数部分，a,b则分别表示坐标得小数部分，且a∈[0,1)，b∈[0,1))，的四个邻域，f(i,j)、f(i,j+1)、f(i+1,j)、f(i+1,j+1)分别是对应像素点的灰度值。A、B、C、D分别表示像素点f(i,j)、f(i,j+1)、f(i+1,j)、f(i+1,j+1)所构成的区域的左上、右上、左下、右下区域。最近邻域差值算法就是确定上述四个点中距离目标像素点(i+a,j+b)最近的点，则其最近点的灰度值就是目标像素点的灰度值。最近邻域算法可以用以下公式表示：最后，使用上述的最近邻域插值算法将由SSIM算法得到的失真立体图像对右视点的质量矩阵SSIM(x,y)放大到原图像大小，此时放大后的图像即为右视点的质量矩阵QR(x,y)。2.1GBVS模型最近几年，基于图论的视觉显著模型广泛应用于图像/视频处理领域，其中比较典型的是Harel等人[8]通过对Itti模型[9]的特征图计算方法进行改进提出了GBVS(Graph-basedVisualSaliency)模型。首先根据Itti模型的四阶高斯金字塔分解提取图像的亮度与方向特征，然后采用基于图谱的方法分别提取亮度、方向显著特征图，最后合并显著特征图得到图像的显著图。以右视点为例，将RGB图像转换为灰度图像。(1)提取多尺度亮度信息：对灰度图像进行四阶高斯金字塔低通滤波。金字塔的每一阶均是二维的高斯低通滤波器如公式(9)所示。其中，(x,y)表示像素点，σ0表示尺度因子，σ0越小，则该滤波器的平滑范围越好。金字塔是指对图像进行连续的1/2下采样和高斯低通滤波，高斯金字塔中每阶的输入图像都是上阶输入图像经过高斯低通滤波和下采样后的结果。把灰度图像经过高斯金字塔滤波后的结果记为Il以表示亮度信息。(2)提取多尺度方向信息：对灰度图像进行二维Gabor金字塔滤波来提取方向信息。二维Gabor滤波器如公式(10)：其中，σ1表示尺度因子，θ表示方向，通常情况下选取四个方向θ＝[0,π/4,π/2,3π/4]。同样，把灰度图像经过二维Gabor金字塔滤波后得到的四组滤波结果记为Iθ，用其来表示方向信息。(3)对上述步骤求出的5组每一尺度的滤波结果均求其对应的平衡分布，然后将这些按照亮度信息和方向信息叠加并且归一化。针对同一信息(例如亮度信息和方向信息)，将尺度小的图像方法扩大并与大尺度图像叠加，这样亮度信息获得一张亮度特征图，方向信息有4个方向的特征图，将4个方向的特征图叠加得到一个方向特征图，最后将亮度特征图与方向特征图相加并归一化获得最终的视觉显著图SMr(x,y)，尺寸与原来图像相同。2.2中央偏移特性中央偏移(CenterBias,CB)特性，是指人眼在观看图像时总是倾向于从图的中心开始寻找视觉注视点，然后其注意力由中央向四周递减[12]。也就是说，当像素的坐标位置越处于图像的中间位置，该像素越容易受到关注。本发明采用具有各向异性的高斯核函数[13]模拟注意力由中央向四周扩散的中央偏移(CB)因子：其中CB(x,y)表示像素点(x,y)对中心点(x0,y0)的偏移信息。(x0,y0)表示失真右视点的中心点坐标，(x,y)为像素点坐标，σh和σv分别表示图像水平方向和垂直方向的标准差,根据文献[13]取σh＝1/3W,σv＝1/3H，其中W和H表示图像的水平像素和垂直像素个数。2.3优化显著图采用公式(12)的方式[14]对GBVS模型获取的显著图SM1进行优化。SMR(x,y)＝α×SM1(x,y)+(1-α)×CB(x,y)(12)其中，SM1(x,y)和SMR(x,y)是SM1和优化后的立体视觉显著图SMR在像素点(x,y)处的显著值。为α为控制参数，根据实验取α＝0.7。3.1右视点显著图用右视点的显著图SMR(x,y)来反映失真立体图像对右视点各部分的视觉重要性，用失真右视点的视觉显著图SMR(x,y)加权图像质量图QR(x,y)，加权求和并归一化，得到失真右视点的质量客观评价值QR，如式(13)所示。采用上述方法得到失真左视点的质量客观评价值。则立体图像质量客观评价值为：Q＝0.5×QL+0.5×QR(14)表1本算法与SSIM等算法的性能指标使用的主观实验素材来自天津大学电子信息工程学院宽带无线通信与立体成像研究所的立体视频库和立体图像库。从立体图像库选取含有人物、远景、近景的“Tree2”、“Family”、“Girl”、“River”、“Tree1”、“Ox”、“Tju”、“Woman”共8幅未失真的标准立体图像，其分辨率均为1280×1024。由于立体显示设备需要水平翻转立体图像对的右视点才能体现立体感，因此需要镜像放置立体图像对的右视点图。为了真实模拟立体成像系统对立体图像的失真以及验证本算法的普适性，实验对8幅标准立体图像对进行JPEG压缩失真、高斯模糊失真和高斯白噪失真处理，因此共得到260幅失真立体图像对。根据ITU-RBT.1438标准，在立体显示设备“3DWINDOWS-19A0”上对所有失真立体图像对进行主观测试，观看距离是立体显示设备高度的6倍。根据所有测试者的测试分数得到平均意见值(MeanOpinionScore，MOS)。本文使用Min-Max归一化方法对MOS值进行归一化处理，并扩展到范围为[0,5]的值其中，i表示参考立体图像的编号，本发明中i∈[1,8]。针对某一类型的失真(例如JPEG失真、高斯模糊失真、高斯白噪声失真)，si,j表示参考立体图像i对应的失真立体图像第j种失真程度的MOS值，mi,j表示mi,j经过Min-Max归一化后的值。Mini表示参考立体图像在某种类型失真情况下，不同失真强度的立体图像的MOS值中最小的MOS值。同理，按照上述原理归一化客观评价值。为了衡量本章提出的客观评价方法的实验结果与主观评价结果的一致性，本文选取皮尔逊相关系数(PearsonCorrelationCoefficient，PCC)、肯德尔等级次序相关系数(KendallRankOrderCorrelationCoefficient,KROCC)、及均方误差(RootMeanSquareError,RMSE)三个标准来评价客观算法的评价结果与主观评价结果之间的一致性、单调性和准确性。Kendall相关系数主要是用来衡量客观算法评价与主观评价结果之间的单调性，该指标不是考虑评价分数之间的相对距离，而衡量的是评价分数之间的等级次序；Pearson相关系数权衡的是客观评价分数与MOS值彼此之间的相关性；RMSE值评价的是客观评价分数与主观评价结果之间的离散程度即准确性。PCC和KROCC的绝对值越接近1,RMSE的值越接近0，说明客观评价结果能够有效的反映主观评价结果。下面结合技术方案详细说明本方法：一、通过主观测试获取评价数据样本，经过反复试验选取训练样本和测试样本。被试包括专业被试与非专业被试，均具有正常的视差立体感，共20名被试，分别为在校研究生与本科生，男性11名，女性9名，从事立体信息处理研究的被试共16人，从事其他方向研究的被试共4人。为了便于直观理解本设计，提供了立体图像质量客观评价框图，如图1所示。二、通过本文提出的算法对失真图像与原始图像进行对比计算1.通过采用ZhouWang提出的结构相似度算法SSIM，计算参考右图像和四诊右图像的亮度、对比度和结构的比较函数，将从而得出SSIM的图像质量权值矩阵，再利用最近邻域插值算法将图像质量权值矩阵放大到与原图像大小相同。2.通过Harel等人Itti模型的特征图技术方法改进提出的GBVS(Graph-basedVisualSaliency)图谱显著计算模型计算失真图像显著特征，再结合人眼中央偏移特性得到优化后的失真图像显著图。3.将1中得到的图像质量权值与2中得到的失真图像显著图加权计算，得到单幅右眼图像的质量评价得分。重复上述过程，计算左眼的图像的客观评价得分，再对左右眼图像的客观评分进行加权处理，得到最终的立体图像质量客观评价得分。从表1的数据可以看出，VS-SSIM算法的PCC值均在0.92以上，RMSE值均在0.54以下。与SSIM算法相比，引入中央偏移因子的CB-SSIM算法的各项性能指标均有不同程度的提高，说明中央偏移因子能够提高立体图像质量客观评价的性能；VS-SSIM算法的各项性能指标均优于CB-SSIM算法，说明考虑中央偏移的视觉显著性能够提高立体图像质量客观评价的性能，并且验证了视觉显著性对立体图像质量客观评价具有积极的影响。总体来说，针对不同的失真类型，VS-SSIM算法的PCC、KROCC和RMSE指标均优于其余二种算法，VS-SSIM算法的客观评价值与主观评价结果具有更好的一致性，具有很大的实际价值。