一种基于视觉显著性和深度图的3D图像质量评价方法与流程

本发明属于图像处理技术领域，尤其涉及一种基于视觉显著性和深度图的3d图像质量评价方法。

背景技术：

视觉是人类从外界获取信息的主要渠道，人们通过视觉获取的信息超过总体的80％。视觉信息最主要的载体是图像，因此，图像处理技术，包括采集和显示，已经成为了人们日常生活的重要一环。

三维(3d)成像技术，包括如3d场景捕获、3d压缩、3d传输、渲染和显示等处理阶段，在过去的十年中已经引起了巨大的研究关注。尽管数字图像处理及其相关领域在这些年获得了令人惊叹的进步，但依旧面临着视觉信号的质量难以完全满足目前人们需求的问题。

现今的iqa理论认为，人类的主观感受是图像质量好坏的唯一标准，而使用数学建模得到的客观方法与主观评价的一致程度越高，表示该方法的精确度越高。尽管基于人类观察者判断的主观评价是预测图像质量的最有效手段，但是它具有局限性：费事、费钱、不能在实时系统中实现，同时，由于长时间观看立体图像容易产生视觉疲劳，影响判断的准确性。因此可以预测立体图像感知质量的客观评价方法受到了广泛的关注。

技术实现要素：

本发明公开了一种基于视觉显著性和深度图的全参考立体图像质量客观评价方法。其目的是利用视觉显著性模型，协助提取立体图像视觉特征，并综合深度信息以实现对立体图像质量的映射，来完成立体图像质量的测定与评价。

本发明采取的技术方案是：

首先，利用基于结构相似度的立体匹配算法分别对参考和失真立体图像对的左右视图进行处理，得到参考视差图和失真视差图，将两者比较得到视差图的相似性，也就是代表深度信息的特征。其次，利用结构相似性算法^[1]得到亮度、对比度、对比度的相似性，同时利用谱残差模型^[2]得到参考图像和失真图像的显著性特征，利用高斯色彩模型^[3]得到色度相似性特征等，用以改良结构相似度模型。然后，对参考图像和失真图像利用loggabor滤波器提取多尺度的特征，分别比较左右视图的参考和失真图像的差异，得到多尺度的左右图像的边缘纹理相似度特征。最后，利用支持向量机对各特征进行回归预测，完成对立体图像质量的映射，得到最终的图像质量评价结果。

[1]wangz,bovikac,sheikhhr,etal.imagequalityassessment:fromerrorvisibilitytostructuralsimilarity[j].ieeetransactionsonimageprocessing,2004,13(4):600-612.

[2]houx,zhangl.saliencydetection:aspectralresidualapproach[c]//ieeeconferenceoncomputervisionandpatternrecognition.ieeecomputersociety,2007:1-8.

[3]geusebroekjm,boomgaardrvd,smeuldersawm,etal.colorinvariance[j].patternanalysis&machineintelligenceieeetransactionson,2001,23(12):1338-1350.

本发明解决其技术问题所采用的技术方案如下：

步骤(1).输入参考左右视图和失真左右视图；

步骤(2).利用loggabor滤波器对步骤(1)中输入的参考图像和失真图像，进行滤波，滤波结果即为得到的图像边缘纹理特征；

loggabor滤波器的表达式如下：

其中(f,θ)表示极坐标，θ0是中心方向，f0是中心频率，σθ定义了角带宽δω，且σf定义了径向带宽b:

由公式(1)可以得到loggabor从m个尺度和n个方向得到图像的幅度图：

其中和分别表示loggabor滤波结果的实部和虚部。公式(4)得到的幅度图即为图像的纹理特征。

步骤(3).对步骤(1)输入的立体图像，利用结构相似度，基于能量代价最小化的原则来估计像素视差，即通过平移得到多个对比修正图，而后沿水平方向最大化ssim分数：

其中μx、μy分别表示立体图像的左视图x和右视图y的像素均值，σx和σy分别表示x和y的标准差，和分别表示x和y的方差。σxy代表x和y的协方差。c1，c2为非常小的常数，是为了避免分母为0而维持稳定存在。通常c1＝(k1l)²，c2＝(k2l)²。k1和k2为常量，l是像素的动态范围。

上述ssim分数最大的像素平移量即可视作视差。分别对步骤(1)中输入的参考左右视图和失真左右视图提取视差图，得到反映图像深度信息的参考视差图和失真视差图。

步骤(4).分析步骤(1)输入的参考图像和失真图像的视觉显著性分布情况，以及视觉显著性加成后的图像结构，得到参考图像和失真图像的左右显著图及加成图。视觉显著图提取方法采用谱残差模型(sr)，具体内容如下：

给定一幅图像作为输入信号f，利用傅里叶变换求取它的幅度谱a(f)和相位谱p(f)，它的对数谱为：

l(f)＝log(a(f)),(6)

计算光谱残差：

r(f)＝l(f)-hn(f)*l(f),(7)

其中h是一个大小为n×n的均值滤波的卷积核。

然后对光谱残差r(f)进行傅里叶反变换，最后经过高斯模糊滤波就得到了所谓的显著性区域。其中高斯模糊滤波的表达式如下：

其中，σ是标准偏差。

步骤(5).利用高斯色彩模型对步骤(1)输入的图像进行处理，组合高斯色彩模型的两个通道，得到色度特征。

高斯色彩模型的两个通道：

色度：

c＝h(x)·m(x),(11)

步骤(6).对步骤(1)输入的图像进行图像结构相似度处理，分别得到参考图像和失真图像的亮度l、对比度c和结构特征s：

其中μx、μy分别表示立体图像的左视图x和右视图y的像素均值，σx和σy分别表示x和y的标准差，和分别表示x和y的方差。σxy代表x和y的协方差。ssim是基于不同的窗口做计算，假设窗口的大小是n×n，这里取n＝25。c1，c2为非常小的常数，是为了避免分母为0而维持稳定存在。通常取c1＝(k1l)²，c2＝(k2l)²，c3＝c2/2。k1和k2为常量，l是像素的动态范围。

步骤(7).将步骤(2)至(6)提取到的特征的每个像素根据下式计算对比度矩阵：

其中qi为各个特征的像素对比度矩阵，a和b分别为各个特征的像素点的值，c为使分母不为0的极小常数；

步骤(8).利用方差池化将步骤(7)得到的对比度进行降维，整合成一个值。

其中n为特征中像素的个数。

步骤(9).整合步骤(8)中得到的指标的对比度，利用支持向量机svr进行回归训练，得到理想的回归模型，完成对立体图像质量的映射，得到最终的图像质量评价结果。svr训练预测方法具体采用5折交叉验证来训练与测试模型，将样本随机平均分五个为互不相交的子集，每次从中选出四个子集作为训练集训练得到模型，使用最后一个子集进行测试，得到相应的客观质量评价分数来对主观质量评价分数进行预测，重复多次，对所有数据结果求平均值，用所得到的结果来衡量所提出的质量评价模型的性能。

本发明的有益效果：

本发明通过综合多尺度、多个视觉特征来完成对立体图像质量的映射，完成对立体图像的质量评价。实验结果表明，基于本发明所提出的方法在立体图像质量评价性能上能够和主观质量评价保持良好的一致性，且优于传统的立体图像质量评价方法。

附图说明

图1为本发明基于视觉显著性和深度图的3d图像质量评价方法的原理图。

具体实施方式

下面结合附图对本发明方法作进一步说明。

步骤(1).在matlab软件中读入美国德州大学奥斯汀分校的3dlive图像数据库中phasei和phaseii的参考立体图像对以及对应的失真立体图像对，其中每个立体图像对分别包括左右视图图像。

步骤(2).利用loggabor滤波器对步骤(1)中输入的参考图像和失真图像，进行滤波，滤波结果即为得到的图像边缘纹理特征；

loggabor滤波器的表达式如下：

其中(f,θ)表示极坐标，θ0是中心方向，f0是中心频率，σθ定义了角带宽δω，且σf定义了径向带宽b:

由公式(1)可以得到loggabor从m个尺度和n个方向得到图像的幅度图：

其中和分别表示loggabor滤波结果的实部和虚部。公式(4)得到的幅度图即为图像的纹理特征。

步骤(3).对步骤(1)输入的立体图像，利用结构相似度，基于能量代价最小化的原则来估计像素视差，即通过平移得到多个对比修正图，而后沿水平方向最大化ssim分数：

其中μx、μy分别表示立体图像的左视图x和右视图y的像素均值，σx和σy分别表示x和y的标准差，和分别表示x和y的方差。σxy代表x和y的协方差。c1，c2为非常小的常数，是为了避免分母为0而维持稳定存在。通常取c1＝(k1l)²，c2＝(k2l)²。k1和k2为常量，l是像素的动态范围。

上述ssim分数最大的像素平移量即可视作视差。分别对步骤(1)中输入的参考左右视图和失真左右视图提取视差图，得到反映图像深度信息的参考视差图和失真视差图。

步骤(4).分析参考视图和失真视图的视觉显著性分布情况，以及视觉显著性加成后的图像结构，得到参考和失真的左右显著图及加成图。视觉显著性图提取方法采用谱残差模型(sr)，具体内容如下：

给定一幅图像作为输入信号f，利用傅里叶变换求取它的幅度谱a(f)和相位谱p(f)，它的对数谱为：

l(f)＝log(a(f)),(6)

计算光谱残差：

r(f)＝l(f)-hn(f)*l(f),(7)

其中h是一个大小为n×n的均值滤波的卷积核。

然后对光谱残差r(f)进行傅里叶反变换，最后经过高斯模糊滤波就得到了所谓的显著性区域。其中高斯模糊滤波的表达式如下：

其中，σ是标准偏差。

步骤(5).利用高斯色彩模型对步骤(1)输入的图像进行处理，组合高斯色彩模型的两个通道，得到色度特征。

高斯色彩模型的两个通道：

色度：

c＝h(x)·m(x),(11)

步骤(6).对步骤(1)输入的图像进行图像结构相似度处理，分别得到参考图像和失真图像的亮度l、对比度c和结构特征s：

其中μx、μy分别表示立体图像的左视图x和右视图y的像素均值，σx和σy分别表示x和y的标准差，和分别表示x和y的方差。σxy代表x和y的协方差。ssim是基于不同的窗口做计算，假设窗口的大小是n×n，这里取n＝25。c1，c2为非常小的常数，是为了避免分母为0而维持稳定存在。通常取c1＝(k1l)²，c2＝(k2l)²，c3＝c2/2。k为常量，通常情况下取k1＝0.01，k2＝0.03，l是像素的动态范围，通常为255。则通常c1＝6.5025，c2＝58.5225。

步骤(7).将步骤(2)至(6)得到的特征的每个像素根据下式计算对比度矩阵：

其中qi为各个特征的像素对比度矩阵，a和b分别为各个特征的像素点的值，c为使分母不为0的极小常数；

步骤(8).利用方差池化将步骤(7)的得到的对比度进行降维，整合成一个值。

其中n为特征中像素的个数。

步骤(9).整合步骤(8)中得到的指标的对比度，利用支持向量机svr进行回归训练，得到理想的回归模型，完成对立体图像质量的映射，得到最终的图像质量评价结果。svr训练预测方法具体采用5折交叉验证来训练与测试模型，将样本随机平均分五个为互不相交的子集，每次从中选出四个子集作为训练集训练得到模型，使用最后一个子集进行测试，得到相应的客观质量评价分数来对主观质量评价分数进行预测。将5折交叉验证的过程1000次，对所有数据结果求平均值，用所得到的结果来衡量所提出的质量评价模型的性能。

为了验证本发明所述的算法的优越性能，我们在德克萨斯大学奥斯汀分校图像和视频工程实验室建立的live3diqaphasei和phaseii数据库(http://live.ece.utexas.edu/research/quality/live_3dimage.html)上进行了实验。

live3diqaphasei数据库由365张对称失真的3d图像组成，这些图像是20张原始立体图像经过5种常见的失真类型处理后产生的。jpeg2000(jp2k)，jpeg，白噪声(wn)和瑞利快速衰落信道模拟(ff)各有80张失真图像；高斯模糊(gblur)有45张失真图像。每种对称失真的3d图像都由实验对象打分，得到主观评价分数，即dmos(differentialmeanopinionscore)值。

live3diqaphaseii数据库同样包括上述五种失真类型：jpeg，jp2k，gblur，wn和ff，每种类型包含72张失真图像。每种失真类型都被应用于8张参考立体图像，以产生3张对称的失真3d图像和6张不对称的失真3d图像。共产生120张对称失真和240张不对称失真的3d图像。每张失真的3d图像都有相应的dmos值。

在实验中使用了三个指标来衡量本发明提出的3d图像质量评价方法的性能：皮尔森相关系数(pearson’slinearcorrelationcoefficient,plcc)，斯皮尔曼相关系数(spearman’srankorderedcorrelationcoefficient,srocc)，以及均方根误差(root-mean-squarederror,rmse)。plcc和srocc值越高代表与人的主观判断越接近。rmse值接近于零表示与人类感知非常相似。计算公式如下：

其中，n为图像总数量，xi和yi分别为主观质量分数和预测客观质量评价分数，xi和yi分别为xi和yi在主观质量分数和客观质量分数中的排名。

表1给出了本发明所述方法在live3d数据库上的整体性能，表2列出了针对不同失真类型的srocc性能。实验结果表明，无论是在live3d数据库阶段i还是阶段ii上，本发明的算法都取得了很好的图像质量预测效果，与主观评比较一致。

表1本发明所述方法在live3d数据库上的整体性能

表2本发明所述方法在live3d数据库上各失真类型的srocc