基于融合图像和强化图像的无参考立体图像质量评价方法与流程

本发明属于图像处理领域，涉及立体图像质量客观评价研究，尤其是涉及一种基于融合图像和强化图像的无参考立体图像质量客观评价方法。

背景技术：

随着3d技术的快速发展，立体图像质量评价已成为3d领域不可或缺的研究方向之一。目前，立体图像质量的评价方法可以分为主观评价和客观评价，主观评价符合人类视觉特性，但实现过程繁琐、耗时耗力；客观评价方法的实现则更为简单、快捷，具有很好的可操作性，因此大量学者投身于客观评价的领域中^[1-3]。

依据使用原始图像信息程度的不同，客观质量评价分为三类：全参考立体图像质量评价^[4-6]，它们充分利用了原始图像的信息作为参考来对失真图像进行评价；半参考立体图像质量评价^[7-8],利用了原始图像的部分信息来进行质量评价；无参考立体图像质量评价^[9-10],只利用了失真图像的特征就可以完成质量评价，具有很好的应用性。

目前，许多学者从立体图像的左右视图入手，分别对左右视图进行特征提取，然后根据左右视图的特征获得评价结果，这种方法往往不能很好地评价非对称立体图像。文献^[3]提出了一种分别对左右视图进行颜色视觉特性的梯度字典学习方法，从而用稀疏表示来进行特征提取；文献^[10]分别对左右视图提取亮度统计特征，然后把视差图分别与左、右视图结合进一步提取深度和结构统计特征。然而，在实际中，人眼在接收到左右视点的信息后，首先由大脑形成一幅双目融合图像，然后再对所得融合图像进行感知。为了更好地模拟该特性，一些学者开始使用双目融合图像来进行立体图像质量的评测。shen^[11]考虑到空间频率对人眼的重要性，将左右视图用gabor滤波器处理，将处理过后的左右视图进行相加，形成融合图像，这种模型只能在一定程度上符合人类视觉特性。levelt^[12]基于人眼双目竞争的特性提出了一种融合图像的线性模型，将左、右视图分别加权后再相加得到融合图像；文献^[13][14]分别考虑到视差补偿和对比敏感度在人类视觉特性中的重要性，对这种线性模型加以改进。为了更加精确地模拟人类视觉特性，ding^[15]根据增益控制和增益增强提出了几种双目融合的模型。

参考文献

[1]chenmj,cormacklk,bovikac.no-referencequalityassessmentofnaturalstereopairs.[j].ieeetransactionsonimageprocessing,2013,22(9):3379-3391.

[2]zhouw,jiangg,yum,etal.reduced-referencestereoscopicimagequalityassessmentbasedonviewanddisparityzero-watermarks[j].signalprocessingimagecommunication,2014,29(1):167-176.

[3]yangj,anp,maj,etal.no-referencestereoimagequalityassessmentbylearninggradientdictionary-basedcolorvisualcharacteristics[c]//ieeeinternationalsymposiumoncircuitsandsystems.ieee,2018.

[4]shaof,linw,gus,etal.perceptualfull-referencequalityassessmentofstereoscopicimagesbyconsideringbinocularvisualcharacteristics[j].ieeetransactionsonimageprocessingapublicationoftheieeesignalprocessingsociety,2013,22(5):1940-1953.

[5]zhangy,chandlerdm.3d-mad:afullreferencestereoscopicimagequalityestimatorbasedonbinocularlightnessandcontrastperception[j].ieeetransactionsonimageprocessingapublicationoftheieeesignalprocessingsociety,2015,24(11):3810-25.

[6]liny,yangj,wenl,etal.qualityindexforstereoscopicimagesbyjointlyevaluatingcyclopeanamplitudeandcyclopeanphase[j].ieeejournalofselectedtopicsinsignalprocessing,2017,pp(99):1-1.

[7]qif,zhaod,gaow.reducedreferencestereoscopicimagequalityassessmentbasedonbinocularperceptualinformation[j].ieeetransactionsonmultimedia,2015,17(12):2338-2344.

[8]maj,anp,shenl,etal.reduced-referencestereoscopicimagequalityassessmentusingnaturalscenestatisticsandstructuraldegradation[j].ieeeaccess,2017,pp(99):1-1.

[9]sazzadzmp,horitay.no-referencestereoscopicimagequalityassessment[j].proceedingsofspie-theinternationalsocietyforopticalengineering,2010,7524(2):75240t-75240t-12.

[10]fangy,yanj,wangj.noreferencequalityassessmentforstereoscopicimagesbystatisticalfeatures[c]//ninthinternationalconferenceonqualityofmultimediaexperience.ieee,2017.

[11]shenl,leij,houc.no-referencestereoscopic3dimagequalityassessmentviacombinedmodel[j].multimediatools&applications,2017(9):1-18.

[12]w.j.m.levelt,onbinocularrivalry,mouton,thehague,paris,1968.

[13]chenmj,succ,kwondk,etal.full-referencequalityassessmentofstereoscopicimagesbymodelingbinocularrivalry[c]//signals,systems&computers.ieee,2013.

[14]luk,zhuw.stereoscopicimagequalityassessmentbasedoncyclopeanimage[c]//dependable,autonomic&securecomputing,intlconfonpervasiveintelligence&computing,intlconfonbigdataintelligence&computing&cyberscience&technologycongress.ieee,2016.

[15]dingj,kleinsa,levidm.binocularcombinationofphaseandcontrastexplainedbyagain-controlandgain-enhancementmodel[j].journalofvision,2013,13(2):13.

[16]liul,liub,succ,etal.binocularspatialactivityandreversesaliencydrivenno-referencestereopairqualityassessment[j].signalprocessingimagecommunication,2017.

[17]yangj,wangy,lib,etal.qualityassessmentmetricofstereoimagesconsideringcyclopeanintegrationandvisualsaliency[j].informationsciencesaninternationaljournal,2016,373(c):251-268.

[18]xux,zhaoy,dingy.no-referencestereoscopicimagequalityassessmentbasedonsaliency-guidedbinocularfeatureconsolidation[j].electronicsletters,2017,53(22):1468-1470.

[19]maj,anp,shenl,etal.ssim-basedbinocularperceptualmodelforqualityassessmentofstereoscopicimages[c]//visualcommunicationsandimageprocessing.ieee,2018.

[20]shaof,lik,linw,etal.learningblindqualityevaluatorforstereoscopicimagesusingjointsparserepresentation[j].ieeetransactionsonmultimedia,2016,18(10):2104-2114.

[21]dingy,zhaoy.no-referencequalityassessmentforstereoscopicimagesconsideringvisualdiscomfortandbinocularrivalry[j].electronicsletters,2018,53(25):1646-1647.

[22]yueg,houc,jiangq,etal.blindstereoscopic3dimagequalityassessmentviaanalysisofnaturalness,structure,andbinocularasymmetry[j].signalprocessing,2018。

技术实现要素：

为了解决现有技术存在的问题，本发明一种基于融合图像和强化图像的无参考立体图像质量评价方法，不仅与人眼主观评测具有很好的一致性，而且能够有效地评价对称失真和非对称失真立体图像，在一定基础上推动了立体成像技术的发展。

基于融合图像和强化图像的无参考立体图像质量评价方法，具体内容为：

一.彩色融合图像的获取

首先模拟人眼特性在红、绿、蓝三个通道上进行gabor滤波；其次，增益控制理论说明左眼将输入信号的对比能量成比例地对右眼施加增益控制；并对来自右眼的增益控制施加增益控制，称为增益增强；右眼同样对左眼施加增益控制和增益增强；然后，根据总对比能量对左右视图分别生成权重，将权重赋给左右视图，最终求和得到彩色融合图像，详细过程如下：

1、gabor滤波器模拟感受野：

其中，和分别代表左右视点；代表左或右视图在每个空间位置的强度值；是每张图像与带有空间频率和角度的gabor滤波器卷积得出的响应，其中有6个尺度，有8个方向，上角标代表特征图的数量，一共可得到48个特征图；代表每个响应的幅度，代表每个响应的相位；

2、增益控制和增益增强：

立体图像的左视图和右视图经过gabor滤波器得到不同尺度、不同方向的共计48幅特征图，将这48幅特征图按照平均亮度值的升序进行排列，得到集合；通过式（2）和（3）得到增益增强和增益控制：

3、总对比能量：

将对比敏感度函数作用于特征图以得到，如式(4)，其中，通过式（5）计算权重，然后通过式（6）得到增益控制的总对比能量和增益增强的总对比能量；

4、左右图像融合过程：

图像融合过程是在彩色图像红、绿、蓝三个通道进行的，其中，为左视图的权重，为右视图权重，最后的融合图像由公式（9）得出：

代表r、g、b通道，代表通道的融合图像，经过三通道融合之后可得到彩色融合图像；

二.视差图及视差梯度权重的获取：

使用基于结构相似性的立体匹配算法处理失真立体图像对，获取视差图；然后利用统计方法计算出视差图的峰度和偏度；

用视差梯度生成的权重对经过归一化的融合图像进行加权，从而对视觉的显著性进行预测，视差梯度权重的生成如式（10），其中代表视差图的梯度幅值：

三.强化图像的获取：

采用相乘方式，将视差补偿作用在融合图像上，并将融合图像和视差补偿后的融合图像相乘形成强化图像，强化图像能够突出图片的纹理；强化图像计算方法为式（11），其中，代表强化图像；代表融合图像的灰度图；代表水平视差；代表图像的空间坐标；

四.图像的归一化及特征提取：

1、图像的归一化：

对融合图像及其强化图像分别进行减均值对比度归一化（meansubtractedcontrastnormalized，mscn）操作，这种归一化不仅可以去除图像局部相关性，而且使得图像的亮度值倾向于高斯分布；计算减均值对比度归一化系数如公式（12），得到融合图像的mscn系数可以进一步对融合图像加权如式(15)：

其中，为融合图像或强化图像的灰度图，分别代表图像的高度和宽度；为一个常数；代表局部均值；代表局部方差；是一个采样到3个标准偏差的圆对称高斯加权函数，，高斯滤波的窗口设置为；

2、拟合高斯模型提取特征：

高斯模型来捕捉自然场景中统计特征在空间域的变化规律，并用于平面图像质量评价，自然场景统计特征对于模拟人类视觉系统有非常重要的作用；将这两种高斯模型应用在立体图像质量评价中，取得良好结果；

为了捕捉不同失真类型情况下的差异，将加权图像和强化图像分别在两个尺度下通过拟合广义高斯分布（generalizedgaussiandistribution，ggd）和非对称广义高斯分布（asymmetricgeneralizedgaussiandistribution,aggd)来提取特征,其过程可以分为两个阶段：

第一阶段，使用ggd模型来拟合加权图像和强化图像的mscn系数的分布，ggd模型可以用来有效地捕捉失真图像的统计特征，零均值的ggd模型计算方法为：

其中，是伽马函数，零均值的ggd模型使得mscn系数分布大致是对称的，控制高斯分布的大致形状，代表方差，可控制形状变化的程度，所以用这两个参数来捕捉图像的信息，作为第一阶段的特征；

第二阶段，将aggd模型来拟合图像中相邻元素两两相乘的mscn系数，将加权图像和强化图像分别沿着四个方向进行拟合——水平方向h，垂直方向v，主对角线方向d1，次对角线方向d2；这四个方向的图像计算方法如下：

常用aggd模型如下：

其中，

形状参数控制分布的形状，为aggd模型的均值，尺度参数、分别控制左侧和右侧的分布情况，将这四个参数作为aggd提取的特征，四个方向共16个特征；

3、提取视差图的峰度和偏度：

图像的不同失真都以其特有的方式修改统计数据，峰度能够描述图像平坦或者突兀程度，偏度能够描述图像的扭曲性，利用峰度和偏度来捕获视差图在不同失真情况下的统计特性，见式(27)：

和分别代表视差图的峰度和偏度，代表视差图，是视差图的均值；

五.特征融合及svr：

由于图像在不同尺度下会表现出不同的特性，利用gdd和agdd模型基于不同尺度对加权融合图像和强化图像进行特征提取，可以获得72个特征；加之视差图的峰度和偏度特征，构成74个特征；随后将所得74个特征进行融合送入svr与主观评测值进行拟合；其中，非线性回归函数使用logistic函数，svr的核函数使用径向基函数。

基于融合图像和强化图像的无参考立体图像质量评价方法，首先基于人类视觉系统的双目融合、双目竞争、双目抑制等特性，将立体图像的左右视点进行红、绿、蓝三通道的融合，得到彩色融合图像；其次，使用立体匹配算法得到失真立体图像对的视差图，将视差图的梯度权重对彩色融合图像的灰度图进行加权；再次，根据融合图像和视差图生成强化图像；然后，对融合图像和强化图像在空间域提取自然统计特征，对视差图提取峰度和偏度特征；最后，对所提特征进行融合并将融合后的特征送入支持向量回归(supportvectorregression,svr)中得到待评价立体图像的质量。

附图说明

图1是本发明算法结构图；

图2是彩色融合图像融合过程示意图；

图3是融合图像和强化图像mscn系数分布图（ori:originalimage.wn:whitenoise.jp2k:jpeg2000.jpeg:jpegcompression.blur:gaussianblur.ff:fastfading）；

图4是融合图像在水平方向相邻像素相乘的mscn系数分布图（ori:originalimage.wn:whitenoise.jp2k:jpeg2000.jpeg:jpegcompression.blur:gaussianblur.ff:fastfading）。

具体实施方式

首先，根据左右视图形成彩色融合图像和视差图。根据视差图和融合图像，获得强化图像。考虑到视差信息的重要性，对视差图进行了多角度的挖掘，不仅对视差图进行统计特征提取，而且计算出视差梯度权重，为融合图像加权来更好地符合人眼特性。继而采用高斯模型捕捉加权融合图像和强化图像的统计特征，最终将所有特征融合并与主观评分拟合。实验结果表明本发明算法性能优异，能很好的符合人类主观评价，模型预测结果较为准确。实验结构如图1所示，其中彩色融合图像融合过程如图2。

在本专利技术方案中，在分别缺少视差梯度权重、视差图的峰度和偏度及全部缺少的情况下，其他因素相同时，能够形成另外三种用于立体图像质量评价的方法，见表1中的前三种方法，通过性能对比能够比较出色地评测出立体图像的质量。但是，其中的plcc、srocc和rmse指标均逊色于本文方法，说明本发明可以根据技术方案衍生出另外几个非最佳但可行的方法，再综合表1中，剩余方法的对比，在没有使用强化图像的情况下，评分大幅度下降，同时，在本文提出的框架中使用sinq^[16]中的相乘图像情况下，评分逊于本文方法，体现本文提出的强化图像的优越性。强化图像、视差梯度权重、视差图的峰度和偏度来自视差图中不同角度的信息，这些信息起到非常显著的作用，很大程度上提高质量评分，完善了本文方法，得出了本发明的最佳实施方案。

表1本文方法的性能比较

图3（a）、（b）分别为融合图像和强化图像的mscn系数的分布情况，图4（a）、（b）分别是融合图像和强化图像的水平相邻元素相乘的mscn系数的分布情况，其中融合图像和强化图像的原始图像和失真图使用同一场景。不同失真类型根据各自不同的统计特性,其形状发生不同的变化，图3和图4中，失真图像使得原始图像分布发生了不同程度的挤压或扩散现象。根据图像分布的不同的形变方式和程度，大致可以体现图像不同的失真类型。

图3中原始图像的分布呈现高斯分布，不同失真的引入使得这种分布发生了不同程度的挤压或扩散现象。图3(a)中，jp2k失真图像的分布发生了明显挤压现象，分布形状类似与拉普拉斯拉普拉斯分布；wn失真图像的分布发生了扩散现象，依旧呈现高斯分布。图3(b)中，wn失真图像分布的峰值明显发生偏移。

图4中原始图像的分布呈现左右非对称现象，失真类型的引入使得这种分布发生了挤压或扩散现象，并且非对称的程度发生不同变化。图4(a)、(b)中原始图像呈现非对称现象；wn失真图像的分布不但发生了扩散现象，而且与原始图像分布相比非对称程度更加明显；jp2k失真图像的分布不到发生了挤压现象，而且与原始图像分布相比非对称程度更加明显。

由上分析可知，图像mscn系数的统计特征，能够在一定程度上反应不同失真图像的差异，这种差异是可以量化的。本文使用文献^[9]中提取特征的方法来量化这种差异，将加权图像和强化图像分别在两个尺度下通过拟合广义高斯分布和非对称广义高斯分布得到统计特征,其过程可以分为两个阶段。

本发明在两个公开的立体图像数据库（livephaseⅰ和livephaseⅱ）上进行了所提算法的性能测试。，其中livephaseⅰ数据库中包含365幅对称失真立体图像对和20幅原始立体图像对；livephaseⅱ包含对称和非对称失真立体图像对共360幅和8幅原始立体图像对。将特征向量送入svr，并与dmos值拟合得出plcc(pearson’scorrelationcoefficient),srocc(spearman’srankorderedcorrelationcoefficient),rmse(rootmeansquarederror)三种评分来衡量结果好坏。rmse值越低，plcc和srocc值越高说明本发明所提算法性能越好，得出的客观质量分数与主观质量分数具有较好的一致性。

本发明与现有公开发表的立体图像质量评价结果进行了比较分析。文献^[18]基于多尺度下特征融合方法进行无参考质量评价；文献^[17][19]使用融合图像进行全参考的立体图像质量评价；文献^[20]提出一种无参考联合稀疏表示的方法进行质量评价；文献^[6][16][21]使用融合图像进行无参考的质量评价；文献^[22]通过分析失真图像的自然统计特性、结构特性和非对称性进行评价。表2为所有算法在livephaseⅰ和livephaseⅱ数据库上的结果。表中用加粗的字体表示性能最好的算法。

从表2中能看出，由于livephaseⅱ数据库中大量非对称失真图像的存在，使得其他方法在livephaseⅰ数据库上的性能明显高于livephaseii数据库上的性能，本文方法在两个数据库上的性能接近且性能优异。这说明本文方法符合人眼视觉特性，能够准确评价对称失真和非对称失真图像。与现有的全参考和无参考方法相比，本文方法优势明显。在livephaseⅰ数据库上plcc为0.9583，srocc为0.9507，rmse为4.3811；在livephaseⅱ数据库上plcc为0.9575，srocc为0.9542，rmse为3.0689。本文方法不需要使用原始图像信息，就能够获得良好的性能，且性能高于其他无参考方法，本文方法具有良好的实用性和鲁棒性。

表2不同方法总体性能比较

因为采用和改进了文献[16]的一些方法，表3和表4为本文方法和文献^[16]中指标的详细对比。从表3中可知，本文方法在livephaseⅰ数据库上个别失真类型和总评分上面高于文献^[16]，从表4中可知，本文方法在livephaseⅱ数据库上单一失真类型的评分和总评分皆高于文献^[16]，这种现象不但体现本文方法比文献^[16]方法中指标的提升，而且能有效评测对称失真和非对称失真的立体图像质量，更加符合人眼视觉特性，适用于非对称失真立体图像。

表3livephaseⅰ数据库上两种不同方法的性能比

表4livephaseⅱ上两种不同方法的性能比较。