本发明涉及图像处理技术领域，具体涉及一种基于视觉多重特征深度融合处理的全参考图像质量客观评价方法。
背景技术：
图像作为一种广泛应用的信号，其在信息获取、传递和处理等各个领域均具有举足轻重的地位。当前，随着云计算能力的提升和人工智能研究的兴起，基于图像终端处理平台的各种应用业务获得了前所未有的发展，然而，图像信号易受污染，因此，图像质量评价的研究意义重大。图像质量评价研究领域中，客观方法以自动连续的高效工作方式而成为了该领域的研究热点，其中，全参考图像质量评价的研究意义尤其重要。
传统经典评价算法如均方根误差rmse、信噪比snr以及峰值信噪比psnr等评价结果和人眼主观测试差距较大。仿生学评价算法如dalay算法，safranek-johnson算法，离散余弦变换算法以及watson小波变换算法等建模复杂，速度慢，且有许多系统性缺陷制约导致建模效率较低。近些年出现的一些工程学评价方法及其改进算法，例如结构相似度ssim方法，信息保真度ifc方法，奇异值分解svd方法等，但这些方法的评价标准不相同，使得其评价结果数据没有可比性，例如，ssim取值范围在{0，1}之间且取值越大说明图像质量越高，而ifc和svd的取值范围则不受限，svd越大说明图像质量越低，而ifc越大则说明图像质量越高；另外，实验证明，反映这些方法性能的一些重要评价指标水平尚有待提高，例如斯皮尔曼等级排序相关系数srocc、均方根误差rmse和皮尔逊相关系数plcc等。
最近几年，将视觉系统特性融入图像质量评价成为了研究热点，例如，显著失真mad，特征相似度fsim，视觉显著vsi等，但这些方法存在两个问题，一个问题是图像特征处理算法缺乏视觉特性的理论依据，这使得其评价性能不稳定；另外一个更突出的问题是人眼的主观视觉多通道特性，对于不同的客观评价算法，具有不同的主、客观映射关系，例如，对于各视觉通道的频率敏感特性，上述方法均采用了统一的对比度敏感函数，降低了各种客观评价方法的性能。内在推导机制(internalgenerativemechanism，igm)则基于大脑的自由能量场理论，通过信息感知最大化算法评价图像质量，但其信息处理算法过于单一，难以揭示视觉大脑的工作机制，并且也缺乏有力的实验结果证实。
技术实现要素：
本发明的目的是提供一种基于视觉多重特征深度融合处理的全参考图像质量客观评价方法，以解决现有评价方法评价不稳定问题和缺乏主观性问题。
为实现上述发明目的，本发明提供以下技术方案：
一种基于视觉多重特征深度融合处理的全参考图像质量客观评价方法，包括：
步骤1，选取一个图像质量数据库，对其中包含的参考图像和失真图像进行预处理得到相应的图像灰度矩阵；
步骤2，将失真图像分为训练集和测试集，并计算测试集中所有失真图像灰度矩阵的梯度特征评价结果；
步骤3，提取所有参考图像灰度矩阵和失真图像灰度矩阵的视觉多通道梯度特征信息视图，并计算所有失真图像灰度矩阵的视觉通道梯度特征评价；
步骤4，设计视觉多通道梯度特征-直方图误差深度信息处理评价算法，并计算所有失真图像质量的视觉多通道梯度-直方图深度信息评价；
步骤5，设计视觉多通道梯度特征-奇异值分解误差深度信息处理评价算法，并计算所有失真图像质量的视觉多通道梯度-奇异值深度信息评价；
步骤6，构建bp神经网络视觉多通道图像质量融合评价模型；
步骤7，利用训练集中所有失真图像灰度矩阵的视觉通道梯度特征评价对构建的bp神经网络视觉多通道图像质量融合评价模型进行训练后，将测试集中的失真图像灰度矩阵的视觉通道梯度特征评价输入到训练好的bp神经网络视觉多通道图像质量融合评价模型进行预测，输出失真图像质量的视觉多通道梯度特征融合评价结果，并对该结果进行偏置处理；
步骤8，利用训练集中所有失真图像质量的视觉多通道梯度-直方图深度信息评价对构建的bp神经网络视觉多通道图像质量融合评价模型进行训练后，将测试集中的失真图像质量的视觉多通道梯度-直方图深度信息评价输入到训练好的bp神经网络视觉多通道图像质量融合评价模型进行预测，输出失真图像质量的视觉多通道梯度-直方图深度信息融合评价结果，并对该结果进行偏置处理；
步骤9，利用训练集中所有失真图像质量的视觉多通道梯度-奇异值深度信息评价对构建的bp神经网络视觉多通道图像质量融合评价模型进行训练后，将测试集中的失真图像质量的视觉多通道梯度-奇异值深度信息评价输入到训练好的bp神经网络视觉多通道图像质量融合评价模型进行预测，输出失真图像质量的视觉多通道梯度-奇异值深度信息融合评价结果，并对该结果进行偏置处理；
步骤10，对步骤2、步骤7、步骤8以及步骤9所得结果进行融合，获得失真图像质量的视觉多重特征深度融合处理评价结果。
本发明发核心是对基于视觉多通道的显著梯度特征进行更深一层的信息处理，通过设计视觉多通道梯度-直方图和视觉多通道梯度-奇异值互补评价算法来挖掘多重视觉梯度信息进行失真图像质量的深度评价，并对各重评价结果进行了深度融合处理。首先，通过构建bp神经网络视觉多通道图像质量融合评价模型对各重视觉信息的多通道评价结果分别进行了初次融合，然后，设计回归算法对各重视觉特征的初次融合评价从内层到外层逐层地进行了深度融合，最终获得失真图像质量的多重视觉特征深度融合处理评价结果。
与现有方法相比，本发明取得了明显的优势体现在：
1)对于图像不同失真类型的评价，本发明方法的rmse、plcc和srocc三项评价指标均具有非常高的水平，超越了现在有方法；
2)本发明方法的评价性能相对稳定，没有出现由于图像失真类型不同而造成指标水平明显下降的现象，从而克服了igm和mad等人类视觉系统方法的不稳定性；
3)对于不同失真类型和不同失真程度图像的整体评价，本发明方法的rmse、plcc和srocc三项指标水平明显超越了现有方法。
附图说明
图1是本发明提供的基于视觉多重特征深度融合处理的全参考图像质量客观评价方法的流程图；
图2是本实施例对原始图像预处理后的图像；
图3为本实施例对图2提取的梯度特征视图；
图4是本实施例对图2进行基于log-gabor小波的视觉多通道信息视图；
图5为本实施例对图4提取的视觉多通道梯度特征信息视图；
图6为本实施例bp神经网络训练模型。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
本实施中以德克萨斯大学奥斯汀分校图像视频工程所提供的liverelease2图像标准数据库为例进行说明。德克萨斯大学奥斯汀分校图像视频工程所提供的liverelease2图像标准数据库，存储有一些配对的标准案例(即参考图像和失真图像对)，每个案例中的失真图像均有对应的mos值(主观评价分值)已知，该mos值即为人眼的主观测试结果。
进行全参考图像质量客观评价时首先从liverelease2图像标准数据库选择参考图像和相应的失真图像，然后进行对选择的失真图像进行全参考图像质量客观评价，流程如图1所示，该方法包括：
步骤1，按照如下公式对参考图像和失真图像进行灰度变换，将其分别变换为灰度图像gray：
gray＝0.29900·r+0.58700·g+0.11400·b
其中，r、g、b分别为源图像(失真图像或参考图像)在r、g、b三个通道上的强度值。
然后，分别对经过灰度变换得到的灰度图像分别进行高斯低通滤波处理，滤波器的窗口大小为k×k，k的取值范围为0.015t～0.42t，t取图像矩阵行和列的最小值，标准差为1.0～3.0。
本实施例中考虑到liverelease2图像标准数据库中的图像大小，针对所有图像进行高斯低通滤波时采用的窗口大小均为16×16，且标准差为1.0。
基于该滤波器对灰度图像进行低通滤波处理，在二维互相关过程中，未使用边缘补0部分进行计算的结果部分。
本实施例中对原始图像和预处理后图像如图2所示。
步骤2，随机选取失真图像构成训练集和测试集两个数据库，训练集和测试集中失真图像的数量比为1。
并采用以下公式计算失真图像灰度矩阵的梯度特征评价gsm(s,o)：
gsm(s,o)＝mean[gsm(i,j)]
式中，mean[·]代表求平均值，gsm(i,j)代表梯度特征评价视图，gsm(i,j)的计算公式如下：
gsm(i,j)＝l(i,j)α1·g(i,j)α2
式中，l(i,j)和g(i,j)分别代表灰度评价视图和梯度评价视图，α1，α2代表l(i,j)和g(i,j)的权重系数，l(i,j)和g(i,j)的定义分别如下：
式中，x(i,j)和y(i,j)分别代表参考图像灰度矩阵和失真图像灰度矩阵，gx(i,j)和gy(i,j)分别代表x(i,j)和y(i,j)的梯度特征视图，c1和c2为保证算法稳定性的常数因子；
gx(i,j)和gy(i,j)的算法如下：
式中，gx(i)与gx(j)分别表示gx(i,j)水平方向投影和垂直方向投影，gy(i)与gy(j)分别表示gy(i,j)水平方向投影和垂直方向投影，gx(i)、gx(j)、gy(i)、gy(j)的计算公式分别如下：
式中，*表示卷积运算。
本实施例中，α1＝α2＝1.0c1＝6.0,c2＝16.0，对图2所示的图像灰度矩阵计算得到的梯度特征视图如图3所示。
步骤3，提取所有参考图像灰度矩阵和失真图像灰度矩阵的视觉多通道梯度特征信息视图，并计算所有失真图像灰度矩阵的视觉通道梯度特征评价。
本实施例中，失真图像灰度矩阵的视觉多通道信息视图的梯度特征评价vg(s,o)采用以下公式获得：
式中，mean[·]代表求平均值，vg(s,o)(i,j)代表视觉通道(s,o)的梯度特征评价视图，vg(s,o)(i,j)的计算公式如下：
式中，rg(s,o)(i,j)、dg(s,o)(i,j)分别为x(i,j)、y(i,j)的视觉通道(s,o)的梯度特征视图，c3为保证算法稳定性的常数因子，对算法的评价结果性能无影响；
rg(s,o)(i,j)、dg(s,o)(i,j)的算法如下：
式中，x(s,o)(i,j),y(s,o)(i,j)分别为x(i,j)、y(i,j)的视觉通道(s,o)的信息视图，以log-gabor小波获得x(s,o)(i,j),y(s,o)(i,j)如下：
x(s,o)(i,j)＝f-1[g(ω,θj)×f(x(i,j)],y(s,o)(i,j)＝f-1[g(ω,θj)×f(y(i,j)]
式中，s、o分别为log-gabor尺度因子和方向因子，f(·)表示频域正变换，f-1(·)表示频域逆变换，g(ω,θj)为log-gabor的频率函数表达式。
本实施例取s＝5，o＝4，c3＝4.0，对图2提取的其中一个视觉通道(1,1)的结果如图4所示，对图4提取的视觉多通道梯度特征信息视图如图5所示。
步骤4，设计视觉多通道梯度特征-直方图误差深度信息处理评价算法，并计算所有失真图像质量的视觉多通道梯度-直方图深度信息评价。
本实施例中，失真图像质量的视觉多通道梯度-直方图深度信息评价算法如下：
式中，vghists,o表示失真图像质量的视觉多通道梯度-直方图深度信息评价，vghists,o(l)代表对视觉通道(s,o)的梯度特征视图进行分块后，第l个子块的梯度特征-直方图深度信息评价，vghists,o(l)的计算公式如下：
vghists,o(l)＝vghistls,o(l)β1·vghistcs,o(l)β2
式中，vghistls,o(l)代表第l个子块的梯度-直方图灰度信息误差评价，vghistcs,o(l)代表第l个局部子块的梯度-直方图对比度信息误差评价，β1，β2为权重系数，vghistls,o(l)和vghistcs,o(l)定义分别如下：
vghistls,o(l)＝eghistls,o(l)-eghistls,omid|
vghistcs,o(l)＝eghistcs,o(l)-eghistcs,omid|
式中，eghistls,o(l)和eghistcs,o(l)分别是第l个局部子块梯度-直方图的灰度均方根误差和对比度均方根误差，eghistls,omid和eghistcs,omid为eghistls,o(l)和eghistcs,o(l)的中间值大小，其定义分别如下：
式中，vghistlx(s,o)(l,i)和vghistly(s,o)(l,i)分别为参考图像和失真图像的视觉通道梯度-直方图局部块l的灰度信息，vghistcx(s,o)(l,i)和vghistcy(s,o)(l,i)分别为参考图像和失真图像的视觉通道梯度-直方图局部块l的对比度信息，nl＝max(nl1,nl2)，nl1、nl2分别为vghistlx(s,o)(l,i)和vghistly(s,o)(l,i)的直方图统计系数的数目。
本实施例中，分块大小取l＝12×12，β1＝β2＝1.0。
步骤5，设计视觉多通道梯度特征-奇异值分解误差深度信息处理评价算法，并计算所有失真图像质量的视觉多通道梯度-奇异值深度信息评价。
本实施例中，失真图像质量的视觉多通道梯度-奇异值深度信息评价算法如下：
式中，vgsvds,o为失真图像质量的视觉多通道梯度-奇异值深度信息评价，mean[·]代表求平均值，vgsvds,o(l)代表对视觉通道(s,o)的梯度特征视图进行分块后，第l个子块的梯度特征-奇异值深度信息评价，vgsvds,o(l)的计算公式如下：
vsvds,o(l)＝|ds,o(l)-ds,omid|
式中，ds,o(l)是子块l的奇异特征值的均方根误差，ds,omid为ds,o(l)的中间值大小，ds,o(l)和ds,omid的定义分别如下：
式中，sxs,o(i)，sys,o(i)分别代表参考图像和失真图像视觉通道(s,o)的梯度特征信息视图中第l个子块的奇异特征值系数，n＝max(nl1,nl2)，nl1、nl2分别为参考图像和失真图像视觉通道(s,o)的梯度特征信息视图中第l个子块所包含的奇异特征值系数的数目。
本实施例中，分块大小取l＝8×8。
步骤6，构建bp神经网络视觉多通道图像质量融合评价模型。
本实施例中，构建的bp神经网络视觉多通道图像质量融合评价模型如图6所示，其中，iqa代表vg、vghist或vgsvd三种客观评价算法中的其中一个，bp神经网络输入层神经元的数量等于小波分解的通道数量5×4＝20，隐藏层为一层，隐藏层的神经元数量取20，bp神经网络的输出层神经元数量只有一个，bp神经网络的输出层神经元数量只有一个，该输出代表失真图像质量基于所选客观评价算法的视觉多通道评价的融合结果。bp神经网络的训练目标为失真图像质量的人眼主观测试结果分值dmos。bp神经网络所训练输入数据的长度等于训练集数据库中失真图像的数量。bp神经网络的训练目标为失真图像质量的人眼主观测试结果分值dmos。bp神经网络所训练输入数据的长度等于训练集数据库中失真图像的数量，对bp网络进行有监督的学习训练，直到达到bp神经网络的其中一个训练终止条件。两个训练终止条件分别为：
(1)bp预测输出和dmos之间的误差e＝0.00001。
(2)迭代次数取为500。
步骤7，利用训练集中所有失真图像灰度矩阵的视觉通道梯度特征评价对构建的bp神经网络视觉多通道图像质量融合评价模型进行训练后，将测试集中的失真图像灰度矩阵的视觉通道梯度特征评价输入到训练好的bp神经网络视觉多通道图像质量融合评价模型进行预测，输出失真图像质量的视觉多通道梯度特征融合评价结果，并对该结果加1完成偏置处理。
步骤8，利用训练集中所有失真图像质量的视觉多通道梯度-直方图深度信息评价对构建的bp神经网络视觉多通道图像质量融合评价模型进行训练后，将测试集中的失真图像质量的视觉多通道梯度-直方图深度信息评价输入到训练好的bp神经网络视觉多通道图像质量融合评价模型进行预测，输出失真图像质量的视觉多通道梯度-直方图深度信息融合评价结果，并对该结果加1完成偏置处理。
步骤9，利用训练集中所有失真图像质量的视觉多通道梯度-奇异值深度信息评价对构建的bp神经网络视觉多通道图像质量融合评价模型进行训练后，将测试集中的失真图像质量的视觉多通道梯度-奇异值深度信息评价输入到训练好的bp神经网络视觉多通道图像质量融合评价模型进行预测，输出失真图像质量的视觉多通道梯度-奇异值深度信息融合评价结果，并对该结果加1完成偏置处理。
步骤10，对步骤2、步骤7、步骤8以及步骤9所得结果进行融合，获得失真图像质量的视觉多重特征深度融合处理评价结果。
采用以下方式对对步骤2、步骤7、步骤8以及步骤9所得结果进行融合：
最内层融合公式如下：
式中，
第二层融合公式如下：
式中，
最外层融合公式如下：
式中，mvff代表失真图像质量的最终评价结果，
本实施例中，a为1，其他参数取值根据图像失真类型不同有所变化，详见表1。
基于客观评价结果mvff分值和liverelease2图像标准数据库中记载的各个失真图像的主观评估分mos分值，根据国际视频质量专家组(videoqualityexpertsgroup，vqeg)规范计算得到本发明的客观评价方法的srocc指标、rmse指标和plcc指标。
表1为利用本实施例的客观评价方法(mvff)与现有的评价方法对liverelease2图像标准数据库中的标准案例进行全参考图像质量客观评价时得到的评价结果的srocc指标、rmse指标和plcc指标对比。本实施例中的现有评价方法涵盖了目前较新的研究成果，将其分为四类。第一类是经典方法和工程学方法，包括psnr(peaksignaltonoiseratio，峰值信噪比)、ssim(structuralsimilarity，结构相似度)、svd(singularvaluedecomposition，奇异值分解)；第二类是基于工程学的信息处理类评价方法，包括ifc(informationfidelitycriterion，信息保真度ifc)、mssim(multi-scalestructuralsimilarity，多尺度结构相似)；第三类是视觉特征及其融合处理类评价方法，包括vif(visualinformationfidelity，视觉信息保真度)、fsim(featuresimilarityfsim，特征结构相似度)、vsi(visualsaliencyinduced，视觉显著)；第四类是基于视觉特征感知处理与视觉心理推导融合类评价方法，包括mad(mostapparentdistortion，显著失真)和igm(internalgenerativemechanism，内推机制)。
release2图像标准数据库中失真图像的格式包括jp2k、jpeg、wn、gblur和ff，为说明本实施例的方法的适用范围，表1中给出的不同方法下各个指标(即评价指标)的值为对release2图像标准数据库中该类的所有失真图像评的评价指标水平，表1中all表示针对release2图像标准数据库中的所有格式的失真图像。
表1
表1的结果反映出相对于现有方法，本发明方法实施例的结果mvff有如下优势：1)mvff方法对于图像不同失真类型的评价，各项指标均具有非常高的水平(rmse<3.8731，plcc>0.9872，srocc>0.9758)，且明显超越了上述三种方法；2)mvff方法的评价性能相对稳定，没有出现由于图像失真类型不同而造成指标水平明显下降的现象。相对于igm和mad类方法所采用的尚不确定的视觉心理推导模型，mvff借助了bp神经网络强大的推导分析能力和非线性数值逼近能力，从而更能有效地模拟视觉心理的复杂作用机制。3)针对现有视觉特征处理评价方法指标水平不高的问题，mvff方法采用了深度视觉特征处理算法vgh和vgd，并自适应地融合了多重视觉感知的特征评价结果。综上，本发明方法mvff方法不仅克服了现有方法的各种缺陷，而且整体评价性能(rmse＝4.1324，plcc＝0.9875，srocc＝0.9815)也明显超越了现有方法。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。