基于视觉感知和双目竞争的无参考立体图像质量评价方法与流程

本发明涉及一种立体图像质量评价方法，特别涉及一种基于视觉感知和双目竞争的无参考立体图像质量评价方法，属于图像分析领域。

背景技术：

近些年来，随着科学技术的发展，立体图像产生和传播的成本变得越来越低，这使得立体图像作为一种优秀的信息传播的媒介，在我们的日常生活中变得越来越普遍，越来越不可缺少。然而，立体图像在场景采集、编码、网络传输、解码、后期处理、压缩存储和放映的各个阶段都会不可避免的引入失真，例如，在场景采集过程中由于设备参数设定、镜头晃动等因素引起的模糊失真；图像压缩存储引起的压缩失真等等。而失真的引入则会大大降低人们的视觉体验，严重的还会影响到人们的身心健康。如何遏制低质量立体图像的传播，保证人们的视觉体验，成为了一个亟待解决的问题。

使立体图像产生和传播的媒体具有自动评价图像质量高低的能力，从而改善媒体输出端图像的质量，对于解决这个问题具有重要意义。具体来说，本研究具有以下应用价值：

(1)可以嵌入实际的应用系统(比如视频的放映系统、网络传输系统等)中，实时的监控图像/视频的质量；

(2)可以用于评价各种立体图像/视频处理算法、工具(比如立体图像的压缩编码、图像/视频采集工具等)的优劣；

(3)可以用于立体图像/视频作品的质量审核，防止劣质图像制品危害观众的身心健康。

综上所述，对于客观无参考立体图像质量评价模型的研究具有重要的理论价值和现实意义。本发明提出了一种基于视觉感知和双目感知的无参考立体图像质量评价方法，其参考的已有理论和技术为kruger等人提出的视觉感知理论以及joshi等人提出的视觉感知特征提取理论。

(一)视觉感知理论

kruger等人提出了视觉感知理论，有关视觉感知理论的研究首先要考虑人眼视网膜的感知现象。视网膜中的感光细胞产生光传导，而光传导产生的信号在兴奋性或抑制性的视觉通道中传递。研究显示，在人类视网膜神经节细胞中存在低通滤波，在这种背景下出现的一个突出特征就是视网膜的中心-环绕接收场[40]。中心-环绕接收场一般为同心圆形状，即在接收场的中心区域是对光信号兴奋(或抑制)的，而在环绕场中则对接收光信号抑制(或兴奋)。这种接收场可以通过高斯差分建模，并类似于用于边缘检测的拉普拉斯滤波器[41]。因此它强调亮度的空间变化，此外，这种接收场也对时间变化敏感，并且因此形成了对运动处理的基础。另外，在人类视觉系统中还存在处理不同类型的视觉信息(颜色、形状、运动、纹理、立体信息)的分离且高度互联的通道，这有助于视觉信息表达的效率和稳定性。在这种视觉感知机理下，大脑通过大量的深度信息来感知立体图像的三维特征，双目视差是其中最重要的深度信息之一。考虑到视网膜中可能存在多个空间频率，因此要模拟这些频率的中心-环绕接收场，需要生成多个标准差值，并通过高斯差分算子来计算差分图像。

(二)视觉感知特征提取

joshi等人在对视觉感知和视网膜感知等问题进行了研究的基础上，提出了提取图像的能量特征和边缘特征作为视觉感知特征的方法。

能量特征的提取计算公式如下：

其中，h代表图像的信息熵,m代表图像灰度级别的数量，pl代表第l个灰度级别出现的概率相关值。

边缘特征的提取计算公式如下：

其中，canny代表利用canny方法进行图像的边缘检测，并将符合条件的边缘像素点用数值方式表示。

技术实现要素：

本发明的目的是为了解决无参考立体图像质量评价中人眼视觉感知系统模拟方法不够完善，对图像中视觉感知信息的利用不充分，主观一致性差，数据库独立性差，算法稳定性差等的问题，提出一种基于视觉感知和双目竞争的无参考立体图像质量评价方法。

本发明方法是通过以下技术方案实现的。

基于视觉感知和双目竞争的无参考立体图像质量评价方法，其具体步骤如下：

步骤一、将输入的待测试立体图像对转化为灰度信息。

步骤二、应用匹配算法对灰度信息做进一步的处理，得到模拟视差图和不确定性图，同时利用gabor滤波得到灰度信息的滤波响应。

步骤三、利用灰度信息及其滤波响应和模拟视差图校正合成单眼图像。

步骤四、从单眼图像和不确定性图的不同尺度空间和频率空间中得到高斯差分图像，并完成自然场景统计和视觉感知特征提取。

高斯差分图像的计算方法如下：

σ2^ij＝l*σ1^ij(3)

其中，代表高斯差分图像，和分别代表对原始图像(单眼图像或不确定性图)进行不同卷积核下的高斯滤波得到的图像，σ1^ij和σ2^ij分别代表两个不同的卷积核，w和h代表某一尺度下待处理图像的宽和高，f代表频率，i和j分别代表某一个尺度空间和频率空间。

视觉感知特征的提取方法如下：

能量特征的提取：

其中，h代表图像的信息熵,m代表图像灰度级别的数量，pl代表第l个灰度级别出现的概率相关值。

边缘特征的提取：

其中，canny代表利用canny方法进行图像的边缘检测，并将符合条件的边缘像素点用数值方式表示。

步骤五、采用步骤一、步骤二、步骤三和步骤四的方法对数据库中的每一幅彩色立体图像对进行处理，计算得到每一组立体图像对应的质量特征向量；然后利用基于学习的机器学习方法，在训练集上进行训练，在测试集上进行测试，把质量特征向量映射为对应的质量分数；进而利用现有的算法性能指标(srocc、lcc等)对算法的优劣进行评估。

有益效果

本发明提出的基于视觉感知和双目竞争的无参考立体图像质量评价方法，与已有技术相比具有主观一致性高，数据库独立性高，算法稳定性高等特点；可以与立体图像/视频处理相关应用系统协同使用，具有很强的应用价值。

附图说明

图1是本发明的基于视觉感知和双目竞争的无参考立体图像质量评价方法的流程图；

图2是本发明以及其他立体图像质量评价方法在live数据库上进行测试的盒形图。

具体实施方式

下面结合附图和具体实施例对本发明方法的实施方式做详细的说明。

实施例

本方法的流程如图1所示，具体实施过程为：

步骤一、将输入的待测试立体图像对转化为灰度信息。

步骤二、应用匹配算法对灰度信息做进一步的处理，得到模拟视差图和不确定性图，同时利用gabor滤波得到灰度信息的滤波响应。

模拟视差图通过左、右视图灰度信息的结构相似度匹配得到。

不确定性图的计算方法如下：

其中，l代表左视图灰度图，r代表经过视差补偿处理后的右视图灰度图，μ和σ分别代表相应灰度图的均值和标准差值,c1和c2分别代表常数项。模拟视差图以及不确定性图都将用于后续的高斯差分图像处理和特征提取。

步骤三、利用灰度信息及其滤波响应和模拟视差图校正合成单眼图像。

单眼图像的计算方法如下：

ci(x,y)＝wl(x,y)*il(x,y)+wr((x+d),y)*ir((x+d),y)(2)

其中，(x,y)为坐标，il和ir分别代表立体图形对左、右视图的灰度图，d代表左、右视图之间对应映射像素点的视差，ci代表合成的单眼图像，wl和wr代表图像信息权重，gel和ger代表以数值形式表示的左、右视图的滤波响应总和。

步骤四、从单眼图像和不确定性图的不同尺度空间和频率空间中得到高斯差分图像，并完成自然场景统计和视觉感知特征提取。

高斯差分图像的计算方法如下：

σ2^ij＝l*σ1^ij(7)

其中，代表高斯差分图像，和分别代表对原始图像(单眼图像或不确定性图)进行不同卷积核下的高斯滤波得到的图像，σ1^ij和σ2^ij分别代表两个不同的卷积核，w和h代表某一尺度下待处理图像的宽和高，f代表频率，i和j分别代表某一个尺度空间和频率空间。

视觉感知特征的提取方法如下：

能量特征的提取：

其中，h代表图像的信息熵,m代表图像灰度级别的数量，pl代表第l个灰度级别出现的概率相关值。

边缘特征的提取：

其中，canny代表利用canny方法进行图像的边缘检测，并将符合条件的边缘像素点用数值方式表示。

步骤五、采用步骤一、步骤二、步骤三和步骤四的方法对数据库中的每一幅彩色立体图像对进行处理，计算得到每一组立体图像对应的质量特征向量；然后利用基于学习的机器学习方法，在训练集上进行训练，在测试集上进行测试，把质量特征向量映射为对应的质量分数；进而利用现有的算法性能指标(srocc、lcc等)对算法的优劣进行评估。

我们在三个立体图像质量评价数据库上实施了我们的算法，包括livephaseii,waterlooivc3dphasei和phaseii。这些数据库的基本信息列举在了表一中。同时，我们选取了六种算法公开，性能优秀的质量评价算法与我们的方法进行比较，包括四种2d基础上的立体图像质量评价算法：psnr,ssim,ms-ssim，brisque。一种全参考立体图像质量评价方法c-fr和一种无参考立体图像质量评价方法c-nr。为了消除训练数据和随机性的影响，我们在数据库上进行了1000次80％训练-20％测试的重复试验，即80％的数据用于训练，剩下的20％的数据用于测试，训练数据和测试数据不存在内容的重叠。最后利用现有的算法性能指标(1000次重复试验srcc,pcc,rmse的中值)对算法的优劣进行评估，实验结果见表二。

表一数据库基本信息

结合附图2，可以看出，本发明提出的算法在四个数据库的测试中，不仅表现出了比其他无参考图像质量评价算法更优秀的主观一致性和稳定性，在live和tid2013数据库上，甚至优于全参考的质量评价方法。

表二三个数据库上算法性能比较