基于空域特征的无参考立体图像质量客观评价方法与流程

本发明属图像处理领域，涉及基于空域特征的无参考立体图像质量客观评价方法。

背景技术：

近年来，三维技术逐渐普及，步入大众生活，为观众带来了更好的视觉体验和临场感，但同时也对立体图像的质量提出了更高的要求。由于立体图像的不恰当处理可能会引起观看者的视觉疲劳与不适，因此十分有必要提出一种统一、客观、有效的立体图像质量评价方法对立体图像质量进行准确的预测。

现有的立体图像质量评价方法主要包括基于平面图像质量参数的评价方法和基于人类视觉基本特性的评价方法两种。但是，基于平面图像质量参数的评价方法没有充分考虑人类视觉特性，缺少对立体信息有效利用，因而难以投入实践。现有的基于人类视觉基本特性的评价方法中最重要的一步是立体匹配，但是如何有效地提取立体信息，合理地进行匹配，仍然是立体图像领域关注的焦点。因此，很有必要建立一个以立体图像基本信息为基础，又充分考虑人类视觉特性的立体图像质量客观评价方法。

此外，鉴于现有的立体图像质量评价方法需要原始的参考图像作为评价依据，因此具有很大的局限性，所以无参考(即不需要原始的参考图像对做评价依据)立体图像质量评价方法应运而生。

技术实现要素：

本发明的目的提供一种充分考虑双视点特性的立体图像质量客观评价方法。本发明的无参考立体图像质量客观评价方法，模拟大脑中形成的视觉感知图像，以空域特征作为工具，通过空域特征的变化描述对立体图像质量，进而做出更加全面、准确的客观评价。技术方案如下：

一种基于空域特征的无参考立体图像质量客观评价方法，每个失真立体图像对由左图和右图组成，设失真图像对为(t_l,t_r)，包括以下步骤：

第一步：模拟人类视觉特性，对失真图像对的左图和右图分别进行二维Gabor滤波，得到左图和右图的加权因子:W_L(x,y)和W_R((x+d),y)，其中，(x,y)为像素点坐标，d表示对右图进行视差补偿的像素点横坐标差值；

第二步：将失真图像对(t_l,t_r)进行加权运算，得到V(x,y)；

第三步：对V(x,y)进行归一化处理，得到失真图像对的视觉感知图

第四步：对失真图像对的视觉感知图进行分块处理，设每块大小为m×n。假定图像尺寸为M×N，图像可以划分为([M/m]×[N/n])图像块，[x]表示不大于x的最大整数。

第五步：利用非对称高斯分布模型求解每一图像块的特征参数。

第六步：将图像尺寸缩放为原来的图像块尺寸m,n缩放为原来的然后重复第三步至第五步操作，获得缩放图像的每一图像块的特征参数；

第七步：集合第五步和第六步得到的特征参数，构成的空域特征。

第八步，以列为单位，分别计算第七步所获得特征的均值和方差矩阵ν_d和Σ_d。

第九步，训练无失真参考图像对的多元高斯模型，方法如下：选取n幅参考图像对，进行上述第一步至第六步操作，得到共计k组图像块的特征参数，将所有的图像块的特征参数进行训练，得到多元高斯模型的均值和方差矩阵ν和Σ作为标准模型；

第十步：计算ν_d和Σ_d与标准模型ν和Σ之间的距离，即为立体图像对质量的客观预测值。

本发明所提出的立体图像客观质量评价方法以视觉感知图像的熵为基础，通过稀疏表示的方式，把熵与视觉感知过程相结合，充分模拟了立体图像主观评价的过程，得到的立体图像质量客观评价结果与主观评价结果具有很高的一致性，能够较为准确的反映图像的质量。

附图说明

图1：本发明的流程框图

图2：空域特征的提取

具体实施方式

基于空域特征的无参考立体图像质量客观评价方法，每个失真立体图像对由左图和右图组成，设失真图像对为(t_l,t_r)，包括以下步骤：

第一步：模拟人类视觉特性，对失真图像对(t_l,t_r)的左图和右图分别进行二维Gabor滤波，得到相应的能量响应，并进行卷积和处理，经归一化运算分别后得到左图和右图的加权因子:W_L(x,y)和W_R((x+d),y)，其中，(x,y)为像素点坐标，(x+d)表示视差补偿，d表示对右图进行视差补偿的像素点横坐标差值；计算方法如下

(1)二维Gabor滤波器为：

其中，G(x,y,σ_x,σ_y,ζ_x,ζ_y,θ)是Gabor滤波器的响应值，x,y,σ_x,σ_y,ζ_x,ζ_y,θ分别代表Gabor滤波器的x方向、y方向、椭圆高斯包络沿x方向的标准差、椭圆高斯包络沿y方向的标准差、x方向的频率、y方向的频率和相位角，R₁＝x cosθ+y sinθ，R₁＝x cosθ+y sinθ；

(2)Gabor滤波器的能量响应是以3.67次/度的空间频率循环，叠加滤波器沿水平、竖直和两个对角线方向的幅度响应得到的；

(3)能量响应经卷积和计算后得到GE_L(x,y)与GE_R(x,y)，并进行视差补偿得到GE_R((x+d),y)，其中，(x+d)表示视差补偿，d表示对右图进行视差补偿的像素点横坐标差值；

(4)经公式(2)和(3)所定义的归一化运算得到左图和右图的加权因子W_L(x,y)和W_R((x+d),y)。

第二步：将失真图像对为左右图(t_l,t_r)进行加权运算，得到失真图像对的视觉感知图V(x,y)，计算如公式(4)所示；

V(x,y)＝W_L(x,y)×t_l(x,y)+W_R(x+d,y)×t_r((x+d),y) (4)

第三步：失真图像对的视觉感知图V(x,y)的预处理。具体计算过程如下：

其中，ω＝{ω_k,l|k＝-K,...,K,l＝-L,...,L}是2D循环对称高斯函数的权重值，K＝L＝3。

第四步：对失真图像对的视觉感知图进行分块处理，每块大小为m×n。假定图像尺寸为M×N，图像可以划分为([M/m]×[N/n])图像块，[x]表示不大于x的最大整数。

第五步：求解每一图像块的空域特征。具体操作如下：

首先，利用均值为0的归一化高斯分布拟合每一图像块，得到相应的归一化高斯分布的参数(α,β)，具体参加如下公式：

其中，x是每一图像块像素值按列排成(m×n)×1的列向量。

其次，沿水平、竖直、两个对角线四个方向，分别利用非对称高斯分布模型求解每一图像块的(γ,β_l,β_r,η)，计算公式如下：

其中x是每一图像块像素分别沿水平、竖直、对角线方向排列后的列向量，其大小为(m×n)×1。

最后，通过上述操作，可以获得每一图像块的2+4×4＝18个特征。

第六步：将图像尺寸缩放为原来的图像块尺寸m,n缩放为原来的然后重复第三步至第五步操作。同样，也可以获得18个特征参数。故每一图像块可以提取36个特征。

第七步：按照第三步至第六步的描述，计算每一图像块的空域特征，共计([M/m]×[N/n])×36特征。

第八步，以列为单位，分别计算第七步所获得特征的均值和方差矩阵ν_d和∑_d。

第九步，训练无失真参考图像对的多元高斯模型。具体操作如下，任选n幅参考图像对，进行上述第一步至第六步操作，得到共计k组图像块的特征。将所有的图像块的特征进行训练，得到多元高斯模型的均值和方差矩阵ν和∑作为标准模型。经过训练的标准模型在后续评价中无需再做二次训练。训练方式如下：

其中，x₁,...,x_t表示每一图像块的36个特征按列排列，t为图像块的总数。

第十步，计算ν_d和∑_d与标准模型ν和∑之间的距离，即为立体图像对质量的客观预测值。计算方式如下：