无参考DIBR生成图像质量评价方法与流程

本发明属于图像处理领域，尤其是涉及一种dibr生成图像的无参考质量评价方法。

背景技术：

近年来，立体图像及视频以多种显示方式逐渐地走进人们的日常生活，如眼镜观看式、裸眼观看式等。其中，基于裸眼观看的自由立体显示需要对同一场景从多个角度捕获多张图像，这对数据的存储和传输发起了巨大的挑战。为了解决这个问题，多视点及深度图(mvd，multi-view-video-plus-depth)格式被采纳并应用于立体数据存储。使用mvd格式，在发射端仅需要对有限的纹理视图及其相关的深度图进行编码和传输。在接收端，通过接收器侧的基于深度图像的渲染(dibr，depth-image-based-rendering)算法从解码的纹理视图和深度图合成剩余的虚拟视图。不幸的是，dibr不是一种完美的技术，会对合成视图产生多种失真。低质量dibr合成视图可能会引起恼人的感知体验，但是现有图像质量评价解决方案在准确估计dibr生成失真方面是无能为力的。本发明分析dibr生成图的失真特点，基于局部失真和全局失真的度量，提出一种无参考图像质量评价方法。

技术实现要素：

本发明针对dibr生成图像的失真特点，提出一种无参考dibr生成图像质量评价方法，该方法与主观评价分数有着较高的一致性。技术方案如下：

一种无参考dibr生成图像质量评价方法，包括以下步骤：

1)局部空洞区域检测及质量度量

给定一张dibr生成图像i，计算其局部二值模式图lbp，并对lbp图进行二值化，定义lbp值为8的区域为空洞区，以非空洞区域与整体图像面积的占比作为空洞区域的质量度量q1；

2)局部拉伸区域检测及质量度量

对lbp图重新二值化，规定lbp值为8的像素值为1，其余lbp值对应的像素值为0，对整个图像每一列的像素值进行相加并取均值，规定均值大于0.2的列为拉伸区域,定义拉伸区域与其相邻等面积的区域的梯度相似性为拉伸区域强度的度量q2；

3)全局模糊质量度量

将dibr生成图像i等分为n个一样大小的图像块，计算每个图像块的方差；对dibr生成图像i进行以2为尺度的下采样，同样划分为n个等大小的图像块，计算每个图像块的方差，定义图像的全局模糊为原始图像和下采样图像块方差差值的均值q3；

4)整体质量评估

图像的整体质量q定义为：q＝0.9787q1+0.0143q2+0.007q3。

本发明提出一种dibr生成图像的质量评价方法，不需要参考图像的介入，可以有效地评价dibr生成图像质量。

附图说明

图1算法框架

具体实施方式

本发明提出一种无参考dibr生成图像质量评价方法，框架如图1所示。

(1)局部空洞区域检测及质量度量

给定一张图像i，首先计算其lbp图

其中，ni表示中心像素nc圆形周边第i个像素，i(ni)和i(nc)分别表示其对应的像素值。p表示要考虑的周边像素个数，本发明之中设置p＝8。当计算为lbp图后，对其进行二值化操作：

其中，dr表示计算得到的二值化图。dr＝0的区域表示空洞区域，本发明定义空洞区域的质量度量q1为：

其中，k0和k分别表示空洞区域内的像素个数和整个图像的像素个数。

(2)局部拉伸区域检测及质量度量

对于步骤(1)求得的lbp图，本发明重新对其进行二值化操作：

其中，ds为二值化操作结果。针对ds图的每一列进行相加并取均值，定义均值大于0.2的列在拉伸区域内。由于拉伸区域往往出现在图像最左端或者最右端，本发明规定，只有和图像最左端或者最右端处于同一个连接区域的列才定义为拉伸列。最后，所有的拉伸列共同组成拉伸区域。为度量拉伸强度对图像质量造成的影响，本发明计算拉伸区域和其相邻区域等大小的区域的梯度相似性sg：

其中，gs和gn分别表示拉伸区域和其等大小相邻区域的梯度图。本发明中，梯度图有下式计算得到：

其中px和py分别是在水平和垂直方向上的prewitt算子。注意的是，在计算gs和gn的时候，将上述公式之中的i分别替换成对应区域的灰度值。最后，图像拉伸区域的失真质量q2定义为：

其中，表示拉伸区域内梯度相似度的均值，sj表示第j个sg元素，j表示拉伸区域内像素的个数。

(3)全局模糊质量度量

对于图像i，首先将其分割成32×32大小的非重合的图像块，这里假设最终分割的图像块个数是n，对每个图像块计算其方差σ0,n,1≤n≤n；对图像i以2为尺度进行下采样，并对采样得到的图像以同样以非重合的方式进行分块(块的大小为16×16)，并计算每一块的方差σ1,n,1≤n≤n。图像的全局模糊可以度量为q3：

(4)整体质量评估

图像的整体质量q定义为：

q＝0.9787q1+0.0143q2+0.007q3\*mergeformat(13)

为了验证算法有效性，本发明选择irccyn/ivc数据库进行验证。该数据库包含120个不同的dibr生成图像(分辨率为1024×768)。

为了检验图像质量评价算法的性能，采用斯皮尔曼秩相关系数(spearmanrank-ordercorrelationcoefficient,srcc)作为评估准则。srcc越接近于1，表明本发明提出的算法具有更好的性能，和主观打分一致性越高。

实验结果表明本发明能够取得srcc＝0.652的结果，说明本方法的客观质量评价预测值与主观评分之间的相关性高，表明本发明方法与人眼视觉系统有较好的一致性。