基于视觉感知特性的立体图像无参考质量评价方法
【专利摘要】本发明涉及一种基于视觉感知特性的立体图像无参考质量评价方法，首先对图像运用视觉显著度模型算法选取人眼关注的区域；接着，对关注区域利用左右视图提取表征立体视觉信息的深度图作为评价依据；然后，对该区域的深度值做特征统计处理，并且在这一过程考虑了人眼深度敏感特性对深度感的影响；最后，结合时域的特征信息计算视频序列深度质量值。本发明方法较传统方法结果精度有较大提高，且具有较高的深度图生成效率，在立体感质量评价模型中增加表示深度级影响人眼深度敏感性的权重因子，对立体图像质量具有更准确的评价。
【专利说明】基于视觉感知特性的立体图像无参考质量评价方法
【技术领域】
[0001]本发明涉及一种基于视觉感知特性的立体图像无参考质量评价方法。
【背景技术】
[0002]立体图像深度感质量评价指的是一种评价立体图像内容的立体感体验质量好坏的方法，评价立体图像质量的方法分为主观评价和客观评价两种。主观评价方法[1]的结果虽然更准确，但需要组织专门人员进行观测，代价昂贵且耗时，不适用于实时应用和系统集成。因此，客观质量评价方法3]近年来已经成为关注热点。
[0003]在立体图像客观评价方法中，2008年，Benoit扩展了传统2D图像客观质量评价方法，引入表示左右两图差异的视差图，将视差图的失真值与左右图客观质量的平均值进行线性结合，最终的值表示立体图像质量M。该方法在传统2D图像客观质量基础上增加考虑了深度质量，但是没有讨论视差图对于深度质量的影响。
[0004]2009年，Jiachen Yang等提出将图像质量和立体感知分开评价,通过左右图相减得到的绝对视差图来判断图像立体感，用视差图的失真表示立体感知客观质量[5]。该方法计算简单，但是仅仅用实验表明绝对视差图对立体感的作用，缺乏相关理论分析。
[0005]2010年，You等人通过将2D质量评价算法应用在立体图像对和视差图上进一步扩展预测3D立体图像对质量的方法[6]。他们应用了大量的全参考2D质量评价算法测试立体图像对和视差图，并得出结论，预测3D立体影像的质量时使用SSIM计算立体图像对质量，应用平均绝对差(MAD)估计视差图质量可以产生良好的性能。
[0006]2011年，Sarikan将深度图分割成不同的深度平面，并利用SSM对层，帧，序列三个级别进行了加权计算，将深度图的评价扩展到了立体视频质量评价[7]。
[0007]2012年，Lebreton深入分析了产生立体感知的原理，对视差图的生成，深度图分割和空时域信息的运用都做出具体讨论分析，从而建立了立体视频深度感知模型[2]，同时不同于之前的方法，该模型是一种非参考质量评价方法。
[0008]2013年，Sohn等人M利用立体图像的感知质量和视觉信息之间的关系，并引入双目质量感知模型，提出一种立体图像无参考质量方法。该方法在模糊和块效应失真的情况下建立人眼视觉系统的双目质量感知模型。左右图像感知模糊强度和块效应的分数被计算使用局部模糊强度，块效应强度和视觉显著度信息，然后使用双目质量感知模型合成整体质量索引。该方法适用于存在失真并且左右视点图像不对称的应用场景。
[0009]由文献分析可知，利用视差信息的立体图像质量评价方法主要包含全参考和无参考两种方法，全参考评价方法沿用2D图像客观质量评价方法预测左右视图和视差图质量，但是全参考方法需要原始图像作参考，而许多应用中无法满足该条件，因而无参考方法成为近期的研究热点。
[0010]前沿的立体图像无参考质量评价方法M中，第一步，依据视差生成深度图，视差代表着双眼线索的差异，深度值通过视差、左右摄像机的焦距以及基线位置三个参数并量化计算转化成8位数值可得，并以深度图的形式保存。第二步，将所得的深度图划分成若干区域，进行分割，当这些区域的深度变化值小于某规定阈值时，则不考虑此块对该立体图像客观评价结果的影响。第三步，对所选择区域的特征统计，特征统计的方法是计算选择区域的每个像素点的标准差，并取对数标准化，所得结果为前沿的立体图像质量评价方法的评价结果。
[0011]在第一步中，前沿方法中生成深度图的过程复杂度较高，而第二步中的区域分割所选取的区域与人眼关注区域也不一定相同，因此未先提取图像中对人眼视觉有显著影响的信息而生成深度图不仅造成该质量评价方法实现效率较低，且将影响到评价结果的准确性。
[0012]在第三步中，区域内的像素值到深度感质量值的过程使用线性映射，没有区分对待不同像素值的敏感度特点，这导致该方法获得的深度感评价值与实际人眼感知不一致。
[0013]在立体图像的无参考质量评价方法中，分析影响立体图像视觉效果的因素，准确地提取反映立体图像深度质量的特征信息，是建立有效的质量评价方法的前提和基础。因此，本文方法首先对图像运用视觉显著度模型算法选取人眼关注的区域，接着，对关注区域利用左右视图提取了表征立体视觉信息的深度图作为评价依据；然后对该区域的深度值做特征统计处理，并且在这一过程考虑了人眼深度敏感特性对深度感的影响；最后，结合时域的特征信息计算视频序列深度质量值。因此，模型的总体框架有4个主要步骤:1)视觉关注区域选取；2)深度图生成；3)所选择区域的特征统计；4)视频深度质量值计算；下面我们主要讨论前3个具体步骤。
[0014]传统方法需要依据深度信息评价立体图像深度感知，深度图的生成步骤成为评价过程的重要环节。该步骤通过估计左右视图视差信息，进而转化成相应的深度值，但视差估计要匹配左右图相应像素的位置，计算复杂度很高，导致评价效率低；由于深度图中人眼关注区域对最后深度感知的影响大M，而显著度模型能够计算图像的人眼关注程度，我们利用基于图形的视觉关注度模型M获取关注度图，该模型通过马尔科夫链构建节点间关系，计算简单并且性能优秀。
【发明内容】
[0015]本发明的目的在于提供一种计算简单并且性能优秀的基于视觉感知特性的立体图像无参考质量评价方法。
[0016]为实现上述目的，本发明的技术方案是:一种基于视觉感知特性的立体图像无参考质量评价方法，包括如下步骤，
步骤S1:视觉关注区域选取:对图像运用视觉显著度模型算法选取人眼关注的区域； 步骤S2:深度图生成:对上述关注区域的左右视图提取表征立体视觉信息，生成深度
图；
步骤S3:深度图的特征统计:对深度图的深度值做特征统计处理，即通过深度最小可觉察误差模型确定人眼对深度图像素值的可感知范围和敏感度因子，并结合计算深度的相对层次性，得出立体图像的立体感客观质量值；
步骤S4:视频深度质量值计算:结合时域的特征信息计算视频序列深度质量值，即通过将连续相邻多帧图像的深度质量估计值进行平均。
[0017]在本发明实施例中，所述步骤SI中对图像运用视觉显著度模型算法选取人眼关注的区域，具体方法如下，
选取绝对显著图A中像素值大于第75百分位数的区域A’，即通过设置一阈值ε选取
人眼关注区域，该人眼关注区域选取公式如下，
【权利要求】
1.一种基于视觉感知特性的立体图像无参考质量评价方法，其特征在于:包括如下步骤， 步骤S1:视觉关注区域选取:对图像运用视觉显著度模型算法选取人眼关注的区域； 步骤S2:深度图生成:对上述关注区域的左右视图提取表征立体视觉信息，生成深度图； 步骤S3:深度图的特征统计:对深度图的深度值做特征统计处理，即通过深度最小可觉察误差模型确定人眼对深度图像素值的可感知范围和敏感度因子，并结合计算深度的相对层次性，得出立体图像的立体感客观质量值； 步骤S4:视频深度质量值计算:结合时域的特征信息计算视频序列深度质量值，即通过将连续相邻多帧图像的深度质量估计值进行平均。
2.根据权利要求1所述的基于视觉感知特性的立体图像无参考质量评价方法，其特征在于:所述步骤SI中对图像运用视觉显著度模型算法选取人眼关注的区域，具体方法如下， 选取绝对显著图A中像素值大于第75百分位数的区域A’，即通过设置一阈值ε选取人眼关注区域，该人眼关注区域选取公式如下，
3.根据权利要求2所述的基于视觉感知特性的立体图像无参考质量评价方法，其特征在于:所述步骤S2的深度图生成，具体包括如下步骤， 步骤S21:设上述关注区域的左视图中的A’非零区域的分块为Yi,在上述关注区域的右视图中水平方向匹配寻找最相似分块Yj ; 步骤S22:计算得分块Yi的视差为: s=yi-yj(2) 其中，yi为分块Yi中以左视图中心为原点的特征点位置，yj为分块Yj中以右视图中心为原点的特征点位置，所述视差即双眼线索的差异； 步骤S23:根据视差与像素间的关系可知: Z = fxb/s(3) 其中，Z为深度值，/为焦距，6为基线，即双目摄像头间距； 步骤S24:根据非线性8位深度量化函数将深度值量化为离散的深度级并保存为深度图，该函数公式如下，
4.根据权利要求3所述的基于视觉感知特性的立体图像无参考质量评价方法，其特征在于:所述步骤S3深度图的特征统计，具体方式为，利用标准差公式表示深度层次性，该公式如下，
5.根据权利要求4所述的基于视觉感知特性的立体图像无参考质量评价方法，其特征在于:当深度值^的变化小于D-NOSE(V)范围或深度最小可觉察误差JNDD阈值时，人眼无法判别到立体感变化，因此，公式(5)的标准差计算之前需将每一个深度值依据JNDD阈值进行预处理，该公式如下，
6.根据权利要求5所述的基于视觉感知特性的立体图像无参考质量评价方法，其特征在于:所述JNDD通用计算模型如公式(8)，并根据公式(8)，将双眼视差的JNDD定义为
7.根据权利要求6所述的基于视觉感知特性的立体图像无参考质量评价方法，其特征在于:所述视频深度质量值计算，即在立体感质量评价模型中增加表示深度级影响人眼深度敏感性的权重因子，假设该权重因子与JNDD成反比，则深度质量可表示为:
【文档编号】H04N17/00GK103763552SQ201410052909
【公开日】2014年4月30日 申请日期:2014年2月17日 优先权日:2014年2月17日
【发明者】兰诚栋, 吴宇笙, 李亚格, 杨秀芝, 陈建 申请人:福州大学