基于非线性眼优势视差补偿的立体图像质量评价方法
【专利摘要】本发明提供了一种基于非线性眼优势视差补偿的立体图像质量评价方法，步骤：第一步、利用2D无参考质量评价方法计算出左眼右眼图像的质量分数，得到Q(L)，Q(R)；第二步、基于眼优势模型，给予Q(L)，Q(R)不同的权重，得到第三步、计算左右眼2D图像质量之间的非线性补偿，得到FN；第四步、计算基于显著性的视差程度补偿量，得到FSP；第五步、将加权后的图像质量与基于显著性的视差程度补偿量FSP相加，并减去非线性补偿FN，得到最终的3D无参考质量评价分数。本发明具有优越的预测精度，而且兼具计算复杂度低的特点。
【专利说明】基于非线性眼优势视差补偿的立体图像质量评价方法
【技术领域】
[0001] 本发明涉及立体图像质量评价领域，具体地，涉及一种基于非线性补充模型、眼优 势模型、视差补偿模型的无参考立体图像质量评价方法。
【背景技术】
[0002] 3D成像是一个广泛的研究领域，从娱乐（包括视频和游戏）到专业应用（教育， 医疗等）。与此同时，3D领域也涉及到越来越多的图像处理技术，对于高效评估3D图像质 量的需求也愈加显现。尽管近年来在2D图像，视频的质量评价方面已经取得了相当大的成 果，在3D图像质量评价上的进展仍是屈指可数，这主要是因为人眼对3D图像和2D图像的 视觉感知有着很大不同。现有的3D质量评价方法可分为全参考，半参考和无参考三种。全 参考要求全部的原始立体图像信息，这在实际应用中很难满足。因此，无参考的3D质量评 价有着更大的应用前景与实际意义，但与此同时也面临着更多的困难。
[0003] 为此，Akhter 等人 2010 年在《Proceedings of Proc. SPIE》上发表了 "No-reference stereoscopic image quality assessment，'，提出了一种无参考的3D质量 评价方法，它不仅结合了传统的失真类型（块效应），而且将视差图（Disparity map)考虑 在内。这种方法符合人眼对3D图像的视觉感知。但是它十分依赖于对视差图的估计，而目 前对于视差图缺乏深入的理解，准确地计算视差图也是非常困难的。因此此方法效果一般。
【发明内容】
[0004] 针对现有技术中的缺陷，本发明的目的是本发明提出一种基于非线性补充模型、 眼优势模型、和以显著性为基础的视差补偿的无参考立体图像质量评价方法，有效地提高 了 3D质量评价的准确度。
[0005] 为实现以上目的，本发明提供一种基于非线性眼优势视差补偿的立体图像质量评 价方法N0SPDM，包括以下步骤 ：
[0006] 第一步、利用2D无参考质量评价方法计算出左眼右眼图像的质量分数，得到 Q(L)，Q(R);
[0007] 第二步、基于眼优势模型，给予Q(L)，Q(R)不同的权重，得到Ff ;
[0008] 第三步、计算左右眼2D图像质量之间的非线性补偿，得到Fn ;
[0009] 第四步、计算基于显著性的视差程度补偿量，得到Fsp ;
[0010] 第五步、将加权后的图像质量Ff与基于显著性的视差程度补偿量Fsp相加，并减 去非线性补偿Fn，得到最终的3D无参考质量评价分数N0SPDM。
[0011] 本发明的原理是：尽管人眼对2D，3D图像的视觉感知有所不同，但2D，3D图像的质 量仍有着紧密的联系。本发明首先利用眼优势模型，给予右眼图像质量更大的权重。其次， 本发明利用非线性模型补偿左右眼图像质量整合中的重叠效应，从而建立起了 2D，3D图像 质量之间的联系。与此同时，由于图像内容与3D质量也有关系。本发明计算出了以显著性 为基础的视差偏移量，以补偿图像内容对3D图像质量的影响。最后，本发明将2D图像质量， 眼优势模型，非线性补充模型，以及视差偏移量结合起来，通过线性组合得到了新的D无参 考的质量评价分数。
[0012] 与现有技术相比，本发明具有如下的有益效果：
[0013] 本发明首先利用眼优势模型给予右眼图像质量更大的权重。其次，本发明利用非 线性模型来补偿左右眼图像质量整合中的重叠效应。此外，3D图像质量与不同的图像内容 相关。因此，本发明计算出了左右眼图像的视差偏移程度以消除图像内容的影响。在计算 视差偏移程度时，本发明引入了视觉注意力模型（显著性模型）以改进方法。实验结果证 实本发明所述的基于非线性眼优势视差补偿的立体图像质量评价方法NOSPDM具有优越的 预测精度，而且兼具计算复杂度低的特点。
【专利附图】
【附图说明】
[0014] 通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、 目的和优点将会变得更明显：
[0015] 图1是本发明实施例总体流程图；
[0016] 图2是仅利用2D图像质量评价分数得到的3D质量分数（NOSPDM1)，在Toyama图 像质量数据库上与主观评价值MOS的对比图；
[0017] 图3是仅利用2D图像质量评价分数和眼优势权重模型得到的3D质量分数 (NOSPDM 2)，在Toyama图像质量数据库上与主观评价值MOS的对比图；
[0018] 图4是仅利用2D图像质量评价分数，眼优势权重和非线性补充模型得到的3D质 量分数（NOSPDM 4)，在Toyama图像质量数据库上与主观评价值MOS对比图；
[0019] 图5是利用2D图像质量评价分数，眼优势模型，非线性补充模型，视差补偿模型得 到的最终3D质量分数（NOSPDM12)，在Toyama图像质量数据库上与主观评价值MOS对比图。
【具体实施方式】
[0020] 下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术 人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术 人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明 的保护范围。
[0021] 实施例
[0022] 本实施例提供一种基于非线性眼优势视差补偿的立体图像质量评价方法，整个过 程的综合流程如图1所示，包括以下步骤：
[0023] 第一步，分别计算左右眼2D图像质量分数，得到Q(L)，Q(R);方法如下：
[0024] i)分别利用下述公式计算左右眼图像L，R水平方向上的块效应Dh，水平方向上的 模糊效应Ah，Z h :
[0025]
【权利要求】
1. 一种基于非线性眼优势视差补偿的立体图像质量评价方法，其特征在于，包括以下 步骤： 第一步、利用2D无参考质量评价方法计算出左眼右眼图像的质量分数，得到Q(L)，Q(R)； 第二步、基于眼优势模型，给予Q(L)，Q(R)不同的权重，得到F(f; 第三步、计算左右眼2D图像质量之间的非线性补偿，得到Fn ; 第四步、计算基于显著性的视差程度补偿量，得到Fsp; 第五步、将加权后的图像质量F(f与基于显著性的视差程度补偿量Fsp相加，并减去非 线性补偿Fn，得到最终的3D无参考质量评价分数。
2. 根据权利要求1所述的一种基于非线性眼优势视差补偿的立体图像质量评价方法， 其特征在于，第一步中，所述的左右眼图像质量分数的计算方法： i) 分别利用下述公式计算左右眼图像L，R水平方向上的块效应Dh，水平方向上的模糊 效应Ah，Zh :
其中：M，N分别指图像的高度和宽度，B指块的大小，dh、Zh分别指图像特征的计算函 数；i，j分别指图像的第i行和第j列化指的是第j个图像块； ii) 根据同样的方法，计算出左右眼图像L，R垂直方向上的块效应Dv，垂直方向上的模 糊效应Av，Zv，计算水平和垂直特征的平均值即得到全部特征：
Dh，Ah，Zh是垂直方向上的特征，Zv，Dv，Av是水平方向上的特征； iii) 最后，所有特征通过一个全局非线性方程进行拟合，得到左右眼2D图像的质量分 数： 〇=α+βDylA72Z7 ' 其中：α、β、Yl、￥2和Y3是模型参数，在图像数据库上训练得到。
3. 根据权利要求1所述的一种基于非线性眼优势视差补偿的立体图像质量评价方法， 其特征在于，第二步中，所述的眼优势权重模型F〇W : ={2-liR)Q(L)+ii RQ(R)； 其中μκ代表右眼图像权重。
4. 根据权利要求1所述的一种基于非线性眼优势视差补偿的立体图像质量评价方法， 其特征在于，第三步中，所述的非线性补偿Fn : Fn =λ·max{Q(L),Q(R)}； 其中λ为权重系数。
5. 根据权利要求1-4任一项所述的一种基于非线性眼优势视差补偿的立体图像质量 公卡·社_甘牲紅;*：;_笛1711屯由_
太的其；M蕃的細羊: 其中：S代表图像的显著性区域，c〇s为模型参数，通过训练得到； L指左视图，R指右视图，S指视觉注意力区域。
【文档编号】G06T7/00GK104240255SQ201410491116
【公开日】2014年12月24日 申请日期:2014年9月23日 优先权日:2014年9月23日
【发明者】杨小康, 刘敏, 翟广涛, 顾锞 申请人:上海交通大学