基于眼优势理论和视差补偿的立体图像质量评价方法
【专利摘要】本发明提供了一种基于眼优势理论和视差补偿的立体图像质量评价方法，该方法：第一步，利用2D无参考质量评价方法计算出左眼右眼图像的质量分数，得到Q(L)，Q(R)；第二步，计算两幅2D图像质量之间的眼优势差异，得到H(L，R)；第三步，计算不同视差程度的补偿量，得到dθ；第四步，将左眼右眼图像的质量分数Q(L)、Q(R)与视差程度的补偿量dθ相加，并减去眼优势差异H(L，R)，结果即为基于眼优势理论和视差补偿的无参考3D图像质量评价分数。本发明建立了2D图像质量评价和3D图像质量评价方法的联系，得到左右眼图像的视差偏移程度，以补偿图像内容对3D图像质量的影响，提升了3D图像质量评价的准确性。
【专利说明】基于眼优势理论和视差补偿的立体图像质量评价方法
【技术领域】
[0001] 本发明涉及立体图像质量评价领域的方法，具体地，涉及一种基于眼优势理论和 视差补偿的无参考立体图像质量评价方法。
【背景技术】
[0002] 3D成像是一个广泛的研究领域，从娱乐（包括视频和游戏）到专业应用（教育，医 疗等）。与此同时，立体图像领域也涉及到越来越多的图像处理技术，对于高效地立体图像 质量评估的需求也越来越明显。尽管近年来在2D图像，视频的质量评价方面已经取得了相 当大的成果，在3D图像质量评价上的进展仍是屈指可数，这主要是因为3D图像与2D图像 的视觉感知有着很大不同。现有的3D质量评价方法可分为全参考，半参考和无参考三种。
[0003] 对于全参考3D质量评价方法，Benoit等人2008年在《EURASIP Journal on Image and Video Processing》上发表了 "Quality assessment of stereoscopic images，'， 它不仅利用SSM计算出左右眼2D图像的质量分数，而且考虑了视差信息（Disparity information) 〇Ming-Jun Chen等人2013年在〈〈Signal Processing: Image communication)) 上发表了 "Full-reference quality assessment of stereopairs accounting for rivalry"，它试图建立起人脑中的单眼图像（cyclopean image)。然而这些全参考评价方 法需要全部的原始立体图像信息，这在实际应用中很难满足。因此，无参考的3D质量评价 有着更大的应用前景与实际意义，但与此同时也面临着更多的困难。
[0004] 为此，Akhter 等人 2010 年在《Proceedings of Proc. SPIE》上发表了 "No-reference stereoscopic image quality assessment，'，提出了一种无参考的3D质量 评价方法，它不仅结合了传统的失真类型（块效应），而且将视差图（Disparity map)考虑 在内。此方法符合人眼对3D图像的视觉感知。但是它十分依赖于对视差图的估计，而目前 对于视差图还缺乏深入的理解，准确地计算出视差图也是非常困难的，因此这种方法效果 一般。
【发明内容】
[0005] 针对现有技术中的缺陷，本发明的目的是提供一种基于眼优势理论（0DI)和视差 补偿（Parallax compensation)的立体图像质量评价方法（0DDM4)，该方法有效地提升了 3D图像质量评价的准确性。
[0006] 为实现以上目的，本发明所述的基于眼优势理论和视差补偿的立体图像质量评价 方法，包括以下步骤：
[0007] 第一步，利用2D无参考质量评价方法计算出左眼右眼图像的质量分数，得到 Q(L), Q(R)；
[0008] 第二步，计算两幅2D图像质量之间的眼优势差异，得到：H(L，R);
[0009] 第三步，计算不同视差程度的补偿量，得到de ;
[0010] 第四步，将左眼右眼图像的质量分数Q(L)、Q(R)与视差程度的补偿量d0相加，并 减去眼优势差异H(L，R)，结果即为基于眼优势理论和视差补偿的无参考3D图像质量评价 分数。
[0011] 本发明的原理是：尽管人眼对2D、3D图像的视觉感知有所不同，但2D、3D图像的 质量仍有着紧密的联系。本发明利用眼优势理论，与此同时，由于了图像内容与3D质量也 有关系，因此本发明通过左右眼图像的视差偏移程度，以补偿图像内容对3D图像质量的影 响。最后，本发明将左右眼2D图像质量，眼优势差异，视差偏移补偿结合起来，通过线性组 合得到了新的3D无参考的质量评价分数。
[0012] 与现有技术相比，本发明具有如下的有益效果：
[0013] 本发明利用眼优势理论，建立了 2D图像质量评价和3D图像质量评价方法的联系。 除此之外，本发明计算出了左右眼图像的视差偏移程度，以补偿图像内容对3D图像质量的 影响。根据在现有的Toyama数据库上的测试结果来看，0DDM4方法取得了优越的3D图像 质量评价效果，并且视差偏移补偿有效地提升了 3D图像质量评价的准确性。
【专利附图】
【附图说明】
[0014] 通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、 目的和优点将会变得更明显：
[0015] 图1是本发明实施例总体流程图；
[0016] 图2是仅利用2D质量评价分数和眼优势理论得到的3D质量分数（0DDM3)，在 Toyama图像质量数据库上与主观评价值M0S对比图；
[0017] 图3是0DDM3经过视差补偿d0后，得到最终的3D质量分数（0DDM4)，在Toyama图 像质量数据库上与主观评价值M0S对比图。
【具体实施方式】
[0018] 下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术 人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术 人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明 的保护范围。
[0019] 本实施例提供一种基于眼优势理论和视差补偿的立体图像质量评价方法，整个过 程的流程如图1所示，包括：
[0020] 第一步、分别计算左眼右眼的2D质量评价分数，得到Q(L)，Q(R);具体方法如下：
[0021] i)分别利用下述公式计算左右眼图像L，R水平方向上的块效应Dh，水平方向上的 模糊效应Ah，Z h :
[0022]
[0023]
【权利要求】
1. 一种基于眼优势理论和视差补偿的立体图像质量评价方法，其特征在于，所述方法 包括以下步骤： 第一步，利用2D无参考质量评价方法计算出左眼右眼图像的质量分数，得到Q(L)，Q(R)； 第二步，计算两幅2D图像质量之间的眼优势差异，得到：H(L，R); 第三步，计算不同视差程度的补偿量，得到d0 ; 第四步，将左眼右眼图像的质量分数Q(L)、Q(R)与视差程度的补偿量d0相加，并减去 眼优势差异H(L，R)，结果即为基于眼优势理论和视差补偿的无参考3D图像质量评价分数。
2. 根据权利要求1所述的一种基于眼优势理论和视差补偿的立体图像质量评价方法， 其特征在于，第一步中，所述的左眼右眼图像质量分数的计算方法： i) 分别利用下述公式计算左右眼图像L，R水平方向上的块效应Dh，水平方向上的模糊 效应Ah，Zh :
其中：M，N分别指图像的高度和宽度，B指图像块的大小；dh、Zh分别指图像特征的计算 函数；i，j分别指图像的第i行和第j列化指的是第j个图像块； ii) 根据同样的方法，计算出左右眼图像L，Y垂直方向上的块效应Dv，图像垂直方向上 的模糊效应Av，Zv，计算水平和垂直特征的平均值即得到全部特征：
Dh，Ah,Zh是垂直方向上的特征，Zv，Dv，Av是水平方向上的特征； iii) 最后，所有特征通过一个全局非线性方程进行拟合，得到左右眼2D图像的质量分 数：
其中：a、0、Yl、￥2和Y3是模型参数，在图像数据库上训练得到。
3. 根据权利要求1所述的一种基于眼优势理论和视差补偿的立体图像质量评价方法， 其特征在于，第二步中，所述的眼优势差异的计算方法：
其中
，Q(L)，Q(R)分别为第一步中计算出的左眼右眼图像质量分 数。
4. 根据权利要求1-3任一项所述的一种基于眼优势理论和视差补偿的立体图像质量 评价方法，其特征在于，第三步中，所述的视差程度的补偿量d0:
其中：L，R分别为左眼、右眼图像；M代表图像的中央区域。
【文档编号】H04N13/00GK104243977SQ201410491118
【公开日】2014年12月24日 申请日期:2014年9月23日 优先权日:2014年9月23日
【发明者】杨小康, 刘敏, 翟广涛, 顾锞 申请人:上海交通大学