基于立体视觉注意力机制和结构相似度的3d绘制图像的客观质量评价方法
【专利摘要】本发明“基于立体视觉注意力机制和结构相似度的3D绘制图像的客观质量评价方法”涉及图像质量评价【技术领域】。通过SIFT（Scale-invariantfeaturetransform）模型匹配原始参考图像和3D绘制图像的位置关系，使用SSIM模型来测量具体的压缩失真、传输失真、绘制失真等多种失真。通过计算绘制图像的3D显著图来反映人眼视觉系统的立体视觉注意机制，计算每个SIFT匹配窗口的显著度平均值作为显著度因子，并将其作为每个窗口的权重对所有的SSIM值加权取和得到最终的评价质量结果。结果表明，本发明所提出的客观质量评价方法与主观感受具有很高的相关性。
【专利说明】基于立体视觉注意力机制和结构相似度的3D绘制图像的 客观质量评价方法
【技术领域】
[0001] 本发明涉及图像质量评价【技术领域】。 技术背景
[0002] 图像质量评价方法可以大致分为两类：第一类为主观质量评价方法，目前已经制 定了许多标准，如文献 1 (参见 International Telecommunication Union (ITU) Radio communication Sector: 'Methodology for the subjective assessment of the quality of television pictures'，ITU-R BT. 500-11，January 2002)。这些标准要求没有先验 经验的普通观察者，在标准的环境下，观察待评价的图像(有的情况下还有原始图像作为参 考)然后对这些图像的质量进行打分。但是由于主观质量评价方法需要严格的测试环境，数 量可观的观察者，耗时耗力，因此无法实时应用，常作为实验室中研究所用。
[0003] 第二类为客观质量评价方法，这类模型使用算法代替人作为评判质量标准。国际 电信联盟所属的视频质量专家组（Video Quality Experts Group, VQEG)提出了 3种类型 的视频质量测试方法，即全参考、部分参考和无参考数据的视频质量度量。全参考方法提供 所有的原始视频以供参考，通过对比失真视频和原始视频得到失真视频的质量。部分参考 评价方法只需用部分视频原始序列信息，通过比对视频的特征来判断视频的质量。无参考 评价方法中，没有参考视频可以提供，通过分析待测视频的数据来判断数据的质量，难于实 现，因此研究成果较少。
[0004] 目前，大多数的图像质量评价研究集中于全参考和部分参考评价方法。例如文 献 2(参见 Z. Wang, A.C. Bovik, H.R. Sheikh and E. Simoncelli, "IQA: From error visibility to structural similarity"， IEEE Trans. Image Process, vol. 13, no. 4，pp. 600-612, Apr. 2004.)中，提出了结构相似度（Structural Similarity , SSIM ) 模型，从整体上模拟人眼视觉系统中的结构相似度理论，用对结构信息的度量作为图像感 知质量的近似，能够有效地对2D图像进行感知质量评价。文献3(C. Τ· E. R. Hewage，S. T. fforrall, S. Dogan, et al, "Quality evaluation of color plus depth map-based stereoscopic video"， IEEE Journal of Selected Topics in Signal Processing, 2009，3 (2) : 304-318.)基于SSM模型对彩色视频加深度视频表示的立体视频的左、右视 点视频的质量进行评价。该方法是基于绘制的虚拟视点视频存在原始参考视频为前提进行 质量评价模型设计的。在实际应用中，虚拟视点的原始参考视频往往不存在，该模型无法应 用。
[0005] 近年来随着视觉注意力机制研究的发展，学者们提出多种视觉注意检测模型，如： 文献 4 (L. Itti, C. Koch, E. Niebur, et al. , "A model of saliency-based visual attention for rapid scene analysis，，'· IEEE Trans, on Pattern Analysis and 供《ce, vol.20, no.ll，pp. 1254 - 1259，1998.)的 ITTI 模型，文献 5 (X. Hou, L. Zhang, "Saliency detection: A spectral residual approach^ IEEE Conference on Computer Vision and Pattern Recognition, 2007. CVPR' 07, 2007: 1_8)的谱残差模型，文献 6 (J. Harel, C. Koch, P. Perona, "Graph-based visual saliency"， Advances in neural information processing systems. 2006: 545-552)的 GBVS (Graph-based visual saliency)模型。由于视觉注意是图像质量评价的一个重要 影响因素，已开始有学者将视觉注意力机制加入到质量评价的过程中，例如文献7(张艳， 安平，张秋闻，张兆杨，视觉关注度的立体图像质量评价[J].中国图象图形学报，2012， 17(006) : 722-725)基于ITTI模型分别对立体图像两路图像的纹理图和深度图检测提取 感兴趣区域，并依此进行左右两路图像加权的质量评价，并将两路图像质量评价结果的平 均值作为立体图像的最终评价结果。该方法同样是以立体图像的两路图像均存在原始参考 图像为前提的。
[0006] 由于现在的很多3D摄像头通常只采集一个视角的彩色图像和其对应的深度 图像，立体图像合成所需要的另一个视角图像往往是采用DIBR (Depth image based rendering)技术绘制生成。在这种情况下对3D绘制图像进行质量评价没有原始的绘制视 角图像可供参考，可供参考的3D摄像头采集到的原始彩色图像和3D绘制图像并不是一个 视角，两者存在一定的视差。这种情况导致传统3D绘制图像质量评价方法不起作用。因此 有必要针对3D绘制图像设计新的客观质量评价方案。
【发明内容】
[0007] 本发明结合立体视觉注意力机制提出了一个新的3D绘制图像的客观质量评价方 法，通过SIFT (Scale-invariant feature transform)模型匹配原始参考图像和3D绘制 图像的位置关系，使用SSIM模型来测量具体的压缩失真、传输失真、绘制失真等多种失真。 通过计算绘制图像的3D显著图来反映人眼视觉系统的立体视觉注意机制，计算每个SIFT 匹配窗口的显著度平均值作为显著度因子，并将其作为每个窗口的权重对所有的SSM值 加权取和得到最终的评价质量结果。
[0008] 为此，本发明给出技术方案实施步骤为： 一种基于立体视觉注意力机制的3D绘制图像客观质量评价方法，采用如下技术方案， 包括以下步骤： 步骤S1 :将原始彩色图像、原始深度图像绘制为供参考的参考虚拟视点图像。
[0009] 步骤S2 :原始彩色图像和参考虚拟视点图像中分别提取SIFT点。
[0010] 步骤S3 :利用步骤S2得到的SIFT点的特征值，建立SIFT点之间的匹配关系，形 成匹配点对。为了减小误差，进行了异常点去除工作。
[0011] 步骤S4 :利用立体视觉注意模型对原始彩色图像和深度图像进行显著性检测，得 到立体图像的显著图。
[0012] 步骤S5 :以步骤S3得到的SIFT匹配点对的像素位置为中心，分别在原始彩色图 像和待测的3D绘制图像中取窗口。有重叠像素窗口只保留一个，避免重复计算。
[0013] 步骤S6 :在步骤S5得到的匹配窗口中进行SSM计算，衡量窗口中的各种失真。
[0014] 步骤S7 :步骤S5得到的匹配窗口对的权重值，即为这个窗口对中SS頂值的权重， 定义为在原始彩色图像中所取窗口在步骤S4所得的立体显著图上的显著值的平均值再除 以所有权重值的平均。
[0015] 步骤S8 :对步骤S6得到的所有SS頂值进行带权重的平均。
[0016] 上述技术方案体现出的关键技术要点： 1、许多实际的3D绘制图像中，待测的3D绘制图像和原始彩色图像一般存在微小的位 移，这使得传统的客观质量评价方法不起效用。本发明提出了使用SIFT模型来建立原始彩 色图像和3D绘制图像的匹配关系。每一对SIFT点，都标志这两个像素在实际场景中处于 同一位置。
[0017] 2、本发明在进行客观质量评价的过程中考虑了人眼视觉系统的立体视觉注意机 制。通过计算绘制图像的3D显著图，使用每个窗口的显著度平均值作为显著度因子，将最 终的显著度因子作为每个SSIM值的权重。这种方法可以有效地反映人眼视觉系统的立体 注意力机制，从而使得最终的客观质量评价结果和人眼视觉系统的感知结果更加匹配。
[0018] 本发明方法的有益效果为：使用SIFT模型建立原始彩色图像和3D绘制图像的匹 配关系，避免了传统客观质量评价方法不起效用的情况。同时，本发明还考虑了立体视觉注 意机制，使客观评价质量和人眼视觉系统更加匹配。结果表明，本发明所提出的客观质量评 价方法与主观感受具有很高的相关性。
【专利附图】
【附图说明】
[0019] 图1是本发明基于立体视觉注意力机制和结构相似度的3D绘制图像的客观质量 评价方法框图。
[0020] 图2是本发明实例Midd的原始彩色图像。
[0021] 图3是本发明实例Midd的原始深度图像。
[0022] 图4是本发明实例Midd的待评价的3D绘制图像。
[0023] 图5是本发明实例Midd的立体显著图结果。
【具体实施方式】
[0024] 下面以具体实例结合附图对本发明作进一步说明： 本发明提供的实例采用MATLAB R2010a作为仿真实验平台，以1396X 1110的bmp灰度 图像Midd作为选定的测试图像，下面结合每个步骤详细描述本实例： 步骤（1)，选定大小1396X1110, bmp格式的原始彩色和原始深度图像作为输入图像， 将其绘制为供参考的参考虚拟视点图像。
[0025] 步骤（2)，原始彩色图像和参考虚拟视点图像中分别提取SIFT点： 步骤（3)，利用步骤（2)得到的SIFT点的特征值，建立SIFT点之间的匹配关系，形成匹 配点对。为了减小误差，进行了异常点去除工作。当满足下式时，即认定此点对为异常点：
【权利要求】
1. 一种基于立体视觉注意力机制的3D绘制图像客观质量评价方法，其特征在于，包括 以下步骤： 步骤S1 :将原始彩色图像、原始深度图像绘制为供参考的参考虚拟视点图像； 步骤S2 :原始彩色图像和参考虚拟视点图像中分别提取SIFT点； 步骤S3 :利用步骤S2得到的SIFT点的特征值，建立SIFT点之间的匹配关系，形成匹 配点对，为了减小误差，进行了异常点去除工作； 步骤S4 :利用立体视觉注意模型对原始彩色图像和深度图像进行显著性检测，得到立 体图像的显著图； 步骤S5 :以步骤S3得到的SIFT匹配点对的像素位置为中心，分别在原始彩色图像和 待测的3D绘制图像中取窗口，有重叠像素窗口只保留一个，避免重复计算； 步骤S6 :在步骤S5得到的匹配窗口中进行SSM计算，衡量窗口中的各种失真； 步骤S7 :步骤S5得到的匹配窗口对的权重值，即为这个窗口对中SSM值的权重，定义 为在原始彩色图像中所取窗口在步骤S4所得的立体显著图上的显著值的平均值再除以所 有权重值的平均； 步骤S8 :对步骤S6得到的所有SSM值进行带权重的平均。
【文档编号】H04N13/00GK104243970SQ201310565886
【公开日】2014年12月24日 申请日期:2013年11月14日 优先权日:2013年11月14日
【发明者】张冬冬, 黄佳禾, 臧笛, 刘典, 陈艳毓 申请人:同济大学