专利名称：基于hvs的ssim与特征匹配立体图像质量评价方法
技术领域：
本发明涉及图像质量评价、3D图像处理，具体是基于HVS的SSIM与特征匹配立体图像质量评价方法。
背景技术：
Pieter提出3DTV主观质量评价方法，指出应该从图像质量、图像深度、立体感舒适程度、立体感是否存在、立体感是否自然、立体感是否符合视觉经验等方面进行评价；I^trizio提出了一种立体图像主观质量评价方法，被测者佩戴立体眼镜，使用France Telecom R&D (法国电信)的SEOVQ(视频质量的主观评估和优化)人机交互界面进行主观评测，并用平均差异分数(DM0Q表示评价结果。主观评价方法耗时、耗力，而且具有一定的不稳定因素；Patrizio等又提出将多个二维图像评价指标SSIM(结构相似度指标)、 UQI (Universal Quality Index传统的质量指标)、RRIQA(减少参考图像的质量评价)用于对立体图像的评价，在分别评价了左、右图像质量的基础上，用加权求和的方法给出评价结果。这种方法有借鉴价值，但是未考虑相应的立体视觉机理；Alexandre提出了一种基于视差的立体图像客观质量评价方法，分别计算出平面图像质量失真和视差失真，然后再将二者加权，视差失真通过原图像对和测试图像对深度图的相关系数计算得出，平面图像质量失真利用平面图像评价方法分别计算左图像与右图像间的失真指标，再求出平均值，但是， 在Alexandre的方法中用原图像对和测试图像对深度图的相关系数表征立体信息特征，只能从整幅图的角度给出一个总体认识，不能明显的反映出局部视差失真给图像质量评价带来的影响；宁波大学提出了一种基于相似度的立体右图像质量评价方法，该方法将视差用于右图像的质量评价中，其实质只评价了单视点图像质量，并非真正意义上的立体图像质量评价。
发明内容
为克服现有技术的不足，提供一种基于HVS的SSIM与特征匹配立体图像质量评价方法，用来说明所生成立体图像的逼真度和立体感、压缩算法对立体图像的损伤程度、传输过程引入的噪声对立体图像质量干扰的程度、以及立体图像显示的自然感等，以作为衡量立体图像处理效果的手段和标准，本发明采取的技术方案是，基于HVS的SSIM与特征匹配立体图像质量评价方法，包括如下步骤(1)用结构失真法比较原图像左右视图与测试图像左右视图的亮度、对比度、结构相似度，提出结构失真度指标；(2)将测试图像左右视图的平均感知亮度的比值作为一个质量评价指标，来衡量左右视图感知亮度的差异，即提取亮度对比度指标；(3)根据小波分解模拟人眼带通特性原理，计算测试图像左右视图与原图像左右视图在各频带的误差，并对其线性求和，然后进行信噪比评估，得出人眼视觉信噪比评价指标；
(4)用测试图像左右视图匹配点个数和原图像左右视图匹配点各数的比值反映立体图像的立体感；(5)对上述所有的指标进行合理的加权，得出一个总的评价指标，从整体上反映立体图像的质量。现在，对上述方法做进一步的叙述，具体为用L表示图像绝对亮度，AL表示图像相对亮度，Δ S表示亮度感觉的增量值，则可以用相对亮度的增量来度量亮度感觉的增量，如式(1)所示
ΛΟ 厂 ΔΙAS = K-
L(1)K为常数，对式(1)积分，得到感觉亮度SS = KlnL+K0 = K' lgL+K0 (2)其中，K' = KlnlOjtl为常数，依照公式(2)对灰度图像的每个像素的亮度值进行变换，得到感知亮度。所述将测试图像左右视图的平均感知亮度的比值作为一个质量评价指标具体为， 用结构相似度法SSIM(struCtural similarity)分别提取原图像左右视图与测试图像左右视图的亮度、对比度、结构相似度，并进行比较首先分别计算原始图像X和测试图像Y的平均感知亮度Uj^PUy，MXN为图像大小， Xij> Yij为原始图像X和测试图像Y每个像素经过式( 处理的感知亮度；其次计算原始图像X和测试图像Y的标准差^和。y，以及两者之间的协方差Oxy ；再次，根据(3) (5) 分别计算亮度比较函数1 (χ，y)、对比度比较函数c (χ，y)、结构相似性比较函数s (χ，y)
权利要求
1.一种基于HVS的SSIM与特征匹配立体图像质量评价方法，其特征是，包括如下步骤，(1)用结构失真法比较原图像左右视图与测试图像左右视图的亮度、对比度、结构相似度，提出结构失真度指标；(2)将测试图像左右视图的平均感知亮度的比值作为一个质量评价指标，来衡量左右视图感知亮度的差异，即提取亮度对比度指标；(3)根据小波分解模拟人眼带通特性原理，计算测试图像左右视图与原图像左右视图在各频带的误差，并对其线性求和，然后进行信噪比评估，得出人眼视觉信噪比评价指标；(4)用测试图像左右视图匹配点个数和原图像左右视图匹配点各数的比值反映立体图像的立体感；(5)对上述所有的指标进行合理的加权，得出一个总的评价指标，从整体上反映立体图像的质量。
2.如权利要求1所述的方法，其特征是，所述方法在所述各步骤前还包括一个预处理步骤，具体为用L表示图像绝对亮度，AL表示图像相对亮度，AS表示亮度感觉的增量值，则可以用相对亮度的增量来度量亮度感觉的增量，如式(1)所示M = AL (1) K为常数，对式(1)积分，得到感觉亮度S S = KlnL+K0 = K' lgL+K0(2)其中，K' = KlnlO, Ktl为常数，依照公式( 对灰度图像的每个像素的亮度值进行变换，得到感知亮度。
3.如权利要求1所述的方法，其特征是，所述将测试图像左右视图的平均感知亮度的比值作为一个质量评价指标具体为，用结构相似度法SSIM(strUCtUral similarity)分别提取原图像左右视图与测试图像左右视图的亮度、对比度、结构相似度，并进行比较首先分别计算原始图像X和测试图像Y的平均感知亮度Ux和uy，MXN为图像大小， XiJ> Yij为原始图像X和测试图像Y每个像素经过式(2)处理的感知亮度；其次计算原始图像X和测试图像Y的标准差％和Qy，以及两者之间的协方差oxy;再次，根据(3) (5)分别计算亮度比较函数l(x，y)、对比度比较函数c(x，y)、结构相似性比较函数s(x， y)2uvu” + C1l(x,y)=(C1 = (K1L)2)(3)+u +C1σ , σ , + Cc(x,y)= _2Χ y 2 (C2 = (K2L)2)(4)s^y)=砂丄二明+Q(5)CpCyC3分别是取值较小的常数，最后，根据式(6)计算结构失真度S1 S1= [l(X，y)]a[C(X，y)e[s(X，y)]Y (6) 令 α = β = γ=1，将每个评价指标取值都限定在
之间，因为l(x，y) ( l,c(x,y) ( l，s(x，y) ( 1， 故&彡1，所以将式(5-6)变换为
4.如权利要求1所述的方法，其特征是，所述将测试图左、右视图的平均感知亮度的比值作为一个质量评价指标，来衡量左右视图感知亮度的差异，指标为
5.如权利要求1所述的方法，其特征是，所述得出人眼视觉信噪比评价指标步骤是， 采用小波分解模拟人眼带通特性，并用经验对比度灵敏度函数CSF(Contrast Sensitivity Function)曲线加权不同频带小波系数，模拟人眼的对比度敏感度特性，计算方法以左视图为例，给出标准视图和测试视图在每个加权频带的误差计算公式(10)
6.如权利要求1所述的方法，其特征是，所述用测试图像左右视图匹配点个数和原图像左右视图匹配点各数的比值反映立体图像的立体感，具体为提取标准图像匹配点个数 0标_像和测试图像的匹配点个数0测试_，并用匹配点个数比P作为一个评价指标，公式如 (15)，表征图像质量以及立体感觉的好坏，
7.如权利要求1所述的方法，其特征是，所述对上述所有的指标进行合理的加权，得出一个总的评价指标具体为
8.如权利要求1所述的方法，其特征是，所述方法是在计算机中执行下列步骤分别读入标准图像对和测试图像对4幅图像，再将其经过人眼视觉系统模型处理后，计算反映立体图像质量的结构失真度量指标、亮度比较指标、人眼视觉信噪比指标、匹配点个数比指标、综合评价值等各项指标值，保存为文本文件，用客观数值反映测试立体图像的质量好坏，并且可以在界面上直观显示各项指标的质量优良状况，6个评价指标，依次为左视图结构失真度量指标MrucL、右视图结构失真度量指标StrucR、左右测试视图亮度对比度指标LumaLR、左视图人眼视觉信噪比指标HVSL、右视图人眼视觉信噪比指标HVSR、匹配点个数比指标Match ；在设计的评价软件系统的界面中，“Final Result”表示6个指标加权求和后总的评价指标，它用来表示测试立体图像总体质量，可用于与MOS进行相关性比较，用“Excellent”、 “G00d”、“i^ir”、“P00r”、“Bad”表示五级标度评价质量等级，与其对应的Mhow Result”用 5种表情显示质量。“0penSL”、“0penSR”、“0penTL”、“0penTR”表示加载图像，分别表示打开原左视图、打开原右视图、打开测试左视图、打开测试右视图。“Play”开始运行计算指标值， “Mve”保存指标到一个.txt文件，用于数据处理和分析。“耗时”显示计算一次所消耗的时间，“Succeed”表示计算结束，和“Succeed”对应的状态机state machine还有“^Testing...，， 表示使用测试功能，测试程序是否能正常运行、“Computer…”表示程序正在计算。
全文摘要
本发明涉及图像质量评价。为说明所生成立体图像的逼真度和立体感、压缩算法对立体图像的损伤程度、传输过程引入的噪声对立体图像质量干扰的程度、以及立体图像显示的自然感等，本发明采取的技术方案是，基于HVS的SSIM与特征匹配立体图像质量评价方法，包括如下步骤(1)用结构失真法比较原图像左右视图与测试图像左右视图的亮度、对比度、结构相似度；(2)提取亮度对比度指标；(3)根据小波分解模拟人眼带通特性原理，得出人眼视觉信噪比评价指标；(4)用测试图像左右视图匹配点个数和原图像匹配点个数的比值反映立体图像的立体感；(5)对上述所有的指标进行合理的加权，得出一个总的评价指标。本发明主要应用于图像质量评价。
文档编号H04N17/00GK102170581SQ201110115808
公开日2011年8月31日 申请日期2011年5月5日 优先权日2011年5月5日
发明者侯春萍, 卫津津, 李素梅, 赵瑞超 申请人:天津大学