基于局部三元模式的无参考立体图像客观质量评价方法
【技术领域】
[0001] 本发明设及一种立体图像质量评价方法，尤其是设及一种基于局部=元模式的无 参考立体图像客观质量评价方法。
【背景技术】
[0002] 进入二十一世纪W来，随着立体图像/视频系统处理技术的日趋成熟，W及计算 机网络与通信技术的快速发展，已引起人们对立体图像/视频系统的强烈需求。相比传统 单视点图像/视频系统，立体图像/视频系统由于能够提供深度信息来增强视觉的真实感， 给用户W身临其境的全新视觉体验而越来越受到人们的欢迎，已被认为是下一代媒体主要 的发展方向，引发了学术界、产业界的广泛关注。然而，人们为了获得更好的立体临场感和 视觉体验，对立体视觉主观感知质量提出了更高的要求。立体视觉主观感知质量是衡量立 体图像/视频系统性能优劣的一个重要指标。在立体图像/视频系统中，采集、编码、传输、 解码及显示等处理环节都会引入一定失真，该些失真将对立体视觉主观感知质量产生不同 程度的影响，因此如何有效地进行无参考质量评价是亟需解决的难点问题。综上，评价立体 图像质量，并建立与主观质量评价相一致的客观评价模型显得尤为重要。目前，研究人员提 出了不少针对单视点视觉质量的无参考评价方法，然而由于缺乏系统理论深入研究立体视 觉感知特性，因此还没有有效地无参考立体图像质量评价方法。相比单视点视觉质量无参 考评价模型，无参考立体图像质量评价模型需要考虑不同失真类型立体掩蔽效应W及与之 相关的双目竞争/抑制和双目融合等立体感知因素对视觉质量的影响。因此，不能简单地 把现有的单视点视觉质量无参考评价模型直接扩展到无参考立体图像质量评价方法中。现 有的无参考质量客观评价方法主要是通过机器学习来预测评价模型的，但针对立体图像， 现有的立体图像评价方法还是平面图像评价方法的简单扩展，并没有考虑双目视觉特性， 因此，如何在评价过程中有效地提取特征信息，在评价过程中进行双目视觉特性结合，使得 客观评价结果更加符合人类视觉感知系统，是立体图像进行客观质量评价过程中需要研究 解决的问题。
【发明内容】
[0003] 本发明所要解决的技术问题是提供一种基于局部=元模式的无参考立体图像客 观质量评价方法，其能够充分考虑到立体视觉特性，从而能够有效地提高客观评价结果与 主观感知之间的相关性。
[0004] 本发明解决上述技术问题所采用的技术方案为；一种基于局部=元模式的无参考 立体图像客观质量评价方法，其特征在于其处理过程为；首先，对待评价的失真的立体图像 的左视点图像和右视点图像分别实施高斯梯度滤波，得到各自的幅值图像和相位图像，并 计算待评价的失真的立体图像的左视点图像与右视点图像之间的视差图像；其次，根据待 评价的失真的立体图像的左视点图像和右视点图像各自的幅值图像和相位图像，及左视点 图像与右视点图像之间的视差图像，计算待评价的失真的立体图像的左右视点特征融合图 像；接着，采用局部=元模式操作对待评价的失真的立体图像的左右视点特征融合图像进 行处理，得到其局部=元模式的上模式图像和下模式图像；之后，采用直方图统计方法分别 对上模式图像和下模式图像进行统计操作，对应得到待评价的失真的立体图像的上模式图 像直方图统计特征向量和下模式图像直方图统计特征向量；最后，根据待评价的失真的立 体图像的上模式图像直方图统计特征向量和下模式图像直方图统计特征向量，采用支持向 量回归预测得到待评价的失真的立体图像的客观质量评价预测值。
[0005] 该无参考立体图像客观质量评价方法包括W下步骤：
[0006] ①令Sdk表示待评价的失真的立体图像，将Sdk的左视点图像记为{Ldk(X，y)}，将 SdJ勺右视点图像记为出心(x，y)}，其中，1《X《W，1《y《H，W表示SdJ勺宽度，H表示 Sdis的高度，Ldis(x，y)表示{Ldk(x，y)}中坐标位置为（x，y)的像素点的像素值，Rdk(x，y) 表示出dk(x，y)}中坐标位置为（x，y)的像素点的像素值；
[0007] ②对{Ldk(x，y)}实施高斯梯度滤波，得到{Ldk(x，y)}的幅值图像和相位图 像，对应记为{GL_dk(x，y)}和巧L_dk(x，y)};同样，对化k(x，y)}实施高斯梯度滤波，得 到{R心(x，y)}的幅值图像和相位图像，对应记为咕_心片7)}和〇Vdk(x，y)};其中，Gl 心(x，y)表示粒_心(x，y)}中坐标位置为（x，y)的像素点的像素值，PLdk(x，y)表示IPl_ dis(x，y)}中坐标位置为（x，y)的像素点的像素值，GK_dis(x，y)表示（GK_dis(x，y)}中坐标位 置为（x，y)的像素点的像素值，PE_dk(x，y)表示0V心(x，y)}中坐标位置为（x，y)的像素 点的像素值；
[000引⑨采用块匹配方法计算{Ldk(x，y)}与化k(x，y)}之间的视差图像，记为 {(1心0!；，7)}，其中，(1心0!；，7)表示{(1心0!；，7)}中坐标位置为0!；，7)的像素点的像素值；
[0009] ④根据（Guis(X，y)}和{Puis(X，y)}、咕_心(X，y)}和{PK_dis(X，y)}、{d"s(X，y)}， 计算5^煎左右视点特征融合图像，记为伊^,片州，将化^片州中坐标位置为片7)的 像素点的像素值记为Fdk(x，y)， (x,v)= (G, {x,v))' + (Gj,{x+ {x,v),v))" +Gi{x,v)x{x+ (x,v),v)xcos(^^,,(x,v)) ，其中，GK_dk(x+ddk(x，y)，y)表示（GK_dk(x，y)}中坐标位置为（x+ddk(x，y)，y)的像素点的像素值，脚b(W) = 6_化佔y)-fi〇/,,(x+馬,,(x，y)，y)，PK_dis(x+cU(x，y)，y)表示 〇V dk(x，y)}中坐标位置为（x+ddk(x，y)，y)的像素点的像素值，cosO为取余弦函数；
[0010] ⑥采用局部S元模式操作对{Fdk(x，y)}进行处理，得到{Fdk(x，y)}的局部S元 模式的上模式图像和下模式图像，对应记为{LTPu(x，y)}和{LTPD(x，y)}，其中，LTPu(x，y) 表示{LTPu(x，y)}中坐标位置为（x，y)的像素点的像素值，LTPD(x，y)表示{LTPD(x，y)}中 坐标位置为（x，y)的像素点的像素值；
[OCm] ⑧采用直方图统计方法对{LTPu(x，y)}进行统计操作，得到Sdk的上模式图像直方 图统计特征向量，记为{Hu(m)};同样，采用直方图统计方法对{LTPD(x，y)}进行统计操作， 得到Sdk的下模式图像直方图统计特征向量，记为化D(m)};其中，的维数为IXm' 维，Hu(m)表示化(m)}中的第m个元素，化(m)}的维数为1Xm'维，Hd(m)表示化(m)}中 的第m个元素，1《m《m'，m' =P+2,P表示局部S元模式操作中的领域参数；
[0012]⑦采用n"幅原始的无失真的立体图像，建立其在不同失真类型不同失真程度下的 失真立体图像集合，该失真立体图像集合包括多幅失真立体图像；然后利用主观质量评价 方法评价出该失真立体图像集合中的每幅失真立体图像的主观评分，将该失真立体图像集 合中的第j幅失真立体图像的主观评分记为DMOSj.;再按照步骤①至步骤⑧的操作，W相同 的方式获取该失真立体图像集合中的每幅失真立体图像的上模式图像直方图统计特征向 量和下模式图像直方图统计特征向量，将该失真立体图像集合中的第j幅失真立体图像的 上模式图像直方图统计特征向量和下模式图像直方图统计特征向量对应记为和 化，^m)};其中，n"〉1，j的初始值为1，1《j《N'，N'表示该失真立体图像集合中包含的失 真立体图像的总幅数，0《DM0S声100,化uj(m)}和{HdjOu)}的维数均为IXm'维，Hu，j(m) 表示咕，j(m)}中的第m个元素，H。，j(m)表示化，j(m)}中的第m个元素，1《m《m'，m'= P+2,P表示局部S元模式操作中的领域参数；
[0013] ⑨将该失真图像集合作为训练集；然后利用支持向量回归对训练集中的所有失真 立体图像的主观评分及上模式图像直方图统计特征向量和下模式图像直方图统计特征向 量进行训练，使得经过训练得到的回归函数值与主观评分之间的误差最小，拟合得到最优 的权值矢量w°p嘴最优的偏置项b接着利用W嘴b构造得到支持向量回归训练模型； 再根据支持向量回归训练模型，对Sdk的上模式图像直方图统计特征向量化u(m)}和下模 式图像直方图统计特征向量{HdOu)}进行测试，预测得到Sdk的客观质量评价预测值，记为 Q，Q=f(X)，/树= (WW")>Cr) +bw';其中，Q是X的函数，f0为函数表示形式，X为输入， X表示Sdk的上模式图像直方图统计特征向量化u(m)}和下模式图像直方图统计特征向量 (HdOu)}，（W°Pt)T为W°Pt的转置矢量，抑A')为X的线性函数。
[0014] 所述的步骤②中的高斯梯度滤波中的尺度参数0取值为0. 5。
[0015] 所述的步骤⑥中的局部=元模式操作中的领域参数P取值为8、局部半径参 数R取值为1、自适应阔值矩阵{T(x，y)}中下标为（x，y)的元素的值T(x，y)取值为 曰XFdi,(x,y