专利名称：一种基于特征融合的立体图像质量客观评价方法
技术领域：
本发明涉及一种图像质量评价方法，尤其是涉及一种基于特征融合的立体图像质量客观评价方法。
背景技术：
随着图像编码技术和立体显示技术的迅速发展，立体图像技术受到了越来越广泛的关注与应用，已成为当前的一个研究热点。立体图像技术利用人眼的双目视差原理，双目各自独立地接收来自同一场景的左右视点图像，通过大脑融合形成双目视差，从而欣赏到具有深度感和逼真感的立体图像。由于采集系统、存储压缩及传输设备的影响，立体图像会不可避免地引入一系列的失真，而与单通道图像相比，立体图像需要同时保证两个通道的图像质量，对其进行质量评价具有非常重要的意义。然而，目前对立体图像质量缺乏有效的客观评价方法进行评价。因此，建立有效的立体图像质量客观评价模型具有十分重要的意 义。目前的立体图像质量客观评价方法是直接将平面图像质量评价方法直接应用于评价立体图像质量，然而，对立体图像的左右视点图像进行融合产生立体感的过程并不是简单的左右视点图像叠加的过程，还难以用简单的数学方法来表示，因此，如何在立体图像质量评价过程中有效地对双目立体融合进行模拟，如何提取有效的特征信息对评价结果进行融合，使得客观评价结果更加感觉符合人类视觉系统，都是在对立体图像进行客观质量评价过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种能够有效提高客观评价结果与主观感知的相关性的基于特征融合的立体图像质量客观评价方法。本发明解决上述技术问题所采用的技术方案为一种基于特征融合的立体图像质量客观评价方法，其特征在于它的处理过程为首先，根据原始的无失真的立体图像的左视点图像和右视点图像中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，及原始的无失真的立体图像的左视点图像和右视点图像之间的失真图像，获得原始的无失真的立体图像的独眼图；根据待评价的失真的立体图像的左视点图像和右视点图像中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，及原始的无失真的立体图像的左视点图像和右视点图像之间的失真图像，获得待评价的失真的立体图像的独眼图；其次，根据两个独眼图中的每个像素点的均值和标准差，获得待评价的失真的立体图像的独眼图中的每个像素点的客观评价度量值；再次，根据原始的无失真的立体图像的独眼图的振幅和相位，获得对应的显著图；根据待评价的失真的立体图像的独眼图的振幅和相位，获得对应的显著图；然后，根据两个显著图及两个独眼图之间的失真图，对待评价的失真的立体图像的独眼图中的每个像素点的客观评价度量值进行融合，得到待评价的失真的立体图像的图像质量客观评价预测值；最后，按照上述处理过程获取多幅不同失真类型不同失真程度的失真的立体图像的图像质量客观评价预测值。本发明的一种基于特征融合的立体图像质量客观评价方法的具体步骤为①令Sots为原始的无失真的立体图像，令Sdis为待评价的失真的立体图像，将Sots的左视点图像记为ILots (X，y)}，将SOTg的右视点图像记为{R g (X，y)}，将Sdis的左视点图像记为ILdis(X，y)},将Sdis的右视点图像记为{Rdis(x, y)},其中，此处(x, y)表示左视点图像和右视点图像中的像素点的坐标位直，l^x^W, l^y^H, W表不左视点图像和右视点图像的宽度，H表不左视点图像和右视点图像的闻度，LOTg(x，y)表不{Lorg (x, y)}中坐标位置为(x，y)的像素点的像素值，ROTg(x，y)表示{ROTg(x，y)}中坐标位置为(x, y)的像素点的像素值，Ldis(x，y)表示ILdis(x，y)}中坐标位置为(x，y)的像素点的像素值，Rdis(x，y)表示{Rdis(x, y)}中坐标位置为(x，y)的像素点的像素值；②根据{LOTg(x，y)}、{Rorg(x, y)} > {Ldis (x, y)} > {Rdis(x, y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，对应获取ILots(X，y)}、{Rorg(x, y)}、 {Ldis(x，y)}、{Rdis (x, y)}中的每个像素点的振幅，然后根据{LOTg(x，y)}和{ROTg(x，y)}中的每个像素点的振幅及{LOTg(x，y)}与{ROTg(x，y)}之间的视差图像中的每个像素点的像素值，计算SOTg的独眼图，记为{CMOTg(x，y)}，并根据ILdis(x，y)}和{Rdis(x，y)}中的每个像素点的振幅及{LOTg(x，y)}与{ROTg(x，y)}之间的视差图像中的每个像素点的像素值，计算Sdis的独眼图，记为ICMdis(X，y)},其中，CMots(X，y)表示{CMOTg(x，y)}中坐标位置为(x, y)的像素点的像素值，CMdis(X，y)表示{CMdis(x，y)}中坐标位置为(x, y)的像素点的像素值；③根据{CMOTg (X，y)}和{CMdis (x，y)}中的每个像素点的均值和标准差，计算ICMdis(x，y)}中的每个像素点的客观评价度量值，将ICMdis(x，y)}中坐标位置为(x，y)的像素点的客观评价度量值记为Qimage (x，y)；④根据{CMOTg(X，y)}的振幅和相位，计算{CMOTg(x，y)}的显著图，记为ISMorg (X，y)}，并根据ICMdis (X，y)}的振幅和相位，计算{CMdis (x，y)}的显著图，记为{SMdis(x，y)}，其中，SMots(x，y)表示{SMOTg(x，y)}中坐标位置为(x，y)的像素点的像素值，SMdis(x, y)表示{SMdis(x，y)}中坐标位置为(x，y)的像素点的像素值；⑤计算{CMOTg(x，y)}与{CMdis(x，y)}之间的失真图，记为{DM(x，y)},将{DM(x，y)}中坐标位置为(X，y)的像素点的像素值记为DM(X，y), DM(x, y) = (CMorg(x, y)-CMdis(x, y))2 ；⑥根据{SMOTg(x，y)}和{SMdis(x，y)}及{DM(x，y)},对{CMdis(x，y)}中的每个像素点的客观评价度量值进行融合，得到Sdis的图像质量客观评价预测值，记为Q，
Σ LLJx^y)xSMΓ Σ Q m,Jx,y)xDM(x,y)l
Q= - X -，其中，Ω表示像素域范围，
Σ SM(x,y)Σ DM(x,y)
".U.IJi Y. V), U
SM (x, y) =max (SMorg (x, y), SMdis (x, y)), max ()为取最大值函数，Y 和 β 为权重系数；⑦采用η幅原始的无失真的立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真的立体图像，利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值，记为DM0S，DM0S=100-M0S，其中，MOS 表示主观评分均值，DMOS e [O, 100]，η 彡 I ;⑧按照步骤①至步骤⑥计算Sdis的图像质量客观评价预测值的操作，分别计算失真立体图像集合中每幅失真的立体图像的图像质量客观评价预测值。
所述的步骤②的具体过程为②-I、对{LOTg(x，y)}进行滤波处理，得到{LOTg(x，y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，将{LOTg(x，y)}中坐标位置为(x，y)的像素点在不同尺度和方向的偶对称频率响应记为ea，0 (X，y),将{LOTg(x，y)}中坐标位置为(x, y)的像素点在不同尺度和方向的奇对称频率响应记为οα，θ U，y)，其中，a表示滤波所采用的滤波器的尺度因子，I < a <4，Θ表示滤波所采用的滤波器的方向因子，I < θ^4；②-2、根据{LOTg(x，y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，计算{LOTg(x，y)}中的每个像素点的振幅，将{LOTg(x，y)}中坐标位置为
(x, Y)的像素点的振幅记为
权利要求
1.一种基于特征融合的立体图像质量客观评价方法，其特征在于它的处理过程为首先，根据原始的无失真的立体图像的左视点图像和右视点图像中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，及原始的无失真的立体图像的左视点图像和右视点图像之间的失真图像，获得原始的无失真的立体图像的独眼图；根据待评价的失真的立体图像的左视点图像和右视点图像中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，及原始的无失真的立体图像的左视点图像和右视点图像之间的失真图像，获得待评价的失真的立体图像的独眼图；其次，根据两个独眼图中的每个像素点的均值和标准差，获得待评价的失真的立体图像的独眼图中的每个像素点的客观评价度量值；再次，根据原始的无失真的立体图像的独眼图的振幅和相位，获得对应的显著图；根据待评价的失真的立体图像的独眼图的振幅和相位，获得对应的显著图；然后，根据两个显著图及两个独眼图之间的失真图，对待评价的失真的立体图像的独眼图中的每个像素点的客观评价度量值进行融合，得到待评价的失真的立体图像的图像质量客观评价预测值；最后，按照上述处理过程获取多幅不同失真类型不同失真程度的失真的立体图像的图像质量客观评价预测值。
2.根据权利要求I所述的一种基于特征融合的立体图像质量客观评价方法，其特征在于它具体包括以下步骤 ①令Sots为原始的无失真的立体图像，令Sdis为待评价的失真的立体图像，将Sots的左视点图像记为{LOTg(x, y)}，将SOTg的右视点图像记为{ROTg(x, y)}，将Sdis的左视点图像记为{Ldis (X，y)},将Sdis的右视点图像记为{Rdis (X，y)}，其中，此处(x, y)表不左视点图像和右视点图像中的像素点的坐标位直，l^x^W, l^y^H, W表不左视点图像和右视点图像的宽度，H表不左视点图像和右视点图像的闻度，LOTg(x，y)表不{Lorg (x, y)}中坐标位置为(x，y)的像素点的像素值，Rorg(x, y)表示{ROTg(x，y)}中坐标位置为(x, y)的像素点的像素值，Ldis(x，y)表示ILdis(x，y)}中坐标位置为(x，y)的像素点的像素值，Rdis(x，y)表示{Rdis(x, y)}中坐标位置为(x，y)的像素点的像素值； ②根据{LOTg(x，y)}、{Rorg(x,y)} > {Ldis(x，y)}、{Rdis(x, y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，对应获取ILots (X，y)}、(Rorg(X，y)}、{Ldis (x，y)}、{Rdis (x, y)}中的每个像素点的振幅，然后根据{LOTg(x，y)}和{ROTg(x，y)}中的每个像素点的振幅及{LOTg(x，y)}与{ROTg(x，y)}之间的视差图像中的每个像素点的像素值，计算SOTg的独眼图，记为{CMOTg(x，y)}，并根据ILdis(x，y)}和{Rdis(x，y)}中的每个像素点的振幅及{LOTg(x，y)}与{ROTg(x，y)}之间的视差图像中的每个像素点的像素值，计算Sdis的独眼图，记为ICMdis(X，y)},其中，CMots(X，y)表示{CMOTg(x，y)}中坐标位置为(x, y)的像素点的像素值，CMdis(X，y)表示{CMdis(x，y)}中坐标位置为(x, y)的像素点的像素值； ③根据{CMOTg(x，y)}和{CMdis(x, y)}中的每个像素点的均值和标准差，计算ICMdis(x，y)}中的每个像素点的客观评价度量值，将ICMdis(x，y)}中坐标位置为(x，y)的像素点的客观评价度量值记为Qimage (x，y)； ④根据ICMots(x，y)}的振幅和相位，计算{CMOTg(x，y)}的显著图，记为{SMOTg(x，y)}，并根据ICMdis (x，y)}的振幅和相位，计算ICMdis (x，y)}的显著图，记为{SMdis (x，y)}，其中，SMots(x，y)表示{SMOTg(x，y)}中坐标位置为(x，y)的像素点的像素值，SMdis(x，y)表示{SMdis(x，y)}中坐标位置为(x，y)的像素点的像素值；⑤计算{CMOTg(x，y)}与{CMdis(x，y)}之间的失真图，记为{DM(x，y)},将{DM(x，y)}中坐标位置为(X，y)的像素点的像素值记为 DM(X，y), DM(x, y) = (CMorg (x, y) -CMdis (x, y))2 ; ⑥根据{SMOTg(x，y)}和{SMdis(x，y)}及{DM(x，y)},对{CMdis(x，y)}中的每个像素点的客观评价度量值进行融合，得到Sdis的图像质量客观评价预测值，记为Q，
3.根据权利要求2所述的一种基于特征融合的立体图像质量客观评价方法，其特征在于所述的步骤②的具体过程为 ②-I、对{Lorg(x, y)}进行滤波处理，得到{LOTg(x，y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，将{LOTg(x，y)}中坐标位置为(x，y)的像素点在不同尺度和方向的偶对称频率响应记为ea，e (x，y)，将{LOTg(x，y)}中坐标位置为(x，y)的像素点在不同尺度和方向的奇对称频率响应记为οα，θ U，y)，其中，a表示滤波所采用的滤波器的尺度因子，I < a <4，Θ表示滤波所采用的滤波器的方向因子，I < θ^4； ②-2、根据{LOTg(x，y)}中的每个像素点在不同尺度和方向的偶对称频率响应和奇对称频率响应，计算{LOTg(x，y)}中的每个像素点的振幅，将{LOTg(x，y)}中坐标位置为(x，y)的像素点的振幅记为
4.根据权利要求3所述的一种基于特征融合的立体图像质量客观评价方法，其特征在于所述的步骤②-I中对{LOTg(x，y)}进行滤波处理采用的滤波器为Iog-Garbor滤波器。
5.根据权利要求2至4中任一项所述的一种基于特征融合的立体图像质量客观评价方法，其特征在于所述的步骤③的具体过程为 ③-I、计算{CMOTg(x，y)}和{CMdis(x，y)}中的每个像素点的均值和标准差，将(CMorg(x, y)}中坐标位置为(Xpy1)的像素点的均值和标准差分别记为Utffg(Xuy1)和0<^(11，71)，将ICMdis(x，y)}中坐标位置为(X^y1)的像素点的均值和标准差分别记为
6.根据权利要求5所述的一种基于特征融合的立体图像质量客观评价方法，其特征在于所述的步骤④的具体过程为 ④-I、对{CMOTg(x，y)}进行离散傅立叶变换，得到{CMOTg(x，y)}的振幅和相位，分别记为{MOTg(u，v)}和{AOTg (u，V)}，其中，u表示变换域的振幅或相位的宽度，V表示变换域的振幅或相位的高度，I≤u≤W，I≤V≤H,Morg (u, V)表示{MOTg(u，v)}中坐标位置为(u，V)的像素点的振幅值，Aots(U，V)表示{AOTg(u，v)}中坐标位置为(U，V)的像素点的相位值； ④-2、计算{MOTg(u，v)}的高频分量的振幅，记为{ROTg(u，v)}，将{ROTg(u，v)}中坐标位置为(U，V)的像素点的高频分量的振幅值记为ROTg(U，V), Rorg (u, v) =Iog (Morg (u, v)) -hm(u, v)*log(MOTg(u, V)),其中，log()为以e为底的对数函数，e=2. 718281828, 为卷积操作符号，hm(u, V)表示mXm的均值滤波； ④-3、根据{ROTg(u，V)}和{AOTg(u，V)}进行离散傅立叶反变换，将获得的反变换图像作为{CMOTg(x，y)}的显著图,记为{SMOTg(x, y)},其中，SMOTg(x，y)表示{SMOTg(x，y)}中坐标位置为(x，y)的像素点的像素值； ④-4、按照步骤④-I至步骤④-3获取{CMOTg(x，y)}的显著图的操作，以相同的方式获取{CMdis(x，y)}的显著图,记为{SMdis(x, y)},其中，SMdis(x，y)表示{SMdis(x，y)}中坐标位置为(x，y)的像素点的像素值。
全文摘要
本发明公开了一种基于特征融合的立体图像质量客观评价方法，其首先分别计算原始的无失真的立体图像的独眼图和待评价的失真的立体图像的独眼图，并通过计算两个独眼图中的每个像素点的均值和标准差，得到待评价的失真的立体图像的独眼图中的每个像素点的客观评价度量值，再分别计算两个独眼图的显著图及两个独眼图之间的失真图，并对待评价的失真的立体图像的独眼图中的每个像素点的客观评价度量值进行融合，得到待评价的失真的立体图像的图像质量客观评价预测值，优点在于所获得的独眼图能够很好地对双目立体融合过程进行模拟，并且采用显著图和失真图进行融合，能有效地提高客观评价结果与主观感知的相关性。
文档编号G06T7/00GK102903107SQ20121035795
公开日2013年1月30日 申请日期2012年9月24日 优先权日2012年9月24日
发明者邵枫, 段芬芳, 蒋刚毅, 郁梅, 李福翠 申请人:宁波大学