基于双目视觉感知的无参考立体图像质量客观评价方法
【技术领域】
[0001] 本发明设及一种立体图像质量评价方法，尤其是设及一种基于双目视觉感知的无 参考立体图像质量客观评价方法。
【背景技术】
[0002] 数字化信息时代的高速发展，带动了图像领域的研究热潮。图像在获取、压缩、处 理、传输、存储和显示等过程中会不可避免地带来不同程度和类型的失真，而运些失真会直 接影响到图像的质量。因此，设计有效的图像质量评价机制是图像/视频系统的重要环节。 图像质量客观评价方法可分为全参考、半参考和无参考等类型。全参考型图像质量客观评 价方法的评价结果比较准确可行，但是由于其需使用原始图像的全部信息，而在实际应用 过程中很难获得原始图像作为参考，因此无需原始图像信息的无参考型图像质量客观评价 方法已成为该领域的研究重点。
[0003] 对于立体图像质量客观评价方法，根据是否使用深度/视差信息可分为两类：第 一类是基于平面的立体图像质量评价模型，其不需要从立体图像中计算深度或视差信息； 第二类是考虑立体感知特性的立体图像质量评价模型，其考虑了立体图像中的深度或视差 信息。然而，立体感知是具有视差的左右眼图像经由大脑的视觉皮层融合形成的，因此，相 比于平面图像质量客观评价，立体图像质量客观评价不仅需要考虑左右图像的质量，而且 还要重点考虑视差信息、深度感知等影响立体用户体验质量的因素。除立体内容（深度或 视差）之外，还存在一些重要问题：首先，观察者在观看立体内容时可能会遇到双目竞争、 双目抑制等，而运会影响立体感知质量；其次，立体图像的视觉感知质量可能设及深度质 量、平面质量和立体质量之间的相互作用；再者，观察者在观看失真的立体图像时可能会产 生视觉不舒适和疲劳等感觉，从而对立体图像的主观质量产生消极影响。因此，如何将双 目融合、双目竞争和深度感知的人眼立体视觉特性融入到立体图像质量客观评价中，使客 观评价结果更好地符合人类视觉系统，是立体图像质量客观评价过程中一个重要的研究问 题。
【发明内容】
[0004] 本发明所要解决的技术问题是提供一种基于双目视觉感知的无参考立体图像质 量客观评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性。
[0005] 本发明解决上述技术问题所采用的技术方案为：一种基于双目视觉感知的无参考 立体图像质量客观评价方法，其特征在于包括W下步骤：
[000引①令Idu表示待评价的失真立体图像，将Idu的左视点图像和右视点图像对应记 为Ldu和Rdu，其中，Idu的宽度和高度对应为W和H;
[0007]②义用光流法获取WLdis为参考的左视差图，记为DUis;并义用光流法获取WRdis 为参考的右视差图，记为Dmu;然后利用DKdu对Ldu进行视差补偿，获得视差补偿左图，记 为马，将中坐标位置为（X，y)的像素点的像素值记为pA"" ;并利用化du对Rdu 进行视差补偿，获得视差补偿右图，记为将么中坐标位置为（x，y)的像素点的像素 值记为（x，.v);接着根据Ldu和易获取不确定左图，记为lUs，将IUs中坐标位置为 (X，y)的像素点的像素值记为梦&。'"（x，.v);并根据Rdu和么,,,，获取不确定右图，记为URdW 将IUs中坐标位置为（X，y)的像素点的像素值记为卢心（.r，.v);再对4,,,,和忍祕进行能量 增益控制，获得会聚独眼图，记为lee，将Iee中坐标位置为（x，y)的像素点的像素值记为 片'(〔（x，.v);其中，1
[0008]③-1、对Icc进行重叠块分图像块处理，然后对ICC中的每个图像块进行曲波变换， 使Iee中的每个图像块转换成多层不同尺度上的曲波系数；
[0009] ③-2、根据I。。中的所有图像块各自对应的第5层尺度上的曲波系数包含的一个 矩阵中的所有系数的幅值的对数的经验概率分布函数，获取Iee在曲波域的尺度系数特征 向量，记为fws，其中，fws的维数为4 ;
[0010] ③-3、根据I。。中的所有图像块各自对应的第4层尺度上的曲波系数包含的前32 个方向矩阵各自的方向能量，获取Iee在曲波域的方向能量分布特征向量，记为fwD，其中， fcED的维数为2 ;
[0011] ③-4、根据I。。中的所有图像块各自对应的每层尺度上的曲波系数包含的每个矩 阵中的每个系数的幅值的对数，获取Iee在曲波域的标量能量分布特征向量，记为fSED，其 中，fsED的维数为6;
[0012] ③-5、通过采用零均值的广义高斯分布拟合化du对应的归一化后的左视差图直方 图，获取町du的特征向量，记为fDL，其中，fn诚维数为2 ;
[0013] ③-6、通过采用零均值的广义高斯分布拟合Dmu对应的归一化后的右视差图直方 图，获取Vs的特征向量，记为fDK，其中，fDK的维数为2 ;
[0014]③-7、通过采用对数正态分布拟合IUs的直方图，获取UUu的特征向量，记为fV， 其中，f。诚维数为2;
[001引③-8、通过采用对数正态分布拟合IUs的直方图，获取UKdu的特征向量，记为fUK， 其中，fuK的维数为2;
[001引④将fNSS、foED、fsED、fDL、fDR、fuL和fUR构成Idu的特征向量，记为Fdu，Fdu=[fNSS，f0ED，fsED，foL，foR，fuL，fJ，其中，Fdu的维数为20,符号"[]"为向量表示符号；
[0017] ⑥构造针对不同失真类型的失真立体图像的支持向量回归模型；然后利用针对与 Idu相同失真类型的失真立体图像的支持向量回归模型，计算Idu的客观质量评价预测值， 记为QdW假设IdJi于第Z种失真类型，则
其中， 1<之<2，迄:表示构造支持向量回归模型时所采用的失真立体图像集中的失真立体图像 的失真类型的种类数，1>;1，f,()为针对第Z种失真类型的失真立体图像的支持向量回归 模型的函数表示形式，K,表示构造支持向量回归模型时所采用的失真立体图像集中属于第 Z种失真类型的失真立体图像的总幅数，《Wt为最优的权重矢量，bWt为最优的常数项，我， 表示构造支持向量回归模型时所采用的失真立体图像集中属于第Z种失真类型的第1幅失 真立体图像的特征向量，A巧/。，巧。）为f,(FdJ的核函数。
[001引所述的步骤②中的
，其 中，
表示Ldu中坐标位置为
的像素点的像素值， P心（.W)表示Dmu中坐标位置为（X，y)的像素点的像素值，
表示 Rdu中坐标位置为
的像素点的像素值，^心"表示化du中坐标位置 为（x，y)的像素点的像素值。
[0019] 所述的步骤②中的 (J，.V) = 1-庐、f。（_r，-v)，=1-/'"*' (.、.0')，其中， 0< /-' (.T，_y)客I，卢。"（x，_y)表示L"s中坐标位置为（X，y)的像素点与中坐标位置为 (X，y)的像素点之间的结构相似度值，〇<尸、'（A-,.v)：s: 1表示Rdu中坐标位置为 (x，y)的像素点与台。中坐标位置为（x，y)的像素点之间的结构相似度值。
[0020] 所述的步骤②中的的获取过程为：
[0021]②-1、计算心。的能量图，记为Euw将中坐标位置为（x，y)的像素点的像 素值记为片也。片―呼，戶扣。（―W) = (X，V'l;计算A化的能量图，记为Er"s， 坐标位置为（x，y)的像素点的像素值记为戶^疋水)，声鳥*片少）=|/"。（乂，_>，)|2;其中， 戶心（-T，-V)表示瑞中坐标位置为（x，y)的像素点的像素值，公。虹'片。1;)表示么,。中坐标位 置为（x，y)的像素点的像素值，符号"I I"为取绝对值符号；
[00过②-2、计算台。&和台的总能量图，记为EndW将Endu中坐标位置为（X，y)的像素 点的像素值记为V)，片'''…' ' (A'，r) + (.V,r):
[0023] ②-3、根据能量比重对4a,和台&&进行线性加权，得到会聚独眼图Ice，
[0024]所述的步骤③-1的具体过程为：al、采用尺寸大小为nXn的滑动窗口，在I。。中W 逐像素点移动的方式滑动，将Iee分割成（W-n+1)X(H-n+1)个重叠的尺寸大小为nXn的图 像块，其中，n= 256 ;a2、对I。。中的每个图像块进行曲波变换，使I中的每个图像块转换 成S层不同尺度上的曲波系数，其中，S=log2(n)-3 = 1〇邑2(256)-3 = 5 ;
[00巧]所述的步骤③-2的具体过程为：bl、将Icc中当前待处理的第g个图像块定义为 当前图像块，其中，I《g《（W-n+1)X化-n+1) ;b2、将当前图像块记为償AM尋塔对 应的第5层尺度上的曲波系数记为0B'5;b3、计算0B'5包含的一个矩阵中的所有系数的幅 值的对数的经验概率分布函数，记为h( 0B'5) ;b4、利用非对称广义高斯分布拟合h( 0B'5)， 得到拟合后的非对称广义高斯分布的幅值、均值、左标准偏差和右标准偏差，对应记为aB'5、 yB'5、of和of;b5、令g=g+1，然后将Icc中下一个待处理的图像块作为当前图像块，再 返回步骤b2继续执行，直至Icc中的所有图像块处理完毕，其中，g=g+1中的"="为赋 值符号；b6、获取Icc在曲波域的尺度系数特征向量f WSS，U=[批-5,护'5,矿-.5,巧叫，其 中，fwss的维数为4
符号"[]"为向量表示符号；
[0026] 所述的步骤③-3的具体过程为：cl、将Icc中当前待处理的第g个图像块定义 为当前图像块；c2、将当前图像块记为/算As，将巧对应的第4层尺度上的曲波系数 记为0b'4;c3、从0B'4包含的64个方向矩阵中提取出前32个方向矩阵，将从0B'4包含 的64个方向矩阵中提取出的第t个方向矩阵记为妒气其中，1《t《32,护A'的维数 为c4、计算从0B'4包含的64个方向矩阵中提取出的每个方向矩阵的方向能 量，将护At的方向能量记为
其中，/V-表示护 中坐标位置为（p，q)的系数徽脚，符号"II"为取绝对值符号；c5、将 从0B'4包含的64个方向矩阵中提取出的水平方向和垂直方向的方向矩阵作为主要方向 矩阵，且将从0B'4包含的64个方向矩阵中提取出的其余方向的方向矩阵作为非主要方向 矩阵；然后计算从0B'4包含的64个方向矩阵中提取出的2个主要方向矩阵的方向能量的 均值，记为//，：；并计算从0B'4包含的64个方向矩阵中提取出的30个非主要方向矩阵的 方向能量的均值，记为/CLm。；c6、计算从0B'4包含的64个方向矩阵中提取出的30个非 主要方向矩阵的方向能量的标准偏差，记为巧；然后计算从0B'4包含的64个方向矩 阵中提取出的30个非主要方向矩阵的方向能量的变化系数，记为
c7、令g=g+1，然后