一种基于结构纹理稀疏表示的立体图像质量客观评价方法
【技术领域】
[0001] 本发明涉及一种图像质量评价方法，尤其是涉及一种基于结构纹理稀疏表示的立 体图像质量客观评价方法。
【背景技术】
[0002] 随着图像编码技术和立体显示技术的迅速发展，立体图像技术受到了越来越广泛 的关注与应用，已成为当前的一个研究热点。立体图像技术利用人眼的双目视差原理，双目 各自独立地接收来自同一场景的左视点图像和右视点图像，通过大脑融合形成双目视差， 从而欣赏到具有深度感和逼真感的立体图像。由于受到采集系统、存储压缩及传输设备的 影响，立体图像会不可避免地引入一系列的失真，而与单通道图像相比，立体图像需要同时 保证两个通道的图像质量，因此对其进行质量评价具有非常重要的意义。然而，目前对立体 图像质量缺乏有效的客观评价方法进行评价。因此，建立有效的立体图像质量客观评价模 型具有十分重要的意义。
[0003] 由于影响立体图像质量的因素较多，如左视点和右视点质量失真情况、立体感知 情况、观察者视觉疲劳等，因此如何有效地进行立体图像质量评价是亟需解决的难点问题。 目前，已有方法是通过机器学习来预测评价模型，但其计算复杂度较高，并且训练模型需要 预知各评价图像的主观评价值，并不适用于实际的应用场合，存在一定的局限性。稀疏表 示将信号在已知的函数集上进行分解，力求在变换域上用尽量少的基函数来对原始信号进 行逼近，目前的研究主要集中在字典构造和稀疏分解两方面。稀疏表示的一个关键问题就 是如何有效地构造字典来表征图像的本质特征。因此，如何构造能反映图像本质特征的字 典，如何根据字典来进行质量估计，都是在立体图像质量评价研究中需要重点解决的技术 问题。
【发明内容】
[0004] 本发明所要解决的技术问题是提供一种基于结构纹理稀疏表示的立体图像质量 客观评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性，且计算复杂度 低，无需预知各评价图像的主观评价值。
[0005] 本发明解决上述技术问题所采用的技术方案为：一种基于结构纹理稀疏表示的立 体图像质量客观评价方法，其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶 段过程的具体步骤如下：
[0006] ①-1、将选取的N幅原始的无失真立体图像的左视点图像构成训练图像集，记为 ILlitJl彡i彡N}，其中，N彡1，Llitffg表示ILlimJl彡i彡N}中的第i幅图像，原始的无 失真立体图像的宽度为W，原始的无失真立体图像的高度为H ;
[0007] ①-2、对{LliOTg| 1彡i彡N}中的每幅图像实施结构纹理分离，得到 {LliOTg|l< i < N}中的每幅图像的结构图像和纹理图像，将1^_的结构图像和纹理图像 对应记为和C ;然后将{kOTg|l彡i彡N}中的所有图像的结构图像构成的集合 记为
并将{kOTg| I < i < N}中的所有图像的纹理图像构成的集合记为
[0008] ①-3、对
中的每幅结构图像进行非重叠的分子块处理；然后采用 K-SVD方法对
中的所有结构图像中的子块构成的集合进行字典训练操作， 构造得到
的结构字典表，记为Dstt，其中，D stt的维数为64 X K，K表示设定的 字典的个数，K多1 ;
[0009] 同样，对
中的每幅纹理图像进行非重叠的分子块处理；然后采用 K-SVD方法对
中的所有纹理图像中的子块构成的集合进行字典训练操作， 构造得到
的纹理字典表，记为Dtex，其中，D tex的维数为64XK ;
[0010] 所述的测试阶段过程的具体步骤如下：
[0011] ②-1、对于任意一副测试立体图像Stest,假设Stest对应的原始的无失真立体图像 为s OTg，其中，Stast的宽度与步骤①-1中的原始的无失真立体图像的宽度一致，S test的高度 与步骤①-1中的原始的无失真立体图像的高度一致；
[0012] ②-2、按照步骤①-2的过程，以相同的方式获取Stest的左视点图像L test和右视点 图像Rtost及S "g的左视点图像L OTg和右视点图像R "g各自的结构图像和纹理图像，将L tast 的结构图像和纹理图像对应记为
将Rtest的结构图像和纹理图像对应记为iC和
的结构图像和纹理图像对应记为^和<^，将R"g的结构图像和纹理图像对应 记为C和K ;
[0013] ②-3、对
分别进行非 重叠的分子块处理；然后根据在训练阶段过程构造得到的Ds&和D tex联合优化，获取由右= 中的所有子块构成的集合中的每个元素的结构稀疏系数矩阵和由/^,中的所有子块构成的 集合中的每个元素的纹理稀疏系数矩阵、由中的所有子块构成的集合中的每个元素的 结构稀疏系数矩阵和由^中的所有子块构成的集合中的每个元素的纹理稀疏系数矩阵、 由^中的所有子块构成的集合中的每个元素的结构稀疏系数矩阵和由/中的所有子块 构成的集合中的每个元素的纹理稀疏系数矩阵、由中的所有子块构成的集合中的每个 元素的结构稀疏系数矩阵和由^;中的所有子块构成的集合中的每个元素的纹理稀疏系数 矩阵；接着根据
中的每个子块对应的结构稀疏系数矩阵、
中的每个子 块对应的纹理稀疏系数矩阵，计算Ltest中的每个子块的局部客观评价度量值，并根据C和 尺=中的每个子块对应的结构稀疏系数矩阵、
中的每个子块对应的纹理稀疏系数 矩阵，计算Rtest中的每个子块的局部客观评价度量值；最后根据L tast和R test中的部分子块 的局部客观评价度量值，计算Stast的图像质量客观评价预测值。
[0014] 所述的步骤①_2中的与二和的获取过程为：
[0015] ①_2&、将L1,^中当前待处理的像素点定义为当前像素点；
[0016] ①_2b、将当前像素点在Liitffg中的坐标位置记为p ;将以当前像素点为中心 的21X21邻域窗口内除当前像素点外的每个像素点作为当前像素点的邻域像素点；将 以当前像素点为中心的9X9邻域窗口内的所有像素点构成的块定义为当前子块，记为
:将以当前像素点的每个邻域像素点为中心的9 X 9邻域窗口内的所有像素点 构成的块作为当前子块的邻域子块，将以坐标位置为q的邻域像素点为中心的9X9邻域窗 口内的所有像素点构成的邻域子块记为[/,1(?,?)丨；其中，P e Ω i OTg，Ω i OTg表示L ^中 的所有像素点的坐标位置的集合，
中的像素点在
i中 的坐标位置，1彡χ2< 9, 1彡y 2彡9，
'中坐标位置为（x2, y2) 的像素点的像素值，（x3，y3)表示
丨中的像素点在
[中的坐标位置， 1彡χ3< 9, 1彡y 3彡9，
丨中坐标位置为（x3, y3)的像素点的像 素值；
[0017] 上述步骤①-2b中，对于任意一个邻域像素点、当前子块中的任意一个像素 点及邻域子块中的任意一个像素点，假设该像素点的坐标位置为（X，y)，则如果Χ〈1且 I < y < Η，则将LiiOTg中坐标位置为（1，y)的像素点的像素值赋值给该像素点；如果x>W 且I < y < H，则将Liitffg中坐标位置为（W, y)的像素点的像素值赋值给该像素点；如果 K X < W且y〈l，则将LiiOTg中坐标位置为（X, 1)的像素点的像素值赋值给该像素点；如果 K X < W且y>H，则将LiiOTg中坐标位置为（X, H)的像素点的像素值赋值给该像素点；如果 x〈l且y〈l，则将Liitffg中坐标位置为（I, 1)的像素点的像素值赋值给该像素点；如果x>W且 y〈l，则将LiiOTg中坐标位置为（W, 1)的像素点的像素值赋值给该像素点；如果x〈l且y>H， 则将LiiOTg中坐标位置为（1，H)的像素点的像素值赋值给该像素点；如果x>W且y>H，则将 km中坐标位置为（w，?的像素点的像素值赋值给该像素点；
[0018] ①-2c、计算
_中的每个像素点的特征矢量，将_
中坐标位 置为（x2，y2)的像素点的特征矢量记为
其中，
丨的维数为7,符号" □"为矢量表示符号，符号" I I "为取绝对值符号，
中坐标位置为（x2, y2)的像素点的密度值，
为
在水平方向的一阶偏导数，
在垂直方向的一阶偏导 数
在水平方向的二阶偏导数，
在垂 直方向的二阶偏导数；
[0019] ①-2d、根据
中的每个像素点的特征矢量，计算
的协 方差矩阵，记为
其 中，€：『^的维数为7X7，
中的所有像素点的特征矢量的均值矢量，
的转置矢量；
[0020] ① _2e、对进行 Cholesky 分解，
的 Sigma特征集，记为
，其中，
的转置矩阵，SL,.,的维数为7X15,符号" □"为矢量表示符号， 1彡j彡7，
表示的第1列向量，
的第j列向量，
表 示L1Ug.的第7列向量；
[0021] ①_2f、按照步骤①-2c至步骤①_2e的操作，以相同的方式获取当前子块的每个 邻域子块的Sigma特征集，将
的Sigma特征集记为
其中，S丨1%的维数为 7X15 ；
[0022] ①_2g、根据及当前子块的每个邻域子块的Sigma特征集，计算当前像素点的 结构信息，记为
其中，N(p)表示当 前像素点的所有邻域像素点的坐标位置的集合，exp 0表示以自然基数e为底的指数函数， σ表示高斯函数的标准差，符号" I I I I "为欧氏距离计算符号，LliOTg(q)表示坐标位置为q 的像素点的像素值；
[0023] ①_2h、根据
计算当前像素点的纹理信息，记为
其中，k"g(p)表示当前像素点的像素值；
[0024] ①-2iJ#LliOTg中下一个待处理的像素点作为当前像素点，然后返回步骤①_2b继 续执行，直至k"g中的所有像素点处理完毕，得到Llicffg中的每个像素点的结构信息和纹理 信息，将Uore中的所有像素点的结构信息构成的图像作为Li,%的结构图像^，将Li,m中 的所有像素点的纹理信息构成的图像作为k"g的纹理图像贫^ ?
[0025] 所述的步骤① -3中的Dstr的获取过程为：
[0026] ①_3a、将
中的每幅结构图像划分成
个互不重叠的尺寸大 小为8X8的子块；
[0027] ① _3b、将<[11 ?Ξ ? < iVj中的所有结构图像中的子块构成一个集合，记为
中的所有结构图像中的子 块中的第t个子块中的所有像素点组成的列向量，yf的维数为64X 1 ;
[0028] ①-3c、采用K-SVD方法对
进行字典训练操作，获得
的结构字典表Ds&，Ds&通过K-SVD方法求解
得到，其中，min()为取最小值函数，符号"| I I |2"为求取矩阵的2-范数符号，
Ys&的维数为64XM，
中的第1个列向量，yf 为
中的第t个列向量，
中的第M个列向量，Xstt表示稀疏 矩阵，
Xs"的维数为KXM，f表示Xs&中的第1个列向量，#表示 Xs&中的第t个列向量，Χ?表示Xsto中的第M个列向量，符号"[]"为矢量表示符号，Vi表 示对于任意一个t，1彡t彡M，符号" I I I I。"为求取矩阵的O-范数符号，τ为误差系数；
[0029] 所述的步骤① -3中的Dtex的获取过程为：
[0030] ①-3d、将
中的每幅纹理图像划分成
-个互不重叠的尺寸大