一种基于稀疏特征相似度的立体图像质量客观评价方法与流程

本发明涉及一种立体图像质量客观评价方法，尤其是涉及一种基于稀疏特征相似度的立体图像质量客观评价方法。

背景技术：

进入二十一世纪以来，随着立体图像/视频系统处理技术的日趋成熟，以及计算机网络与通信技术的快速发展，已引起人们对立体图像/视频系统的强烈需求。相比传统的单视点图像/视频系统，立体图像/视频系统由于能够提供深度信息来增强视觉的真实感，给用户以身临其境的全新视觉体验而越来越受到人们的欢迎，已被认为是下一代媒体主要的发展方向，已引发了学术界、产业界的广泛关注。然而，人们为了获得更好的立体临场感和视觉体验，对立体视觉主观感知质量提出了更高的要求。在立体图像/视频系统中，采集、编码、传输、解码及显示等处理环节都会引入一定失真，这些失真将对立体视觉主观感知质量产生不同程度的影响，因此如何有效地进行无参考质量评价是亟需解决的难点问题。综上，评价立体图像质量，并建立与主观质量评价相一致的客观评价模型显得尤为重要。

目前，立体图像质量客观评价方法大致可以分为三类：第一类主要是基于2D的评价方法；第二类是在基于2D的评价方法的基础上，再结合其他一些信息，如深度或视差信息等；第三类是依靠3D方面的信息来评价。其中，基于2D的评价方法中常用的方法是直接采用经典的平面图像质量评价方法来评价立体图像质量的方法，由于立体图像和平面图像最大的区别就是立体图像具有深度感、临场感，然而该方法未考虑到左视点图像和右视点图像的特性，或只是评价了左视点图像的质量和右视点图像的质量，而没有结合双目融合视觉特性，因此导致最终客观评价结果与主观感知的相关性较差。由于影响立体图像质量的因素较多，如左视点和右视点质量失真情况、立体感知情况、观察者视觉疲劳等，因此如何有效地进行立体图像质量评价是亟需解决的难点问题。稀疏表示将信号在已知的函数集上进行分解，力求在变换域上用尽量少的基函数来对原始信号进行逼近。稀疏表示的一个关键问题就是如何有效地构造字典来表征图像的本质特征。因此，如何构造能反映立体图像本质特征的字典，如何根据字典来进行质量估计，都是在立体图像质量评价研究中需要重点解决的技术问题。

技术实现要素：

本发明所要解决的技术问题是提供一种基于稀疏特征相似度的立体图像质量客观评价方法，其能够充分考虑到立体视觉感知特性，从而能够有效地提高客观评价结果与主观感知之间的相关性。

本发明解决上述技术问题所采用的技术方案为：一种基于稀疏特征相似度的立体图像质量客观评价方法，其特征在于包括字典学习阶段和质量预测阶段两个过程；

所述的字典学习阶段的具体步骤如下：

①_1、选取K幅宽度为W且高度为H的原始的无失真立体图像，将第k幅原始的无失真立体图像记为S_org,k，将S_org,k的左视点图像和右视点图像对应记为{L_org,k(x,y)}和{R_org,k(x,y)}，其中，K≥1，1≤k≤K，1≤x≤W,1≤y≤H，L_org,k(x,y)表示{L_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值，R_org,k(x,y)表示{R_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值；

①_2、采用一阶双目融合模型，对每幅原始的无失真立体图像的左视点图像和右视点图像进行融合，得到每幅原始的无失真立体图像的一阶融合图像，将对{L_org,k(x,y)}和{R_org,k(x,y)}进行融合得到的S_org,k的一阶融合图像记为{C_org,k(x,y)}，其中，C_org,k(x,y)表示{C_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值；

①_3、采用K-SVD方法，对所有原始的无失真立体图像的一阶融合图像进行联合字典训练操作，得到融合图像字典表，记为{D_c(x,y)}，其中，D_c(x,y)表示{D_c(x,y)}中坐标位置为(x,y)的像素点的像素值；

并采用K-SVD方法，对所有原始的无失真立体图像的左视点图像和右视点图像进行联合字典训练操作，得到视点图像字典表，记为{D_v(x,y)}，其中，D_v(x,y)表示{D_v(x,y)}中坐标位置为(x,y)的像素点的像素值；

所述的质量预测阶段的具体步骤如下：

②_1、令S_org表示宽度为W且高度为H的原始的无失真参考立体图像，令S_dis表示S_org经非对称失真后得到的非对称失真立体图像，将S_dis作为待评价的非对称失真立体图像，将S_org的左视点图像和右视点图像对应记为{L_org(x,y)}和{R_org(x,y)}，将S_dis的左视点图像和右视点图像对应记为{L_dis(x,y)}和{R_dis(x,y)}，其中，L_org(x,y)表示{L_org(x,y)}中坐标位置为(x,y)的像素点的像素值，R_org(x,y)表示{R_org(x,y)}中坐标位置为(x,y)的像素点的像素值，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

②_2、采用一阶双目融合模型，对{L_org(x,y)}和{R_org(x,y)}进行融合，得到S_org的一阶融合图像，记为{C_org(x,y)}，其中，C_org(x,y)表示{C_org(x,y)}中坐标位置为(x,y)的像素点的像素值；

同样，采用一阶双目融合模型，对{L_dis(x,y)}和{R_dis(x,y)}进行融合，得到S_dis的一阶融合图像，记为{C_dis(x,y)}，其中，C_dis(x,y)表示{C_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

②_3、根据字典学习阶段得到的融合图像字典表{D_c(x,y)}，并采用K-SVD求解方法对{C_org(x,y)}进行处理，得到S_org的一阶融合稀疏特征图，记为{SR_org(x,y)}，其中，SR_org(x,y)表示{SR_org(x,y)}中坐标位置为(x,y)的像素点的像素值；

同样，根据字典学习阶段得到的融合图像字典表{D_c(x,y)}，并采用K-SVD求解方法对{C_dis(x,y)}进行处理，得到S_dis的一阶融合稀疏特征图，记为{SR_dis(x,y)}，其中，SR_dis(x,y)表示{SR_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

根据字典学习阶段得到的视点图像字典表{D_v(x,y)}，并采用K-SVD求解方法对{L_org(x,y)}进行处理，得到{L_org(x,y)}的稀疏特征图，记为{SR_L,org(x,y)}，其中，SR_L,org(x,y)表示{SR_L,org(x,y)}中坐标位置为(x,y)的像素点的像素值；

同样，根据字典学习阶段得到的视点图像字典表{D_v(x,y)}，并采用K-SVD求解方法对{R_org(x,y)}进行处理，得到{R_org(x,y)}的稀疏特征图，记为{SR_R,org(x,y)}，其中，SR_R,org(x,y)表示{SR_R,org(x,y)}中坐标位置为(x,y)的像素点的像素值；

同样，根据字典学习阶段得到的视点图像字典表{D_v(x,y)}，并采用K-SVD求解方法对{L_dis(x,y)}进行处理，得到{L_dis(x,y)}的稀疏特征图，记为{SR_L,dis(x,y)}，其中，SR_L,dis(x,y)表示{SR_L,dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

同样，根据字典学习阶段得到的视点图像字典表{D_v(x,y)}，并采用K-SVD求解方法对{R_dis(x,y)}进行处理，得到{R_dis(x,y)}的稀疏特征图，记为{SR_R,dis(x,y)}，其中，SR_R,dis(x,y)表示{SR_R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

②_4、采用二阶双目融合模型，对{SR_L,org(x,y)}和{SR_R,org(x,y)}进行融合，得到S_org的二阶融合稀疏特征图，记为{SR_L,R,org(x,y)}，其中，SR_L,R,org(x,y)表示{SR_L,R,org(x,y)}中坐标位置为(x,y)的像素点的像素值；

同样，采用二阶双目融合模型，对{SR_L,dis(x,y)}和{SR_R,dis(x,y)}进行融合，得到S_dis的二阶融合稀疏特征图，记为{SR_L,R,dis(x,y)}，其中，SR_L,R,dis(x,y)表示{SR_L,R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值；

②_5、根据{SR_org(x,y)}和{SR_L,R,org(x,y)}及{SR_dis(x,y)}和{SR_L,R,dis(x,y)}，并采用相似度计算方法计算得到S_dis的客观质量评价预测值，记为Q_dis。

所述的步骤②_5中其中，C为控制参数。

所述的控制参数C取值为0.85。

与现有技术相比，本发明的优点在于：

1)本发明方法在字典学习阶段采用一阶双目融合模型，对左视点图像和右视点图像进行融合，得到一阶融合图像，然后通过无监督学习方式对由所有一阶融合图像构成的集合进行联合字典训练操作，构造得到融合图像字典表；同时，通过无监督学习方式对由所有左视点图像和右视点图像构成的集合进行联合字典训练操作，构造得到视点图像字典表；这样避免了复杂的机器学习训练过程，并且本发明方法在字典学习阶段不需要预知各无失真立体图像的主观评价值，因此更加适用于实际的应用场合。

2)本发明方法在质量预测阶段采用一阶双目融合模型，对左视点图像和右视点图像进行融合得到一阶融合图像，再利用融合图像字典表提取一阶融合稀疏特征图；同时利用视点图像字典表，提取左视点图像和右视点图像各自的稀疏特征图，再采用二阶双目融合模型，对左视点图像和右视点图像各自的稀疏特征图进行融合得到二阶融合稀疏特征图；由于采用的一阶双目融合模型和二阶双目融合模型能够有效表示双目视觉特性，充分考虑到了立体视觉感知特性，因此能有效地提高客观评价结果与主观感知之间的相关性。

附图说明

图1为本发明方法的总体实现框图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于稀疏特征相似度的立体图像质量客观评价方法，其总体实现框图如图1所示，其处理过程为：首先，通过无监督学习方式，提取融合图像字典表和视点图像字典表；其次，采用一阶双目融合模型，并利用融合图像字典表提取融合图像稀疏特征图，作为一阶融合图像稀疏特征图，同时利用视点图像字典表提取左视点图像和右视点图像各自的稀疏特征图，采用二阶双目融合模型对左视点图像和右视点图像各自的稀疏特征图进行融合，得到二阶融合稀疏特征图；最后，利用稀疏特征相似度的方法得到失真立体图像的客观质量评价预测值。

本发明的基于稀疏特征相似度的立体图像质量客观评价方法包括字典学习阶段和质量预测阶段两个过程；所述的字典学习阶段的具体步骤如下：

①_1、选取K幅宽度为W且高度为H的原始的无失真立体图像，将第k幅原始的无失真立体图像记为S_org,k，将S_org,k的左视点图像和右视点图像对应记为{L_org,k(x,y)}和{R_org,k(x,y)}，其中，K≥1，如取K＝10，1≤k≤K，1≤x≤W,1≤y≤H，L_org,k(x,y)表示{L_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值，R_org,k(x,y)表示{R_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值。

①_2、采用现有的一阶双目融合模型，对每幅原始的无失真立体图像的左视点图像和右视点图像进行融合，得到每幅原始的无失真立体图像的一阶融合图像，将对{L_org,k(x,y)}和{R_org,k(x,y)}进行融合得到的S_org,k的一阶融合图像记为{C_org,k(x,y)}，其中，C_org,k(x,y)表示{C_org,k(x,y)}中坐标位置为(x,y)的像素点的像素值。

①_3、采用现有的K-SVD方法，对所有原始的无失真立体图像的一阶融合图像进行联合字典训练操作，得到融合图像字典表，记为{D_c(x,y)}，其中，D_c(x,y)表示{D_c(x,y)}中坐标位置为(x,y)的像素点的像素值。

并采用现有的K-SVD方法，对所有原始的无失真立体图像的左视点图像和右视点图像进行联合字典训练操作，得到视点图像字典表，记为{D_v(x,y)}，其中，D_v(x,y)表示{D_v(x,y)}中坐标位置为(x,y)的像素点的像素值。

所述的质量预测阶段的具体步骤如下：

②_1、令S_org表示宽度为W且高度为H的原始的无失真参考立体图像，令S_dis表示S_org经非对称失真后得到的非对称失真立体图像，将S_dis作为待评价的非对称失真立体图像，将S_org的左视点图像和右视点图像对应记为{L_org(x,y)}和{R_org(x,y)}，将S_dis的左视点图像和右视点图像对应记为{L_dis(x,y)}和{R_dis(x,y)}，其中，L_org(x,y)表示{L_org(x,y)}中坐标位置为(x,y)的像素点的像素值，R_org(x,y)表示{R_org(x,y)}中坐标位置为(x,y)的像素点的像素值，L_dis(x,y)表示{L_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，R_dis(x,y)表示{R_dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

②_2、采用现有的一阶双目融合模型，对{L_org(x,y)}和{R_org(x,y)}进行融合，得到S_org的一阶融合图像，记为{C_org(x,y)}，其中，C_org(x,y)表示{C_org(x,y)}中坐标位置为(x,y)的像素点的像素值。

同样，采用现有的一阶双目融合模型，对{L_dis(x,y)}和{R_dis(x,y)}进行融合，得到S_dis的一阶融合图像，记为{C_dis(x,y)}，其中，C_dis(x,y)表示{C_dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

②_3、根据字典学习阶段得到的融合图像字典表{D_c(x,y)}，并采用现有的K-SVD求解方法对{C_org(x,y)}进行处理，得到S_org的一阶融合稀疏特征图，记为{SR_org(x,y)}，其中，SR_org(x,y)表示{SR_org(x,y)}中坐标位置为(x,y)的像素点的像素值。

同样，根据字典学习阶段得到的融合图像字典表{D_c(x,y)}，并采用现有的K-SVD求解方法对{C_dis(x,y)}进行处理，得到S_dis的一阶融合稀疏特征图，记为{SR_dis(x,y)}，其中，SR_dis(x,y)表示{SR_dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

根据字典学习阶段得到的视点图像字典表{D_v(x,y)}，并采用现有的K-SVD求解方法对{L_org(x,y)}进行处理，得到{L_org(x,y)}的稀疏特征图，记为{SR_L,org(x,y)}，其中，SR_L,org(x,y)表示{SR_L,org(x,y)}中坐标位置为(x,y)的像素点的像素值。

同样，根据字典学习阶段得到的视点图像字典表{D_v(x,y)}，并采用现有的K-SVD求解方法对{R_org(x,y)}进行处理，得到{R_org(x,y)}的稀疏特征图，记为{SR_R,org(x,y)}，其中，SR_R,org(x,y)表示{SR_R,org(x,y)}中坐标位置为(x,y)的像素点的像素值。

同样，根据字典学习阶段得到的视点图像字典表{D_v(x,y)}，并采用现有的K-SVD求解方法对{L_dis(x,y)}进行处理，得到{L_dis(x,y)}的稀疏特征图，记为{SR_L,dis(x,y)}，其中，SR_L,dis(x,y)表示{SR_L,dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

同样，根据字典学习阶段得到的视点图像字典表{D_v(x,y)}，并采用现有的K-SVD求解方法对{R_dis(x,y)}进行处理，得到{R_dis(x,y)}的稀疏特征图，记为{SR_R,dis(x,y)}，其中，SR_R,dis(x,y)表示{SR_R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

②_4、采用现有的二阶双目融合模型，对{SR_L,org(x,y)}和{SR_R,org(x,y)}进行融合，得到S_org的二阶融合稀疏特征图，记为{SR_L,R,org(x,y)}，其中，SR_L,R,org(x,y)表示{SR_L,R,org(x,y)}中坐标位置为(x,y)的像素点的像素值。

同样，采用现有的二阶双目融合模型，对{SR_L,dis(x,y)}和{SR_R,dis(x,y)}进行融合，得到S_dis的二阶融合稀疏特征图，记为{SR_L,R,dis(x,y)}，其中，SR_L,R,dis(x,y)表示{SR_L,R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值。

②_5、根据{SR_org(x,y)}和{SR_L,R,org(x,y)}及{SR_dis(x,y)}和{SR_L,R,dis(x,y)}，并采用相似度计算方法计算得到S_dis的客观质量评价预测值，记为Q_dis，其中，C为控制参数，在本实施例中取C＝0.85。

为了进一步验证本发明方法的可行性和有效性，进行实验。

在此，采用LIVE立体图像失真库来分析利用本发明方法得到的非对称失真立体图像的客观质量评价预测值与平均主观评分差值之间的相关性。这里，利用评估图像质量评价方法的3个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient，PLCC)、Spearman相关系数(Spearman rank order correlation coefficient，SROCC)、均方误差(root mean squared error，RMSE)，PLCC和RMSE反映非对称失真立体图像的客观质量评价预测值的准确性，SROCC反映其单调性。

利用本发明方法计算LIVE立体图像失真库中的每幅非对称失真立体图像的客观质量评价预测值，再利用现有的主观评价方法获得LIVE立体图像失真库中的每幅非对称失真立体图像的平均主观评分差值。将按本发明方法计算得到的非对称失真立体图像的客观质量评价预测值做五参数Logistic函数非线性拟合，PLCC和SROCC值越高，RMSE值越低说明客观评价方法的客观评价结果与平均主观评分差值之间的相关性越好。反映本发明方法的质量评价性能的PLCC、SROCC和RMSE相关系数如表1所列。从表1所列的数据可知，按本发明方法得到的非对称失真立体图像的客观质量评价预测值与平均主观评分差值之间的相关性是很好的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的可行性和有效性。

表1利用本发明方法得到的非对称失真立体图像的客观质量评价预测值与平均主观评分差值之间的相关性