本发明涉及一种立体图像质量客观评价方法，尤其是涉及一种基于极限学习和双目融合的盲参考立体图像质量评价方法。
背景技术：
进入二十一世纪以来，随着立体图像/视频系统处理技术的日趋成熟，以及计算机网络与通信技术的快速发展，已引起人们对立体图像/视频系统的强烈需求。相比传统的单视点图像/视频系统，立体图像/视频系统由于能够提供深度信息来增强视觉的真实感，给用户以身临其境的全新视觉体验而越来越受到人们的欢迎，已被认为是下一代媒体主要的发展方向，已引发了学术界、产业界的广泛关注。然而，人们为了获得更好的立体临场感和视觉体验，对立体视觉主观感知质量提出了更高的要求。在立体图像/视频系统中，采集、编码、传输、解码及显示等处理环节都会引入一定失真，这些失真将对立体视觉主观感知质量产生不同程度的影响，由于在大多数的应用系统中原始无失真参考图像是不可得的，因此如何有效地进行无参考质量评价是亟需解决的难点问题。综上，评价立体图像质量，并建立与主观质量评价相一致的客观评价模型显得尤为重要。由于影响立体图像质量的因素较多，如左视点和右视点质量失真情况、立体感知情况、观察者视觉疲劳等，因此如何有效地进行立体图像质量评价是亟需解决的难点问题。现有的方法主要是通过机器学习来预测评价模型的，但针对立体图像，现有的立体图像评价方法还是平面图像评价方法的简单扩展，并没有考虑双目视觉特性，因此，如何在评价过程中进行左右视点的双目结合，如何在在评价过程中有效地提取图像特征信息，如何在预测的过程中使用更有效的机器学习方法，使得客观评价结果更加感觉符合人类视觉系统，是在对立体图像进行客观质量评价过程中需要研究解决的问题。
技术实现要素：
本发明所要解决的技术问题是提供一种基于极限学习和双目融合的盲参考立体图像质量评价方法，其能够充分考虑到立体视觉感知特性，并采用高效的机器学习方法，从而能够有效地提高客观评价结果与主观感知之间的相关性。本发明解决上述技术问题所采用的技术方案为：一种基于极限学习和双目融合的盲参考立体图像质量评价方法，其特征在于包括以下步骤：①令Sdis表示待评价的失真立体图像，将Sdis的左视点图像记为{Ldis(x,y)}，将Sdis的右视点图像记为{Rdis(x,y)}，其中，1≤x≤W,1≤y≤H，W表示Sdis的宽度，H表示Sdis的高度，Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值，Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值；②对{Ldis(x,y)}实施Gabor滤波，得到{Ldis(x,y)}的幅值图像，记为{GL_dis(x,y)}；同样，对{Rdis(x,y)}实施Gabor滤波，得到{Rdis(x,y)}的幅值图像，记为{GR_dis(x,y)}；其中，GL_dis(x,y)表示{GL_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，GR_dis(x,y)表示{GR_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；③采用块匹配方法计算{Ldis(x,y)}与{Rdis(x,y)}之间的视差图像，记为{ddis(x,y)}，其中，ddis(x,y)表示{ddis(x,y)}中坐标位置为(x,y)的像素点的像素值；④根据{Ldis(x,y)}和{Rdis(x,y)}、{GL_dis(x,y)}和{GR_dis(x,y)}、{ddis(x,y)}，采用对比度增益控制理论，计算Sdis的左右视点双目融合图像，记为{Fdis(x,y)}，将{Fdis(x,y)}中坐标位置为(x,y)的像素点的像素值记为Fdis(x,y)，其中，GR_dis(x+ddis(x,y),y)表示{GR_dis(x,y)}中坐标位置为(x+ddis(x,y),y)的像素点的像素值，Rdis(x+ddis(x,y),y)表示{Rdis(x,y)}中坐标位置为(x+ddis(x,y),y)的像素点的像素值；⑤采用拉普拉斯高斯滤波器对{Fdis(x,y)}进行滤波处理，得到{Fdis(x,y)}的LoG滤波图像，记为{LoGdis(x,y)}；并采用高斯差分滤波器对{Fdis(x,y)}进行滤波处理，得到{Fdis(x,y)}的DoG滤波图像，记为{DoGdis(x,y)}；采用梯度幅值滤波器对{Fdis(x,y)}进行滤波处理，得到{Fdis(x,y)}的GM滤波图像，记为{GMdis(x,y)}；其中，LoGdis(x,y)表示{LoGdis(x,y)}中坐标位置为(x,y)的像素点的像素值，DoGdis(x,y)表示{DoGdis(x,y)}中坐标位置为(x,y)的像素点的像素值，GMdis(x,y)表示{GMdis(x,y)}中坐标位置为(x,y)的像素点的像素值；⑥采用局部二值化模式操作对{LoGdis(x,y)}进行处理，得到{LoGdis(x,y)}的旋转不变性局部二值化模式图像，记为{LBPriu,LoG(x,y)}；同样，采用局部二值化模式操作对{DoGdis(x,y)}进行处理，得到{DoGdis(x,y)}的旋转不变性局部二值化模式图像，记为{LBPriu,DoG(x,y)}；采用局部二值化模式操作对{GMdis(x,y)}进行处理，得到{GMdis(x,y)}的旋转不变性局部二值化模式图像，记为{LBPriu,GM(x,y)}；其中，LBPriu,LoG(x,y)表示{LBPriu,LoG(x,y)}中坐标位置为(x,y)的像素点的像素值，LBPriu,DoG(x,y)表示{LBPriu,DoG(x,y)}中坐标位置为(x,y)的像素点的像素值，LBPriu,GM(x,y)表示{LBPriu,GM(x,y)}中坐标位置为(x,y)的像素点的像素值；⑦采用直方图统计方法对{LBPriu,LoG(x,y)}进行直方图统计，得到{LBPriu,LoG(x,y)}的直方图统计特征向量，记为HLoG；同样，采用直方图统计方法对{LBPriu,DoG(x,y)}进行直方图统计，得到{LBPriu,DoG(x,y)}的直方图统计特征向量，记为HDoG；采用直方图统计方法对{LBPriu,GM(x,y)}进行直方图统计，得到{LBPriu,GM(x,y)}的直方图统计特征向量，记为HGM；其中，HLoG、HDoG和HGM的维数均为m'×1维，HLoG中的第m个元素为HLoG(m)，HDoG中的第m个元素为HDoG(m)，HGM中的第m个元素为HGM(m)，1≤m≤m'，m'＝P+2，P表示步骤⑥中的局部二值化模式操作中的领域参数；⑧采用n”幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真立体图像，将该失真立体图像集合作为训练集；然后利用主观质量评价方法分别评价出训练集中的每幅失真立体图像的主观评分，将训练集中的第j幅失真立体图像的主观评分记为DMOSj；再按照步骤①至步骤⑦的操作，以相同的方式获取训练集中的每幅失真立体图像的左右视点双目融合图像的LoG滤波图像、DoG滤波图像、GM滤波图像各自的旋转不变性局部二值化模式图像的直方图统计特征向量，将训练集中的第j幅失真立体图像的左右视点双目融合图像的LoG滤波图像对应的直方图统计特征向量记为HLoG,j，将训练集中的第j幅失真立体图像的左右视点双目融合图像的DoG滤波图像对应的直方图统计特征向量记为HDoG,j，将训练集中的第j幅失真立体图像的左右视点双目融合图像的GM滤波图像对应的直方图统计特征向量记为HGM,j；其中，n”＞1，1≤j≤N'，N'表示训练集中包含的失真立体图像的总幅数，0≤DMOSj≤100，HLoG,j、HDoG,j和HGM,j的维数均为m'×1维；⑨将训练集中的所有失真立体图像各自的主观评分和对应的三个直方图统计特征向量构成训练样本数据集合；然后采用极限学习机作为机器学习的方法，对训练样本数据集合中的所有直方图统计特征向量进行训练，使得经过训练得到的函数值与主观评分之间的误差最小，得到极限学习机训练模型；再根据极限学习机训练模型，将Sdis对应的HLoG、HDoG和HGM作为极限学习机训练模型的输入，预测得到Sdis的客观质量评价预测值。所述的步骤⑥中的局部二值化模式操作中的领域参数P取值为8、局部半径参数R取值为1。与现有技术相比，本发明的优点在于：1)本发明方法采用对比度增益控制理论对失真立体图像的左视点图像和右视点图像、左视点图像的幅值图像和右视点图像的幅值图像、左视点图像与右视点图像之间的视差图像进行融合得到失真立体图像的左右视点双目融合图像，很好地模拟了双目视觉融合特性，能有效地提高客观评价结果与主观感知之间的相关性。2)本发明方法采用多种视觉特征提取方法，最终提取得到失真立体图像的左右视点双目融合图像对应的三个直方图统计特征向量，这些直方图统计特征向量能很好地反应双目视觉质量变化情况。3)本发明方法在训练阶段，采用了高效的机器学习方法(极限学习机)，很好地模拟了人眼视觉特性，因此能有效地提高客观评价结果与主观感知之间的相关性。附图说明图1为本发明方法的总体实现框图。具体实施方式以下结合附图实施例对本发明作进一步详细描述。本发明提出的一种基于极限学习和双目融合的盲参考立体图像质量评价方法，其总体实现框图如图1所示，其包括以下步骤：①令Sdis表示待评价的失真立体图像，将Sdis的左视点图像记为{Ldis(x,y)}，将Sdis的右视点图像记为{Rdis(x,y)}，其中，1≤x≤W,1≤y≤H，W表示Sdis的宽度，H表示Sdis的高度，Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值，Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值。②对{Ldis(x,y)}实施Gabor滤波，得到{Ldis(x,y)}的幅值图像，记为{GL_dis(x,y)}；同样，对{Rdis(x,y)}实施Gabor滤波，得到{Rdis(x,y)}的幅值图像，记为{GR_dis(x,y)}；其中，GL_dis(x,y)表示{GL_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，GR_dis(x,y)表示{GR_dis(x,y)}中坐标位置为(x,y)的像素点的像素值。③采用现有的块匹配方法计算{Ldis(x,y)}与{Rdis(x,y)}之间的视差图像，记为{ddis(x,y)}，其中，ddis(x,y)表示{ddis(x,y)}中坐标位置为(x,y)的像素点的像素值。④根据{Ldis(x,y)}和{Rdis(x,y)}、{GL_dis(x,y)}和{GR_dis(x,y)}、{ddis(x,y)}，采用现有的对比度增益控制理论(ConstrastGain-ContorlTheory)，计算Sdis的左右视点双目融合图像，记为{Fdis(x,y)}，将{Fdis(x,y)}中坐标位置为(x,y)的像素点的像素值记为Fdis(x,y)，其中，GR_dis(x+ddis(x,y),y)表示{GR_dis(x,y)}中坐标位置为(x+ddis(x,y),y)的像素点的像素值，Rdis(x+ddis(x,y),y)表示{Rdis(x,y)}中坐标位置为(x+ddis(x,y),y)的像素点的像素值。⑤采用现有的拉普拉斯高斯滤波器(LoG)对{Fdis(x,y)}进行滤波处理，得到{Fdis(x,y)}的LoG滤波图像，记为{LoGdis(x,y)}；并采用现有的高斯差分滤波器(DoG)对{Fdis(x,y)}进行滤波处理，得到{Fdis(x,y)}的DoG滤波图像，记为{DoGdis(x,y)}；采用现有的梯度幅值滤波器(GM)对{Fdis(x,y)}进行滤波处理，得到{Fdis(x,y)}的GM滤波图像，记为{GMdis(x,y)}；其中，LoGdis(x,y)表示{LoGdis(x,y)}中坐标位置为(x,y)的像素点的像素值，DoGdis(x,y)表示{DoGdis(x,y)}中坐标位置为(x,y)的像素点的像素值，GMdis(x,y)表示{GMdis(x,y)}中坐标位置为(x,y)的像素点的像素值。⑥采用现有的局部二值化模式操作对{LoGdis(x,y)}进行处理，得到{LoGdis(x,y)}的旋转不变性局部二值化模式图像，记为{LBPriu,LoG(x,y)}；同样，采用现有的局部二值化模式操作对{DoGdis(x,y)}进行处理，得到{DoGdis(x,y)}的旋转不变性局部二值化模式图像，记为{LBPriu,DoG(x,y)}；采用现有的局部二值化模式操作对{GMdis(x,y)}进行处理，得到{GMdis(x,y)}的旋转不变性局部二值化模式图像，记为{LBPriu,GM(x,y)}；其中，LBPriu,LoG(x,y)表示{LBPriu,LoG(x,y)}中坐标位置为(x,y)的像素点的像素值，LBPriu,DoG(x,y)表示{LBPriu,DoG(x,y)}中坐标位置为(x,y)的像素点的像素值，LBPriu,GM(x,y)表示{LBPriu,GM(x,y)}中坐标位置为(x,y)的像素点的像素值。在本实施例中，步骤⑥中的局部二值化模式操作中的领域参数P取值为8、局部半径参数R取值为1。⑦采用现有的直方图统计方法对{LBPriu,LoG(x,y)}进行直方图统计，得到{LBPriu,LoG(x,y)}的直方图统计特征向量，记为HLoG；同样，采用现有的直方图统计方法对{LBPriu,DoG(x,y)}进行直方图统计，得到{LBPriu,DoG(x,y)}的直方图统计特征向量，记为HDoG；采用现有的直方图统计方法对{LBPriu,GM(x,y)}进行直方图统计，得到{LBPriu,GM(x,y)}的直方图统计特征向量，记为HGM；其中，HLoG、HDoG和HGM的维数均为m'×1维，HLoG中的第m个元素为HLoG(m)，HDoG中的第m个元素为HDoG(m)，HGM中的第m个元素为HGM(m)，1≤m≤m'，m'＝P+2，P表示步骤⑥中的局部二值化模式操作中的领域参数，在本实施例中取P的值为8。⑧采用n”幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真立体图像，将该失真立体图像集合作为训练集；然后利用现有的主观质量评价方法分别评价出训练集中的每幅失真立体图像的主观评分，将训练集中的第j幅失真立体图像的主观评分记为DMOSj；再按照步骤①至步骤⑦的操作，以相同的方式获取训练集中的每幅失真立体图像的左右视点双目融合图像的LoG滤波图像、DoG滤波图像、GM滤波图像各自的旋转不变性局部二值化模式图像的直方图统计特征向量，将训练集中的第j幅失真立体图像的左右视点双目融合图像的LoG滤波图像对应的直方图统计特征向量记为HLoG,j，将训练集中的第j幅失真立体图像的左右视点双目融合图像的DoG滤波图像对应的直方图统计特征向量记为HDoG,j，将训练集中的第j幅失真立体图像的左右视点双目融合图像的GM滤波图像对应的直方图统计特征向量记为HGM,j；其中，n”＞1，如取n”＝10，1≤j≤N'，N'表示训练集中包含的失真立体图像的总幅数，0≤DMOSj≤100，HLoG,j、HDoG,j和HGM,j的维数均为m'×1维。⑨极限学习机(ELM)是针对半监督学习方法存在的学习速度缓慢、不确定性递增等问题，提出的一种基于极端学习机的半监督学习方法。将训练集中的所有失真立体图像各自的主观评分和对应的三个直方图统计特征向量构成训练样本数据集合；然后采用极限学习机作为机器学习的方法，对训练样本数据集合中的所有直方图统计特征向量进行训练，使得经过训练得到的函数值与主观评分之间的误差最小，得到极限学习机训练模型；再根据极限学习机训练模型，将Sdis对应的HLoG、HDoG和HGM作为极限学习机训练模型的输入，预测得到Sdis的客观质量评价预测值。为了进一步验证本发明方法的可行性和有效性，进行实验。在此，采用LIVE立体图像失真库来分析利用本发明方法得到的失真立体图像的客观质量评价预测值与主观评分之间的相关性。这里，利用评估图像质量评价方法的3个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数(Pearsonlinearcorrelationcoefficient，PLCC)、Spearman相关系数(Spearmanrankordercorrelationcoefficient，SROCC)、均方误差(rootmeansquarederror，RMSE)，PLCC和RMSE反映失真立体图像的客观质量评价预测值的准确性，SROCC反映其单调性。利用本发明方法计算LIVE立体图像失真库中的每幅失真立体图像的客观质量评价预测值，再利用现有的主观质量评价方法获得LIVE立体图像失真库中的每幅失真立体图像的主观评分。将按本发明方法计算得到的失真立体图像的客观质量评价预测值做五参数Logistic函数非线性拟合，PLCC和SROCC值越高，RMSE值越低说明客观评价方法的客观评价结果与主观评分相关性越好。反映本发明方法的质量评价性能的PLCC、SROCC和RMSE相关系数如表1所列。从表1所列的数据可知，按本发明方法得到的失真立体图像的最终的客观质量评价预测值与主观评分之间的相关性是很好的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的可行性和有效性。表1利用本发明方法得到的失真立体图像的客观质量评价预测值与主观评分之间的相关性