本发明涉及一种图像质量评价方法，尤其是涉及一种重定位立体图像质量评价方法。
背景技术：
：随着终端显示设备(例如智能手机、平板电脑、电视等)的快速发展与更新换代，具有不同分辨率和屏幕高宽比的终端显示设备充斥着人们的工作与生活。当需要显示的图像或视频的分辨率与屏幕的分辨率不相符时，如何在尽可能不改变用户观看体验的前提下，改变图像或视频的分辨率使之适应不同尺寸的终端显示设备，这就是重定位(retargeting)问题。当前解决重定位问题的方法有：缩放(scaling)、裁切(cropping)和变形(warping)等。然而，这些重定位方法没有充分利用终端显示设备的尺寸优势，降低了用户体验效果，因此对不同重定位方法的性能进行客观评价十分必要。传统的平面重定位方法，如裁剪、均匀缩放等，在调整图像的分辨率的同时，将图像的重要区域的几何形变和内容缺失最小化。然而，立体图像的质量不仅包含图像内容本身，而且过大的双目视差、双目不对称以及双眼调节和辐辏冲突等都会严重影响立体图像的观看舒适度；另外，立体图像的深度信息使观看者能够获得更加逼真的临场感，深度失真将会严重影响立体图像的观看效果。因此，相比于平面重定位方法，立体图像重定位技术需要考虑的图像失真因素更多，这也大大增加了立体图像重定位技术的复杂度。因此，如何在评价过程中有效地提取出舒适度和深度等信息，使得客观评价结果更加感觉符合人类视觉系统，是在对重定位立体图像进行客观质量评价过程中需要研究解决的问题。技术实现要素：本发明所要解决的技术问题是提供一种重定位立体图像质量评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性。本发明解决上述技术问题所采用的技术方案为：一种重定位立体图像质量评价方法，其特征在于包括以下步骤：步骤一：令Sorg表示原始的立体图像，令Sret表示Sorg对应的重定位立体图像；将Sorg的左视点图像记为{Lorg(x,y)}，将Sorg的右视点图像记为{Rorg(x,y)}，将Sret的左视点图像记为{Lret(x',y)}，将Sret的右视点图像记为{Rret(x',y)}；其中，1≤x≤W，1≤y≤H，1≤x'≤W'，W表示Sorg的宽度，W'表示Sret的宽度，H表示Sorg和Sret的高度，Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Lret(x',y)表示{Lret(x',y)}中坐标位置为(x',y)的像素点的像素值，Rret(x',y)表示{Rret(x',y)}中坐标位置为(x',y)的像素点的像素值；步骤二：计算{Lret(x',y)}与{Rret(x',y)}之间的视差图像，记为{dL(x',y)}，将{dL(x',y)}中坐标位置为(x',y)的像素点的像素值记为dL(x',y)，如果{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中能找到匹配的像素点，则将{dL(x',y)}中坐标位置为(x',y)的像素点定义为匹配像素点，并令dL(x',y)＝x'*-x'；如果{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中不能找到匹配的像素点，则将{dL(x',y)}中坐标位置为(x',y)的像素点定义为遮挡像素点，并令dL(x',y)＝255；然后计算{dL(x',y)}中的所有遮挡像素点的相对宽度特征，记为f1，其中，x'*表示{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中能找到匹配的像素点的横坐标；采用K均值聚类方法对{Lret(x',y)}中的所有像素点进行聚类分割，得到{Lret(x',y)}的前景分割对象和背景分割对象，将由{Lret(x',y)}的前景分割对象中的所有像素点的坐标位置构成的集合记为ΩF，将由{Lret(x',y)}的背景分割对象中的所有像素点的坐标位置构成的集合记为ΩB；然后计算{dL(x',y)}中的所有匹配像素点的深度差特征，记为f2，其中，符号“||”为取绝对值符号，MF表示{Lret(x',y)}的前景分割对象中的像素点的总个数，MB表示{Lret(x',y)}的背景分割对象中的像素点的总个数；采用分层显著性检测模型提取出{Lret(x',y)}的视觉显著图，记为{SO(x',y)}；然后计算{dL(x',y)}中的所有匹配像素点的视差幅值特征，记为f3，并计算{dL(x',y)}中的所有匹配像素点的视差梯度特征，记为f4，其中，SO(x',y)表示{SO(x',y)}中坐标位置为(x',y)的像素点的像素值，Ω＝ΩF∪ΩB，如果x'+1≤W，则dL(x'+1,y)表示{dL(x',y)}中坐标位置为(x'+1,y)的像素点的像素值；如果x'+1＞W，则令dL(x'+1,y)＝dL(W,y)，dL(W,y)表示{dL(x',y)}中坐标位置为(W,y)的像素点的像素值；如果x'-1≥1，则dL(x'-1,y)表示{dL(x',y)}中坐标位置为(x'-1,y)的像素点的像素值；如果x'-1＜1，则令dL(x'-1,y)＝dL(1,y)，dL(1,y)表示{dL(x',y)}中坐标位置为(1,y)的像素点的像素值；如果y+1≤H，则dL(x',y+1)表示{dL(x',y)}中坐标位置为(x',y+1)的像素点的像素值；如果y+1＞H，则令dL(x',y+1)＝dL(x',H)，dL(x',H)表示{dL(x',y)}中坐标位置为(x',H)的像素点的像素值；如果y-1≥1，则dL(x',y-1)表示{dL(x',y)}中坐标位置为(x',y-1)的像素点的像素值；如果y-1＜1，则令dL(x',y-1)＝dL(x',1)，dL(x',1)表示{dL(x',y)}中坐标位置为(x',1)的像素点的像素值；步骤三：采用长宽比相似性评价方法获取{Lorg(x,y)}和{Lret(x',y)}的客观评价预测值，记为f5，f5＝G(Lorg,Lret)；同样，采用长宽比相似性评价方法获取{Rorg(x,y)}和{Rret(x',y)}的客观评价预测值，记为f6，f6＝G(Rorg,Rret)；其中，G(Lorg,Lret)表示计算{Lorg(x,y)}和{Lret(x',y)}的长宽比相似性，G(Rorg,Rret)表示计算{Rorg(x,y)}和{Rret(x',y)}的长宽比相似性；步骤四：根据f1、f2、f3、f4、f5和f6，获取Sret的特征矢量，记为F，F＝[f1,f2,f3,f4,f5,f6]；其中，F的维数为6×1，[f1,f2,f3,f4,f5,f6]表示将f1,f2,f3,f4,f5,f6连接起来形成一个特征矢量；步骤五：将n'幅原始的立体图像对应的共n幅重定位立体图像构成重定位立体图像集合；然后采用主观质量评价方法，获取重定位立体图像集合中的每幅重定位立体图像的平均主观评分差值，将重定位立体图像集合中的第g1幅重定位立体图像的平均主观评分差值记为并按照步骤一至步骤四的过程，以相同的方式获取重定位立体图像集合中的每幅重定位立体图像的特征矢量，将重定位立体图像集合中的第g1幅重定位立体图像的特征矢量记为其中，n'＞1，n≥n'，g1为正整数，1≤g1≤n，的维数为6×1；步骤六：从重定位立体图像集合中随机选择m幅重定位立体图像构成训练集，将重定位立体图像集合中剩余的n-m幅重定位立体图像构成测试集；然后将训练集中的所有重定位立体图像的特征矢量和平均主观评分差值构成训练样本数据集合；接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量wopt和最优的偏置项bopt；再利用得到的最优的权重矢量wopt和最优的偏置项bopt，构造重定位立体图像的支持向量回归训练模型，记为f(Finp)，其中，1≤m＜n，f()为函数表示形式，Finp表示重定位立体图像的支持向量回归训练模型的输入矢量，为重定位立体图像的特征矢量，Finp的维数为6×1，(wopt)T为wopt的转置，表示重定位立体图像的支持向量回归训练模型的输入矢量Finp的线性函数；步骤七：将测试集中的所有重定位立体图像的特征矢量构成测试样本数据集合；然后根据构造得到的重定位立体图像的支持向量回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的重定位立体图像的客观质量评价预测值，将测试样本数据集合中的第q个特征矢量对应的重定位立体图像的客观质量评价预测值记为Qq，Qq＝f(Fq)，其中，q为正整数，1≤q≤n-m，Fq表示测试样本数据集合中的第q个特征矢量，Fq的维数为6×1，表示测试样本数据集合中的第q个特征矢量Fq的线性函数；步骤八：重复执行步骤六至步骤七共Q次，并使重定位立体图像集合中的每幅重定位立体图像至少有一次属于测试集，经过Q次执行后计算重定位立体图像集合中的每幅重定位立体图像的若干个客观质量评价预测值的平均值，再将重定位立体图像集合中的每幅重定位立体图像的客观质量评价预测值的平均值作为该幅重定位立体图像的最终的客观质量评价预测值；其中，Q≥100。与现有技术相比，本发明的优点在于：本发明方法考虑了深度感、舒适度和图像质量对立体图像重定位的影响，通过计算重定位立体图像的左视点图像与右视点图像之间的视差图像中的所有遮挡像素点的相对宽度特征、所有匹配像素点的深度差特征、所有匹配像素点的视差幅值特征、所有匹配像素点的视差梯度特征，及计算原始的立体图像和重定位立体图像各自的左视点图像的长宽比相似性、原始的立体图像和重定位立体图像各自的右视点图像的长宽比相似性，得到重定位立体图像的特征矢量，然后在训练阶段利用支持向量回归对训练集中的特征矢量进行训练，构造得到支持向量回归训练模型；在测试阶段利用构造的支持向量回归训练模型，预测得到测试集中的特征矢量对应的重定位立体图像的客观质量评价预测值，由于获得的特征矢量具有较强的稳定性且能够较好地反映重定位立体图像的深度感、舒适度和图像质量变化情况，因此有效地提高了客观评价结果与主观感知之间的相关性。附图说明图1为本发明方法的总体实现框图。具体实施方式以下结合附图实施例对本发明作进一步详细描述。本发明提出的一种重定位立体图像质量评价方法，其总体实现框图如图1所示，其包括以下步骤：步骤一：令Sorg表示原始的立体图像，令Sret表示Sorg对应的重定位立体图像；将Sorg的左视点图像记为{Lorg(x,y)}，将Sorg的右视点图像记为{Rorg(x,y)}，将Sret的左视点图像记为{Lret(x',y)}，将Sret的右视点图像记为{Rret(x',y)}；其中，1≤x≤W，1≤y≤H，1≤x'≤W'，W表示Sorg的宽度，W'表示Sret的宽度，H表示Sorg和Sret的高度，Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Lret(x',y)表示{Lret(x',y)}中坐标位置为(x',y)的像素点的像素值，Rret(x',y)表示{Rret(x',y)}中坐标位置为(x',y)的像素点的像素值。步骤二：采用现有的基于光流的视差估计算法计算{Lret(x',y)}与{Rret(x',y)}之间的视差图像，记为{dL(x',y)}，将{dL(x',y)}中坐标位置为(x',y)的像素点的像素值记为dL(x',y)，如果{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中能找到匹配的像素点，则将{dL(x',y)}中坐标位置为(x',y)的像素点定义为匹配像素点，并令dL(x',y)＝x'*-x'；如果{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中不能找到匹配的像素点，则将{dL(x',y)}中坐标位置为(x',y)的像素点定义为遮挡像素点，并令dL(x',y)＝255；然后计算{dL(x',y)}中的所有遮挡像素点的相对宽度特征，记为f1，其中，x'*表示{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中能找到匹配的像素点的横坐标，即{Lret(x',y)}中坐标位置为(x',y)的像素点在{Rret(x',y)}中能找到匹配的像素点的坐标位置为(x'*,y)。采用现有的K均值聚类方法对{Lret(x',y)}中的所有像素点进行聚类分割，得到{Lret(x',y)}的前景分割对象和背景分割对象，将由{Lret(x',y)}的前景分割对象中的所有像素点的坐标位置构成的集合记为ΩF，将由{Lret(x',y)}的背景分割对象中的所有像素点的坐标位置构成的集合记为ΩB；然后计算{dL(x',y)}中的所有匹配像素点的深度差特征，记为f2，其中，符号“||”为取绝对值符号，MF表示{Lret(x',y)}的前景分割对象中的像素点的总个数，MB表示{Lret(x',y)}的背景分割对象中的像素点的总个数。采用现有的分层显著性检测(Hierarchicalsaliencydetection)模型提取出{Lret(x',y)}的视觉显著图，记为{SO(x',y)}；然后计算{dL(x',y)}中的所有匹配像素点的视差幅值特征，记为f3，并计算{dL(x',y)}中的所有匹配像素点的视差梯度特征，记为f4，其中，SO(x',y)表示{SO(x',y)}中坐标位置为(x',y)的像素点的像素值，亦表示{Lret(x',y)}中坐标位置为(x',y)的像素点的视觉显著值，Ω＝ΩF∪ΩB，如果x'+1≤W，则dL(x'+1,y)表示{dL(x',y)}中坐标位置为(x'+1,y)的像素点的像素值；如果x'+1＞W，则令dL(x'+1,y)＝dL(W,y)，dL(W,y)表示{dL(x',y)}中坐标位置为(W,y)的像素点的像素值；如果x'-1≥1，则dL(x'-1,y)表示{dL(x',y)}中坐标位置为(x'-1,y)的像素点的像素值；如果x'-1＜1，则令dL(x'-1,y)＝dL(1,y)，dL(1,y)表示{dL(x',y)}中坐标位置为(1,y)的像素点的像素值；如果y+1≤H，则dL(x',y+1)表示{dL(x',y)}中坐标位置为(x',y+1)的像素点的像素值；如果y+1＞H，则令dL(x',y+1)＝dL(x',H)，dL(x',H)表示{dL(x',y)}中坐标位置为(x',H)的像素点的像素值；如果y-1≥1，则dL(x',y-1)表示{dL(x',y)}中坐标位置为(x',y-1)的像素点的像素值；如果y-1＜1，则令dL(x',y-1)＝dL(x',1)，dL(x',1)表示{dL(x',y)}中坐标位置为(x',1)的像素点的像素值。步骤三：采用现有的长宽比相似性(AspectRatioSimilarity)评价方法获取{Lorg(x,y)}和{Lret(x',y)}的客观评价预测值，记为f5，f5＝G(Lorg,Lret)；同样，采用现有的长宽比相似性(AspectRatioSimilarity)评价方法获取{Rorg(x,y)}和{Rret(x',y)}的客观评价预测值，记为f6，f6＝G(Rorg,Rret)；其中，G(Lorg,Lret)表示计算{Lorg(x,y)}和{Lret(x',y)}的长宽比相似性，G(Rorg,Rret)表示计算{Rorg(x,y)}和{Rret(x',y)}的长宽比相似性。步骤四：根据f1、f2、f3、f4、f5和f6，获取Sret的特征矢量，记为F，F＝[f1,f2,f3,f4,f5,f6]；其中，F的维数为6×1，[f1,f2,f3,f4,f5,f6]表示将f1,f2,f3,f4,f5,f6连接起来形成一个特征矢量。步骤五：将n'幅原始的立体图像对应的共n幅重定位立体图像构成重定位立体图像集合；然后采用现有的主观质量评价方法，获取重定位立体图像集合中的每幅重定位立体图像的平均主观评分差值，将重定位立体图像集合中的第g1幅重定位立体图像的平均主观评分差值记为并按照步骤一至步骤四的过程，以相同的方式获取重定位立体图像集合中的每幅重定位立体图像的特征矢量，将重定位立体图像集合中的第g1幅重定位立体图像的特征矢量记为其中，n'＞1，如取n'＝45，n≥n'，如取n＝720，g1为正整数，1≤g1≤n，的维数为6×1。步骤六：从重定位立体图像集合中随机选择m幅重定位立体图像构成训练集，将重定位立体图像集合中剩余的n-m幅重定位立体图像构成测试集；然后将训练集中的所有重定位立体图像的特征矢量和平均主观评分差值构成训练样本数据集合；接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小，拟合得到最优的权重矢量wopt和最优的偏置项bopt；再利用得到的最优的权重矢量wopt和最优的偏置项bopt，构造重定位立体图像的支持向量回归训练模型，记为f(Finp)，其中，1≤m＜n，f()为函数表示形式，Finp表示重定位立体图像的支持向量回归训练模型的输入矢量，为重定位立体图像的特征矢量，Finp的维数为6×1，(wopt)T为wopt的转置，表示重定位立体图像的支持向量回归训练模型的输入矢量Finp的线性函数。步骤七：将测试集中的所有重定位立体图像的特征矢量构成测试样本数据集合；然后根据构造得到的重定位立体图像的支持向量回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的重定位立体图像的客观质量评价预测值，将测试样本数据集合中的第q个特征矢量对应的重定位立体图像的客观质量评价预测值记为Qq，Qq＝f(Fq)，其中，q为正整数，1≤q≤n-m，Fq表示测试样本数据集合中的第q个特征矢量，Fq的维数为6×1，表示测试样本数据集合中的第q个特征矢量Fq的线性函数。步骤八：重复执行步骤六至步骤七共Q次，并使重定位立体图像集合中的每幅重定位立体图像至少有一次属于测试集，经过Q次执行后计算重定位立体图像集合中的每幅重定位立体图像的若干个客观质量评价预测值的平均值，再将重定位立体图像集合中的每幅重定位立体图像的客观质量评价预测值的平均值作为该幅重定位立体图像的最终的客观质量评价预测值；其中，Q≥100。为了进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。在本实施例中，采用本发明方法对宁波大学建立的重定位立体图像数据库进行测试，该重定位立体图像数据库包含45幅原始的立体图像，采用8种不同重定位方法对每幅原始的立体图像进行50％和75％两种比例的重定位操作，这样该重定位立体图像数据库共有720幅重定位立体图像，并给出了每幅重定位立体图像的平均主观评分差值。这里，利用评估图像质量评价方法的3个常用客观参量作为深度感知评价指标，即非线性回归条件下的Pearson相关系数(Pearsonlinearcorrelationcoefficient，PLCC)、Spearman相关系数(Spearmanrankordercorrelationcoefficient，SROCC)、均方误差(rootmeansquarederror，RMSE)，PLCC和RMSE反映重定位立体图像的客观评价结果的准确性，SROCC反映其单调性。将采用本发明方法计算得到的720幅重定位立体图像各自的最终的客观质量评价预测值做五参数Logistic函数非线性拟合，PLCC和SROCC值越高、RMSE值越小说明客观评价结果与平均主观评分差值之间的相关性越好。表1给出了采用本发明方法得到的最终的客观质量评价预测值与平均主观评分差值之间的相关性，从表1中可以看出，采用本发明方法得到的最终的客观质量评价预测值与平均主观评分差值之间的相关性是很高的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的有效性。表1采用本发明方法得到的客观质量评价预测值与平均主观评分差值之间的相关性方法PLCCSROCCRMSE本发明方法0.82370.81538.4338当前第1页1 2 3