本发明涉及一种图像质量评价方法，尤其是涉及一种重定位图像质量评价方法。
背景技术：
随着终端显示设备(例如智能手机、平板电脑、电视等)的快速发展与更新换代，具有不同分辨率和屏幕高宽比的终端显示设备充斥着人们的工作与生活。当需要显示的图像或视频的分辨率与屏幕的分辨率不相符时，如何在尽可能不改变用户观看体验的前提下，改变图像或视频的分辨率使之适应不同尺寸的终端显示设备，这就是重定位(retargeting)问题。当前解决重定位问题的方法有：缩放(scaling)、裁切(cropping)和变形(warping)等。然而，这些重定位方法没有充分利用终端显示设备的尺寸优势，降低了用户体验效果，因此对不同重定位方法的性能进行客观评价十分必要。现有的重定位方法大多以像素点匹配为基础，建立原始图像和重定位图像之间的映射关系，并基于像素点匹配提取出相应特征来评价重定位图像质量。然而，重定位图像由不同的重定位操作得到，现有的重定位图像质量评价方法并不能很好地揭示两者之间的关系。因此，如何在评价过程中有效地提取出特征，使得客观评价结果更加感觉符合人类视觉系统，是在对重定位图像进行客观质量评价过程中需要研究解决的问题。技术实现要素：本发明所要解决的技术问题是提供一种重定位图像质量评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性。本发明解决上述技术问题所采用的技术方案为：一种重定位图像质量评价方法，其特征在于包括以下步骤：步骤一：令iorg表示原始图像，令iret表示iorg对应的重定位图像；将iorg中坐标位置为(x,y)的像素点的像素值记为iorg(x,y)，将iret中坐标位置为(x',y)的像素点的像素值记为iret(x',y)；其中，1≤x≤w，1≤y≤h，1≤x'≤w'，w表示iorg的宽度，w'表示iret的宽度，h表示iorg和iret的高度；步骤二：采用sift-flow方法建立iorg与iret之间的匹配关系，得到iorg中的每个像素点的sift-flow向量，将iorg中坐标位置为(x,y)的像素点的sift-flow向量记为vo(x,y)，然后根据iorg中的所有像素点的sift-flow向量，从iorg中重构得到重定位图像，记为将中坐标位置为的像素点的像素值记为再找出中的所有空洞像素点，并将值0作为中的每个空洞像素点的像素值；其中，用于表示水平方向，用于表示垂直方向，表示vo(x,y)的水平偏移量，表示vo(x,y)的垂直偏移量，中的“＝”为赋值符号；步骤三：在3个不同尺度下将iorg分别分割成多个互不重叠的四边形网格，将在第j个尺度下iorg中的第kj个四边形网格记为以其左上、左下、右上和右下4个网格顶点的集合来描述，其中，j＝1,2,3，kj为正整数，1≤kj≤mj，mj表示在第j个尺度下iorg中的四边形网格的总个数，表示在第j个尺度下iorg中的四边形网格的尺寸大小，符号为向下取整运算符号，对应表示的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，步骤四：根据在每个尺度下iorg中的每个四边形网格的所有网格顶点的sift-flow向量，确定在相同尺度下iorg中的每个四边形网格在iret中匹配的四边形网格，将在第j个尺度下在iret中匹配的四边形网格记为然后计算在每个尺度下iorg中的每个四边形网格的相似性变换矩阵，将的相似性变换矩阵记为其中，对应表示的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，亦表示在第j个尺度下在iret中匹配的网格顶点，亦表示在第j个尺度下在iret中匹配的网格顶点，亦表示在第j个尺度下在iret中匹配的网格顶点，亦表示在第j个尺度下在iret中匹配的网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，和v对应表示的sift-flow向量的水平偏移量和垂直偏移量，和对应表示的sift-flow向量的水平偏移量和垂直偏移量，和对应表示的sift-flow向量的水平偏移量和垂直偏移量，和对应表示的sift-flow向量的水平偏移量和垂直偏移量，为的转置，为的逆，的维数为6×1；步骤五：采用分层显著性检测模型提取出iorg的视觉显著图，记为{so(x,y)}；然后根据在每个尺度下iorg中的所有四边形网格的相似性变换矩阵，并结合{so(x,y)}，计算在每个尺度下iorg的结构失真，将在第j个尺度下iorg的结构失真记为并根据在每个尺度下iorg中的每个四边形网格在iret中匹配的四边形网格，并结合{so(x,y)}和计算在每个尺度下iorg的内容损失，将在第j个尺度下iorg的内容损失记为其中，so(x,y)表示{so(x,y)}中坐标位置为(x,y)的像素点的像素值；步骤六：根据在3个尺度下iorg的结构失真和内容损失，获取iret的特征矢量，记为f，其中，f的维数为6×1，表示将连接起来形成一个特征矢量，对应表示在第1个尺度下iorg的结构失真、在第2个尺度下iorg的结构失真、在第3个尺度下iorg的结构失真，对应表示在第1个尺度下iorg的内容损失、在第2个尺度下iorg的内容损失、在第3个尺度下iorg的内容损失；步骤七：将n'幅原始图像对应的共n幅重定位图像构成重定位图像集合；然后采用主观质量评价方法，获取重定位图像集合中的每幅重定位图像的主观评分差值，将重定位图像集合中的第g1幅重定位图像的主观评分差值记为并按照步骤一至步骤六的过程，以相同的方式获取重定位图像集合中的每幅重定位图像的特征矢量，将重定位图像集合中的第g1幅重定位图像的特征矢量记为其中，n'>1，n>1，1≤g1≤n，的维数为6×1；步骤八：随机选择重定位图像集合中的m幅重定位图像构成训练集，将重定位图像集合中剩余的n-m幅重定位图像构成测试集；然后将训练集中的所有重定位图像的特征矢量和主观评分差值构成训练样本数据集合；接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与主观评分差值之间的误差最小，拟合得到最优的权重矢量wopt和最优的偏置项bopt；再利用得到的最优的权重矢量wopt和最优的偏置项bopt，构造重定位图像的支持向量回归训练模型，记为f(finp)，其中，1≤m<n，f()为函数表示形式，finp表示重定位图像的支持向量回归训练模型的输入矢量，为重定位图像的特征矢量，finp的维数为6×1，(wopt)t为wopt的转置，表示重定位图像的支持向量回归训练模型的输入矢量finp的线性函数；步骤九：将测试集中的所有重定位图像的特征矢量构成测试样本数据集合；然后根据构造得到的重定位图像的支持向量回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的重定位图像的客观质量评价预测值，将测试样本数据集合中的第q个特征矢量对应的重定位图像的客观质量评价预测值记为qq，qq＝f(fq)，其中，q为正整数，1≤q≤n-m，fq表示测试样本数据集合中的第q个特征矢量，fq的维数为6×1，表示测试样本数据集合中的第q个特征矢量的线性函数；步骤十：重复执行步骤八至步骤九共x次，并使重定位图像集合中的每幅重定位图像至少有一次属于测试集，经过x次执行后计算重定位图像集合中的每幅重定位图像的若干个客观质量评价预测值的平均值，再将重定位图像集合中的每幅重定位图像的客观质量评价预测值的平均值作为该幅重定位图像的最终的客观质量评价预测值；其中，x的取值大于或等于100。所述的步骤五中的的计算过程为：a1、根据在第j个尺度下iorg中的每个四边形网格的相似性变换矩阵，计算在第j个尺度下iorg中的每个四边形网格的几何失真，将的几何失真记为；其中，对应表示中的第1个元素、第2个元素、第4个元素、第5个元素；a2、根据在第j个尺度下iorg中的每个四边形网格的几何失真，并结合{so(x,y)}，计算得到其中，so(kj)表示中的所有像素点的视觉显著值的均值，也即表示{so(x,y)}中与对应的区域中的所有像素点的像素值的均值，exp()表示以自然基数e为底的指数函数。所述的步骤五中的的计算过程为：其中，so(kj)表示中的所有像素点的视觉显著值的均值，也即表示{so(x,y)}中与对应的区域中的所有像素点的像素值的均值，表示计算iorg中与对应的区域中的所有非空洞像素点所占的区域面积大小，表示计算中与对应的区域中的所有非空洞像素点所占的区域面积大小。与现有技术相比，本发明的优点在于：本发明方法考虑了结构失真和内容损失对重定位的影响，利用相似性变换矩阵建立原始图像与重定位图像的变换关系，根据相似性变换矩阵计算出多尺度下的结构失真，并根据四边形网格的面积变化计算出多尺度下的内容损失，然后利用支持向量回归对训练集中的由多尺度下的结构失真和内容损失构成的特征矢量进行训练，构造得到支持向量回归训练模型；在测试阶段，通过计算测试集中的重定位图像的特征矢量，并根据构造的支持向量回归训练模型，预测得到测试集中的重定位图像的客观质量评价预测值，由于获得的特征矢量具有较强的稳定性且能够较好地反映重定位图像的质量变化情况，因此有效地提高了客观评价结果与主观感知之间的相关性。附图说明图1为本发明方法的总体实现框图。具体实施方式以下结合附图实施例对本发明作进一步详细描述。本发明提出的一种重定位图像质量评价方法，其总体实现框图如图1所示，其包括以下步骤：步骤一：令iorg表示原始图像，令iret表示iorg对应的重定位图像；将iorg中坐标位置为(x,y)的像素点的像素值记为iorg(x,y)，将iret中坐标位置为(x',y)的像素点的像素值记为iret(x',y)；其中，1≤x≤w，1≤y≤h，1≤x'≤w'，w表示iorg的宽度，w'表示iret的宽度，h表示iorg和iret的高度。步骤二：采用现有的sift-flow(scale-invariantfeaturetransformflow，尺度不变特征变换流)方法建立iorg与iret之间的匹配关系，得到iorg中的每个像素点的sift-flow向量，将iorg中坐标位置为(x,y)的像素点的sift-flow向量记为vo(x,y)，然后根据iorg中的所有像素点的sift-flow向量，从iorg中重构得到重定位图像，记为将中坐标位置为的像素点的像素值记为再找出中的所有空洞像素点，并将值0作为中的每个空洞像素点的像素值；其中，用于表示水平方向，用于表示垂直方向，表示vo(x,y)的水平偏移量，表示vo(x,y)的垂直偏移量，中的“＝”为赋值符号；在此，中的所有空洞像素点的确定采用现有技术。步骤三：在3个不同尺度下将iorg分别分割成多个互不重叠的四边形网格，将在第j个尺度下iorg中的第kj个四边形网格记为以其左上、左下、右上和右下4个网格顶点的集合来描述，其中，j＝1,2,3，kj为正整数，1≤kj≤mj，mj表示在第j个尺度下iorg中的四边形网格的总个数，表示在第j个尺度下iorg中的四边形网格的尺寸大小，符号为向下取整运算符号，对应表示的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，步骤四：根据在每个尺度下iorg中的每个四边形网格的所有网格顶点的sift-flow向量，确定在相同尺度下iorg中的每个四边形网格在iret中匹配的四边形网格，将在第j个尺度下在iret中匹配的四边形网格记为然后计算在每个尺度下iorg中的每个四边形网格的相似性变换矩阵，将ukoj的相似性变换矩阵记为其中，对应表示的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，亦表示在第j个尺度下在iret中匹配的网格顶点，亦表示在第j个尺度下在iret中匹配的网格顶点，亦表示在第j个尺度下在iret中匹配的网格顶点，亦表示在第j个尺度下在iret中匹配的网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，和对应表示的sift-flow向量的水平偏移量和垂直偏移量，和对应表示的sift-flow向量的水平偏移量和垂直偏移量，和对应表示的sift-flow向量的水平偏移量和垂直偏移量，和对应表示的sift-flow向量的水平偏移量和垂直偏移量，为的转置，为的逆，的维数为6×1。步骤五：采用现有的分层显著性检测(hierarchicalsaliencydetection)模型提取出iorg的视觉显著图，记为{so(x,y)}；然后根据在每个尺度下iorg中的所有四边形网格的相似性变换矩阵，并结合{so(x,y)}，计算在每个尺度下iorg的结构失真，将在第j个尺度下iorg的结构失真记为并根据在每个尺度下iorg中的每个四边形网格在iret中匹配的四边形网格，并结合{so(x,y)}和计算在每个尺度下iorg的内容损失，将在第j个尺度下iorg的内容损失记为其中，so(x,y)表示{so(x,y)}中坐标位置为(x,y)的像素点的像素值。在此具体实施例中，步骤五中的的计算过程为：a1、根据在第j个尺度下iorg中的每个四边形网格的相似性变换矩阵，计算在第j个尺度下iorg中的每个四边形网格的几何失真，将的几何失真记为；其中，对应表示中的第1个元素、第2个元素、第4个元素、第5个元素。a2、根据在第j个尺度下iorg中的每个四边形网格的几何失真，并结合{so(x,y)}，计算得到其中，so(kj)表示中的所有像素点的视觉显著值的均值，也即表示{so(x,y)}中与对应的区域中的所有像素点的像素值的均值，exp()表示以自然基数e为底的指数函数，e＝2.71828183…。在此具体实施例中，步骤五中的fcjl的计算过程为：其中，so(kj)表示中的所有像素点的视觉显著值的均值，也即表示{so(x,y)}中与对应的区域中的所有像素点的像素值的均值，表示计算iorg中与对应的区域中的所有非空洞像素点所占的区域面积大小，即为计算iorg中与对应的区域中的所有非空洞像素点与iorg中与对应的区域中的所有像素点的比例大小，iorg中的所有空洞像素点的确定采用现有技术，除空洞像素点外的其它像素点均为非空洞像素点，表示计算中与对应的区域中的所有非空洞像素点所占的区域面积大小，即为计算中与对应的区域中的所有非空洞像素点与中与对应的区域中的所有像素点的比例大小，中的所有空洞像素点的确定采用现有技术，除空洞像素点外的其它像素点均为非空洞像素点。步骤六：根据在3个尺度下iorg的结构失真和内容损失，获取iret的特征矢量，记为f，其中，f的维数为6×1，表示将连接起来形成一个特征矢量，对应表示在第1个尺度下iorg的结构失真、在第2个尺度下iorg的结构失真、在第3个尺度下iorg的结构失真，对应表示在第1个尺度下iorg的内容损失、在第2个尺度下iorg的内容损失、在第3个尺度下iorg的内容损失。步骤七：将n'幅原始图像对应的共n幅重定位图像构成重定位图像集合；然后采用现有的主观质量评价方法，获取重定位图像集合中的每幅重定位图像的主观评分差值，将重定位图像集合中的第g1幅重定位图像的主观评分差值记为并按照步骤一至步骤六的过程，以相同的方式获取重定位图像集合中的每幅重定位图像的特征矢量，将重定位图像集合中的第g1幅重定位图像的特征矢量记为其中，n'>1，在本实施例中取n'＝57，n>1，在本实施例中取n＝171，1≤g1≤n，的维数为6×1。步骤八：随机选择重定位图像集合中的m幅重定位图像构成训练集，将重定位图像集合中剩余的n-m幅重定位图像构成测试集；然后将训练集中的所有重定位图像的特征矢量和主观评分差值构成训练样本数据集合；接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与主观评分差值之间的误差最小，拟合得到最优的权重矢量wopt和最优的偏置项bopt；再利用得到的最优的权重矢量wopt和最优的偏置项bopt，构造重定位图像的支持向量回归训练模型，记为f(finp)，其中，1≤m<n，f()为函数表示形式，finp表示重定位图像的支持向量回归训练模型的输入矢量，为重定位图像的特征矢量，finp的维数为6×1，(wopt)t为wopt的转置，表示重定位图像的支持向量回归训练模型的输入矢量finp的线性函数。步骤九：将测试集中的所有重定位图像的特征矢量构成测试样本数据集合；然后根据构造得到的重定位图像的支持向量回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的重定位图像的客观质量评价预测值，将测试样本数据集合中的第q个特征矢量对应的重定位图像的客观质量评价预测值记为qq，qq＝f(fq)，其中，q为正整数，1≤q≤n-m，fq表示测试样本数据集合中的第q个特征矢量，fq的维数为6×1，表示测试样本数据集合中的第q个特征矢量的线性函数。步骤十：重复执行步骤八至步骤九共x次，并使重定位图像集合中的每幅重定位图像至少有一次属于测试集，经过x次执行后计算重定位图像集合中的每幅重定位图像的若干个客观质量评价预测值的平均值，再将重定位图像集合中的每幅重定位图像的客观质量评价预测值的平均值作为该幅重定位图像的最终的客观质量评价预测值；其中，x的取值大于或等于100。为了进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。在本实施例中，采用本发明方法对香港中文大学建立的重定位图像数据库进行测试，该重定位图像数据库包含57幅原始图像，从10种不同重定位方法中随机选择3种方法对每幅原始图像进行重定位操作，这样该重定位图像数据库共有171幅重定位图像，并给出了每幅重定位图像的主观评分差值。这里，利用评估图像质量评价方法的4个常用客观参量作为深度感知评价指标，即非线性回归条件下的pearson相关系数(pearsonlinearcorrelationcoefficient，plcc)、spearman相关系数(spearmanrankordercorrelationcoefficient，srocc)、均方误差(rootmeansquarederror，rmse)、异常值比率指标(outlierratio，or)，plcc和rmse反映重定位图像的客观评价结果的准确性，srocc反映其单调性，or反映其离散程度。将采用本发明方法计算得到的570幅重定位图像各自的最终的客观质量评价预测值做五参数logistic函数非线性拟合，plcc和srocc值越高、rmse和or值越小说明客观评价方法与主观评分差值相关性越好。表1给出了采用本发明方法得到的最终的客观质量评价预测值与主观评分差值之间的相关性，从表1中可以看出，采用本发明方法得到的最终的客观质量评价预测值与主观评分差值之间的相关性是很高的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的有效性。表1采用本发明方法得到的客观质量评价预测值与主观评分差值之间的相关性方法plccsroccrmseor本发明方法0.71230.70569.23570.0107当前第1页12