一种绘制图像质量评价方法与流程

本发明涉及一种图像质量评价技术，尤其是涉及一种绘制图像质量评价方法。
背景技术：
：三维视频(three-dimensionalvideo，3dv)是一种先进的视觉模式，其使人们在屏幕上观看图像时富有立体感和沉浸感，可以满足人们从不同角度观看三维(3d)场景的需求。通常，三维视频系统主要包括视频捕获、视频编码、传输解码、虚拟视点绘制和交互显示等模块。基于深度图像的绘制(depthimagebasedrendering，dibr)是一种利用参考视点的彩色图像所对应的深度图像绘制生成虚拟视点图像的方法，其通过利用参考视点的彩色图像及该参考视点的彩色图像中的每个像素点对应的深度信息来合成三维场景的虚拟视点图像。由于dibr将场景的深度信息引入到虚拟视点图像绘制中，因此大大减少了虚拟视点图像绘制所需的参考视点的数目。与传统的二维图像相比，彩色图像质量、深度图像质量及空洞填充方法都会影响虚拟视点图像质量，例如，彩色图像的失真会直接影响绘制的虚拟视点图像的质量，深度图像的编码失真会导致绘制的虚拟视点图像与真实图像之间会存在几何失真(也称为结构位置失真)，同时空洞填充会在绘制的虚拟视点图像中产生纹理失真，因此，如何在绘制的虚拟视点图像质量的评价过程中有效地提取出纹理失真和几何失真，是在对绘制的虚拟视点图像进行客观质量评价过程中需要研究解决的问题。技术实现要素：本发明所要解决的技术问题是提供一种绘制图像质量评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性。本发明解决上述技术问题所采用的技术方案为：一种绘制图像质量评价方法，其特征在于包括以下步骤：步骤一：令iorg表示原始图像，令isyn表示iorg对应的绘制图像；将iorg中坐标位置为(x,y)的像素点的像素值记为iorg(x,y)，将isyn中坐标位置为(x,y)的像素点的像素值记为isyn(x,y)；其中，1≤x≤w，1≤y≤h，w表示iorg和isyn的宽度，h表示iorg和isyn的高度；步骤二：采用sift-flow方法，建立iorg与isyn之间的匹配关系，得到iorg中的每个像素点的sift-flow向量，将iorg中坐标位置为(x,y)的像素点的sift-flow向量记为vo(x,y)，然后根据iorg中的所有像素点的sift-flow向量，从iorg中重构得到重构绘制图像，记为将中坐标位置为的像素点的像素值记为其中，用于表示水平方向，用于表示垂直方向，表示vo(x,y)的水平偏移量，表示vo(x,y)的垂直偏移量，中的“＝”为赋值符号；步骤三：计算isyn与的残差图像，记为idif，将idif中坐标位置为(x,y)的像素点的像素值记为idif(x,y)，然后将idif划分成个互不重叠的尺寸大小为16×16的子块；再从idif中的所有子块中提取出所有属于关键区域的子块，若idif中的任一个子块中的所有像素点中像素值不为0的像素点的个数大于t2，则确定该子块属于关键区域，将idif中的所有属于关键区域的子块构成的集合记为其中，符号“||”为取绝对值符号，表示中坐标位置为(x,y)的像素点的像素值，符号为向下取整运算符号，t1和t2均为阈值；步骤四：根据isyn和及计算isyn的纹理失真，记为qtex；并根据iorg中的像素点的sift-flow向量和idif中的子块，计算isyn的几何失真，记为qgem；步骤五：根据qtex和qgem，获取isyn的特征矢量，记为q，q＝[qtex,qgem]；其中，q的维数为2×1，[qtex,qgem]表示将qtex和qgem连接起来形成一个特征矢量；步骤六：将n幅绘制图像构成绘制图像集合；然后采用主观质量评价方法，获取绘制图像集合中的每幅绘制图像的主观评分差值，将绘制图像集合中的第g1幅绘制图像的主观评分差值记为并按照步骤一至步骤五的过程，以相同的方式获取绘制图像集合中的每幅绘制图像的特征矢量，将绘制图像集合中的第g1幅绘制图像的特征矢量记为其中，n为正整数，n＞1，g1为正整数，g1的初始值为1，1≤g1≤n，mosg1∈[0,5]，的维数为2×1；步骤七：随机选择绘制图像集合中的m幅绘制图像构成训练集，将绘制图像集合中剩余的n-m幅绘制图像构成测试集；然后将训练集中的所有绘制图像的特征矢量和主观评分差值构成训练样本数据集合；接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与主观评分差值之间的误差最小，拟合得到最优的权重矢量wopt和最优的偏置项bopt；再利用得到的最优的权重矢量wopt和最优的偏置项bopt，构造绘制图像的支持向量回归训练模型，记为f(finp)，其中，m为正整数，m∈[1,n)，f()为函数表示形式，finp表示绘制图像的支持向量回归训练模型的输入矢量，为绘制图像的特征矢量，finp的维数为2×1，(wopt)t为wopt的转置，表示绘制图像的支持向量回归训练模型的输入矢量finp的线性函数；步骤八：将测试集中的所有绘制图像的特征矢量构成测试样本数据集合；然后根据构造得到的绘制图像的支持向量回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的绘制图像的客观质量评价预测值，将测试样本数据集合中的第q个特征矢量对应的绘制图像的客观质量评价预测值记为其中，q为正整数，q的初始值为1，1≤q≤n-m，fq表示测试样本数据集合中的第q个特征矢量，fq的维数为2×1，表示fq的线性函数；步骤九：重复执行步骤七至步骤八共num次，并使绘制图像集合中的每幅绘制图像至少有一次属于测试集，经过num次执行后计算绘制图像集合中的每幅绘制图像的若干个客观质量评价预测值的平均值，再将绘制图像集合中的每幅绘制图像的客观质量评价预测值的平均值作为该幅绘制图像的最终的客观质量评价预测值；其中，num＞1。所述的步骤四中的qtex的获取过程为：a1、将isyn和分别从rgb颜色空间转化为cielab颜色空间，三个分量分别为亮度分量、第一色度分量和第二色度分量；a2、将isyn的第一色度分量中与位置对应的区域分割成尺寸大小为2×2的非重叠子块；然后确定isyn的第一色度分量中的每个非重叠子块的扫描模式，对于isyn的第一色度分量中的任一个非重叠子块的扫描模式的确定过程为：以该非重叠子块的左上角像素点为起点，将起点作为第1个指向像素点，将剩余的3个像素点中像素值与第1个指向像素点的像素值的差的绝对值最小的一个像素点作为第1个被指向像素点，连接第1个指向像素点与第1个被指向像素点；将第1个被指向像素点作为第2个指向像素点，将剩余的2个像素点中像素值与第2个指向像素点的像素值的差的绝对值最小的一个像素点作为第2个被指向像素点，连接第2个指向像素点与第2个被指向像素点；将第2个被指向像素点作为第3个指向像素点，将剩余的1个像素点作为第3个被指向像素点，连接第3个指向像素点与第3个被指向像素点；将连接4个像素点的连接方式作为该非重叠子块的扫描模式；接着获取isyn的第一色度分量中的所有非重叠子块的颜色共生矩阵，记为{p(j1,j2)|1≤j1≤j,1≤j2≤j}；其中，j1和j2均为正整数，j1和j2的初始值均为1，1≤j1≤j，1≤j2≤j，j1≠j2，j表示扫描模式的总数目，j＝6，p(j1,j2)表示isyn的第一色度分量中扫描模式为第j1种扫描模式的非重叠子块及与其垂直上相邻且扫描模式为第j2种扫描模式的非重叠子块同时出现的概率；同样，将的第一色度分量中与位置对应的区域分割成尺寸大小为2×2的非重叠子块；然后确定的第一色度分量中的每个非重叠子块的扫描模式，对于的第一色度分量中的任一个非重叠子块的扫描模式的确定过程为：以该非重叠子块的左上角像素点为起点，将起点作为第1个指向像素点，将剩余的3个像素点中像素值与第1个指向像素点的像素值的差的绝对值最小的一个像素点作为第1个被指向像素点，连接第1个指向像素点与第1个被指向像素点；将第1个被指向像素点作为第2个指向像素点，将剩余的2个像素点中像素值与第2个指向像素点的像素值的差的绝对值最小的一个像素点作为第2个被指向像素点，连接第2个指向像素点与第2个被指向像素点；将第2个被指向像素点作为第3个指向像素点，将剩余的1个像素点作为第3个被指向像素点，连接第3个指向像素点与第3个被指向像素点；将连接4个像素点的连接方式作为该非重叠子块的扫描模式；接着获取的第一色度分量中的所有非重叠子块的颜色共生矩阵，记为其中，表示的第一色度分量中扫描模式为第j1种扫描模式的非重叠子块及与其垂直上相邻且扫描模式为第j2种扫描模式的非重叠子块同时出现的概率；a3、根据{p(j1,j2)|1≤j1≤j,1≤j2≤j}和计算qtex，qtex＝log2(δmax+1)，其中，符号“||”为取绝对值符号，max()为取最大值函数。所述的步骤四中的qgem的获取过程为：b1、将iorg划分成个互不重叠的尺寸大小为16×16的四边形网格，将iorg中的第k个四边形网格记为uo,k，uo,k以其左上、左下、右上和右下4个网格顶点的集合来描述，其中，符号为向下取整运算符号，k为正整数，k的初始值为1，1≤k≤m，对应表示uo,k的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，b2、根据iorg中的每个四边形网格的所有网格顶点的sift-flow向量，得到iorg中的每个四边形网格在isyn中匹配的四边形网格，将uo,k在isyn中匹配的四边形网格记为然后计算iorg中的每个四边形网格的相似性变换矩阵，将uo,k的相似性变换矩阵记为其中，对应表示的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，也即为在isyn中匹配的网格顶点，也即为在isyn中匹配的网格顶点，也即为在isyn中匹配的网格顶点，也即为在isyn中匹配的网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，表示的sift-flow向量的水平偏移量，表示的sift-flow向量的垂直偏移量，表示的sift-flow向量的水平偏移量，表示的sift-flow向量的垂直偏移量，表示的sift-flow向量的水平偏移量，表示的sift-flow向量的垂直偏移量，表示的sift-flow向量的水平偏移量，表示的sift-flow向量的垂直偏移量，(ao,k)t为ao,k的转置，((ao,k)tao,k)-1为(ao,k)tao,k的逆，的维数为6×1；b3、根据iorg中的每个四边形网格的相似性变换矩阵，计算iorg中的每个四边形网格的几何失真，将uo,k的几何失真记为ζo,k，；其中，表示中的第1个元素，表示中的第2个元素，表示中的第4个元素，表示中的第5个元素；b4、根据iorg中的每个四边形网格的几何失真，计算qgem，其中，so(k)表示idif中与uo,k位置对应的子块中的所有像素点的像素值的均值。与现有技术相比，本发明的优点在于：本发明方法利用尺度不变特征变换流建立原始图像与绘制图像之间的匹配关系，计算绘制图像的纹理失真和几何失真，然后利用支持向量回归对训练集中的由纹理失真和几何失真构成的特征矢量进行训练，构造得到绘制图像的支持向量回归训练模型；在测试阶段，通过计算测试集中的绘制图像的特征矢量，并根据构造的绘制图像的支持向量回归训练模型，预测得到测试集中的绘制图像的客观质量评价预测值，由于获得的特征矢量具有较强的稳定性且能够较好地反映绘制图像的质量变化情况，因此有效地提高了客观评价结果与主观感知之间的相关性。附图说明图1为本发明方法的总体实现框图；图2a为第1种扫描模式的示意图；图2b为第2种扫描模式的示意图；图2c为第3种扫描模式的示意图；图2d为第4种扫描模式的示意图；图2e为第5种扫描模式的示意图；图2f为第6种扫描模式的示意图。具体实施方式以下结合附图实施例对本发明作进一步详细描述。本发明提出的一种绘制图像质量评价方法，其总体实现框图如图1所示，其包括以下步骤：步骤一：令iorg表示原始图像，令isyn表示iorg对应的绘制图像；将iorg中坐标位置为(x,y)的像素点的像素值记为iorg(x,y)，将isyn中坐标位置为(x,y)的像素点的像素值记为isyn(x,y)；其中，1≤x≤w，1≤y≤h，w表示iorg和isyn的宽度，h表示iorg和isyn的高度。步骤二：采用现有的sift-flow(scale-invariantfeaturetransformflow，尺度不变特征变换流)方法，建立iorg与isyn之间的匹配关系，得到iorg中的每个像素点的sift-flow向量，将iorg中坐标位置为(x,y)的像素点的sift-flow向量记为vo(x,y)，然后根据iorg中的所有像素点的sift-flow向量，从iorg中重构得到重构绘制图像，记为将中坐标位置为的像素点的像素值记为其中，用于表示水平方向，用于表示垂直方向，表示vo(x,y)的水平偏移量，表示vo(x,y)的垂直偏移量，中的“＝”为赋值符号。步骤三：计算isyn与的残差图像，记为idif，将idif中坐标位置为(x,y)的像素点的像素值记为idif(x,y)，然后将idif划分成个互不重叠的尺寸大小为16×16的子块；再从idif中的所有子块中提取出所有属于关键区域的子块，若idif中的任一个子块中的所有像素点中像素值不为0的像素点的个数大于t2，则确定该子块属于关键区域，将idif中的所有属于关键区域的子块构成的集合记为其中，符号“||”为取绝对值符号，表示中坐标位置为(x,y)的像素点的像素值，符号为向下取整运算符号，t1和t2均为阈值，在本实施例中取t1＝40、t2＝32。步骤四：根据isyn和及计算isyn的纹理失真，记为qtex；并根据iorg中的像素点的sift-flow向量和idif中的子块，计算isyn的几何失真，记为qgem。在本实施例中，步骤四中的qtex的获取过程为：a1、将isyn和分别从rgb颜色空间转化为cielab颜色空间，三个分量分别为亮度分量、第一色度分量(指分量a)和第二色度分量(指分量b)。a2、将isyn的第一色度分量中与位置对应的区域分割成尺寸大小为2×2的非重叠子块；然后确定isyn的第一色度分量中的每个非重叠子块的扫描模式，对于isyn的第一色度分量中的任一个非重叠子块的扫描模式的确定过程为：以该非重叠子块的左上角像素点为起点，将起点作为第1个指向像素点，将剩余的3个像素点中像素值与第1个指向像素点的像素值的差的绝对值最小的一个像素点作为第1个被指向像素点，连接第1个指向像素点与第1个被指向像素点；将第1个被指向像素点作为第2个指向像素点，将剩余的2个像素点中像素值与第2个指向像素点的像素值的差的绝对值最小的一个像素点作为第2个被指向像素点，连接第2个指向像素点与第2个被指向像素点；将第2个被指向像素点作为第3个指向像素点，将剩余的1个像素点作为第3个被指向像素点，连接第3个指向像素点与第3个被指向像素点；将连接4个像素点的连接方式作为该非重叠子块的扫描模式；接着获取isyn的第一色度分量中的所有非重叠子块的颜色共生矩阵，记为{p(j1,j2)|1≤j1≤j,1≤j2≤j}；其中，j1和j2均为正整数，j1和j2的初始值均为1，1≤j1≤j，1≤j2≤j，j1≠j2，j表示扫描模式的总数目，j＝6，p(j1,j2)表示isyn的第一色度分量中扫描模式为第j1种扫描模式的非重叠子块及与其垂直上相邻且扫描模式为第j2种扫描模式的非重叠子块同时出现的概率。同样，将的第一色度分量中与位置对应的区域分割成尺寸大小为2×2的非重叠子块；然后确定的第一色度分量中的每个非重叠子块的扫描模式，对于的第一色度分量中的任一个非重叠子块的扫描模式的确定过程为：以该非重叠子块的左上角像素点为起点，将起点作为第1个指向像素点，将剩余的3个像素点中像素值与第1个指向像素点的像素值的差的绝对值最小的一个像素点作为第1个被指向像素点，连接第1个指向像素点与第1个被指向像素点；将第1个被指向像素点作为第2个指向像素点，将剩余的2个像素点中像素值与第2个指向像素点的像素值的差的绝对值最小的一个像素点作为第2个被指向像素点，连接第2个指向像素点与第2个被指向像素点；将第2个被指向像素点作为第3个指向像素点，将剩余的1个像素点作为第3个被指向像素点，连接第3个指向像素点与第3个被指向像素点；将连接4个像素点的连接方式作为该非重叠子块的扫描模式；接着获取的第一色度分量中的所有非重叠子块的颜色共生矩阵，记为其中，表示的第一色度分量中扫描模式为第j1种扫描模式的非重叠子块及与其垂直上相邻且扫描模式为第j2种扫描模式的非重叠子块同时出现的概率。对于一个尺寸大小为2×2的子块，且在起点确定的情况下，那么该子块的扫描模式只有6种(即j＝6)，图2a至图2f给出了这6种扫描模式的示意图。在此，对于任一个非重叠子块，与其垂直上相邻的非重叠子块，为该非重叠子块上方且相邻的非重叠子块。a3、根据{p(j1,j2)|1≤j1≤j,1≤j2≤j}和计算qtex，qtex＝log2(δmax+1)，其中，符号“||”为取绝对值符号，max()为取最大值函数。在本实施例中，步骤四中的qgem的获取过程为：b1、将iorg划分成个互不重叠的尺寸大小为16×16的四边形网格，将iorg中的第k个四边形网格记为uo,k，uo,k以其左上、左下、右上和右下4个网格顶点的集合来描述，其中，符号为向下取整运算符号，k为正整数，k的初始值为1，1≤k≤m，对应表示uo,k的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，b2、根据iorg中的每个四边形网格的所有网格顶点的sift-flow向量，得到iorg中的每个四边形网格在isyn中匹配的四边形网格，将uo,k在isyn中匹配的四边形网格记为然后计算iorg中的每个四边形网格的相似性变换矩阵，将uo,k的相似性变换矩阵记为其中，对应表示的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，也即为在isyn中匹配的网格顶点，也即为在isyn中匹配的网格顶点，也即为在isyn中匹配的网格顶点，也即为在isyn中匹配的网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，表示的sift-flow向量的水平偏移量，表示的sift-flow向量的垂直偏移量，表示的sift-flow向量的水平偏移量，表示的sift-flow向量的垂直偏移量，表示的sift-flow向量的水平偏移量，表示的sift-flow向量的垂直偏移量，表示的sift-flow向量的水平偏移量，表示的sift-flow向量的垂直偏移量，(ao,k)t为ao,k的转置，((ao,k)tao,k)-1为(ao,k)tao,k的逆，的维数为6×1。b3、根据iorg中的每个四边形网格的相似性变换矩阵，计算iorg中的每个四边形网格的几何失真，将uo,k的几何失真记为ζo,k，；其中，表示中的第1个元素，表示中的第2个元素，表示中的第4个元素，表示中的第5个元素。b4、根据iorg中的每个四边形网格的几何失真，计算qgem，其中，so(k)表示idif中与uo,k位置对应的子块中的所有像素点的像素值的均值。步骤五：根据qtex和qgem，获取isyn的特征矢量，记为q，q＝[qtex,qgem]；其中，q的维数为2×1，[qtex,qgem]表示将qtex和qgem连接起来形成一个特征矢量。步骤六：将n幅绘制图像构成绘制图像集合；然后采用现有的主观质量评价方法，获取绘制图像集合中的每幅绘制图像的主观评分差值，将绘制图像集合中的第g1幅绘制图像的主观评分差值记为并按照步骤一至步骤五的过程，以相同的方式获取绘制图像集合中的每幅绘制图像的特征矢量，将绘制图像集合中的第g1幅绘制图像的特征矢量记为其中，n为正整数，n＞1，g1为正整数，g1的初始值为1，1≤g1≤n，的维数为2×1。步骤七：随机选择绘制图像集合中的m幅绘制图像构成训练集，将绘制图像集合中剩余的n-m幅绘制图像构成测试集；然后将训练集中的所有绘制图像的特征矢量和主观评分差值构成训练样本数据集合；接着采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与主观评分差值之间的误差最小，拟合得到最优的权重矢量wopt和最优的偏置项bopt；再利用得到的最优的权重矢量wopt和最优的偏置项bopt，构造绘制图像的支持向量回归训练模型，记为f(finp)，其中，m为正整数，m∈[1,n)，f()为函数表示形式，finp表示绘制图像的支持向量回归训练模型的输入矢量，为绘制图像的特征矢量，finp的维数为2×1，(wopt)t为wopt的转置，表示绘制图像的支持向量回归训练模型的输入矢量finp的线性函数。步骤八：将测试集中的所有绘制图像的特征矢量构成测试样本数据集合；然后根据构造得到的绘制图像的支持向量回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的绘制图像的客观质量评价预测值，将测试样本数据集合中的第q个特征矢量对应的绘制图像的客观质量评价预测值记为其中，q为正整数，q的初始值为1，1≤q≤n-m，fq表示测试样本数据集合中的第q个特征矢量，fq的维数为2×1，表示fq的线性函数。步骤九：重复执行步骤七至步骤八共num次，并使绘制图像集合中的每幅绘制图像至少有一次属于测试集，经过num次执行后计算绘制图像集合中的每幅绘制图像的若干个客观质量评价预测值的平均值，再将绘制图像集合中的每幅绘制图像的客观质量评价预测值的平均值作为该幅绘制图像的最终的客观质量评价预测值；其中，num＞1，在本实施例中取num＝1000。为了进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。在本实施例中，采用本发明方法对irccyn/ivc、ietr和mcl-3d绘制图像质量评价库进行测试。irccyn/ivc绘制图像质量评价库包括84幅绘制图像，ietr绘制图像质量评价库包括140幅绘制图像，mcl-3d绘制图像质量评价库包含693幅绘制图像。利用评估图像质量评价方法的2个常用客观参量作为评价指标，即非线性回归条件下的pearson线性相关系数(pearsonlinearcorrelationcoefficient，plcc)和spearman秩等级相关系数(spearmanrankordercorrelationcoefficient，srocc)。plcc和srocc越高说明本发明方法的评价结果与主观评分差值的相关性越好。表1给出了本发明方法得到的最终的客观质量评价预测值与主观评分差值之间的相关性。表1采用本发明方法得到的最终的客观质量评价预测值与主观评分差值之间的相关性绘制图像质量评价库plccsroccirccyn/ivc0.77340.7520ietr0.72410.6891mcl-3d0.79460.7883从表1中可以看出，采用本发明方法得到的绘制图像的最终的客观质量评价预测值与主观评分差值之间的相关性是很高的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的有效性。当前第1页12