基于四元数小波变换的全参考3D合成图像质量评价方法

本发明属于图像处理领域，尤其涉及一种方法计算方便、综合考虑了图像的四元数小波系数相似度特征、纹理相似度特征和拉伸相似度特征、提高了3d合成图像质量评价精度的基于四元数小波变换的全参考3d合成图像质量评价方法。

背景技术：

随着三维技术的发展，自由视点视频技术在三维电视、虚拟现实和三维视频会议等领域得到广泛应用，自由视点视频技术促进了基于深度图的绘制(depth-imagebasedrender，dibr)技术的发展，dibr技术根据已有的视点图像生成3d合成图像，减少了三维图像和视频的存储和传输数据量。由于不精确的深度图估计、遮挡和合成算法等原因，采用dbir技术合成的3d合成图像存在着失真，与自然图像失真不同的是，这些失真主要由几何失真构成，传统的图像质量评价方法主要针对自然图像失真进行评价，针对3d合成图像失真效果不佳。因此有必要开发专门针对3d合成图像失真进行评价的图像质量评价方法。

针对3d合成图像质量评价，国内外学者提出了一些方法。battisti[f.battisti，e.bosc，m.carli，p.lecallet，ands.perugia，objectiveimagequalityassessmentof3dsynthesizedviews，signalprocessingandimagecommunication，vol.30，2015.]采用参考图像和失真图像的小波系数统计特征相似度进行3d合成图像质量评价；sandic-stankovic[d.sandic-stankovic，d.kukolj，andp.lecallet，dibr-synthesizedimagequalityassessmentbasedonmorpho-logicalwavelets，inproc.ieeeint.workshopqualitymultimediaexperience，2015.]采用形态小波分解，并计算参考图像和失真图像分解系数的psnr(峰值信噪比)进行3d合成图像质量评价；yue[g.yue，c.hou，k.gu，t.zhou，andg.zhai，combininglocalandglobalmeasuresfordibr-synthesizedimagequalityevaluation，ieeetransactiononimageprocessing，2018.]通过计算遮挡区域中心像素和邻域像素的相似度来衡量几何失真，同时计算失真图像和其下采样图像之间的距离来衡量模糊失真，结合几何失真和模糊失真得到总的客观图像质量评价结果；gu[k.gu，v.jakhetiya，j.f.qiao，x.li，w.linandd.thalmann，model-basedreferencelessqualitymetricof3dsynthesizedimagesusinglocalimagedescription，ieeetransactiononimageprocessing，27(1)：394-405，2018.]采用自相关模型检测几何失真，并结合视觉显著度进行3d合成图像质量评价。

以上方法在进行3d合成图像质量评价时，只考虑了局部失真，但3d合成图像除了局部失真外，也存在全局结构失真和梯度失真，此外，图像复杂度对3d合成图像质量评价结果也有一定影响，所以这些方法与主观评价结果之间仍存在差距。因此需要一种计算方便和更高图像质量评价精度的基于四元数小波变换的全参考3d合成图像质量评价方法。

因此需要一种方法计算方便、综合考虑了图像的四元数小波系数相似度特征、纹理相似度特征和拉伸相似度特征、提高了3d合成图像质量评价精度的基于四元数小波变换的全参考3d合成图像质量评价方法。

技术实现要素：

本发明的目的是提供一种方法计算方便、综合考虑了图像的四元数小波系数相似度特征、纹理相似度特征和拉伸相似度特征、提高了3d合成图像质量评价精度的基于四元数小波变换的全参考3d合成图像质量评价方法。

基于四元数小波变换的全参考3d合成图像质量评价方法，包括：

步骤(1)：从输入3d合成图像失真图像集中输入彩色失真图像x和彩色参考图像a，将彩色失真图像转换为灰度失真图像i，将彩色参考图像转换为灰度参考图像d；

步骤(2)：计算彩色失真图像x和彩色参考图像a之间的四元数小波系数相似度v，具体步骤如下：

步骤(2.1)：对彩色失真图像x，将其分解为红色分量xr、绿色分量xg和蓝色分量xb；对彩色参考图像a，将其分解为红色分量ar、绿色分量ag和蓝色分量ab；

步骤(2.2)：将彩色失真图像x的红色分量xr在(x，y)位置的像素取值xr(x，y)、绿色分量xg在(x，y)位置的像素取值xg(x，y)和蓝色分量xb在(x，y)位置的像素取值xb(x，y)组成四元数变量qx(x，y)，并将彩色参考图像a的红色分量ar在(x，y)位置的像素取值ar(x，y)、绿色分量ag在(x，y)位置的像素取值ag(x，y)和蓝色分量ab在(x，y)位置的像素取值ab(x，y)组成四元数变量qa(x，y)，采用公式如下：

其中，和分别表示四元数的三个虚数单位；

步骤(2.3)：将四元数变量qx(x，y)组合成四元数失真图像qx，将四元数变量qa(x，y)组合成四元数参考图像qa；

步骤(2.4)：对彩色失真图像x构建的四元数失真图像qx进行四元数小波变换，分别得到低频子带(ll)和三个高频子带(lh、hl、hh)的四元数小波系数，记为在每个子带上得到一个幅值ρx和三个相位，三个相位分别记为φx和θx，采用公式如下：

其中，a为四元数小波系数的实部，b、c和d分别为四元数小波系数的虚部，arctan(·)为求反正切操作；

步骤(2.5)：对幅值ρx采用canny算子进行边缘检测，得到幅度边缘ηx；

步骤(2.6)：采用与步骤(2.4)类似的方法对彩色参考图像a构建的四元数图像qa进行四元数小波变换，分别得到低频子带(ll)和三个高频子带(lh、hl、hh)，在每个子带上得到一个幅值ρa和三个相位，分别记为φa和θa；

步骤(2.7)：对幅值ρa采用canny算子进行边缘检测，得到幅度边缘ηa；

步骤(2.8)：计算彩色失真图像x和彩色参考图像a之间低频子带(ll)的一个幅度边缘相似度s1和三个相位相似度s2、s3和s4，计算公式如下：

其中，c1、c2、c3和c4为避免分母为零而设的常数；

步骤(2.9)：将ll子带的一个幅度边缘相似度和三个相位相似度组合成ll低频子带相似度sll，计算公式如下：

其中，α1、β1、λ1和γ1分别为s1、s2、s3和s4的指数；

步骤(2.10)：同样按步骤(2.8)到步骤(2.9)的方法得到lh子带相似度slh、hl子带相似度shl和hh子带相似度shh；

步骤(2.11)：融合ll子带相似度sll、lh子带相似度slh、hl子带相似度shl和hh子带相似度shh得到总的四元数小波系数相似度v，采用公式如下：

v＝ω1sll+ω2slh+ω3shl+ω4shh

其中，ω1、ω2、ω3和ω4分别为加权系数；

步骤(3)：计算灰度失真图像i和灰度参考图像d之间的纹理相似度z，具体步骤如下：

步骤(3.1)：计算得到0°、45°、90°和135°四个方向灰度共生矩阵的归一化矩阵，具体计算公式如下：

其中，p和q分别为灰度共生矩阵的横向和纵向索引，cm0(p，q)为0°方向的灰度共生矩阵，cm45(p，q)为45°方向的灰度共生矩阵，cm90(p，q)为90°方向的灰度共生矩阵，cm135(p，q)为135°方向的灰度共生矩阵，ncm0(p，q)为0°方向的归一化灰度共生矩阵，ncm45(p，q)为45°方向的归一化灰度共生矩阵，ncm90(p，q)为90°方向的归一化灰度共生矩阵，ncm135(p，q)为135°方向的归一化灰度共生矩阵；

步骤(3.2)：对四个方向的灰度共生矩阵计算二阶矩、熵、对比度和均匀度，计算方法如下：

二阶矩wmθ计算公式为：

其中θ＝0°，45°，90°，135°；

共生矩阵熵weθ计算公式为：

其中θ＝0°，45°，90°，135°；

其中，log(·)为求取对数操作；

对比度wcθ计算公式为：

其中θ＝0°，45°，90°，135°；

其中，|·|为求取绝对值操作；

均匀度whθ计算公式为：

其中θ＝0°，45°，90°，135°；

其中，τ为避免分母为零而设的常数；|·|为求取绝对值操作；

步骤(3.3)：计算灰度失真图像i和灰度参考图像d之间的纹理相似度z，具体公式如下：

步骤(3.3.1)：计算四个方向的灰度共生矩阵二阶矩相似度，计算公式如下：

其中，wmθd为灰度参考图像d的灰度共生矩阵二阶矩，wmθi为灰度失真图像i的灰度共生矩阵二阶矩，wθ为θ方向的灰度共生矩阵二阶矩相似度，其中θ＝0°，45°，90°，135°，c5为避免分母为零而设的常数；

步骤(3.3.2)：将四个方向的灰度共生矩阵二阶矩相似度合成为二阶矩相似度w1，采用公式如下：

其中，α2、β2、λ2和γ2分别为w0、w45、w90和w135的指数；

步骤(3.3.3)：同样按步骤(3.3.1)到步骤(3.3.2)的方法计算共生矩阵熵相似度w2、对比度相似度w3和均匀度相似度w4；

步骤(3.3.4)：融合步骤(3.3.2)得到的二阶矩相似度w1，步骤(3.3.3)的共生矩阵熵相似度w2、对比度相似度w3和均匀度相似度w4得到总的纹理相似度z，采用公式如下：

z＝ω1w1+ω2w2+ω3w3+ω4w4

其中，ω1、ω2、ω3和ω4为加权系数；

步骤(4)：计算灰度失真图像i和灰度参考图像d之间的拉伸相似度y，具体步骤如下：

步骤(4.1)：对灰度失真图像i和灰度参考图像d分别采用sobel算子提取出梯度信息，其中水平方向的sobel算子公式如下：

步骤(4.2)：采用四个方向的sobel算子分别对输入灰度失真图像i和灰度参考图像d进行滤波，计算公式表示如下：

其中表示二维卷积运算，s0分别是灰度参考图像d经过水平方向的sobel算子p0卷积滤波后得到的图像，t0分别是参考图像d经过水平方向的sobel算子p0卷积滤波后得到的图像；

其中，μd1为灰度参考图像d的左拉伸区域的梯度均值，μi1为灰度失真图像i的左拉伸区域的梯度均值，μd2为灰度参考图像d的右拉伸区域的梯度均值，μi2为灰度失真图像i的右拉伸区域的梯度均值；σd1为灰度参考图像d的左拉伸区域的梯度标准差，σi1为灰度失真图像i的左拉伸区域的梯度标准差，σd2为灰度参考图像d的右拉伸区域的梯度标准差，σi2为灰度失真图像i的右拉伸区域的梯度标准差；m为灰度失真图像i或灰度参考图像d的纵向索引，l为灰度失真图像i或灰度参考图像d的横向索引；m为灰度失真图像i或灰度参考图像d的高度，l为图像中左拉伸区域和右拉伸区域的宽度；

步骤(4.3)：计算灰度失真图像i和灰度参考图像d之间的拉伸相似度y，计算公式如下：

y＝y1×y2

其中，y1是左拉伸区域的拉伸相似度，y2是右拉伸区域的拉伸相似度，y是灰度失真图像i和灰度参考图像d之间的拉伸相似度，c6为避免分母为零而设的常数；c7为避免分母为零而设的常数；

步骤(5)：融合步骤步骤(2)的四元数小波系数相似度v、步骤(3)的的纹理相似度z和步骤(4)的拉伸相似度y，得到总的图像质量评价准则k，得到总的图像质量评价准则k，计算公式如下：

其中，α3、β3和λ3分别为v、z和y的指数。

所述c1、c2、c3、c4、c5、c6和c7取值均为0.01。

所述ω1、ω2、ω3和ω4取值分别为0.5、0.2、0.2和0.1。

所述α1取值为0.7，β1取值为0.2，λ1取值为0.2，γ1取值为0.1。

所述α2取值为0.7，β2取值为0.2，λ2取值为0.2，γ2取值为0。

所述α3取值为0.7，β3取值为0.2，λ3取值为0.2，γ3取值为0.1。

所述τ取值均为1。

本发明涉及一种基于四元数小波变换的全参考3d合成图像质量评价方法，该方法将彩色图像转换成灰度图像后，计算灰度失真图像i和灰度参考图像d之间的四元数小波系数相似度v，计算灰度失真图像i和灰度参考图像d之间的纹理相似度z，计算灰度失真图像i和灰度参考图像d之间的拉伸相似度y，最后融合四元数小波系数相似度、纹理相似度和拉伸相似度得到总的3d合成图像质量评价结果；该方法充分考虑3d合成失真图像与参考图像之间的彩色图像高频细节失真、图像纹理失真和左右边框的拉伸失真，采用四元数小波变换提取3d合成彩色图像的高频细节信息，采用0°、45°、90°和135°四个方向的灰度共生矩阵二阶矩、熵、对比度和均匀度提取3d合成彩色图像的纹理信息，采用水平方向sobel算子提取3d彩色图像左右拉伸区域的拉伸失真信息，综合考虑高频细节信息、纹理信息和拉伸失真信息，提高了3d合成图像质量评价精度。

附图说明

图1为基于四元数小波变换的全参考3d合成图像质量评价方法流程图。

图2为灰度失真图像i或灰度参考图像d中左拉伸区域和右拉伸区域位置示意图。

具体实施方式

以下结合附图和具体实施例，对本发明做进一步说明。本发明采用irccyn/ivc合成图像数据库作为实验数据库，该数据库包含12幅参考图像和84幅3d综合图像，所有图像分辨率为1024×768，其中，综合图像由7种不同的dbir算法生成，同时irccyn/ivc数据库提供了每一幅图像的主观查分平均意见分值(dmos)；

基于四元数小波变换的全参考3d合成图像质量评价方法，包括：

步骤(1)：从输入3d合成图像失真图像集中输入彩色失真图像和彩色参考图像，将彩色失真图像转换为灰度失真图像i，将彩色参考图像转换为灰度参考图像d；

步骤(2)：计算彩色失真图像x和彩色参考图像a之间的四元数小波系数相似度v，具体步骤如下：

步骤(2.1)：对彩色失真图像x，将其分解为红色分量xr、绿色分量xg和蓝色分量xb；对彩色参考图像a，将其分解为红色分量ar、绿色分量ag和蓝色分量ab；

步骤(2.2)：将彩色失真图像x的红色分量xr在(x，y)位置的像素取值xr(x，y)、绿色分量xg在(x，y)位置的像素取值xg(x，y)和蓝色分量xb在(x，y)位置的像素取值xb(x，y)组成四元数变量qx(x，y)，并将彩色参考图像a的红色分量ar在(x，y)位置的像素取值ar(x，y)、绿色分量ag在(x，y)位置的像素取值ag(x，y)和蓝色分量ab在(x，y)位置的像素取值ab(x，y)组成四元数变量qa(x，y)，采用公式如下：

其中，和分别表示四元数的三个虚数单位；

步骤(2.3)：将四元数变量qx(x，y)组合成四元数失真图像qx，将四元数变量qa(x，y)组合成四元数参考图像qa；

步骤(2.4)：对彩色失真图像x构建的四元数失真图像qx进行四元数小波变换，分别得到低频子带(ll)和三个高频子带(lh、hl、hh)的四元数小波系数，记为在每个子带上得到一个幅值ρx和三个相位，三个相位分别记为φx和θx，采用公式如下：

其中，a为四元数小波系数的实部，b、c和d分别为四元数小波系数的虚部，arctan(·)为求反正切操作；

步骤(2.5)：对幅值ρx采用canny算子进行边缘检测，得到幅度边缘ηx；其中，canny算子的高斯半径选取为2，低阈值为30，高阈值为100；

步骤(2.6)：采用与步骤(2.4)类似的方法对彩色参考图像a构建的四元数图像qa进行四元数小波变换，分别得到低频子带(ll)和三个高频子带(lh、hl、hh)，在每个子带上得到一个幅值ρa和三个相位，分别记为φa和θa；

步骤(2.7)：对幅值ρa采用canny算子进行边缘检测，得到幅度边缘ηa；其中，canny算子的高斯半径选取为2，低阈值为30，高阈值为100；

步骤(2.8)：计算彩色失真图像x和彩色参考图像a之间低频子带(ll)的一个幅度边缘相似度s1和三个相位相似度s2、s3和s4，计算公式如下：

其中，c1、c2、c3和c4为避免分母为零而设的常数；c1、c2、c3和c4取值均为0.01；

步骤(2.9)：将ll子带的一个幅度边缘相似度和三个相位相似度组合成ll低频子带相似度sll，计算公式如下：

其中，α1、β1、λ1和γ1分别为s1、s2、s3和s4的指数；α1、β1、λ1和γ1取值分别为0.7、0.2、0.2和0.1；

步骤(2.10)：同样按步骤(2.8)到步骤(2.9)的方法得到lh子带相似度slh、hl子带相似度shl和hh子带相似度shh；

步骤(2.11)：融合ll子带相似度sll、lh子带相似度slh、hl子带相似度shl和hh子带相似度shh得到总的四元数小波系数相似度v，采用公式如下：

v＝ω1sll+ω2slh+ω3shl+ω4shh

其中，ω1、ω2、ω3和ω4分别为加权系数；ω1、ω2、ω3和ω4取值分别为0.5、0.2、0.2和0.1；

步骤(3)：计算灰度失真图像i和灰度参考图像d之间的纹理相似度z，具体步骤如下：

步骤(3.1)：计算得到0°、45°、90°和135°四个方向灰度共生矩阵的归一化矩阵，具体计算公式如下：

其中，p和q分别为灰度共生矩阵的横向和纵向索引，cm0(p，q)为0°方向的灰度共生矩阵，cm45(p，q)为45°方向的灰度共生矩阵，cm90(p，q)为90°方向的灰度共生矩阵，cm135(p，q)为135°方向的灰度共生矩阵，ncm0(p，q)为0°方向的归一化灰度共生矩阵，ncm45(p，q)为45°方向的归一化灰度共生矩阵，ncm90(p，q)为90°方向的归一化灰度共生矩阵，ncm135(p，q)为135°方向的归一化灰度共生矩阵；

步骤(3.2)：对四个方向的灰度共生矩阵计算二阶矩、熵、对比度和均匀度，计算方法如下：

二阶矩wmθ计算公式为：

其中θ＝0°，45°，90°，135°；

共生矩阵熵weθ计算公式为：

其中θ＝0°，45°，90°，135°；

其中，log(·)为求取对数操作；

对比度wcθ计算公式为：

其中θ＝0°，45°，90°，135°；

其中，|·|为求取绝对值操作；

均匀度whθ计算公式为：

其中θ＝0°，45°，90°，135°；

其中，τ为避免分母为零而设的常数；τ取值为1；|·|为求取绝对值操作；

步骤(3.3)：计算灰度失真图像i和灰度参考图像d之间的纹理相似度z，具体公式如下：

步骤(3.3.1)：计算四个方向的灰度共生矩阵二阶矩相似度，计算公式如下：

其中，wmθd为灰度参考图像d的灰度共生矩阵二阶矩，wmθi为灰度失真图像i的灰度共生矩阵二阶矩，wθ为θ方向的灰度共生矩阵二阶矩相似度，其中θ＝0°，45°，90°，135°；c5为避免分母为零而设的常数；c5取值均为0.01；

步骤(3.3.2)：将四个方向的灰度共生矩阵二阶矩相似度合成为二阶矩相似度w1，采用公式如下：

其中，α2、β2、λ2和γ2分别为w0、w45、w90和w135的指数；α2、β2、λ2和γ2取值分别为1、0.5、1和0.5；

步骤(3.3.3)：同样按步骤(3.3.1)到步骤(3.3.2)的方法计算共生矩阵熵相似度w2、对比度相似度w3和均匀度相似度w4；

步骤(3.3.4)：融合步骤(3.3.2)得到的二阶矩相似度w1，步骤(3.3.3)的共生矩阵熵相似度w2、对比度相似度w3和均匀度相似度w4得到总的纹理相似度z，采用公式如下：

z＝ω1w1+ω2w2+ω3w3+ω4w4

其中，ω1、ω2、ω3和ω4为加权系数；ω1、ω2、ω3和ω4数值取值均为0.25；

步骤(4)：计算灰度失真图像i和灰度参考图像d之间的拉伸相似度y，具体步骤如下：

步骤(4.1)：对灰度失真图像i和灰度参考图像d分别采用sobel算子提取出梯度信息，其中水平方向的sobel算子公式如下：

步骤(4.2)：采用四个方向的sobel算子分别对输入灰度失真图像i和灰度参考图像d进行滤波，计算公式表示如下：

其中表示二维卷积运算，s0分别是灰度参考图像d经过水平方向的sobel算子p0卷积滤波后得到的图像，t0分别是参考图像d经过水平方向的sobel算子p0卷积滤波后得到的图像；

其中，μd1为灰度参考图像d的左拉伸区域的梯度均值，μi1为灰度失真图像i的左拉伸区域的梯度均值，μd2为灰度参考图像d的右拉伸区域的梯度均值，μi2为灰度失真图像i的右拉伸区域的梯度均值；σd1为灰度参考图像d的左拉伸区域的梯度标准差，σi1为灰度失真图像i的左拉伸区域的梯度标准差，σd2为灰度参考图像d的右拉伸区域的梯度标准差，σi2为灰度失真图像i的右拉伸区域的梯度标准差；m为灰度失真图像i或灰度参考图像d的纵向索引，l为灰度失真图像i或灰度参考图像d的横向索引；m为灰度失真图像i或灰度参考图像d的高度，l为图像中左拉伸区域和右拉伸区域的宽度；l取值为20；

步骤(4.3)：计算灰度失真图像i和灰度参考图像d之间的拉伸相似度y，计算公式如下：

y＝y1×y2

其中，y1是左拉伸区域的拉伸相似度，y2是右拉伸区域的拉伸相似度，y是灰度失真图像i和灰度参考图像d之间的拉伸相似度，c6为避免分母为零而设的常数；c7为避免分母为零而设的常数；c6取值均为0.01；c7取值均为0.01；

步骤(5)：融合步骤步骤(2)的四元数小波系数相似度v、步骤(3)的的纹理相似度z和步骤(4)的拉伸相似度y，得到总的图像质量评价准则k，计算公式如下：

其中，α3、β3和λ3分别为v、z和y的指数；α3、β3和λ3取值分别为1、0.5和1。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。