一种基于贝叶斯压缩感知的无参考图像质量客观评价方法与流程

本发明属于图像处理领域，涉及一种图像质量评价方法，尤其涉及一种基于贝叶斯压缩感知的无参考图像质量评价方法。

背景技术

图像质量评价是图像处理领域的关键问题，图像质量评价方法根据是否有人的参与可分成主观图像质量评价方法和客观图像质量评价方法。主观图像质量评价方法由人对图像进行打分，评价结果精确，但评价过程复杂，耗时时间长，难以得到实时应用。客观图像质量评价方法无需人的参与，通过特定的计算机算法自动预测图像质量。根据是否使用原始无失真图像作为参考，可将客观图像质量评价方法分成全参考图像质量评价方法，半参考图像质量评价方法和无参考图像质量评价方法。全参考算法使用参考图像的所有信息预测图像质量，半参考图像质量评价方法采用参考图像的部分信息进行图像质量预测，无参考图像质量评价方法不使用参考图像的任何信息进行图像质量评价。目前的无参考图像质量评价方法，根据适用范围，大致可分为两类:针对特定失真类型的方法和适用于多种失真类型的方法。由于针对特定失真类型的方法需要知道其失真类型，故其适用范围受到了限制，因此研究适用于多种失真类型的通用方法成了图像质量评价领域的热点。然而，而且现阶段对于人类视觉系统和自然图像统计特性等方面的理解并不充分，无参考图像质量评价的研究进展相对缓慢。本发明设计了一种基于贝叶斯压缩感知的无参考图像质量评价方法。

技术实现要素：

本发明的目的是针对现有技术的不足，提供一种基于贝叶斯压缩感知的无参考图像质量客观评价方法。

本发明的目的是通过以下技术方案来实现的：一种基于贝叶斯压缩感知的无参考图像质量客观评价方法，包括以下步骤：

步骤(1)：输入训练图像，所述训练图像包括参考图像和失真图像；

步骤(2)：将步骤1的参考图像和失真图像进行灰度变换，将彩色图像变换成灰度图像x；

步骤(3)：将步骤2变换得到的灰度图像x的宽度和高度扩展成n的倍数，再将扩展后的灰色图像分成不重叠的大小为n×n的图像块xi，其中1≤i≤m，xi为划分后的图像块矩阵，xi∈r^n×n,n为图像块的高度和宽度，m为图像块的个数，r为实数；

步骤(4)：将图像块xi采用小波变换进行多层分解，将多层近似系数和细节系数组合成向量c，其中c为小波系数向量，c∈r^k×1，k为小波系数向量的元素个数；

步骤(5)：构建随机采样矩阵ψ，ψ∈r^l×k，其中，l和k为采样矩阵ψ的行数和列数，并且l＜k；用随机采样矩阵ψ采样小波系数向量c，得到采样向量g，其中g∈r^l×1，采样公式如下：

g＝ψc；

步骤(6)：根据采样向量g和采样矩阵ψ采用贝叶斯压缩感知对图像块矩阵xi进行预测，具体步骤如下：

步骤(6.1)：首先初始化超参数β0和β，其中超参数初始化公式如下：

β0＝(var(g))^-1，β＝[β1，β2，...,βk]^t＝ψ^tg；

其中，var(·)表示求取向量方差操作，(·)^-1为求倒数操作，β0为初始的超参数，β为超参数向量，β1,...,βk为超参数向量β的k个元素；

步骤(6.2)：根据超参数β0和β、采样矩阵ψ和采样向量g计算小波系数向量c满足的多维高斯分布的均值μ和协方差矩阵σ，计算公式如下:

σ＝(β0ψ^tψ+b)^-1

μ＝β0σψ^tg

其中,b为超参数向量β的k个元素β1,...,βk组成的对角矩阵，b＝diag(β1,β2,...,βk)，

μ为c满足的多维高斯分布的均值，σ为c满足的多维高斯分布的协方差矩阵，(·)^-1为矩阵求逆操作；

步骤(6.3)：迭代计算新的超参数β0^*和β^*，计算公式如下：

其中1≤k≤l

其中，λk＝1-βkσkk，∑kk为步骤7中∑矩阵的第k个对角元素,l为采样矩阵ψ的行数；

步骤(6.4)：重复步骤6.1-步骤6.3，直到完成n次迭代循环，其中迭代循环次数n选取为10000；

步骤(6.5)：对向量c的均值μ求小波反变换，并展开成二维矩阵，得到估计图像块yi，其中1≤i≤m，m为图像块的个数；

步骤(7)：利用原始图像块xi和估计图像块yi，采用结构相似度索引ssim计算原始图像块xi和估计图像块yi的相似度，得到m个图像块的结构相似度索引均值q(p)，其中结构相似度索引ssim计算公式为：

其中，r和c分别为原始图像块xi或估计图像块yi的行索引和列索引，m和n分别为二维高斯滤波器系数的行索引和列索引，ωm,n为二维高斯滤波器系数,n为滤波器窗口大小，c1和c2为避免分母为0设置的常数,μx为参考灰度图像经高斯滤波后的邻域灰度值的均值，μy为失真灰度图像经高斯滤波后的邻域灰度值的均值，σx为参考灰度图像经高斯滤波后的邻域灰度值的标准差，σy为失真灰度图像经高斯滤波后的邻域灰度值的标准差，σxy为参考灰度图像x和失真灰度图像y之间的协方差，q(i)为第i个图像块的结构相似度均值；

步骤(8)：将m个图像块的结构相似度索引均值q(i)求平均得到整幅图像的结构相似度索引均值q，计算公式如下：

步骤(9)：将灰度图像x进行归一化处理，得到归一化亮度图像i，采用公式如下：

其中，i和j分别为灰度图像x中某一像素点在图像中的坐标，x(i,j)为灰度图像x在(i,j)处的取值，i(i,j)为归一化灰度图像i在(i,j)处的取值，ω为大小为m×n，均值为0，方差为1的二维高斯滤波器，μs(i,j)为灰度图像进行高斯滤波后(i,j)处的均值，σs(i,j)为灰度图像进行高斯滤波后(i,j)处的方差，m和n分别为滤波器的高度和宽度，m＝n＝1，其中c3为避免分母为0而设的常数，c3取值为0.01；

步骤(10)：计算归一化亮度图像i的均匀局部二值模式ulbp特征，计算方法如下：

其中，当ii≥ic时，t(ii-ic)＝1，当ii＜ic时，t(ii-ic)＝0，ulbpk,r为归一化亮度图像i在像素点c处的ulbp特征，ic为归一化亮度图像i在像素点c处的取值，i0,i1,...,ik-1为归一化亮度图像i在像素点c处以r为半径的k个邻域像素点的灰度取值，其中，r为邻域半径，k为邻域像素点个数；

步骤(11)：计算得到ulbp直方图，并组合成特征向量f，并进行归一化处理，计算方法如下：

f＝nh(ulbpk,r(i,j))

f＝{f1,f2,...,fk+1}

fmax＝max(f1,f2,...,fk+1)

其中ulbpk,r(i,j)为归一化灰度图像i在(i,j)处的ulbp特征，ulbp直方图的分组个数为k+1，nh(·)为取直方图操作，f为ulbp直方图特征向量，fmax为f1,f2,...,fk+1中的最大值，fn为归一化处理后的ulbp直方图特征向量；

步骤(12)：将归一化处理ulbp直方图特征向量fn和结构相似度索引均值q组合成特征向量p1，组合公式如下：

p1＝[fn,q]

步骤(13)：对灰度图像x进行三次下采样，得到三幅下采样图像；

步骤(14)：对三幅下采样图像重复步骤2-步骤12，得到特征向量p2，p3，p4，将特征向量p1，p2，p3，p4组合成特征向量p，组合公式如下：

p＝[p1,p2,p3,p4]

步骤(15)：将特征向量p合并主观mos分值送到支持向量回归机中进行训练，得到训练后的支持向量回归机；

步骤(16)：从输入图像集中输入测试图像，将测试图像同样按步骤2到步骤14提取出特征向量p，送到训练后的支持向量回归机中进行测试，得到客观的图像质量评价结果。

本发明的有益效果是：该方法采用利用贝叶斯压缩感知方法的可重构特性，从输入失真图像中重构出重构图像，并计算输入失真图像和重构图像的结构相似度索引，将整幅图像的结构相似度索引均值提取作为图像质量评价特征；同时，对输入失真图像进行归一化处理，提取归一化图像的均匀局部二值模式直方图作为均匀局部二值模式特征，联合贝叶斯压缩感知提取的相似度特征和均匀局部二值模式直方图特征得到图像质量评价特征，将图像质量评价特征送到支持向量回归机中进行训练和测试，得到输入失真图像的图像质量评价结果；该方法利用贝叶斯压缩感知方法的可重构特性进行图像质量评价，提高了图像质量评价的精度。

附图说明

图1为基于贝叶斯压缩感知的无参考图像质量客观评价方法流程图；

图2为基于贝叶斯压缩感知的图像块估计方法流程图。

具体实施方式

以下结合附图和实施实例对本发明详细说明。

步骤1：将美国德州大学奥斯汀分校的live图像数据库中的29幅图像的失真图像作为输入图像集，将输入图像集随机分成训练图像集和测试图像集，其中训练图像集包含22幅图像的失真图像，测试图像集包含7幅图像的失真图像；

步骤2：将输入训练图像集中的参考图像和失真图像进行灰度变换，将彩色图像变换成灰度图像x；

步骤3：将灰度图像x的宽度和高度扩展成n＝32的倍数，再将扩展后的灰色图像分成不重叠的大小为32×32的图像块xi，其中1≤i≤m，m为图像块的个数；

步骤4：将图像块xi采用haar小波变换进行三层分解，将三层近似系数和细节系数组合成小波系数向量c，组合公式为：c＝[a3,d3,d2,d1]；其中c∈r^k×1，a3为第三层的近似系数向量，d3为第三层的细节系数向量，d2为第二层的细节系数向量，d1为第一层的细节系数向量；其中c为小波系数向量，c∈r^k×1，k为小波系数向量的元素个数，k＝1024；

步骤5：构建随机采样矩阵ψ，其中ψ∈r^l×k，其中l和k为采样矩阵ψ的行数和列数，并且l＜k，其中l＝256，k＝1024，ψ∈r^256×1024，其中l和k为采样矩阵ψ的行数和列数；用随机采样矩阵ψ采样向量c，随机采样矩阵ψ的每个元素通过均值为0，方差为1的正态分布产生，采样得到向量g，其中g∈r^256×1，采样公式如下：

g＝ψc

步骤6：根据向量g和采样矩阵ψ采用贝叶斯压缩感知对图像块xi进行预测，具体步骤如下：

步骤(6.1)：首先初始化超参数β0和β，其中β0为标量，β为向量，β∈r^1024×1，超参数初始化公式如下：

β0＝(var(g))^-1，β＝[β1，β2，...,βk]^t＝ψ^tg；

其中var(·)表示求取向量方差操作，(·)^-1为求倒数操作，β0为初始的超参数，β为超参数向量，β1,...,βk为超参数向量β的k个元素；

步骤(6.2)：根据超参数β0和β、采样矩阵ψ和向量g计算向量c满足的多维高斯变量的均值μ和协方差矩阵σ，计算公式如下:

σ＝(β0ψ^tψ+b)^-1

μ＝β0σψ^tg

其中b为超参数向量β的k个元素β1,...,βk组成的对角矩阵，b＝diag(β1,β2,...,βk)，μ为c满足的多维高斯分布的均值，σ为c满足的多维高斯分布的协方差矩阵，(·)^-1为矩阵求逆操作；

步骤(6.3)：迭代计算新的超参数β0^*和β^*，计算公式如下：

其中1≤i≤k

其中λi＝1-βiσii，其中∑ii为步骤6中∑矩阵的第i个对角元素,l为采样矩阵ψ的行数；

步骤(6.4)：重复步骤6.1-6.3，直到完成n次迭代，其中迭代次数n选取为10000；

步骤(6.5)：对迭代估计所得向量c的均值μ求haar小波反变换，并展开成二维矩阵，得到估计的图像块yi,其中1≤i≤m；

步骤7：利用原始图像块xi和估计图像块yi，采用结构相似度索引(ssim)计算得到第i个图像块的结构相似度索引均值q(i),其中ssim计算公式为：

其中，r和c分别为原始图像块xi或估计图像块yi的行索引和列索引，m和n分别为二维高斯滤波器系数的行索引和列索引，ωm,n为二维高斯滤波器系数,n为滤波器窗口大小，c1和c2为避免分母为0设置的常数,μx为参考灰度图像经高斯滤波后的邻域灰度值的均值，μy为失真灰度图像经高斯滤波后的邻域灰度值的均值，σx为参考灰度图像经高斯滤波后的邻域灰度值的标准差，σy为失真灰度图像经高斯滤波后的邻域灰度值的标准差，σxy为参考灰度图像x和失真灰度图像y之间的协方差，q(i)为第i个图像块的结构相似度均值；

步骤8：将m个图像块的观图像质量评价分值求平均得到整幅图像的客观图像质量评价分值q，计算公式如下：

步骤9：将灰度图像x进行归一化处理，得到归一化亮度图像y，采用公式如下：

其中

其中，ω为大小为3×3，均值为0，方差为1的二维高斯滤波器，μs(i,j)为灰度图像进行高斯滤波后(i,j)处的均值，σs(i,j)为灰度图像进行高斯滤波后(i,j)处的方差，m和n分别为滤波器的高度和宽度，m＝n＝1，其中c3为避免分母为0而设的常数，c3取值为0.01；

步骤10：计算归一化亮度图像y的ulbp(均匀局部二值模式)特征，计算方法如下：

其中，当ii≥ic时，t(ii-ic)＝1，当ii＜ic时，t(ii-ic)＝0，ulbpk,r为归一化亮度图像i在像素点c处的ulbp特征，ic为归一化亮度图像i在像素点c处的取值，i0,i1,...,ik-1为归一化亮度图像i在像素点c处以r为半径的k个邻域像素点的灰度取值，其中，r为邻域半径，r取值为1，k为邻域像素点个数，k取值为8；

步骤11：计算得到ulbp直方图，并组合成特征向量f，并进行归一化处理，计算方法如下：

f＝nh(ulbpk,r(i,j))

f＝{f1,f2,...,fk+1}

fmax＝max(f1,f2,...,fk+1)

其中ulbpk,r(i,j)为归一化灰度图像i在(i,j)处的ulbp特征，ulbp直方图的分组个数为k+1，nh(·)为取直方图操作，f为ulbp直方图特征向量，fmax为f1,f2,...,fk+1中的最大值，fn为归一化处理后的ulbp直方图特征向量；

步骤12：将归一化处理ulbp直方图特征向量fn和结构相似度索引均值q组合成特征向量p1，组合公式如下：

p1＝[fn,q]

步骤13：对灰度图像x进行三次下采样，得到三幅下采样图像，具体下采样方法是：对上一层图像采用窗口为5x5，方差为1的高斯滤波器进行滤波，并进行横向和纵向2:1的下采样，得到下一尺度的图像；

步骤14：对三幅下采样图像重复步骤2-12，得到特征向量p2，p3，p4，将特征向量p1，p2，p3，p4组合成特征向量p，组合公式如下：

p＝[p1,p2,p3,p4]

步骤15：将特征向量p合并主观mos分值送到支持向量回归机中进行训练，得到训练后的支持向量回归机；

步骤16：将测试图像的参考图像和失真图像同样按步骤2到步骤14提取出特征向量p，送到训练后的支持向量回归机中进行测试，得到客观的图像质量评价结果，以上步骤中支持向量回归机采用台湾大学开发的libsvm支持向量机工具包进行训练和测试，采用径向基函数作为核函数。

本发明采用texas大学的live数据库作为实验数据库，live数据库包括不同内容的29幅原始图像，以及五种不同失真类别的失真图像，分别是jpeg压缩失真(87幅图像)，jpeg2000压缩失真(87幅图像)，高斯模糊失真(145幅图像)，白噪声失真(145幅图像)和信道衰落失真(145幅图像)；同时live数据库提供了每一幅图像的主观查分平均意见分值(dmos)。为了衡量本发明算法的有效性，采用客观评价分值s和主观查分平均意见分值dmos之间的一致性作为算法有效性的量度，分别计算s值和dmos值之间的pearson线性相关系数(plcc)、spearman秩相关系数(srocc)以及均方根误差(rmse)；plcc和srocc越接近于1，rmse参数越小，则s值和dmos值一致性越高，表1给出了五种不同的图像质量评价方法和本发明方法的具体结果：其中cbiq、brisque、niqe、diivine为现有的无参考图像质量评价方法，psnr(峰值信噪比)为全参考图像质量评价方法，表中proposed为本发明算法。

表1.live数据库的图像质量评价结果

从上表1中看出，与其他算法相比，本方法的plcc和srocc更接近于1，rmse更小，本方法的预测结果和主观评价结果更接近。