一种基于Log-Gabor相似度的全参考视频质量评价方法与流程

本发明属于视频处理领域，尤其涉及一种基于log-gabor相似度的全参考视频质量评价方法。

背景技术：

视频质量评价是视频处理领域的关键问题，视频质量评价方法根据是否有人的参与可分成主观视频质量评价方法和客观视频质量评价方法。主观视频质量评价方法由人对图像进行打分，评价结果精确，但评价过程复杂，耗时时间长，难以得到实时应用。客观视频质量评价方法无需人的参与，通过特定的计算机算法自动预测图像质量，根据是否使用原始无失真视频作为参考，可将视频质量评价方法分成全参考视频质量评价方法，半参考视频质量评价方法和无参考视频质量评价方法。全参考视频质量评价方法使用参考视频的所有信息预测视频质量，半参考视频质量评价方法采用参考视频的部分信息进行视频质量预测，无参考视频质量评价方法不使用参考视频的任何信息进行视频质量评价。传统的全参考视频质量评价方法采用mse(均方误差)或psnr(峰值信噪比)进行视频质量评价，该方法物理意义明确，算法简单，但存在与人眼主观视觉特性不匹配等缺点，在实际场合得不到广泛应用。针对视频质量评价，许多学者提出了改进方法，zhang[y.zhang,x.-b.gao,l.he,w.lu,r.he.objectivevideoqualityassessmentcombiningtransferlearningwithcnn.ieeetransactionsonneuralnetworksandlearningsystems(ieeetnnls),2019]采用卷积神经网络合并迁移学习进行视频图像质量评价；lu[w.lu,r.he,j.yang,c.jia,x.-b.gao.aspatiotemporalmodelofvideoqualityassessmentvia3dgradientdifferencing.informationscience,vol.478,pp.141-151,2019.]提出一种基于三维梯度差的视频质量评价方法，虽然这些方法提高了无参考图像质量评价的精度，但其结果与人眼的主观图像质量评价结果仍存在着差距。

技术实现要素：

本发明的目的在于针对现有技术的不足，提供一种基于log-gabor相似度的全参考视频质量评价方法。

本发明的目的是通过以下技术方案来实现的：一种基于log-gabor相似度的全参考视频质量评价方法，包括以下步骤：

(1)分别输入训练视频集和待测视频集的参考视频和失真视频；

(2)分别提取待测视频集的参考视频和失真视频中一帧视频的y分量、u分量和v分量，并用不同尺度和不同方向的log-gabor滤波器进行滤波，包括以下子步骤：

(2.1)构建s个尺度和o个方向的频域log-gabor滤波器g(ω)，频域表达式如下：

其中，ω为角频率变量，ω0为滤波器中心频率，σω为滤波器方差；

(2.2)采用步骤(2.1)构建的滤波器g(ω)分别对提取的y分量、u分量和v分量进行滤波，得到y分量、u分量和v分量的滤波系数，记为gy(s,o,m,n)、gu(s,o,m,n)和gv(s,o,m,n)；其中，s为滤波系数的尺度索引，o为滤波系数的方向索引，m为y分量滤波系数的行索引，n为y分量滤波系数的列索引；所述滤波系数gy(s,o,m,n)、gu(s,o,m,n)和gv(s,o,m,n)均为复数；

(2.3)分别计算步骤(2.2)得到y分量、u分量和v分量滤波系数的幅度和相位，计算公式如下：

其中，my(s,o,m,n)为y分量滤波系数的幅度，ay(s,o,m,n)为y分量滤波系数的相位，r_gy(s,o,m,n)、i_gy(s,o,m,n)为y分量滤波系数gy(s,o,m,n)的实部、虚部；同理可得u分量滤波系数的幅度mu(s,o,m,n)、相位au(s,o,m,n)，v分量滤波系数的幅度mv(s,o,m,n)、相位av(s,o,m,n)；

(3)分别计算y分量、u分量和v分量在不同尺度和方向的滤波系数的幅度相似度和相位相似度，计算公式如下：

其中，s_my(s,o,m,n)为y分量的幅度相似度，s_ay(s,o,m,n)为y分量的相位相似度；c1和c2为避免分母为零而设的常数；my_d(s,o,m,n)、ay_d(s,o,m,n)为失真视频的y分量滤波系数的幅度、相位，my_s(s,o,m,n)、ay_s(s,o,m,n)为参考视频的y分量滤波系数幅度、相位；同理可得u分量的幅度相似度s_mu(s,o,m,n)、角度相似度s_au(s,o,m,n)，和v分量的幅度相似度s_mv(s,o,m,n)、角度相似度s_av(s,o,m,n)，c1和c2为避免分母为0而设的常数；

(4)计算y分量、u分量和v分量在不同尺度和方向滤波系数的总幅度相似度和总相位相似度，计算公式如下：

其中，s_my为y分量滤波系数的总幅度相似度，s_ay为y分量滤波系数的总角度相似度，m、n为y分量的某一尺度和方向滤波系数总行数、总列数；同理可得u分量滤波系数的总幅度相似度s_mu、总角度相似度s_au和v分量滤波系数的总幅度相似度s_mv、总角度相似度s_av；

(5)计算滤波系数相似度s1，计算公式如下：

sy＝ω1×s_my+ω2×s_ay

su＝ω1×s_mu+ω2×s_au

sv＝ω1×s_mv+ω2×s_av

s1＝ω3×sy+ω4×su+ω5×sv

其中，sy为y分量总相似度，su为u分量总相似度，sv为v分量总相似度，ω1、ω2、ω3、ω4和ω5均为加权系数；

(6)分别对训练视频集和待测视频集应用立方体局部二值模式算子，得到局部二值模式特征向量：

(6.1)对训练视频集中参考视频和失真视频的y分量应用立体局部二值模式算子得到向量l1，并对向量l1应用k最近邻聚类方法，得到e个聚类中心；

(6.2)对待测视频集中失真视频的y分量应用立体局部二值模式算子得到向量l2，并利用k最近邻聚类方法将向量l2分类到步骤(6.1)得到的e个聚类中心；根据e个聚类中心中分到的向量l2的个数构建局部二值模式直方图，并得到对应的特征向量p；同理，对待测视频集中参考视频的y分量应用立体局部二值模式算子并构建局部二值模式直方图得到特征向量q；

(7)计算待测视频集中参考视频和失真视频的立体局部二值模式特征相似度s2，计算公式如下：

其中，c3为常数，·为向量内积运算符，||·||为求向量的模运算；

(8)根据步骤(5)得到的滤波系数相似度s1和步骤(7)得到的立体局部二值模式特征相似度s2，通过下式计算待测视频集中参考视频和失真视频当前帧的视觉相似度θ；

θ＝ω6s1+ω7s2

其中，ω6、ω7为加权系数；

(9)由步骤(2)～(8)得到待测视频集其它帧的视觉相似度，记第t帧的视觉相似度为θt；并计算视频图像质量评价分值z，计算公式如下：

其中，t为待测视频集中参考视频或失真视频的总帧数。

进一步地，所述步骤(3)中失真视频的y分量滤波系数的幅度my_d(s,o,m,n)、相位ay_d(s,o,m,n)和参考视频的y分量滤波系数幅度my_s(s,o,m,n)、相位ay_s(s,o,m,n)均由步骤(2.3)的公式计算得到。

进一步地，所述步骤(6)中应用立体局部二值模式算子，包括以下子步骤：

(61)获取yuv视频的y分量，并提取y分量在第t帧中(i,j)位置的像素点yt(i,j)及其邻域的8个像素点，分别为yt(i-1,j-1)、yt(i-1,j)、yt(i-1,j+1)、yt(i,j-1)、yt(i,j+1)、yt(i+1,j-1)、yt(i+1,j)和yt(i+1,j+1)；

(62)提取y分量在第t-1帧中(i,j)位置的像素点yt-1(i,j)及其邻域的8个像素点，分别为yt-1(i-1,j-1)、yt-1(i-1,j)、yt-1(i-1,j+1)、yt-1(i,j-1)、yt-1(i,j+1)、yt-1(i+1,j-1)、yt-1(i+1,j)和yt-1(i+1,j+1)；

(63)提取y分量在第t+1帧中(i,j)位置的像素点yt+1(i,j)及其邻域的8个像素点，分别为yt+1(i-1,j-1)、yt+1(i-1,j)、yt+1(i-1,j+1)、yt+1(i,j-1)、yt+1(i,j+1)、yt+1(i+1,j-1)、yt+1(i+1,j)和yt+1(i+1,j+1)；

(64)以第t帧中的yt(i,j)为中心像素点，通过下式比较yt(i,j)和步骤(61)～(63)提取的空域和时域的3×3邻域像素的大小，得到比较结果sk(a,b)：

其中，yk(a,b)为yt(i,j)的邻域像素值，k∈{t-1,t,t+1}，a∈{i-1,i,i+1}，b∈{j-1,j,j+1}；

(65)将步骤(64)得到的比较结果sk(a,b)按st-1(i-1,j-1)、st-1(i-1,j)、st-1(i-1,j+1)、st-1(i,j-1)、st-1(i,j)、st-1(i,j+1)、st-1(i+1,j-1)、st-1(i+1,j)、st-1(i+1,j+1)以及st(i-1,j-1)、st(i-1,j)、st(i-1,j+1)、st(i,j-1)、st(i,j+1)、st(i+1,j-1)、st(i+1,j)、st(i+1,j+1)和st+1(i-1,j-1)、st+1(i-1,j)、st+1(i-1,j+1)、st+1(i,j-1)、st+1(i,j)、st+1(i,j+1)、st+1(i+1,j-1)、st+1(i+1,j)、st+1(i+1,j+1)的顺序排列构成向量l。

进一步地，所述步骤(65)中向量l∈r^26×1。

进一步地，所述步骤(6.2)中特征向量p,q∈r^e×1。

进一步地，所述参考视频和失真视频的总帧数相同；所述参考视频和失真视频均为yuv视频。

本发明的有益效果是：本发明首先对视频一帧的u和v分量进行log-gabor变换，得到变换系数的幅度和相位，并计算幅度相似度和相位相似度，综合得到log-gabor相似度；然后对相邻三帧的y视频分量构建立体lbp(localbinarypatterns，局部二值模式)特征，并提取立体lbp特征直方图，计算失真视频和参考视频的立体lbp相似度；最后结合log-gabor相似度和立体lbp相似度得到总的相似度作为客观视频质量评价结果。该方法充分考虑视频的y、u和v分量的变换域和空域特征，并采用立体lbp特征提取时域特征，提高了视频质量评价精度。

附图说明

图1为基于log-gabor相似度的全参考视频质量评价方法流程图。

具体实施方式

以下结合附图和实施实例对本发明详细说明。具体实施中，采用live视频数据库作为实验数据库；该数据库包含160个视频，160个视频分成10组，每组包含1个参考视频和15个失真视频，每组的15个失真视频包含无线失真、ip失真、h.264压缩失真和mpeg-2压缩失真四种类型。

本发明采用的具体步骤如图1所述，包括：

步骤(1)：输入参考yuv视频和失真yuv视频，随机选取20％的参考yuv视频和失真yuv视频作为训练视频集，80％的参考yuv视频和失真yuv视频作为测试视频集；

步骤(2)：对测试视频集的参考yuv视频和失真yuv视频，并分别提取yuv视频序列中一帧视频的y分量、u分量和v分量；对提取的y分量、u分量和v分量分别用不同尺度和不同方向的log-gabor滤波器进行滤波，包括以下子步骤：

步骤(2.1)：构建s个尺度和o个方向的频域log-gabor滤波器，计算公式如下：

其中，ω为角频率变量，ω0为滤波器中心频率，σω为滤波器方差，exp(·)为求指数操作，ln(·)为求对数操作，g(ω)为log-gabor滤波器的频域表达式，s取值为3，o取值为4；

步骤(2.2)：采用步骤(2.1)构建的滤波器对步骤(1)提取的y分量、u分量和v分量进行滤波，分别得到y分量、u分量和v分量的滤波系数，记为gy(s,o,m,n)、gu(s,o,m,n)和gv(s,o,m,n)；其中，gy(s,o,m,n)、gu(s,o,m,n)和gv(s,o,m,n)为复数，s为滤波系数的尺度索引，o为滤波系数的方向索引，m为y分量滤波系数的行索引，n为y分量滤波系数的列索引；

步骤(2.3)：分别计算步骤(2.2)得到y分量、u分量和v分量滤波系数gy(s,o,m,n)、gu(s,o,m,n)和gv(s,o,m,n)的幅度my(s,o,m,n)、mu(s,o,m,n)、mv(s,o,m,n)和相位ay(s,o,m,n)、au(s,o,m,n)、av(s,o,m,n)，计算公式如下：

其中，r_gy(s,o,m,n)、i_gy(s,o,m,n)为y分量滤波系数gy(s,o,m,n)的实部、虚部；r_gu(s,o,m,n)、i_gu(s,o,m,n)为u分量滤波系数gu(s,o,m,n)的实部、虚部；r_gv(s,o,m,n)、i_gv(s,o,m,n)为v分量滤波系数gv(s,o,m,n)的实部、虚部；

步骤(3)：分别计算y分量、u分量和v分量在不同尺度和方向的滤波系数的幅度相似度和相位相似度，计算公式如下：

其中，s_my(s,o,m,n)为y分量的幅度相似度，s_ay(s,o,m,n)为y分量的相位相似度；c1和c2为避免分母为零而设的常数；my_d(s,o,m,n)为失真视频的y分量滤波系数的幅度，my_s(s,o,m,n)为参考视频的y分量滤波系数幅度，ay_d(s,o,m,n)为失真视频的y分量滤波系数相位，ay_s(s,o,m,n)为参考视频的y分量滤波系数幅度；同理可得u分量的幅度相似度s_mu(s,o,m,n)、角度相似度s_au(s,o,m,n)，和v分量的幅度相似度s_mv(s,o,m,n)、角度相似度s_av(s,o,m,n)，c1和c2为避免分母为0而设的常数，c1和c2取值为0.01；

步骤(4)：计算y分量、u分量和v分量在不同尺度和方向滤波系数的总幅度相似度和总相位相似度，计算公式如下：

其中，s_my为y分量滤波系数的总幅度相似度，s_ay为y分量滤波系数的总角度相似度，m为y分量的某一尺度和方向滤波系数总行数，n为y分量的某一尺度和方向滤波系数总列数，s为滤波器系数的总尺度个数，o为滤波器系数的总方向个数；同理可得u分量滤波系数的总幅度相似度s_mu、总角度相似度s_au和v分量滤波系数的总幅度相似度s_mv、总角度相似度s_av；

步骤(5)：结合y分量、u分量和v分量在不同尺度和方向的滤波系数的总幅度相似度和总相位相似度，计算得到总的滤波系数相似度s1，计算公式如下：

sy＝ω1×s_my+ω2×s_ay

su＝ω1×s_mu+ω2×s_au

sv＝ω1×s_mv+ω2×s_av

s1＝ω3×sy+ω4×su+ω5×sv

其中，sy为y分量总相似度，su为u分量总相似度，sv为v分量总相似度，ω1、ω2、ω3、ω4和ω5为加权系数，由人为设定，ω1、ω2取值为0.5，ω3取值为0.75，ω4和ω5取值为0.125；

步骤(6)：对测试视频集和训练视频集中的yuv参考视频和yuv失真视频视频分量分别应用立体局部二值模式(lbp)算子，包括以下子步骤：

步骤(6.1)：提取出y视频在第t帧中(i,j)位置的像素点yt(i,j)，并得到(i,j)像素位置邻域的8个像素点，分别为yt(i-1,j-1)、yt(i-1,j)、yt(i-1,j+1)、yt(i,j-1)、yt(i,j+1)、yt(i+1,j-1)、yt(i+1,j)和yt(i+1,j+1)，其中，t为当前帧的帧号，t-1为前一帧的帧号，t+1为后一帧的帧号；

步骤(6.2)：提取出y视频在第t-1帧和(i,j)位置的像素点yt-1(i,j)，并得到第t-1帧在(i,j)位置邻域的8个像素点，分别为yt-1(i-1,j-1)、yt-1(i-1,j)、yt-1(i-1,j+1)、yt-1(i,j-1)、yt-1(i,j+1)、yt-1(i+1,j-1)、yt-1(i+1,j)和yt-1(i+1,j+1)；

步骤(6.3)：提取出y视频在第t+1帧和(i,j)位置的像素点yt+1(i,j)，并得到第t+1帧在(i,j)位置邻域的8个像素点，分别为yt+1(i-1,j-1)、yt+1(i-1,j)、yt+1(i-1,j+1)、yt+1(i,j-1)、yt+1(i,j+1)、yt+1(i+1,j-1)、yt+1(i+1,j)和yt+1(i+1,j+1)；

步骤(6.4)：以第t帧中的yt(i,j)为中心像素点，比较yt(i,j)在空域和时域的3×3邻域像素的大小，若邻域像素值大于等于中心像素值，则比较结果标记为1，否则为0；比较公式如下：

其中，yk(m,n)为yt(i,j)的邻域像素值，k∈{t-1,t,t+1}，m∈{i-1,i,i+1}，n∈{j-1,j,j+1}，sk(m,n)为(m,n)像素位置的比较结果；

步骤(6.5)：将sk(m,n)按st-1(i-1,j-1)、st-1(i-1,j)、st-1(i-1,j+1)、st-1(i,j-1)、st-1(i,j)、st-1(i,j+1)、st-1(i+1,j-1)、st-1(i+1,j)、st-1(i+1,j+1)以及st(i-1,j-1)、st(i-1,j)、st(i-1,j+1)、st(i,j-1)、st(i,j+1)、st(i+1,j-1)、st(i+1,j)、st(i+1,j+1)和st+1(i-1,j-1)、st+1(i-1,j)、st+1(i-1,j+1)、st+1(i,j-1)、st+1(i,j)、st+1(i,j+1)、st+1(i+1,j-1)、st+1(i+1,j)、st+1(i+1,j+1)的顺序排列构成向量l，其中l∈r^26×1；

步骤(6.6)：将训练视频集中的参考视频和失真视频按步骤(6.1)～(6.5)提取出向量l1，并采用k最近邻(k-nearestneighbor，knn)聚类方法，得到e个聚类中心，其中e取值为32；

步骤(6.7)：将测试视频集中的失真视频按步骤(6.1)～(6.5)对每个像素点提取出向量l2，并采用knn方法将其分类到e个聚类中心中；

步骤(6.8)：根据测试视频集中的失真视频分类到e个聚类中心的向量l2个数构建局部二值模式直方图，得到对应的局部二值模式特征向量p，且p∈r^e×1；

步骤(6.9)：将测试视频集中参考视频的y视频分量同样经过步骤(6.1)～(6.8)处理，应用立方体局部二值模式算子得到局部二值模式特征向量q，且q∈r^e×1；

步骤(7)：计算测试视频集中参考视频和失真视频的立体局部二值模式特征相似度s2，计算公式如下：

其中，c3为避免分母为0而设的常数，c3取值为0.01，·为向量内积运算符，||·||为求向量的模运算；

步骤(8)：组合步骤(5)得到的log-gabor滤波系数相似度s1和步骤(7)计算得到的立体局部二值模式特征相似度s2，得到当前帧的视觉相似度θt；

θt＝ω6s1+ω7s2

其中，ω6、ω7为加权系数，由人为设定，ω6和ω7分别取值为0.8和0.2；

步骤(9)：计算得到最终的视频图像质量评价分值z，计算公式如下：

其中，t为参考视频或失真视频的总帧数。

log-gabor滤波器较符合人眼视觉的非线性对数特性，与人眼的视觉感知过程一致，通过对多尺度和多方向的log-gabor滤波系数提取，并比对参考视频和失真视频的log-gabor滤波系数得到不同尺度和不同方向的滤波系数相似度，并综合得到的总log-gabor相似度，该相似度与人眼视觉特性较一致；同时，立体lbp特征融合了视频的空域和时域的纹理特征，得到的立体lbp特征相似度充分考虑了失真视频在相邻空域和时域的纹理失真度，因此融合log-gabor相似度和立体lbp特征相似度得到的视频图像质量评价分值能充分反映视频的失真度。其中，视频图像质量评价分值z越大说明视频质量越好。