一种视频质量评价方法和装置与流程

文档序号:11143399阅读:356来源:国知局
一种视频质量评价方法和装置与制造工艺

本发明属于视频领域,尤其涉及一种视频质量评价方法和装置。



背景技术:

对于IP网络的视频流媒体而言,视频质量在采集、压缩、传输、播出的过程中,会有所降低。通常,在编码端,由于采用不同的压缩格式,在删除视觉冗余信息的同时也删除了部分有用信息,同时,在压缩编码的过程中会出现块效应和边界模糊的现象。在传输时,由于带宽受限,网络的延时、抖动等都会造成视频流的丢包或误码,从而造成失真,影响视频播出质量。在接收端,同一视频,由于不同的解码器和播放视频的终端,用户的视觉感受也不相同的。因此,为了解视频质量的下降程度,并通过改进算法和传输机制来提高用户的视觉感知,需要对视频播出质量进行准确的评价。

目前,视频质量评价方法(Video Quality Assessment,VQA)采用客观质量评价方法。大多数客观视频质量评价方法基于单帧图像质量的计算,然后取所有帧质量的均值或者加权均值作为整个视频的质量评分。速度快,成本低,易于实现,被广泛应用于工程实践中。

然而,现有的视频质量评价方法仅仅将视频中单帧图像的质量评价结果进行加权运算得出的结果作为视频质量的评价结果,这种评价方法仅以单帧图像的质量作为评价基础,忽略了图像之间的连贯性,从而导致对视频的质量评价不准确。



技术实现要素:

本发明提供一种视频质量评价方法和装置,旨在解决现有的视频质量评价方法对视频的质量评价不准确的问题。

本发明提供一种视频质量评价方法,从待评价视频中获取待评价图像,从原始视频中获取与该待评价图像具有相同帧序号的原始图像,并对该待评价图像和该原始图像进行结构相似性运算,得到该待评价图像的结构相似性指数,从该原始图像中提取多个图像显著区,并对该图像显著区进行运动特性运算,计算出该图像显著区的运动特性因子,利用相邻的两个图像显著区的运动特性因子计算出该相邻的两个图像显著区的相似度,将该相似度大于预置相似度的两个相邻的图像显著区进行合并,以及对合并后图像中的像素点的灰度值进行加权运算,得到该原始图像的时空显著度,对该原始图像的时空显著度和该待评价图像的结构相似性指数的积进行加权运算,得到该待评价视频的质量指数。

本发明提供一种视频质量评价装置,运算模块用于从待评价视频中获取待评价图像,从原始视频中获取与该待评价图像具有相同帧序号的原始图像,并对该待评价图像和该原始图像进行结构相似性运算,得到该待评价图像的结构相似性指数,提取模块用于从该原始图像中提取多个图像显著区,运算模块还用于对该图像显著区进行运动特性运算,以算出该图像显著区的运动特性因子,以及,利用相邻的两个图像显著区的运动特性因子计算出该相邻的两个图像显著区的相似度,合并模块用于将该相似度大于预置相似度的两个相邻的图像显著区进行合并,该运算模块还用于对合并后图像中的像素点的灰度值进行加权运算,得到该原始图像的时空显著度,以及,对该原始图像的时空显著度和该待评价图像的结构相似性指数的积进行加权运算,得到该待评价视频的质量指数。

本发明提供了一种视频质量评价方法和装置,从待评价视频中获取待评价图像,从原始视频中获取与该待评价图像具有相同帧序号的原始图像,并对该待评价图像和该原始图像进行结构相似性运算,得到该待评价图像的结构相似性指数,从该原始图像中提取多个图像显著区,并对该图像显著区进行运动特性运算,计算出该图像显著区的运动特性因子,利用相邻的两个图像显著区的运动特性因子计算出该相邻的两个图像显著区的相似度,将该相似度大于预置相似度的两个相邻的图像显著区进行合并,以及对合并后图像中的像素点的灰度值进行加权运算,得到该原始图像的时空显著度,对该原始图像的时空显著度和该待评价图像的结构相似性指数的积进行加权运算,得到该待评价视频的质量指数。本发明与现有技术相比,有益效果在于:在计算待评价视频的质量指数时,加入了能反映运动连贯性的运动特性因子,可以得出更加准确的视频评价指数。同时,只需计算显著区的运动特性因子,大大减少了计算量,节省了计算时间和运算资源。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例。

图1是本发明第一实施例提供的一种视频质量评价方法的实现流程示意图;

图2是本发明第二实施例提供的一种视频质量评价方法的实现流程示意图;

图3是本发明第二实施例提供的一种原始图像的空域显著图;

图4是本发明第二实施例提供的空域显著图中的图像显著区经二值化处理后的图像;

图5是本发明第三实施例提供的一种视频质量评价装置的结构示意图;

图6是本发明第四实施例提供的一种视频质量评价装置的结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而非全部实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明实施例提供的视频质量评价方法可以应用于各种终端设备,如电脑、手机、平板电脑等终端以及其它终端。

请参阅图1,图1为本发明第一实施例提供的一种视频质量评价方法的实现流程示意图,图1所示的视频质量评价方法主要包括以下步骤:

S101、从待评价视频中获取待评价图像,从原始视频中获取与该待评价图像具有相同帧序号的原始图像,并对该待评价图像和该原始图像进行结构相似性运算,得到该待评价图像的结构相似性指数。

该待评价视频为该待评价其质量指数的视频。该待评价视频一般为经采集、压缩、传输或播出后的视频。该待评价图像为该待评价视频中的图像。原始视频为该待评价视频的原始视频。该原始图像为该原始视频中的图像,该待评价图像在该待评价视频中的帧顺序与该原始图像在该原始视频中的帧序号相同。

S102、从该原始图像中提取多个图像显著区,并对该图像显著区进行运动特性运算,计算出该图像显著区的运动特性因子。

该图像显著区为该原始图像具有显著性的区域。该运动特性因子用于表示该图像显著区的运动连贯性。

S103、利用相邻两个图像显著区的运动特性因子计算出该相邻的两个图像显著区的相似度,将该相似度大于预置相似度的两个相邻的图像显著区进行合并,以及对合并后图像中的像素点的灰度值进行加权运算,得到该原始图像的时空显著度。

该相似度用于表示两个图像显著区的运动特性因子的相似性。

S104、对该原始图像的时空显著度和该待评价图像的结构相似性指数的积进行加权运算,得到该待评价视频的质量指数。该时空显著度用于表示该原始图像在空间和时间上的显著性。该待评价视频的质量指数用于评价该待评价视频的质量。

本发明实施例中,从待评价视频中获取待评价图像,从原始视频中获取与该待评价图像具有相同帧序号的原始图像,并对该待评价图像和该原始图像进行结构相似性运算,得到该待评价图像的结构相似性指数,从该原始图像中提取多个图像显著区,并对该图像显著区进行运动特性运算,计算出该图像显著区的运动特性因子,利用相邻的两个图像显著区的运动特性因子计算出该相邻的两个图像显著区的相似度,将该相似度大于预置相似度的两个相邻的图像显著区进行合并,以及对合并后图像中的像素点的灰度值进行加权运算,得到该原始图像的时空显著度,对该原始图像的时空显著度和该待评价图像的结构相似性指数的积进行加权运算,得到该待评价视频的质量指数。因此,在计算待评价视频的质量指数时,加入了能反映运动连贯性的运动特性因子,可以得出更加准确的视频评价指数。同时,只需计算显著区的运动特性因子,大大减少了计算量,节省了计算时间和运算资源。

请参阅图2,图2为本发明第二实施例提供的一种视频质量评价方法的实现流程示意图,可应用于所有具有显示功能的显示图像装置中,图1所示的视频质量评价方法主要包括以下步骤:

S201、从待评价视频中获取待评价图像,从原始视频中获取与该待评价图像具有相同帧序号的原始图像,并对该待评价图像和该原始图像进行结构相似性运算,得到该待评价图像的结构相似性指数。

该待评价视频为该待评价其质量指数的视频。该待评价视频一般为经采集、压缩、传输或播出后的视频。该待评价图像为该待评价视频中的图像。原始视频为该待评价视频的原始视频。该原始图像为该原始视频中的图像,其中,该待评价图像在该待评价视频中的帧顺序与该原始图像在该原始视频中的帧序号相同,如,该待评价图像为第i帧,则该原始图像为第i’帧,i=i’。

进一步地,对该待评价图像和该原始图像进行结构相似性运算,得到该待评价图像的结构相似性指数,具体包括:

对该待评价图像的亮度平均值和该原始图像的亮度平均值进行亮度失真度运算,得出该待评价图像的亮度失真度。

设该待评价图像为该待评价视频中的第i帧,该原始图像为第i’帧,i=i’,该待评价图像的亮度失真度为l(i),则

其中,μi为该待评价图像的亮度平均值,μi’为该原始图像的亮度平均值,C1=(K1L)2,L为像素的灰度值的变换范围,L=100;K1<<1。

对该待评价图像的亮度标准差、该原始图像的亮度标准差以及该待评价图像和该原始图像的亮度协方差进行对比度失真度运算,得出该待评价图像的对比度失真度。

设该待评价图像的对比度失真度为c(i),则

其中,σi为该待评价图像的亮度的标准差,σi’为该原始图像的亮度的标准差,σii’为该待评价图像和该原始图像的亮度协方差,C2=(K2L)2,L=100;K2<<1。

对该待评价图像的亮度标准差、该原始图像的亮度标准差以及该待评价图像和该原始图像的亮度协方差进行结构失真度运算,得出该待评价图像的结构失真度。

设该待评价图像的结构失真度为s(i),则

其中,C3=C2/2。

对该亮度失真度、该对比度失真度及该结构失真度进行乘法运算,得到该待评价图像的结构相似性指数。

设该待评价图像的结构相似性指数为SSIM(i),则

SSIM(i)=[l(i)]α·[c(i)]β·[s(i)]γ

其中,α=β=γ=1,则,

S202、对该原始图像进行频谱冗余运算,得到该原始图像的频谱冗余。

设该原始图像为第i’帧,该原始图像的频谱冗余为R(i’),则,

R(i’)=A(i’)-I(i’);

其中,I(i’)=A(i’)×hn(i’),A(i’)为对数振幅谱,hn(i′)为n×n的均值滤波器,为频域对数谱,g(i’)为高斯滤波函数。

S203、对该原始图像的频谱冗余和该原始图像的相位谱进行谱冗余运算,得到该原始图像的空域显著图。

设SS(i’)为该原始图像的空域显著图,则,

其中,为傅立叶反变换,P(i’)为该原始图像的相位谱。

如图3所示,图3示出了本发明实施例中该原始图像的空域显著图,其中,灰度值越大的区域,显著性越高。

S204、将该空域显著图中灰度值大于预置灰度值的像素点组成的区域确定为该图像显著区。

设r(f)为空域显著图中的图像显著区,则,

其中,threshold为预置灰度值,threshold=E(SS(f))*3,f为空域显著图中的灰度值,E(SS(f))为该空域显著图SS(i’)的平均灰度密度值,r(f)=1表示该区域为图像显著区,r(f)=0表示该图像为非图像显著区。

为了便于说明,将图3所示的空域显著图中的图像显著区按照预置灰度临界值进行二值化处理,得到图4,图4为对该空域显著图中的图像显著区经二值化处理后的图像,其中,图4所示的白色区域为该图像显著区所在的位置。

S205、在该图像显著区中提取运动目标,并分别对该运动目标的相对运动矢量和背景运动矢量进行二范数运算,分别得到该图像显著区的相对运动矢量强度和背景运动矢量强度。

进一步地,在该图像显著区中提取运动目标,具体包括:

将该图像显著区中的块与参考图像显著区中的块进行比对;

选取在该图像显著区和该参考图像显著区中出现频率最多的块;

将该图像显著区中的块减去该出现频率最多的块,并将该图像显著区中剩下的块作为运动目标。

该参考图像显著区为该原始图像的前一帧图像中与该图像显著区位置相同的区域。设(x0,y0)为该图像显著区中的运动目标的坐标,则,

(xo,yo)=(x',y')-mode(x',y')

其中,(x′,y′)为该图像显著区中块的坐标。mode(x',y')表示出现频率最大的块。

其中,(x,y)为该参考图像显著区中的块。a1为缩小参数,a2为放大参数,a3为逆时针旋转参数,a4为顺时针旋转参数,a5为水平移动参数,a6为垂直移动参数。根据最小误差函数以及迭代最小二乘法

和可求出a1、a2、a3、a4、a5和a6的值。

其中,xi和yi为参考图像显著区中的运动目标的坐标、xi’和yi’分别表示该图像显著区中运动目标的坐标。

分别对该运动目标的相对运动矢量和背景运动矢量进行二范数运算,分别得到该图像显著区的相对运动矢量强度和背景运动矢量强度。

设表示该运动目标(x0,y0)的运动矢量,则,

其中,为绝对运动矢量,为背景运动矢量,为相对运动矢量,则,该图像显著区的相对运动矢量强度vr和背景运动矢量强度vb分别为:

在实际应用中,该图像显著区中的绝对运动矢量背景运动矢量和相对运动矢量的值均可以通过全局运动估计法获得。

S206、对该相对运动矢量强度和该背景运动矢量强度进行加权运算,得到该图像显著区的运动因子。

设Mv为该图像显著区的运动因子,则,

Mv=(1-ωb)vrbvb

其中,ωb为该图像显著区中背景运动矢量强度的权重,

ωb=ω1b×ω2b×ω3b

其中,Nb为该图像显著区中背景运动矢量不为0的宏块个数,N(s)为该图像显著区的宏块总数,vbx和vby分别为背景运动矢量的横坐标和纵坐标,NkB为背景运动矢量非零的宏块个数,sib为背景运动矢量方向中各非空的维度,N(si)为各个维度内运动矢量不为零的宏块个数,i≤36。

S207、将该图像显著区的运动因子与该原始视频中图像显著区的运动因子的最大值进行除法运算,并对计算出的参数进行对数运算,得到该图像显著区的运动特性因子。

设ωM为该图像显著区的运动特性因子,则,

其中,Mmax为该原始视频中图像显著区的运动因子的最大值,α为调节常数且α>1,通过非线性拟合和数值分析,设α=2。

S208、利用相邻两个图像显著区的运动特性因子计算出该相邻两个图像显著区的相似度,将该相似度大于预置相似度的两个相邻的图像显著区进行合并,以及对合并后图像中的像素点的灰度值进行加权运算,得到该原始图像的时空显著度。

进一步地,利用相邻的两个图像显著区的运动特性因子计算出该相邻的两个图像显著区的相似度,具体包括:

在该多个图像显著区中,选取相邻的两个图像显著区。

将该两个图像显著区的运动特性因子的最大值与该两个图像显著区的运动特性因子的差值的绝对值进行减法运算,得到目标值。

将该目标值与该两个图像显著区的运动特性因子的最大值进行除法运算,并将得到的商作为该相邻两个图像显著区的相似度。

设Smotion(ri,rj)为相邻的两个图像显著区的相似度,则

其中,ri,rj表示相邻的两个图像显著区,和表示相邻的两个图像显著区的运动特性因子,为和的最大值,Smotion(ri,rj)为相邻的图像显著区的相似度。

在实际应用中,图像显著区ri会存在多个相近的图像显著区,则在该多个相近的图像显著区中选取与该图像显著区ri相隔的像素点最少的区域作为与该图像显著区ri相邻的图像显著区。如,与ri相近的图像显著区有r1、r2和r3,其中,ri与r1、r2和r3分别相隔0、1和2个像素点,则ri和r1为相邻的图像显著区。其中,该相隔的像素点为两个图像显著区之间相邻最近的区域相隔的像素点。

将该相似度大于预置相似度的两个相邻图像显著区进行合并,并对合并后图像中像素点的灰度值进行加权运算,得到该原始图像的时空显著度。

该预置相似度为预置的相似度,可以按照实际情况进行设置,可以设置相似度的最大值为预置相似度,也可以设置具体的相似度值作为预置相似度。

需要说明的是,将相似度大于预置相似度的两个相邻图像显著区合并后的图像为该原始图像的时空显著图,设S(i)为该原始图像的时空显著图,则,

S(i)={rx,rx∈ri∪rj}

其中,{rx,rx∈ri∪rj}表示对相似度大于该预置相似度的图像显著区进行合并。

设Ds(i)为该原始图像的时空显著度,则,

其中,Di(n)为该时空显著图S(i)中每一个像素点的灰度值,N为时空显著图S(i)中像素点总个数。

这样,通过在该原始图像的空域显著图中提取图像显著区计算出的运动特性因子更加符合人眼视觉特性,进而可以准确的反映待评价视频的运动特性,得出更加准确的待评价视频的质量指数。而且,只需要计算显著区的运动特性因子而不必计算整个原始图像的运动特性因子,这样可以大大的减少计算量,节省计算时间和运算资源。

S209、对该原始图像的时空显著度和该待评价图像的结构相似性指数的积进行加权运算,得到该待评价视频的质量指数。

在计算该待评价视频的质量指数时,分别将该原始视频中每一帧原始图像的时空显著度与该待评价视频中每一帧图像的结构相似性指数进行加权运算,得到该待评价视频的质量指数。

设SMW-SSIM为该待评价视频的质量指数,则,

其中,SSIM(i)表示该待评价图像的结构相似性指数,DS(i)表示该原始图像的时空显著度。

本发明实施例中,从待评价视频中获取待评价图像,从原始视频中获取与该待评价图像具有相同帧序号的原始图像,并对该待评价图像和该原始图像进行结构相似性运算,得到该待评价图像的结构相似性指数。对该原始图像进行频谱冗余运算,得到该原始图像的频谱冗余,对该原始图像的频谱冗余和该原始图像的相位谱进行谱冗余运算,得到该原始图像的空域显著图,对该空域显著图进行二值化处理,得到多个图像显著区,在该图像显著区中提取运动目标,并分别对该运动目标的相对运动矢量和背景运动矢量进行二范数运算,分别得到该图像显著区的相对运动矢量强度和背景运动矢量强度,对该相对运动矢量强度和该背景运动矢量强度进行加权运算,得到该图像显著区的运动因子,将该原始视频中图像显著区的运动因子的最大值与该图像显著区的运动因子进行除法运算,并对计算出的参数进行对数运算,得到该图像显著区的运动特性因子,利用相邻的两个图像显著区的运动特性因子计算出该相邻两个图像显著区的相似度,将该相似度大于预置相似度的两个相邻图像显著区进行合并,以及对合并后图像中的像素点的灰度值进行加权运算,得到该原始图像的时空显著度,对该原始图像的时空显著度和该待评价图像的结构相似性指数的积进行加权运算,得到该待评价视频的质量指数。因此,在计算待评价视频的质量指数时,加入了能反映运动连贯性的运动特性因子,可以得出更加准确的视频评价指数。同时,只需计算显著区的运动特性因子,大大减少了计算量,节省了计算时间和运算资源。

请参阅图5,图5是本发明第三实施例提供的视频质量评价装置的结构示意图,为了便于说明,仅示出了与本发明实施例相关的部分。图5示例的视频质量评价装置可以是前述图1和图2所示实施例提供的视频质量评价方法的执行主体,可以是视频质量评价装置中的一个控制模块。图5示例的视频质量评价装置,主要包括:运算模块501、提取模块502和合并模块503。以上各功能模块详细说明如下:

运算模块501,用于从待评价视频中获取待评价图像,从原始视频中获取与该待评价图像具有相同帧序号的原始图像,并对该待评价图像和该原始图像进行结构相似性运算,得到该待评价图像的结构相似性指数。

该待评价视频为该待评价其质量指数的视频。该待评价视频一般为经采集、压缩、传输或播出后的视频。该待评价图像为该待评价视频中的图像。原始视频为该待评价视频的原始视频。该原始图像为该原始视频中的图像,该待评价图像在该待评价视频中的帧顺序与该原始图像在该原始视频中的帧序号相同。

提取模块502,用于从该原始图像中提取多个图像显著区。

该图像显著区为该原始图像具有显著性的区域。该运动特性因子用于表示该图像显著区的运动连贯性。

进一步地,运算模块501,还用于对该图像显著区进行运动特性运算,以算出该图像显著区的运动特性因子;以及,利用相邻的两个图像显著区的运动特性因子计算出该相邻的两个图像显著区的相似度。

该相似度用于表示两个图像显著区的运动特性因子的相似性。

合并模块503,用于将该相似度大于预置相似度的两个相邻的图像显著区进行合并。

进一步地,运算模块501,还用于对合并后图像中的像素点的灰度值进行加权运算,得到该原始图像的时空显著度;以及,对该原始图像的时空显著度和该待评价图像的结构相似性指数的积进行加权运算,得到该待评价视频的质量指数。

本发明实施例的未尽细节请参照图1和图2所示的第一和第二实施例,在此不再赘述。

本发明实施例中,运算模块501用于从待评价视频中获取待评价图像,从原始视频中获取与该待评价图像具有相同帧序号的原始图像,并对该待评价图像和该原始图像进行结构相似性运算,得到该待评价图像的结构相似性指数,提取模块502用于从该原始图像中提取多个图像显著区,运算模块501还用于对该图像显著区进行运动特性运算,以算出该图像显著区的运动特性因子;以及,利用相邻的两个图像显著区的运动特性因子计算出该相邻的两个图像显著区的相似度,合并模块503用于将该相似度大于预置相似度的两个相邻的图像显著区进行合并,运算模块501用于对合并后图像中的像素点的灰度值进行加权运算,得到该原始图像的时空显著度;以及,对该原始图像的时空显著度和该待评价图像的结构相似性指数的积进行加权运算,得到该待评价视频的质量指数。因此,在计算待评价视频的质量指数时,加入了能反映运动连贯性的运动特性因子,可以得出更加准确的视频评价指数。同时,只需计算显著区的运动特性因子,大大减少了计算量,节省了计算时间和运算资源。

请参阅图6,图6是本发明第四实施例提供的视频质量评价装置的结构示意图,为了便于说明,仅示出了与本发明实施例相关的部分。图6示例的视频质量评价装置可以是前述图1和图2所示实施例提供的视频质量评价方法的执行主体,可以是视频质量评价装置中的一个控制模块。图6示例的视频质量评价装置,主要包括:运算模块601、提取模块602和合并模块603;其中,运算模块601包括:失真运算模块611、指数运算模块621、矢量运算模块631、运动特性运算模块641、选取模块651和相似运算模块661;提取模块602包括:频谱运算模块612、谱冗余运算模块622和确定模块632。以上各功能模块详细说明如下:

运算模块601,用于从待评价视频中获取待评价图像,从原始视频中获取与该待评价图像具有相同帧序号的原始图像,并对该待评价图像和该原始图像进行结构相似性运算,得到该待评价图像的结构相似性指数。

该待评价视频为该待评价其质量指数的视频。该待评价视频一般为经采集、压缩、传输或播出后的视频。该待评价图像为该待评价视频中的图像。原始视频为该待评价视频的原始视频。该原始图像为该原始视频中的图像,该待评价图像在该待评价视频中的帧顺序与该原始图像在该原始视频中的帧序号相同。

提取模块602,用于从该原始图像中提取多个图像显著区。

该图像显著区为该原始图像具有显著性的区域。该运动特性因子用于表示该图像显著区的运动连贯性。

进一步地,运算模块601,还用于对该图像显著区进行运动特性运算,以算出该图像显著区的运动特性因子;以及,利用相邻的两个图像显著区的运动特性因子计算出该相邻的两个图像显著区的相似度。

该相似度用于表示两个图像显著区的运动特性因子的相似性。

合并模块603,用于将该相似度大于预置相似度的两个相邻的图像显著区进行合并。

进一步地,运算模块601,还用于对合并后图像中的像素点的灰度值进行加权运算,得到该原始图像的时空显著度;以及,对该原始图像的时空显著度和该待评价图像的结构相似性指数的积进行加权运算,得到该待评价视频的质量指数。

进一步地,运算模块601包括:失真运算模块611和指数运算模块621。

失真运算模块611,用于对该待评价图像的亮度平均值和该原始图像的亮度平均值进行亮度失真度运算,得出该待评价图像的亮度失真度。

进一步地,失真运算模块611,还用于对该待评价图像的亮度标准差、该原始图像的亮度标准差以及该待评价图像和该原始图像的亮度协方差进行对比度失真度运算,得出该待评价图像的对比度失真度。

进一步地,失真运算模块611,还用于对该待评价图像的亮度标准差、该原始图像的亮度标准差以及该待评价图像和该原始图像的亮度协方差进行结构失真度运算,得出该待评价图像的结构失真度。

指数运算模块621,用于对该亮度失真度、该对比度失真度及该结构失真度进行乘法运算,得到该待评价图像的结构相似性指数。

进一步地,提取模块602包括:频谱运算模块612、谱冗余运算模块622和二值运算模块632。

频谱运算模块612,用于对该原始图像进行频谱冗余运算,得到该原始图像的频谱冗余。

谱冗余运算模块622,用于对该原始图像的频谱冗余和该原始图像的相位谱进行谱冗余运算,得到该原始图像的空域显著图。

确定模块632,用于将该空域显著图中灰度值大于预置灰度值的像素点组成的区域确定为该图像显著区。

进一步地,运算模块601还包括:矢量运算模块631和运动特性运算模块641。

矢量运算模块631,用于在该图像显著区中提取运动目标,并分别对该运动目标的相对运动矢量和背景运动矢量进行二范数运算,得到该图像显著区的相对运动矢量强度和背景运动矢量强度。

运动特性运算模块641,用于对该相对运动矢量强度和该背景运动矢量强度进行加权运算,得到该图像显著区的运动因子。

运动特性运算模块641,还用于将该图像显著区的运动因子与该原始视频中的图像显著区的运动因子的最大值进行除法运算,并对算出的参数进行对数运算,以得到该图像显著区的运动特性因子。

进一步地,运算模块601还包括:选取模块651和相似运算模块661。

选取模块651,用于在该多个图像显著区中,选取相邻的两个图像显著区。

相似运算模块661,用于将该两个图像显著区的运动特性因子的最大值与该两个图像显著区的运动特性因子的差值的绝对值进行减法运算,得到目标值。

相似运算模块661,还用于将该目标值与该两个图像显著区的运动特性因子的最大值进行除法运算,并将算出的商作为该相邻两个图像显著区的相似度。

本发明实施例的未尽细节请参照图1和图2所示的第一和第二实施例,在此不再赘述。

本发明实施例中,运算模块601用于从待评价视频中获取待评价图像,从原始视频中获取与该待评价图像具有相同帧序号的原始图像,并对该待评价图像和该原始图像进行结构相似性运算,得到该待评价图像的结构相似性指数,提取模块602用于从该原始图像中提取多个图像显著区,运算模块601还用于对该图像显著区进行运动特性运算,以算出该图像显著区的运动特性因子;以及,利用相邻的两个图像显著区的运动特性因子计算出该相邻的两个图像显著区的相似度,合并模块603用于将该相似度大于预置相似度的两个相邻的图像显著区进行合并,运算模块601用于对合并后图像中的像素点的灰度值进行加权运算,得到该原始图像的时空显著度;以及,对该原始图像的时空显著度和该待评价图像的结构相似性指数的积进行加权运算,得到该待评价视频的质量指数。失真运算模块611用于对该待评价图像的亮度平均值和该原始图像的亮度平均值进行亮度失真度运算,得出该待评价图像的亮度失真度,失真运算模块611还用于对该待评价图像的亮度标准差、该原始图像的亮度标准差以及该待评价图像和该原始图像的亮度协方差进行对比度失真度运算,得出该待评价图像的对比度失真度,失真运算模块611还用于对该待评价图像的亮度标准差、该原始图像的亮度标准差以及该待评价图像和该原始图像的亮度协方差进行结构失真度运算,得出该待评价图像的结构失真度,指数运算模块621用于对该亮度失真度、该对比度失真度及该结构失真度进行乘法运算,得到该待评价图像的结构相似性指数,频谱运算模块612用于对该原始图像进行频谱冗余运算,得到该原始图像的频谱冗余,谱冗余运算模块622用于对该原始图像的频谱冗余和该原始图像的相位谱进行谱冗余运算,得到该原始图像的空域显著图,确定模块632用于将该空域显著图中灰度值大于预置灰度值的像素点组成的区域确定为该图像显著区矢量运算模块631用于在该图像显著区中提取运动目标,并分别对该运动目标的相对运动矢量和背景运动矢量进行二范数运算,得到该图像显著区的相对运动矢量强度和背景运动矢量强度,运动特性运算模块641用于对该相对运动矢量强度和该背景运动矢量强度进行加权运算,得到该图像显著区的运动因子。运动特性运算模块641还用于将该图像显著区的运动因子与该原始视频中的图像显著区的运动因子的最大值进行除法运算,并对算出的参数进行对数运算,以得到该图像显著区的运动特性因子。选取模块651用于在该多个图像显著区中,选取相邻的两个图像显著区。相似运算模块661用于将该两个图像显著区的运动因子的最大值与该两个图像显著区的运动特性因子的差值的绝对值进行减法运算,得到目标值。相似运算模块661还用于将该目标值与该两个图像显著区的运动因子的最大值进行除法运算,并将算出的商作为该相邻两个图像显著区的相似度。因此,在计算待评价视频的质量指数时,加入了能反映运动连贯性的运动特性因子,可以得出更加准确的视频评价指数。同时,只需计算显著区的运动特性因子,大大减少了计算量,节省了计算时间和运算资源。

在本申请所提供的多个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信链接可以是通过一些接口,装置或模块的间接耦合或通信链接,可以是电性,机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本发明所必须的。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。

以上为对本发明所提供的视频质量评价方法及装置的描述,对于本领域的技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本发明的限制。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1