专利名称：一种视频序列失真评价方法和装置的制作方法
技术领域：
本发明涉及多媒体通信领域，具体涉及一种视频序列失真评价方法。
背景技术：
目前，多媒体技术日新月异，各类视频处理技术快速发展，人们对高质量视频的需求也日益高涨。对原始视频序列进行有损压缩、传输等处理往往会引入失真，使得处理后的视频序列与其对应的原始视频序列不同，而这些不同一般导致视频序列的视觉质量相对于原始视频序列的视觉质量有所下降。本说明书中，“视频序列”指对无损的“原始视频序列”处理后得到的有损的视频序列。视频质量评估技术，作为各类视频处理技术优劣的判定准贝U，其重要性也日渐突显。总的来说，视频质量评估可分为主观质量评估和客观质量评估两大类。主观质量评估要求有大量人员参加，并且在严格的测试环境当中得到各测试人员对各被测视频序列的主观评分。常用的测试方法有ITU-R BT. 500-11测试方法。主观质量评估需要大量的人才和时间，并且过程复杂，成本较高。客观质量评估一般采用定量的方法测量视频中的平均失真，其方法通常为首先，将视频序列每一帧图像划分为若干局部区域，通过以下两类方法求取该局部区域的失真I)有参考模型求取视频序列中每个局部区域与视频序列对应的原始视频序列中相应局部区域像素值的不同，通过一定运算将所述像素值的不同定量为一个数值，作为该局部区域的失真，例如，将视频序列每一帧划分为以一个像素为单位的局部区域，求取视频序列中各像素与其对应的原始视频序列中相应像素之间的平方误差作为各局部区域的失真；2)无参考模型根据视频序列中每个局部区域的像素信息，利用一个特定的算子来预测该局部区域中某类图像失真(如块效应，模糊等)的程度，将这个程度定量为一个数值，作为该局部区域的失真。之后，利用所有局部区域失真的平均值来评价视频序列的失真程度，其失真程度越大，视频序列的主观质量越差。客观质量评估方法由处理器自动计算实现，无需人工参与，效率高，评估时间短，结果不具有时变性。客观质量评估主要存在的问题是其评估结果不能与主观评分的结果高度一致。导致这种结果的一个原因是根据局部区域失真求取整个视频序列的平均失真的一般方法为简单的代数平均，其中并没有考虑以下三个重要的视觉因素
I)人眼对一帧图像中不同局部区域的失真敏感度有很大差别；2)视频中某一帧的相邻帧的失真对该帧的失真产生的视觉影响；3)每一帧由于播放时刻不同，对视频序列平均失真产生的感知影响。因此，一种结合人眼视觉特性，对视频序列局部区域失真进行处理，求取接近于人眼视觉感知的视频序列平均失真计算方法对提升客观质量评估方法的性能举足轻重。获得视频序列局部区域失真的方法多种多样，目前已经有许多成熟的算法，例如，I)图像中每个像素作为一个局部区域，计算视频序列中各像素与原始视频序列中对应像素的差值的平方或者绝对值，作为各局部区域的失真；2)图像中每个像素作为一个局部区域，计算视频序列中各像素周围sXr块(即宽s个像素、高r个像素的块，下同)与原始视频序列中对应sXr块的结构相似度(Structural Similarity,详见参考文献[I]),作为各局部区域的失真；3)将图像划分为mXn块，每个mXn块为一个局部区域，计算视频序列中各mXn块对应的时间域噪声(temporal noise,详见参考文献[2]),作为这各局部区域的失真；4)将图像划分为mXn ±夹，每个mXn块为一个局部区域，计算视频序列中各mXn块对应的块效应强度(blocking artifact，详见参考文献[3])，作为各局部区域的失真。上述局部区域失真计算方法中，方法I)、2)和3)为有参考模型的例子，方法4)为无参考模型的例子。 人眼对一帧图像中不同局部区域的失真敏感度不同，失真敏感度越低，则相同强度局部区域失真对应的视觉感知强度越低。失真敏感度主要受到以下四个因子的影响I)局部区域对应的背景区域纹理的对比度掩蔽效应(contrast masking)。一般来说，纹理的对比度(也称纹理强度)越强，人眼对该局部区域的失真敏感度越低。纹理强度可以用背景区域像素值的方差来近似估计。其中，背景区域指局部区域在视频序列或者视频序列对应的原始视频序列中的对应位置及其邻域构成的区域。2)局部区域与人眼注视点(fixation)的距离。一般来说，距离越大，人眼对该局部区域的失真敏感度越低。其中人眼的注视点可以简单地用图像的中心来近似，也可以利用注意力模型(详见参考文献[4])计算图像的色彩、亮度、对比度等特征得到图像中Num(Num ^ I)个最为显著的区域(the most salient regions)的位置。3)局部区域对应的背景区域纹理的运动掩蔽效应(motion masking)。一般来说，背景区域纹理的运动速度越快，人眼对该局部区域的失真敏感度越低。其中背景区域纹理的运动速度可以由背景区域在当前帧和前一帧中对应位置的位移矢量得到。此外，如果将背景区域纹理的运动速度用其相对于对应帧中注视点移动速度的相对速度代替，失真敏感度的建模将更加准确。注视点移动速度可由注视点在前后帧中的位移除以两帧之间的相隔时间来近似表示。4)局部区域是否属于一片大面积的图像失真。如果局部区域属于一片大面积的图像失真，则人眼对该局部区域的失真敏感度较高。其中局部区域是否属于一片大面积的图像失真可以由该局部区域对应的MXN背景区域中具有大于某一阈值K的失真的局部区域的总数占MXN背景区域包含的局部区域数目的百分比来估计。该百分比越大，则说明局部区域属于一片大面积的图像失真的概率越大。综上所述，由上述四个因子决定的失真敏感度，对于调整局部区域失真的视觉强度有很重要的影响。若考虑以上四个因子相互独立，则失真敏感度可以近似表示为四个因子的乘积与一常数之和，或者四个因子的加权平均。此外，由于人眼视觉的视觉暂留效应(visual persistence),—个视觉刺激的视觉感知将会在其消失之后持续一段时间。因此，对于一个具有较强失真的帧，它对应的较强的视觉影响将会持续，从而之后具有较弱失真的帧对应时刻的感知失真总和被这一较强失真帧的感知失真总和所掩盖。这种现象可以用如下模型近似每一帧的感知失真总和等于该帧相邻若干帧时间段内最大的失真总和。引入这种视觉暂留机制来修正每帧的失真总和有利于最终得到的视频序列的平均失真更接近于主观评价的结果。再则,人的工作记忆体(working memory)记录对象的记忆强度随着时间变久而下降。记忆强度越小，则某一时刻失真的感知强度相应下降。主观评分通常在观看视频序列结束之后，因此，越先播放的帧相对于视频播放结束的时间(也就是评分的时间)越长，其失真总和的记忆强度越低，感知强度相应下降。所以，根据每帧的播放时刻，确定其对应的表示记忆强度的时域权值，用该时域权值来调整每帧的失真总和的感知强度也十分重要。参考文献[1]Z. Wang, A. C. Bovik, H. R. Sheikh，and E. P. Simoncelli，“Image qualityassessment from error visibility to structural similarity，，，IEEE Trans. ImageProcess.，vol. 13，no. 4，pp. 600-612，Apr. 2004.[2] Y. Zhao and L Yu，“Evaluating video quality with temporal noise，，，inProc. IEEE Int. Conf. Multimedia & Expo (ICME)，2010，pp. 708-712.[3] S. A. Karunasekera and N. G. Kingsbury，“A distortion measure for blocking artifacts in images based on human visual sensitivity，，，IEEE Trans.Image Processing，vol. 4，no. 6，pp. 713—724，June 1995.[4] D. Walther and C. Koch, uMo deling attention to salientproto-objects, ” Neural Networks, vol. 19，pp. 1395-1407，2006.
发明内容
为克服现有技术的上述缺陷，本发明的目的在于提供一种视频序列失真评价方法，它包括对视频序列每一帧中各局部区域失真，使用其所在位置的纹理强度因子、注视点距离因子、运动强度因子以及失真面积因子计算得到所述的局部区域失真对应的失真敏感度因子，将每一帧中各局部区域失真与其对应的失真敏感度因子的乘积的总和作为所述帧的失真总和；对视频序列中每一帧，根据其相邻若干帧各帧所述的失真总和，获得所述帧的失真总和修正值；根据每一帧在视频序列中的对应时刻获得所述帧的时域权值，计算所有帧所述的失真总和修正值与其对应的时域权值的乘积的总和，除以一个归一化数值，得到所述视频序列的平均失真。进一步的，所述纹理强度因子由以下处理方法之一得到a、计算局部区域失真所在位置背景区域的纹理强度，设定一组常数Al、A2和A3，将所述的纹理强度的Al次方与A2之和的倒数乘以A3，得到所述的纹理强度因子；b、计算局部区域失真所在位置背景区域的纹理强度，设定一组常数BI、B2和B3，将所述的纹理强度以BI为底的对数与B2之和的倒数乘以B3，得到所述的纹理强度因子。所述注视点距离因子由以下处理方法之一得到a、计算局部区域失真所在位置与其所在帧图像的图像中心的距离值，设定一组常数Cl、C2和C3，将所述的距离值的Cl次方与C2之和的倒数乘以C3，得到所述的注视点距离因子；b、计算局部区域失真所在位置与其所在帧图像的各注视点的距离值，设定一组常数Dl、D2和D3，将所述的各注视点的距离值的Dl次方与D2之和的倒数乘以D3，得到该局部区域失真相对于各注视点的注视值；对所有所述的注视值进行加权求和，获得所述的注视点距离因子。所述运动强度因子由以下处理方法之一得到a、计算局部区域失真所在位置背景区域的纹理运动速度，设定一组常数El、E2和E3，将所述的纹理运动速度的模的El次方与E2之和的倒数乘以E3，得到所述的运动强度因子;b、计算局部区域失真所在位置背景区域的纹理运动速度和所述局部区域失真对应时刻的注视点移动速度，设定一组常数FI、F2和F3，将所述的纹理运动速度和注视点移动速度之差的模的Fl次方与F2之和的倒数乘以F3，得到所述的运动强度因子。所述失真面积因子由以下处理方法之一得到 a、计算局部区域失真所在位置周围SXR区域中包含失真大于一个阈值G4的局部区域数目占所述SXR区域所包含局部区域总数的百分比，设定一组常数G1、G2和G3，将所述的百分比的Gl次方与G2之和的倒数乘以G3，得到所述的失真面积因子；b、计算局部区域失真所在位置周围SXR区域中包含失真大于一个阈值H4的局部区域数目占所述SXR区域所包含局部区域总数的百分比，设定一组常数H1、H2和H3，如果所述的百分比大于H1，则所述的失真面积因子等于H2 ;否则，所述的失真面积因子等于H3。所述的使用其所在位置的纹理强度因子、注视点距离因子、运动强度因子以及失真面积因子计算得到所述的局部区域失真对应的失真敏感度因子，由以下处理方法之一完成a、设定一组常数II、12、13、14、Jl、J2、J3和J4，将所述的纹理强度因子的Il次方与Jl的乘积、注视点距离因子的12次方与J2的乘积、运动强度因子的13次方与J3的乘积以及失真面积因子的14次方与J4的乘积相加，得到所述的失真敏感度因子；b、设定一组常数K1、K2、K3、K4和K5，将所述的纹理强度因子的Kl次方、注视点距离因子的K2次方、运动强度因子的K3次方以及失真面积因子的K4次方相乘，再加上K5，得到所述的失真敏感度因子。所述的对视频序列中每一帧、根据其相邻若干帧各帧所述的失真总和、获得所述帧的失真总和修正值是由以下处理方法之一完成a、设定一组常数LI和L2，将每一帧的前LI帧、后L2帧及所述帧的失真总和中的最大值，作为所述帧的失真总和修正值；b、设定一组常数Ml和M2，将每一帧的前Ml帧、后M2帧及所述帧的失真总和的平均值，作为所述帧的失真总和修正值。所述的根据每一帧在视频序列中的对应时刻获得所述帧的时域权值是由以下处
理方法之一完成a、设定一组常数N1、N2、N3和N4，计算每一帧与视频序列最后帧相距的播放时差，将所述的播放时差与NI之和求以N2为底的对数，乘以N3，加上N4，得到所述的时域权值；b、设定一组常数01、02和03，计算每一帧与视频序列最后帧相距的播放时差，将所述的播放时差与01之和的倒数与02的乘积加上03，得到所述的时域权值。本发明的另一目的还在于提供一种视频序列失真评价装置，该装置包括以下三个模块
对视频序列每一帧中各局部区域失真，使用其所在位置的纹理强度因子、注视点距离因子、运动强度因子以及失真面积因子计算得到所述的局部区域失真对应的失真敏感度因子，将各局部区域失真与其对应的失真敏感度因子的乘积的总和作为所述帧的失真总和的帧级失真总和生成模块，其输入为视频序列的局部区域失真以及视频序列或者所述视频序列对应的原始视频序列，输出为视频序列每一帧的失真总和；对视频序列中每一帧，根据其相邻若干帧的所述的失真总和，获得所述帧的失真总和修正值的帧级失真总合修正值生成模块，其输入为视频序列每一帧的失真总和，输出为视频序列每一帧的失真总和修正值；根据每一帧在视频序列中的对应时刻获得所述帧的时域权值，计算所有帧所述的失真总和修正值与其对应的时域权值的乘积的总和，除以一个归一化数值，得到所述视频序列的平均失真的序列级平均失真生成模块，其输入为视频序列每一帧的失真总和修正值，其输出为视频序列的平均失真。所述的帧级失真总和生成模块包括以下六个模块 a、获得局部区域失真对应的纹理强度因子的纹理强度因子生成模块，其输入为局部区域失真以及视频序列或者视频序列对应的原始视频序列，其输出为局部区域失真对应的纹理强度因子，所述模块完成以下处理之一I)计算局部区域失真所在位置背景区域的纹理强度，设定一组常数Al、A2和A3，将所述的纹理强度的Al次方与A2之和的倒数乘以A3，得到所述的纹理强度因子；2)计算局部区域失真所在位置背景区域的纹理强度，设定一组常数BI、B2和B3，将所述的纹理强度以BI为底的对数值与B2之和的倒数乘以B3，得到所述的纹理强度因子;b、获得局部区域失真对应的注视点距离因子的注视点距离因子生成模块，其输入为局部区域失真以及视频序列或者视频序列对应的原始视频序列，其输出为局部区域失真对应的注视点距离因子，所述模块完成以下处理之一I)计算局部区域失真所在位置与图像中心的距离值，设定一组常数Cl、C2和C3，将所述的距离值的Cl次方与C2之和的倒数乘以C3，得到所述的注视点距离因子；2)计算局部区域失真所在位置与该局部区域所在帧图像的各注视点的距离值，设定一组常数Dl、D2和D3，将所述的各注视点的距离值的Dl次方值与D2之和的倒数乘以D3，得到该局部区域失真相对于各注视点的注视值；对所有所述的注视值进行加权求和，获得所述的注视点距离因子；C、获得局部区域失真对应的运动强度因子的运动强度因子生成模块，其输入为局部区域失真以及视频序列或者视频序列对应的原始视频序列，其输出为局部区域失真对应的运动强度因子，所述模块完成以下处理之一I)计算局部区域失真所在位置背景区域的纹理运动速度，设定一组常数E1、E2和E3，将所述的纹理运动速度的模的El次方与E2之和的倒数乘以E3，得到所述的运动强度因子;2)计算局部区域失真所在位置背景区域的纹理运动速度和所述局部区域失真对应时刻的注视点移动速度，设定一组常数Fl、F2和F3，将所述的纹理运动速度和注视点移动速度之差的模的Fl次方与F2之和的倒数乘以F3，得到所述的运动强度因子；
d、获得局部区域失真对应的失真面积因子的失真面积因子生成模块，其输入为局部区域失真，其输出为局部区域失真对应的失真面积因子，所述模块完成以下处理之一I)计算局部区域失真所在位置周围SXR区域中包含失真大于一个阈值G4的局部区域数目占所述SXR区域所包含局部区域总数的百分比，设定一组常数G1、G2和G3，将所述的百分比的Gl次方与G2之和的倒数乘以G3，得到所述的失真面积因子；2)计算局部区域失真所在位置周围SXR区域中包含失真大于一个阈值H4的局部区域数目占所述SXR区域所包含局部区域总数的百分比，设定一组常数H1、H2和H3，如果所述的百分比大于H1，则所述的失真面积因子等于H2;否则，所述的失真面积因子等于H3 ；e、获得局部区域失真对应的失真敏感度因子的失真敏感度因子生成模块，其输入为局部区域失真对应的纹理强度因子、注视点距离因子、运动强度因子和失真面积因子，其输出为局部区域失真对应的失真敏感度因子，所述模块完成以下处理之一 I)设定一组常数11、12、13、14、11、12、13和4，将所述的纹理强度因子的Il次方与Jl的乘积、注视点距离因子的12次方与J2的乘积、运动强度因子的13次方与J3的乘积以及失真面积因子的14次方与J4的乘积相加，得到所述的失真敏感度因子；2)设定一组常数Kl、K2、K3、K4和K5，将所述的纹理强度因子的Kl次方、注视点距离因子的K2次方、运动强度因子的K3次方以及失真面积因子的K4次方相乘，再加上K5，得到所述的失真敏感度因子；f、获得视频序列每一帧中所有局部区域失真之和的失真乘加模块，其输入为视频序列每一帧中所有局部区域失真及其对应的失真敏感度因子，其输出为所述帧的失真总和，所述模块完成以下处理将每一帧中各局部区域失真与其对应的失真敏感度因子的乘积的总和作为所述帧的失真总和。本发明利用视觉敏感度、视觉暂留、记忆强度等特性的数值模型，对视频序列的各个局部区域失真进行处理，得到整个视频序列的平均失真，用以视频序列失真评价。相对于将视频序列的各个局部区域失真进行简单的几何平均所得到的几何平均失真，由本发明得到的视频序列的平均失真结果与主观视频质量评估方法的评估结果具有更高的一致性。
图I为本发明一种视频序列失真评价装置实施例的结构示意图。图2为本发明一种视频序列失真评价装置中帧级失真总和生成模块实施例的结构示意图。图3为本发明对定义为“各像素平方误差”的局数区域失真进行处理后得到的视频序列平均失真(已归一化处理)和主观质量评估结果之间的散点图。
具体实施例方式下面，结合实施例来详细阐述本发明的视频序列失真评价方法和视频序列失真评价装置的具体实施方式
。所述的视频质量评估方法包括对视频序列每一帧中各局部区域失真，使用其所在位置的纹理强度因子、注视点距离因子、运动强度因子以及失真面积因子计算得到所述的局部区域失真对应的失真敏感度因子，将每一帧中各局部区域失真与其对应的失真敏感度因子的乘积的总和作为所述帧的失真总和；对视频序列中每一帧，根据其相邻若干帧各帧所述的失真总和，获得该帧的失真总和修正值；根据每一帧在视频序列中的对应时刻获得时域权值，计算所有帧所述的失真总和修正值和对应时域权值的乘积的总和，除以一个归一化数值，得到该视频序列的平均失真。其具体实施方式
如下本方法的处理对象为视频序列局部区域失真，其获得方法有多种，例如，方法一图像中每个像素作为一个局部区域，计算视频序列中该像素与原始视频序列中对应像素的差值的平方或者绝对值，作为该局部区域的失真。方法二 图像中每个像素作为一个局部区域，计算视频序列中该像素周围sXr块与原始视频序列中对应sXr块的结构相似度(Structural Similarity,详见参考文献)，作为该局部区域的失真。 方法三将图像划分为mXnife，每个mXn块为一个局部区域，计算视频序列中该mXn块对应的时间域噪声(temporal noise,详见参考文献[2]),作为该局部区域的失真。方法四将图像划分为mXn块，每个mXn块为一个局部区域，计算视频序列中各mXn块对应的块效应强度(blocking artifact,详见参考文献[3]),作为各局部区域的失真。需要注意的是，每个局部区域失真也含有该局部区域在视频序列中的位置信息，即该局部区域所在帧的帧号，以及其在该帧中的坐标位置。设一个视频序列共有I帧，每一帧i被划分为K个局部区域，相应的第i帧中第k个局部区域记为(k，i)，k G K，i G I，其失真记为DiS (k，i)，k G K，i G I，所述的局部区域失真可由上述的视频序列局部区域失真的获得方法中所述的四种方法获得，但不仅限于上述的四种方法。所述的对视频序列每一帧中各局部区域失真，使用其所在位置的纹理强度因子、注视点距离因子、运动强度因子以及失真面积因子计算得到所述的局部区域失真对应的失真敏感度因子，将每一帧中各局部区域失真与其对应的失真敏感度因子的乘积的总和作为每一帧的失真总和，包括以下六项处理I)所述的局部区域失真对应的纹理强度因子与该局部区域所在位置背景区域的纹理强度呈单调递减关系。其中，背景区域指局部区域在视频序列或者视频序列对应的原始视频序列中的对应位置及其邻域构成的区域(下同)。所述的纹理强度因子T(k，i)，由以下处理方法之一得到方法一计算局部区域(k，i)所在位置背景区域的纹理强度c (k，i)。设定一组常数ApA2和A3，所述的纹理强度因子T (k，i)通过以下运算得到聊=j+A2。其中纹理强度c(k，i)可以用局部区域(k，i)所在位置背景区域MXN块中各像素值的方差表示。各常数的取值使得T (k，i)和c(k，i)呈单调递减关系且T (k，i) >0，例如A1 = I, A2 = 50, A3 = 50 ;又例如，A1 = 0. 5, A2 = 20, A3 = 15。所述的局部区域(k, i)所在位置背景区域MXN块既可以是该视频序列中第i帧第k局部区域对应的背景区域MXN块，也可以是该视频序列对应的原始视频序列中第i帧第k局部区域对应的背景区域MXN块。其中，背景区域MXN块包含整个局部区域(k，i)，例如背景区域MXN块的中心和局部区域(k，i)的中心重合且背景区域MXN块面积大于等于局部区域(k，1)。背景区域大小取值例如M = 8，N = 8 ;又例如M = 9，N = 7。方法二 计算局部区域(k，i)所在位置背景区域的纹理强度c (k，i)。设定一组常数BpB2和B3，所述的纹理强度因子T (k，i)通过以下运算得到T (k, i) = -- 3 。
权利要求
1.一种视频序列失真评价方法，其特征在于，包括 对视频序列每一帧中各局部区域失真，使用其所在位置的纹理强度因子、注视点距离因子、运动强度因子以及失真面积因子计算得到所述的局部区域失真对应的失真敏感度因子，将每一帧中各局部区域失真与其对应的失真敏感度因子的乘积的总和作为所述帧的失真总和； 对视频序列中每一帧，根据其相邻若干帧各帧所述的失真总和，获得所述帧的失真总和修正值； 根据每一帧在视频序列中的对应时刻获得所述帧的时域权值，计算所有帧所述的失真总和修正值与其对应的时域权值的乘积的总和，除以一个归一化数值，得到所述视频序列的平均失真。
2.如权利要求I所述的视频序列失真评价方法，其特征在于，所述纹理强度因子以下处理方法之一得到 a、计算局部区域失真所在位置背景区域的纹理强度，设定一组常数Al、A2和A3，将所述的纹理强度的Al次方与A2之和的倒数乘以A3，得到所述的纹理强度因子； b、计算局部区域失真所在位置背景区域的纹理强度，设定一组常数BI、B2和B3，将所述的纹理强度以BI为底的对数与B2之和的倒数乘以B3，得到所述的纹理强度因子。
3.如权利要求I所述的视频序列失真评价方法，其特征在于，所述注视点距离因子由以下处理方法之一得到 a、计算局部区域失真所在位置与其所在帧图像的图像中心的距离值，设定一组常数Cl、C2和C3，将所述的距离值的Cl次方与C2之和的倒数乘以C3，得到所述的注视点距离因子； b、计算局部区域失真所在位置与其所在帧图像的各注视点的距离值，设定一组常数DU D2和D3，将所述的各注视点的距离值的Dl次方与D2之和的倒数乘以D3，得到该局部区域失真相对于各注视点的注视值；对所有所述的注视值进行加权求和，获得所述的注视点距离因子。
4.如权利要求I所述的视频序列失真评价方法，其特征在于，所述运动强度因子由以下处理方法之一得到 a、计算局部区域失真所在位置背景区域的纹理运动速度，设定一组常数El、E2和E3，将所述的纹理运动速度的模的El次方与E2之和的倒数乘以E3，得到所述的运动强度因子; b、计算局部区域失真所在位置背景区域的纹理运动速度和所述局部区域失真对应时刻的注视点移动速度，设定一组常数FI、F2和F3，将所述的纹理运动速度和注视点移动速度之差的模的Fl次方与F2之和的倒数乘以F3，得到所述的运动强度因子。
5.如权利要求I所述的视频序列失真评价方法，其特征在于，所述失真面积因子由以下处理方法之一得到 a、计算局部区域失真所在位置周围SXR区域中包含失真大于一个阈值G4的局部区域数目占所述SXR区域所包含局部区域总数的百分比，设定一组常数G1、G2和G3，将所述的百分比的Gl次方与G2之和的倒数乘以G3，得到所述的失真面积因子； b、计算局部区域失真所在位置周围SXR区域中包含失真大于一个阈值H4的局部区域数目占所述SXR区域所包含局部区域总数的百分比，设定一组常数H1、H2和H3，如果所述的百分比大于H1，则所述的失真面积因子等于H2 ;否则，所述的失真面积因子等于H3。
6.如权利要求I所述的视频序列失真评价方法，其特征在于，所述的使用其所在位置的纹理强度因子、注视点距离因子、运动强度因子以及失真面积因子计算得到所述的局部区域失真对应的失真敏感度因子由以下处理方法之一完成 a、设定一组常数II、12、13、14、Jl、J2、J3和J4，将所述的纹理强度因子的Il次方与Jl的乘积、注视点距离因子的12次方与J2的乘积、运动强度因子的13次方与J3的乘积以及失真面积因子的14次方与J4的乘积相加，得到所述的失真敏感度因子； b、设定一组常数K1、K2、K3、K4和K5，将所述的纹理强度因子的Kl次方、注视点距离因子的K2次方、运动强度因子的K3次方以及失真面积因子的K4次方相乘，再加上K5，得到所述的失真敏感度因子。
7.如权利要求I所述的视频序列失真评价方法，其特征在于，对视频序列中每一帧、根据其相邻若干帧各帧所述的失真总和、获得所述帧的失真总和修正值是由以下处理方法之一完成 a、设定一组常数LI和L2，将每一帧的前LI帧、后L2帧及所述帧的失真总和中的最大值，作为所述帧的失真总和修正值； b、设定一组常数Ml和M2，将每一帧的前Ml帧、后M2帧及所述帧的失真总和的平均值，作为所述帧的失真总和修正值。
8.如权利要求I所述的视频序列失真评价方法，其特征在于，所述的根据每一帧在视频序列中的对应时刻获得所述帧的时域权值由以下处理方法之一完成 a、设定一组常数N1、N2、N3和N4，计算每一帧与视频序列最后帧相距的播放时差，将所述的播放时差与NI之和求以N2为底的对数，乘以N3，加上N4，得到所述的时域权值； b、设定一组常数01、02和03，计算每一帧与视频序列最后帧相距的播放时差，将所述的播放时差与01之和的倒数与02的乘积加上03，得到所述的时域权值。
9.一种视频序列失真评价装置，其特征在于，包括以下三个模块 对视频序列每一帧中各局部区域失真，使用其所在位置的纹理强度因子、注视点距离因子、运动强度因子以及失真面积因子计算得到所述的局部区域失真对应的失真敏感度因子，将各局部区域失真与其对应的失真敏感度因子的乘积的总和作为所述帧的失真总和的帧级失真总和生成模块，其输入为视频序列的局部区域失真以及视频序列或者所述视频序列对应的原始视频序列，输出为视频序列每一帧的失真总和； 对视频序列中每一帧，根据其相邻若干帧的所述的失真总和，获得所述帧的失真总和修正值的帧级失真总合修正值生成模块，其输入为视频序列每一帧的失真总和，输出为视频序列每一帧的失真总和修正值； 根据每一帧在视频序列中的对应时刻获得所述帧的时域权值，计算所有帧所述的失真总和修正值与其对应的时域权值的乘积的总和，除以一个归一化数值，得到所述视频序列的平均失真的序列级平均失真生成模块，其输入为视频序列每一帧的失真总和修正值，其输出为视频序列的平均失真。
10.如权利要求9所述的视频序列失真评价装置，其特征在于，所述的帧级失真总和生成模块包括以下六个模块a、获得局部区域失真对应的纹理强度因子的纹理强度因子生成模块，其输入为局部区域失真以及视频序列或者视频序列对应的原始视频序列，其输出为局部区域失真对应的纹理强度因子，所述模块完成以下处理之一 1)计算局部区域失真所在位置背景区域的纹理强度，设定一组常数Al、A2和A3，将所述的纹理强度的Al次方与A2之和的倒数乘以A3，得到所述的纹理强度因子； 2)计算局部区域失真所在位置背景区域的纹理强度，设定一组常数BI、B2和B3，将所述的纹理强度以BI为底的对数值与B2之和的倒数乘以B3，得到所述的纹理强度因子； b、获得局部区域失真对应的注视点距离因子的注视点距离因子生成模块，其输入为局部区域失真以及视频序列或者视频序列对应的原始视频序列，其输出为局部区域失真对应的注视点距离因子，所述模块完成以下处理之一 1)计算局部区域失真所在位置与图像中心的距离值，设定一组常数Cl、C2和C3，将所述的距离值的Cl次方与C2之和的倒数乘以C3，得到所述的注视点距离因子； 2)计算局部区域失真所在位置与该局部区域所在帧图像的各注视点的距离值，设定一组常数Dl、D2和D3，将所述的各注视点的距离值的Dl次方值与D2之和的倒数乘以D3，得到该局部区域失真相对于各注视点的注视值；对所有所述的注视值进行加权求和，获得所述的注视点距离因子； C、获得局部区域失真对应的运动强度因子的运动强度因子生成模块，其输入为局部区域失真以及视频序列或者视频序列对应的原始视频序列，其输出为局部区域失真对应的运动强度因子，所述模块完成以下处理之一 1)计算局部区域失真所在位置背景区域的纹理运动速度，设定一组常数El、E2和E3，将所述的纹理运动速度的模的El次方与E2之和的倒数乘以E3，得到所述的运动强度因子; 2)计算局部区域失真所在位置背景区域的纹理运动速度和所述局部区域失真对应时刻的注视点移动速度，设定一组常数FI、F2和F3，将所述的纹理运动速度和注视点移动速度之差的模的Fl次方与F2之和的倒数乘以F3，得到所述的运动强度因子； d、获得局部区域失真对应的失真面积因子的失真面积因子生成模块，其输入为局部区域失真，其输出为局部区域失真对应的失真面积因子，所述模块完成以下处理之一 1)计算局部区域失真所在位置周围SXR区域中包含失真大于一个阈值G4的局部区域数目占所述SXR区域所包含局部区域总数的百分比，设定一组常数G1、G2和G3，将所述的百分比的Gl次方与G2之和的倒数乘以G3，得到所述的失真面积因子； 2)计算局部区域失真所在位置周围SXR区域中包含失真大于一个阈值H4的局部区域数目占所述SXR区域所包含局部区域总数的百分比，设定一组常数H1、H2和H3，如果所述的百分比大于H1，则所述的失真面积因子等于H2 ;否则，所述的失真面积因子等于H3 ； e、获得局部区域失真对应的失真敏感度因子的失真敏感度因子生成模块，其输入为局部区域失真对应的纹理强度因子、注视点距离因子、运动强度因子和失真面积因子，其输出为局部区域失真对应的失真敏感度因子，所述模块完成以下处理之一 I)设定一组常数II、12、13、14、Jl、J2、J3和J4，将所述的纹理强度因子的Il次方与Jl的乘积、注视点距离因子的12次方与J2的乘积、运动强度因子的13次方与J3的乘积以及失真面积因子的14次方与J4的乘积相加，得到所述的失真敏感度因子；2)设定一组常数Kl、K2、K3、K4和K5，将所述的纹理强度因子的Kl次方、注视点距离因子的K2次方、运动强度因子的K3次方以及失真面积因子的K4次方相乘，再加上K5，得到所述的失真敏感度因子； f、获得视频序列每一帧中所有局部区域失真之和的失真乘加模块，其输入为视频序列每一帧中所有局部区域失真及其对应的失真敏感度因子，其输出为所述帧的失真总和，所述模块完成以下处理 将每一帧中各局部区域失真与其对应的失真敏感度因子的乘积的总和作为所述帧的失真总和。
全文摘要
提供一种视频序列失真评价方法和装置。所述评价方法包括对视频序列每一帧中各局部区域失真，使用其所在位置的纹理强度因子、注视点距离因子、运动强度因子以及失真面积因子获得其对应的失真敏感度因子，将每一帧中各局部区域失真与其对应的失真敏感度因子的乘积的总和作为所述帧的失真总和；对视频序列每一帧，根据其相邻若干帧各帧的失真总和，获得所述帧的失真总和修正值；根据每一帧在视频序列中的对应时刻获得所述帧的时域权值，计算所有帧的失真总和修正值与其对应的时域权值的乘积的总和，除以一个归一化数值，得到所述视频序列的平均失真。由本发明得到的视频序列平均失真与主观视频质量评估结果具有较高的一致性。
文档编号H04N17/00GK102769772SQ20111011528
公开日2012年11月7日 申请日期2011年5月5日 优先权日2011年5月5日
发明者虞露, 赵寅 申请人:浙江大学