专利名称：一种视频质量客观评价方法
技术领域：
本发明涉及信息工程领域，具体地，涉及图像、视频分析处理领域。
背景技术：
伴随着数字化时代的到来，图像、视频等多媒体产品在的日常生活中扮演着越来越重要的角色。而在视频处理的各个领域采集、显示、存储、传输、压缩等都需要进行质量评价。质量评价技术的研究已经成为信息工程中重要的基础研究课题之一，这既有其重要的理论意义，同样也有广泛的应用背景。一般地，视频质量评价方法分为主观评价和客观评价。在主观评价中，视频的质量是由观测者给出的平均分决定的。这种方法对于评价视频的质量来说，无疑是最准确的，但 也是比较耗时耗人力的。于是，近年来兴起了客观评价的方法，主要分为三类全参考评价、部分参考评价、无参考评价。本专利针对全参考评价展开。对于全参考评价，目前常用的方法有I.基于全像素失真统计的传统评价方法，例如PSNR(peak signal-to-noiseratio)、MSE(mean squared error)等。2.基于人眼视觉系统(HVS)的评价方法,例如MPQM(Moving Pictures QualityMetric)、PDM(Perceptual Distortion Metric)和 Sarnoff JND vision model。3.基于图像结构相似性的评价方法(SSIM):自然图像信号具有特定的结构，像素点之间带有很强的从属关系，这些从属关系包含了视觉场景中大量重要的结构信息。因此，提出了一种新的视频质量客观评价方法基于结构失真的图像和视频质量评价方法-结构相似(SSIM, Structural Similarity Index Metric)法。但是，以上这些方法都是客观评价的方法，没有完全真实地度量出人的主观感知。也就是说客观模型给出的视频质量分数和人的主观感知之间总是存在鸿沟。
发明内容
本发明要解决的是现有技术中的视频质量客观评价方法不能完全真实地度量人的主观感知，给出的评价与人的主观感知存在差距的问题。根据本发明的一个方面，提供了一种视频质量客观评价方法，包括10)在相同时间点切分源视频和待测视频，得到视频片段；20)分别提取来自源视频和待测视频的视频片段中视频帧的视频块，利用时空纹理特征计算对应视频块的相似度，其中所述时空纹理特征体现了像素之间的像素差异；30)根据对应视频块的相似度计算来自待测视频的视频帧的质量分数；40)根据来自待测视频的视频帧的质量分数计算来自待测视频的视频片段的质量值，进而计算待测视频的质量分数。上述方法中，所述步骤20)中所述利用时空纹理特征计算对应视频块的相似度进一步包括
203)对对应视频块内的像素在时间-空间信息的三维块内进行局部二值化；204)统计非均匀模式、部分均匀模式以及另一部分均匀模式下的旋转模式的簇的直方图；205)根据直方图之间的区别计算视频块的相似度。上述方法中，所述步骤20)中所述利用时空纹理特征计算对应视频块的相似度进一步包括201)计算对应视频块的亮度、对比度和结构；202)利用时空纹理特征、亮度、对比度和结构计算对应视频块的相似度。上述方法中，所述步骤10)后还包括11)根据视频内容的丰富程度，在切分得到的视频片段中选择部分视频片段用于后续处理。 上述方法中，所述步骤11)后还包括12)根据视频长短和视频内容的丰富程度，将第一个或最后一个视频片段也用于后续处理。上述方法中，所述视频内容的丰富程度用信息熵来度量。上述方法中，所述步骤40)中计算待测视频的质量分数是对来自待测视频的视频片段的质量值进行加权平均，其中第一个或最后一个视频片段的权重是其他视频片段权重的2倍。上述方法中，所述步骤30)后还包括根据前一帧的质量分数修订当前帧的质量分数的步骤。上述方法的所述修订中，当前帧质量分数的修订值是前一帧质量分数的减函数。上述方法的所述修订是根据将采用前述的方法与采用视频质量主观评价方法分别获得的待测视频的质量分数相拟合获得的修订曲线来进行。本发明的上述方法，和现有技术相比缩减了给出的评价与人的主观感知之间的差距，使得视频质量客观评价的结果更加符合人的主观感知。
图I是根据本发明优选实施例的视频质量客观评价方法框图；图2是根据本发明优选实施例的利用时空纹理特征计算块相似度的流程图；图3a是每像素8邻域的9种均匀模式示意图，图3b是对于均匀模式I的8种旋转敏感模式示意图；图4a和图4b是对比度效应示意图；图5是根据本发明优选实施例的质量修正示意图。
具体实施例方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对根据本发明一个实施例的视频质量客观评价方法进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。下面结合图I所示的根据本发明优选实施例的视频质量客观评价方法框图来详细描述该方法，其主要包括下列步骤将视频结构化，也就是说把整段视频分成视频片段。可以采用诸如镜头边界检测等方法把源视频分成一系列的视频片段。由于源视频和待测视频是时间-空间严格对齐的，所以也在同样的时间点切待测视频以得到一系列对应的视频片段。优选地，为了降低运算效率同时尽可能地保持视频内容的丰富程度，计算每个视频片段的信息熵，把信息熵高的前k%个视频片段作为代表片段来表征视频内容。本领域普通技术人员可以理解，此处以信息熵作为示例，也可以采用信息论中其他物理特征来表征视频内容的丰富程度。优选地，本发明还根据帧位置对选取的代表片段进行更改。在视频质量评价的过程中，对于视频帧而言，除了内容不同外，由于其在视频序列中的位置不同，其重要程度也是不同的。常见的两种现象分别叫做靠前的帧更重要 (Primacy Effect)和靠后的巾贞更重要(Recency Effect)。由于在视频质量评价的过程中多采用EoS的模式，即当整段视频播放完毕后才给出评价结果的模式，所以，当视频比较短且内容比较简单时，靠前的帧更占主导；当视频比较短但内容比较丰富时，靠后的帧更占主导；当视频比较长时，由于存在视觉疲劳现象，靠前的帧更占主导。本领域普通技术人员可以理解，视频长短可以通过视频所含的帧数目来确定，视频内容的丰富程度可以通过信息熵来确定。因此，针对前面视频代表片段选取环节，设计了一个补偿策略。根据视频长短和内容的丰富程度，如果第一个或最后一个片段没有被选为代表片段，仍然需要把它补进来。优选地，在采用加权平均的方式计算整段视频的质量分数时，对该第一个或最后一个片段给予较大的权重，更优选地，使其权重为其它视频帧的2倍。获得了代表片段后，就可以通过度量源视频和待测视频中代表片段的相似性来得到待测视频的失真程度了。由于代表片段是一系列视频帧的集合，所以度量视频帧的相似性是前提。根据本发明的优选实施例，度量视频帧的相似性进一步包括以下步骤首先，从视频帧中提取一系列的视频块，例如将视频帧平均分为9个视频块。然后，利用时空纹理特征获得分别来自源视频的视频帧和待测视频的视频帧的两个对应视频块之间的相似度。对于时空纹理特征，其体现了像素之间的像素差异，在本优选实施例中体现的是相邻像素之间的像素差异。由于时空纹理特征对旋转敏感，与人眼的感知相吻合，所以适用于视频质量评价体系。下面结合图2，详细描述根据本发明优选实施例的利用时空纹理特征计算块相似度的具体过程。对视频块里的像素进行局部二值化，具体而言，就是将中心点邻域的点都和中心点进行对比，比中心点亮则置为1，暗置为O。如图3a所示，如果每个像素点所在的8邻域的小块含有小于等于2次跳变,就把它称之为均勻模式(uniform patterns),这种模式在图像局部纹理里占到90%以上。如:00 0 0 0 0 002和都有O次跳变，而111000112和Iioooooi2等都有2次跳变。该对于8邻域，可以看到共有9种均匀模式。该局部二值化可参见 2002 年 7 月 T. Ojala,M. Pietikainen和 T. Maenpaa.在 IEEE Trans. Pattern Analysisand Machine Intelligence 的卷 24 第 7 期的第 971-987 页发表的 “MultiresolutionGray Scale and Rotation Invariant Texture Classification with Local BinaryPatterns，，’ —文。但是由于人眼对旋转是敏感的，所以对于图3a所示的均匀模式1-7，每种又对应8种旋转模式，例如图3b中示出的均匀模式I的8种旋转敏感模式，而均匀模式O和8则不存在旋转模式。这样，可以获得2+7*8 = 58个对应于每种模式的簇(bin)的直方图，其中每个簇表示了对应模式的像素个数。加上非均匀模式，共得到59个bin。另外，由于视频可以被看作是含有时间-空间信息的三维块，所以本发明对XY、XT和YT三个维度分别统计，得到XY (59-bin) ,XT (59-bin)和YT (59_bin)，进行直方图连接得到连接后的177-bin的直方图，其中X和Y表示空间域、T表示时间域。本领域普通技术人员可以理解，上面是对所有旋转模式进行了统计，当然，也可以只统计其中的一部分，而另一部分采用其均匀模式本身。通过计算两个视频块的对应直方图之间的卡方距离可以得到两个视频块时空纹理之间的相似度以用于计算视频块的质量分数
t (Block1, Block2) = exp {- x 2 (RSH1, RSH2)}(I)其中，Block1, Block2分别表示来自源视频的视频块和来自待测视频的视频块，RSH1, RSH2分别代表根据来自源视频的视频块和来自待测视频的视频块获得的直方图。本领域普通技术人员可以理解，在该优选实施例中以卡方距离作为示例，当然也可以采用其他方式计算两个视频块时空纹理之间的相似度，例如欧式距离等。根据本发明的优选实施例，除了时空纹理信息WBlock1, Block2),还融合了以下静态特征来计算视频块的相似度亮度UBlock1, Block2)，对比度C(BlC)Ck1, Block2)和结构S(BlockpBlock2)0对于亮度,对比度和结构的定义分别如下1 (Blockl, Block2) = 2^12
M +^2( 2 )CiBlockl，Block2) = 2^2 2
σι +σ2( 3 )SiBlock1，Block2) =
啊(4 )其中，μ i，μ 2分别代表两个视频块像素点的像素均值，OijO2分别代表两个视频块像素点的像素标准差，σ 1>2代表两个视频块像素点的像素协方差。由此，通过融合静态特征和时空纹理特征，两个视频块之间的相似度为Qff (Block1, Block2) = I (Block1, Block2) X c (Block1, Block2) X s (Block1,Block2) X t (Block1, Block2) (5)本领域普通技术人员可以理解，如上所述，本发明的优选实施例中融合了静态特征和时空纹理特征，这样综合考虑了视频帧的内容信息，使得所获质量评价结果更理想，但是也可以只用时空纹理特征计算的相似度来作为视频块的相似度，同样可以实现本发明的基本目的。通过对视频帧里所有视频块的相似度进行平均，可以确定每一待测视频帧的质量分数。本领域普通技术人员可以理解，平均只是一种实现方式，也可以采用其他实现方式，例如加权求和等，仍可实现本发明的基本目的。优选地，本发明所提供的视频质量评价方法还根据对比度效应利用帧的上下文属性对上述确定的质量分数进行修订。如图4a和图4b所示，由于对比度效应，人们通常会认为图4a中中间的球比图4b中中间的球更大，其实它们一样大。在视频质量评价中也同样存在着该效应，具体而言由于人类大脑的记忆效应，如果呈现给观测者的前一帧的质量比较好，观测者可能会低估随后帧的质量；反之，如果看到的前一帧的质量比较差，观测者可能会高估随后帧的质量。总之，当前帧质量分数的修订值是前一帧质量分数的减函数。通过将采用根据本发明一个优选实施例的方法与采用视频质量主观评价方法相拟合，得到如图5所示的修订曲线，可根据该修订曲线对视频帧的当前质量分数进行修订。对于前一帧的质量分数小于O. 7的帧，需要将其质量分数加大，对于前一帧的质量分数大于O. 9的帧，需要将其质量分数减小。优选地，对于前一帧的质量分数小于O. 3的帧，将其质量分数加O. 05至O. 23的数，对于前一帧的质量分数大于或等于O. 3且小于O. 7的帧，将其质量分数加O至O. 05之间的数，对于前一帧的质量分数大于O. 9的帧，将其质量分数减小O至O. I之间的数。将每一帧修正后的质量分数进行加权平均或者直接平均，可以得到每个代表片段的质量值。最后再通过对每个代表片段的质量值进行加权平均得到最终的整段视频失真的程度值，其中，权值例如如前所述，第一个或最后一个视频片段的权值是其它视频片段的2 倍。本领域普通技术人员可以理解，加权平均只是实现方式的一个示例而非限制。应该注意到并理解，在不脱离后附的权利要求所要求的本发明的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。
权利要求
1.一种视频质量客观评价方法，包括 10)在相同时间点切分源视频和待测视频，得到视频片段； 20)分别提取来自源视频和待测视频的视频片段中视频帧的视频块，利用时空纹理特征计算对应视频块的相似度，其中所述时空纹理特征体现了像素之间的像素差异； 30)根据对应视频块的相似度计算来自待测视频的视频帧的质量分数； 40)根据来自待测视频的视频帧的质量分数计算来自待测视频的视频片段的质量值，进而计算待测视频的质量分数。
2.根据权利要求I所述的方法，其特征在于，所述步骤20)中所述利用时空纹理特征计算对应视频块的相似度进一步包括 203)对对应视频块内的像素在时间-空间信息的三维块内进行局部二值化； 204)统计非均匀模式、部分均匀模式以及另一部分均匀模式下的旋转模式的簇的直方图； 205)根据直方图之间的区别计算视频块的相似度。
3.根据权利要求2所述的方法，其特征在于，所述步骤203)中所述直方图之间的区别用直方图之间的卡方距离来度量。
4.根据权利要求I所述的方法，其特征在于，所述步骤20)中所述利用时空纹理特征计算对应视频块的相似度进一步包括 201)计算对应视频块的亮度、对比度和结构； 202)利用时空纹理特征、亮度、对比度和结构计算对应视频块的相似度。
5.根据权利要求I至4任一项所述的方法，其特征在于，所述步骤10)后还包括 11)根据视频内容的丰富程度，在切分得到的视频片段中选择部分视频片段用于后续处理。
6.根据权利要求5所述的方法，其特征在于，所述步骤11)后还包括 12)根据视频长短和视频内容的丰富程度，将第一个或最后一个视频片段也用于后续处理。
7.根据权利要求5或6所述的方法，其特征在于，所述视频内容的丰富程度用信息熵来度量。
8.根据权利要求6所述的方法，其特征在于，所述步骤40)中计算待测视频的质量分数是对来自待测视频的视频片段的质量值进行加权平均，其中第一个或最后一个视频片段的权重是其他视频片段权重的2倍。
9.根据权利要求I至3任一项所述的方法，其特征在于，所述步骤30)后还包括根据前一帧的质量分数修订当前帧的质量分数的步骤。
10.根据权利要求9所述的方法，其特征在于，所述修订中，当前帧质量分数的修订值是前一帧质量分数的减函数。
11.根据权利要求9或10所述的方法，其特征在于，所述修订是根据将采用权利要求I至4任一项所述的方法与采用视频质量主观评价方法分别获得的待测视频的质量分数相拟合获得的修订曲线来进行。
全文摘要
本发明提供一种视频质量客观评价方法，包括10)在相同时间点切分源视频和待测视频，得到视频片段；20)分别提取来自源视频和待测视频的视频片段中视频帧的视频块，利用时空纹理特征计算对应视频块的相似度，其中所述时空纹理特征体现了像素之间的像素差异；30)根据对应视频块的相似度计算来自待测视频的视频帧的质量分数；40)根据来自待测视频的视频帧的质量分数计算来自待测视频的视频片段的质量值，进而计算待测视频的质量分数。上述方法所获得的质量分数更加符合人的主观感知。
文档编号H04N17/00GK102883179SQ20111019420
公开日2013年1月16日 申请日期2011年7月12日 优先权日2011年7月12日
发明者黄庆明, 许倩倩, 苏荔, 秦磊, 蒋树强 申请人:中国科学院计算技术研究所