一种基于空域和时域结构相似性的视频质量客观评价方法
【专利摘要】本发明公开了一种基于空域和时域结构相似性的视频质量客观评价方法，其从空域和时域两个方面评价失真视频和参考视频之间的结构相似度，其中空域评价包括亮度和色度的结构相似性，而时域评价则使用帧间残差的结构相似性来表示，计算简单快捷；然后利用四元数矩阵来建立结构相似度评价模型；再采用奇异值分解方法求解结构相似度四元数矩阵，得到最终的客观质量评价值；优点是计算复杂度低，且能够有效地提高客观评价结果与主观感知的相关性。
【专利说明】一种基于空域和时域结构相似性的视频质量客观评价方法
【技术领域】
[0001]本发明涉及一种视频质量评价技术，尤其是涉及一种基于空域和时域结构相似性的视频质量客观评价方法。
【背景技术】
[0002]视频或图像的质量评价在很多场合都有着重要的应用，如评价压缩算法的性能和优化压缩参数、监控视频在互联网中传输的质量并提供QOS服务等。因此，针对视频或图像的质量评价的研究也日益增多。目前，视频质量评价方法可以分为两类:主观评价方法和客观评价方法。主观评价方法具有耗时和成本高的特点，因此客观评价方法一直是人们研究的热点。客观评价方法依据模型给出的量化指标或参数衡量视频的质量，对于各种不同的视频质量客观评价方法，研究的目的都是使评价结果与人的主观感觉相符。传统的视频质量客观评价方法有均方误差(MSE)方法和峰值信噪比(PSNR)方法等，因其计算复杂度低和物理意义清晰而得到广泛的应用，但是这些方法存在与主观视觉一致性较差的问题。
[0003]近年来，有人提出了图像和视频质量评价的新观点，它假定人眼视觉系统(HVS)对结构信息更为敏感，并以此提出了基于结构相似性(SSIM，Structural SIMilarity)信息的图像质量评价方法，实验表明该方法优于峰值信噪比方法。在基于结构相似性(SSIM)信息的图像质量评价方法的基础上，有人提出了基于结构相似性的视频质量评价方法，这类方法主要都是针对空域和时域展开结构相似性的评价，如Wang等人在结构相似性基础上提出的基于结构失真(VSSIM)的视频质量评价方法，其将视频的质量评价分成3个层次，块级别、帧级别和视频序列级别，从Y、Cb、Cr三个方面对视频的结构相似性进行了评价；又如邹钧等人提出的基于边缘的结构相似性(ESSIM,Edge-Based Structural Similarity)的视频质量评价方法，其首先计算色度、饱和度、亮度三个分量的边缘信息，然后合成提取总边缘信息，最后通过非极大值抑制，得到视频图像的边缘；这两种方法主要依赖于计算视频空域的结构失真来评价视频的质量。另一种通过小波等频域方法或MOVIE等运动估算，结合了时域方面的结构相似性计算，以此来评价视频质量，如李航等人提出的基于频域结构相似度(FSSIM)的评价方法，其以经过人眼感知加权的频域信息作为结构信息，能更好地反映视频的结构信息；又如李文成等提出的stVSSIM方法，其基于运动信息的整体质量估计指数，分别对视频的空间和时间失真进行估计，最后获得stVSSIM评价值。然而，仅基于空域相似性的评价方法，缺乏视频在时域上的质量失真对整体质量评价的影响，导致评价的结果与主观评价的相关性较差；而采用频域或运动估算评价时域相似性的视频质量评价方法，在计算上较为复杂，使得基于结构相似性的图像或视频质量评价方法计算简单的优势不复存在；同时，现有的基于空域和时域的评价方法，一般通过对独立计算的空域和时域结果的简单加权求和来实现，而非有机的整体评价。
【发明内容】
[0004]本发明所要解决的技术问题是提供一种计算复杂度低，且能够有效地提高客观评价结果与主观感知的相关性的基于空域和时域结构相似性的视频质量客观评价方法。
[0005]本发明解决上述技术问题所采用的技术方案为:一种基于空域和时域结构相似性的视频质量客观评价方法，其特征在于包括以下步骤:
[0006]①假设参考视频中的所有参考图像和失真视频中的所有失真图像的尺寸大小均为WXH，其中，W表示参考视频中的所有参考图像和失真视频中的所有失真图像的宽，H表示参考视频中的所有参考图像和失真视频中的所有失真图像的高；
[0007]②将参考视频中当前待处理的参考图像定义为当前参考图像，并将失真视频中当前待处理的失真图像定义为当前失真图像；
[0008]③假设当前参考图像为参考视频中的第m帧参考图像，并记为，同样假设当前失真图像为失真视频中的第m帧失真图像，并记为Sfs.其中，pre+1的初始值为pre+l，pre表示参考视频中时域上先于的参考图像的总帧数，pre亦表示失真视频中时域上先于的参考图像的总帧数，I < pre ( 9，M表示参考视频中包含的参考图像的总帧数，亦表示失真视频中包含的失真图像的总帧数；
[0009]④假设
【权利要求】
1.一种基于空域和时域结构相似性的视频质量客观评价方法，其特征在于包括以下步骤: ①假设参考视频中的所有参考图像和失真视频中的所有失真图像的尺寸大小均为WXH，其中，W表示参考视频中的所有参考图像和失真视频中的所有失真图像的宽，H表示参考视频中的所有参考图像和失真视频中的所有失真图像的高； ②将参考视频中当前待处理的参考图像定义为当前参考图像，并将失真视频中当前待处理的失真图像定义为当前失真图像； ③假设当前参考图像为参考视频中的第m帧参考图像，并记为,同样假设当前失真图像为失真视频中的第m帧失真图像，并记为Sf'其中，pre+1 ^ m ^ M, m的初始值为pre+l,pre表示参考视频中时域上先于的参考图像的总帧数,pre亦表示失真视频中时域上先于Sf的参考图像的总帧数，I ^ pre ^ 9，M表示参考视频中包含的参考图像的总帧数,亦表示失真视频中包含的失真图像的总帧数；
④假设和*Sf的尺寸大小刚好能够被8X8整除，分别将分割成
2.根据权利要求1所述的一种基于空域和时域结构相似性的视频质量客观评价方法，其特征在于所述的步骤⑤中5了.'中的第η个图像块的亮度残差和Sf'中的第η个图像块的亮度残差的比较值 Comparelumi 的计算过程为:
3.根据权利要求2所述的一种基于空域和时域结构相似性的视频质量客观评价方法，其特征在于所述的步骤⑤中取α = 0.5, β = 0.5 ;取1(1 = K2 = 0.03，取L = 255。
【文档编号】H04N17/00GK104023227SQ201410232487
【公开日】2014年9月3日 申请日期:2014年5月28日 优先权日:2014年5月28日
【发明者】李纲, 艾孜买提, 金炜, 杨斌斌 申请人:宁波大学