专利名称：基于关键帧图像质量加权的无参考视频质量客观评价方法
技术领域：
本发明涉及一种视频通信质量的评价方法，确切地说，涉及一种面向现有网络的无参考视频质量的自动评测方法，用于解决在无原始视频参考情况下，客观评价接收端视频质量的复杂度和准确性问题，属于视频通信技术领域。
背景技术：
目前，视频质量评价主要采用两种形式主观评价和客观评价。主观评价方法需要由一些人员按照设定规则进行评分，该方法工作可靠，但是操作复杂、费时，并不适合无线视频业务等实时监控的应用场合。客观评价方法是通过仪器或软件自动分析视频质量而给出量化的评价分数，其评价结果具有数值性、易操作性和可重复性等特点，已成为视频质量研究的热点。根据有无原始视频作为参考，通常将客观评价方法分为三类全参考型 FR (Full-Reference),部分参考型 RR(Reduce-Reference)和无参考型 NR(No-Reference)。 FR评价方法已经取得了很好的性能，但是，由于该类算法需要完整的原始视频作参考，这在接收终端往往是无法实现或不存在的，致使实际应用范围很受限制。所以，国内外越来越多的高等院校及科研机构开始从事NR评价算法的研究。相对于FR评价而言，NR方法的实用价值更大，但研究比较困难，取得的成果十分有限，评价效果也不甚理想。实际网络中，影响视频通信质量的因素主要包括两类失真一是视频编码技术带来的失真(如方块效应、模糊、噪声等)；二是传输网络的数据丢包或时延带来的失真(如马赛克、抖动等)。因此，大部分NR客观评价算法的核心思想是描述上述损伤的若干种特征参数，再确定每个特征参数与客观评分之间的函数。NR客观评价的另一类重要方法是基于视频质量的先验知识进行评价，即首先需要建立基于神经网络NN(Neural Network)或者支持向量机SVM(Support Vector Machine)的视频质量评价模型,然后根据该视频的若干可得到的特征参数进行分类识别，从而得到视频质量评分。下面简介这两类评价方法的具体技术状况第一种是通过检测典型劣化特征进行评价目前对劣化特征的检测主要集中在方块、模糊等空域失真或时域运动性的单一指标上，例如，文献《基于块编码视频的无参考质量评估[J] 》(刊于“电子与信息学报”，28 (4)，2006)通过分析可察觉的方块效应来评价视频质量；文献《视频质量动态性指标评价及应用[J].》(刊于“北京邮电大学学报”，31(6)， 2008)提出一种综合描述视频背景运动信息和对象运动信息的视频动态性评价方法，并由此推导出平滑度指标用于视频质量评价。此类检测算法具有较强的“素材依赖性”或“场景依赖性”，即只对特定素材的典型劣化形态及劣化程度具有一定准确性，一旦假设条件不同，检测性能就会下降，甚至失效。与单一类型失真检测相比，多类型失真检测能够更全面地表达视频的质量特性, 因此，文献《(No-Reference Quality Metric for Degraded and Enhanced Video[C]》(刊于“Proceedings of SPIE”2003)中联合检测的特征失真包括方块效应、震荡效应、钳位、
5噪声和对比度等。视频质量专家组VQEG曾对the Psytechnics NR model和SwissQual’s NR model 进行过测试(参见 VQEG_Multimedia_PhaseI_Final_Report, 2008)。这两种算法正是基于检测空域和时域的多种类型失真进行质量评价，但是，参见效果并不理想，算法仍对视频格式和内容有一定的依赖性，而且考虑的失真类型越多，算法复杂度越高。第二种是利用视频质量先验知识进行评价=Mohamed等人把网络参数(如丢包率、 端到端时延、抖动)和编码参数(如比特率、帧率、编码类型)等作为神经网络的输入节点， 把质量评分作为输出节点，经过训练后的神经网络可以根据各参数直接预测视频质量(参见《A Study of Real-time Packet Video Quality Using Random Neural Networks[J]》 干丨J 于“ IEEE Transactions on. Circuits andSystems for Video Technology，，12 (12), 2002)。然而，神经网络拟合的函数不是最优的，会造成过学习问题，即泛化能力差，评价准石角度不高° 文献《No-reference video quality measurement with support vector regression [J]))(刊于 “ International Journal of Neural Systems” 19 (6), 2009)利用各种特征提取方法量化视频质量，并对支持向量回归模型进行训练，以实现待测视频的质量预测。此方法利用了 SVM，尽管泛化能力较好，但是其参数不容易调整，计算量较大。由上述分析可见，目前已有的NR评价方法在许多方面还存在不尽人意之处，一些算法对视频格式和内容有依赖性，一些算法效果尚可，但是，算法复杂度高而不适宜应用， 一些算法简单，但泛化能力差或精度不理想等等。同时，上述视频质量评价方法往往只取单帧图像质量的平均值作为评价结果，未考虑视频运动信息和各帧图像质量劣化程度不同的影响，不能很好地与实际主观感觉相吻合。为此，申请人对相关技术进行了研究，并将研究成果《一种用于视频质量评价的关键帧的选取方法》申请了中国发明专利(申请号为 201010609119. 0)，以降低对视频进行逐帧评价的计算复杂度。
发明内容
有鉴于此，本发明的目的是针对现有的视频质量评测技术存在的素材/场景依赖性大、算法复杂度高、泛化能力差和单帧图像质量简单平均等缺陷，在上述专利申请“一种用于视频质量评价的关键帧的选取方法”的基础上，提供一种基于关键帧图像质量加权的无参考视频质量客观评价方法。该方法充分考虑视频运动信息、人眼视觉特性，以及不同帧的图像质量对整体视频质量的不同作用，在保证评测性能的前提下，能够降低计算复杂度， 适用于现有网络各种视频应用的自动评测，且操作步骤简单，易于集成，在视频质量评测应用中具有较好的推广价值。为了达到上述目的，本发明提供了一种用关键帧图像质量加权的无参考视频质量的客观评价方法，其特征在于首先依据基于人眼兴趣加权的运动剧烈程度方法初步选取关键帧，然后通过相关性分析将初步选取的关键帧分为场景切换型关键帧和非场景切换型关键帧；再对非场景切换型关键帧评价图像质量，并根据该评价结果将非场景切换型关键帧细分为内容变化型关键帧和质量变化型关键帧；最后利用质量变化型关键帧的持续时间因子和恶化频率因子对其单帧质量进行加权求和计算，得到整个视频序列的质量评价结果。所述方法包括下列步骤(I)从待评价视频序列中选取出非场景切换型关键帧先依据每帧图像的运动剧烈程度初步选取关键帧，再分析这些关键帧之间的相关性，剔除其中与视频质量无关的场景切换型关键帧；(2)评价非场景切换型关键帧的图像质量和二次选取对非场景切换型关键帧图像进行小波变换，并检测小波系数的统计特性，计算与评价其图像质量；再以该评价结果进行关键帧的二次选取，区分图像质量下降的质量变化型关键帧和图像质量未下降、但图像内容与前后帧发生变化的内容变化型关键帧；(3)采用对质量变化型关键帧的图像质量加权计算方法评价视频质量其中，两个加权因子分别依据质量变化型关键帧的持续时长及其占非场景切换型关键帧数量的比例，用于考虑视频质量较差的帧的持续时间及其出现频率对人眼视觉感知造成的影响。所述步骤(I)进一步包括下列操作内容(11)将待评价视频序列转化为统一的欧洲电视系统的颜色编码YUV视频格式，然后按顺序对每帧的图像进行分块，将当前帧的图像块与前一帧的相同位置图像块之间亮度值的差值矩阵中的所有元素绝对值之和除以该图像块的总像素值的商，作为当前帧的各个图像块的运动剧烈程度的计算公式
权利要求
1.一种用关键帧图像质量加权的无参考视频质量的客观评价方法，其特征在于首先依据基于人眼兴趣加权的运动剧烈程度方法初步选取关键帧，然后通过相关性分析将初步选取的关键帧分为场景切换型关键帧和非场景切换型关键帧；再对非场景切换型关键帧评价图像质量，并根据该评价结果将非场景切换型关键帧细分为内容变化型关键帧和质量变化型关键帧；最后利用质量变化型关键帧的持续时间因子和恶化频率因子对其单帧质量进行加权求和计算，得到整个视频序列的质量评价结果。
2.根据权利要求I所述的方法，其特征在于所述方法包括下列步骤(1)从待评价视频序列中选取出非场景切换型关键帧先依据每帧图像的运动剧烈程度初步选取关键帧，再分析这些关键帧之间的相关性，剔除其中与视频质量无关的场景切换型关键巾贞;(2)评价非场景切换型关键帧的图像质量和二次选取对非场景切换型关键帧图像进行小波变换，并检测小波系数的统计特性，计算与评价其图像质量；再以该评价结果进行关键帧的二次选取，区分图像质量下降的质量变化型关键帧和图像质量未下降、但图像内容与前后帧发生变化的内容变化型关键帧；(3)采用对质量变化型关键帧的图像质量加权计算方法评价视频质量其中，两个加权因子分别依据质量变化型关键帧的持续时长及其占非场景切换型关键帧数量的比例，用于考虑视频质量较差的帧的持续时间及其出现频率对人眼视觉感知造成的影响。
3.根据权利要求2所述的方法，其特征在于所述步骤(I)进一步包括下列操作内容:(11)将待评价视频序列转化为统一的欧洲电视系统的颜色编码YUV视频格式，然后按顺序对每帧的图像进行分块，将当前帧的图像块与前一帧的相同位置图像块之间亮度值的差值矩阵中的所有元素绝对值之和除以该图像块的总像素值的商，作为当前帧的各个图像 \)块的运动剧烈程度的计算公式 式中，M、N、Mp、Np、i、j和k皆为自然数，M与N分别是每帧图像的宽度与高度的像素值，Mp 和Np分别是分块后的每个图像块的宽度与高度的像素值，且M和N分别为Mp和Np的整数倍，MpXNp为图像块的总像素值；i和j分别是图像块在帧中的横坐标与纵坐标，其最大值 M N分别为&一和f ;fk(m，n)和LOiun)分别为该步骤读取的第k帧和第(k-1)帧中坐标为(m, n)的像素的亮度值；(12)按照下述公式计算每帧图像总体运动剧烈程度 尋，乃’式中， Im为考虑人眼兴趣的每个图像块的权重因子，若定义每帧图像中心坐标为(}，})，则位于不同位置的图像块的权重因子Iy的计算公式分别为
4.根据权利要求3所述的方法，其特征在于所述步骤(13)包括下列两种操作内容 (13A)若第k巾贞为非场景切换型关键巾贞，即keyframe [I] = k,则应同时满足以下三个筛选条件A，第k帧的总体运动剧烈程度MAk应满足下述两式之一
5.根据权利要求2所述的方法，其特征在于所述步骤(2)进一步包括下列操作内容(21)采用多分辨率分析的小波快速算法，即Mallat算法对非场景切换型关键帧图像进行两层小波分解先进行一层小波分解，得到四个子图低频LL1、低高频LH1、高低频HL1 和高频HH1，再对低频LL1子图进行二层小波分解，得到四个子图低频LL2、低高频LH2、高低频HL2、高频HH2 ;在每个尺度下，LLw子图的小波系数/w°(m, )都包含前一阶段的低频信息， 而仏丄^^叫子图的小波系数/么^^)、、/W3(w, )也分别包含横向、纵向和对角方向的高频边缘信息；式中，字符的上标数字与下标w分别是小波分解后的子图索引序号和小波分解层数；(22)将HL2子图的小波系数水平分割为四个子带fhl fh4 10^) = /^(40-1) + "^),式中，/2(40-1) + "^)是坐标为(4(m-l)+x, n)的像素的小波系数，fhx(m，n)是分割后的子带对应(m，n)处的小波系数，子带序号x = 1，2，3，4 ;(23)分别计算四个子带fhl fh4饱方盖 ，再计算垂直方向的失真度(J2fQv=——rr，I值与I偏离越大，表明该非场景切换型关键帧的图像垂直方向 mean(afhi,afh2,afJ失真越大；(24)将LH2子图的小波系数垂直分割为四个子带fvl fv4
6.根据权利要求2所述的方法，其特征在于所述步骤(3)中，所述对质量变化型关键 帧图像质量进行加权衡量的操作包括下列内容(31)因质量差的关键帧持续时间越长，对人眼视觉感知的影响越大，故定义持续时间 因子t为两个相邻的质量变化型关键帧的帧序号差的倒数，则计算第q个质量变化型关键帧的持续时间因子~
全文摘要
一种用关键帧图像质量加权的无参考视频质量的客观评价方法，先依据基于人眼兴趣加权的运动剧烈程度方法初步选取关键帧，然后通过相关性分析将初步选取的关键帧分为场景切换型关键帧和非场景切换型关键帧；再对非场景切换型关键帧评价图像质量，并根据该评价结果将非场景切换型关键帧细分为内容变化型关键帧和质量变化型关键帧；最后利用质量变化型关键帧的持续时间因子和恶化频率因子对其单帧质量进行加权求和计算，得到整个视频序列的质量评价结果。本发明解决了现有的评测技术不能与实际主观感觉相吻合的缺陷，在保证评测性能前提下，能够降低计算复杂度，适用于现有网络各种视频应用的自动评测，且操作步骤简单，易于集成。
文档编号H04N17/02GK102611910SQ201110021600
公开日2012年7月25日 申请日期2011年1月19日 优先权日2011年1月19日
发明者刘勇, 徐静涛, 李湘平, 杜海清, 胡文, 许克辉, 郭畅 申请人:北京东方文骏软件科技有限责任公司, 北京邮电大学