基于内容的HEVC码流质量预测模型的制作方法

本发明涉及一种视频质量的测量系统，特别是涉及一种视频质量的预测模型，应用于利用码流信息预测编码视频质量的视频编解码
技术领域：
。
背景技术：
：终端用户的感知质量是形成用户体验质量qoe(qualityofservice)的关键因素。在相同的编码参数下，如帧率、采样格式、分辨率等，不同的视频内容可以得到不同的感官质量。由于视频质量的内容依赖性，进行视频质量预测时考虑不同的内容特性尤为必要。常见的感知视频质量估计的客观测量可以分为两类：基于人眼视觉特性和基于视频参数。为了确保视频质量测量的低复杂度，有必要充分利用编码产生的码流，提取视频特征而无需参考其他信息。通常决定视频内容类型的方法是从码流中提取运动特征然后逐像素地计算帧与帧之间的差异。文献[1]中提出了一个无参质量预测的方法，运动特征包括两帧变化的运动幅度和方向。文献[2]提出更精确的模型，采用优化的h.264失真检测模型进行内容分类计算。文献[3]提出由运动矢量信息和像素域绝对误差和sad(sumofabsolutedifferences)信息来决定的内容自适应参数和内容分类的视频质量估计模型。在文献[4]的视频质量预测模型中，考虑的用户体验质量内容类型包括：发送端码率、块失真率和平均失真长度，但是没有考虑运动特征和其他特性。文献[5]利用空时域内容特征建立预测算法，但是没有考虑帧的类型。文献[6]将hevc编码参数、量化参数和内容类型融合到质量预测模型中，但是没有考虑运动特征和序列复杂度信息。文献[1]:riesm,nemethovao,ruppm,motionbasedreference-freequalityestimationforh.264/avcvideostreaming.2ndinternationalsymposiumonwirelesspervasivecomputing,(2007)文献[2]:g.vanwallendael,n.staelens,”no-referencebitstream-basedimpairmentdetectionforhighefficiencyvideocoding,”qualityofmultimediaexperience(qomex),2012fourthinternationalworkshopon,yarravalley,vic,pp.7-12,(2012).文献[3]:m.ries,o.nemethova,andm.rupp,videoqualityestimationformobileh.264/avcvideostreaming,j.commun.,vol.3,no.1,pp.4150,(2008).文献[4]:khana,sunl,ifeachore,qoepredictionmodelanditsapplicationinvideoqualityadaptationoverumtsnetworks.ieeetransmultimed14(2):431442,(2012)文献[5]:b.konuk,e.zerman,”aspatiotemporalno-referencevideoqualityassessmentmodel,”2013ieeeinternationalconferenceonimageprocessing,melbourne,vic,pp.54-58,(2013).文献[6]:louisanegekuh,lingfensun,encodingandvideocontentbasedhevcvideoqualityprediction,multimediatoolsandapplications,volume74,issue11,pp.3715-3738,(2015)技术实现要素：为了解决现有技术问题，本发明的目的在于克服已有技术存在的不足，提供一种基于内容的hevc码流质量预测模型，利用码流中提取的视频特征建立内容相关矩阵，然后利用该矩阵建立视频质量预测模型。本发明在低复杂度的情况下，仅利用码流中的信息，便能预测视频质量，而无需解码，预测精度高于现有其他算法。为达到上述发明创造目的，采用如下发明构思：在本发明利用空域复杂度、时域复杂度、码率标准差和非零变换系数百分比，提出一个基于内容的质量预测模型。从编码产生的码流中提取参数，将这些内容特性线性组合，建立一个内容类型矩阵。在文献[6]的基础上，进一步采用更精确的空时域复杂度矩阵，并增加码率标准差和量化的变换系数两个特征，然后根据内容特性，提出hevc编码码流的基于内容的视频质量预测模型。根据上述发明构思，本发明采用下述技术方案：一种基于内容的hevc码流质量预测模型，其特征在于：包括视频特征提取模块，内容类型分类矩阵计算模块和质量预测模型模块，视频特征提取模块利用码流中提取的视频特征信息，在内容类型分类矩阵计算模块中建立内容相关矩阵，然后利用内容相关矩阵通过质量预测模型模块建立视频质量预测模型，从而预测视频质量，具体为：上述视频特征提取模块能从已编码的码流中提取能影响视频质量或者与视频质量相关的基本特征参数数据，包括运动矢量、码率、变换系数和其他量化参数；上述内容类型分类矩阵计算模块包括时域复杂度子模块、空域复杂度子模块、码率标准差子模块和非零变换系数百分比子模块，时域复杂度子模块利用时域信息计算时域因子数据，空域复杂度子模块利用空域信息计算空域因子数据，码率标准差子模块利用平均码率信息计算码率调制因子数据，非零变换系数百分比子模块利用非零变换系数权重计算变换系数调制因子数据；上述质量预测模型模块利用内容类型分类矩阵计算模块计算所得内容信息和量化参数信息，通过计算建立视频质量预测模型。作为本发明优选的技术方案，在内容类型分类矩阵计算模块中建立内容相关矩阵，内容相关矩阵的计算公式如下：ctc＝a+b*tinfo+c*sinfo+d*bdev+e*ρ(i)其中，ctc表示内容相关矩阵，tinfo表示序列时域复杂度因子，sinfo表示空域复杂度因子，bdev表示码率的标准差因子，ρ表示经过量化的变换系数中非零系数的百分比因子，a＝19865.338，b＝21668.041，c＝-43044.104，d＝0.563，e＝-1207737.87。作为上述方案的进一步优选的技术方案，对于序列时域复杂度因子tinfo，在时域复杂度子模块中通过如下公式计算处理得到：其中，bave表示平均码率，表示运动区域的比重，marg表示对应运动区域的平均幅度，表示序列的运动量；在时域复杂度子模块(4)中，在(ⅱ)式中的平均码率bave通过如下公式计算处理得到：其中，bitsi表示第i帧的输出码率，n代表编码的帧数。在时域复杂度子模块中，在(ⅱ)式中的对应运动区域的平均幅度marg通过如下公式计算处理得到：在公式(ⅳ)和公式(ⅴ)中，ki表示第i帧中非零运动矢量的数目，w和h分别代表视频帧的宽度和高度，mi表示第i帧中非零运动矢量的平均幅值，n代表编码的帧数，对应运动区域的平均幅度marg通过对每一帧的mi求均而得到，marg也作为表示时域复杂度特征的一种参数；在时域复杂度子模块中，在(ⅱ)式中的运动区域的比重c通过如下公式计算处理得到：在公式(ⅵ)和公式(vii)中，counti(mvnon-zero)表示第i帧中非零运动矢量的数目，counti(mv)表示第i帧中总的运动矢量数目，n表示编码的帧数，ci表示第i帧视频中非零运动矢量的比例，ci也作为表示时域复杂度特征的一种参数，表示检测视频中的运动区域所占比例，越大表示静止区域所占比重越大。作为上述方案的进一步优选的技术方案，对于空域复杂度因子sinfo，在空域复杂度子模块中通过如下公式计算处理得到：在公式(ⅷ)和公式(ⅸ)中，和分别表示前一qp和当前qp下的码率，l、m和k分别表示不同类型的编码的i、p和b帧的帧数，bits*和qp*分别表示对应的码率和qp，表示当qp增加1时，平均码率降低的百分比。maxbits表示视频序列的最大输出码率，对空间复杂度归一化处理，用来消除空间分辨率对视频质量的影响。作为上述方案的进一步优选的技术方案，优选取值0.11。作为上述方案的进一步优选的技术方案，对于码率的标准差因子bdev，在码率标准差子模块中通过如下公式计算处理得到：bave表示序列的平均码率，如公式(ⅲ)所示，biti表示第i帧的编码码率，n表示编码的帧数。作为上述方案的进一步优选的技术方案，对于经过量化的变换系数中非零系数的百分比因子ρ，在非零变换系数百分比子模块中通过如下公式计算处理得到：在公式(ⅹⅱ)中，其中coeffnonzero-i表示第i帧中非零变换系数的数目，coeffi表示第i帧中所有变换系数的数目，n代表编码的帧数。作为上述方案的进一步优选的技术方案，在质量预测模型模块中建立视频质量预测模型，采用的计算公式如下：psnr＝φ+γ*qp+η*ln(ctc)(xii)其中psnr表示测编码视频质量，φ＝86.683，γ＝-0.773，η＝-2.463。本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：1.本发明基于内容的hevc码流质量预测模型具有低复杂度，通过从码流中提取特征建立内容相关矩阵，无需获取原始视频像素信息，在计算上没有复杂算法或复杂迭代；2.本发明基于内容的hevc码流质量预测模型具有高精度，由于提取的特征和建立的内容矩阵与视频质量高度相关，所以能很好地预测视频质量，采用本发明质量预测模型训练序列的精度能达到98％，测试序列精度能达到97％，均高于其他算法。附图说明图1为本发明优选实施例基于内容的hevc码流质量预测模型的系统结构示意图。图2为本发明优选实施例基于内容的hevc码流质量预测模型系统框图。图3为本发明优选实施例的时域复杂度与psnr之间关系图。图4为本发明优选实施例的空域复杂度和psnr之间关系图。图5为本发明优选实施例的qp和sdb之间关系图。图6为本发明优选实施例的sdb和psnr之间关系图。图7为本发明优选实施例的pnqtc和码率(kbps)的关系图。图8为本发明优选实施例的qp和pnqtc的关系图。图9为本发明优选实施例的pnqtc和psnr的关系图。图10为本发明优选实施例的验证ctc和码率相关性的曲线形式对比图，其中图10(a)为qp与ctc的关系图，图10(b)为qp与码率的关系图。图11为本发明优选实施例的ctc与psnr的关系图。图12为本发明优选实施例的训练序列实际psnr和实际psnr对比图。图13为本发明优选实施例的测试序列实际psnr和预测psnr对比图。图14为本发明优选实施例的测试序列psnr散点图。具体实施方式本发明的优选实施例详述如下：在本实施例中，参见图1，一种基于内容的hevc码流质量预测模型，包括视频特征提取模块1，内容类型分类矩阵计算模块2和质量预测模型模块3，视频特征提取模块1利用码流中提取的视频特征信息，在内容类型分类矩阵计算模块2中建立内容相关矩阵，然后利用内容相关矩阵通过质量预测模型模块3建立视频质量预测模型，从而预测视频质量，具体为：视频特征提取模块1能从已编码的码流中提取能影响视频质量或者与视频质量相关的基本特征参数数据，包括运动矢量、码率、变换系数和其他量化参数；内容类型分类矩阵计算模块2包括时域复杂度子模块4、空域复杂度子模块5、码率标准差子模块6和非零变换系数百分比子模块7，时域复杂度子模块4利用时域信息计算时域因子数据，空域复杂度子模块5利用空域信息计算空域因子数据，码率标准差子模块6利用平均码率信息计算码率调制因子数据，非零变换系数百分比子模块7利用非零变换系数权重计算变换系数调制因子数据；质量预测模型模块3利用内容类型分类矩阵计算模块2计算所得内容信息和量化参数信息，通过计算建立视频质量预测模型。编码参数对视频质量影响的质量预测模型的系统框图参见图2，包括以下组成部分：下面进一步详细描述本发明所示系统的子模块的具体实施过程：1)内容类型分类矩阵计算模块如图1所示，内容类型分类矩阵计算模块2包含时域复杂度子模块4、空域复杂度子模块5、码率标准差子模块6和非零变换系数百分比子模块7。(1)时域复杂度计算子模块运动活动是最常见的运动特征，运动活动用来描述视频序列的运动缓慢、适中还是剧烈。在运动快慢表示时域复杂度的前提下，运动矢量是描述时域复杂度的最基本元素。如果当前块和参考帧中的匹配块处于同一位置，则该运动矢量的幅值为0，该运动矢量被称为零运动矢量，说明当前块没有运动。一帧中零运动矢量的百分比表示连续两帧中没有变化的块的比例。因此，视频中非零运动矢量的比例能表示时域复杂度，定义如下：其中，counti(mvnon-zero)表示第i帧中非零运动矢量的数目，counti(mv)表示第i帧中总的运动矢量数目，n表示编码的帧数。该特征能检测视频中运动区域所占比例，越大表示静止区域所占比重越大。但是只能区分静止区域和运动区域，为了进一步区分运动快慢，计算每一个cu的运动矢量幅度特性。运动速度也是代表视频时域特性的一个重要特性。因此每一个非零运动矢量的幅度特性定义如下：其中，ki表示第i帧中非零运动矢量的数目，w和h分别代表视频帧的宽度和高度，mi是第i帧中非零运动矢量的平均幅值，则时域复杂度marg通过对每一帧的mi求均而得到。为了将运动特征转变为视频质量的测量标准，进一步计算视频的平均码率。其中，bitsi表示第i帧的输出码率，n代表编码的帧数。然后，将marg和bave组合起来得到序列时域复杂度的定义。因为表示运动区域的比重，marg表示对应区域的平均幅度，所以用列的运动量。在相同码率的情况下，时域失真随着运动量的增加而增加；在相同运动量的情况下，时域失真随着平均码率的增加而减小。图3显示时域复杂度和psnr之间的关系，从图中曲线趋势能看出，对同一序列来说，视频质量随着时域复杂度增加而增加。且psnr和时域复杂度之间近似呈对数分布。(2)空域复杂度计算子模块从不同类型的i帧、p帧、b帧的编码帧中提取平均图片复杂度特征来表征视频序列的空域复杂度。在相同量化参数的情况下，视频帧的码率与空域复杂度高度相关。每一帧的码率随着qp增大而减小，而不同帧的变化趋势又有所不同。也就是说，qp对不同帧的码率影响不同，即对不同帧的质量影响不同。其中，表示当qp增加1时，平均码率降低的百分比。本实施例中取值0.11。和分别表示前一qp和当前qp下的码率，l、m和k分别表示编码的i、p和b帧的帧数，bits*和qp*分别表示对应的码率和qp。maxbits表示视频序列的最大输出码率，对空间复杂度归一化处理，用来消除空间分辨率对视频质量的影响。图4显示空域复杂度和psnr之间的关系，从曲线趋势能看出视频质量随着空域复杂度的增加而增加，且两者之间近似呈对数分布。(3)码率标准差计算子模块由公式(6)和公式(7)定义的时空域复杂度没有考虑到视频整体的码率变化趋势，因此进一步考虑输出码率的标准差(sdb):其中，bave表示序列的平均码率，bitsi表示第i帧的编码码率，n表示编码的帧数。图5显示qp和sdb之间关系，能看出sdb随着qp增大而减小。而又因为视频质量随着qp增大而减小，所以sdb和psnr之间存在某种正相关关系。图6显示sdb和psnr之间关系，从图中能看出，psnr随着sdb增大而增大，且两者之间也存在近似的对数关系。(4)非零系数百分比计算子模块在视频编码中，量化后的dct系数与视频质量之间存在显著关系。而dct系数中的零系数在图像、视频变换中起到重要作用，尤其在低码率情况下。零系数的百分比与编码码率之间存在严格的线性关系。用ρ表示经过量化的变换系数中非零系数的百分比(pnqtc)其中coeffnonzero-i表示第i帧中非零变换系数的数目，coeffi表示第i帧中所有变换系数的数目，n代表编码的帧数。很明显，ρ随着量化参数增大而单调递减，说明能用ρ来预测视频质量。图7显示pnqtc和码率的关系，能看出两者之间满足严格的线性关系。图8显示qp和pnqtc的关系，当qp增大时，pnqtc单调递减。因为视频质量也随着qp增大而减小，所以pnqtc与质量之间存在正相关。图9显示pnqtc和psnr之间的关系，能看出psnr随着pnqtc增大而增大，且两者近似满足对数关系。从上面的分析可知，时域复杂度、空域复杂度、码率标准差、非零系数百分比与psnr之间都近似呈对数分布，所以为了定义内容类型，将上述特征线性组合，得到内容类型分类矩阵ctc(contenttypeclassification)ctc＝a+b*tinfo+c*sinfo+d*bdev+e*ρ(11)其中，a＝19865.338，b＝21668.041，c＝-43044.104，d＝0.563，e＝-1207737.87，通过回归拟合得到。2)质量预测模型子模块在视频编码过程中，在同样的量化参数下，由于视频内容不同输出码率和视频质量也会不同。也就是说输出视频质量很大程度上依赖于视频内容，ctc与视频质量之间必然存在某种关系。图10(a)显示qp与ctc的关系，(b)显示qp与码率的关系。从曲线的走势上能看出，两者之间的趋势相同，都随着qp增大单调递减。既然输出码率与psnr之间满足对数关系，则认为ctc与psnr之间也满足线性关系。为了进一步验证的上述对ctc和码率的关系预测，进一步计算ctc和码率之间的相关性，计算出相关系数(r2)，参见表1。表1ma/ctc与码率的相关性从表1能看出，本实施例提出的矩阵比文献[6]中的算法具有更高的相关性。视频质量随着码率减小而下降，既然ctc与码率之间存在正相关关系，则ctc与psnr之间也存在某种正相关关系。采用hm编码平台得到码流，对六个不同内容的序列进行分析训练。图11显示ctc与psnr之间的关系图。从图11中能看出，所有序列的psnr都随着ctc的增加而增加，且近似符合对数分布，与bitrates-psnr的分布趋势基本一致。为了进一步验证两者之间是否符合对数关系，直接计算ctc和psnr之间的相关系数，如表2所示。表2ctc与psnr相关系数从表2能看出，ctc与psnr之间的相关系数和bitrate与psnr之间的相关系数接近，也就是说ctc与psnr之间确实遵循对数关系。基于以上分析，能用ctc来预测编码视频质量。ctc和psnr都随着qp增大而减小，定义视频质量预测：psnr＝f(qp,ctc)(12)因为psnr与qp之间符合现行关系，与ctc之间符合对数关系，所以上式能改写为：psnr＝φ+γ*qp+η*ln(ctc)(13)其中φ＝86.683,γ＝-0.773,η＝-2.463，通过回归拟合得到，适用于所有序列。实验测试分析：下面进行大量仿真实验来评估上述实施例所提出的基于内容的hevc码流质量预测模型的性能。在配置为intelpentium4cpu3.00ghz,windows7operationsystem的pc机上编解码。多采用随机接入模式进行hevc编码，从码流中提取相应的特征。量化参数设为20,25,30,35和40，帧率设为30fps，视频的分辨率为1280×720和1920×1080。时域复杂度、空域复杂度、码率标准差和非零量化系数百分比等特征从编码码流中提取参数计算得到。训练过程：采用jct-vc建议的训练环境设置，对六个序列(basketballdrive,vidyo1,johnny,bqterrace,kimono和parkscene)进行编码。训练序列的预测效果参见表3。表3训练序列的预测效果表3显示每个序列的训练结果，通过相关系数r2(correlationcoefficient)和均方根误差rmse(rootmeansquareerror)来衡量。从实验数据能看出，训练序列的r2均在0.988以上，rmse均低于0.57，说明上述实施例预测结果精度很高。图12显示在不同qp下，训练序列的预测psnr和实际psnr曲线图。从图中能看出，两条曲线几乎重叠在一起，说明上述实施例预测结果和实际结果几乎一致。测试过程：为了进一步测试上述实施例模型的精度，采用四个测试序列(chinaspeed,fourpeople,cactus和kristenandsara)进行测试。测试环境和训练过程保持一致，将回归得到的参数用在测试序列中。图13显示测试序列在不同qp下实际psnr和预测psnr的曲线图。从图中能看出，预测psnr和真实psnr曲线也几乎重合，而且上述实施例模型的预测的曲线比文献[6]中预测的曲线更接近于真实值，也就是说上述实施例模型的预测结果更精确。图14显示真实psnr和预测psnr的散点图，从图14中能看出，绝大多数点都分布在直线y＝x上，说明绝大多数预测值和真实值都接近甚至相等。为了定量分析，同样采用r2和rmse来说明测试序列的预测精度。测试序列性能数据参见表4。表4测试序列性能从表4能看出，所以测试序列的r2均大于0.99，rmse均低于0.88。表5显示所有测试序列结果和文献[6]的对比情况，如下：表5所有测试序列精度cor.coef.ma[6]ctcr20.93750.9769rmse1.31750.9947从中表5中看出，上述实施例模型r2增加了4％，rmse减小了24.5％，预测精度明显提高。结合以上各图表能看出，本发明通过提出一个内容感知hevc码流质量预测模型。首先，定义一个内容类型分类标准，从编码的码流中提取特征，计算出时域复杂度、空域复杂度、码率标准差和非零变换系数百分比。然后利用该内容分类标准和量化参数和建立质量预测模型。实验结果表明，训练序列的相关系数能达到98％，测试序列的整体相关系数能达到97％。预测精度高于现有的其他算法。本发明上述实施例能保证低复杂度的情况下，利用码流中信息预测编码视频质量，预测精度高于其他算法。上面结合附图对本发明实施例进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明基于内容的hevc码流质量预测模型的技术原理和发明构思，都属于本发明的保护范围。当前第1页12