专利名称：一种通过网络损伤度检测网络视频质量的方法
技术领域：
本发明涉及信息技术领域，特别是涉及一种通过网络损伤度检测网络视频质量的方法。
背景技术：
为了使得IPTV(网络电视)等流媒体业务得到良好运行，必须确保网络视频质量满足服务质量(QoS)要求，为用户提供高质量的视频质量体验。所以，必须提供有效的网络视频质量评估方法，以便在系统运营前分析数字视频采用哪种编/解码算法/格式，又可在系统运行时对网络视频质量进行监控。传统的视频质量评估方法是基于视频编/解码算法的，通过它来评价由该算法产生的视频质量的优劣，而没有考虑用于传送视频的网络性能。但是，IPTV等流媒体业务采用了数字视频压缩与网络传输技术，由于丢包等网络损伤而引起的很小错误可能导致视频质量的急剧下降，因此传统的视频质量评估方法已无法适应网络视频质量应用要求，需要针对数字视频与网络传输的特点，设计新型的视频质量评估方法。
传统的视频质量评估方法主要分为两类主观评价与客观评价。主观评价方法是人为地评价总体的视频质量，但其实时性不好，通常不能用于实时视频通信中视频质量的评估。目前的客观评价方法一般通过比较原始图像序列与经编/解码后的图像序列来评价视频质量，常用的是峰值信噪比(Peak Signal to Noise Ratio-PSNR)和均方误差(Mean Square Error-MSE)，由于它们是在像素级上进行操作，因而对视频时域和空域上的失真非常敏感，而人类视觉系统对某些类型失真的敏感程度就没有这么高，所以得到的结果不一定与视频的主观质量完全一致，而且该方法需要原始参考视频，这在实时视频监控中较难以做到。还有一种客观方法是MPQM(Moving Picture Quality Metric)模型，它是基于人类视觉系统来评价网络视频质量，但是由于引入了频率分解，需要对每个视频包的视频内容进行解析，因此算法复杂，运算量过大，计算时间长，而且通过MPQM模型得出的视频质量不能反映出网络视频质量的劣化是视频压缩造成的还是网络损伤而造成的，因此不利于网络服务提供商或运营商评价网络视频质量。
此外，目前网络视频质量评估方面比较常用的网络视频质量评价指标有MDI(Media Delivery Index)。MDI是被RFC采纳的提供一个判断流媒体传输质量的指标。它提供了两个参数延迟因子(DF)与媒体丢包率(MLR)。其中，DF用于表示在某一检测点解码器需要多少缓存来避免由于网络抖动产生的媒体包丢失，MLR是指一秒内流媒体包丢失数量。MDI只是试图基于丢包与抖动情况这两个网络性能记录来反映网络视频质量，而不考虑网络视频流的视频内容，但是对数字视频压缩算法而言，属于不同帧类型的包的丢失对网络视频质量的影响效果是不同的，所以它对网络视频质量评估存在较大的偏差。而且MDI没有提供量化的评分来评估网络视频质量。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种通过网络损伤度检测网络视频质量的方法。
本发明的目的可以通过以下技术方案来实现一种通过网络损伤度检测网络视频质量的方法，其特征在于，该方法对于特定的帧序列类型、帧频、封装情况，根据网络视频丢包率得到帧丢包率(即单帧丢特定数量包的比率)，以帧丢包率及相应的帧丢包劣化度来反应视频质量受网络损伤的影响度，根据视频原始质量(Q0)、视频质量受网络损伤的影响度与网络视频质量(Q)之间的关系，得到网络视频质量；所述的视频原始质量、网络视频质量均采用同一个量化的评分标准来衡量。
所述的帧包括帧内编码帧(I帧)、前向预测编码帧(P帧)、双向预测编码(B帧)；所述的帧在视频的组层(GOP)中的序列类型相同。
所述的帧丢包率包括帧零丢包率P(F0)、帧一丢包率P(F1)、帧二丢包率P(F2)，其中F0为帧零丢包的事件，F1为帧丢一个包的事件，F2为帧丢二个包以上的事件。
所述的帧零丢包率采用公式P(F0)＝P(I)P(F0|I)+P(P)P(F0|P)+P(B)P(F0|B)得到，其中 ppr0j表示第j个B帧的前向参考帧零丢包的比率，psr0j表示第j个B帧的后向参考帧零丢包的比率；当参考帧r(pr或sr)为I帧时，当参考帧r(pr或sr)为P帧时，设P帧在单个组层序列中所有P帧里的排号为k，则k＝1时，k＞1时， SI为I帧包含包数的平均值，SP为P帧包含包数的平均值，SB为B帧包含包数的平均值；ppr0为前向参考帧的零丢包的比率，psr0为后向参考帧的零丢包的比率，NP为一个组层中包含的P帧的数目，NB表示一个组层中包含的B帧的数目。
所述的帧一丢包率采用公式P(F1)＝P(I)P(F1|I)+P(P)P(F1|P)+P(B)P(F1|B)得到，其中 其中， 其中，ppr0j表示第j个B帧的前向参考帧零丢包的比率，psr0j表示第j个B帧的后向参考帧零丢包的比率，ppr1j表示第j个B帧的前向参考帧丢一个包的比率，psr1j表示第j个B帧的后向参考帧丢一个包的比率；它们的值由以下方式确定 当参考帧r(pr或sr)为I帧时， 当参考帧r(pr或sr)为P帧时，设P帧在单个组层序列中所有P帧里的排号为k，则k＝1时，k＞1时， 所述的帧二丢包率采用公式P(F2)＝P(I)P(F2|I)+P(P)P(F2|P)+P(B)P(F2|B)得到，其中 P(F2|I)＝1-P(F0|I)-P(F1|I)， P(F2|P)＝1-P(F0|P)-P(F1|P)， P(F2|B)＝1-P(F0|B)-P(F1|B)。
所述的帧丢包劣化度包括单帧丢一个包的劣化度(D1)、单帧丢二个包的劣化度(D2)，该劣化度可根据视频内容的变化程度取值，所述的单帧丢一个包的劣化度(D1)一般取0.5～1，所述的单帧丢二个包的劣化度(D2)一般取0.7～1。
所述的视频质量受网络损伤的影响度采用公式 视频质量受网络损伤的影响度＝P(F0)+P(F1)(1-D1)+P(F2)(1-D2)得到。
所述的视频原始质量、视频质量受网络损伤的影响度与网络视频质量之间的关系为 Q＝(P(F0)+P(F1)(1-D1)+P(F2)(1-D2))Q0。
所述的量化的评分标准为 质量妨碍尺度 质量尺度 分数 5丝毫看不出图像质量变坏很好 4可看出图像质量变化但不妨碍观看好 3明显地看出图像质量变坏一般 2图像质量对观看有妨碍 差 1图像质量对观看有严重妨碍 很差 0觉察不到视频信号 无法觉察。
与现有技术相比，本发明由于考虑了不同类型帧的包丢失对视频质量影响不同、每个帧丢不同数目包对视频质量的不同劣化程度等情况，因此具有资源开销小、实时性好，评估精确性较高等优点，并且特别适合于网络服务提供商或运营商对实时传输的视频流进行视频质量评估。
具体实施例方式 下面结合附图
对本发明作进一步说明。
本发明根据视频编/解码算法及帧序列、帧频、封装情况，利用可量化的评价指标评定视频质量受网络损伤的影响程度，以评估网络视频质量。
本发明采用如下技术方案(注由于抖动、错包等网络损伤对视频质量的最终影响效果也是产生丢包，所以在本方案中统一用丢包率反应网络损伤的情况) 在数字视频编/解码中，视频是由一系列连续的帧(画面)所组成的，为了进行数字视频压缩，帧被分为帧内编码帧(I帧)、前向预测编码帧(P帧)、双向预测编码(B帧)三种类型，而且一段视频是由若干个称为组层(GOP)的画面组成的，其中每个组层的帧序列类型是不变的，如IBBPBBPBB。在进行视频传输中，再把每个帧封装成一系列的包进行网络传输，而各种类型帧包含的包数量相对恒定。根据这些网络视频编/解码与网络传输的特点，本技术方案利用概率统计学的理论，通过帧序列类型、帧频、封装情况，建立网络视频丢包率与网络视频质量之间的关系。
(1)首先，对于特定的帧序列类型、帧频、封装情况，根据网络视频丢包率，分别得到帧零丢包、帧丢一个包、帧丢两个包以上的比率。
(符号说明F0表示帧零丢包的事件，F1表示帧丢一个包的事件，F2表示帧丢两个包以上的事件；SI表示I帧包含包数的平均值，SP表示P帧包含包数的平均值，SB表示B帧包含包数的平均值；ppr0表示前向参考帧的零丢包的比率，psr0表示后向参考帧的零丢包的比率，ppr1表示前向参考帧的丢一个包的比率，psr1表示后向参考帧的丢一个包的比率，NP表示一个GOP中包含的P帧的数目，NB表示一个GOP中包含的B帧的数目)。
用P(I)，P(P)，P(B)分别表示视频序列中出现I帧、P帧、B帧的比率，其中 ①帧无丢包的情况 P(F0)＝P(I)P(F0|I)+P(P)P(F0|P)+P(B)P(F0|B) (其中，ppr0j表示第j个B帧的前向参考帧零丢包的比率，psr0j表示第j个B帧的后向参考帧零丢包的比率。
当参考帧r(pr或sr)为I帧时， 当参考帧r(pr或sr)为P帧时，设P帧在单个GOP(GOV)序列中所有P帧里的排号为k，则 k＝1时， k＞1时，) ) ②帧丢一个包的情况 P(F1)＝P(I)P(F1|I)+P(P)P(F1|P)+P(B)P(F1|B) (其中，) (其中， ppr0j表示第j个B帧的前向参考帧零丢包的比率，Psr0j表示第j个B帧的后向参考帧零丢包的比率；ppr1j表示第j个B帧的前向参考帧丢一个包的比率，psr1j表示第j个B帧的后向参考帧丢一个包的比率。它们的值由以下方法确定 当参考帧r(pr或sr)为I帧时， 当参考帧r(pr或sr)为P帧时，设P帧在单个组层序列中所有P帧里的排号为k，则k＝1时，k＞1时， ) ③帧丢两个包以上的情况 P(F2|I)＝1-P(F0|I)-P(F1|I) P(F2|P)＝1-P(F0|P)-P(F1|P) P(F2|B)＝1-P(F0|B)-P(F1|B) P(F2)＝P(I)P(F2|I)+P(P)P(F2|P)+P(B)P(F2|B) 由于一个帧丢两个包时对视频质量的影响就非常明显，所以统一把帧丢两个包以上的情况进行考虑。
(2)根据单帧丢一个包与丢两个包的劣化度，通过帧零丢包、帧丢一个包的比率，得出网络视频质量。
表1视频质量评分标准 设在无网络损伤情况下，视频质量为Q0(由视频质量评分标准来评定，如表1所示)，其值可随同流媒体包一起传输，单帧丢一个包的劣化度为D1，一般取0.5～1，单帧丢两个包以上的劣化度为D2，一般取0.7～1，劣化度可根据画面内容的变化程度取值，变化程度大的取较大值，则 Q＝(P(F0)+P(F1)(1-D1)+P(F2)(1-D2))Q0 由此公式可得到视频质量受网络损伤的影响程度，即 P(F0)+P(F1)(1-D1)+P(F2)(1-D2)，并由未经网络损伤的视频质量Q0，计算出网络视频质量，从而达到通过网络损伤情况评估网络视频质量的目的。
本发明是通过进行视频传输的网络损伤情况，利用可量化的评价指标评定视频质量受网络损伤的影响程度，以评估网络视频质量。利用本方法进行网络视频质量评估，主要考虑了网络损伤对视频质量的影响，由评价结果可知网络损伤对视频质量的劣化程度，区分了视频编/解码因素与网络损伤对视频质量的影响，因此特别适合于网络服务提供商或运营商对网络视频传输情况进行评估。同时，在评估过程中，只参考了以某种视频质量评价指标描述的原始视频平均质量，无需利用原始视频各个画面的亮度、色差、运动向量等具体信息，因此资源开销小、实时性好。而且，利用本方法进行网络视频质量进行评估，由于考虑了不同类型帧的包丢失对视频质量影响不同、每个帧丢不同数目包对视频质量的不同劣化程度等情况，所以进行视频质量评估的精确性较高。
总之，利用本方法进行网络视频质量评估，资源开销小、实时性好，特别适合于网络服务提供商或运营商对实时传输的视频流进行视频质量评估。
实施例 帧序列类型为IBBPBBPBB，I帧的平均包含包数为66，P帧的平均包含包数为37，B帧的平均包含包数为16。视频按表1所示的评分标准进行评分，原始视频的视频质量Q0为4.7，画面内容变化程度较大。并假设单帧丢一包以上的劣化度为1。
由网络视频丢包率为0.001，得到 P(F0|I)＝0.936，P(F0|P)＝0.89，P(F0|B)＝0.821， 则经损伤后的网络视频质量Q＝Q0×P(F0)＝4.7×0.849＝3.99。由上表可知，现阶段图像质量介于“可看出图像质量变化但不妨碍观看”与“明显地看出图像质量变坏”之间，可见丢包率对视频质量的影响比较大，丢包率为0.001就可以较明显感觉到视频质量的劣化。实验的结果也表明了这种现象，从而进一步验证了该种方法及提出的公式能较好地反映出视频质量受网络损伤的影响程度。
权利要求
1.一种通过网络损伤度检测网络视频质量的方法，其特征在于，该方法对于特定的帧序列类型、帧频、封装情况，根据网络视频丢包率得到帧丢包率(即单帧丢特定数量包的比率)，以帧丢包率及相应的帧丢包劣化度来反应视频质量受网络损伤的影响度，根据视频原始质量(Q0)、视频质量受网络损伤的影响度与网络视频质量(Q)之间的关系，得到网络视频质量；所述的视频原始质量、网络视频质量均采用同一个量化的评分标准来衡量。
2.根据权利要求1所述的一种通过网络损伤度检测网络视频质量的方法，其特征在于，所述的帧包括帧内编码帧(I帧)、前向预测编码帧(P帧)、双向预测编码(B帧)；所述的帧在视频的组层(GOP)中的序列类型相同。
3.根据权利要求1所述的一种通过网络损伤度检测网络视频质量的方法，其特征在于，所述的帧丢包率包括帧零丢包率P(F0)、帧一丢包率P(F1)、帧二丢包率P(F2)，其中F0为帧零丢包的事件，F1为帧丢一个包的事件，F2为帧丢二个包以上的事件。
4.根据权利要求3所述的一种通过网络损伤度检测网络视频质量的方法，其特征在于，所述的帧零丢包率采用公式
P(F0)＝P(I)P(F0|I)+P(P)P(F0|P)+P(B)P(F0|B)得到，其中
ppr0j表示第j个B帧的前向参考帧零丢包的比率，psr0j表示第j个B帧的后向参考帧零丢包的比率；当参考帧r(pr或sr)为I帧时，当参考帧r(pr或sr)为P帧时，设P帧在单个组层序列中所有P帧里的排号为k，则k＝1时，k＞1时，
SI为I帧包含包数的平均值，SP为P帧包含包数的平均值，SB为B帧包含包数的平均值；ppr0为前向参考帧的零丢包的比率，psr0为后向参考帧的零丢包的比率，NP为一个组层中包含的P帧的数目，NB表示一个组层中包含的B帧的数目。
5.根据权利要求3所述的一种通过网络损伤度检测网络视频质量的方法，其特征在于，所述的帧一丢包率采用公式
P(F1)＝P(I)P(F1|I)+P(P)P(F1|P)+P(B)P(F1|B)得到，其中
其中，
其中，ppr0j表示第j个B帧的前向参考帧零丢包的比率，psr0j表示第j个B帧的后向参考帧零丢包的比率，ppr1j表示第j个B帧的前向参考帧丢一个包的比率，psr1j表示第j个B帧的后向参考帧丢一个包的比率；它们的值由以下方式确定
当参考帧r(pr或sr)为I帧时，
当参考帧r(pr或sr)为P帧时，设P帧在单个组层序列中所有P帧里的排号为k，则k＝1时，k＞1时，
6.根据权利要求3所述的一种通过网络损伤度检测网络视频质量的方法，其特征在于，所述的帧二丢包率采用公式
P(F2)＝P(I)P(F2|I)+P(P)P(F2|P)+P(B)P(F2|B)得到，其中
P(F2|I)＝1-P(F0|I)-P(F1|I)，
P(F2|P)＝1-P(F0|P)-P(F1|P)，
P(F2|B)＝1-P(F0|B)-P(F1|B)。
7.权利要求1所述的一种通过网络损伤度检测网络视频质量的方法，其特征在于，所述的帧丢包劣化度包括单帧丢一个包的劣化度(D1)、单帧丢二个包的劣化度(D2)，该劣化度可根据视频内容的变化程度取值，所述的单帧丢一个包的劣化度(D1)一般取0.5～1，所述的单帧丢二个包的劣化度(D2)一般取0.7～1。
8.根据权利要求1所述的一种通过网络损伤度检测网络视频质量的方法，其特征在于，所述的视频质量受网络损伤的影响度采用公式
视频质量受网络损伤的影响度＝P(F0)+P(F1)(1-D1)+P(F2)(1-D2)得到。
9.根据权利要求1所述的一种通过网络损伤度检测网络视频质量的方法，其特征在于，所述的视频原始质量、视频质量受网络损伤的影响度与网络视频质量之间的关系为
Q＝(P(F0)+P(F1)(1-D1)+P(F2)(1-D2))Q0。
10.根据权利要求1所述的一种通过网络损伤度检测网络视频质量的方法，其特征在于，所述的量化的评分标准为
质量
妨碍尺度 质量尺度
分数
5 丝毫看不出图像质量变坏很好
4 可看出图像质量变化但不妨碍观看好
3 明显地看出图像质量变坏一般
2 图像质量对观看有妨碍 差
1 图像质量对观看有严重妨碍 很差
0 觉察不到视频信号 无法觉察
全文摘要
本发明涉及一种通过网络损伤度检测网络视频质量的方法，该方法对于特定的帧序列类型、帧频、封装情况，根据网络视频丢包率得到帧丢包率(即单帧丢特定数量包的比率)，以帧丢包率及相应的帧丢包劣化度来反应视频质量受网络损伤的影响度，根据视频原始质量(Q0)、视频质量受网络损伤的影响度与网络视频质量(Q)之间的关系，得到网络视频质量；所述的视频原始质量、网络视频质量均采用同一个量化的评分标准来衡量。与现有技术相比，本发明由于考虑了不同类型帧的包丢失对视频质量影响不同、每个帧丢不同数目包对视频质量的不同劣化程度等情况，因此具有资源开销小、实时性好，评估精确性较高等优点，并且特别适合于网络服务提供商或运营商对实时传输的视频流进行视频质量评估。
文档编号H04N7/24GK101227604SQ20071003661
公开日2008年7月23日 申请日期2007年1月18日 优先权日2007年1月18日
发明者卢刘明, 杰 郑 申请人:上海未来宽带技术及应用工程研究中心有限公司