专利名称：考虑网络性能及视频本身特征的视频质量评估方法及装置的制作方法
技术领域：
本发明涉及用户服务体验(QoE)的技术领域，具体地说是一种部分参考视频质量评估方法，尤其是考虑网络性能的视频质量评估的控制方法及装置。
背景技术：
随着以互联网络协议(IP)为代表的分组网络技术的迅速发展，使得分组网络具有高带宽、费用低廉、接入方便等优点。与此同时，分组网络所提供的应用并不是简单地局限于网页浏览、搜索引擎、电子邮件等信息工具类的应用，而是扩展到IPTV等流媒体服务。 然而，流式视频业务具有高带宽、实时性要求高，对分组丢失、乱序、时延抖动和传输延迟等网络损伤非常敏感的特性；而且，作为分组网络核心协议的传统IP协议只提供尽力而为 (best effort)这一种类型的服务，它只是尽网络的最大能力传送分组，却不提供任何服务质量保证，分组丢失、时延抖动和传输延迟都是不可避免的，这就意味着在分组网络中潜在着损伤流媒体视频质量的可能性。因此，网络服务提供商希望拥有在线性能监控工具能对网络视频服务中的视频质量进行实时地监控。为了能够在best effort的分组网络上实现更为可靠和稳定的流式视频服务运营，就有必要建立有效的网络视频质量评估方法，能在系统运行时对网络视频质量进行监控，真实有效地反映用户所体验到的视频质量，以便对突发情况及时做出决策。传统的视频质量评估方法是基于视频编/解码算法的，通过它来评价由该算法产生的视频质量的优劣，而没有考虑用于传送视频的网络性能。这些评价方法主要分为两类 主观评价与客观评价。主观评价方法是人为地评价总体的视频质量，最常用的是由ITU推荐的M0S(Mean Opinion Score)。但是主观评价方法实时性不好，通常不能用于实时视频通信中视频质量的评估。客观评价方法一般通过比较原始图像序列与经编/解码后的图像序列来评价视频质量，常用的是峰值信噪比(Peak Signal to Noise Ratio-PSNR)和均方误差(Mean SquareError-MSE)，它们是在像素级上做操作，所以对视频的时空域非常敏感，而人眼对某些失真不太敏感，这样的话所得到的结果就不符合人眼的主观特征。而且这两种方法需要参考原始视频，在实际的视频传输中难以做到这点。因此，本发明提出一种考虑网络性能及视频本身特征的视频质量评估方法。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种考虑网络性能的视频质量评估的控制方法以及相应的控制装置。根据本发明的一个方面，提供考虑网络性能的视频质量评估的控制方法，其特征在于，包括步骤a.获取视频的变化特征信息；b.获取视频在网络传输过程中的性能指标信息；c.获取受损视频及其评价结果信息；d.生成所述变化特征信息以及所述性能指标信息与所述评价结果之间的映射关系。根据本发明的另一个方面，还提供考虑网络性能的视频质量评估的控制装置，包括装置第一获取装置，其用于获取视频的变化特征信息；第二获取装置，其用于获取视频在网络传输过程中的性能指标信息；第三获取装置，其用于获取受损视频及其评价结果信息；第一生成装置，其用于生成所述变化特征信息以及所述性能指标信息与所述评价结果之间的映射关系。本发明的目的是提供一种在分组网络中考虑网络性能及人眼视觉特征的视频质量评估方法，该方法包括计算视频图像的变化特征，对视频文件进行丢包以模拟网络上视频流的传输，只需参考源文件的视频图像变化信息以反映视频内容变化信息及对网络性能分析则能得出符合人眼视觉特征的视频质量评分。本发明是这样实现的一种考虑网络性能及人眼视觉特征的视频质量评估方法， 该方法包括记算原始视频文件图像的变化特征以反映整个视频文件的变化趋势；通过模拟网络视频流的传输，并采取主动控制丢包产生受损视频，在传输过程中记录丢包、延迟、抖动等性能指标；通过人眼主观评价受损视频获得对受损视频的主观评分；根据视频的变化特征、网络性能来分析视频本身特征、网络因素和视频质量评分之间的关系。例如，如图5 所示，具体操作步骤如下第一步将视频的每帧保存为JPEG文件；第二步计算视频图像间的变化情况并记录；第三步计算整个视频的变化特征；第四步模拟网络视频流的传输；第五步在模拟传输过程中记录丢包、延迟、抖动等性能指标；第六步产生受损视频；第七步播放受损视频；第八步通过主观评价记录对受损视频的主观评价结果；第九步分析以上得到的信息得出网络因素、视频本身特征与视频质量之间的映射关系。第十步结束。其中，综合考虑网络因素和视频本身的变化特征对视频质量的影响来评估视频的质量。通过计算视频图像间的变化情况来反映整个视频的变化趋势。扫描视频的每帧，比较相邻帧对应像素的变化，其计算公式如下Dk (i，j) = Yk+1(i，j)_Yk(i，j)其中Yk+1(i，j)和Yk(i，j)表示第k帧和第k+1帧对应的像素值。然后计算相邻帧的变化。其计算公式如下
column row_
rnn991 ZZlA(U)-AI^7 ^ ΓΤ /=1 Z=I
Ik =—-
columnxrow 式中Tk表示的是视频中相邻帧之间的像素变化情况。接着，计算整段视频的变化情况。
权利要求
1.一种考虑网络性能及视频本身特征的视频质量评估控制方法，其特征在于，包括如下步骤a.获取视频的变化特征信息；b.获取视频在网络传输过程中的性能指标信息；c.获取受损视频及其评价结果信息；d.生成所述变化特征信息以及所述性能指标信息与所述评价结果之间的映射关系。
2.根据权利要求1所述的控制方法，其特征在于，所述步骤a包括如下步骤 al.将视频的每帧保存为图像文件；a2.计算所述图像文件之间的变化特征信息； a3.计算整段视频的变化特征信息。
3.根据权利要求2所述的控制方法，其特征在于，所述步骤a2包括如下步骤中的任一个或任多个步骤a21.计算相邻帧对应的所述图像对应像素之间的变化特征信息； a22.计算相邻帧对应的所述图像之间的变化特征信息。
4.根据权利要求3所述的控制方法，其特征在于，根据如下公式计算相邻帧对应的所述图像的相对应像素之间的变化特征信息Dk+1(i，j)Dk (i, j) =Yk+1(i，j)_Yk(i，j)其中，Yk+1(i，j)和Yk(i，j)表示第k帧和第k+1帧对应的像素值。
5.根据权利要求3或4所述的控制方法，其特征在于，根据如下公式计算相邻帧对应的所述图像之间的变化特征信息Tk column row_Σ Σ A(^y)-A Irji _ J=I /=1k columnxrowO
6.根据权利要求3至5中任一项所述的控制方法，其特征在于，根据如下公式计算整段视频的变化特征信息M frames_ΣM =^-frames
7.根据权利要求1至6中任一项所述的控制方法，其特征在于，所述步骤b包括如下步骤bl.将视频进行模拟网络视频流的传输； b2.在模拟传输过程中记录所述性能指标信息。
8.根据权利要求7所述的控制方法，其特征在于，所述性能指标信息包括如下信息中的任一个或任多个信息-丢包； -延迟； -抖动。
9.根据权利要求1至8中任一项所述的控制方法，其特征在于，所述步骤c包括如下步骤Cl.获取通过模拟传输后的受损视频；c2.获取与所述受损视频对应的评价结果信息。
10.根据权利要求9所述的控制方法，其特征在于，所述步骤d包括如下步骤 dl.搭建BP神经网络；d2.将视频的变化特征及相应的网络性能信息、评价信息作为神经网络的输入，输入到神经网络中训练神经网络；d3.神经网络训练好后利用神经网络的自学习功能自动得出视频的变化特征及相应的网络性能信息与视频质量评分之间的关系，只需输入视频的变化特征及相应的网络性能信息即可得出视频的评分。
11.一种考虑网络性能及视频本身特征的视频质量评估的控制装置，其特征在于，包括如下装置第一获取装置，其用于获取视频的变化特征信息；第二获取装置，其用于获取视频在网络传输过程中的性能指标信息；第三获取装置，其用于获取受损视频及其评价结果信息；第一生成装置，其用于生成所述变化特征信息以及所述性能指标信息与所述评价结果之间的映射关系。
12.根据权利要求11所述的控制装置，其特征在于，所述第一获取装置包括如下装置 第一保存装置，其用于将视频的每帧保存为图像文件；第一计算装置，其用于计算所述图像文件之间的变化特征信息； 第二计算装置，其用于计算整段视频的变化特征信息。
13.根据权利要求12所述的控制装置，其特征在于，所述第一计算装置包括如下装置中的任一个或任多个装置第三计算装置，其用于计算相邻帧对应的所述图像对应像素之间的变化特征信息； 第四计算装置，其用于计算相邻帧对应的所述图像之间的变化特征信息。
14.根据权利要求13所述的控制装置，其特征在于，根据如下公式计算相邻帧对应的所述图像的相对应像素之间的变化特征信息Dk+1(i，j)Dk (i, j) =Yk+1(i，j)_Yk(i，j)其中，Yk+1(i，j)和Yk(i，j)表示第k帧和第k+1帧对应的像素值。
15.根据权利要求13或14所述的控制装置，其特征在于，根据如下公式计算相邻帧对应的所述图像之间的变化特征信息Tk
16.根据权利要求13至15中任一项所述的控制装置，其特征在于，根据如下公式计算整段视频的变化特征信息M
17.根据权利要求11至16中任一项所述的控制装置，其特征在于，所述第二获取装置包括如下装置第一模拟装置，其用于将视频进行模拟网络视频流的传输；第一记录装置，其用于在模拟传输过程中记录所述性能指标信息。
18.根据权利要求17所述的控制装置，其特征在于，所述性能指标信息包括如下信息中的任一个或任多个信息-丢包；-延迟；-抖动。
19.根据权利要求11至18中任一项所述的控制装置，其特征在于，所述第三获取装置包括如下装置第四获取装置，其用于获取通过模拟传输后的受损视频；第五获取装置，其用于获取与所述受损视频对应的评价结果信息。
20.根据权利要求19所述的控制装置，其特征在于，所述第一生成装置包括如下装置第六获取装置，用于搭建BP神经网络；第七获取装置，用于将视频的变化特征及相应的网络性能信息、评价信息作为神经网络的输入，输入到神经网络中训练神经网络；第八获取装置，用于在神经网络训练好后利用神经网络的自学习功能自动得出视频的变化特征及相应的网络性能信息与视频质量评分之间的关系，只需输入视频的变化特征及相应的网络性能信息即可得出视频的评分。
全文摘要
本发明提供考虑网络性能的视频质量评估的控制方法，其特征在于，包括步骤a.获取视频的变化特征信息；b.获取视频在网络传输过程中的性能指标信息；c.获取受损视频及其评价结果信息；d.生成所述变化特征信息以及所述性能指标信息与所述评价结果之间的映射关系。还提供相应的控制装置。因此本发明考虑了网络性能因素对视频质量的影响，这使得本方法在目前的网络传输中更实用。本发明还考虑了原始视频图像的变化，更加符合人眼视觉特征。本发明只需在获得原始视频图像的变化信息以反映整个视频的内容变化信息及在视频传输过程中的网络性能指标作为特征记录下来即可以得到对视频的评分。
文档编号H04N17/00GK102572501SQ20101060464
公开日2012年7月11日 申请日期2010年12月23日 优先权日2010年12月23日
发明者李庆玲, 林欣, 滕跃, 王知书, 范少芬, 贺樑 申请人:华东师范大学