用于基于上下文的视频质量评估的方法和装置的制造方法_2

文档序号:9278639阅读:来源:国知局

[0028] 在包括帧n的所有滑动窗口中,具有较大失真的滑动窗口通常更加显著地影响视 觉质量。因此,可以使用最大值函数将滑动窗口之中的主导失真标识为中 值失真值的最大值:
[0029] mn= max (MD i>n,0i < L〇}. (2)
[0030] 观察到当前帧的所感知的时间失真主要由其邻域中的主导失真来确定,而不是由 当前帧的空间失真强度来确定。例如,当帧n具有未持续足够长以被识别的严重的空间失 真ds(n)时,所感知的时间失真主要受其邻域中的失真所影响。因此,可以使用最小值函数 来设置当前帧的时间失真。即,对于帧n,可以将时间失真dt(n)设置为空间失真值和中值 失真值的最大值%中的较小的一个:
[0031] dt (n) = min {mn, ds (n)}. (3)
[0032] 图3A示出示例性视频序列中的帧的空间伪像级别,并且图3B和3C分别示出应用 等式(2)和(3)之后的结果。如图3B所示,通过使用中值函数,中值失真值的最大值避免极 端值。因此,从图3C可以看出,在所估计的时间失真中不存在比邻近的空间伪像级别(例 如,在帧86、125和166处的空间伪像级别)大得多的空间伪像级别。另外,与空间失真级 别相比,所估计的时间失真级别在帧之间具有更小的变化。
[0033] 在另外的实施例中,为了估计时间失真,可以使用在所有滑动窗口 {Si;n,0彡i〈Lj 中具有大失真(即,失真级别超过某个阈值)的帧的比率的最大值。因为较小的失真在连 续地播放视频序列时通常变得不可见,所以只考虑具有大失真的帧。数学地,对于每个滑动 窗口 Si,n,可以将在Si,n中的具有大失真的帧的数量与Si, n中的帧的总数量之间的比率计算 为:
滑动窗口中的具有大空间失真的帧的数量与滑动窗口中的帧的总数量之间的比率记作滑 动窗口的大失真密度。
[0036] 观察到,具有较大失真的较高密度的滑动窗口通常更加显著地影响视觉质量。因 此,将所有滑动窗口之中的最高的比率计算为:
[0037] wn= max {R i>n, 0 ^ i < L〇}. (5)
[0038] 然后,可以将帧n的所感知的时间失真估计为加权的失真:
[0039] dt (n) = wnX ds (n). (6)
[0040] 另外,观察到,具有大失真的两个最接近的帧之间的距离也影响所感知的时间失 真。即,当具有大失真的两个帧越靠近时,失真越变得对人眼可见。因此,可以通过还考虑 帧n与具有大失真的最靠近的帧之间的距离来改善时间失真估计。在一个实施例中,可以 修改等式(6)以变成:
[0041] dt(n) = WnXds (n)/f (dist (n)), (7)其中 dist (n)是帧 n 与对应于最 高的大失真密度的滑动窗口中具有大失真的最靠近的帧之间的距离。如果在对应的滑动 窗口中没有具有大失真的其他帧,则将dist(n)设为非常大的值,例如1000。即,当滑动窗 口中只存在一个帧具有大失真时,将失真视为不太可见,并且将dt (n)设置为非常小的值。 可以使用不同的函数来定义f (dist (n)),例如f (dist (n)) = dist (n)或者f (dist (n))= (dist(n))a(其中,a是常数)。
[0042] 图4A示出示例性视频序中的帧的空间伪像级别,并且图4B和4C分别示出应用等 式(5)和(7)之后的结果,其中,L tl= 1秒,U =(每帧的宏块的数量)/100。Ltl和U的值 可以随配置变化,例如,随GOP长度、视频分辨率以及帧速率变化。图5A示出另外的示例性 视频序中的帧的空间伪像级别,并且图5B和5C分别示出应用等式(5)和(7)之后的结果。
[0043] 从图4B和5B观察到,当大失真更加聚簇时,比率变得更高。即,比率有效地反映 邻近帧是否影响当前帧的所感知的质量以及影响到什么程度。因此,从图4C和5C可以看 出,具有聚簇的大失真(例如,图4A中帧106的周围、图5A中的帧105和帧200的周围) 的帧的持续时间影响所估计的时间失真级别。即,如图4A所示的失真的较短的持续时间导 致比空间失真小得多的所估计的时间失真,而如图5A所示的失真的较长的持续时间导致 与空间失真相同等级(order)的所估计的时间失真。这符合人类感知,其中,持久的失真对 所感知的质量具有更多的负面影响。
[0044] 如上所述,考虑邻近的帧中提供的上下文来估计帧n的时间失真。在一个实施例 中,如等式(1)-(3)所示,使用中值失真值。在另外的实施例中,如等式(4)-(7)所示,使用 大失真密度。在另外的实施例中,可以组合中值失真值和大失真密度方法,以将帧n的时间 失真估计为:
[0045] dt (n) =WnXmin{mn, ds (n)}. (8)
[0046] 以上,基于眼睛需要足够长的时间段来识别伪像的人类视觉属性来估计时间失 真。时间失真还可能受其他因素影响,例如但不限于运动急动(motion jerkiness)。因此, 可能需要调整如上所估计的时间失真以考虑其他因素。一个示例性组合可以是dt'(n)= dt(n)+cXdt2(n),其中dt 2(n)是由运动急动所引起的失真。
[0047] 基于视频序列中的各个帧的时间失真{dt(n)},可以使用时间汇合策 略来推导视频序列的总的所感知的失真。例如,可以使用简单的平均运算,即,
[0048] 图6例示根据所述原理的对帧n的时间失真进行建模的示例性方法600。方法600 开始于步骤605。对于滑动窗口 Si^在步骤610,例如使用等式(1)来计算中值失真值,并 且在步骤620,例如使用等式(4)来计算大失真密度。在步骤630,检查是否有更多的滑动 窗口需要处理。如果是,则将控制返回到步骤610。否则,在步骤640,例如使用等式(2)来 计算帧n的所有滑动窗口中的中值失真值的最大值。在步骤650,例如使用等式(5)来计 算帧n的所有滑动窗口中的最高的大失真密度。在步骤660,例如使用等式(3)、(6)或(8) 来估计帧n的时间失真。在步骤660,例如可以使用等式(7)来考虑帧n与具有大失真的最 靠近的帧之间的距离。方法600结束于步骤699。
[0049] 在方法600中,中值失真值的最大值和最高的大失真密度两者都被用于估计时间 失真。在另外的实施例中,只使用中值失真值的最大值来估计时间失真。即,不需要步骤620 和650,并且步骤660基于中值失真值的最大值,例如使用等式(3),来估计时间失真。在另 外的实施例中,只使用最高的大失真密度来估计时间失真。即,不需要步骤610和640,并且 步骤660基于最高的大失真密度,例如使用等式(6)或等式(7),来估计时间失真。
[0050] 方法600或其变型可以以不同次序的步骤来进行,例如,步骤620可以在步骤610 之前执行,步骤650可以在步骤640之前执行。
[0051] 当视频序列遭受压缩伪像和/或丢包时,可以应用根据所述原理的视频质量建模 方法来测量视频质量。所述方法可以连同在比特流级别或像素级别获得的空间伪像一起使 用。即,所述方法可以应用于比特流级别和像素级别两者。
[0052] 所述原理可以用于视频质量监视器中以测量视频质量。图7图示示例性视频质量 监视器700的框图。装置700的输入可以包括包含比特流的传输流。输入可以以包含比特 流的其他格式。
[0053] 多路分解器710从比特流获得包分层信息。解码器720解析输入流以获得更多的 信息。解码器720可以重构图片,或者可以不重构图片。在其他实施例中,解码器可以执行 多路分解器的功能。
[0054] 使用经解码的信息,在空间伪像级别估计器730中估计空间伪像级别。基于所估 计的参数,例如使用方法600,在时间失真估计器740处估计时间失真级别。然后,质量预测 器750将各个帧的时间失真级别汇合成视频序列的质量得分。质量预测器750可以考虑其 他类型的伪像和人类视觉属性的属性。
[0055] 视频质量监视器700可以例如使用在ITU-T P. NBAMS (视频媒体流传输质量的参 数化非侵入式比特流评估)标准中,该标准致力于如下两个应用场景下的视频质量评估模 型,即IPTV和移动视频流传输,分别也被称为HR(高分辨率)场景和LR(低分辨率)场景。 两个场景之间的差异的范围从视频内容的时空分辨率和编码配置到传输协议和观看条件。
[0056] 给P. NBAMS VQM (视频质量模型)的输入是具有所有传送包首部(UDP/IP/RTP或 UDP/IP/RTP/TS)的编码的视频比特流。输出是客观MOS得分(平均意见得分)。P.NBAMS 工作的主要目标应用是监视机顶盒(STB)或网关中的视频质量。P. NBAMS模式1模型只使 用比特流信
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1