用于基于上下文的视频质量评估的方法和装置的制造方法
【技术领域】
[0001] 本发明涉及视频质量测量，并且更具体地，涉及用于确定客观视频质量度量的方 法和装置。
【背景技术】
[0002] 已经开发出不同的方法来估计视频序列中的各个帧的质量级别。给出视频序列中 的各个帧的所估计的质量级别，已经在时间汇合（pool)策略的框架下研宄了获取与视频 序列的所感知的质量良好匹配的客观的总的视频质量度量的方法。
【发明内容】
[0003] 所述原理提供一种用于估计视频序列的视觉质量的方法，如下所述，其包含：访问 包括视频序列中的当前帧的多个滑动窗口中的帧的空间失真；响应于每个滑动窗口中的帧 的各自的空间失真，确定指示每个滑动窗口的代表伪像级别（representative artifact level)和大失真密度（large distortion density)中的至少一个的因子；响应于所确定 的因子来确定当前帧的时间失真；以及响应于当前帧的时间失真来确定视频序列的视觉质 量。所述原理还提供用于执行这些步骤的装置。
[0004] 所述原理还提供一种用于估计视频序列的视觉质量的方法，如下所述，其包含：访 问包括视频序列中的当前帧的多个滑动窗口中的帧的空间失真；响应于每个滑动窗口中的 帧的各自的空间失真来确定指示每个滑动窗口的代表伪像级别和大失真密度中的至少一 个的因子；确定多个滑动窗口的因子的最大值；响应于最大的因子来确定当前帧的时间失 真；以及响应于当前帧的时间失真来确定视频序列的视觉质量。所述原理还提供用于执行 这些步骤的装置。
[0005] 所述原理还提供一种计算机可读存储介质，在其上存储有用于根据上述方法来估 计视频序列的视觉质量的指令。
【附图说明】
[0006] 图IA是图示示例性视频序列中的各个帧的空间伪像级别的图示示例，图IB是图 示示例性视频序列中的各个帧的所感知的时间质量的图示示例。
[0007] 图2A、2B和2C是根据所述原理的实施例的图示在视频质量建模中所使用的滑动 窗口的图示示例。
[0008] 图3A是图不另外的不例性视频序列中的各个帧的空间伪像级别的图不不例， 并且图3B和3C分别是根据所述原理的实施例的图示帧的邻域中的主导失真（dominant distortion)和所估计出的时间失真的图示示例。
[0009] 图4A是图示另外的示例性视频序列中的各个帧的空间伪像级别的图示示例，并 且图4B和4C分别是根据所述原理的实施例的图示帧的邻域中的最高的大失真密度和所估 计出的时间失真的图示示例。
[0010] 图5A是图示另外的示例性视频序列中的各个帧的空间伪像级别的图示示例，并 且图5B和5C分别是根据所述原理的实施例的图示帧的邻域中的最高的大失真密度和所估 计出的时间失真的图示示例。
[0011] 图6是图示根据所述原理的实施例的对帧n的时间失真建模的示例性方法的流程 图。
[0012] 图7是图示根据所述原理的实施例的示例性视频质量监视器的框图。
[0013] 图8是图示可以与一个或多个实现方式一起使用的示例性视频处理系统的框图。
【具体实施方式】
[0014] 在本申请中，使用"空间伪像"来表示在对视频序列中的图片独立于视频序列中的 其他图片来观看时在该图片中所感知的伪像，并且使用"时间伪像"来表示在连续地显示视 频序列中的图片时在视频序列的一个图片中所感知的伪像。类似地，使用"空间失真"或"空 间质量"来表示在独立于视频序列中的其他图片来观看图片时在该图片中所感知的失真或 质量，并且使用"时间失真"或"时间质量"来表示在连续地显示视频序列中的图片时在视 频序列的一个图片中所感知的失真或质量。
[0015] 在评估空间失真时，在一时间段内独立于视频序列中的其他图片地观看一个图 片，该时间段对于观看者识别图像内容和失真是足够长的。这与评估图片被连续地显示的 情况下的时间失真不同。
[0016] 在本申请中，术语"帧"与术语"图片"可互换地使用。术语"失真"和"伪像"两者 都指帧中的质量下降，并且往往可互换地使用。
[0017] 帧n的空间失真记为ds(n)，其可以通过多种图像质量评估方法来获得，例如但 不限于全参考（full-reference)或无参考（no-reference)方法以及像素域或比特流 级别的方法。在一个实施例中，如在N. Liao、Z. Chen和K. Xie的标题为"Video quality assessment at a bitstream level"的共同拥有的 PCT 申请（PCT/CN2012/078766,律师案 号PA120027)(通过引用将其教导具体地并入本文）中公开的那样，可以将空间失真估计为 由初始和/或传播的可见伪像所引起的总的可见伪像级别。
[0018]图片中的空间伪像需要持续一段时间，使得眼睛可以盯住并且将其识别为伪像。 当图片是视频序列的一部分并且每个仅显示非常短的一段时间（例如，在实时播放视频时 的l/frame_rate的期间）时，在帧n的时刻所感知的视频失真即帧n的时间失真dt(n)可 以与帧n的空间失真ds(n)相当不同。这可以是因为时间失真dt(n)受其邻近帧的内容和 失真所影响。
[0019] 对于示例性视频序列，图IA示出视频序列中的各个帧的空间伪像级别，并且图IB 示出视频序列中的各个帧的时间质量。更具体地，图IA示出在示例性视频序列遭受包损失 时的帧的空间伪像级别。空间伪像可以在视频序列中不定时发生，例如在帧74、77、215、261 和262处所看到的空间伪像。空间伪像也可以突发性地出现，诸如在帧106-111周围所看 到的伪像。
[0020] 图IB示出在连续地显示视频序列的帧时的时间质量，其中得分100对应于最佳质 量。取决于质量测量方法，质量得分可以以不同的标度。时间质量的精确曲线可以使用主观 测试方法来得到，例如但不限于在ITU-R BT 500中所定义的单刺激连续质量评价（Single Stimulus Continuous Quality Eevaluation, SSCQE)〇
[0021] 从图IA可以看出，在独立地观看帧74和77时，这两个帧有强的空间伪像。然 而，在连续地显示视频时，这两个帧的伪像变得不可见，并且因此，如图IB所示，在连续观 看时，帧74和77处于最佳质量级别。因此，强的空间伪像可能并不总是对应于高的时间失 真。另一方面，视频序列的一个帧在独立于其他帧被观看时可能看起来具有良好的质量，但 在连续显示视频序列时可能呈现强的时间失真（例如，运动抖动）即，小的空间失真可能并 不总是对应于小的所感知的时间失真（即，更高的时间质量）。
[0022] 因此，空间失真（即，在独立于视频序列中的其他图片观看一个图片时）可能与时 间失真（即，在连续观看图片时）相当不同。所述原理提供根据各个帧的空间失真对时间 质量精确地建模的方法和装置。具体地，所述原理考虑影响观看者如何标识时间失真的上 下文，其中所述上下文包括例如但不限于失真的持续时间和图案（pattern)以及观看者经 由观看邻近帧而识别出的纹理和对象的运动。
[0023] 在一个实施例中，给出空间失真，可以使用滑动窗口方法对所感知的时间失真进 行建模。如图2A-2C所示，包括帧n的L tl个帧的滑动窗口（表示为Si;n)开始于帧（n-i)并 且结束于帧（n-1+U-l) (0 < i〈U)。可以选择近似于观看者的眼睛识别失真所需要的时间 段的窗口长度。因此，滑动窗口包括U= round (TtlX frame_rate)个帧，其中，Ttl是观看者 识别失真所需要的时间段，并且frame_rate是视频序列的帧速率。存在于滑动窗口之外的 伪像被视为对当前帧的时间伪像的可见性具有很少的贡献。
[0024] 观察到，当前帧的所感知的时间失真主要受附近具有大失真（即，失真级别超过 某个阈值）的帧所影响。在所述原理中，提供不同的实施例来估计在帧的邻域中的这样聚 簇（cluster)的大空间失真的影响。
[0025] 在一个实施例中，可以使用滑动窗口中的中值失真值（median distortion value)的最大值来估计时间失真。数学地，对于每个滑动窗口 Si;n，可以将Si;n中的帧的中 值失真计算为：
[0026]MDi，n= median {ds (j)，帧j G S j (I)
[0027] 中值（median)函数检查邻近的帧，以决定当前帧的空间失真是否代表其周围环 境（surroundings)并且拒绝极端的失真级别（离群值（outlier))。即，可以将 滑动窗口 Si;n的代表性失真级别。在其他实施例中，可以使用取平均数（averaging)或其 他过滤方法来获得MDi;n。