用于检测视频比特流中质量缺陷的方法和设备的制作方法

文档序号:7978610阅读:237来源:国知局
用于检测视频比特流中质量缺陷的方法和设备的制作方法
【专利摘要】提供了一种用于检测视频序列中的质量缺陷的设备,设备包括:布置成接收表示视频序列的视频比特流的接收器;以及布置成确定视频序列的每个图片的量化参数的测量的缺陷模块,缺陷模块还布置成在量化参数的测量中的突然更改发生时识别质量缺陷。
【专利说明】[0001] 用于检测视频比特流中质量缺陷的方法和设备

【技术领域】
[0002] 本申请涉及用于检测视频序列中质量缺陷的方法、用于检测视频序列中质量缺陷 的设备和计算机可读媒体。

【背景技术】
[0003] 基于块的编码是具有诸如H. 263、MPEG-4 Visual、MPEG-4 AVC (也称为H. 264)和 JCT-VC中开发的新兴HEVC/H. 265标准的编解码器标准的主要视频编码技术。这些编解码 器使用不同类型的图片(其采用不同类型的预测)来尽可能有效地压缩视频。只可在空间上 从图片本身内的区域预测帧内编码图片(I图片)。预测图片(P图片)从以前编码的I或P 图片预测。双向预测图片(B图片)从先前和/或后续的图片预测。
[0004] 从其它图片预测特定图片的结果可能产生与特定图片的原始版本不同的结果。图 片的预测与原始图片之间的差别称为图片的残差数据。残差数据与预测指令一起传送或存 储以便允许准确地重构原始图片。为使残差数据更紧凑,数据被变换到频率域中。在H. 264/ AVC中,为此目的在4x4或2x2 (色度)块上使用Hadamard变换和类似于离散余弦变换的变 换。一旦已变换残差,便在变换的数据上执行量化以限制需要传送或存储的数据。实际的 有损压缩正是在此步骤中发生。量化的等级由量化参数(QP)和对应查表确定。QP设置在 图片等级但也能够在宏块(MB)等级改变。
[0005] 更高的QP意味着残差数据更粗略地量化,因此,残差数据的更少细节被捕获,并 且因此重构的图片将更不匹配原始图片。更低的QP意味着残差数据的更多细节被捕获,并 且因此重构的图片将很好地匹配原始图片。
[0006] 就用于编码器改变在MB等级的QP的比特而言是相当昂贵的,并且因此在QP中的 大部分更改发生在图片之间。当已执行量化时,使用熵编码将量化变换的残差进行编码。在 H. 264/AVC中,为此使用熵编码算法之一,S卩,CAVLC (上下文自适应变长编码)或CABAC (上 下文自适应二进制算术编码)。
[0007] 为增大在容易出错的网络中的抗误码,通常定期插入I图片以刷新视频。也定期 插入I图片以允许随机接入和信道交换。强制的帧内图片在时间上应在何处插入未由视频 编码标准定义,而是由编码器决定。一般情况下,视频编码标准定义视频比特流语法和解码 过程,但不定义编码过程。换而言之,对视频序列进行编码的方法未标准化,而编码过程的 输出被标准化。
[0008] 为确保视频通过固定和移动网络的端对端质量,网络运营商和广播卖主能够利用 客观视频质量模型。客观视频质量模型是数学模型,它近似主观质量评估的结果,但基于能 够客观测量并且由计算机程序自动评价的准则和度量。
[0009] 通过计算在由客观视频质量模型生成的客观分数与主观测试结果之间的度量来 评价客观视频质量模型的性能。此度量例如能够是在主观与客户数据之间的相关或均方误 差。主观测试结果可包括从多个人类测试对象的意见获得的平均意见评分(MOS)。
[0010] 感知模型可被视为是客观视频质量模型的子集。虽然客观视频质量模型能够指任 何自动化质量评估方法,感知模型尝试确定到什么程度任何质量缺陷将由观看者感知。感 知模型能够利用解码的视频序列中的像素信息,并且在完全参考模型的情况下,参考信号 也可用于预测处理的视频的降级。感知模型的一个大缺点是它们通常具有高计算要求,并 且不非常适合大规模部署用于网络监视目的。
[0011] 感知质量模型的比完全参考模型更轻量级的一种备选方案是使用网络层协议报 头作为用于传送的视频的质量估计的输入。此方案使模型实现和使用极为有效,但传送的 视频的质量估计将相当粗糙。因此,视频比特流质量模型也可实现。此模型除网络协议报 头外还以编码的基本流作为输入,并且具有的优点是它将是相当轻量级,并且仍具有获得 比只使用网络层协议报头的模型更佳的视频质量估计的可能。此类视频比特流质量模型可 在两种模式中操作:其中允许比特流的完全解码的一种模式,以及其中不允许完全解码的 另一更低复杂性的模式(使得不能使用像素信息)。
[0012] 由Y-F. Qu、Z. Ma和Y. Wang所著并且在2010年3月17-19日在2010年第 44届年会在信息科学与系统(CISS)中发表的"Modeling the impact of frame rate and quantization stepsizes and their temporal variations on perceptual video quality: a review of recent works"中描述了巾贞速率和量化步长及巾贞速率的时间变化对 感知质量的影响。
[0013] 由C. Yim和A. Bovik所著,并且在2011年第26期信号处理:图像通信(Signal Processing: Image Communication 26 (2011))中发表的 "Evaluation of temporal variation of video quality in packet loss networks" 中描述了视频的时间质量变化 对全局视频质量的影响。
[0014] 因此,需要有不要求将编码的视频比特流解码的质量缺陷检测。此类质量缺陷检 测可适合通过质量模型实现。


【发明内容】

[0015] 已认识到块编码视频流的量化参数(QP)的突然更改能够导致解码的视频序列中 明显的质量缺陷。本文描述了用于检测此类缺陷的不要求从视频比特流将编码的视频序列 解码的方法和设备。QP中更改的视觉影响的估计能够结合视频比特流质量模型中的其它 模型参数使用以估计视频比特流的整体质量。本文中所述解决方案因此改进了估计的准确 度。这允许实现改进的视频比特流质量模型而不存在从视频比特流解码视频序列的计算开 销。
[0016] 相应地,提供了一种用于检测视频序列中质量缺陷的方法。方法包括接收表示视 频序列的视频比特流。方法还包括为视频序列的每个图片确定量化参数的测量。方法还包 括在量化参数发生突然更改时识别质量缺陷。
[0017] 某些质量缺陷能够在表示视频序列的视频比特流中识别而无需从视频比特流解 码视频序列。这意味着能够在无解码器的网络位置识别视频比特流中的质量缺陷,这允许 在整个分布网络的节点实现更准确的质量估计。
[0018] 方法可还包括确定视频序列的每个图片是否为帧内编码图片,并且在帧内编码图 片的量化参数发生突然更改时,将质量缺陷识别为帧内图片闪烁。
[0019] 帧内图片闪烁是由量化参数中的突然更改造成的一种类型的质量缺陷。在帧内编 码图片与量化参数中的峰值重合时,可识别帧内图片闪烁。在帧内编码图片与其相邻帧间 编码图片之间发生量化参数的突然更改时,可识别帧内图片闪烁。
[0020] 方法可在质量估计模型中用于确定由视频比特流表示的视频序列的感知质量。
[0021] 还提供了一种用于检测视频序列中质量缺陷的设备,设备包括接收器和缺陷模 块。接收器布置成接收表示视频序列的视频比特流。缺陷模块布置成对于视频序列的每个 图片确定量化参数的测量,并且还布置成在量化参数的测量中发生突然更改时识别质量缺 陷。
[0022] 设备可还包括图片类型确定模块,该模块布置成确定视频序列的每个图片是否为 帧内编码图片。缺陷模块可还布置成在帧内编码图片的量化参数的测量发生突然更改时, 将质量缺陷识别为帧内图片闪烁。
[0023] 设备可还包括布置成接收视频比特流和来自缺陷模块的缺陷指示的质量模块,质 量模块还布置成应用质量模型以估计从视频比特流重构的视频的质量。
[0024] 还提供了一种携带指令的计算机可读媒体,指令在由计算机逻辑执行时促使计算 机逻辑执行本文中定义的任何方法。
[0025]

【专利附图】

【附图说明】
[0026] 现在将只通过示例,参照附图描述用于检测视频比特流中质量缺陷的方法和设 备,其中: 图1示出来自视频序列内一个场景的三个图片的样本部分; 图2示出用于图1的视频序列的每图片平均QP的曲线图; 图3示出用于第二视频序列的每图片平均QP的曲线图; 图4示出QP中的突然更改的四种类型; 图5示出用于执行本文中所述方法的设备; 图6示出将QP中的突然更改的检测合并到质量模型中的设备; 图7示出本文中所述的方法;以及 图8示出本文中所述的另一方法。

【具体实施方式】
[0027] 造成可感知质量缺陷的量化参数(QP)中的突然更改引起的质量缺陷的一个示例 是帧内图片闪烁。帧内图片闪烁是通常由于编码器的比特率控制不能在给定某个比特率的 情况下保持其具有几乎恒定质量的要求造成的编码伪影。视频编码中的比特率控制是复杂 的任务,并且不是任何标准的一部分。由编码器的开发者决定创建比特率控制,所述比特率 控制在序列的图片上最佳分配可用比特预算以最大化感知质量。速率控制要求能够非常不 同。用于视频呼叫的速率控制经常严格保持视频延迟低。这有时意味着保持每个图片的某 个比特预算。类似广播移动TV的单向视频通常具有更宽松的比特率控制要求,所述要求具 有例如1-2秒的某个时间期内的比特预算。通过响应每个序列的编码需求而实现统计复 用并且跨多个平行视频序列分布固定量的带宽,能够提供编码的视频的速率中的更多灵活 性。在一些编码布置中,编码器对后续图片没有访问权,并且它必须快速选择编码参数(这 也称为一次编码)。出于这些和其它原因,在编码期间,比特率可在视频序列的图片之间未 得到最佳分配。
[0028] 在将某个场景进行编码时使用周期性帧内图片时,产生了帧内图片闪烁。伪影主 要在中到低比特率可见,其中,速率控制的要求能够更难以满足。然而,即使使用高比特率, 伪影也可能可见。帧内图片闪烁对于静态场景也更明显,并且其中就比特而言,帧间(P和 B)图片编码相对不贵(但帧内图片仍是昂贵的),并且伪影不受场景内的运动遮蔽。
[0029] 图1示出典型的帧内图片闪烁伪影。图1示出来自视频序列A内一个场景的三个 图片的放大部分。图la是序列A的图片199的一部分,此图片是用26的平均QP编码的帧 间编码图片。图lb是序列A的图片200的一部分,此图片是用36的平均QP编码的巾贞内编 码图片。图lc是序列A的图片201的一部分,此图片是用28的平均QP编码的帧间编码图 片。与其它两个图片相比,视频序列的图片200中的更高QP从这个图片的模糊强度来看是 明显的。
[0030] 视频序列A的内容具有相对静态性质,并且示出放牧牛群。该序列已使用作为 H. 264/AVC的参考编码器的JM进行编码和解码。图片199和201已经用相对低QP编码为 帧间编码图片。由于速率控制的限制以及将帧内图片进行编码比将帧间图片进行编码更昂 贵得多的事实,中间图片200已经用相对高QP编码为帧内编码图片。查看序列中播出的图 片将显示明显和烦人的闪烁,其中,图像内的空间细节在图片200消失,但然后在图片201 重新出现。
[0031] 此类帧内图片闪烁能够在来自多个编码器的视频比特流中看到。它不是编码器比 特率控制策略的一部分,而是未能遵循所述策略。由于视频编解码器标准不包括编码器的 行为,而是解码器要解码的比特流的语法,所以到那里存在许多不同编码解决方案。一些编 码解决方案比其它解决方案更好地管理帧内图片闪烁问题。
[0032] 在使用统计复用,并且易于编码的信道未得到足够比特以正确处理周期性帧内 时,检测此类缺陷特别重要。当可用比特率更低,并且每帧编码复杂性具有更少变化时,也 能够预期问题在更低分辨率看上去更严重(例如,移动TV情况)。例如,对于HDTV,在"中 等"比特率具有0. 5秒的周期性帧内期通常是没有问题的,而对于移动TV (例如,320x240 像素),在"中等"比特率具有〇. 5秒的周期性帧内期将极可能导致规则的帧内图片闪烁。
[0033] 本文中呈现的是用于通过监视QP值来检测此质量下降何时出现的方法和设备。 如果QP在帧间图片与随后的帧内图片之间增大某个量,并且对下一个将到来的帧间图片 降低一定量,则检测到帧内图片闪烁。在优选实施例中,进行比较之前在每个图片上对QP 求平均。在另一实施例中,每宏块计算QP差,并且然后在所有宏块上对差求平均。
[0034] 图2示出序列A的每图片平均QP的曲线图。帧内图片闪烁存在于图片号200。造 成帧内图片闪烁的QP中的峰值在曲线图中通过圆圈标记。该序列包含在图片号130和250 由箭头标记的两个场景剪辑。尽管事实是在场景剪辑出现时QP增大了许多,但这不会使用 户烦恼,并且因此不被视为明显的质量缺陷。这是因为场景已更改,并且在来自旧场景与新 场景的图片之间的质量差别对观看者而言将不是同样明显。还有,通过检测QP何时在帧间 图片与帧内图片之间增大而在此后不大幅降低,能够识别编码的图片质量突然下降(无论 是在场景剪辑后或者在场景中间)的情况。
[0035] 图2的曲线图也示出在位置?110、~155和~305的几个更多的峰值。由于此处QP 在几个帧间图片上增大,因此,对观看者而言这几乎不可见。帧间图片从前面的图片预测, 并且因此几个图片的残差的保真度的降低将对表面上的质量没有多大影响(在空间细节可 能不准确时,适当量的空间细节预期要从涉及的图片导出)。下面的伪码示出如何能够检测 到帧内图片闪烁和编码质量的对应突然下降:

【权利要求】
1. 一种用于检测视频序列中质量缺陷的方法,所述方法包括: 接收表示视频序列的视频比特流; 确定所述视频序列的每个图片的量化参数的测量; 在量化参数中的突然更改发生时识别质量缺陷。
2. 如权利要求1所述的方法,还包括: 确定所述视频序列的每个图片是否为帧内编码图片;以及 在对于帧内编码图片发生量化参数中的突然更改时,将质量缺陷识别为帧内图片闪 烁。
3. 如权利要求1或2所述的方法,其中量化参数中的所述突然更改包括图片的量化参 数的测量,所述测量比预确定数量的前面图片的量化参数的测量大某个阈值量。
4. 如权利要求1或2所述的方法,其中量化参数中的所述突然更改包括图片的量化参 数的测量,所述测量比预确定数量的前面图片的量化参数的测量小某个阈值量。
5. 如权利要求1或2所述的方法,其中量化参数中的所述突然更改包括图片的量化参 数的测量,所述测量比第一预确定数量的前面图片和第二预确定数量的后续图片的量化参 数的测量大某个阈值量。
6. 如权利要求1或2所述的方法,其中量化参数中的所述突然更改包括图片的量化参 数的测量,所述测量比第一预确定数量的前面图片和第二预确定数量的后续图片的量化参 数的测量小某个阈值量。
7. 如权利要求5或6所述的方法,其中图片的所述第一预确定数量等于图片的所述第 二预确定数量。
8. 如权利要求3、4、5和6中任一项所述的方法,其中图片的所述第一预确定数量为1。
9. 如前述权利要求中任一项所述的方法,所述方法还包括:通过进一步测量至少以下 之一来确定所述质量缺陷的影响: 量化参数的所述测量的差; 所述图片中的空间细节;以及 所述图片中的移动量。
10. 如前述权利要求中任一项所述的方法,其中图片的量化参数的所述测量是用于所 述图片的平均量化参数。
11. 如前述权利要求中任一项所述的方法,其中所述方法在质量估计模型中用于确定 由所述视频比特流表示的所述视频序列的感知质量。
12. 如前述权利要求中任一项所述的方法,其中所述视频比特流使用至少以下之一进 行编码:H. 264、MPEG-2、H. 263、MPEG-4 以及 HEVC/H. 265。
13. -种用于检测视频序列中质量缺陷的设备,所述设备包括: 接收器,布置成接收表示视频序列的视频比特流;以及 缺陷模块,布置成确定所述视频序列的每个图片的量化参数的测量,所述缺陷模块还 布置成在量化参数的所述测量中的突然更改发生时识别质量缺陷。
14. 如权利要求13所述的设备,还包括: 图片类型确定模块,布置成确定所述视频序列的每个图片是否为帧内编码图片;以及 其中所述缺陷模块还布置成在对于帧内编码图片发生量化参数的所述测量中的突然 更改时,将质量缺陷识别为帧内图片闪烁。
15. 如权利要求13或14所述的设备,包括布置成接收所述视频比特流和来自所述缺 陷模块的缺陷指示的质量模块,所述质量模块还布置成应用质量模型来估计从所述视频比 特流重构的视频的质量。
16. 如权利要求15所述的设备,其中所述质量模块还布置成通过进一步测量至少以 下之一来确定所述质量缺陷的幅度: 量化参数的所述测量的差; 所述图片中的空间细节;以及 所述图片中的移动量。
17. -种携带指令的计算机可读媒体,所述指令在由计算机逻辑执行时促使所述计算 机逻辑执行如权利要求1到12定义的任一种方法。
【文档编号】H04N21/44GK104145480SQ201180075398
【公开日】2014年11月12日 申请日期:2011年12月9日 优先权日:2011年12月9日
【发明者】M.彼得森, S.阿吉罗波洛斯 申请人:瑞典爱立信有限公司, 德意志电信股份公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1