针对可伸缩视频编码的增强型时间运动向量预测的制作方法
【专利说明】针对可伸缩视频编码的增强型时间运动向量预测
[0001] 相关申请的交叉引用
[0002] 本申请要求2013年4月2日提交的美国临时专利申请No. 61/807,639的权益，所 述申请的内容作为引用结合于此。
【背景技术】
[0003] 视频编码系统通常被用来压缩数字视频信号从而例如减少消耗的存储空间和/ 或减少与这些信号关联的传输带宽消耗。例如，基于块的混合视频编码系统被广泛部署并 频繁使用。
[0004] 可伸缩性可以在可伸缩视频编码系统中实现，诸如高效视频编码（HEVC)。可伸缩 性可以启用一个或多个部分比特流的传输和/或解码并且可以提供具有较低的时间和/或 空间分辨率，和/或具有降低的逼真度的视频服务，同时保持相对于部分比特流的速率很 高的重构质量。
[0005] 然而，已知可伸缩视频编码系统的进程性能，诸如时间运动向量预测器和/或参 考列表选择的生成表现出低效率。
【发明内容】
[0006] 在增强层（EL)编码中，时间候选可以从合并模式和非合并模式中得到。当构造 EL 的时间候选时，可以同时考虑选择当前预测单元（PU)的参考索引以及共存HJ的参考列表。 所述选择可以做出从而运动向量（MV)调整（scaling)操作可以被避免。如此所使用的，编 码可以包括编码（encoding)和解码。所选择的运动向量预测候选可以被添加到合并候选 列表中在空间MV预测候选的位置之前的位置。所选择的MV预测候选可以被添加到合并候 选列表以替代空间运动向量预测候选。时间候选可以被放置在EL视频编码的候选列表中。 在EL合并模式中，时间候选可以被放置在空间候选之前。在EL非合并模式中，时间候选可 以被包括在EL视频编码的候选列表中。
[0007] 共存HJ的参考列表可以基于运动向量调整操作是否与使用特定候选参考图片列 表作为关联于所述共存PU的运动向量预测参考图片列表相关联来选择。例如，与共存HJ 相关联的候选参考图片列表和与当前PU相关联的参考图片列表可以被获得。候选参考图 片列表可以被检查以确定运动向量调整操作是否与使用特定候选参考图片列表作为关联 于所述共存PU的运动向量预测参考图片列表相关联，并且运动向量预测参考图片列表可 以基于所述检查从所述候选参考图片列表中被选择。
[0008] 给定候选参考图片列表，在与所述当前HJ相关联的参考图片列表中的参考图片 与关联于所述共存PU的候选参考图片列表中的参考图片具有相同图片顺序计数（POC)值 的条件下，可以确定运动向量调整操作不与使用候选参考图片列表作为关联于所述共存PU 的运动向量预测参考图片列表相关联。在所述候选参考图片列表与关联于当前PU的参考 图片列表具有相同参考列表索引的条件下，可以确定运动向量调整操作不与使用候选参考 图片列表作为关联于所述共存PU的运动向量预测参考图片列表相关联。在所述候选参考 图片列表包括离关联于所述共存PU的图片的POC距离与在关联于所述当前PU的图片和关 联于所述当前PU的参考图片列表中的参考图片之间的POC距离相同的参考图片时，可以确 定运动向量调整操作不与使用候选参考图片列表作为关联于所述共存PU的运动向量预测 参考图片列表相关联。基于确定运动向量调整操作与使用候选参考图片列表作为关联于所 述共存PU的运动向量预测参考图片列表相关联，另一候选参考图片列表可以被考虑。
[0009] 当前HJ的参考索引可以基于运动向量调整操作是否与使用参考图片列表中的特 定参考图片作为用于所述共存PU的运动向量预测候选相关联来选择。例如在与当前HJ相 关联的参考图片列表中的参考图片可以被检查以确定运动向量调整操作是否与使用特定 参考图片作为用于执行运动向量预测的运动向量预测候选相关联。运动向量预测候选可以 基于所述检查从所述参考图片列表中的参考图片中选择。例如基于确定运动向量调整操作 可以不与使用所述参考图片作为用于执行运动向量预测的运动向量预测候选相关联，参考 图片可以被选择作为向量预测候选。
[0010] 对于在当前HJ的参考图片列表中的给定参考图片，如果所述参考图片与所述共 存PU的参考图片具有相同POC值，则可以确定运动向量调整操作不与使用所述参考图片作 为用于执行运动向量预测的运动向量预测候选相关联。如果所述参考图片离关联于所述当 前HJ的图片的POC距离与在关联于所述共存PU的图片和所述共存PU的参考图片之间的 POC距离相同的条件下，可以确定运动向量调整操作不与使用所述参考图片作为用于执行 运动向量预测的运动向量预测候选相关联。基于运动向量调整操作与使用所述参考图片作 为用于执行运动向量预测的运动向量预测候选相关联，来自与所述当前PU相关联的参考 图片列表的另一参考图片被考量用于所述运动向量预测候选。
[0011] 一种用于视频编码的方法包括获取与当前PU相关联的参考图片列表，所述参考 图片列表包括目标参考图片；获取与共存PU相关联的多个候选参考图片列表，所述共存HJ 与所述当前PU共存；以及基于与目标参考图片相关联的图片顺序计数（POC)从多个候选参 考图片列表中选择与共存PU相关联的运动向量预测参考图片列表。例如，包括与目标参考 图片具有相同POC值的参考图片的候选参考图片列表可以被选择作为运动向量预测参考 图片列表。例如，包括离关联于所述共存PU的图片的POC距离与在目标参考图片和关联于 所述当前PU的图片之间的POC距离相同的参考图片的候选参考图片列表可以被选择作为 运动向量预测参考图片列表。
[0012] 候选参考图片列表可以包括第一候选参考图片列表和第二候选参考图片列表。例 如，可以确定第一候选参考图片列表是否包括与目标参考图片具有相同POC值的参考图 片。运动向量预测参考图片列表可以基于所述确定而被选择。第一候选参考图片列表可以 在第一候选参考图片列表包括与目标参考图片具有相同POC值的参考图片的条件下被选 择，并且第二候选参考图片列表可以在第一候选参考图片列表不包括与目标参考图片具有 相同POC值的参考图片的条件下被考虑用于选择。例如可以确定第一候选参考图片列表是 否包括离关联于所述共存PU的图片的POC距离与在目标参考图片和关联于所述当前PU的 图片之间的POC距离相同的参考图片。运动向量预测参考图片列表可以基于所述确定而被 选择。第一候选参考图片列表可以在第一候选参考图片列表包括离关联于所述共存PU的 图片的POC距离与在目标参考图片和关联于所述当前PU的图片之间的POC距离相同的参 考图片的条件下被选择，并且第二候选参考图片列表可以在第一候选参考图片列表不包括 离关联于所述共存PU的图片的POC距离与在目标参考图片和关联于所述当前PU的图片之 间的POC距离相同的参考图片的条件下被考虑用于选择。默认候选参考图片列表可以在候 选参考图片列表不包括离关联于所述共存PU的图片的POC距离与在目标参考图片和关联 于所述当前PU的图片之间的POC距离相同的参考图片的条件下被选择。
[0013] 与当前PU相关联的参考图片列表可以包括多个参考图片。用于视频编码的方法 可以包括基于与共存PU的参考图片相关联的POC从与当如RJ相关联的参考图片列表中选 择运动向量预测候选；以及基于选择的运动向量预测候选执行运动向量预测。例如，与共存 PU的参考图片具有相同POC值的参考图片图片被选择作为运动向量预测候选。例如，离关 联于所述当前PU的图片的POC距离与在共存PU的参考图片和关联于所述共存PU的参考 图片列表中的图片之间的POC距离相同的参考图片可以被选择作为运动向量预测候选。
[0014] 第一参考图片可以从与当前PU相关联的参考图片列表中提取。参考图片和与当 前HJ相关联的参考图片之间的第一 POC距离以及共存PU的参考图片和与共存PU相关联 的图片之间的第二POC距离可以被计算。用于运动向量预测的运动向量预测候选可以基于 对第一和第二POC距离的计算来选择。例如，在第一 POC距离等于第二POC距离的条件下， 第一参考图片可以被选择作为运动向量预测候选。第一参考图片和当前PU之间的第一 POC 距离可以包括在与参考图片相关联的POC值和与关联于当前PU的当前图片相关联的POC 值之间的差。
[0015] -种用于视频编码的方法可以包括：获取与当前HJ相关联的参考图片列表，所述 参考图片列表包括多个参考图片；基于与共存PU的参考图片相关联的图片顺序计数（POC) 从参考图片列表中选择运动向量预测候选，所述共存PU与所述当前HJ共存；以及基于选择 的运动向量预测候选执行运动向量预测。例如，与共存PU的参考图片具有相同POC值的参 考图片可以被选择作为运动向量候选。
【附图说明】
[0016] 图1描述了示例可伸缩视频编码层间预测机制。
[0017] 图2描述了示例可伸缩视频编码层间预测机制。
[0018] 图3描述了示例混合单层视频编码器的操作。
[0019] 图4描述了示例混合单层视频解码器的操作。
[0020] 图5描述了运动信息的示例空间候选的示例位置。
[0021] 图6为描述时间运动向量预测的示例进程的流程图。
[0022] 图7为描述共存块的参考图片列表选择的示例进程的流程图。
[0023] 图8描述了示例时间运动向量预测器（TVMP)导出进程。
[0024] 图9为描述共存块的参考列表选择的示例进程的流程图。
[0025] 图10描述了示例TVMP导出进程。
[0026] 图11为描述当前预测单元的参考索引选择的示例进程的流程图。
[0027] 图12描述了针对增强层合并候选列表的示例构造进程。
[0028] 图13为描述提前运动向量预测（AVMP)候选列表构造的示例进程的流程图。
[0029] 图14为描述运动向量预测候选列表构造的示例进程的流程图。
[0030]图15为描述示例序列参数集语法的表格。
[0031] 图16为描述示例片头语法的表格。
[0032] 图17A描述了可以在其中实现一个或多个所公开的实施方式的示例通信系统的 系统图。
[0033] 图17B描述了示例无线发射/接收单元（WTRU)的系统图，其中所述WTRU可以在 如图17A所示的通信系统中使用。
[0034] 图17C描述了示例无线电接入网络和示例核心网络的系统图，其中所述示例核心 网络可以在如图17A所示的通信系统中使用。
[0035] 图17D描述了示例无线电接入网络和示例核心网络的系统图，其中所述示例核心 网络可以在如图17A所示的通信系统中使用。
[0036] 图17E描述了示例无线电接入网络和示例核心网络的系统图，其中所述示例核心 网络可以在如图17A所示的通信系统中使用。
【具体实施方式】
[0037] 图1描述了具有包括基层（BL)和增强层（EL)的示例可伸缩视频编码层间预测 (ILP)机制。如此处使用，BL可以包括视频流的最低层，比增强层更低的层和/或类似的。 基层和增强层可以代表具有不同分辨率的两个相邻空间可伸缩层。基层可以包括具有比增 强层中的图片具有更低分辨率的图片。这种层间预测机制可以改善可伸缩视频编码系统的 效率。这种机制可以被应用到可伸缩视频编码结构的多个层。在基层或增强层的一者或两 者中，运动补偿预测和/或帧内预测（intra-prediction)可以被利用（由图1中的虚线代 表），例如如在标准H. 264编码器中。层间预测可以利用基层信息，诸如空间纹理、运动向 量预测、参考图片索引和/或剩余信号，例如从而改善增强层的编码效率。当解码给定增强 层时，可伸缩视频编码系统可能不会完全重构来自一个或多个较低层（例如当前层的附属 层）的参考图片。
[0038] 图2描述了示例可伸缩视频编码层间预测机制。如图2所示，BL图片可以被上采 样以匹配EL的视频空间分辨率。一个或多个上采样后的层间参考（ILR)图片可以被用作 参考图片，例如以预测EL视频。对EL视频的预测可以例如通过从上采样后的BL信号的运 动补偿预测、通过EL信号（例如当前EL信号）内的时间预测和/或通过将这种上采样后 的BL信号与事件EL预测信号平均来形成。根据这一方法，一个或多个较低层图片可以被 重构（例如完全重构）。这种机制可以被部署用于利用多于两层的视频编码可伸缩编码。
[0039] 图3为描述基于块的视频编码器诸如混合视频编码系统的示例框图。编码器可以 为单层编码器。编码器可以利用空间预测（可以被称作帧内预测）和/或时间预测（可以 被称作帧间预测和/或运动补偿的预测）来预测输入视频信号。编码器可以包括模式决策 逻辑，所述模式决策逻辑可以基于诸如速率和/或失真考虑的组合的标准选择预测形式。 编码器可以转换和/或量化预测剩余（例如，输入信号和预测信号之间的差异信号）。量 化后的剩余以及模式信息（例如，帧内或帧间预测、运动信息、预测模式等）可以被进一步 在熵编码器处压缩并且被打包成输出比特流。对于EL视频，EL编码器可以以大致类似于 BL编码器的方式进行操作。提供针对EL视频的预测的参考图片的EL解码后图片缓存（EL DPB)可以包括EL参考图片和/或包括从独立层的DPB中产生的ILR图片（例如，BL DPB 中的图片）。
[0040] 如所示，输入视频信号302可以逐块处理。视频块单元可以包括16x16像素。这 种块单元可以被称作宏块（MB)。在高效视频编码（HEVC)、扩展块大小（例如称作"编码单 元"或CU)可以被用于高效压缩高分辨率（例如1080p及以上）视频信号。在HEVC中，CU 可以多达64x64像素。CU可以被划分成预测单元（PU)，针对该PU可以被应用单独的预测 方法。
[0041] 对于输入视频块（例如MB或⑶)，空间预测360和/或时间预测362可以被执行。 空间预测（例如帧内预测）可以使用来自相同视频图片/片段中的已经编码的相邻块中的 像素来预测当前视频块。空间预测可以降低视频信号中的空间冗余。时间预测（例如，"帧 间预测"或"运动补偿的预测"）可以使用从已经编码的视频图片中的像素（例如，可以被 称作"参考图片"）来预测当前视频块。时间预测可以降低存在视频信号中的时间冗余。针 对视频块的时间预测信号可以由一个或多个运动向量用信号发送，所述运动向量可以指示 参考图片中的当前块与其预测块之间的运动量和/或方向。如果支持多种参考图片（例如 如针对H. 264/AVC和/或HEVC中的情况），则对于每个视频块，其参考图片索引可以被附 加地发送。参考索引可以被用于标识时间预测信号来自参考图片库364(例如可以被称作 "解码图片缓存"或DPB)中的哪个参考图片。
[0042] 在空间和/或时间预测之后，编码器中的模式决策块380可以选择预测模式。预 测块可以从当前视频块316中被减去。预测剩余可以在304处被转换和/或在306处被量 化。量化后的剩余系数可以在310处被反向量化和/或在112处被反向转换以形成重构的 剩余，所述重构的剩余可以被添加回至预测块326以形成重构的视频块。
[0043] 环路滤波，诸如但不限于解块滤波器、采样自适应偏移和/或自适应环路滤波器， 可以在其被输入到参考图片库364和/或被用于解码未来的视频块之前由环路滤波器366 应用到重构的视频块上。为了形成输出视频比特流320,编码模式（例如帧间模式或帧内预 测模式），预测模式信息，运动信息和/或量化后的剩余系数可以被发送到熵编码单元308 以被压缩和封装从而形成比特流。
[0044] 图4是描述基于块的视频解码器的示例框图。所述解码器可以接收诸如由图3中 描述的编码器所生成的比特流并且重构将被显示的视频信号。在视频解码器处，比特流可 以被加密解码器解析。一个或多个剩余系数可以被逆量化和/或逆转换诸如以为了获得重 构后的剩余部分。编码模式和/或预测信息可以被用来使用诸如空间预测和/或时间预测 获得预测信号。预测信号和重构后的剩余可以被一起相加以获得重构后的视频。重构后的 视频可以在诸如存储将被显示的DPB中之前和/或被用来预测一个或多个未来视频信号之 前通过在环过滤来处理。
[0045] 视频比特流402可以在熵解码单元408处进行解封装和熵解码。编码模式和/ 或预测信息可以被发送到空间预测单元460 (例如如果是帧内编码）和/或时间预测单元 462 (例如如果是帧间编码）以形成预测块。如果被帧间编码，则预测信息可以包括预测块 大小、一个或多个运动向量（例如其可以指示运动方向和运动量）和/或一个或多个参考 索引（例如其可以指示预测信号从哪个参考图片获取）。
[0046] 运动补偿预测可以由时间HJ 462应用以形成时间预测块。剩余转换系数被发送 到逆量化单元410和逆转换单元412以重构剩余块。预测块和剩余块可以在426处被相加。 重构的块可以在其存储在参考图片库464之前进行环内滤波。参考图片库中的重构的视频 464可以被用来驱动显示设备和/或被用来预测未来的视频块。解码后的视频420可以在 显示器上显示。
[0047] 单层视频编码器可以采用单个视频序列输入并生成被传送到单层解码器的单个 压缩比特流。视频编解码器可以为数字视频服务（例如诸如但不限于通过卫星、电缆和陆 地传输信道发送TV信号）设计。利用部署在异构环境中的视频中心应用，多层视频编码技 术可以作为视频编码标准的扩展来开发以启用各种应用。例如可伸缩视频编码技术可以被 设计成处理多于一个视频层，其中每层可以被解码以重构特定空间分辨率、时间分辨率、保 真度和/或视图的视频信号。尽管参考图3和图4描述单层编码器和解码器，但此处描述的 概念可以利用多层编码器和解码器诸如针对多层或可伸缩编码技术。图3和图4的编码器 和/或解码器可以执行此处描述的任何功能。例如，图3和图4的编码器和/或解码器可 以使用增强层PU的MV在增强层（例如，增强层图片）上执行时间的运动向量预测（TMVP)。
[0048] 如图3和图4中所示，例如，运动补偿的预测可以利用图片间的冗余。在运动补偿 的预测中，对于帧间编码块，运动信息可以被用来跟踪针对每个帧间编码块的一个或多个 参考图片中对应的匹配块。在实施方式中，运动信息可以被用来跟踪针对每个帧间编码块 的一个或多个参考图片中对应的匹配块。帧间编码块可以被称作预测单元（PU)。运动信息 可以包括一个或多个运动向量（MV)，所述运动向量描述当前PU和其匹配块之间的水平和/ 或垂直位移。MV对应于一个参考图片索引。运动信息包括一个或两个参考图片索引。在B 片的情况中，运动信息可以包括哪个参考图片列表的标识与每个参考索引相关联。
[0049] 可伸缩视频编码系统（例如HEVC兼容的系统）可以包括两种模式来编码PU(例 如，每个PU)的运动信息，诸如合并模式和非合并模式。两种模式的使用可以减少用于表示 比特流中的运动信息的开销。在合并模式中，PU的运动信息可以（诸如直接地或间接地） 从空间和时间的相邻块中推导。基于竞争的方案可以被应用从可用候选中选择最佳相邻 块。最佳候选的索引可以被发送用于重新建立在解码器处的PU的运动信息。如果帧间编 码的PU以非合并模式编码，MV可以被不同地编码，例如使用利用先进运动向量预测（AMVP) 技术推导的MV预测器。AMVP技术的使用可以允许编码器从空间和时间相邻候选中选择MV 预测器。MV预测器和实际MV和/或预测器的索引之间的差异可以被传送给解码器。
[0050] 针对合并和非合并模式的可伸缩视频编码的效率可以通过改进形成时间候选的 方法来增强。例如，形成时间候选的方法可以被改进用于潜在单层编码标准（例如，已知的 HEVC)和具有两个空间层的可伸缩系统。改进的时间候选信息可以被应用到其它可伸缩编 码系统，所述其它可伸缩编码系统可以使用其它类型的潜在单层编解码器，可以具有多于 两个层和/或支持其它类型的可伸缩性。
[0051] 在示例视频编码系统中，在合并模式中的一组可能候选可以包括一个或多个空间 相邻候选、一个或多个时间相邻候选和/或一个或多个生成的首选。图5描述了运动信息 的五个空间候选的示例的位置。为了构造合并候选的列表，五个空间候选可以例如根据次 序Al，Bl，B0, AO和B2被检查和被添加到列表。如果位于空间位置的块被内部编码或在当 前片的边界之外，其可以被视为不可用。冗余项，例如其中候选具有相同运动信息可以被排 除在列表之外。
[0052] 在将有效空间候选插入到合并候选列表中之后，时间候选可以例如使用TMVP技 术从共存参考图片中的共存块的运动信息中生成。共存参考图片可以例如通过发送其参考 图片列表和列表中的其参考图片索引在比特流中被用信号发送（例如显式或隐式）。合并 候选的最大数目N(例如默认N= 5)可以例如在片头中被用信号发送。如果合并候选（例 如空间和/或时间候选）的数目大于N，列表可以被限制到前N-I个空间候选和时间候选。 如果合并候选的数目小于N，则一个或多个组合的候选和/或零运动候选可以被添加到候 选列表，例如直到数目达到N。组合的候选可以通过组合空间候选和时间候选的运动信息来 生成。
[0053] 对于非合并模式，示例视频编码系统可以执行提前运动向量预测（AMVP)，其允许 目前（例如当前）PU从空间和时间候选中选择其MV预测器。在实施方式中，选择空间运动 候选可以例如根据其可用性被限制到图5所示的五个空间候选中的最大的两个空间运动 候选。举例说明，第一空间候选可以从左边位置Al和AO的集合中选择。第二空间候选可 以从最上面位置Bl，BO和B2的集合