用于可分级视频编码的运动矢量预测的方法和装置的制造方法
【专利说明】用于可分级视频编码的运动矢量预测的方法和装置
[0001] 相关申请的交叉引用
[0002] 本申请要求2012年8月29日提交的美国临时专利申请No. 61/694,555、2012年 12月7日提交的美国临时专利申请No. 61/734, 650和2013年8月16日提交的美国临时专 利申请No. 61/866, 822的权益，其内容以引用的方式结合于此。
【背景技术】
[0003] 过去的二十年中，数字视频压缩技术有了很大发展并且被标准化，使高效的数字 视频通信、分发和消费成为可能。大部分在商业上被广泛应用的标准由IS0/IEC和ITU-T 开发，例如MPEC-2和H. 263 (MPEG-4第10部分）。由于视频压缩技术的出现和成熟，开发出 了高效视频编码01EVC)。
[0004] 相比于传统的通过卫星、电缆和陆地传输通道的数字视频服务，异构网络中在客 户端和网络侧可使用越来越多的视频应用，例如但不限于视频聊天、移动视频和流媒体。智 能电话、平板电脑和TV主宰着客户端侧，其中视频可通过因特网、移动网络和/或这两者的 结合来传输。为改善用户体验和视频服务质量，可进行可分级视频编码（SVC)。在SVC中， 信号一旦在最高的分辨率下被编码，能从数据流的子集中根据应用所需并且客户端设备所 支持的特定速率和分辨率被解码。国际视频标准MPEC-2视频、H. 263、MPEG4可视和H. 264 具有支持可分级性模式的工具和/或配置文件。
【发明内容】
[0005] 层间运动映射信息用于使能比特流中的增强层的时间运动矢量预测（TMVP)。举例 来说，可基于并置基础层视频块来确定增强层视频块的参考图像。增强层视频块与比特流 中的增强层相关联，而并置基础层视频块与比特流中的基础层相关联。举例来说，增强层视 频块与增强层图像相关联，而并置基础层视频块与基础层图像相关联。可通过选择与增强 层视频块的重叠面积最大为特征的并置基础层图像中的视频块来确定并置基础层视频块。 视频块可以是在比特流的任意级别的运算单元。视频块可以是任意大小（举例来说，块大 小（例如，16x16)，PU，SPU等）。
[0006] 可通过确定并置基础层视频块的参考图像来确定增强层视频块的参考图像。增强 层视频块的参考图像可以是并置基础层视频块的参考图像的并置增强层图像。可确定并置 基础层视频块的参考图像、利用并置基础层视频块的参考图像来确定层间视频块的参考图 像并利用层间视频块的参考图像来确定增强层视频块的参考图像，以此来确定增强层视频 块的参考图像。层间视频块可以是与增强层视频块和/或基础层视频块并置（collocate)。
[0007] 可根据并置基础层视频块的运动矢量（MV)来确定增强层视频块的MV。可确定并 置基础层视频块的MV并且根据基础层和增强层间的空间比率来缩放并置基础层视频块的 MV以确定增强层视频块的MV，以此来确定增强层视频块的MV。
[0008] 可确定并置基础层视频块的MV、根据基础层和增强层间的空间比率来缩放并置基 础层视频块的MV来确定层间视频块的MV并根据层间视频块的MV来预测增强层视频块的 MV，以此来确定增强层视频块的MV。例如，可基于层间视频块的MV，通过在层间视频块的MV上执行时间缩放来预测增强层视频块的MV。层间视频块可与增强层视频块和/或基础层视 频块并置。
[0009] 可在增强层视频块上使用层间视频块的MV和/或参考图像来执行TMVP。可根据 增强层视频块的参考图像和/或MV和/或层间视频块的参考图像和/或MV来解码增强层 视频块。
[0010] 方法包括接收包含基础层和增强层的比特流，以及利用时间运动矢量预测（TMVP) 来解码被编码的比特流中的增强层。层间参考图像可被用作用于增强层TMVP的并置参考 图像。
[0011] 利用TMVP来解码被编码的比特流中的增强层可包括利用TMVP来解码增强层图 像。利用TMVP来解码增强层图像可包括确定层间参考图像的运动矢量（MV)域和根据层间 参考图像的MV域来解码增强层图像。可根据并置基础层图像的MV域来确定层间参考图像 的MV域。MV域包括层间参考图像的视频块的参考图像索引和MV。举例来说，MV域可包括层 间参考图像的一个或多个视频块的一个或多个索引值（举例来说，根据它是P切片（slice) 还是B切片（slice))和MV。确定层间参考图像的MV域可包括确定并置基础层图像的被压 缩的MV域和根据该并置基础层图像的被压缩的MV域来确定层间参考图像的MV域。
[0012] 确定层间参考图像的MV域可包括确定层间参考图像的视频块的MV和参考图像。 确定层间参考图像的视频块的MV和参考图像可包括根据并置基础层视频块的参考图像来 确定层间视频块的参考图像和根据并置基础层视频块的MV来确定层间视频块的MV。可通 过选择与层间参考图像的重叠面积最大为特征的并置基础层图像中的视频块来确定并置 基础层视频块。
[0013] 确定层间视频块的参考图像可包括确定并置基础层视频块的参考图像和确定层 间视频块的参考图像。层间视频块的参考图像可以是并置基础层视频块的参考图像的并置 层间参考图像。确定层间视频块的MV可包括确定并置基础层视频块的MV和根据基础层和 增强层间的空间比率来缩放并置基础层视频块的MV，以确定层间视频块的MV。
[0014] 可根据层间视频块的MV域来确定增强层视频块的MV域。增强层视频块可与中间 层视频块和/或基础层视频块并联。举例来说，可根据层间视频块的参考图像（例如，可能 是并置增强层图像）来确定增强层视频块的参考图像。可根据层间视频块的MV来确定增 强层视频块的MV。举例来说，可缩放（例如，时间的缩放）层间视频块的MV来确定增强层 视频块的MV。可根据增强层视频块的MV域来解码增强层视频块。
[0015] 方法包括接收包含基础层和增强层的比特流和层间运动映射信息，以及执行增强 层的层间运动预测。可确定根据层间映射信息使能对于增强层的层间运动预测。
[0016] 可在比特流的序列级用信号发出层间映射信息。举例来说，层间映射信息可以是 变量（例如标志），可在比特流的序列级用信号发出该变量。可在比特流的序列级上推断出 层间映射信息。可通过比特流的视频参数集（VPS)中的变量（例如标志）来用信号发出层 间映射信息（例如，层间映射信息可以是比特流的VPS中的标志）。举例来说，可通过比特 流的序列参数集（SPS)中的变量（标志）来用信号发出层间映射信息（例如，层间映射信 息可以是比特流形式的SPS中的标志）。举例来说，可通过比特流的图像参数集（PPS)中的 变量（标志）来用信号发出层间映射信息（例如，层间映射信息可以是比特流的PPS中的 Jlli、）。
【附图说明】
[0017] 图1是示出用于SVC空间可分级编码的包含额外的层间预测的可分级结构的示例 图。
[0018] 图2是示出被考虑用于HEVC可分级编码的示例层间预测结构图。
[0019] 图3是示出空间运动矢量（MV)预测（SMVP)的示例图。
[0020] 图4是示出时间MV预测（TMVP)的示例图。
[0021] 图5是示出从基础层到经上采样的基础层的预测结构复制的示例图。
[0022] 图6是示出经上采样的基础层的SPU和原始基础层的SPU间的示例关系图。
[0023] 图7A-图7C是不出基础层图像的切片和处理后的基础层图像的切片间的不例关 系图。
[0024] 图8A是示出时间短期MV间的MV预测图。
[0025] 图8B是示出根据被映射的短期MV对时间短期MV的MV预测图。
[0026] 图9A是示出时间长期MV间的MV预测的示例图。
[0027] 图9B是示出根据被映射的长期MV对时间长期MV的MV预测的示例图。
[0028] 图IOA是示出根据时间长期MV对时间短期MV的MV预测的示例图。
[0029] 图IOB是示出根据被映射的长期MV对时间短期MV的MV预测的示例图。
[0030] 图IOC是示出根据时间短期MV对时间长期MV的MV预测的示例图。
[0031] 图IOD是示出根据被映射的短期MV对时间长期MV的MV预测的示例图。
[0032] 图IlA是示出禁用的根据层间MV对时间短期MV的MV预测的示例图。