基于经全局运动补偿的运动矢量预测值的视频编码的制作方法

文档序号:25543566发布日期:2021-06-18 20:40阅读:来源:国知局

技术特征:

1.一种提供包括由编码器装置编码的视频数据的比特流的方法,该方法包括:

该编码器装置的处理器确定包括由视频捕获设备捕获的视频数据的视频帧序列中的当前视频帧的当前块的运动矢量,该运动矢量定义当前块相对于存储在该编码器装置的存储器中的已编码的第一参考视频帧的预测块的偏移,其中,由该运动矢量定义的偏移的至少一部分与该视频捕获设备正在相对于场景移动时该视频数据中的全局运动相关联;该当前块与该预测块之差定义了残差块;

该处理器确定用于预测该运动矢量的运动矢量预测值候选,该运动矢量预测值候选是由该处理器基于该当前视频帧的一个或多个已编码块的一个或多个运动矢量确定的,和/或基于存储在该编码器装置的存储器中的一个或多个参考视频帧、优选地该第一参考视频帧的一个或多个已编码块的一个或多个运动矢量确定的;

该处理器确定或接收用于每个运动矢量预测值候选的运动补偿矢量,该运动补偿矢量提供对运动矢量预测值候选中与全局运动相关联的部分的估计;

该处理器确定经全局运动补偿的运动矢量预测值候选,每个经补偿的运动矢量预测值候选是基于运动矢量预测值候选与相关联的运动补偿矢量之差来确定的;从这些经全局运动补偿的运动矢量预测值候选中选择经补偿的运动矢量预测值;以及,基于该经补偿的运动矢量预测值和该运动矢量来确定运动矢量差;

该处理器使用熵编码算法将以下信息编码到比特流中:该残差块;该运动矢量差;该运动矢量差基于该运动矢量与经补偿的运动矢量预测值之差的指示、优选地二进制标志;所选择的经补偿的运动矢量预测值的指示;以及用于将运动矢量预测值转换为经补偿的运动矢量预测值的转换信息。

2.根据权利要求1所述的方法,其中,该候选列表是索引列表,并且其中,由该编码器装置选择的经补偿的运动矢量预测值的指示包括该运动矢量预测值在该候选列表中的索引。

3.根据权利要求1或2所述的方法,其中,该转换信息包括该编码器装置用于确定该运动补偿矢量的算法的指示;和/或存储在该解码器中的用于确定该运动补偿矢量的算法的一个或多个参数,优选地,该一个或多个参数中的与该视频捕获设备相对于该场景的移动相关联的至少一部分,更优选地,该一个或多个参数的该至少一部分包括:该视频捕获设备相对于该场景的速度、该视频捕获设备相对于参考点的高度、或该视频捕获设备相对于该场景移动的方向。

4.根据权利要求1至3中任一项所述的方法,其中,该运动补偿矢量是运动补偿图的一部分,该运动补偿图包括用于该当前视频帧和/或该参考视频帧的块的运动补偿矢量。

5.根据权利要求1或2所述的方法,其中,该转换信息包括该运动补偿矢量或运动补偿图,该运动补偿图包括用于该当前视频帧的块的运动补偿矢量、包括该当前视频帧和/或该参考视频帧的视频帧序列的块的运动补偿矢量。

6.根据权利要求1至5中任一项所述的方法,其中,确定运动矢量差包括:

基于该经补偿的运动矢量预测值和该运动矢量确定第一运动矢量差候选;以及基于该运动矢量预测值和该运动矢量确定第二运动矢量差候选;

基于优化过程,优选地率失真优化rdo过程,从该第一运动矢量差候选和该第二运动矢量差候选中选择该运动矢量差。

7.根据权利要求1至6中任一项所述的方法,其中,该运动补偿矢量是基于参数化算法确定的,该算法被配置为生成对该视频帧的当前块的全局运动的估计,优选地,该算法表示参数化世界模型。

8.根据权利要求1至7中任一项所述的方法,其中,该运动补偿矢量是基于图像处理算法确定的,该算法被配置为确定该当前视频帧中的运动场,该运动场包括与该当前视频帧的像素或像素块相关联的运动矢量,并且该算法被配置为将该运动场的运动矢量分类为表示该当前视频帧中的局部运动的运动矢量和表示该当前视频帧中的全局运动的运动矢量。

9.根据权利要求1至8中任一项所述的方法,其中,该视频捕获设备适于捕获球面视频数据,并且其中,该视频帧序列中的视频帧包括球面视频数据,优选地,该球面视频数据基于投影模型被投影到矩形视频帧上,更优选地,该投影模型是等距柱状或立方体投影模型。

10.根据权利要求1至9中任一项所述的方法,其中,该转换信息的至少一部分作为一个或多个sei消息被包括在该比特流中;和/或被包括在一个或多个网络抽象层nal单元中,优选地非vclnal单元,比如图像参数集pps。

11.根据权利要求1至10中任一项所述的方法,其中,该运动矢量和该运动矢量预测值的确定以及该编码是基于编码标准,优选地是avc、hevc、vp9、av1编码标准或基于avc、hevc、vp9、av1编码标准的编码标准。

12.一种用于从由编码器装置编码的比特流中重建视频帧的块的方法,该方法包括:

解码器装置的处理器接收比特流,该比特流包括当前视频帧的当前块,该当前块将由该解码器装置基于存储在该解码器装置的存储器中的第一参考视频帧的已解码预测块并且基于表示该当前块相对于预测块的偏移的运动矢量而重建,该预测块与该当前块之差定义了残差块;

该处理器使用熵编码过程将该比特流解码为:残差块;运动矢量差;该运动矢量差基于运动矢量与经补偿的运动矢量预测值之差的指示、优选地二进制标志;所选择的经补偿的运动矢量预测值的指示;以及用于将运动矢量预测值转换为经补偿的运动矢量预测值的转换信息;

该处理器确定用于预测该当前块的运动矢量的运动矢量预测值候选,运动矢量预测值候选定义该当前视频帧的已解码块的运动矢量或存储在该编码器装置的存储器中的参考视频帧、优选地第一参考视频帧的已解码块的运动矢量;

该处理器使用该转换信息来确定用于每个运动矢量预测值候选的运动补偿矢量,运动补偿矢量提供对运动矢量预测值候选中与全局运动相关联的部分的估计,该全局运动是由视频捕获设备相对于场景的移动引起的;

该处理器确定经全局运动补偿的运动矢量预测值候选,每个经补偿的运动矢量预测值候选是基于运动矢量预测值候选与相关联的运动补偿矢量之差来确定的;基于所选择的经补偿的运动矢量预测值的指示,从这些经补偿的运动矢量预测值候选中选择经补偿的运动矢量预测值;以及,基于该经补偿的运动矢量预测值和该运动矢量差来确定该当前块的运动矢量;以及,

该处理器基于该预测块和该残差块重建当前块,该重建包括使用该运动矢量来识别存储在该解码器装置的存储器中的参考视频帧的预测块。

13.一种编码装置,包括:

计算机可读存储介质,该计算机可读存储介质具有用其体现的程序的至少一部分;以及计算机可读存储介质,该计算机可读存储介质具有用其体现的计算机可读程序代码;以及处理器,优选地微处理器,该处理器耦合至该计算机可读存储介质,其中,响应于执行该计算机可读程序代码,该处理器被配置成执行可执行操作,这些可执行操作包括:

确定包括由视频捕获设备捕获的视频数据的视频帧序列中的当前视频帧的当前块的运动矢量,该运动矢量定义当前块相对于存储在该编码器装置的存储器中的已编码的第一参考视频帧的预测块的偏移,其中,该偏移的至少一部分与该视频捕获设备正在相对于场景移动时该视频数据中的全局运动相关联;该当前块与该预测块之差定义了残差块;

确定或接收用于每个运动矢量预测值候选的运动补偿矢量,该运动补偿矢量提供对运动矢量预测值候选中与全局运动相关联的部分的估计;

确定或接收用于每个运动矢量预测值候选的运动补偿矢量,运动补偿矢量表示对该当前视频帧的已编码块或一个或多个参考视频帧之一的已编码块的像素的全局运动的估计,该全局运动是由于该视频捕获设备相对于该场景的移动引起的;

确定经全局运动补偿的运动矢量预测值候选,每个经补偿的运动矢量预测值候选是基于运动矢量预测值候选与相关联的运动补偿矢量之差来确定的;从这些经全局运动补偿的运动矢量预测值候选中选择经补偿的运动矢量预测值;以及,基于该经补偿的运动矢量预测值和该运动矢量来确定运动矢量差;

使用熵编码算法将以下信息编码到比特流中:该残差块;该运动矢量差;该运动矢量差基于该运动矢量与经补偿的运动矢量预测值之差的指示、优选地二进制标志;所选择的经补偿的运动矢量预测值的指示;以及用于将运动矢量预测值转换为经补偿的运动矢量预测值的转换信息。

14.一种解码装置,包括:

计算机可读存储介质,该计算机可读存储介质具有用其体现的程序的至少一部分;以及,

计算机可读存储介质,该计算机可读存储介质具有用其体现的计算机可读程序代码;以及处理器,优选地微处理器,该处理器耦合至该计算机可读存储介质,其中,响应于执行该计算机可读程序代码,该处理器被配置成执行可执行操作,这些可执行操作包括:

解接收比特流,该比特流包括当前视频帧的当前块,该当前块将由该解码器装置基于存储在该解码器装置的存储器中的第一参考视频帧的已解码预测块并且基于表示该当前块相对于预测块的偏移的运动矢量而重建,该预测块与该当前块之差定义了残差块;

使用熵编码过程将该比特流解码为:残差块;运动矢量差;该运动矢量差基于运动矢量与经补偿的运动矢量预测值之差的指示、优选地二进制标志;所选择的经补偿的运动矢量预测值的指示;以及用于将运动矢量预测值转换为经补偿的运动矢量预测值的转换信息;

确定用于预测该当前块的运动矢量的运动矢量预测值候选,运动矢量预测值候选定义该当前视频帧的已解码块的运动矢量或存储在该解码器装置的存储器中的参考视频帧、优选地第一参考视频帧的已解码块的运动矢量;

使用该转换信息来确定用于每个运动矢量预测值候选的运动补偿矢量,运动补偿矢量提供对运动矢量预测值候选中与全局运动相关联的部分的估计,该全局运动是由视频捕获设备相对于场景的移动引起的;

确定经全局运动补偿的运动矢量预测值候选,每个经补偿的运动矢量预测值候选是基于运动矢量预测值候选与相关联的运动补偿矢量之差来确定的;基于所选择的经补偿的运动矢量预测值的指示,从这些经补偿的运动矢量预测值候选中选择经补偿的运动矢量预测值;以及,基于该经补偿的运动矢量预测值和该运动矢量差来确定该当前块的运动矢量;以及,

基于该预测块和该残差块重建当前块,该重建包括使用该运动矢量来识别存储在该解码器装置的存储器中的参考视频帧的预测块。

15.一种计算机程序产品,包括软件代码部分,这些软件代码部分被配置成当在计算机的存储器中运行时执行根据权利要求1至12中任一项所述的方法步骤。


技术总结
描述了一种确定比特流的方法,该方法包括:确定包括由相机捕获的视频数据的视频帧序列中的当前视频帧的当前块的运动矢量(MV),该MV定义该当前块相对于预测块的偏移,其中,该偏移的一部分是在该相机相对于场景移动时由该视频数据中的全局运动引起的;确定用于预测MV的运动矢量预测值MVP候选,这些MVP候选是基于已编码块的MV来确定的;确定用于MVP候选的运动补偿矢量MCV,基于MVP候选与相关联的MCV之差来确定经全局运动补偿的MVP候选;选择经补偿的MVP;以及,基于该经补偿的MVP和该MVP确定运动矢量差MVD;以及,使用熵编码将该MVD、所选择的经补偿的MVP的指示、以及用于将MVP转换为经补偿的MVP的转换信息编码到比特流中。

技术研发人员:O·A·尼亚穆特;E·托马斯;A·达西尔瓦普拉塔斯加布里尔
受保护的技术使用者:皇家KPN公司;荷兰应用自然科学研究组织
技术研发日:2019.09.13
技术公布日:2021.06.18
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1