光流预测细化（PROF）的方法和装置与流程

本申请涉及视频编解码和压缩。更具体地，本申请涉及关于在通用视频编码(vvc)标准中研究的两种帧间预测工具的方法和装置，即光流预测细化(prof)和双向光流(bdof)。

背景技术：

1、可以使用各种视频编码技术来压缩视频数据。根据一种或多种视频编码标准来进行视频编码。例如，视频编解码标准包括通用视频编解码(vvc)、联合探索测试模型(jem)、高效视频编解码(hevc/h.265)、高级视频编解码(avc/h.264)、移动图像专家组(mpeg)编解码等。视频编解码通常采用利用了视频图像或序列中存在的冗余的预测方法(例如，帧间预测、帧内预测等)。视频编解码技术的一个重要目标是将视频数据压缩成使用较低比特率的形式，同时避免或最小化视频质量的下降。

技术实现思路

1、本申请的实施例提供了在视频编解码中光流预测细化(prof)和双向光流(bdof)的方法和装置。

2、根据本申请的第一方面，提供了一种prof的方法。该方法可包括解码器获得与视频信号内通过仿射模式编码的视频块相关联的第一参考图片i(0)和第二参考图片i(1)。该解码器还可基于与该视频块的第一参考图片i(0)和第二参考图片i(1)关联的第一预测样本i(0)(i，j)和第二预测样本i(1)(i，j)获得第一水平梯度值、第二水平梯度值、第一垂直梯度值以及第二垂直梯度值。该解码器还可基于与该视频块的第一参考图片i(0)和第二参考图片i(1)关联的控制点运动向量(cpmv)获得第一水平运动细化、第二水平运动细化、第一垂直运动细化以及第二垂直运动细化。该解码器还可基于该第一水平梯度值、第二水平梯度值、第一垂直梯度值以及第二垂直梯度值以及该第一水平运动细化、第二水平运动细化、第一垂直运动细化以及第二垂直运动细化获得第一预测细化δi(0)(i，j)和第二预测细化δi(1)(i，j)。该解码器还可基于第一预测样本i(0)(i，j)、第二预测样本i(1)(i，j)、第一预测细化δi(0)(i，j)、第二预测细化δi(1)(i，j)以及预测参数获得该视频块的最终预测样本。这些预测参数可包括用于加权预测(wp)和在编码单元(cu)级加权的双向预测(bcw)的加权参数和偏移参数。

3、根据本申请的第二方面，提供了一种prof的方法，通过编码器实施。该方法可包括通过信号发送两个通用约束信息(gci)级别控制标志。这两个gci级别控制标志可包括第一gci级别控制标志和第二gci级别控制标志。该第一gci级别控制标志表示是否为当前视频序列启用该bdof。该第二gci级别控制标志表示是否为该当前视频序列启用该prof。该编码器还可以通过信号发送两个序列参数集(sps)级别控制标志。这两个sps级别控制标志表示是否为在当前视频序列中的当前视频块启用该bdof和该prof。其中，第一sps级别控制标志表示为该当前视频块启用bdof，该基于确定该bdof被应用以基于在该视频块没有被以仿射模式编码时的第一预测样本i(0)(i，j)和第二预测样本i(1)(i，j)导出该视频块的运动细化。其中，第二sps级别控制标志表示为该当前视频块启用prof，基于确定该prof被应用以基于在该视频块被以仿射模式编码时的该第一预测样本i(0)(i，j)和该第二预测样本i(1)(i，j)导出该视频块的运动细化。

4、根据本申请的第三方面，提供了一种计算设备。该计算设备可包括一个或多个处理器以及存储可由该一个或多个处理器执行的指令的非暂时性计算机可读存储介质。该一个或多个处理器可以被配置为获得与视频信号内通过仿射模式编码的视频块相关联的第一参考图片i(0)和第二参考图片i(1)。该一个或多个处理器还可以被配置为基于与该第一参考图片i(0)和第二参考图片i(1)关联的第一预测样本i(0)(i，j)和第二预测样本i(1)(i，j)获得第一水平梯度值、第二水平梯度值、第一垂直梯度值以及第二垂直梯度值。该一个或多个处理器还可以被配置为基于与该第一参考图片i(0)和第二参考图片i(1)关联的控制点运动矢量(cpmv)获得第一水平运动细化、第二水平运动细化、第一垂直运动细化以及第二垂直运动细化。该一个或多个处理器还可以被配置为基于该第一水平梯度值、第二水平梯度值、第一垂直梯度值以及第二垂直梯度值以及该第一水平运动细化、第二水平运动细化、第一垂直运动细化以及第二垂直运动细化获得第一预测细化δi(0)(i，j)和第二预测细化δi(1)(i，j)。该一个或多个处理器还可以被配置为基于该第一预测样本i(0)(i，j)、该第二预测样本i(1)(i，j)、该第一预测细化δi(0)(i，j)、该第二预测细化δi(1)(i，j)以及预测参数获得该视频块的最终预测样本，其中，该预测参数包括用于加权预测(wp)和在编码单元(cu)级加权的双向预测(bcw)的加权参数和偏移参数。

5、根据本申请的第四方面，提供了一种在其中存储有多个指令的非暂时性计算机可读存储介质。在由设备的一个或多个处理器执行时，这些指令可使得该设备通过信号发送两个通用约束信息(gci)级别控制标志。这两个gci级别控制标志包括第一gci级别控制标志和第二gci级别控制标志。该第一gci级别控制标志表示是否为当前视频序列启用该bdof。该第二gci级别控制标志表示是否为该当前视频序列启用该prof。这些指令还可使得该设备通过信号发送两个sps级别控制标志。这两个sps级别控制标志表示是否为当前视频块启用该bdof和该prof。其中，第一sps级别控制标志表示为该当前视频块启用bdof，基于确定bdof被应用以基于在该视频块没有被以仿射模式编码时的第一预测样本i(0)(i，j)和第二预测样本i(1)(i，j)导出该视频块的运动细化。其中，第二sps级别控制标志表示为该当前视频块启用prof，基于确定prof被应用以基于在该视频块被以仿射模式编码时的该第一预测样本i(0)(i，j)和该第二预测样本i(1)(i，j)导出该视频块的运动细化。

6、需要理解的是，以上一般描述和以下详细描述二者仅仅是示例，而不旨在限制本发明。

技术特征：

1.一种双向光流(bdof)和光流预测细化(prof)的方法，通过编码器实施，包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求1所述的方法，还包括：

4.一种计算设备，包括：

5.根据权利要求4所述的计算设备，其中，所述多个计算机程序进一步使得所述计算设备执行以下操作：

6.根据权利要求4所述的计算设备，其中，所述多个计算机程序进一步使得所述计算设备执行以下操作：

7.一种存储包括视频数据的比特流的非暂时性计算机可读存储介质，使得编码装置执行以下操作：

8.根据权利要求7所述的非暂时性计算机可读存储介质，其中，进一步使得所述编码装置执行以下操作：

9.根据权利要求7所述的非暂时性计算机可读存储介质，其中，进一步使得所述编码装置执行以下操作：

技术总结
提供了用于PROF的方法、装置和非暂时性计算机可读存储介质。解码器获得与视频信号内通过仿射模式编码的视频块相关联的第一参考图片和第二参考图片I<supgt;(1)</supgt;。该解码器基于与该第一参考图片和第二参考图片关联的第一预测样本I<supgt;(0)</supgt;(i，j)和第二预测样本I<supgt;(1)</supgt;(i，j)获得第一和第二水平和垂直梯度值。该解码器基于与该第一参考图片和第二参考图片关联的CPMV获得第一和第二水平和垂直运动细化。该解码器基于该第一和第二水平和垂直梯度值和该第一和第二水平和垂直运动细化获得第一预测细化ΔI<supgt;(0)</supgt;(i，j)和第二预测细化ΔI<supgt;(1)</supgt;(i，j)。该解码器获得该视频块的最终预测样本。

技术研发人员：修晓宇,陈漪纹,王祥林,于冰
受保护的技术使用者：北京达佳互联信息技术有限公司
技术研发日：
技术公布日：2024/1/13