预测帧间编码的运动矢量的方法和装置与流程

本公开涉及人工智能领域，具体涉及云计算、视频编解码、媒体云技术，可应用在智能云场景下。

背景技术：

1、hevc(high efficiency video coding，高效率视频编码)是新一代的视频编码压缩标准，与前一代h.264/avc标准相比，在同等清晰度下，可以节省将近50％的码率。今后它可以广泛应用于与视频压缩相关的领域，比如直播、点播等。它主要由预测、变换、量化、环路滤波、熵编码等主要技术组成。其中，预测是编码器的一个重要模块，它分为帧内预测和帧间预测。帧内预测，是指利用同一帧图像中已编码的图像块的重构像素值，按一定的方式来进行待编码像素块的预测的方法。帧间预测，是指利用已编码的前向或后向参考帧中的像素块来进行待编码像素块的预测的方法，其中，帧间预测会采用逐块匹配的方式，来获取参考帧中的最佳匹配块，这个过程被称为运动估计。运动估计过程将会输出该匹配块相对当前待编码的图像块的位移信息，被称作运动矢量，一般用x和y方向上的两个矢量值来表示。实验证实，运动估计过程将占用巨大的运算量，是编转码中耗时最大的部分。除了运动估计之外，hevc还采用了运动矢量的预测技术，也就是merge mv(合并运动矢量)技术，它可以利用已经编码的相邻块的mv来预测当前待编码块的mv，这一技术可以丰富hevc的帧间预测的编码模式。merge mv技术需要多次执行率失真计算才能确定最佳的merge mv，因此运算量较大，导致编码速度慢。

技术实现思路

1、本公开提供了一种预测帧间编码的运动矢量的方法、装置、设备、存储介质以及计算机程序产品。

2、根据本公开的第一方面，提供了一种预测帧间编码的运动矢量的方法，包括：获取第一运动矢量集合和第二运动矢量集合，其中，所述第一运动矢量集合包括当前pu(prediction unit，预测单元)的运动矢量和预定数目的参考帧中与当前pu相同位置的pu的运动矢量，所述第二运动矢量集合包括当前pu的至少一个相邻pu的运动矢量和预定数目的参考帧中与所述至少一个相邻pu相同位置的pu的运动矢量；若有效的相邻pu的数量大于等于预设数量，则将所述第二运动矢量集合按pu的位置划分成至少一个运动矢量子集合；分别计算所述第一运动矢量集合与每个运动矢量子集合的相关性并按照相关性由高到低的顺序确定每个运动矢量子集合对应的相邻pu的优先级；按照优先级由高到低的顺序依次基于每个相邻pu的运动矢量计算率失真，直到计算出小于预定阈值的率失真时停止计算；将计算出小于预定阈值的率失真时使用的相邻pu的运动矢量确定为当前pu的运动矢量。

3、根据本公开的第二方面，提供了一种预测帧间编码的运动矢量的装置，包括：获取单元，被配置成获取第一运动矢量集合和第二运动矢量集合，其中，所述第一运动矢量集合包括当前pu的运动矢量和预定数目的参考帧中与当前pu相同位置的pu的运动矢量，所述第二运动矢量集合包括当前pu的至少一个相邻pu的运动矢量和预定数目的参考帧中与所述至少一个相邻pu相同位置的pu的运动矢量；划分单元，被配置成若有效的相邻pu的数量大于等于预设数量，则将所述第二运动矢量集合按pu的位置划分成至少一个运动矢量子集合；第一计算单元，被配置成分别计算所述第一运动矢量集合与每个运动矢量子集合的相关性，并按照相关性由高到低的顺序确定每个运动矢量子集合对应的相邻pu的优先级；第二计算单元，被配置成按照优先级由高到低的顺序依次基于每个相邻pu的运动矢量计算率失真，直到计算出小于预定阈值的率失真时停止计算；确定单元，被配置成将计算出小于预定阈值的率失真时使用的相邻pu的运动矢量确定为当前pu的运动矢量。

4、根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面中任一项所述的方法。

5、根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面中任一项所述的方法。

6、根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面中任一项所述的方法。

7、本公开的实施例提供的预测帧间编码的运动矢量的方法和装置，利用了相邻pu的mv(motion vector，运动矢量)来计算当前pu的mv信息。利用多帧中相邻pu相同位置pu的mv与当前pu相同位置pu的mv的相关性，不需要遍历计算所有相邻pu的mv的率失真，只需要从相关性最大的mv中找到率失真小于预定阈值的即可，可以提前结束计算，从而减少运算量，提高编码速度。

8、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种预测帧间编码的运动矢量的方法，包括：

2.根据权利要求1所述的方法，其中，在所述分别计算所述第一运动矢量集合与每个运动矢量子集合的相关性之前，所述方法还包括：

3.根据权利要求1所述的方法，其中，所述方法还包括：

4.根据权利要求1所述的方法，其中，所述分别计算所述第一运动矢量集合与每个运动矢量子集合的相关性，包括：

5.根据权利要求1所述的方法，其中，所述相邻pu包括以下至少一个：a1表示当前pu左侧最下方的pu，b1表示当前pu上方最右侧的pu，b0表示当前pu右上方距离最近的pu，a0表示当前pu左下方距离最近的pu，b2表示当前pu左上方距离最近的pu。

6.根据权利要求1所述的方法，其中，所述方法还包括：

7.根据权利要求1所述的方法，其中，所述预定数目为最小图像组的大小。

8.根据权利要求5所述的方法，其中，所述按照相关性由高到低的顺序确定每个运动矢量子集合对应的相邻pu的优先级，包括：

9.根据权利要求1所述的方法，其中，若当前帧为双向预测内插编码帧，则所述预定数目的参考帧包括当前帧之前的帧和当前帧之后的帧。

10.根据权利要求1所述的方法，其中，所述方法还包括：

11.根据权利要求1所述的方法，其中，若当前pu为帧内块，则当前pu的运动矢量为0。

12.一种预测帧间编码的运动矢量的装置，包括：

13.根据权利要求12所述的装置，其中，所述获取单元进一步被配置成：

14.根据权利要求12所述的装置，其中，所述装置还包括还原单元，被配置成：

15.根据权利要求12所述的装置，其中，所述第一计算单元进一步被配置成：

16.根据权利要求12所述的装置，其中，所述相邻pu包括以下至少一个：a1表示当前pu左侧最下方的pu，b1表示当前pu上方最右侧的pu，b0表示当前pu右上方距离最近的pu，a0表示当前pu左下方距离最近的pu，b2表示当前pu左上方距离最近的pu。

17.根据权利要求12所述的装置，其中，所述装置还包括时域计算单元，被配置成：

18.根据权利要求12所述的装置，其中，所述预定数目为最小图像组的大小。

19.根据权利要求16所述的装置，其中，所述第一计算单元进一步被配置成：

20.根据权利要求12所述的装置，其中，若当前帧为双向预测内插编码帧，则所述预定数目的参考帧包括当前帧之前的帧和当前帧之后的帧。

21.根据权利要求12所述的装置，其中，所述确定单元进一步被配置成：

22.根据权利要求12所述的装置，其中，若当前pu为帧内块，则当前pu的运动矢量为0。

23.一种电子设备，包括：

24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-11中任一项所述的方法。

25.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-11中任一项所述的方法。

技术总结
本公开提供了预测帧间编码的运动矢量的方法和装置，涉及人工智能领域，具体涉及云计算、视频编解码、媒体云技术，可应用在智能云场景下。具体实现方案为：获取第一运动矢量集合和第二运动矢量集合；若有效的相邻PU的数量大于等于预设数量，则将第二运动矢量集合按PU的位置划分成至少一个运动矢量子集合；分别计算第一运动矢量集合与每个运动矢量子集合的相关性，得到每个相邻PU的优先级；按照优先级由高到低的顺序依次基于每个相邻PU的运动矢量计算率失真，直到计算出小于预定阈值的率失真时停止计算；将计算出小于预定阈值的率失真时使用的相邻PU的运动矢量确定为当前PU的运动矢量。该实施方式提高了帧间编码速度。

技术研发人员：邹箭
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：
技术公布日：2024/1/16