一种仿射运动补偿的交织预测的方法及设备与流程

本申请要求在2018年09月19日提交美国专利局、申请号为62/733，433、申请名称为“multi-hypothesisaffinemotionmodel”的美国专利申请的优先权，其全部内容通过引用结合在本申请中。

本发明涉及视频编码和压缩技术领域，特别涉及一种仿射运动补偿的交织预测的方法及设备。

背景技术：

在对视频数据进行处理时可以使用各种视频编码技术来压缩视频数据。视频编码是根据一个或多个视频编码标准来执行的。例如，视频编码标准包括多功能视频编码(vvc)、联合勘探测试模型(jem)、高效率视频编码(highefficientvideocoding，hevc)、高级视频编码(avc)、运动图像专家组(mpeg)编码等。视频编码通常利用视频图像或视频序列中存在冗余的预测方法(例如，帧间预测、帧内预测等)。视频编码技术的一个重要目标是将视频数据压缩为使用较低比特率的形式，同时避免或最小化对视频质量的下降。随着不断发展的视频服务变得可用，需要具有更好编码效率的编码技术。

在第10届jvet会议(2018年4月10日至20日，美国圣地亚哥)上，jvet定义了vvc(versatilevideocoding，多功能视频编码)和vvc测试模型1(vtm1)编码方法的初稿；使用二叉和三叉划分编码块结构作为vvc的初始新编码特征，包括具有嵌套多类型树的四叉树。此后，在jvet会议期间，还开发了用于实现编码方法以及草案vvc解码过程的参考软件vtm。还开发了基于vtm的基准集(benchmarkset,bms)以包括尚未被vvc采用但需要进一步研究的编码工具。

vvc的amc(affinemotioncompensation，仿射运动补偿)中的4×4大小cu不允许进行双向预测以减少存储器带宽，为了解决amc的困境，出现了交织预测以实现更精细的mv(motionvector，控制点的运动矢量)粒度而不会过多的增加复杂性，交织预测方法通过基于子块的运动补偿生成当前块的两个预测器，然而，基于交织预测的4×4的运动补偿可能导致高内存访问宽带，因此需要提出减少使用内存访问的方法。

技术实现要素：

本发明提供了一种仿射运动补偿的交织预测的方法及设备，用以解决现有仿射运动交织预测导致的高内存访问宽带的问题。

根据本发明实施例的第一方面，提供一种仿射运动补偿的交织预测的方法，该方法包括：

获取视频图像帧，确定所述视频图像帧中的编码单元cu；

将所述cu划分成具有不同划分图案的第一图案和第二图案，并确定所述第一图案和第二图案中各子块的权重，其中，所述第一图案和/或第二图案的子块的大小大于协议约定的大小；

根据各子块的运动矢量及对应的权重，产生第一图案的第一运动补偿预估值及第二图案的第二运动补偿预估值；

将所述第一运动补偿预估值与第二运动补偿预估值加权求和，确定所述cu的运动补偿预估值。

根据本发明实施例的第二方面，提供一种仿射运动补偿的交织预测的设备，包括：

编码单元确定模块，用于获取视频图像帧，确定所述视频图像帧中的编码单元cu；

图案划分模块，用于将所述cu划分成具有不同划分图案的第一图案和第二图案，并确定所述第一图案和第二图案中各子块的权重，其中，所述第一图案和/或第二图案的子块的大小大于协议约定的大小；

预测模块，用于根据各子块的运动矢量及对应的权重，产生第一图案的第一运动补偿预估值及第二图案的第二运动补偿预估值；

预测确定模块，用于将所述第一运动补偿预估值与第二运动补偿预估值加权求和，确定所述cu的运动补偿预估值。

可选地，所述第一图案子块的大小大于协议约定的大小，包括：

所述第一图案的子块的宽度大于协议约定的宽度；或者

所述第一图案的子块的高度大于协议约定的高度；或者

所述第一图案的子块的宽度大于协议约定的宽度，且所述第一图案/第二图案的子块的高度大于协议约定的高度。

可选地，所述第二图案子块的大小大于协议约定的大小，包括：

所述第二图案的子块的宽度大于协议约定的宽度；或者

所述第二图案的子块的高度大于协议约定的高度；或者

所述第二图案的子块的宽度大于协议约定的宽度，且第二图案的子块的高度大于协议约定的高度。

可选地，所述第一图案和第二图案的子块的大小为如下任一种：

第一图案的子块大小为m×n，第二图案的子块大小为n×m；

第一图案的子块大小为m×m，第二图案的子块大小为n×n；

第一图案的子块大小为m×n，第二图案的子块大小为m×m；

第一图案的子块大小为n×m，第二图案的子块大小为m×m；

第一图案的子块的大小为m×m，第二图案的中间子块的大小为m×m，边界的偏移子块的大小为(m/2)×(m/2)、(m/2)×m、m×(m/2)；

其中，m、n均为正整数，且m不等于n。

可选地，所述协议约定的子块的大小为4×4，所述第一图案/第二图案的子块的大小大于协议约定的大小为如下任一种：

第一图案的子块大小为8×4，第二图案的子块大小为4×8；

第一图案的子块大小为4×4，第二图案的子块大小为8×8；

第一图案的子块大小为8×4，第二图案的子块大小为8×8；

第一图案的子块大小为4×8，第二图案的子块大小为8×8。

第一图案的子块的大小为8×8，第二图案的中间子块的大小为8×8，边界的偏移子块的大小为4×4、4×8、8×4。

可选地，图案划分模块确定所述第一图案和第二图案中各子块的权重，包括：

确定位于第一图案/第二图案中心的各子块的第一权重，及位于边界的各子块的第二权重，所述第一权重大于第二权重。

可选地，图案划分模块确定第一图案/第二图案的各子块的运动矢量，包括：

根据仿射运动模式下的候选集，确定所述cu的控制点的运动矢量；

根据所述cu的控制点的运动矢量及第一图案/第二图案的各子块位置，确定第一图案/第二图案的各子块的运动矢量。

可选地，所述仿射运动模式包括：af_inter模式或af_merge模式。

可选地，所述控制点的个数为2或3个。

根据本发明实施例的第三方面，提供一种仿射运动补偿的交织预测的设备，包括：存储器和处理器；

其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，包括如下步骤：

获取视频图像帧，确定所述视频图像帧中的编码单元cu；

将所述cu划分成具有不同划分图案的第一图案和第二图案，并确定所述第一图案和第二图案中各子块的权重，其中，所述第一图案和/或第二图案的子块的大小大于协议约定的大小；

根据各子块的运动矢量及对应的权重，产生第一图案的第一运动补偿预估值及第二图案的第二运动补偿预估值；

将所述第一运动补偿预估值与第二运动补偿预估值加权求和，确定所述cu的运动补偿预估值。

可选地，所述第一图案子块的大小大于协议约定的大小，包括：

所述第一图案的子块的宽度大于协议约定的宽度；或者

所述第一图案的子块的高度大于协议约定的高度；或者

所述第一图案的子块的宽度大于协议约定的宽度，且所述第一图案/第二图案的子块的高度大于协议约定的高度。

可选地，所述第二图案子块的大小大于协议约定的大小，包括：

所述第二图案的子块的宽度大于协议约定的宽度；或者

所述第二图案的子块的高度大于协议约定的高度；或者

所述第二图案的子块的宽度大于协议约定的宽度，且第二图案的子块的高度大于协议约定的高度。

可选地，所述第一图案和第二图案的子块的大小为如下任一种：

第一图案的子块大小为m×n，第二图案的子块大小为n×m；

第一图案的子块大小为m×m，第二图案的子块大小为n×n；

第一图案的子块大小为m×n，第二图案的子块大小为m×m；

第一图案的子块大小为n×m，第二图案的子块大小为m×m；

第一图案的子块的大小为m×m，第二图案的中间子块的大小为m×m，边界的偏移子块的大小为(m/2)×(m/2)、(m/2)×m、m×(m/2)；

其中，m、n均为正整数，且m不等于n。

可选地，所述协议约定的子块的大小为4×4，所述第一图案/第二图案的子块的大小大于协议约定的大小为如下任一种：

第一图案的子块大小为8×4，第二图案的子块大小为4×8；

第一图案的子块大小为4×4，第二图案的子块大小为8×8；

第一图案的子块大小为8×4，第二图案的子块大小为8×8；

第一图案的子块大小为4×8，第二图案的子块大小为8×8。

第一图案的子块的大小为8×8，第二图案的中间子块的大小为8×8，边界的偏移子块的大小为4×4、4×8、8×4。

可选地，处理器确定所述第一图案和第二图案中各子块的权重，包括：

确定位于第一图案/第二图案中心的各子块的第一权重，及位于边界的各子块的第二权重，所述第一权重大于第二权重。

可选地，处理器确定第一图案/第二图案的各子块的运动矢量，包括：

根据仿射运动模式下的候选集，确定所述cu的控制点的运动矢量；

根据所述cu的控制点的运动矢量及第一图案/第二图案的各子块位置，确定第一图案/第二图案的各子块的运动矢量。

可选地，所述仿射运动模式包括：af_inter模式或af_merge模式。

可选地，所述控制点的个数为2或3个。

根据本发明实施例的第四方面，提供一种芯片，所述芯片与设备中的存储器耦合，使得所述芯片在运行时调用所述存储器中存储的程序指令，实现本申请实施例上述各个方面以及各个方面涉及的任一可能设计的方法。

根据本发明实施例的第五方面，提供一种计算机可读存储介质，该计算机存储介质存储有程序指令，当其在计算机上运行时，使得计算机执行本发明实施例上述各个方面以及各个方面涉及的任一可能设计的方法。

根据本发明实施例的第六方面，提供一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行实现本申请实施例上述各个方面以及各个方面涉及的任一可能设计的方法。

利用本发明提供的仿射运动补偿的交织预测的方法及设备，具有以下有益效果：

本发明提供的仿射运动补偿的交织预测的方法及设备，提出了几种将编码单元cu划分成不同图案的方法，解决了现有的仿射运动交织预测导致的高内存访问宽带的问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中提供的一种仿射运动补偿的交织预测的方法示意图；

图2为交织预测划分图案的示意图；

图3为交织预测划分图案的子块的权重示意图；

图4为本发明实施例提供的一种交织预测划分图案的示意图；

图5为本发明实施例提供的一种交织预测划分图案的子块的权重示意图；

图6为本发明实施例提供的一种交织预测划分图案的示意图；

图7为本发明实施例提供的一种交织预测划分图案的子块的权重示意图；

图8为本发明实施例提供的一种交织预测划分图案的示意图；

图9为本发明实施例提供的一种交织预测划分图案的子块的权重示意图；

图10为本发明实施例提供的一种交织预测划分图案的示意图；

图11为本发明实施例提供的一种交织预测划分图案的子块的权重示意图；

图12为本发明实施例提供的一种交织预测划分图案的示意图；

图13为本发明实施例提供的一种交织预测划分图案的子块的权重示意图；

图14为本发明实施例提供的vvc中的4参数仿射模型和6参数仿射模型的示意图；

图15为本发明实施例中提供的仿射运动补偿的交织预测的设备示意图；

图16为本发明实施例中提供的仿射运动补偿的交织预测的设备示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

为了方便理解，下面对本发明实施例中涉及的名词进行解释：

1)mcp(motioncompensationprediction，运动补偿预测)：是对视频图像进行压缩时所使用的一种帧间编码技术；一个视频序列包含一定数量的图片，通常称为帧(frame)，运动补偿是一种描述在编码关系上的相邻帧的差别的方法，具体来说是描述前面一帧的每个子块怎样移动到当前帧中的某个位置去；相邻的帧通常很相似，也就是说，包含了很多冗余，因此运动补偿方法被视频压缩或视频编解码器用来减少视频序列中的空域冗余，也可以用来进行去交织以及运动插值的操作。

2)仿射变换：又称仿射映射，是指在几何中，一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间。仿射变换在几何上定义为两个向量空间之间的一个仿射变换或者仿射映射，由一个非奇异的线性变换接上一个平移变换组成。

实施例1

本发明实施例提供一种仿射运动补偿的交织预测的方法，如图1所示，包括：

步骤s101，获取视频图像帧，确定所述视频图像帧中的编码单元cu；

获取需要处理的视频数据，图像划分结构将输入视频数据分为称为编码树单元ctu的块，使用具有嵌套多类型树结构的四叉树将一个编码树单元ctu划分成编码单元cu，该编码单元cu具有定义共享相同预测模式的区域的叶子编码单元，所述相同预测模式的区域可以是帧内或帧间等。

本实施例中，术语“单元”定义了覆盖所有分量的图像的区域，术语“块”定义了覆盖特定分量的区域，并且在考虑诸如4:2:0的色度采样格式时可以在空域位置上不同。

步骤s102，将所述cu划分成具有不同划分图案的第一图案和第二图案，并确定所述第一图案和第二图案中各子块的权重，其中，所述第一图案和/或第二图案的子块的大小大于协议约定的大小。

第10届jevt会议上定义了多功能视频编码vvc和实现vvc编码的参考软件vtm，并开发了基于vtm的基准集(benchmarkset，bms)。

在多功能视频编码vvc中，交织预测将一个编码块划分成具有两种不同划分图案的子块，图2为交织预测划分图案的示意图。如图所示，第一种图案与上述基准集bms中的划分图案相同，将cu划分成4×4的子块，为图2的(a)部分所示的pattern0图案；第二种划分图案还将cu划分成4×4的子块但具有2×2的偏移，为图2的(b)部分所示的pattern1图案，所述第二图案的子块包括中间部位大小为4×4的子块及位于边界的大小为2×2、2×4、4×2的偏移子块。图3所示为交织预测划分图案的子块的权重示意图，如图所示，两种划分图案的子块的权重设置相同，都是子块中心与加权值1相关联，子块边界与加权值3相关联。

上述方法两种图案划分的子块大小均为协议约定的4×4，本实施例中协议约定的子块的大小不限于上述4×4，还可以是其他大小。

本发明实施例中将cu划分成具有不同划分图案的第一图案和第二图案，其中至少一个图案的子块大小是大于协议约定的大小，因此存在如下三种情况：

情况一、第一图案即pattern0图案的子块的大小大于协议约定的大小；

情况二、第二图案即pattern1图案的子块的大小大于协议约定的大小；

情况三，第一图案即pattern0图案的子块的大小大于协议约定的大小，第二图案即pattern1图案的子块的大小大于协议约定的大小。

其中，对于情况一和情况三，所述第一图案的子块大小大于上述协议约定的大小，具体可以采用如下任一方式：

所述第一图案的子块的宽度大于协议约定的宽度，即第一图案的子块的宽度大于4；

所述第一图案的子块的高度大于协议约定的高度，即第一图案的子块的高度大于4；或者

所述第一图案的子块的宽度大于协议约定的宽度，且所述第一图案的子块的高度大于协议约定的高度，即第一图案的子块的宽度大于4，且第一图案的子块的高度大于4。

其中，对于情况二和情况三，所述第二图案的子块大小大于上述协议约定的大小，具体可以采用如下任一方式：

所述第二图案的子块的宽度大于协议约定的宽度，即第二图案的子块的宽度大于4；

所述第二图案的子块的高度大于协议约定的高度，即第二图案的子块的高度大于4；或者

所述第二图案的子块的宽度大于协议约定的宽度，且所述第二图案的子块的高度大于协议约定的高度，即第二图案的子块的宽度大于4，且第二图案的子块的高度大于4。

划分图案后确定所述第一图案和第二图案中各子块的权重，包括：

确定位于第一图案/第二图案中心的各子块的第一权重，及位于边界的各子块的第二权重，所述第一权重大于第二权重。

本实施例中第一权重的值设置为3，第二权重的值设置为1。

本发明实施例给出了如下五种cu划分的第一图案和第二图案的大小：

1)第一图案的子块大小为m×n，即m行n列的像素内容，第二图案的子块大小为n×m，即n行m列的像素内容；

本实施例提供的一种可能的情况为：第一图案的子块大小为8×4，第二图案的子块大小为4×8；

参照图4，为本发明实施例提供的一种交织预测划分图案的示意图。如图4所示，第一种图案将cu划分成8×4的子块，为图4的(a)部分所示的pattern0图案；第二图案将cu划分成4×8的子块，为图4的(b)部分所示的pattern1图案。图5所示为本发明实施例提供的一种交织预测划分图案的子块的权重示意图，如图所示，两种划分图案的子块的权重设置方法相同，都是子块中心与加权值1相关联，子块边界与加权值3相关联。

2)第一图案的子块大小为m×m，第二图案的子块大小为n×n；

本实施例提供的一种可能的情况为：第一图案的子块大小为4×4，第二图案的子块大小为8×8；

参照图6，为本发明实施例提供的一种交织预测划分图案的示意图。如图6所示，第一种图案将cu划分成4×4的子块，为图6的(a)部分所示的pattern0图案；第二图案将cu划分成8×8的子块，为图6的(b)部分所示的pattern1图案。图7所示为本发明实施例提供的一种交织预测划分图案的子块的权重示意图，如图所示，两种划分图案的子块的权重设置方法相同，都是子块中心与加权值1相关联，子块边界与加权值3相关联。

3)第一图案的子块大小为m×n，第二图案的子块大小为m×m；

本实施例提供的一种可能的情况为：第一图案的子块大小为8×4，第二图案的子块大小为8×8；

参照图8，为本发明实施例提供的一种交织预测划分图案的示意图。如图8所示，第一种图案将cu划分成8×4的子块，为图8的(a)部分所示的pattern0图案；第二图案将cu划分成8×8的子块，为图8的(b)部分所示的pattern1图案。图9所示为本发明实施例提供的一种交织预测划分图案的子块的权重示意图，如图所示，两种划分图案的子块的权重设置方法相同，都是子块中心与加权值1相关联，子块边界与加权值3相关联。

4)第一图案的子块大小为n×m，第二图案的子块大小为m×m；

本实施例提供的一种可能的情况为：第一图案的子块大小为4×8，第二图案的子块大小为8×8。

参照图10，为本发明实施例提供的一种交织预测划分图案的示意图。如图10所示，第一种图案将cu划分成4×8的子块，为图10的(a)部分所示的pattern0图案；第二图案将cu划分成8×8的子块，为图10的(b)部分所示的pattern1图案。图11所示为本发明实施例提供的一种交织预测划分图案的子块的权重示意图，如图所示，两种划分图案的子块的权重设置方法相同，都是子块中心与加权值1相关联，子块边界与加权值3相关联。

5)第一图案的子块的大小为m×m，第二图案的子块包括中间部位大小为m×m的子块及位于边界的大小为(m/2)×(m/2)、(m/2)×m、m×(m/2)的偏移子块。

本实施例提供的一种可能的情况为：第一图案的子块的大小为8×8，第二图案的子块包括中间部位大小为8×8的子块及位于边界的大小为4×4、4×8、8×4的偏移子块。

参照图12，为本发明实施例提供的一种交织预测划分图案的示意图。如图12所示，第一种图案将cu划分成8×8的子块，为图12的(a)部分所示的pattern0图案；第二图案将cu划分成8×8的子块并且具有4×4的偏移，所述第二图案的子块包括中间部位大小为8×8的子块及位于边界的大小为4×4、4×8、8×4的偏移子块，为图12的(b)部分所示的pattern1图案。图13所示为本发明实施例提供的一种交织预测划分图案的子块的权重示意图，如图所示，两种划分图案的子块的权重设置方法相同，都是子块中心与加权值1相关联，子块边界与加权值3相关联。

上述五种第一图案和第二图案的大小中，m、n均为正整数，且m不等于n。

步骤s103，根据各子块的运动矢量及对应的权重，产生第一图案的第一运动补偿预估值及第二图案的第二运动补偿预估值；

hevc中仅将平移运动模型应用于运动补偿预测(motioncompensationprediction，mcp)中。而在真实世界中，存在多种运动，例如放大/缩小、旋转、透视运动以及其它不规则运动。vvc中使用具有两个控制点mv(motionvector)的4参数仿射模型以及使用具有三个控制点mv的额外6参数仿射模型。

参照图14，为本发明实施例提供的vvc中的4参数仿射模型和6参数仿射模型的示意图。如图14的(a)部分所示的为vcc中的4参数仿射模型，图中mv1和mv2分别表示4参数模型的两个控制点的运动矢量；图14的(b)部分所示的为vcc中的6参数仿射模型，图中mv0、mv1和mv2分别表示6参数模型的三个控制点的运动矢量。

vcc中有两种仿射运动模式：af_inter模式和af_merge模式。上述两种仿射运动模式都可以采用4参数仿射模型和6参数仿射模型中的任意一个模型。

对于宽度和高度都大于8的cu，可以应用af_inter模式。

根据仿射运动模式下的候选集，确定所述cu的控制点mv的运动矢量。

作为一种可选的实施方式，可以使用af_inter仿射运动模式。在比特流中用信号通知cu级别的仿射标志以指示是否使用af_inter仿射运动模式。

当使用af_inter仿射运动模式时，通过从空域相邻块扩展仿射运动即外推仿射候选得到候选集。

作为另一种可选的实施方式，可以使用af_merge仿射运动模式。当存在至少一个相邻块以仿射模式编码时，在比特流中用信号通知cu级别的仿射标志以指示使用af_merge仿射运动模式。

本发明实施例提供的用于af_merge仿射运动模式的候选集可以采用现有方式。在应用6参数仿射运动模型时与应用4参数仿射运动模型构建候选集的方式相同，区别在于需要计算的是当前cu的左上角、右上角和左下角的三个控制点的运动矢量。

本实施例中在候选集确定的情况下，使用af_merge仿射运动模式时控制点运动矢量预测的具体计算方法与af_inter仿射运动模式下的计算方法相同，都可以采用现有技术，这里不再详述。

根据上述确定的cu的控制点的运动矢量及第一图案/第二图案的各子块位置，确定第一图案/第二图案的各子块的运动矢量。

在应用4参数仿射模型时，通过上述方法确定cu的控制点运动矢量后，根据以下公式(1)计算每个子块的中心采样点的运动矢量，并取整到1/16的分像素精度：

其中，(v0x，v0x)为cu左上角控制点的运动矢量，(v1x，v1y)为cu右上角控制点的运动矢量，(vx，vy)为每个子块中心点的运动矢量，w为每个子块的宽度。

在应用6参数仿射模型时，以与4参数仿射模型相同的方法划分子块。w×h块的位置(x，y)处的运动矢量mv＝[mv^x，mv^y]可以从三个控制点mv0、mv1和mv2按照如下公式(2)得到：

其中，为cu左上角控制点的运动矢量，为cu右上角控制点的运动矢量，为cu左下角控制点的运动矢量，(mv^x，mv^y)每个子块中心点的运动矢量，w为每个子块的宽度，h为每个子块的高度。

利用上述方法确定子块的运动矢量后，使用第一图案的每个子块的运动矢量得到所述第一图案的运动补偿预估值，使用第二图案的每个子块的运动矢量得到所述第二图案的运动补偿预估值。

步骤s104，将所述第一运动补偿预估值与第二运动补偿预估值乘以对应的权重后求和，确定所述cu的运动补偿预估值。

根据如下公式(3)计算第一运动矢量与第二运动矢量的加权和：

其中p为cu的某个像素的运动补偿预估值，p0为第一图案的第一运动补偿预估值，p1为第二图案的第二运动补偿预估值，w0为该像素在第一图案的子块内的对应权重，w1该像素在第二图案的子块内的对应权重。

实施例2

以上对本发明中一种仿射运动补偿的交织预测的方法进行说明，以下对执行上述仿射运动补偿的交织预测的设备进行说明。

请参阅图15，本发明实施例提供一种仿射运动补偿的交织预测的设备，包括：

编码单元确定模块1501，用于获取视频图像帧，确定所述视频图像帧中的编码单元cu；

图案划分模块1502，用于将所述cu划分成具有不同划分图案的第一图案和第二图案，并确定所述第一图案和第二图案中各子块的权重，其中，所述第一图案和/或第二图案的子块的大小大于协议约定的大小；

预测模块1503，用于根据各子块的运动矢量及对应的权重，产生第一图案的第一运动补偿预估值及第二图案的第二运动补偿预估值；

预测确定模块1504，用于将所述第一运动补偿预估值与第二运动补偿预估值加权求和，确定所述cu的运动补偿预估值。

可选地，所述第一图案子块的大小大于协议约定的大小，包括：

所述第一图案的子块的宽度大于协议约定的宽度；或者

所述第一图案的子块的高度大于协议约定的高度；或者

所述第一图案的子块的宽度大于协议约定的宽度，且所述第一图案/第二图案的子块的高度大于协议约定的高度。

可选地，所述第二图案子块的大小大于协议约定的大小，包括：

所述第二图案的子块的宽度大于协议约定的宽度；或者

所述第二图案的子块的高度大于协议约定的高度；或者

所述第二图案的子块的宽度大于协议约定的宽度，且第二图案的子块的高度大于协议约定的高度。

可选地，所述第一图案和第二图案的子块的大小为如下任一种：

第一图案的子块大小为m×n，第二图案的子块大小为n×m；

第一图案的子块大小为m×m，第二图案的子块大小为n×n；

第一图案的子块大小为m×n，第二图案的子块大小为m×m；

第一图案的子块大小为n×m，第二图案的子块大小为m×m；

第一图案的子块的大小为m×m，第二图案的中间子块大小为m×m，边界的偏移子块大小为(m/2)×(m/2)、(m/2)×m、m×(m/2)；

其中，m、n均为正整数，且m不等于n。

可选地，所述协议约定的子块的大小为4×4，所述第一图案/第二图案的子块的大小大于协议约定的大小为如下任一种：

第一图案的子块大小为8×4，第二图案的子块大小为4×8；

第一图案的子块大小为4×4，第二图案的子块大小为8×8；

第一图案的子块大小为8×4，第二图案的子块大小为8×8；

第一图案的子块大小为4×8，第二图案的子块大小为8×8。

第一图案的子块的大小为8×8，第二图案的中间子块的大小为8×8，边界的偏移子块的大小为4×4、4×8、8×4。

可选地，图案划分模块确定所述第一图案和第二图案中各子块的权重，包括：

确定位于第一图案/第二图案中心的各子块的第一权重，及位于边界的各子块的第二权重，所述第一权重大于第二权重。

可选地，图案划分模块确定第一图案/第二图案的各子块的运动矢量，包括：

根据仿射运动模式下的候选集，确定所述cu的控制点的运动矢量；

根据所述cu的控制点的运动矢量及第一图案/第二图案的各子块位置，确定第一图案/第二图案的各子块的运动矢量。

可选地，所述仿射运动模式包括：af_inter模式或af_merge模式。

可选地，所述控制点的个数为2或3个。

上面从模块化功能实体的角度对本申请实施例中的仿射运动补偿的交织预测的用户设备进行了描述，下面从硬件处理的角度对本申请实施例中的仿射运动补偿的交织预测的设备进行描述。

请参阅图16，本申请实施例中仿射运动补偿的交织预测的设备的另一个实施例包括：

处理器1601、存储器1602、收发器1609以及总线系统1611；

其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，包括如下步骤：

获取视频图像帧，确定所述视频图像帧中的编码单元cu；

将所述cu划分成具有不同划分图案的第一图案和第二图案，并确定所述第一图案和第二图案中各子块的权重，其中，所述第一图案和/或第二图案的子块的大小大于协议约定的大小；

根据各子块的运动矢量及对应的权重，产生第一图案的第一运动补偿预估值及第二图案的第二运动补偿预估值；

将所述第一运动补偿预估值与第二运动补偿预估值加权求和，确定所述cu的运动补偿预估值。

图16是本发明实施例提供的一种仿射运动补偿的交织预测的设备的结构示意图，该设备1600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(英文全称：centralprocessingunits，英文简称：cpu)1601(例如，一个或一个以上处理器)和存储器1602，一个或一个以上存储应用程序1604或数据1606的存储介质1603(例如一个或一个以上海量存储设备)。其中，存储器1602和存储介质1603可以是短暂存储或持久存储。存储在存储介质1603的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对信息处理装置中的一系列指令操作。更进一步地，处理器1601可以设置为与存储介质1603通信，在设备1600上执行存储介质1603中的一系列指令操作。

设备1600还可以包括一个或一个以上电源1610，一个或一个以上有线或无线网络接口1607，一个或一个以上输入输出接口1608，和/或，一个或一个以上操作系统1605，例如windowsserver，macosx，unix，linux，freebsd等。

可选地，所述第一图案子块的大小大于协议约定的大小，包括：

所述第一图案的子块的宽度大于协议约定的宽度；或者

所述第一图案的子块的高度大于协议约定的高度；或者

所述第一图案的子块的宽度大于协议约定的宽度，且所述第一图案/第二图案的子块的高度大于协议约定的高度。

可选地，所述第二图案子块的大小大于协议约定的大小，包括：

所述第二图案的子块的宽度大于协议约定的宽度；或者

所述第二图案的子块的高度大于协议约定的高度；或者

所述第二图案的子块的宽度大于协议约定的宽度，且第二图案的子块的高度大于协议约定的高度。

可选地，所述第一图案和第二图案的子块的大小为如下任一种：

第一图案的子块大小为m×n，第二图案的子块大小为n×m；

第一图案的子块大小为m×m，第二图案的子块大小为n×n；

第一图案的子块大小为m×n，第二图案的子块大小为m×m；

第一图案的子块大小为n×m，第二图案的子块大小为m×m；

第一图案的子块的大小为m×m，第二图案的中间子块大小为m×m，边界的偏移子块大小为(m/2)×(m/2)、(m/2)×m、m×(m/2)；

其中，m、n均为正整数，且m不等于n。

可选地，所述协议约定的子块的大小为4×4，所述第一图案/第二图案的子块的大小大于协议约定的大小为如下任一种：

第一图案的子块大小为8×4，第二图案的子块大小为4×8；

第一图案的子块大小为4×4，第二图案的子块大小为8×8；

第一图案的子块大小为8×4，第二图案的子块大小为8×8；

第一图案的子块大小为4×8，第二图案的子块大小为8×8。

第一图案的子块的大小为8×8，第二图案的中间子块的大小为8×8，边界的偏移子块的大小为4×4、4×8、8×4。

可选地，处理器确定所述第一图案和第二图案中各子块的权重，包括：

确定位于第一图案/第二图案中心的各子块的第一权重，及位于边界的各子块的第二权重，所述第一权重大于第二权重。

可选地，处理器确定第一图案/第二图案的各子块的运动矢量，包括：

根据仿射运动模式下的候选集，确定所述cu的控制点的运动矢量；

根据所述cu的控制点的运动矢量及第一图案/第二图案的各子块位置，确定第一图案/第二图案的各子块的运动矢量。

可选地，所述仿射运动模式包括：af_inter模式或af_merge模式。

可选地，所述控制点的个数为2或3个。

本发明实施例还提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述实施例提供的仿射运动补偿的交织预测的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solidstatedisk，ssd))等。

以上对本申请所提供的技术方案进行了详细介绍，本申请中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。