减少仿射继承所需的线缓冲器存储的制作方法

文档序号：26013061发布日期：2021-07-23 21:34阅读：116来源：国知局

根据巴黎公约适用的专利法和/或规则，本申请旨在及时要求2018年12月8日提交的国际专利申请no.pct/cn2018/119946、2018年12月14日提交的国际专利申请号pct/cn2018/121118、2019年2月14日提交的国际专利申请no.pct/cn2019/075094以及2019年2月22日提交的国际专利申请no.pct/cn2019/075846的优先权和利益。国际专利申请no.pct/cn2018/119946、pct/cn2018/121118、pct/cn2019//075094和pct/cn2019/075846的全部公开内容作为本申请公开内容的一部分通过引用而并入。

该专利文档涉及图像和视频编解码(coding)和解码。

背景技术：

数字视频在互联网和其他数字通信网络中占据最大的带宽使用。随着能够接收和显示视频的联网用户设备的数量增加，预计数字视频使用的带宽需求将继续增长。

技术实现要素：

所公开的技术可以由视频解码器或编码器实施例在使用控制点运动矢量和仿射编解码的视频解码或编码期间使用。

在一个示例方面，公开了一种处理视频方法。该方法包括：将用于确定其他视频块的继承运动信息的第一组运动矢量(mv)、用于推导当前视频块的子块的mv的第二组mv以及包括在当前视频块的比特流表示中的第三组mv与当前视频块相关联；以及使用第一组mv、第二组mv或第三组mv来执行当前视频块和比特流表示之间的转换。

在另一示例方面，公开了另一种视频处理方法。该方法包括：使用当前块的仿射继承运动矢量(motionvector，mv)来执行当前块和当前块的比特流表示之间的转换，其中，仿射继承mv是从(1)为相邻的临近基本块(表示为badj)而存储的mv或者(2)仿射历史列表中推导出的。

在又一示例方面，公开了另一种视频处理的方法。该方法包括：使用当前块的仿射继承运动矢量(mv)来执行当前块和当前块的比特流表示之间的转换，其中，仿射继承mv是从存储在与当前块相邻地临近的第一基本块中的第一mv和存储在与第一构建块有一偏移的第二基本块中的第二mv中推导出的。

在又一示例方面，公开了另一种视频处理的方法。该方法包括：将用于确定在第一块之后编解码的块的继承运动信息的第一组控制点运动矢量(controlpointmotionvector，cpmv)与用于推导第一块的子块的mv的第二组cpmv或为第一块信令通知的第三组cpmv相关联，其中第一组cpmv与第二组cpmv或第三组cpmv不相同；基于第一组cpmv来确定在第一块之后编解码的第二块的继承运动信息；以及通过使用继承运动信息来执行第二块和第二块的比特流表示之间的转换。

在又一示例方面，公开了另一种视频处理的方法。该方法包括：为视频的第一块和第一块的比特流表示之间的转换，基于存储的运动矢量(mv)来推导视频的第一块的仿射继承运动矢量(mv)；以及通过使用仿射继承mv来执行转换。

在又一示例方面，公开了另一种视频处理的方法。该方法包括：为视频的当前块和当前块的比特流表示之间的转换，基于第一存储运动矢量(mv)和与第一存储mv不同的第二存储mv来推导当前块的仿射继承运动矢量(mv)，其中第一存储mv存储在与当前块临近的第一基本块中，并且第二存储mv存储在与第一基本块有一偏移的第二基本块中；以及通过使用当前块的仿射继承mv来执行转换。

在又一示例方面，公开了另一种视频处理方法。该方法包括：为当前块和当前块的比特流表示之间的转换，推导与当前块的仿射模型相关联的仿射模型参数集的一个或多个参数；移位一个或多个参数；以及存储所移位的一个或多个参数。

在又一示例方面，公开了一种视频编码器装置。视频编码器装置包括处理器，该处理器被配置为实施本文描述的方法。

在又一示例方面，公开了一种视频解码器装置。视频解码器装置包括处理器，该处理器被配置为实施本文描述的方法。

在又一方面，公开了一种其上存储有代码的计算机可读介质。当由处理器执行时，该代码使得处理器实施本文档中描述的方法。

本文档中描述了这些和其他方面。

附图说明

图1示出了merge候选列表构造的推导过程的示例。

图2示出了空域merge候选的示例位置。

图3示出了考虑用于空域merge候选的冗余检查的候选对的示例。

图4a-图4b示出了n×2n和2n×n分割的第二pu的示例位置。

图5是时域merge候选的运动矢量缩放的图示。

图6示出了时域merge候选c0和c1的候选位置。

图7示出了组合双向预测merge候选的示例。

图8总结了运动矢量预测候选的推导过程。

图9是空域运动矢量候选的运动矢量缩放的示例图示。

图10示出了编解码单元cu的可选运动矢量预测值(alternativemotionvectorpredictor，atmvp)运动预测的示例。

图11示出了具有四个子块(a-d)及其临近块(a-d)的一个cu的示例。

图12示出了用于以不同的mv精度进行编码的示例流程图。

图13a-图13b分别示出了4和6参数简化仿射运动模型。

图14示出了每一子块的仿射mvf的示例。

图15a示出了4参数仿射模型的示例。

图15b示出了6参数仿射模型的示例。

图16示出了用于继承仿射候选的af_inter的mvp的示例。

图17示出了用于所构造的仿射候选的af_inter的示例mvp。

图18a示出了在五个临近块场景中的af_merge的候选的示例。

图18b示出了cpmv预测值推导过程的示例流程。

图19示出了仿射merge模式的示例候选位置。

图20示出了在ctu行的仿射继承的示例。

图21示出了存储在相邻的临近基本块中的mv的示例

图22示出了4×4基本块中的位置。

图23示出了两个相邻的临近块的mv的示例。

图24示出了用于跨越ctu行的仿射继承的mv的示例。

图25是视频处理方法的示例的流程图。

图26是视频处理装置的示例的框图。

图27示出了找到第一基本块和第二基本块的示例性流程图(矩形块指示整个过程的终止)。

图28示出了找到第一基本块和第二基本块的另一示例性流程图(矩形块指示整个过程的终止)。

图29是视频处理方法的示例的流程图。

图30是视频处理方法的示例的流程图。

图31是视频处理方法的示例的流程图。

图32是视频处理方法的示例的流程图。

具体实施方式

本文档提供了各种技术，视频比特流的解码器可以使用这些技术来提高解压缩或解码的数字视频或图像的质量。此外，视频编码器还可以在编码过程中实施这些技术，以便重新构造用于进一步编码的解码帧。

为了便于理解，在本文档中使用了章节标题，并且不将实施例和技术限制到相应的章节。这样，来自一个章节的实施例可以与来自其他章节的实施例相结合。

1.概述

该专利文档涉及视频编解码技术。具体地，它涉及视频编解码中的运动矢量编解码。它可以应用于现有的视频编解码标准，如hevc，或待定稿的标准(通用视频编解码)。它也可能适用于未来的视频编解码标准或视频编解码器。

2.导论

视频编解码标准主要是通过熟知的itu-t和iso/iec标准的发展演变而来的。itu-t制作了h.261和h.263，iso/iec制作了mpeg-1和mpeg-4视觉，并且这两个组织联合制作了h.262/mpeg-2视频和h.264/mpeg-4高级视频编解码(avc)和h.265/hevc标准。自h.262年以来，视频编解码标准基于混合视频编解码结构，其中利用时域预测加变换编解码。为了探索hevc以外的未来视频编解码技术，由vceg和mpeg于2015年联合成立了联合视频探索组(jvet)。此后，jvet采用了许多新方法，并将其输入到名为联合探索模型(jem)的参考软件中。2018年4月，在vceg(q6/16)和iso/iecjtc1sc29/wg11(mpeg)之间创建了联合视频专家组(jvet)，致力于目标是与hevc相比比特率降低50％的vvc标准。

2.1hevc/h.265中的帧间预测

每个帧间预测的pu(predictionunit，预测单元)具有一个或两个参考图片列表的运动参数。运动参数包括运动矢量和参考图片索引。两个参考图片列表之一的使用也可以使用inter_pred_idc信令通知。运动矢量可以被显式地编解码为相对于预测值的增量。

当以跳过模式对cu进行编解码时，一个pu与cu相关联，并且没有显著的残差系数，没有编解码的运动矢量增量或参考图片索引。指定了merge模式，由此从临近pu获得当前pu的运动参数，包括空域和时域候选。merge模式不仅应用于跳过模式，还可以应用于任何帧间预测pu。merge模式的可选方案是运动参数的显式地传输，其中运动矢量(更准确地，与运动矢量预测值相比的运动矢量差(motionvectordifference，mvd))、每个参考图片列表的对应参考图片索引和参考图片列表的使用按每一pu显式地信令通知。在本公开中，这种模式被命名为高级运动矢量预测(advancedmotionvectorprediction，amvp)。当信令指示要使用两个参考图片列表之一时，从一个样点块中产生pu。这被称为“单向预测”。单向预测可用于p条带和b条带。

当信令指示要使用参考图片列表两者时，从两个样点块中产生pu。这被称为“双向预测”。双向预测仅可用于b条带。

下文提供了在hevc指定的帧间预测模式的细节。描述将以merge模式开始。

2.1.1参考图片列表

在hevc中，术语帧间预测被用于表示从除当前解码图片之外的参考图片的数据元素(例如，样点值或运动矢量)推导的预测。像在h.264/avc中一样，可以从多个参考图片中预测图片。用于帧间预测的参考图片被组织在一个或多个参考图片列表中。参考索引识别列表中的哪个参考图片应该用于创建预测信号。

单个参考图片列表(列表0)被用于p条带，并且两个参考图片列表(列表0和列表1)被用于b条带。应该注意，就捕获/显示顺序而言，列表0/1中包括的参考图片可以来自过去和未来的图片。

2.1merge模式

2.1.2.1merge模式的候选的推导

当使用merge模式预测pu时，从比特流中解析指向merge候选列表中的条目的索引并将其用于检索运动信息。该列表的构造在hevc标准中被指定，并且可以根据以下一系列步骤进行概述：

·步骤1：初始候选推导

ο步骤1.1：空域候选推导

ο步骤1.2：空域候选的冗余检查

ο步骤1.3：时域候选推导

·步骤2：附加候选插入

ο步骤2.1：创建双向预测候选

ο步骤2.2：插入零运动候选

在图1中也示意性地描绘了这些步骤。对于空域merge候选推导，在位于五个不同位置的候选当中选择最多四个merge候选。对于时域merge候选推导，在两个候选当中选择最多一个merge候选。由于在解码器处假设每个pu的恒定数量的候选，因此当从步骤1获得的候选的数量未达到在条带头中信令通知的merge候选的最大数量(maxnummergecand)时，生成附加候选。由于候选的数量是恒定的，因此使用截断一元二值化(truncatedunarybinarization，tu)对最佳merge候选的索引进行编码。如果cu的尺寸等于8，则当前cu的所有pu共享单个merge候选列表，其与2n×2n预测单元的merge候选列表相同。

下面，详细描述与前述步骤相关联的操作。

2.1.2.2空域候选推导

在空域merge候选的推导中，在位于图2中描绘的位置的候选当中选择最多四个merge候选。推导的顺序是a1、b1、b0、a0和b2。仅当位置a1、b1、b0、a0的任何pu不可用(例如，因为它属于另一条带或片)或者是帧内编解码的时，才考虑位置b2。在添加位置a1处的候选之后，对剩余候选的添加进行冗余检查，其确保具有相同运动信息的候选被排除在列表之外，从而提高编解码效率。为了降低计算复杂度，在所提到的冗余检查中不考虑所有可能的候选对。相反，只考虑与图3中的箭头链接的对，并且如果用于冗余检查的对应候选没有相同的运动信息，则候选仅被添加到列表中。重复运动信息的另一源是与不同于2n×2n的分割相关联的“第二pu”。作为示例，图4a-图4b分别描绘了n×2n和2n×n的情况下的第二pu。当当前pu被分割为n×2n时，位置a1处的候选不被考虑用于列表构造。实际上，通过添加该候选将导致两个预测单元具有相同的运动信息，这对于在编解码单元中只具有一个pu是冗余的。类似地，当当前pu被分割为2n×n时，不考虑位置b1。

图2示出了空域merge候选的位置。

图3示出了考虑用于空域merge候选的冗余检查的候选对。

图4a-图4b示出了n×2n和2n×n分割的第二pu的位置。

2.1.2.3时域候选推导

在该步骤中，仅一个候选被添加到列表。具体地，在该时域merge候选的推导中，基于属于与给定参考图片列表内的当前图片具有最小poc(pictureordercount，图片顺序计数)差的图片的并置(co-located)pu来推导缩放运动矢量。在条带头中显式地信令通知要用于推导并置pu的参考图片列表。在图5中，如虚线所示的获得用于时域merge候选的缩放运动矢量，该缩放运动矢量是使用poc距离tb和td从并置pu的运动矢量进行缩放的，其中tb被定义为当前图片的参考图片与当前图片之间的poc差，并且td被定义为并置图片的参考图片与并置图片之间的poc差。时域merge候选的参考图片索引被设置为等于零。hevc规范中描述了缩放过程的实际实现。对于b条带，两个运动矢量(一个用于参考图片列表0，另一个用于参考图片列表1)被获得并组合，以生成双向预测merge候选。

图5是时域merge候选的运动矢量缩放的示例图示。

在属于参考帧的并置pu(y)中，在候选c0和c1之间选择时域候选的位置，如图6所描绘的。如果位置c0处的pu不可用、是帧内编解码的、或者在当前编解码树单元(codingtreeunit，ctu，又称最大编解码单元(largestcodingunit，lcu))行的外部，则使用位置c1。否则，在时域merge候选的推导中使用位置c0。

图6示出了时域merge候选的候选位置c0和c1的示例。

2.1.2.4附加候选插入

除了空域和时域的merge候选之外，还存在两种附加类型的merge候选：组合双向预测merge候选和零merge候选。通过利用空时merge候选来生成组合双向预测merge候选。组合双向预测merge候选仅用于b条带。通过将初始候选的第一参考图片列表运动参数与另一初始候选的第二参考图片列表运动参数组合来生成组合双向预测候选。如果这两个元组提供不同的运动假设，则它们将形成新的双向预测候选。作为示例，图7描绘了当原始列表(在左边)中的两个候选(其具有mvl0和refidxl0或mvl1和refidxl1)用于创建被添加到最终列表(在右边)的组合双向预测merge候选的情况。有许多关于组合的规则被考虑以生成这些附加merge候选。

插入零运动候选以填充merge候选列表中的剩余条目，并因此达到maxnummergecand容量。这些候选具有零空域位移和参考图片索引，该索引从零开始并且在每次向列表中添加新的零运动候选时增加。最终，不对这些候选执行冗余检查。

2.1.3amvp

amvp利用运动矢量与临近pu的空时相关性，该空时相关性用于运动参数的显式传输。对于每个参考图片列表，通过首先检查左边、上方的时域临近的pu位置的可用性、移除冗余候选并添加零矢量以使候选列表为恒定长度，来构造运动矢量候选列表。然后，编码器可以从候选列表中选择最佳预测值，并发送指示所选候选的对应索引。与merge索引信令类似，使用截断一元对最佳运动矢量候选的索引进行编码。在这种情况下，要编码的最大值是2(见图8)。在接下来的章节中，将提供关于运动矢量预测候选的推导过程的细节。

2.1.3.1推导amvp候选

图8概述了运动矢量预测候选的推导过程。

在运动矢量预测中，考虑两种类型的运动矢量候选：空域运动矢量候选和时域运动矢量候选。对于空域运动矢量候选推导，最终基于位于如图2所描绘的五个不同位置的每个pu的运动矢量来推导两个运动矢量候选。

对于时域运动矢量候选推导，从基于两个不同并置位置而推导的两个候选中选择一个运动矢量候选。在产生第一空时候选列表之后，移除列表中的重复运动矢量候选。如果潜在候选的数量大于二，则从列表中移除相关联的参考图片列表内其参考图片索引大于1的运动矢量候选。如果空时运动矢量候选的数量小于二，则将附加的零运动矢量候选添加到列表。

2.1.3.2构造空域运动矢量候选

在空域运动矢量候选的推导中，在从位于如图2所描绘的位置的pu推导的五个潜在候选当中考虑最多两个候选，那些位置与运动merge的位置相同。当前pu的左侧的推导顺序被定义为a0、a1、以及缩放a0、缩放a1。当前pu的上侧的推导顺序被定义为b0、b1、b2、缩放b0、缩放b1、缩放b2。因此对于每一侧，存在可以用作运动矢量候选的四种情况，其中两种情况不需要使用空域缩放，两种情况使用空域缩放。四种不同的情况概述如下：

·没有空域缩放

-(1)相同的参考图片列表，以及相同的参考图片索引(相同的poc)

-(2)不同的参考图片列表，但是相同的参考图片(相同的poc)

·空域缩放

-(3)相同的参考图片列表，但是不同的参考图片(不同的poc)

-(4)不同的参考图片列表，以及不同的参考图片(不同的poc)

首先检查非空域缩放情况，然后是空域缩放的情况。当不管参考图片列表如何poc在临近pu的参考图片与当前pu的参考图片之间都不同时，考虑空域缩放。如果左边候选的所有pu都不可用或者都是帧内编解码的，则允许针对上方运动矢量的缩放以帮助对左边和上方mv候选的并行推导。否则，针对上方运动矢量不允许空域缩放。

图9是空域运动矢量候选的运动矢量缩放的图示。

在空域缩放过程中，以与时域缩放类似的方式来缩放临近pu的运动矢量，如图9所描绘的。主要差异在于参考图片列表和当前pu的索引被给定作为输入；实际缩放过程与时域缩放的过程相同。

2.1.3.3时域运动矢量候选

除了参考图片索引推导之外，用于推导时域merge候选的所有过程与用于推导空域运动矢量候选的过程相同(参见图6)。参考图片索引被信令通知给解码器。

2.2jem中基于子cu的运动矢量预测方法

在具有qtbt(quadtreesplusbinarytrees，四叉树加二叉树)的jem中，每个cu对于每个预测方向最多可以有一个运动参数集。通过将大cu划分为子cu并且推导大cu的所有子cu的运动信息，在编码器中考虑两个子cu级别运动矢量预测方法。可选时域运动矢量预测(atmvp)方法允许每个cu从比并置参考图片中的当前cu小的多个块中提取多个运动信息集。在空时运动矢量预测(spatial-temporalmotionvectorprediction，stmvp)方法中，通过使用时域运动矢量预测量和空域临近运动矢量来递归地推导子cu的运动矢量。

为了保持对于子cu运动预测的更准确的运动场，当前禁用参考帧的运动压缩。

图10示出了针对cu的atmvp运动预测的示例。

2.2.1可选时域运动矢量预测

在可选时域运动矢量预测(atmvp)方法中，通过从比当前cu小的块提取多个运动信息(包括运动矢量和参考索引)集来修改运动矢量时域运动矢量预测(temporalmotionvectorprediction，tmvp)。子cu是正方形的n×n块(n默认设置为4)。atmvp分两个步骤来预测cu内的子cu的运动矢量。第一步骤是用所谓的时域矢量来识别参考图片中的对应块。参考图片被称为运动源图片。第二步骤是将当前cu划分为子cu，并从与每个子cu相对应的块中获得运动矢量以及每个子cu的参考索引。

在第一步骤中，参考图片和对应块由当前cu的空域临近块的运动信息确定。为了避免临近块的反复的扫描过程，使用当前cu的merge候选列表中的第一merge候选。第一可用运动矢量以及其相关联的参考索引被设置为时域矢量和运动源图片的索引。这样，在atmvp中，与tmvp相比，可以更准确地识别对应块，其中对应块(有时称为并置块)总是相对于当前cu处于右下或中心位置。

在第二步骤中，通过向当前cu的坐标添加时域矢量，通过运动源图片中的时域矢量来识别子cu的对应块。对于每个子cu，其对应块的运动信息(覆盖中心样点的最小运动网格)用于推导子cu的运动信息。在识别对应的n×n块的运动信息之后，以与hevc的tmvp相同的方式将其转换成当前子cu的运动矢量和参考索引，其中运动缩放和其它过程适用。例如，解码器检查是否满足低延迟条件(即，当前图片的所有参考图片的poc小于当前图片的poc)，并且可能使用运动矢量mvx(与参考图片列表x相对应的运动矢量)来预测每个子cu的运动矢量mvy(其中x等于0或1，并且y等于1-x)。

2.2.2空时运动矢量预测

在该方法中，按照光栅扫描顺序递归地推导子cu的运动矢量。图11示出了该概念。让我们考虑8×8的cu，它包含4个4×4的子cu：a、b、c和d。当前帧中的临近的4×4块被标记为a、b、c和d。

子cua的运动推导通过识别其两个空域邻居(neighbour)开始。第一邻居是子cua上方的n×n块(块c)。如果这个块c不可用或是帧内编解码的，则检查子cua上方的其它n×n块(从左到右，从块c开始)。第二邻居是子cua左边的块(块b)。如果块b不可用或是帧内编解码的，则检查子cua左边的其它块(从上到下，从块b开始)。从每个列表的临近块中获得的运动信息被缩放到给定列表的第一参考帧。接下来，通过遵循如hevc指定的tmvp推导的相同过程来推导子块a的时域运动矢量预测量(tmvp)。在位置d处的并置块的运动信息被相应地提取和缩放。最后，在检索和缩放运动信息之后，对每个参考列表单独地平均所有可用的运动矢量(多达3个)。平均运动矢量被分配为当前子cu的运动矢量。

图11示出了具有4个子块(a-d)及其临近块(a-d)的一个cu的示例。

2.2.3子cu运动预测模式信令

子cu模式被启用作为附加merge候选，并且不需要附加语法元素来信令通知这些模式。两个附加merge候选被添加到每个cu的merge候选列表以表示atmvp模式和stmvp模式。如果序列参数集指示启用了atmvp和stmvp，则使用多达七个merge候选。附加merge候选的编码逻辑与hm中的merge候选的编码逻辑相同，这意味着，对于p条带或b条带中的每个cu，针对两个附加merge候选还需要两次rd(ratedistortion，率失真)检查。

在jem中，merge索引的所有二进制数都由cabac进行上下文编解码。而在hevc中，只对第一个二进制数进行上下文编解码，对其余的二进制数进行上下文旁路编解码。

2.3vvc中的帧间预测方法

有几种用于帧间预测改进的新的编解码工具，诸如用于信令通知mvd的自适应运动矢量差分辨率(adaptivemotionvectordifferenceresolution，amvr)、仿射预测模式、三角形预测模式(tpm)、atmvp、广义双向预测(generalizedbi-prediction，gbi)、双向光流(bio)。

2.3.1vvc中的编解码块结构

在vvc中，采用四叉树/二叉树/多叉树(qt/bt/tt)结构将图片划分成正方形或矩形块。

在vvc中，除了qt/bt/tt之外，对于i帧，还可以采用单独的树(也称为双重编解码树(dualcodingtree))。对于单独的树，针对亮度分量和色度分量单独地信令通知编解码块结构。

2.3.2自适应运动矢量差分辨率

在hevc中，当在条带头中的use_integer_mv_flag等于0时，以四分之一(quarter)亮度样点为单位信令通知(pu的运动矢量和预测运动矢量之间的)运动矢量差(motionvectordifference，mvd)。在vvc中，引入了局部自适应运动矢量分辨率(lamvr)。在vvc中，可以以四分之一亮度样点、整数亮度样点或四亮度样点为单位(即1/4像素、1像素、4像素)对mvd进行编解码。以编解码单元(cu)级别控制mvd分辨率，并且对于具有至少一个非零mvd分量的每个cu，有条件地信令通知mvd分辨率标志。

对于具有至少一个非零mvd分量的cu，信令通知第一标志以指示在cu中是否使用四分之一亮度样点mv精度。当第一标志(等于1)指示未使用四分之一亮度样点mv精度时，信令通知另一个标志以指示使用整数亮度样点mv精度还是四亮度样点mv精度。

当cu的第一mvd分辨率标志为零或未针对cu进行编解码(意味着cu中的所有mvd均为零)时，对于cu使用四分之一亮度样点mv分辨率。当cu使用整数亮度样点mv精度或四亮度样点mv精度时，将cu的amvp候选列表中的mvp取整到对应的精度。在编码器中，cu级别的rd检查用于确定哪个mvd分辨率要用于cu。也就是说，对于每个mvd分辨率，执行三次cu级别的rd检查。为了加快编码器速度，在jem中应用以下编码方案：

·在对具有正常四分之一亮度样点mvd分辨率的cu的rd检查期间，存储当前cu(整数亮度样点准度)的运动信息。存储的运动信息(取整之后)被用作在针对具有整数亮度样点和4亮度样点mvd分辨率的相同cu的rd检查期间的进一步的小范围运动矢量细化的起点，使得耗时的运动估计过程不会重复三次。

·有条件地调用对具有4亮度样点mvd分辨率的cu的rd检查。对于cu，当整数亮度样点mvd分辨率的rd成本远大于四分之一亮度样点mvd分辨率的rd成本时，跳过对于cu的4亮度样点mvd分辨率的rd检查。

编码过程如图12所示。首先，测试1/4像素mv，计算rd成本并表示为rdcost0，然后测试整数mv，rd成本表示为rdcost1。如果rdcost1<th*rdcost0(其中th是正值)，则测试4像素mv；否则，跳过4像素mv。基本上，当检查整数或4像素mv时，对于1/4像素mv已知运动信息和rd成本等，可以将其重用(reuse)以加速整数或4像素mv的编码过程。

图12是以不同mv精度进行编码的流程图。

2.3.3仿射运动补偿预测

在hevc中，只有平移运动模型被应用于运动补偿预测(motioncompensationprediction，mcp)。而在现实世界中，存在多种运动，例如放大/缩小、旋转、透视运动和其他不规则运动。在vvc中，用4参数仿射模型和6参数仿射模型应用简化的仿射变换运动补偿预测。如图13a和图13b所示，块的仿射运动场由4参数仿射模型的两个控制点运动矢量(controlpointmotionvector，cpmv)和6参数仿射模型的3个cpmv来描述。

块的运动矢量场(mvf)由以下等式描述，分别为等式(1)的4参数仿射模型(其中4参数仿射模型被定义为变量a、b、e和f)和等式(2)的6参数仿射模型(其中4参数仿射模型被定义为变量a、b、c、d、e和f)：

其中，(mv^h0,mv^h0)是左上角控制点的运动矢量，并且(mv^h1,mv^h1)是右上角控制点的运动矢量，并且(mv^h2,mv^h2)是左下角控制点的运动矢量，所有3个运动矢量被称为控制点运动矢量(cpmv)，(x,y)表示当前块内代表点(representativepoint)相对于左上样点的坐标，并且(mv^h(x,y),mv^v(x,y))是针对位于(x,y)处的样点而推导出的运动矢量。cp运动矢量可以被信令通知(像在仿射amvp模式下那样)或者动态推导(像在仿射merge模式下那样)。w和h是当前块的宽度和高度。实际上，除法是通过右移和四舍五入操作来实施的。在vtm中，代表点被定义为子块的中心位置，例如，当子块的左上角相对于当前块内的左上样点的坐标是(xs,ys)时，代表点的坐标被定义为(xs+2,ys+2)。对于每个子块(即vtm中的4×4)，利用代表点来推导整个子块的运动矢量。

为了进一步简化运动补偿预测，应用了基于子块的仿射变换预测。为了推导每个m×n子块的运动矢量(在当前vvc中m和n都设置为4)，可以根据等式(1)和(2)计算每个子块的中心样点的运动矢量(如图14所示)，并取整到1/16分数精度。然后，针对1/16像素应用运动补偿插值滤波器，以生成具有推导出的运动矢量的每个子块的预测。仿射模式引入了1/16像素的插值滤波器。

图14示出了每个子块的仿射mvf的示例。

在mcp之后，每个子块的高精度运动矢量被取整并保存为与正常运动矢量相同的精度。

2.3.3.1仿射预测的信令

类似于平移运动模型，也有两种模式用于信令通知由于仿射预测而产生的边信息(sideinformation)。它们是affine_inter和affine_merge模式。

2.3.3.2af_inter模式的示例

对于宽度和高度都大于8的cu，可以应用af_inter模式。在比特流中信令通知cu级别的仿射标志，以指示是否使用af_inter模式。

在这种模式下，对于每个参考图片列表(列表0或列表1)，仿射amvp候选列表按以下顺序用三种类型的仿射运动预测值构造，其中每个候选包括当前块的估计cpmv。在编码器侧(诸如图17中的mv0mv1mv2)发现的最佳cpmv和估计的cpmv的差被信令通知。另外，进一步信令通知从其中推导估计的cpmv的仿射amvp候选的索引。

1)继承仿射运动预测值

检查顺序类似于hevcamvp列表构造中的空域mvp的顺序。首先，从{a1,a0}中的被仿射编解码并且具有与当前块中相同的参考图片的第一块推导的左边的继承仿射运动预测值。第二，从{b1,b0,b2}中的被仿射编解码并且具有与当前块中相同的参考图片的第一块推导上方的继承仿射运动预测值。图16中描绘了五个块a1、a0、b1、b0、b2。

一旦发现临近块是用仿射模式进行编解码的，覆盖临近块的编解码单元的cpmv被用于推导当前块的cpmv的预测值。例如，如果a1是用非仿射模式进行编解码的，并且a0是用4参数仿射模式进行编解码的，则左边的继承仿射mv预测值将从a0推导。在这种情况下，覆盖a0的cu的cpmv(如图18b所示，对于左上的cpmv表示为对于右上的cpmv表示为)用于推导当前块的估计cpmv(对于当前块的左上位置(坐标(x0,y0))、右上位置(坐标(x1,y1))和右下位置(坐标(x2,y2))表示为)。

2)构造的仿射运动预测值

如图17所示，构造的仿射运动预测值包括从具有相同参考图片的临近帧间编解码块推导的控制点运动矢量(cpmv)。如果当前仿射运动模型是4参数仿射，则cpmv的数量是2，否则如果当前仿射运动模型是6参数仿射，则cpmv的数量是3。左上的cpmv是由组{a,b,c}中被仿射编解码并且具有与当前块中相同的参考图片的第一块处的mv推导的。右上的cpmv是由组{d,e}中的被帧间编解码并且具有与当前块中相同的参考图片的第一第一块处的mv推导的。左下的cpmv是由组{f,g}中的被帧间编解码并且具有与当前块中相同的参考图片的第一块处的mv推导的。

-如果当前仿射运动模型是4参数仿射，则只有当和两者都被建立时，构造的仿射运动预测值才被插入候选列表，也就是说，和被用作当前块的左上(坐标(x0,y0))、右上(坐标(x1,y1))位置的估计cpmv。

-如果当前仿射运动模型是6参数仿射，则只有当和都被建立时，构造的仿射运动预测值才被插入候选列表，也就是说，和被用作当前块的左上(坐标(x0,y0))、右上(坐标(x1,y1))和右下(坐标(x2,y2))位置的估计cpmv。

当将构造的仿射运动预测值插入候选列表时，不应用修剪过程。

3)正常amvp运动预测值

在仿射运动预测值的数量达到最大值之前，以下条件适用。

1)通过将所有cpmv设置为等于(如果可用)，推导仿射运动预测值。

2)通过将所有cpmv设置为等于(如果可用)，推导仿射运动预测值。

3)通过将所有cpmv设置为等于(如果可用)，推导仿射运动预测值。

4)通过将所有cpmv设置为等于hevctmvp(如果可用)，推导仿射运动预测值。

5)通过将所有cpmv设置为零mv，推导仿射运动预测值。

注意，已经在构造的仿射运动预测值推导出

图15a示出了4参数仿射模型的示例。图15b示出了6参数仿射模型的示例。

图16示出了继承仿射候选的af_inter的mvp的示例。

图17示出了构造的仿射候选的af_inter的mvp的示例。在af_inter模式下，当使用4/6参数仿射模式时，需要2/3个控制点，并且因此需要为这些控制点编解码2/3个mvd，如图15a和图15b所示。提出了如下推导mv，即从mvd0中预测mvd1和mvd2。

其中，mvdi和mv1分别是左上像素(i＝0)、右上像素(i＝1)或左下像素(i＝2)的预测运动矢量、运动矢量差和运动矢量，如图15b所示。请注意，两个运动矢量(例如，mva(xa,ya)和mvb(xb,yb))的相加等于两个分量的分别总和，也就是说，newmv＝mva+mvb，并且newmv的两个分量分别设置为(xa+xb)和(ya+yb)。

2.3.3.3af_merge模式

当在af_merge模式下应用cu时，它从有效的临近重构块中获得用仿射模式编解码的第一块。并且候选块的选择顺序是从左、上、右上、左下到左上，如图18a所示(依次由a、b、c、d、e表示)。例如，如果临近的左下块如图18b中a0所示以仿射模式进行编解码，则提取包含块a的临近的cu/pu的左上角、右上角和左下角的控制点(cp)运动矢量mv0ⁿ、mv1ⁿ和mv2ⁿ。并且基于mv0ⁿ、mv1ⁿ和mv2ⁿ计算当前cu/pu上的左上角/右上/左下的运动矢量mv0^c、mv1^c和mv2^c(仅用于6参数仿射模型)。应该注意，如果当前块是仿射编解码的，则位于左上角的子块(例如，vtm的4×4块)存储mv0，位于右上角的子块可以存储mv1。如果当前块用6参数仿射模型进行编解码，则位于左下角的子块存储mv2；否则(在4参数仿射模型的情况下)，lb存储mv2'。其他子块存储用于mc的mv。

在根据等式(1)和(2)中的简化仿射运动模型推导出当前cu的cpmvmv0^c、mv1^c和mv2^c之后，生成当前cu的mvf。为了识别当前cu是否以af_merge模式进行编解码，当有至少一个临近块以仿射模式进行编解码时，在比特流中信令通知仿射标志。

图18a示出了在5个临近块的情况下的af_merge的示例候选。

图18b示出了cpmv预测值推导过程的示例。

提出了用以下步骤来构造仿射merge候选列表：

1)插入继承的仿射候选

继承仿射候选是指候选是从其有效临近仿射编解码块的仿射运动模型推导的。从临近块的仿射运动模型中推导出最多两个继承仿射候选，并将其插入候选列表。对于左边的预测值，扫描顺序为{a0,a1}；对于上方的预测值，扫描顺序是{b0,b1,b2}。

2)插入构造的仿射候选

如果仿射merge候选列表中的候选数量小于maxnumaffinecand(例如，5)，则将构造的仿射候选插入候选列表。构造仿射候选是指通过组合每个控制点的临近运动信息来构造候选。

a)控制点的运动信息首先从图19所示的指定的空域邻居和时域邻居中推导。cpk(k＝1,2,3,4)代表第k个控制点。a0、a1、a2、b0、b1、b2和b3是用于预测cpk(k＝1,2,3)的空域位置；t是用于预测cp4的时域位置。

cp1、cp2、cp3和cp4的坐标分别是(0,0)、(w,0)、(h,0)和(w,h)，其中w和h是当前块的宽度和高度。

图19示出了仿射merge模式的候选位置的示例。

根据以下优先级顺序获得每个控制点的运动信息：

-对于cp1，检查优先级为b2->b3->a2。如果b2可用，则使用b2。

否则，如果b2可用，则使用b3。如果b2和b3都不可用，则使用a2。

如果三个候选都不可用，则无法获得cp1的运动信息。

-对于cp2，检查优先级为b1->b0。

-对于cp3，检查优先级为a1->a0。

-对于cp4，使用t。

b)其次，使用控制点的组合来构造仿射merge候选。

i.构造6参数仿射候选需要三个控制点的运动信息。三个控制点可以从以下四个组合中选择一个：{cp1,cp2,cp4}、{cp1,cp2,cp3}、{cp2,cp3,cp4}、{cp1,cp3,cp4}。组合{cp1,cp2,cp3}、{cp2,cp3,cp4}、{cp1,cp3,cp4}将被转换为由左上、右上和左下控制点表示的6参数运动模型。

ii.构造4参数仿射候选需要两个控制点的运动信息。这两个控制点可以从两个组合({cp1,cp2}、{cp1,cp3})中选择一个。这两个组合将被转换为由左上和右上控制点表示的4参数运动模型。

iii.按以下顺序将构造的仿射候选的组合插入候选列表：

{cp1,cp2,cp3}、{cp1,cp2,cp4}、{cp1,cp3,cp4}、{cp2,cp3,cp4},{cp1,cp2}、{cp1,cp3}

i.对于每个组合，针对每个cp来检查列表x的参考索引，如果它们全部相同，则该组合对于列表x具有有效的cpmv。如果该组合对于列表0和列表1都没有有效的cpmv，则该组合被标记为无效。否则，它是有效的，并且将cpmv放入子块merge列表中。

3)用零运动矢量进行填充

如果仿射merge候选列表中的候选的数量小于5，则将具有零参考索引的零运动矢量插入到候选列表中，直到列表满为止。

更具体地，对于子块merge候选列表，有4参数merge候选，其中mv设置为(0,0)并且预测方向设置为来自列表0的单向预测(对于p条带)和双向预测(对于b条带)。

2.3.3.4仿射模型继承所需的存储

ctu内部所需的内存

为了进行如图18b所示的仿射模型继承，将附加信息存储在ctu内部的每个8×8块中。

1)两个参考列表有三个cpmv，需要2(2个参考列表)×2(x和y分量)×16(一个分量16比特)×3(3个cpmv)＝192比特(或软件设计中的24字节)。

2)cu的左上角的坐标，需要2×13＝26比特(或软件设计中的4字节)。

3)cu的宽度和高度，要求2×7＝14比特(或软件设计中的2字节)。

因此，针对每个8×8块总共需要存储232比特(或30字节)的边信息。我们应该注意到，在hevc中，需要存储在每个8×8块中的运动信息的总量是2(2个参考列表)×2(x和y分量)×16(一个分量16比特)×4(4个4×4块的4个mv)＝256比特(或软件设计中的32字节)。

因此，在软件设计中，运动信息所需的ctu内部的内存增加了232/256＝90％或30/32＝94％。这极大地增加了高速缓冲存储器的需求。

线缓冲器所需的内存

对于在ctu行边界处的块，提出减少仿射继承所需的线缓冲内存。图20示出了当当前cu处于ctu行边界时的示例。假设选择从覆盖(xle1,yle1)的4×4块继承仿射模型，然后找到覆盖(xle1,yle1)的临近cu。找到临近cu的左下4×4块和右下块的mv(在图中标记为vle0和vle1)。当前块的cpmv计算如下：

通过使用4参数模型以及通过下式来推导出当前cu的控制点矢量和

并且如果当前cu使用6参数仿射运动模型，则通过下式推导出控制点矢量

因为不需要当前ctu行之外的临近块的cpmv，所以不需要将cpmv存储在线缓冲器中。此外，高度和左上角坐标的y分量不需要存储在线缓冲器中。然而，宽度和左上角坐标的x分量仍然需要存储在线缓冲器中。

图20示出了在ctu行处的仿射继承的示例。

对于仿射继承，提出对于仿射继承而存储仿射参数a、b、c和d，而不是存储cpmv。对于历史运动矢量预测(hmvp)，提出可以存储仿射参数a、b、c和d，以生成用于仿射merge或仿射帧间编解码的历史运动矢量预测(hmvp)。用于存储基于历史的仿射模型的缓冲器/表/列表被称为仿射hmvp缓冲器/表/列表。

3.由本文描述的实施例和技术解决的问题的示例

在当前的设计中，仿射继承所需的额外存储仍然是一个大问题。

此外，在跨越ctu行的仿射继承的当前设计中，关于与一个位置相关联但被假设与另一个位置相关联的mv，存在未对准(misalignment)。

如图20所示，通过使用4参数模型以及通过下式来推导出当前cu的控制点矢量和

并且如果当前cu使用6参数仿射运动模型，则通过下式推导出控制点矢量

在上述等式中，(xle1,yle1)和(xle0,yle0)分别用作以仿射模式的编解码单元的右下和左下样点坐标的代表位置。

假设将vle0分配给临近cu的左下位置(表示为(xe0,y0))。然而，将vle0分配给临近cu的左下子块的中心位置。

另外，需要知道仿射编解码的cu的坐标以及cu的宽度，因为需要识别覆盖cu的左下和右下样点的两个代表子块。在以上示例中，覆盖(xle0,yle0)的子块被称为第一代表子块，并且覆盖(xle1,yle1)的子块被称为第二代表子块。因此，需要附加的线缓冲器来存储cu宽度、坐标等。

4.实施例和技术的示例

以下项目的详细列表应被视为解释一般概念的示例。这些实施例不应被狭义地解释。此外，这些发明可以以任何方式进行组合。

在以下讨论中，satshift(x,n)被定义为

shift(x,n)被定义为shift(x,n)＝(x+offset0)>>n。

在一个示例中，offset0和/或offset1被设置为(1<<n)>>1或(1<<(n-1))。在另一示例中，offset0和/或offset1被设置为0。

clip3(min,max,x)被定义为

减少仿射继承所需的ctu内存储。

1.用于对后续块进行仿射继承的块的第一组cpmv(分别位于代表点(x^f0,y^f0)、(x^f1,y^f1)和(x^f2,y^f2)，表示为mv^f0、mv^f1和mv^f2)可以不同于用于推导每个子块的mv的块的第二组cpmv(分别位于代表点(x^s0,y^s0)、(x^s1,y^s1)和(x^s2,y^s2)，表示为mv^s0、mv^s1和mv^s2)或从编码器信令通知给解码器的第三组cpmv(分别位于代表点(x^t0,y^t0)、(x^t1,y^t1)和(x^t2,y^t2)，表示为mv^t0、mv^t1和mv^t2)。

a)在一个示例中，第二组cpmv与第三组cpmv相同。

b)在一个示例中，第一组cpmv是从第二组或第三组cpmv推导出的。

c)在一个示例中，在对块进行编解码/解码之后存储第一组cpmv。

d)在一个示例中，代表点的坐标(诸如(x^fi,y^fi)、(x^si,y^si)、(x^ti,y^ti))被定义为相对于在仿射运动补偿过程中使用的一个子块的坐标。

2.第一组中的两个cpmv的代表点之间的相对偏移可能不取决于块的宽度或高度。

a)在一个示例中，对分别位于代表点(x^f0,y^f0)、(x^f1,y^f1)和(x^f2,y^f2)的块b的cpmv(表示为mv^f0、mv^f1和mv^f2)进行存储。在另一示例中，对分别位于位置(x^f0,y^f0)和(x^f1,y^f1)的块b的cpmv(表示为mv^f0和mv^f1)进行存储。(x^f0,y^f0)、(x^f1,y^f1)和(x^f2,y^f2)可以在块b内部，或者它们在其外部。

b)在一个示例中，y^f1＝y^f0，x^f1＝x^f0+pw。

c)在一个示例中，x^f1＝x^f0，y^f1＝y^f0+ph。

d)在一个示例中，y^f2＝y^f0，x^f2＝x^f0+pw。

e)在一个示例中，x^f2＝x^f0，y^f2＝y^f0+ph。

f)在一个示例中，y^f2＝y^f1，x^f2＝x^f1+pw。

g)在一个示例中，x^f2＝x^f1，y^f2＝y^f1+ph。

h)pw和ph是整数。

i.在一个示例中，pw＝2^m。例如，pw可以等于4、8、16、32、64或128。

ii.在一个示例中，pw＝-2^m。例如，pw可以等于-4、-8、-16、-32、-64或-128。

iii.在一个示例中，ph＝2^m。例如，ph可以等于4、8、16、32、64或128。

iv.在一个示例中，ph＝-2^m。例如，ph可以等于-4、-8、-16、-32、-64或-128。

v.不存储pw和ph。

1.在一个示例中，它们是固定的。

2.在另一示例中，它们在vps/sps/pps/条带头/片组头/片/ctu中被信令通知。

3.在另一示例中，它们在不同的标准等级(profile)/级别/层级中可能不同。

4.在另一示例中，它们可以取决于条带/图片的最大cu尺寸或/和最小cu尺寸。

i)在一个示例中，mv^f0＝mv^s0，(x^f0,y^f0)＝(x^s0,y^s0)，或mv^f0＝mv^t0，(x^f0,y^f0)＝(x^t0,y^t0)；

j)在一个示例中，mv^f0＝mv^s1，(x^f0,y^f0)＝(x^s1,y^s1)，或mv^f0＝mv^t1，(x^f0,y^f0)＝(x^t1,y^t1)；

k)在一个示例中，mv^f0＝mv^s2，(x^f0,y^f0)＝(x^s2,y^s2)，或mv^f0＝mv^t2，(x^f0,y^f0)＝(x^t2,y^t2)；

l)在一个示例中，以(x^f0,y^f0)、(x^f1,y^f1)和(x^f2,y^f2)作为输入坐标，通过等式(1)从mv^s0和mv^s1中推导出mv^f0、mv^f1和mv^f2。

m)在一个示例中，以(x^f0,y^f0)、(x^f1,y^f1)和(x^f2,y^f2)作为输入坐标，通过等式(2)从mv^s0、mv^s1和mv^s2中推导出mv^f0、mv^f1和mv^f2。

n)在一个示例中，以(x^f0,y^f0)、(x^f1,y^f1)和(x^f2,y^f2)作为输入坐标，通过等式(1)从mv^t0和mv^t1中推导出mv^f0、mv^f1和mv^f2。

o)在一个示例中，以(x^f0,y^f0)、(x^f1,y^f1)和(x^f2,y^f2)作为输入坐标，通过等式(2)从mv^t0、mv^t1和mv^t2中推导出mv^f0、mv^f1和mv^f2。

p)在一个示例中，仅当用6参数仿射模型对当前块进行编解码时，才计算mv^f2。

i.可替换地，不管是用6参数仿射模型还是用6参数仿射模型对当前块进行编解码，都计算mv^f2。

3.存储cpmv之间的差，而不是存储cpmv本身。

a)在一个示例中，存储d1＝mv^f1-mv^f0；

b)在一个示例中，存储d2＝mv^f2-mv^f0；

c)在一个示例中，d1和d2都被存储；

i.在一个示例中，仅当用6参数仿射模型对当前块进行编解码时，才存储d2。

ii.可替换地，不管是用6参数仿射模型还是用6参数仿射模型对当前块进行编解码，都存储d2。

d)在一个示例中，cpmv和cpmv之间的差可以存储在一起。例如，存储mv^f0、d1和d2。

4.可以在存储之前对所存储的cpmv或cpmv之间的差进行移位。假设mv是要存储的cpmv或cpmv之间的差，则

a)例如，mv’x＝satshift(mvx,n)，并且mv’y＝satshift(mvy,n)。存储mv’＝(mv’x,mv’y)而不是mv。

b)例如，mv’x＝shift(mvx,n)，并且mv’y＝shift(mvy,n)。存储mv’＝(mv’x,mv’y)而不是mv。

c)例如，n是整数，诸如2或4；

i.在一个示例中，n取决于运动精度。

ii.当存储cpmv或存储cpmv之间的差时，n可能不同。

d)在一个示例中，在用于仿射继承之前，存储的mv’首先左移。

5.可以在存储之前对要存储的cpmv或cpmv之间的差进行限幅。假设mv是要存储的cpmv或cpmv之间的差，则

a)mv’x＝clip3(minv,maxv,mvx)，并且mv’y＝clip3(minv,maxv,mvy)。存储mv’＝(mv’x,mv’y)而不是mv。

b)在一个示例中，用k个比特来存储mv，则minv＝-2^k-1，maxv＝2^k-1-1。例如，当k＝8时，minv＝-128，maxv＝127。

i.k可能取决于mv是cpmv还是cpmv之间的差而不同。

c)在一个示例中，首先对所存储的mv’进行移位，然后在它用于仿射继承之前对其进行限幅。

6.存储在表示为badj的相邻的临近基本块中的mv被用于推导当前块的仿射继承mv。

a)图21示出了存储在相邻的临近基本块中的mv的示例：l、a、lb、ar和al。在vtm中，基本块是4×4块。

b)存储在相邻的临近基本块badj中的mv被表示为mva＝(mv^ha,mv^va)，则将表示为(mv^h(x,y),mv^v(x,y))的、位于位置(x,y)的当前块的仿射继承mv被推导为

或者

其中，(x0,y0)是mva的代表点。

i.(x0,y0)可以是基本块badj内部的任何位置。图22示出了一个示例。(x0,y0)可以是pij中的任何一个(i＝0…wb-1，j＝0…hb-1)，其中wb和hb是基本块的宽度和高度。在该示例中，wb＝hb＝4。在一个示例中，假设badj中左上角样点的坐标是(xtl,ytl)，则(x0,y0)可以是(xtl+i,ytl+j)中的任何一个(i＝0…wb-1，j＝0…hb-1)。

1.例如，(x0,y0)可以是图22中的p22。

2.假设当前块的左上样点的坐标是(xpos00,ypos00)，当前块的右上样点的坐标是(xpos10,ypos00)，当前块的右上样点的坐标是(xpos00,ypos01)，则在图21中：

a.相邻的临近基本块l的(x0,y0)为(xpos00-2,ypos01-1)；

b.相邻的临近基本块lb的(x0,y0)为(xpos00-2,ypos01+3)；

c.相邻的临近基本块a的(x0,y0)为(xpos10-1,ypos00-2)；

d.相邻的临近基本块ar的(x0,y0)为(xpos10+3,ypos00-2)；

e.相邻的临近基本块al的(x0,y0)为(xpos00-2,ypos00-2)。

ii.(x0,y0)可以是基本块badj的外部或边界处的任何位置。

1.例如，假设badj中左上角样点的坐标是(xtl,ytl)，则(x0,y0)可以是(xtl+i,ytl+j)中的任何一个，其中i可以是-1、0、wb-1或wb；j可以是-1、0、hb-1或hb。

iii.假设badj中左上角样点的坐标是(xtl,ytl)，并且(x0,y0)＝(xtl+i,ytl+j)。

1.i和j可以取决于badj的位置。例如，如果badj是图21中的块l，则i＝0，j＝hb-1，但是如果badj是图21中的块a，则i＝wb-1，j＝0。

2.i和j可以取决于当前块的宽度和高度。

3.i和j可以在vps/sps/pps/条带头/片组头/片/ctu/cu中被信令通知。

4.在另一示例中，i和j在不同的标准等级/级别/层级中可能不同。

iv.位置(x,y)可以在当前块的子块中，则取决于mva来继承子块的mv。

v.位置(x,y)可以是当前块的一个角，则取决于mva来继承当前块的cpmv。

1.在一个示例中，继承的cpmv可以用于预测仿射帧间编解码的当前块的所信令通知的cpmv。

2.在一个示例中，继承的cpmv可以直接用作仿射merge编解码的当前块的cpmv。

vi.在一个示例中，如果当前块使用4参数仿射模型，则应用等式(3)。如果当前块使用6参数仿射模型，则应用等式(4)。

vii.可替换地，不管当前块使用4参数仿射模型还是6参数仿射模型，都应用等式(4)。

c)等式(3)和等式(4)中的a、b、c和d计算如下

i.在一个示例中，a、b、c和d是从覆盖相邻的临近基本块badj的cu的第二组或第三组中存储的cpmv中推导出的，如项目符号1中所声明的。假设覆盖相邻的临近基本块badj的cu是块z，则mvt0＝(mv^ht0,mv^vt0)，mvt1＝(mv^ht1,mv^vt1)，mvt2＝(mv^ht2,mv^vt2)是块z的第二组或第三组中的cpmv。wt和ht是块z的宽度和高度。

ii.在一个示例中，a、b、c和d是从覆盖相邻的临近基本块badj的cu的第一组中存储的cpmv中推导出的，如项目符号1中所声明的。假设覆盖相邻的临近基本块badj的cu是块z，则mvt0＝(mv^ht0,mv^vt0)、mvt1＝(mv^ht1,mv^vt1)和mvt2＝(mv^ht2,mv^vt2)是块z的第一组中的cpmv。wt和ht是项目符号2中声明的pw和ph。

iii.在一个示例中，直接从存储装置中提取mv^ht1-mv^ht0、mv^vt1-mv^vt0、mv^ht2-mv^ht0、mv^vt2-mv^vt0，如项目符号3中所声明的。

图21示出了存储在相邻的临近基本块中的mv的示例。

图22示出了4×4基本块中的位置。

减少仿射继承所需的线缓冲存储。

7.存储在与当前块相邻地临近的第一基本块中的第一mv和存储在与第一基本块具有已知偏移的第二基本块中的第二mv被用于推导当前块的cpmv。

a)在一个示例中，存储在第一相邻的临近基本块中的mv被表示为mva＝(mv^ha,mv^va)，然后通过等式(3)推导出表示为(mv^h(x,y),mv^v(x,y))的、位于位置(x,y)的当前块的仿射继承mv，并且通过等式(5)推导出a、b。

i.在一个示例中，等式(5)中的mvt0和mvt1分别被设置为等于存储在第一基本块中的mv和存储在第二基本块中的mv。wt被设置为两个基本块之间的水平偏移。

b)可替换地，a、b可以推导为

其中，ht被设置为两个基本块之间的水平偏移。

c)例如，wt和ht必须是2ⁿ的形式，诸如4、8、16……

d)假设(xlt0,ylt0)和(xlt1,ylt1)分别表示第一基本块和第二基本块的左上角样点的坐标，则

i.第一基本块和第二基本块之间的水平偏移被定义为xlt1-xlt0；

ii.第一基本块和第二基本块之间的垂直偏移被定义为ylt1-ylt0；

e)在一个示例中，当第一基本块在当前块(诸如图23中的块a、al和ar)的上方时，ylt1-ylt0必须等于0。

f)在一个示例中，当第一基本块在当前块的左边时(诸如图23中的块l、lb和al)，xlt1-xlt0必须等于0。

g)如何选择第二基本块取决于第一块的位置。

i.例如，如果xlt0％m不等于0，则ylt1＝ylt0且xlt1＝xlt0–offset，其中offset是诸如4、8或16的正数，例如，m＝8且offset＝4。

ii.例如，如果xlt0％m等于0，则ylt1＝ylt0且ylt1＝ylt0+offset，其中offset是诸如4、8或16的正数，例如，m＝8且offset＝4。iii.例如，如果xlt0％m等于0，则ylt1＝ylt0且xlt1＝xlt0+offset，其中offset是诸如4、8或16的正数，例如，m＝8且offset＝4。iv.例如，如果xlt0％m不等于0，则xlt1＝xlt0且ylt1＝ylt0–offset，其中offset是诸如4、8或16的正数，例如，m＝8且offset＝4。

v.例如，如果xlt0％m等于0，则xlt1＝xlt0且ylt1＝ylt0+offset，其中offset是诸如4、8或16的正数，例如，m＝8且offset＝4。

vi.图23示出了成对的第一基本块和第二基本块的示例：al和al’、a和a’、ar和ar’、l和l’、lb和lb’。

vii.例如，如果第一块在当前块的左上方(诸如图23中的块al)，则ylt1＝ylt0且xlt1＝xlt0+offset，其中offset是诸如4、8或16的正数。

viii.例如，如果第一块在当前块的右上方(诸如图23中的块ar)，则ylt1＝ylt0且xlt1＝xlt0-offset，其中offset是诸如4、8或16的正数。

ix.例如，如果第一块在当前块的左上方(诸如图23中的块al)，并且当前块的左边界也是ctu的左边界，则ylt1＝ylt0且xlt1＝xlt0+offset，其中offset是诸如4、8或16的正数。

x.例如，如果第一块在当前块的右上方(诸如图23中的块ar)，并且当前块的右边界也是ctu的右边界，则ylt1＝ylt0且xlt1＝xlt0-offset，其中offset是诸如4、8或16的正数。

xi.例如，如果xlt0–offset<xlt_al，其中xlt_al是当前块的左上方的临近基本块(诸如图23中的块al)的左上坐标，则ylt1＝ylt0且xlt1＝xlt0+offset，其中offset是诸如4、8或16的正数。

xii.例如，如果xlt0+offset>xrt_ar，其中xrt_ar是当前块的右上方的临近基本块(诸如图23中的块ar)的右上坐标，则ylt1＝ylt0且xlt1＝xlt0-offset，其中offset是诸如4、8或16的正数。

xiii.例如，如果xlt0–offset<xlt_al，其中xlt_al是当前块的左上方的临近基本块(诸如图23中的块al)的左上坐标，并且当前块的左边界也是ctu的左边界，则ylt1＝ylt0且xlt1＝xlt0+offset，其中offset是诸如4、8或16的正数。

xiv.例如，如果xlt0+offset>xrt_ar，其中xrt_ar是当前块的右上方的临近基本块(诸如图23中的块ar)的右上坐标，并且当前块的右边界也是ctu的右边界，则ylt1＝ylt0且xlt1＝xlt0-offset，其中offset是诸如4、8或16的正数。

h)第二基本块可以从若干个候选基本块中选择。

i.例如，m个候选基本块的左上位置被表示为(xc0,yc0)、(xc1yc1)、……、(xcm-1,ycm-1)。按顺序检查m个候选基本块，以找到一个候选基本块，该候选基本块是帧间编解码的并且具有参考与第一基本块的mv所参考的参考图片相同的mv。所找到的候选被选为第二基本块。

1.在一个示例中，m＝2。yc0＝ylt0，xc0＝xlt0–offset，yc1＝ylt0，xc1＝xlt0–offset，其中offset是诸如4、8或16的正数。

2.在一个示例中，m＝2。xc0＝xlt0，yc0＝ylt0–offset，xc1＝xlt0,yc1＝ylt0–offset，其中offset是诸如4、8或16的正数。

3.在一个示例中，m＝2。yc0＝ylt0,xc0＝xlt0–offset,yc1＝ylt0,xc1＝xlt0+offset，其中offset是诸如4、8或16的正数。

4.在一个示例中，m＝2。xc0＝xlt0，yc0＝ylt0–offset，xc1＝xlt0，yc1＝ylt0+offset，其中offset是诸如4、8或16的正数。

ii.是否和/或如何从候选基本块中选择第二基本块可以取决于第一基本块的位置和/或当前块的位置。

1.例如，m＝1。如果第一块在当前块的左上方(诸如图23中的块al)，则yc0＝ylt0，xc0＝xlt0+offset，其中offset是诸如4、8或16的正数。