减少仿射继承所需的线缓冲器存储的制作方法

文档序号:26013061发布日期:2021-07-23 21:34阅读:来源:国知局

技术特征:

1.一种视频处理方法,包括:

为视频的当前块和所述当前块的比特流表示之间的转换,基于第一存储运动矢量(mv)和不同于第一存储mv的第二存储mv,推导所述当前块的仿射继承运动矢量(mv),其中,第一存储mv被存储在与所述当前块临近的第一基本块中,并且第二存储mv被存储在与第一基本块有一偏移的第二基本块中;以及

通过使用所述当前块的仿射继承mv来执行所述转换。

2.根据权利要求1所述的方法,其中,与所述当前块临近的第一基本块包括以下中的至少一个:左边的临近基本块(l)、上方的临近基本块(a)、左下的临近基本块(lb)、右上的临近基本块(ar、ar’)和左上的临近基本块(al、al’、al1、al”)。

3.根据权利要求1或2所述的方法,其中,基于具有参数a和b的仿射模型,通过使用存储在点(x0,y0)处第一基本块中的第一存储mv(mva=(mvha,mvva))或与在点(x0,y0)处第一基本块的子块相关联的第一存储mv(mva=(mvha,mvva)),推导所述当前块中在位置(x,y)处的仿射继承mv((mvh(x,y),mvv(x,y)),所述运动矢量((mvh(x,y),mvv(x,y))通过下式被推导出:

4.根据权利要求3所述的方法,其中,所述参数a和b被计算为:

其中,mvt0=(mvht0,mvvt0)和mvt1=(mvht1,mvvt1)分别被设置为等于存储在第一基本块中的mv和存储在第二基本块中的mv,并且wt是第一基本块和第二基本块之间的水平偏移。

5.根据权利要求3所述的方法,其中,所述参数a和b被计算为:

其中,mvt0=(mvht0,mvvt0)和mvt1=(mvht1,mvvt1)分别被设置为等于存储在第一基本块中的mv和存储在第二基本块中的mv,并且ht是第一基本块和第二基本块之间的垂直偏移。

6.根据权利要求4或5所述的方法,其中,wt=2n且ht=2m,其中n和m是整数。

7.根据权利要求1-6中任一项所述的方法,其中,当第一基本块和第二基本块的左上样点的坐标分别为(xlt0,ylt0)和(xlt1,ylt1)时,第一基本块和第二基本块之间的水平偏移被定义为xlt1-xlt0,和/或第一基本块和第二基本块之间的垂直偏移被定义为ylt1-ylt0。

8.根据权利要求7所述的方法,其中,当第一基本块在所述当前块的上方时,所述垂直偏移为0。

9.根据权利要求7所述的方法,其中,当第一基本块在所述当前块的左边时,所述水平偏移为0。

10.根据权利要求1-9中任一项所述的方法,其中,第二基本块是取决于第一基本块的位置而选择的。

11.根据权利要求10所述的方法,其中,第一基本块和第二基本块的左上样点的坐标分别为(xlt0,ylt0)和(xlt1,ylt1),并且

其中,当xlt0%m不等于0时,m是整数,ylt1=ylt0且xlt1=xlt0–offset,或xlt1=xlt0且ylt1=ylt0–offset,其中offset是正数。

12.根据权利要求10所述的方法,其中,第一基本块和第二基本块的左上样点的坐标分别为(xlt0,ylt0)和(xlt1,ylt1),并且

其中,当xlt0%m等于0时,m是整数,ylt1=ylt0且xlt1=xlt0+offset,或xlt1=xlt0且ylt1=ylt0+offset,其中offset是正数。

13.根据权利要求10所述的方法,其中,第一基本块和第二基本块的左上样点的坐标分别为(xlt0,ylt0)和(xlt1,ylt1),并且

当第一块在所述当前块的左上方时,或者

当第一块在所述当前块的左上方,并且所述当前块的左边界也是ctu的左边界时,或者

当xlt0–offset<xlt_al,其中xlt_al是所述当前块左上方的临近基本块的左上坐标时,或者

当xlt0–offset<xlt_al,其中xlt_al是所述当前块左上方的临近基本块的左上坐标,并且所述当前块的左边界也是ctu的左边界时,

ylt1=ylt0且xlt1=xlt0+offset,其中offset是正数。

14.根据权利要求10所述的方法,其中,第一基本块和第二基本块的左上样点的坐标分别为(xlt0,ylt0)和(xlt1,ylt1),并且

当第一块在所述当前块的右上方时,或者

当第一块在所述当前块的右上方,并且所述当前块的右边界也是ctu的右边界时,或者

当xlt0+offset>xrt_ar,其中xlt_ar是所述当前块右上的临近基本块的右上角坐标时,或者

当xlt0+offset>xrt_ar,其中xlt_ar是所述当前块右上的临近基本块的右上坐标,并且所述当前块的右边界也是ctu的右边界时,

ylt1=ylt0且xlt1=xlt0-offset,其中offset是正数。

15.根据权利要求1-9中任一项所述的方法,其中,第二基本块是从m个候选基本块中选择的,m是整数。

16.根据权利要求15所述的方法,其中,通过按顺序检查所述m个候选基本块以便将所述m个候选基本块中的一个确定为第二基本块来选择第二基本块,所述m个候选基本块中的一个是被帧间编解码的并且具有参考与第一基本块的mv所参考的相同的参考图片的mv。

17.根据权利要求16所述的方法,其中,第一基本块的左上样点的坐标是(xlt0,ylt0),并且所述m个候选基本块的左上位置的坐标分别是(xc0,yc0)、(xc1yc1)、……、(xcm-1,ycm-1),并且

当m为2时,

yc0=ylt0,xc0=xlt0–offset,且yc1=ylt0,xc1=xlt0+offset,或者

xc0=xlt0,yc0=ylt0–offset,且xc1=xlt0,yc1=ylt0+offset,或者

yc0=ylt0,xc0=xlt0–offset,yc1=ylt0,xc1=xlt0+offset,或者

xc0=xlt0,yc0=ylt0–offset,xc1=xlt0,yc1=ylt0+offset,其中offset是正数。

18.根据权利要求15所述的方法,其中,是否和/或如何从所述m个候选基本块中选择第二基本块取决于第一基本块的位置和/或所述当前块的位置。

19.根据权利要求18所述的方法,其中,第一基本块的左上样点的坐标是(xlt0,ylt0),并且所述m个候选基本块的左上位置的坐标分别是(xc0,yc0)、(xc1yc1)、……、(xcm-1,ycm-1),并且

当m为1时,

如果第一基本块在所述当前块的左上方,则yc0=ylt0,xc0=xlt0+offset,或者

如果第一块在所述当前块的右上方,则yc0=ylt0,xc0=xlt0-offset,或者

如果第一块在所述当前块的左上方,并且所述当前块的左边界也是ctu的左边界,则yc0=ylt0,xc0=xlt0+offset,或者

如果第一块在所述当前块的右上方,并且所述当前块的右边界也是ctu的右边界,则yc0=ylt0,xc0=xlt0-offset,或者

如果xlt0–offset<xlt_al,其中xlt_al是所述当前块左上方的临近基本块的左上坐标,则yc0=ylt0,xc0=xlt0+offset,或者

如果xlt0+offset>xrt_ar,其中xrt_ar是所述当前块右上方的临近基本块的右上坐标,则yc0=ylt0,xc0=xlt0-offset,或者

如果xlt0–offset<xlt_al,其中xlt_al是所述当前块左上的临近基本块的左上坐标,并且所述当前块的左边界也是ctu的左边界,则yc0=ylt0,xc0=xlt0+offset,或者

如果xlt0+offset>xrt_ar,其中xrt_ar是所述当前块右上的临近基本块的右上坐标,并且所述当前块的右边界也是ctu的右边界,则yc0=ylt0,xc0=xlt0-offset,

其中offset是正数。

20.根据权利要求18所述的方法,其中,第一基本块的左上样点的坐标是(xlt0,ylt0),并且所述m个候选基本块的左上位置的坐标分别是(xc0,yc0)、(xc1yc1)、……、(xcm-1,ycm-1),并且

当m为2时,

如果第一基本块在所述当前块的左上方,则yc0=ylt0,xc0=xlt0–offset,yc1=ylt0,xc1=xlt0+offset,或者

如果第一基本块在所述当前块的右上方,则yc0=ylt0,xc0=xlt0–offset,yc1=ylt0,xc1=xlt0+offset,或者

如果第一基本块在所述当前块的左上方,并且所述当前块的左边界也是ctu的左边界,则yc0=ylt0,xc0=xlt0–offset,yc1=ylt0,xc1=xlt0+offset,或者

如果第一基本块在所述当前块的右上方,并且所述当前块的右边界也是ctu的右边界,则yc0=ylt0,xc0=xlt0–offset,yc1=ylt0,xc1=xlt0+offset,或者

如果xlt0–offset<xlt_al,其中xlt_al是所述当前块左上方的临近基本块的左上坐标,则yc0=ylt0,xc0=xlt0–offset,yc1=ylt0,xc1=xlt0+offset,或者

如果xlt0+offset>xrt_ar,其中xrt_ar是所述当前块右上方的临近基本块的右上坐标,则yc0=ylt0,xc0=xlt0–offset,yc1=ylt0,xc1=xlt0+offset,或者

如果xlt0–offset<xlt_al,其中xlt_al是所述当前块左上方的临近基本块的左上坐标,并且所述当前块的左边界也是ctu的左边界,则yc0=ylt0,xc0=xlt0–offset,yc1=ylt0,xc1=xlt0+offset,或者

如果xlt0+offset>xrt_ar,其中xrt_ar是所述当前块右上方的临近基本块的右上坐标,并且所述当前块的右边界也是ctu的右边界,则yc0=ylt0,xc0=xlt0–offset,yc1=ylt0,xc1=xlt0+offset,

其中offset是正数。

21.根据权利要求1-20中任一项所述的方法,其中,当不能找到帧间编解码的并且具有参考与第一基本块的mv所参考的相同的参考图片mv的第二基本块时,不能从第一基本块中推导出所述当前块的仿射继承运动矢量(mv)。

22.根据权利要求1-21中任一项所述的方法,其中,是否和/或如何推导所述当前块的仿射继承运动矢量(mv)取决于所述当前块的位置。

23.根据权利要求1-22中任一项所述的方法,其中,根据所述当前块的上方临近块是否在所述当前块所在的编解码树单元(ctu)或ctu行中,以不同的方式从所述当前块的上方临近块继承所述当前块的仿射模型。

24.根据权利要求1-23中任一项所述的方法,其中,当从不位于所述当前块所在的ctu或ctu行中的、所述当前块的上方或左边临近块继承所述当前块的仿射模型时,基于第一存储运动矢量(mv)和第二存储mv,推导所述当前块的仿射继承运动矢量(mv)。

25.根据权利要求1-9中任一项所述的方法,其中,是否和/或如何从多个候选中或根据预定义偏移选择第二基本块取决于第一块的位置和/或所述当前块的位置,并且其中,第二基本块是第二临近基本块。

26.根据权利要求25所述的方法,其中,所述当前块的仿射模型是从与所述当前块临近的第一基本块继承的,所述第一基本块是被仿射编解码的并且包括以下中的至少一个:上方的临近基本块(a)、右上的临近基本块(ar)和左上的临近基本块(al),并且其中,第一基本块的左上位置是(xbb,ybb)。

27.根据权利要求26所述的方法,其中,当xbb%8=0时,通过以下步骤选择第二临近基本块:

检查第一基本块的右边的基本块是否是被仿射编解码的并且是否具有给定的参考列表的与第一基本块相同的参考索引;并且

如果是,则选择第一基本块的右边的基本块作为第二临近基本块,或者

否则,选择第一基本块的左边的基本块作为第二临近基本块。

28.根据权利要求26所述的方法,其中,当xbb%8!=0时,通过以下步骤选择第二临近基本块:

检查第一基本块的左边的基本块是否是被仿射编解码的并且是否具有给定的参考列表的与第一基本块相同的参考索引;并且

如果是,则选择第一基本块的左边的块作为第二临近基本块,或者

否则,选择第一基本块的右边的块作为第二临近基本块。

29.根据权利要求26所述的方法,其中,当第一基本块是al并且所述当前块的左边界是ctu的左边界时,通过以下步骤选择第二临近基本块:

仅检查第一基本块的右边的基本块是否是被仿射编解码的并且是否具有给定的参考列表的与第一基本块相同的参考索引;并且

如果是,则选择第一基本块的右边的基本块作为第二临近基本块,或者

否则,不能从第一基本块继承所述当前块的仿射模型。

30.根据权利要求26所述的方法,其中,当xbb%s=0时,通过以下步骤选择第二临近基本块:

检查第一基本块的右边的基本块是否是被仿射编解码的并且是否具有给定的参考列表的与第一基本块相同的参考索引;并且

如果是,则选择第一基本块的右边的基本块作为第二临近基本块,或者

否则,选择第一基本块的左边的基本块作为第二临近基本块。

31.根据权利要求26所述的方法,其中,当xbb%s!=0时,通过以下步骤选择第二临近基本块:

检查第一基本块的左边的基本块是否是被仿射编解码的以及是否具有给定的参考列表的与第一基本块相同的参考索引;并且

如果是,则选择第一基本块的左边的块作为第二临近基本块,或者

否则,选择第一基本块的右边的块为第二临近基本块。

32.根据权利要求30或31所述的方法,其中,s等于8。

33.根据权利要求1-32中任一项所述的方法,其中,第一基本块和第二基本块之间的偏移是正整数。

34.根据权利要求33所述的方法,其中,所述偏移是2k的形式,k是整数,或者取决于最小允许的cu宽度和/或高度,或者取决于基本块的宽度和/或高度,或者取决于适用仿射编解码的cu的最小允许的宽度和/或高度,或者从编码器信令通知给解码器。

35.根据权利要求1-32中任一项所述的方法,其中,在第一仿射继承过程中当基本块p被选择作为第二基本块并且当基本块q是第一基本块时,当基本块p是第二仿射继承过程中的第一基本块时不允许基本块q被选择作为第二基本块。

36.根据权利要求1-35所述的方法,其中,在第一仿射继承过程中当基本块p被选择作为第二基本块并且当基本块q是第一基本块时,不允许基本块p是第二仿射继承过程中的第一基本块。

37.根据权利要求35所述的方法,其中,当基本块p是第二仿射继承过程中的第一块时,

如果所述基本块q在所述基本块p的右边,则第二仿射继承过程中的第二基本块只能从所述基本块p的左边的基本块中选择,或者

如果所述基本块q在所述基本块p的左边,则第二基本块只能从所述基本块p的右边的基本块中选择,或者

如果所述基本块q在所述基本块p的下方,则第二基本块只能从所述基本块p的上方的基本块中选择,或者

如果所述基本块q在所述基本块p的上方,则第二基本块只能从所述基本块p的下方的基本块中选择。

38.根据权利要求1-37中任一项所述的方法,其中,所述临近基本块在与所述当前块相邻的行或列上。

39.根据权利要求1-38中任一项所述的方法,其中,如果第一基本块满足以下条件中的至少一个,则第一基本块被确定为有效:

i.它是帧间编解码的;

ii.它不是帧内块复制编解码的;

iii.它是仿射编解码的;

iv.它是仿射merge编解码的;

v.它是仿射帧间编解码的。

40.根据权利要求1-39中任一项所述的方法,其中,第二基本块是否被确定为有效取决于第一基本块的信息。

41.根据权利要求1-40中任一项所述的方法,其中,如果第二基本块满足以下条件中的至少一个,则第二基本块被确定为有效:

i.它是帧间编解码的;

ii.它不是帧内块复制编解码的;

iii.它是仿射编解码的;

iv.它是仿射merge编解码的;

v.它是仿射帧间编解码的;

vi.它具有与第一基本块相同的帧间预测方向;

vii.它具有与第一基本块相同的参考列表0的参考索引;

viii.它具有与第一基本块相同的参考列表1的参考索引;

ix.它具有与第一基本块相同的帧间预测方向和相同的参考索引;

x.它在参考列表x中具有与第一基本块相同的参考图片的图片顺序计数(poc)值,其中x是0和/或1。

42.根据权利要求1-41中任一项所述的方法,其中,按预定顺序检查所述当前块的上方临近基本块中的每个基本块,以确定它是否是有效的第一基本块。

43.根据权利要求42所述的方法,其中,按从左到右或从右到左的顺序检查所述当前块的上方临近基本块。

44.根据权利要求42或43所述的方法,其中,所述上方临近基本块包括以下中的至少一个:上方的临近基本块(a)、右上的临近基本块(ar)和第一左上的临近基本块(al1)。

45.根据权利要求42-44中任一项所述的方法,其中,当所述上方临近基本块中的一个基本块(bb)是有效的第一基本块时,检查有效的第一基本块(bb)的左边和/或右边的基本块,以确定对应的第二基本块。

46.根据权利要求45所述的方法,其中,首先检查所述有效的第一基本块(bb)右边的基本块(bbr)以确定它是否是有效的第二基本块,并且当所述基本块(bbr)是有效的第二基本块时,输出所述有效的第一基本块(bb)和所述有效的第二基本块(bbr)作为第一基本块和第二基本块。

47.根据权利要求46所述的方法,其中,当所述基本块(bbr)是无效的时,检查所述有效的第一基本块(bb)左边的基本块(bbl)以确定它是否是有效的第二基本块,并且当所述基本块(bbl)是有效的第二基本块时,输出所述有效的第一基本块(bb)和所述有效的第二基本块(bbl)作为第一基本块和第二基本块。

48.根据权利要求47所述的方法,其中,当基本块(bbl)是无效的时,按顺序检查一个基本块(bb)左边的下一个基本块,以确定它是否是有效的第一基本块。

49.根据权利要求47所述的方法,其中,当所述基本块(bbl)是无效的时,没有有效的第一基本块和有效的第二基本块从所述上方临近基本块中输出。

50.根据权利要求45所述的方法,其中,首先检查所述有效的第一基本块(bb)左边的基本块(bbl)以确定它是否是有效的第二基本块,并且当所述基本块(bbl)是有效的第二基本块时,输出所述有效的第一基本块(bb)和所述有效的第二基本块(bbl)作为第一基本块和第二基本块。

51.根据权利要求50所述的方法,其中,当所述基本块(bbl)是无效的时,检查所述有效的第一基本块(bb)右边的基本块(bbr)以确定它是否是有效的第二基本块,并且当所述基本块(bbr)是有效的第二基本块时,输出所述有效的第一基本块(bb)和所述有效的第二基本块(bbr)作为第一基本块和第二基本块。

52.根据权利要求51所述的方法,其中,当所述基本块(bbr)是无效的时,按顺序检查一个基本块(bb)右边的下一个基本块,以确定它是否是有效的第一基本块。

53.根据权利要求51所述的方法,其中,当所述基本块(bbr)是无效的时,没有有效的第一基本块和有效的第二基本块从所述上方临近基本块中输出。

54.根据权利要求45所述的方法,其中,仅检查所述有效的第一基本块(bb)右边的基本块(bbr)以确定它是否是有效的第二基本块,并且当所述基本块(bbr)是有效的第二基本块时,输出所述有效的第一基本块(bb)和所述有效的第二基本块(bbr)作为第一基本块和第二基本块。

55.根据权利要求54所述的方法,其中,当所述基本块(bbr)是无效的时,输出所述有效的第一基本块(bb)和所述有效的第一基本块左边的基本块(bbl)作为第一基本块和第二基本块。

56.根据权利要求54所述的方法,其中,当所述基本块(bbr)是无效的时,按顺序检查一个基本块(bb)右边的下一个基本块,以确定它是否是有效的第一基本块。

57.根据权利要求54所述的方法,其中,当所述基本块(bbl)是无效的时,没有有效的第一基本块和有效的第二基本块从所述上方临近基本块中输出。

58.根据权利要求45所述的方法,其中,仅检查所述有效的第一基本块(bb)左边的基本块(bbl)以确定它是否是有效的第二基本块,并且当所述基本块(bbl)是有效的第二基本块时,输出所述有效的第一基本块(bb)和所述有效的第二基本块(bbl)作为第一基本块和第二基本块。

59.根据权利要求58所述的方法,其中,当所述基本块(bbl)是无效的时,输出所述有效的第一基本块(bb)和所述有效的第一基本块右边的基本块(bbr)作为第一基本块和第二基本块。

60.根据权利要求58所述的方法,其中,当所述基本块(bbl)是无效的时,按顺序检查一个基本块(bb)左边的下一个基本块,以确定它是否是有效的第一基本块。

61.根据权利要求58所述的方法,其中,当所述基本块(bbl)是无效的时,没有有效的第一基本块和有效的第二基本块从所述上方临近基本块中输出。

62.根据权利要求42所述的方法,其中,从所述上方临近基本块中选择要检查以用于确定第一基本块的候选基本块取决于所述当前块的位置和/或仿射运动补偿的子块尺寸。

63.根据权利要求62所述的方法,其中,当所述当前块位于ctu的左边界时,所述候选基本块包括以下中的至少一个:上方的临近基本块(a)、右上的临近基本块(ar)和第一左上的临近基本块(al1),并且

当所述当前块不位于ctu的左边界时,所述候选基本块包括以下中的至少一个:上方的临近基本块(a)、右上的临近基本块(ar)和第二左上相邻的临近基本块(al”)。

64.根据权利要求42所述的方法,其中,来自所述上方临近基本块的候选基本块是否可以用作第一基本块取决于所述当前块的位置。

65.根据权利要求64所述的方法,其中,当所述当前块位于ctu的左边界时,左上的临近基本块(al1、al”)不能用作第一基本块。

66.根据权利要求64所述的方法,其中,当所述当前块位于ctu的右边界时,右上的临近基本块(ar、ar’)不能用作第一基本块。

67.根据权利要求42所述的方法,其中,来自所述上方基本块的候选基本块是否可以用作第二基本块取决于所述当前块的位置。

68.根据权利要求67所述的方法,其中,当所述当前块位于ctu的左边界时,左上的临近基本块(al1、al’)不能用作第一基本块。

69.根据权利要求67所述的方法,其中,当所述当前块位于ctu的右边界时,右上的临近基本块(ar、ar’)不能用作第一基本块。

70.根据权利要求2-69中任一项所述的方法,其中,第一基本块和第二基本块是可交换的。

71.根据权利要求70所述的方法,其中,首先交换第一基本块和第二基本块,并且通过使用交换的第一基本块和第二基本块来执行所述当前块的转换。

72.根据权利要求42-69中任一项的方法,其中,第一基本块和第二基本块的确定过程是可交换的。

73.根据权利要求1至72中任一项所述的方法,其中,所述转换从比特流表示生成视频的当前块。

74.根据权利要求1至72中任一项所述的方法,其中,所述转换从视频的当前块生成比特流表示。

75.一种视频系统中的装置,包括处理器和其上具有指令的非暂时性存储器,其中所述指令在由所述处理器执行时,使所述处理器实施根据权利要求1至74中任一项所述的方法。

76.一种存储在非暂时性计算机可读介质上的计算机程序产品,所述计算机程序产品包括用于执行根据权利要求1至74中任一项所述的方法的程序代码。


技术总结
描述了减少仿射继承所需的线缓冲器存储。一种示例方法包括:为视频的当前块和当前块的比特流表示之间的转换,基于第一存储运动矢量(MV)和不同于第一存储MV的第二存储MV,推导当前块的仿射继承运动矢量(MV),其中,第一存储MV被存储在与当前块临近的第一基本块中,并且第二存储MV被存储在与第一基本块有一偏移的第二基本块中;以及通过使用当前块的仿射继承MV来执行转换。

技术研发人员:张凯;张莉;刘鸿彬;许继征;王悦
受保护的技术使用者:北京字节跳动网络技术有限公司;字节跳动有限公司
技术研发日:2019.12.09
技术公布日:2021.07.23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1