图像预测方法、装置以及编解码器与流程

文档序号:36646011发布日期:2024-01-06 23:29阅读:19来源:国知局
图像预测方法、装置以及编解码器与流程

本技术涉及视频编解码,尤其涉及图像预测方法、装置以及编解码器。


背景技术:

1、通过视频压缩技术,例如mpeg-2、mpeg-4、itu-th.263、itu-th.264/mpeg-4第10部分高级视频编解码(advanced video coding,avc)、itu-th.265高效率视频编解码(highefficiency video coding,hevc)标准和所述标准的扩展部分中所描述的那些视频压缩技术,设备之间可以实现高效地发射及接收数字视频信息。通常情况下,视频序列的图像被划分成图像块进行编码或解码。

2、视频压缩技术中,为了减少或去除视频序列中的冗余信息,引入了基于图像块的空间预测(帧内预测,intra prediction)和/或时间预测(帧间预测,inter prediction)。其中,帧间预测模式可以包括但不限于:合并模式(merge mode)与非合并模式(例如高级运动矢量预测模式(amvp mode))等,且均是利用多运动信息竞争的方法进行帧间预测的。

3、帧间预测过程中,引入了包括多组运动信息(亦称为多个候选运动信息)的候选运动信息列表(简称候选列表),例如,编码器可以利用从该候选列表中选出的一组运动信息作为或者预测当前待编码图像块的运动信息(例如运动矢量),进而得到当前待编码图像块的参考图像块(即参考样本)。相应地,解码器可以从码流中解码出指示信息,以得到一组运动信息。由于帧间预测过程中限制了运动信息的编码开销(即占据码流的比特开销),一定程度上影响了运动信息的准确度,进而影响了图像预测的准确性。

4、为了提高图像预测的准确性,可以采用现有的解码端运动矢量修正(decoder-side motion vector refinement,dmvr)技术对运动信息进行修正,然而使用dmvr方案进行图像预测时,不仅要计算模板匹配块,而且要使用模板匹配块在前向参考图像和后向参考图像中分别进行搜索匹配过程,导致搜索复杂度较高,因此,在提高图像预测准确性的同时,如何减少图像预测时的复杂度是一个需要解决的问题。


技术实现思路

1、本技术实施例提供图像预测方法、装置及相应的编码器和解码器,在提高图像预测准确性的同时,能一定程度上降低图像预测的复杂度,从而提高编解码性能。

2、第一方面,本技术实施例提供了一种图像预测方法,该方法包括:获取当前图像块的初始运动信息;基于所述初始运动信息和当前图像块的位置确定n个前向参考块的位置和n个后向参考块的位置,所述n个前向参考块位于前向参考图像中,所述n个后向参考块位于后向参考图像中,n为大于1的整数;基于匹配代价准则,从m对参考块的位置中确定一对参考块的位置为当前图像块的目标前向参考块的位置和目标后向参考块的位置,其中每对参考块的位置包括一个前向参考块的位置和一个后向参考块的位置,且针对每对参考块的位置,第一位置偏移与第二位置偏移成镜像关系,所述第一位置偏移表示所述前向参考块的位置相对于初始前向参考块的位置的位置偏移,所述第二位置偏移表示所述后向参考块的位置相对于初始后向参考块的位置的位置偏移,所述m为大于或等于1的整数,且所述m小于或等于n;基于所述目标前向参考块的像素值(sample)和所述目标后向参考块的像素值(sample),得到所述当前图像块的像素值的预测值。

3、尤其需要说明的是,在本技术实施例中,所述n个前向参考块的位置包括一个初始前向参考块的位置和(n-1)个候选前向参考块的位置,所述n个后向参考块的位置包括一个初始后向参考块的位置和(n-1)个候选后向参考块的位置,从而初始前向参考块的位置相对于初始前向参考块的位置的位置偏移为0,初始后向参考块的位置相对于初始后向参考块的位置的位置偏移为0的情况下,0偏移与0偏移也是满足镜像关系。

4、可见,本技术实施例中,位于前向参考图像中的n个前向参考块的位置和位于后向参考图像中n个后向参考块的位置形成n对参考块的位置,针对所述n对参考块的位置中的每一对参考块的位置,前向参考块的位置相对于初始前向参考块的位置的第一位置偏移,与,后向参考块的位置相对于初始后向参考块的位置的第二位置偏移成镜像关系,在此基础上,从n对参考块的位置中确定(例如匹配代价最小的)一对参考块的位置为当前图像块的目标前向参考块(亦即最佳前向参考块/前向预测块)的位置和目标后向参考块(亦即最佳后向参考块/后向预测块)的位置,从而基于所述目标前向参考块的像素值和所述目标后向参考块的像素值,得到所述当前图像块的像素值的预测值。相对于现有技术,本技术实施例方法避免了预先计算模板匹配块的计算过程以及避免了使用模板匹配块分别进行前向搜索匹配以及后向搜索匹配的过程,简化了图像预测过程,从而在提高图像预测准确性的同时,降低了图像预测的复杂度。

5、此外,应当理解的是,这里的当前图像块(简称为当前块)可以理解为当前正在处理的图像块。例如在编码过程中,指当前正在编码的图像块(encoding block);在解码过程中,指当前正在解码的图像块(decoding block)。

6、此外,应当理解的是,这里的参考块指为当前块提供参考信号的块。在搜索过程中,需要遍历多个参考块,寻找最佳参考块。位于前向参考图像中的参考块,称为前向参考块;位于后向参考图像中的参考块,称为后向参考块。

7、此外,应当理解的是,为当前块提供预测的块称为预测块。例如,在遍历多个参考块以后,找到了最佳参考块,此最佳参考块将为当前块提供预测,此块可称为预测块。预测块内的像素值或者采样值或者采样信号,称为预测信号。

8、此外,应当理解的是,这里的匹配代价准则可以理解为考虑成对的前向参考块与后向参考块之间的匹配代价的准则,其中,匹配代价可以理解为两个块之间的差异值,可以看做是两个块内各个对应位置像素点差异值的累加。差异的计算方法一般基于sad(sum ofabsolute difference,绝对差异和)准则,或者其他准则,例如satd(sum of absolutetransform difference,绝对变换差异和),mr-sad(mean-removed sum of absolutedifference,均值去除的绝对差异和),ssd(sum of squared differences,平方差异和)等进行计算。

9、此外,需要说明的是,本技术实施例的当前图像块的初始运动信息可包括运动矢量mv和参考图像指示信息。当然,初始运动信息也可以包含两者之一或者全部包含,例如在编解码端共同约定参考图像的情况下,初始运动信息可以仅包含运动矢量mv。其中参考图像指示信息用于指示当前块使用到了哪一个或哪些重建图像作为参考图像,运动矢量表示在所用参考图像中参考块位置相对于当前块位置的位置偏移,一般包含水平分量偏移和竖直分量偏移。例如使用(x,y)表示mv,x表示水平方向的位置偏移,y表示竖直方向的位置偏移。使用当前块的位置加上mv,便可以得到它的参考块在参考图像中的位置。其中参考图像指示信息可以包括参考图像列表和/或与参考图像列表对应的参考图像索引。参考图像索引用于识别指定参考图像列表(refpiclist0或refpiclist1)中的与所用运动矢量对应的参考图像。图像可被称作帧,且参考图像可被称作参考帧。

10、本技术实施例的当前图像块的初始运动信息是初始双向预测运动信息,即包括用于前向和后向预测方向的运动信息。此处,前向和后向预测方向是双向预测模式的两个预测方向,可以理解的是,“前向”和“后向”分别对应于当前图像的参考图像列表0(refpiclist0)和参考图像列表1(refpiclist1)。“

11、此外,需要说明的是,本技术实施例的初始前向参考块的位置指的是使用当前块的位置加上初始运动mv偏移而得到的参考块在前向参考图像中的位置;本技术实施例的初始后向参考块的位置指的是使用当前块的位置加上初始运动mv偏移而得到的参考块在后向参考图像中的位置。

12、应当理解的是,本技术实施例的方法的执行主体可以是图像预测装置,例如可以是视频编码器或视频解码器或具有视频编解码功能的电子设备,具体例如可以是视频编码器中的帧间预测单元,或者视频解码器中的运动补偿单元。

13、结合第一方面,在第一方面的某些实现方式中,所述第一位置偏移与第二位置偏移成镜像关系可以理解为第一位置偏移量与第二位置偏移量相同,例如,所述第一位置偏移的方向(亦称为矢量方向)与第二位置偏移的方向相反,且第一位置偏移的幅值与第二位置偏移的幅值相同。

14、在一种示例下,所述第一位置偏移包括第一水平分量偏移和第一竖直分量偏移,所述第二位置偏移包括第二水平分量偏移和第二竖直分量偏移,其中,所述第一水平分量偏移的方向与第二水平分量偏移的方向相反,且第一水平分量偏移的幅值与第二水平分量偏移的幅值相同;所述第一竖直分量偏移的方向与第二竖直分量偏移的方向相反,且第一竖直分量偏移的幅值与第二竖直分量偏移的幅值相同。

15、在另一种示例下,第一位置偏移与第二位置偏移均为0。

16、结合第一方面,在第一方面的某些实现方式中,所述方法还包括:获得当前图像块的更新的运动信息,所述更新的运动信息包括更新的前向运动矢量和更新的后向运动矢量,其中所述更新的前向运动矢量指向所述目标前向参考块的位置,所述更新的后向运动矢量指向所述目标后向参考块的位置。

17、在不同示例下,当前图像块的更新的运动信息是基于所述目标前向参考块的位置、目标后向参考块的位置和当前图像块的位置得到的,或者,是基于所述确定的一对参考块位置对应的第一位置偏移和第二位置偏移得到的。

18、可见,本技术实施例能获得经修正过的当前图像块的运动信息,提高当前图像块运动信息的准确度,这也将有利于其他图像块的预测,例如提升其它图像块的运动信息的预测准确性等。

19、结合第一方面,在第一方面的某些实现方式中,所述n个前向参考块的位置包括一个初始前向参考块的位置和(n-1)个候选前向参考块的位置,每个候选前向参考块的位置相对于所述初始前向参考块的位置的位置偏移为整数像素距离或者分数像素距离;或者,

20、所述n个后向参考块的位置包括一个初始后向参考块的位置和(n-1)个候选后向参考块的位置,每个候选后向参考块的位置相对于所述初始后向参考块的位置的位置偏移为整数像素距离或者分数像素距离。

21、需要说明的是,所述n对参考块的位置包括:成对的初始前向参考块和初始后向参考块的位置,和成对的候选前向参考块和候选后向参考块的位置,其中所述前向参考图像中所述候选前向参考块的位置相对于初始前向参考块的位置的位置偏移,与,所述后向参考图像中所述候选后向参考块的位置相对于初始后向参考块的位置的位置偏移成镜像关系。

22、结合第一方面,在第一方面的某些实现方式中,所述初始运动信息包括前向预测运动信息和后向预测运动信息;

23、所述基于所述初始运动信息和当前图像块的位置确定n个前向参考块的位置和n个后向参考块的位置,包括:

24、根据所述前向预测运动信息和当前图像块的位置在前向参考图像中确定n个前向参考块的位置,所述n个前向参考块的位置包括一个初始前向参考块的位置和(n-1)个候选前向参考块的位置,每个候选前向参考块的位置相对于所述初始前向参考块的位置的位置偏移为整数像素距离或者分数像素距离;

25、根据所述后向预测运动信息和当前图像块的位置在后向参考图像中确定n个后向参考块的位置,所述n个后向参考块的位置包括一个初始后向参考块的位置和(n-1)个候选后向参考块的位置,每个候选后向参考块的位置相对于所述初始后向参考块的位置的位置偏移为整数像素距离或者分数像素距离。

26、结合第一方面,在第一方面的某些实现方式中,所述初始运动信息包括前向预测方向的第一运动矢量和第一参考图像索引,以及后向预测方向的第二运动矢量和第二参考图像索引;

27、所述根据所述初始运动信息和所述当前图像块的位置确定n个前向参考块的位置和n个后向参考块的位置,包括:

28、根据所述第一运动矢量和所述当前图像块的位置在所述第一参考图像索引对应的前向参考图像中确定当前图像块的初始前向参考块的位置;以所述初始前向参考块的位置作为第一搜索起点,在所述前向参考图像中确定(n-1)个候选前向参考块的位置,其中所述n个前向参考块的位置包括所述初始前向参考块的位置和所述(n-1)个候选前向参考块的位置;

29、根据所述第二运动矢量和所述当前图像块的位置在所述第二参考图像索引对应的后向参考图像中确定当前图像块的初始后向参考块的位置;以所述初始后向参考块的位置作为第二搜索起点,在所述后向参考图像中确定(n-1)个候选后向参考块的位置,其中所述n个后向参考块的位置包括所述初始后向参考块的位置和所述(n-1)个候选后向参考块的位置。

30、结合第一方面,在第一方面的某些实现方式中,所述根据匹配代价准则,从m对参考块的位置中确定一对参考块的位置为当前图像块的目标前向参考块的位置和目标后向参考块的位置,包括:

31、从m对参考块的位置中,确定匹配误差最小的一对参考块的位置为当前图像块的目标前向参考块的位置和当前图像块的目标后向参考块的位置;或者

32、从m对参考块的位置中,确定匹配误差小于或等于匹配误差阈值的一对参考块的位置为当前图像块的目标前向参考块的位置和当前图像块的目标后向参考块的位置,其中所述m小于或等于n。

33、在一种示例下,所述匹配代价准则为匹配代价最小化的准则。例如,针对m对参考块的位置,计算每对参考块中前向参考块的像素值与后向参考块的像素值的差异;从所述m对参考块的位置中,确定像素值差异最小的一对参考块的位置为所述当前图像块的前向目标参考块的位置以及后向目标参考块的位置。

34、在另一种示例下,所述匹配代价准则为匹配代价与提前终止准则。例如,针对第n对参考块(一个前向参考块与一个后向参考块)的位置,计算所述前向参考块的像素值与后向参考块的像素值的差异,n为大于或等于1,且小于或等于n的整数;当像素值差异小于或等于匹配误差阈值时,确定第n对参考块(一个前向参考块与一个后向参考块)的位置为所述当前图像块的前向目标参考块的位置以及后向目标参考块的位置。

35、结合第一方面,在第一方面的某些实现方式中,所述方法用于编码所述当前图像块,所述获取当前图像块的初始运动信息包括:从当前图像块的候选运动信息列表中获取所述初始运动信息;

36、或者,所述方法用于解码所述当前图像块,所述获取当前图像块的初始运动信息之前,所述方法还包括:从当前图像块的码流中获取指示信息,所述指示信息用于指示当前图像块的初始运动信息。

37、可见,本技术实施例的图像预测方法,不仅适用于合并预测模式(merge)和/或高级运动矢量预测模式(advanced motion vector prediction,amvp),而且也能适用于使用空域参考块,时域参考块和/或视间参考块的运动信息对当前图像块的运动信息进行预测的其它模式,从而提高编解码性能。

38、本技术的第二方面提供一种图像预测方法,包括:获取当前图像块的初始运动信息;

39、基于所述初始运动信息和当前图像块的位置确定n个前向参考块的位置和n个后向参考块的位置,所述n个前向参考块位于前向参考图像中,所述n个后向参考块位于后向参考图像中,n为大于1的整数;基于匹配代价准则,从m对参考块的位置中确定一对参考块的位置为当前图像块的目标前向参考块的位置和目标后向参考块的位置,其中每对参考块的位置包括一个前向参考块的位置和一个后向参考块的位置,且针对每对参考块的位置,第一位置偏移与第二位置偏移具有基于时域距离的比例关系,所述第一位置偏移表示所述前向参考块的位置相对于初始前向参考块的位置的位置偏移;所述第二位置偏移表示所述后向参考块的位置相对于初始后向参考块的位置的位置偏移,所述m为大于或等于1的整数,且所述m小于或等于n;基于所述目标前向参考块的像素值和所述目标后向参考块的像素值,得到所述当前图像块的像素值的预测值。

40、尤其需要说明的是,在本技术实施例中,初始前向参考块的位置相对于初始前向参考块的位置的位置偏移为0,初始后向参考块的位置相对于初始后向参考块的位置的位置偏移为0的情况下,0偏移与0偏移也是满足镜像关系或满足基于时域距离的比例关系的。换一种角度来描述,可以是针对(n-1)对参考块位置中的每对参考块的位置,第一位置偏移与第二位置偏移具有基于时域距离的比例关系/镜像关系。这里的(n-1)对参考块的位置不包括初始前向参考块的位置和初始后向参考块的位置。

41、可见,本技术实施例中,位于前向参考图像中的n个前向参考块的位置和位于后向参考图像中n个后向参考块的位置形成n对参考块的位置,针对所述n对参考块的位置中的每一对参考块的位置,前向参考块的位置相对于初始前向参考块的位置的第一位置偏移,与,后向参考块的位置相对于初始后向参考块的位置的第二位置偏移具有基于时域距离的比例关系(亦可称为基于时域距离的镜像关系),在此基础上,从n对参考块的位置中确定(例如匹配代价最小的)一对参考块的位置为当前图像块的目标前向参考块(亦即最佳前向参考块/前向预测块)的位置和目标后向参考块(亦即最佳后向参考块/后向预测块)的位置,从而基于所述目标前向参考块的像素值和所述目标后向参考块的像素值,得到所述当前图像块的像素值的预测值。相对于现有技术,本技术实施例方法避免了预先计算模板匹配块的计算过程以及避免了使用模板匹配块分别进行前向搜索匹配以及后向搜索匹配的过程,简化了图像预测过程,从而在提高图像预测准确性的同时,降低了图像预测的复杂度。

42、结合第二方面,在第二方面的某些实现方式中,针对每对参考块,所述第一位置偏移与第二位置偏移具有基于时域距离的比例关系,包括:

43、针对每对参考块,第一位置偏移与第二位置偏移的比例关系是基于第一时域距离与第二时域距离比例关系而确定的,其中第一时域距离表示当前图像块所属的当前图像与所述前向参考图像之间的时域距离;第二时域距离表示所述当前图像与所述后向参考图像之间的时域距离。

44、结合第二方面,在第二方面的某些实现方式中,所述第一位置偏移与第二位置偏移具有基于时域距离的比例关系,包括:

45、如果第一时域距离与第二时域距离相同,则所述第一位置偏移的方向与第二位置偏移的方向相反,且第一位置偏移的幅值与第二位置偏移的幅值相同;或者,

46、如果第一时域距离与第二时域距离不同,则所述第一位置偏移的方向与第二位置偏移的方向相反,第一位置偏移的幅值与第二位置偏移的幅值之间的比例关系是基于第一时域距离与第二时域距离的比例关系;

47、其中,第一时域距离表示当前图像块所属的当前图像与所述前向参考图像之间的时域距离;第二时域距离表示所述当前图像与所述后向参考图像之间的时域距离。

48、结合第二方面,在第二方面的某些实现方式中,所述方法还包括:获得当前图像块的更新的运动信息,所述更新的运动信息包括更新的前向运动矢量和更新的后向运动矢量,其中所述更新的前向运动矢量指向所述目标前向参考块的位置,所述更新的后向运动矢量指向所述目标后向参考块的位置。

49、可见,本技术实施例能获得经修正过的当前图像块的运动信息,提高当前图像块运动信息的准确度,这也将有利于其他图像块的而预测,例如提升其它图像块的运动信息的预测准确性等。

50、结合第二方面,在第二方面的某些实现方式中,所述n个前向参考块的位置包括一个初始前向参考块的位置和(n-1)个候选前向参考块的位置,每个候选前向参考块的位置相对于所述初始前向参考块的位置的位置偏移为整数像素距离或者分数像素距离;或者,

51、所述n个后向参考块的位置包括一个初始后向参考块的位置和(n-1)个候选后向参考块的位置,每个候选后向参考块的位置相对于所述初始后向参考块的位置的位置偏移为整数像素距离或者分数像素距离。

52、结合第二方面,在第二方面的某些实现方式中,所述n对参考块的位置包括:成对的初始前向参考块和初始后向参考块的位置,和成对的候选前向参考块和候选后向参考块的位置,其中所述前向参考图像中所述候选前向参考块的位置相对于初始前向参考块的位置的位置偏移,与,所述后向参考图像中所述候选后向参考块的位置相对于初始后向参考块的位置的位置偏移具有基于时域距离的比例关系。

53、结合第二方面,在第二方面的某些实现方式中,所述初始运动信息包括前向预测运动信息和后向预测运动信息;

54、所述基于所述初始运动信息和当前图像块的位置确定n个前向参考块的位置和n个后向参考块的位置,包括:

55、根据所述前向预测运动信息和当前图像块的位置在前向参考图像中确定n个前向参考块的位置,所述n个前向参考块的位置包括一个初始前向参考块的位置和(n-1)个候选前向参考块的位置,每个候选前向参考块的位置相对于所述初始前向参考块的位置的位置偏移为整数像素距离或者分数像素距离;

56、根据所述后向预测运动信息和当前图像块的位置在后向参考图像中确定n个后向参考块的位置,所述n个后向参考块的位置包括初始后向参考块的位置和(n-1)个候选后向参考块的位置,每个候选后向参考块的位置相对于所述初始后向参考块的位置的位置偏移为整数像素距离或者分数像素距离。

57、结合第二方面,在第二方面的某些实现方式中,所述初始运动信息包括前向预测方向的第一运动矢量和第一参考图像索引,以及后向预测方向的第二运动矢量和第二参考图像索引;

58、所述根据所述初始运动信息和所述当前图像块的位置确定n个前向参考块的位置和n个后向参考块的位置,包括:

59、根据所述第一运动矢量和所述当前图像块的位置在所述第一参考图像索引对应的前向参考图像中确定当前图像块的初始前向参考块的位置;以所述初始前向参考块的位置作为第一搜索起点,在所述前向参考图像中确定(n-1)个候选前向参考块的位置,其中所述n个前向参考块的位置包括所述初始前向参考块的位置和所述(n-1)个候选前向参考块的位置;

60、根据所述第二运动矢量和所述当前图像块的位置在所述第二参考图像索引对应的后向参考图像中确定当前图像块的初始后向参考块的位置;以所述初始后向参考块的位置作为第二搜索起点,在所述后向参考图像中确定(n-1)个候选后向参考块的位置,其中所述n个后向参考块的位置包括所述初始后向参考块的位置和所述(n-1)个候选后向参考块的位置。

61、结合第二方面,在第二方面的某些实现方式中,所述根据匹配代价准则,从m对参考块的位置中确定一对参考块的位置为当前图像块的目标前向参考块的位置和目标后向参考块的位置,包括:

62、从m对参考块的位置中,确定匹配误差最小的一对参考块的位置为当前图像块的目标前向参考块的位置和当前图像块的目标后向参考块的位置;或者

63、从m对参考块的位置中,确定匹配误差小于或等于匹配误差阈值的一对参考块的位置为当前图像块的目标前向参考块的位置和当前图像块的目标后向参考块的位置,所述m小于或等于n。

64、在一种示例下,所述匹配代价准则为匹配代价最小化的准则。例如,针对m对参考块的位置,计算每对参考块中前向参考块的像素值与后向参考块的像素值的差异;从所述m对参考块的位置中,确定像素值差异最小的一对参考块的位置为所述当前图像块的前向目标参考块的位置以及后向目标参考块的位置。

65、在另一种示例下,所述匹配代价准则为匹配代价与提前终止准则。例如,针对第n对参考块(一个前向参考块与一个后向参考块)的位置,计算所述前向参考块的像素值与后向参考块的像素值的差异,n为大于或等于1,且小于或等于n的整数;当像素值差异小于或等于匹配误差阈值时,确定第n对参考块(一个前向参考块与一个后向参考块)的位置为所述当前图像块的前向目标参考块的位置以及后向目标参考块的位置。

66、结合第二方面,在第二方面的某些实现方式中,所述方法用于编码所述当前图像块,所述获取当前图像块的初始运动信息包括:从当前图像块的候选运动信息列表中获取所述初始运动信息;

67、或者,所述方法用于解码所述当前图像块,所述获取当前图像块的初始运动信息之前,所述方法还包括:从当前图像块的码流中获取指示信息,所述指示信息用于指示当前图像块的初始运动信息。

68、本技术的第三方面提供一种图像预测方法,包括:获取当前图像块的第i轮运动信息;

69、根据所述第i轮运动信息和当前图像块的位置确定n个前向参考块的位置和n个后向参考块的位置,所述n个前向参考块位于前向参考图像中,所述n个后向参考块位于后向参考图像中,n为大于1的整数;基于匹配代价准则,从m对参考块的位置中确定一对参考块的位置为当前图像块的第i轮目标前向参考块的位置和第i轮目标后向参考块的位置,其中每对参考块的位置包括一个前向参考块的位置和一个后向参考块的位置,且针对每对参考块的位置,第一位置偏移与第二位置偏移成镜像关系,所述第一位置偏移表示所述前向参考块的位置相对于第i-1轮目标前向参考块的位置的位置偏移,所述第二位置偏移表示所述后向参考块的位置相对于第i-1轮目标后向参考块的位置的位置偏移,所述m为大于或等于1的整数,且所述m小于或等于n;根据所述第j轮目标前向参考块的像素值和所述第j轮目标后向参考块的像素值,得到所述当前图像块的像素值的预测值,其中j大于或等于i,i和j均为大于或等于1的整数。

70、尤其需要说明的是,在本技术实施例中,初始前向参考块的位置相对于初始前向参考块的位置的位置偏移为0,初始后向参考块的位置相对于初始后向参考块的位置的位置偏移为0的情况下,0偏移与0偏移也是满足镜像关系。

71、可见,本技术实施例中,位于前向参考图像中的n个前向参考块的位置和位于后向参考图像中n个后向参考块的位置形成n对参考块的位置,针对所述n对参考块的位置中的每一对参考块的位置,前向参考块的位置相对于初始前向参考块的位置的第一位置偏移,与,后向参考块的位置相对于初始后向参考块的位置的第二位置偏移成镜像关系,在此基础上,从n对参考块的位置中确定(例如匹配代价最小的)一对参考块的位置为当前图像块的目标前向参考块(亦即最佳前向参考块/前向预测块)的位置和目标后向参考块(亦即最佳后向参考块/后向预测块)的位置,从而基于所述目标前向参考块的像素值和所述目标后向参考块的像素值,得到所述当前图像块的像素值的预测值。相对于现有技术,本技术实施例方法避免了预先计算模板匹配块的计算过程以及避免了使用模板匹配块分别进行前向搜索匹配以及后向搜索匹配的过程,简化了图像预测过程,从而在提高图像预测准确性的同时,降低了图像预测的复杂度。此外,本技术实施例通过迭代的方法,可以进一步提高修正运动矢量mv的准确度,从而进一步提高编解码性能。

72、结合第三方面,在第三方面的某些实现方式中,如果i=1,则所述第i轮运动信息为当前图像块的初始运动信息;相应地,所述n个前向参考块的位置包括一个初始前向参考块的位置和(n-1)个候选前向参考块的位置,每个候选前向参考块的位置相对于所述初始前向参考块的位置的位置偏移为整数像素距离或者分数像素距离;或者,所述n个后向参考块的位置包括一个初始后向参考块的位置和(n-1)个候选后向参考块的位置,每个候选后向参考块的位置相对于所述初始后向参考块的位置的位置偏移为整数像素距离或者分数像素距离。

73、如果i>1,则所述第i轮运动信息包括:指向第i-1轮目标前向参考块的位置的前向运动矢量和指向第i-1轮目标后向参考块的位置的后向运动矢量;相应地,所述n个前向参考块的位置包括一个第i-1轮目标前向参考块的位置和(n-1)个候选前向参考块的位置,每个候选前向参考块的位置相对于第i-1轮目标前向参考块的位置的位置偏移为整数像素距离或者分数像素距离;或者,所述n个后向参考块的位置包括一个第i-1轮目标后向参考块的位置和(n-1)个候选后向参考块的位置,每个候选后向参考块的位置相对于第i-1轮目标后向参考块的位置的位置偏移为整数像素距离或者分数像素距离。

74、需要说明的是,如果所述方法用于编码所述当前图像块,所述当前图像块的初始运动信息是通过如下方法获取的:从当前图像块的候选运动信息列表中确定所述初始运动信息;或者,如果所述方法用于解码所述当前图像块,所述当前图像块的初始运动信息是通过如下方法获取的:从当前图像块的码流中获取指示信息,其中,所述指示信息用于指示当前图像块的初始运动信息。

75、结合第三方面,在第三方面的某些实现方式中,所述根据所述第j轮目标前向参考块的像素值和所述第j轮目标后向参考块的像素值,得到所述图像块的像素值的预测值,其中j大于或等于i,i和j均为大于或等于1的整数,包括:

76、当满足迭代终止条件时,根据所述第j轮目标前向参考块的像素值和所述第j轮目标后向参考块的像素值,得到所述图像块的像素值的预测值,其中j大于或等于i,i和j均为大于或等于1的整数。

77、结合第三方面,在第三方面的某些实现方式中,所述第一位置偏移与第二位置偏移成镜像关系,包括:所述第一位置偏移的方向与第二位置偏移的方向相反,且第一位置偏移的幅值与第二位置偏移的幅值相同。

78、结合第三方面,在第三方面的某些实现方式中,所述第i轮运动信息包括前向运动矢量和前向参考图像索引,以及后向运动矢量和后向参考图像索引;

79、所述根据所述第i轮运动信息和所述当前图像块的位置确定n个前向参考块的位置和n个后向参考块的位置,包括:

80、根据所述前向运动矢量和所述当前图像块的位置在所述前向参考图像索引对应的前向参考图像中确定当前图像块的第i-1轮目标前向参考块的位置;以所述i-1轮目标前向参考块的位置作为第if搜索起点,在所述前向参考图像中确定(n-1)个候选前向参考块的位置,其中所述n个前向参考块的位置包括一个第i-1轮目标前向参考块的位置和所述(n-1)个候选前向参考块的位置;

81、根据所述后向运动矢量和所述当前图像块的位置在所述后向参考图像索引对应的后向参考图像中确定当前图像块的第i-1轮目标后向参考块的位置;以所述i-1轮目标后向参考块的位置作为第ib搜索起点,在所述后向参考图像中确定(n-1)个候选后向参考块的位置,其中所述n个后向参考块的位置包括一个第i-1轮目标后向参考块的位置和所述(n-1)个候选后向参考块的位置。

82、结合第三方面,在第三方面的某些实现方式中,所述根据匹配代价准则,从m对参考块的位置中确定一对参考块的位置为当前图像块的第i轮目标前向参考块的位置以及第i轮目标后向参考块的位置,包括:

83、从m对参考块的位置中,确定匹配误差最小的一对参考块的位置为当前图像块的第i轮目标前向参考块的位置以及第i轮目标后向参考块的位置;或者

84、从m对参考块的位置中,确定匹配误差小于或等于匹配误差阈值的一对参考块的位置为当前图像块的第i轮目标前向参考块的位置以及当前图像块的第i轮目标后向参考块的位置,其中所述m小于或等于n。

85、本技术的第四方面提供一种图像预测方法,包括:获取当前图像块的第i轮运动信息;

86、根据所述第i轮运动信息和当前图像块的位置确定n个前向参考块的位置和n个后向参考块的位置,所述n个前向参考块位于前向参考图像中,所述n个后向参考块位于后向参考图像中,n为大于1的整数;基于匹配代价准则,从m对参考块的位置中确定一对参考块的位置为当前图像块的第i轮目标前向参考块的位置和第i轮目标后向参考块的位置,其中每对参考块的位置包括一个前向参考块的位置和一个后向参考块的位置,且针对每对参考块的位置,第一位置偏移与第二位置偏移具有基于时域距离的比例关系,所述第一位置偏移表示所述前向参考图像中,所述前向参考块的位置相对于第i-1轮目标前向参考块的位置的位置偏移;所述第二位置偏移表示所述后向参考图像中,所述后向参考块的位置相对于第i-1轮目标后向参考块的位置的位置偏移,所述m为大于或等于1的整数,且所述m小于或等于n;根据所述第j轮目标前向参考块的像素值和所述第j轮目标后向参考块的像素值,得到所述当前图像块的像素值的预测值,其中j大于或等于i,i和j均为大于或等于1的整数。

87、尤其需要说明的是,在本技术实施例中,初始前向参考块的位置相对于初始前向参考块的位置的位置偏移为0,初始后向参考块的位置相对于初始后向参考块的位置的位置偏移为0的情况下,0偏移与0偏移也是满足镜像关系或满足基于时域距离的比例关系的。换一种角度来描述,可以是针对(n-1)对参考块位置中的每对参考块的位置,第一位置偏移与第二位置偏移具有基于时域距离的比例关系/镜像关系。这里的(n-1)对参考块的位置不包括初始前向参考块的位置和初始后向参考块的位置。

88、可见,本技术实施例中,位于前向参考图像中的n个前向参考块的位置和位于后向参考图像中n个后向参考块的位置形成n对参考块的位置,针对所述n对参考块的位置中的每一对参考块的位置,前向参考块的位置相对于初始前向参考块的位置的第一位置偏移,与,后向参考块的位置相对于初始后向参考块的位置的第二位置偏移具有基于时域距离的比例关系,在此基础上,从n对参考块的位置中确定(例如匹配代价最小的)一对参考块的位置为当前图像块的目标前向参考块(亦即最佳前向参考块/前向预测块)的位置和目标后向参考块(亦即最佳后向参考块/后向预测块)的位置,从而基于所述目标前向参考块的像素值和所述目标后向参考块的像素值,得到所述当前图像块的像素值的预测值。相对于现有技术,本技术实施例方法避免了预先计算模板匹配块的计算过程以及避免了使用模板匹配块分别进行前向搜索匹配以及后向搜索匹配的过程,简化了图像预测过程,从而在提高图像预测准确性的同时,降低了图像预测的复杂度。此外,本技术实施例通过迭代的方法,可以进一步提高修正运动矢量mv的准确度,从而进一步提高编解码性能。

89、结合第四方面,在第四方面的某些实现方式中,如果i=1,则所述第i轮运动信息为当前图像块的初始运动信息;如果i>1,则所述第i轮运动信息包括:指向第i-1轮目标前向参考块的位置的前向运动矢量和指向第i-1轮目标后向参考块的位置的后向运动矢量。

90、结合第四方面,在第四方面的某些实现方式中,所述根据所述第j轮目标前向参考块的像素值和所述第j轮目标后向参考块的像素值,得到所述图像块的像素值的预测值,其中j大于或等于i,i和j均为大于或等于1的整数,包括:

91、当满足迭代终止条件时,根据所述第j轮目标前向参考块的像素值和所述第j轮目标后向参考块的像素值,得到所述图像块的像素值的预测值,其中j大于或等于i,i和j均为大于或等于1的整数。

92、结合第四方面,在第四方面的某些实现方式中,所述第一位置偏移与第二位置偏移具有基于时域距离的比例关系,包括:

93、如果第一时域距离与第二时域距离相同,则所述第一位置偏移的方向与第二位置偏移的方向相反,且第一位置偏移的幅值与第二位置偏移的幅值相同;或者,

94、如果第一时域距离与第二时域距离不同,则所述第一位置偏移的方向与第二位置偏移的方向相反,第一位置偏移的幅值与第二位置偏移的幅值之间的比例关系是基于第一时域距离与第二时域距离的比例关系;

95、其中,第一时域距离表示当前图像块所属的当前图像与所述前向参考图像之间的时域距离;第二时域距离表示所述当前图像与所述后向参考图像之间的时域距离。

96、结合第四方面,在第四方面的某些实现方式中,所述第i轮运动信息包括前向运动矢量和前向参考图像索引,以及后向运动矢量和后向参考图像索引;

97、所述根据所述第i轮运动信息和所述当前图像块的位置确定n个前向参考块的位置和n个后向参考块的位置,包括:

98、根据所述前向运动矢量和所述当前图像块的位置在所述前向参考图像索引对应的前向参考图像中确定当前图像块的第i-1轮目标前向参考块的位置;以所述i-1轮目标前向参考块的位置作为第if搜索起点,在所述前向参考图像中确定(n-1)个候选前向参考块的位置,其中所述n个前向参考块的位置包括一个第i-1轮目标前向参考块的位置和所述(n-1)个候选前向参考块的位置;

99、根据所述后向运动矢量和所述当前图像块的位置在所述后向参考图像索引对应的后向参考图像中确定当前图像块的第i-1轮目标后向参考块的位置;以所述i-1轮目标后向参考块的位置作为第ib搜索起点在所述后向参考图像中确定(n-1)个候选后向参考块的位置,其中所述n个后向参考块的位置包括一个第i-1轮目标后向参考块的位置和所述(n-1)个候选后向参考块的位置。

100、结合第四方面,在第四方面的某些实现方式中,所述根据匹配代价准则,从m对参考块的位置中确定一对参考块的位置为当前图像块的第i轮目标前向参考块的位置以及第i轮目标后向参考块的位置,包括:

101、从m对参考块的位置中,确定匹配误差最小的一对参考块的位置为当前图像块的第i轮目标前向参考块的位置以及第i轮目标后向参考块的位置;或者

102、从m对参考块的位置中,确定匹配误差小于或等于匹配误差阈值的一对参考块的位置为当前图像块的第i轮目标前向参考块的位置以及当前图像块的第i轮目标后向参考块的位置,其中所述m小于或等于n。

103、本技术的第五方面提供一种图像预测装置,包括用于实施第一方面的任意一种方法的若干个功能单元。举例来说,图像预测装置可以包括:第一获取单元,用于获取当前图像块的初始运动信息;第一搜索单元,用于基于所述初始运动信息和当前图像块的位置确定n个前向参考块的位置和n个后向参考块的位置,所述n个前向参考块位于前向参考图像中,所述n个后向参考块位于后向参考图像中,n为大于1的整数;基于匹配代价准则,从m对参考块的位置中确定一对参考块的位置为当前图像块的目标前向参考块的位置和目标后向参考块的位置,其中每对参考块的位置包括一个前向参考块的位置和一个后向参考块的位置,且针对每对参考块的位置,第一位置偏移与第二位置偏移成镜像关系,所述第一位置偏移表示所述前向参考块的位置相对于初始前向参考块的位置的位置偏移,所述第二位置偏移表示所述后向参考块的位置相对于初始后向参考块的位置的位置偏移,所述m为大于或等于1的整数,且所述m小于或等于n;第一预测单元,用于基于所述目标前向参考块的像素值和所述目标后向参考块的像素值,得到所述当前图像块的像素值的预测值。

104、在不同应用场景下,图像预测装置例如应用于视频编码装置(视频编码器)或视频解码装置(视频解码器)。

105、本技术的第六方面提供一种图像预测装置,包括用于实施第二方面的任意一种方法的若干个功能单元。举例来说,图像预测装置可以包括:第二获取单元,用于获取当前图像块的初始运动信息;第二搜索单元,用于基于所述初始运动信息和当前图像块的位置确定n个前向参考块的位置和n个后向参考块的位置,所述n个前向参考块位于前向参考图像中,所述n个后向参考块位于后向参考图像中,n为大于1的整数;基于匹配代价准则,从m对参考块的位置中确定一对参考块的位置为当前图像块的目标前向参考块的位置和目标后向参考块的位置,其中每对参考块的位置包括一个前向参考块的位置和一个后向参考块的位置,且针对每对参考块的位置,第一位置偏移与第二位置偏移具有基于时域距离的比例关系,所述第一位置偏移表示所述前向参考块的位置相对于初始前向参考块的位置的位置偏移;所述第二位置偏移表示所述后向参考块的位置相对于初始后向参考块的位置的位置偏移,所述m为大于或等于1的整数,且所述m小于或等于n;第二预测单元,用于基于所述目标前向参考块的像素值和所述目标后向参考块的像素值,得到所述当前图像块的像素值的预测值。

106、在不同应用场景下,图像预测装置例如应用于视频编码装置(视频编码器)或视频解码装置(视频解码器)。

107、本技术的第七方面提供一种图像预测装置,包括用于实施第三方面的任意一种方法的若干个功能单元。举例来说,图像预测装置可以包括:第三获取单元,用于获取当前图像块的第i轮运动信息;第三搜索单元,用于根据所述第i轮运动信息和当前图像块的位置确定n个前向参考块的位置和n个后向参考块的位置,所述n个前向参考块位于前向参考图像中,所述n个后向参考块位于后向参考图像中,n为大于1的整数;基于匹配代价准则,从m对参考块的位置中确定一对参考块的位置为当前图像块的第i轮目标前向参考块的位置和第i轮目标后向参考块的位置,其中每对参考块的位置包括一个前向参考块的位置和一个后向参考块的位置,且针对每对参考块的位置,第一位置偏移与第二位置偏移成镜像关系,所述第一位置偏移表示所述前向参考块的位置相对于第i-1轮目标前向参考块的位置的位置偏移,所述第二位置偏移表示所述后向参考块的位置相对于第i-1轮目标后向参考块的位置的位置偏移,所述m为大于或等于1的整数,且所述m小于或等于n;第三预测单元,用于根据所述第j轮目标前向参考块的像素值和所述第j轮目标后向参考块的像素值,得到所述当前图像块的像素值的预测值,其中j大于或等于i,i和j均为大于或等于1的整数。

108、在不同应用场景下,图像预测装置例如应用于视频编码装置(视频编码器)或视频解码装置(视频解码器)。

109、本技术的第八方面提供一种图像预测装置,包括用于实施第四方面的任意一种方法的若干个功能单元。举例来说,图像预测装置可以包括:第四获取单元,用于获取当前图像块的第i轮运动信息;第四搜索单元,用于根据所述第i轮运动信息和当前图像块的位置确定n个前向参考块的位置和n个后向参考块的位置,所述n个前向参考块位于前向参考图像中,所述n个后向参考块位于后向参考图像中,n为大于1的整数;基于匹配代价准则,从m对参考块的位置中确定一对参考块的位置为当前图像块的第i轮目标前向参考块的位置和第i轮目标后向参考块的位置,其中每对参考块的位置包括一个前向参考块的位置和一个后向参考块的位置,且针对每对参考块的位置,第一位置偏移与第二位置偏移具有基于时域距离的比例关系,所述第一位置偏移表示所述前向参考图像中,所述前向参考块的位置相对于第i-1轮目标前向参考块的位置的位置偏移;所述第二位置偏移表示所述后向参考图像中,所述后向参考块的位置相对于第i-1轮目标后向参考块的位置的位置偏移,所述m为大于或等于1的整数,且所述m小于或等于n;第四预测单元,用于根据所述第j轮目标前向参考块的像素值和所述第j轮目标后向参考块的像素值,得到所述当前图像块的像素值的预测值,其中j大于或等于i,i和j均为大于或等于1的整数

110、在不同应用场景下,图像预测装置例如应用于视频编码装置(视频编码器)或视频解码装置(视频解码器)。

111、本技术的第九方面提供了一种图像预测装置,所述装置包括:处理器和耦合于所述处理器的存储器;所述处理器用于执行所述第一方面或第二方面或第三方面或第四方面或前述各方面的各种实现方式中的方法。

112、本技术的第十方面提供一种视频编码器,所述视频编码器用于编码图像块,包括:帧间预测模块,其中所述帧间预测模块包括如第五方面或第六方面或第七方面或第八方面所述的图像预测装置,其中所述帧间预测模块用于预测得到所述图像块的像素值的预测值;熵编码模块,用于将指示信息编入码流,所述指示信息用于指示所述图像块的初始运动信息;重建模块,用于基于所述图像块的像素值的预测值重建所述图像块。

113、本技术的第十一方面提供一种视频解码器,所述视频解码器用于从码流中解码出图像块,包括:熵解码模块,用于从码流中解码出指示信息,所述指示信息用于指示当前解码图像块的初始运动信息;帧间预测模块,包括如第五方面或第六方面或第七方面或第八方面所述的图像预测装置,所述帧间预测模块用于预测得到所述图像块的像素值的预测值;重建模块,用于基于所述图像块的像素值的预测值重建所述图像块。

114、本技术的第十二方面提供一种视频编码设备,包括非易失性存储介质,以及处理器,所述非易失性存储介质存储有可执行程序,所述处理器与所述非易失性存储介质相互耦合,并执行所述可执行程序以实现所述第一、二、三或四方面或其各种实现方式中的方法。

115、本技术的第十三方面提供一种视频解码设备,包括非易失性存储介质,以及处理器,所述非易失性存储介质存储有可执行程序,所述处理器与所述非易失性存储介质相互耦合,并执行所述可执行程序以实现所述第一、二、三或四方面或其各种实现方式中的方法。

116、本技术的第十四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一、二、三或四方面或其各种实现方式中的方法。

117、本技术的第十五方面提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一、二、三或四方面或其各种实现方式中的方法。

118、本技术的第十六方面提供了一种电子设备,包括上述第十方面所述的视频编码器,或上述第十一方面所述的视频解码器,或上述第五、六、七或八方面所述的图像预测装置。

119、应理解,各方面及对应的可实施的设计方式所取得的有益效果相似,不再赘述。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1