本公开的实施例总体上涉及视频处理技术,并且更具体地,涉及双向光流(bdof)过程。
背景技术:
1、如今,数字视频能力正被应用于人们生活的各个方面。针对视频编码/解码,已经提出了多种类型的视频压缩技术,诸如mpeg-2、mpeg-4、itu-th.263、itu-th.264/mpeg-4第10部分高级视频编解码(avc)、itu-th.265高效视频编解码(hevc)标准、多功能视频编解码(vvc)标准。然而,总体上期望进一步提高视频编解码技术的编解码质量。
技术实现思路
1、本公开的实施例提供了一种用于视频处理的解决方案。
2、在第一方面,提出了一种用于视频处理的方法。该方法包括:针对视频的当前视频块与视频的比特流之间的转换,将多轮双向光流(bdof)过程迭代地应用于当前视频块,多轮bdof过程是相同类型的;以及基于应用多轮bdof过程的结果执行转换。
3、基于根据本公开的第一方面的方法,相同类型的bdof过程可以针对当前视频块被迭代地执行。与相同类型的bdof过程不被迭代地执行的传统解决方案相比,所提出的方法可以有利地更好地细化当前视频块的样点值或mv。从而,编解码质量可以被提高。
4、在第二方面,提出了一种用于视频处理的装置。该装置包括处理器和其上具有指令的非暂态存储器。该指令在由处理器执行时使处理器执行根据本公开的第一方面的方法。
5、在第三方面,提出了一种非暂态计算机可读存储介质。该非暂态计算机可读存储介质存储使处理器执行根据本公开的第一方面的方法的指令。
6、在第四方面,提出了另一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储视频的比特流,该视频的比特流通过用于视频处理的装置所执行的方法来生成。该方法包括:将多轮双向光流(bdof)过程迭代地应用于视频的当前视频块,多轮bdof过程是相同类型的;以及基于应用多轮bdof过程的结果生成比特流。
7、在第五方面,提出了一种用于存储视频的比特流的方法。该方法包括:将多轮双向光流(bdof)过程迭代地应用于视频的当前视频块,多轮bdof过程是相同类型的;基于应用多轮bdof过程的结果生成比特流;以及将比特流存储在非暂态计算机可读记录介质中。
8、提供本
技术实现要素:
是为了以简化的形式介绍以下在具体实施方式中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于限制所要求保护的主题的范围。
1. 一种用于视频处理的方法,包括:
2.根据权利要求1所述的方法,其中所述多轮bdof过程中的每一轮是用于运动矢量(mv)细化的bdof过程,或者
3.根据权利要求1至2中任一项所述的方法,其中所述多轮bdof过程的数目等于n,并且n是非负整数。
4.根据权利要求1至3中任一项所述的方法,其中所述多轮bdof过程包括第一轮bdof过程和在所述第一轮bdof过程之后的第二轮bdof过程,并且所述第二轮bdof过程基于应用所述第一轮bdof过程的结果被应用。
5.根据权利要求1至5中任一项所述的方法,其中所述多轮bdof过程的数目取决于以下至少一项:
6.根据权利要求1至5中任一项所述的方法,其中是否应用下一轮bdof过程取决于当前一轮bdof过程的结果。
7.根据权利要求6所述的方法,其中如果基于所述当前一轮bdof过程的所述结果确定的mv或样点值的细化小于阈值,则所述下一轮bdof过程不被应用。
8.根据权利要求6所述的方法,其中mv或样点值的第一细化基于所述当前一轮bdof过程的所述结果被确定,mv或样点值的第二细化基于在所述当前一轮bdof过程之前的一轮bdof的结果被确定,并且如果所述第一细化与所述第二细化之间的比率小于阈值,则所述下一轮bdof过程不被应用。
9.根据权利要求1至5中任一项所述的方法,其中是否应用下一轮bdof过程与当前一轮bdof过程的结果无关。
10.根据权利要求1至9中任一项所述的方法,其中在预定数目轮次的bdof过程被执行之后,所述多轮bdof过程的所述应用被终止。
11.根据权利要求1至10中任一项所述的方法,其中如果条件被满足,则所述多轮bdof过程的所述应用被终止。
12.根据权利要求11所述的方法,其中所述条件包括来自针对所述当前视频块的两个参考图片列表的两个预测之间的代价度量小于阈值,所述两个预测基于mv被确定,所述mv基于应用当前一轮bdof过程的结果被细化。
13.根据权利要求12所述的方法,其中所述代价度量包括以下至少一项:
14.根据权利要求1至13中任一项所述的方法,其中用于确定是否应用一轮bdof过程的阈值是固定的,或者
15.根据权利要求14所述的方法,其中是否应用一轮bdof过程是通过将所述阈值与来自针对所述当前视频块的两个参考图片列表的两个预测之间的代价度量进行比较而被确定的。
16.根据权利要求1至15中任一项所述的方法,其中所述多轮bdof过程的数目在以下中的一项处被指示:
17.根据权利要求1至16中任一项所述的方法,其中所述多轮bdof过程基于相同的子块尺寸被应用。
18. 根据权利要求17所述的方法,其中所述相同的子块尺寸是固定的。
19.根据权利要求1至16中任一项所述的方法,其中不同轮的bdof过程基于不同的子块尺寸被应用,和/或
20.根据权利要求1至19中任一项所述的方法,其中用于应用一轮bdof过程的子块尺寸取决于以下至少一项:
21.根据权利要求1至20中任一项所述的方法,其中用于应用一轮bdof过程的子块尺寸为w×h,并且w和h中的每一项是非负整数。
22.根据权利要求1至21中任一项所述的方法,其中用于应用下一轮bdof过程的子块尺寸取决于基于应用当前一轮bdof过程的结果确定的mv。
23.根据权利要求1至22中任一项所述的方法,其中所述多轮bdof过程基于相同的缩放因子被应用,所述相同的缩放因子被用于缩放通过应用一轮bdof过程确定的mv偏移。
24.根据权利要求23所述的方法,其中所述相同的缩放因子是固定的。
25.根据权利要求1至22中任一项所述的方法,其中不同轮的bdof过程基于不同的缩放因子被应用,所述不同的缩放因子分别用于缩放通过应用所述不同轮的bdof过程确定的mv偏移。
26.根据权利要求1至23中任一项所述的方法,其中用于缩放通过应用一轮bdof过程确定的mv偏移的缩放因子取决于以下至少一项:
27.根据权利要求1至26中任一项所述的方法,其中用于缩放通过应用一轮bdof过程确定的mv偏移的缩放因子等于实数。
28. 根据权利要求1至27中任一项所述的方法,其中用于缩放通过应用当前一轮bdof过程确定的mv偏移的缩放因子取决于基于以下至少一项确定的至少一个mv:
29. 根据权利要求28所述的方法,其中所述缩放因子取决于以下至少一项:
30.根据权利要求1至29中任一项所述的方法,其中用于缩放基于应用一轮bdof过程的结果确定的样点值的缩放因子取决于以下至少一项:
31.根据权利要求30所述的方法,其中所述缩放因子等于实数。
32.根据权利要求1至31中任一项所述的方法,其中在一轮bdof过程中,用于细化mv的至少一个偏移是在一个或多个正则化项被添加到针对所述一轮bdof过程的一组等式的情况下被确定的。
33.根据权利要求32所述的方法,其中所述至少一个偏移基于以下式子被确定:
34. 根据权利要求33所述的方法,其中所述第一正则化项、所述第二正则化项、所述第三正则化项、所述第四正则化项、所述第五正则化项和所述第六正则化项中的每一项是整数或实数。
35.根据权利要求33至34中任一项所述的方法,其中所述第一正则化项、所述第二正则化项、所述第三正则化项、所述第四正则化项、所述第五正则化项和所述第六正则化项是相同的,或
36.根据权利要求33至35中任一项所述的方法,其中所述第一正则化项等于所述第五正则化项,并且所述第二正则化项、所述第三正则化项、所述第四正则化项和所述第六正则化项中的每一项等于零。
37.根据权利要求33至35中任一项所述的方法,其中所述第三正则化项和所述第六正则化项中的每一项不等于零,并且所述第一正则化项、所述第二正则化项、所述第四正则化项和所述第五正则化项中的每一项等于零。
38.根据权利要求33至37中任一项所述的方法,其中所述第一正则化项、所述第二正则化项、所述第三正则化项、所述第四正则化项、所述第五正则化项和所述第六正则化项中的每一项是固定的。
39.根据权利要求33至37中任一项所述的方法,其中所述第一正则化项、所述第二正则化项、所述第三正则化项、所述第四正则化项、所述第五正则化项和所述第六正则化项中的至少一项取决于以下至少一项:
40.根据权利要求1至39中任一项所述的方法,其中所述转换包括将所述当前视频块编码到所述比特流中。
41.根据权利要求1至39中任一项所述的方法,其中所述转换包括从所述比特流解码所述当前视频块。
42.一种用于视频处理的装置,包括处理器和其上具有指令的非暂态存储器,其中所述指令在由所述处理器执行时使所述处理器执行根据权利要求1至41中任一项所述的方法。
43.一种非暂态计算机可读存储介质,存储指令,所述指令使处理器执行根据权利要求1至41中任一项所述的方法。
44. 一种非暂态计算机可读记录介质,存储视频的比特流,所述视频的比特流通过用于视频处理的装置所执行的方法来生成,其中所述方法包括:
45.一种用于存储视频的比特流的方法,包括: