视频的时域滤波方法及装置、电子设备、存储介质与流程

1.本公开涉及视频技术领域。更具体地，本公开涉及一种视频的时域滤波方法及装置、电子设备、存储介质。


背景技术：

2.视频编码标准中通常会根据不同功能和压缩效率分解为三种帧类型i帧(intra-frame,帧内帧)、p帧(predicted-frame，预测帧)和b帧(bidirectional-frame，双向预测帧)。在最新的视频标准中，为了更进一步提升p帧的压缩效率，进一步提出了一种特殊的b帧，即gpb帧(generalized p and b picture，广义pb帧)去取代p帧。
3.基于运动估计补偿的时域滤波方法(motion compensatedtemporal filtering，简称mctf)，主要针对固定帧结构进行处理。简单来说，标准中的ra配置，无论是hevc标准还是vvc标准，均采用固定帧类型结构。因此其判断是否滤波的条件为当前帧模8是否为0。然而，实际编码器为了提升更好的压缩性能，会对视频场景进行预分析，得到一个动态的帧类型结构。即对于基于hevc的编码器，其最大连续b帧的个数，可以为0，也可以为15(hevc标准规定最大为15)。另外由于场景切换的原因，可能会在编码过程中存在i帧。在上述两种情况下，标准中模8余0的操作将会不再适用。


技术实现要素：

4.本公开的示例性实施例在于提供一种视频的时域滤波方法及装置、电子设备、存储介质，以至少解决相关技术中的视频的时域滤波的问题，也可不解决任何上述问题。
5.根据本公开的示例性实施例，提供一种视频的时域滤波方法，包括：确定视频的当前帧的帧类型；基于所述帧类型确定是否对当前帧进行运动估计补偿时域滤波处理；当确定对当前帧进行运动估计补偿时域滤波时，基于当前帧是否是场景切换帧从当前帧在所述视频中的近邻帧中确定至少一帧，基于所述至少一帧对当前帧进行运动估计补偿时域滤波处理。
6.可选地，当前帧在所述视频中的近邻帧可包括：当前帧在所述视频中的第一预设数量个前向帧和/或第二预设数量个后向帧。
7.可选地，基于所述帧类型确定是否对当前帧进行运动估计补偿时域滤波处理的步骤可包括：当当前帧的帧类型是i帧时，基于当前帧是否是场景切换帧以及当前帧在所述视频中的近邻帧的情况，确定是否对当前帧进行运动估计补偿时域滤波处理；当当前帧的帧类型是gpb帧或p帧时，在当前帧在所述视频中的第三预设数量个前向帧未进行运动估计补偿时域滤波处理时，确定对当前帧进行运动估计补偿时域滤波处理；当当前帧的帧类型是b帧时，在当前帧与当前帧在所述视频中的前向最近邻参考帧和后向最近邻参考帧的距离之和大于或等于预设值时，确定对当前帧进行运动估计补偿时域滤波处理。
8.可选地，基于当前帧是否是场景切换帧以及当前帧在所述视频中的近邻帧的情况，确定是否对当前帧进行运动估计补偿时域滤波处理的步骤包括：当当前帧不是场景切
换帧时，在当前帧在所述视频中的第四预设数量个前向帧未进行运动估计补偿时域滤波处理时，确定对当前帧进行运动估计补偿时域滤波处理；当当前帧是场景切换帧时，在当前帧的下一帧不是场景切换帧时，确定对当前帧进行运动估计补偿时域滤波处理。
9.可选地，基于当前帧是否是场景切换帧从当前帧在所述视频中的近邻帧中确定至少一帧的步骤可包括：当当前帧是场景切换帧时，基于当前帧在所述视频中的第五预设数量个后向帧中是否存在场景切换帧，从当前帧在所述视频中的第五预设数量个后向帧中确定用于对当前帧进行运动估计补偿时域滤波处理的至少一帧；当当前帧不是场景切换帧时，基于当前帧在所述视频中的第六预设数量个前向帧和/或第七预设数量个后向帧中是否存在场景切换帧，从当前帧在所述视频中的第六预设数量个前向帧和/或第七预设数量个后向帧中确定用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
10.可选地，基于当前帧在所述视频中的第五预设数量个后向帧中是否存在场景切换帧，从当前帧在所述视频中的第五预设数量个后向帧中确定用于对当前帧进行运动估计补偿时域滤波处理的至少一帧的步骤可包括：当当前帧在所述视频中的第五预设数量个后向帧中不存在场景切换帧时，将当前帧在所述视频中的第五预设数量个后向帧中的至少一帧确定为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧；当当前帧在所述视频中的第五预设数量个后向帧中存在场景切换帧时，从存在的场景切换帧中选择与当前帧最近邻的场景切换帧，将当前帧与最近邻的场景切换帧之间的帧中的至少一帧确定为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
11.可选地，基于当前帧在所述视频中的第六预设数量个前向帧和第七预设数量个后向帧中是否存在场景切换帧，从当前帧在所述视频中的第六预设数量个前向帧和第七预设数量个后向帧中确定用于对当前帧进行运动估计补偿时域滤波处理的至少一帧的步骤可包括：当当前帧在所述视频中的第六预设数量个前向帧中存在场景切换帧并且第七预设数量个后向帧中存在场景切换帧时，从存在的场景切换帧中选择与当前帧最近邻的前向场景切换帧和后向场景切换帧，从前向场景切换帧与后向场景切换帧之间选择用于对当前帧进行运动估计补偿时域滤波处理的至少一帧；当当前帧在所述视频中的第六预设数量个前向帧中不存在场景切换帧并且第七预设数量个后向帧中存在场景切换帧时，从存在的场景切换帧中选择与当前帧最近邻的后向场景切换帧，从第六预设数量个前向帧以及当前帧与后向场景切换帧之间选择用于对当前帧进行运动估计补偿时域滤波处理的至少一帧；当当前帧在所述视频中的第六预设数量个前向帧中存在场景切换帧并且第七预设数量个后向帧中不存在场景切换帧时，从存在的场景切换帧中选择与当前帧最近邻的前向场景切换帧，从第七预设数量个后向帧以及前向场景切换帧与当前帧之间选择用于对当前帧进行运动估计补偿时域滤波处理的至少一帧；当当前帧在所述视频中的第六预设数量个前向帧中不存在场景切换帧并且第七预设数量个后向帧中不存在场景切换帧时，从第六预设数量个前向帧和第七预设数量个后向帧中选择用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
12.可选地，从前向场景切换帧与后向场景切换帧之间选择用于对当前帧进行运动估计补偿时域滤波处理的至少一帧的步骤可包括：从前向场景切换帧与当前帧之间选择至少一帧；从当前帧与后向场景切换帧之间选择至少一帧；将从前向场景切换帧与当前帧之间选择的至少一帧和从当前帧与后向场景切换帧之间选择的至少一帧作为用于对当前帧进
行运动估计补偿时域滤波处理的至少一帧。
13.可选地，从第六预设数量个前向帧以及当前帧与后向场景切换帧之间选择用于对当前帧进行运动估计补偿时域滤波处理的至少一帧的步骤可包括：从第六预设数量个前向帧中选择至少一帧；从当前帧与后向场景切换帧之间选择至少一帧；将从第六预设数量个前向帧中选择的至少一帧和从当前帧与后向场景切换帧之间选择的至少一帧作为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
14.可选地，从第七预设数量个后向帧以及前向场景切换帧与当前帧之间选择用于对当前帧进行运动估计补偿时域滤波处理的至少一帧的步骤可包括：从第七预设数量个后向帧中选择至少一帧；从前向场景切换帧与当前帧之间选择至少一帧；将从第七预设数量个后向帧中选择的至少一帧和从前向场景切换帧与当前帧之间选择的至少一帧作为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
15.可选地，从第六预设数量个前向帧和第七预设数量个后向帧中选择用于对当前帧进行运动估计补偿时域滤波处理的至少一帧的步骤可包括：从第六预设数量个前向帧中选择至少一帧；从第七预设数量个后向帧中选择至少一帧；将从第六预设数量个前向帧中选择的至少一帧和从第七预设数量个后向帧中选择的至少一帧作为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
16.根据本公开的示例性实施例，提供一种视频的时域滤波装置，包括：结构确定单元，被配置为确定视频的当前帧的帧类型；处理确定单元，被配置为基于所述帧类型确定是否对当前帧进行运动估计补偿时域滤波处理；和滤波处理单元，被配置为当确定对当前帧进行运动估计补偿时域滤波时，基于当前帧是否是场景切换帧从当前帧在所述视频中的近邻帧中确定至少一帧，基于所述至少一帧对当前帧进行运动估计补偿时域滤波处理。
17.可选地，当前帧在所述视频中的近邻帧可包括：当前帧在所述视频中的第一预设数量个前向帧和/或第二预设数量个后向帧。
18.可选地，处理确定单元可被配置为：当当前帧的帧类型是i帧时，基于当前帧是否是场景切换帧以及当前帧在所述视频中的近邻帧的情况，确定是否对当前帧进行运动估计补偿时域滤波处理；当当前帧的帧类型是gpb帧或p帧时，在当前帧在所述视频中的第三预设数量个前向帧未进行运动估计补偿时域滤波处理时，确定对当前帧进行运动估计补偿时域滤波处理；当当前帧的帧类型是b帧时，在当前帧与当前帧在所述视频中的前向最近邻参考帧和后向最近邻参考帧的距离之和大于或等于预设值时，确定对当前帧进行运动估计补偿时域滤波处理。
19.可选地，处理确定单元被配置为：当当前帧的帧类型是i帧并且当前帧不是场景切换帧时，在当前帧在所述视频中的第四预设数量个前向帧未进行运动估计补偿时域滤波处理时，确定对当前帧进行运动估计补偿时域滤波处理；当当前帧的帧类型是i帧并且当前帧是场景切换帧时，在当前帧的下一帧不是场景切换帧时，确定对当前帧进行运动估计补偿时域滤波处理。
20.可选地，滤波处理单元可包括：第一确定单元，被配置为当当前帧是场景切换帧时，基于当前帧在所述视频中的第五预设数量个后向帧中是否存在场景切换帧，从当前帧在所述视频中的第五预设数量个后向帧中确定用于对当前帧进行运动估计补偿时域滤波处理的至少一帧；第二确定单元，被配置为当当前帧不是场景切换帧时，基于当前帧在所述
视频中的第六预设数量个前向帧和/或第七预设数量个后向帧中是否存在场景切换帧，从当前帧在所述视频中的第六预设数量个前向帧和/或第七预设数量个后向帧中确定用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
21.可选地，第一确定单元可被配置为：当当前帧在所述视频中的第五预设数量个后向帧中不存在场景切换帧时，将当前帧在所述视频中的第五预设数量个后向帧中的至少一帧确定为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧；当当前帧在所述视频中的第五预设数量个后向帧中存在场景切换帧时，从存在的场景切换帧中选择与当前帧最近邻的场景切换帧，将当前帧与最近邻的场景切换帧之间的帧中的至少一帧确定为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
22.可选地，第二确定单元可被配置为：当当前帧在所述视频中的第六预设数量个前向帧中存在场景切换帧并且第七预设数量个后向帧中存在场景切换帧时，从存在的场景切换帧中选择与当前帧最近邻的前向场景切换帧和后向场景切换帧，从前向场景切换帧与后向场景切换帧之间选择用于对当前帧进行运动估计补偿时域滤波处理的至少一帧；当当前帧在所述视频中的第六预设数量个前向帧中不存在场景切换帧并且第七预设数量个后向帧中存在场景切换帧时，从存在的场景切换帧中选择与当前帧最近邻的后向场景切换帧，从第六预设数量个前向帧以及当前帧与后向场景切换帧之间选择用于对当前帧进行运动估计补偿时域滤波处理的至少一帧；当当前帧在所述视频中的第六预设数量个前向帧中存在场景切换帧并且第七预设数量个后向帧中不存在场景切换帧时，从存在的场景切换帧中选择与当前帧最近邻的前向场景切换帧，从第七预设数量个后向帧以及前向场景切换帧与当前帧之间选择用于对当前帧进行运动估计补偿时域滤波处理的至少一帧；当当前帧在所述视频中的第六预设数量个前向帧中不存在场景切换帧并且第七预设数量个后向帧中不存在场景切换帧时，从第六预设数量个前向帧和第七预设数量个后向帧中选择用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
23.可选地，第二确定单元可被配置为：当当前帧在所述视频中的第六预设数量个前向帧中存在场景切换帧并且第七预设数量个后向帧中存在场景切换帧时，从前向场景切换帧与当前帧之间选择至少一帧；从当前帧与后向场景切换帧之间选择至少一帧；将从前向场景切换帧与当前帧之间选择的至少一帧和从当前帧与后向场景切换帧之间选择的至少一帧作为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
24.可选地，第二确定单元可被配置为：当当前帧在所述视频中的第六预设数量个前向帧中不存在场景切换帧并且第七预设数量个后向帧中存在场景切换帧时，从第六预设数量个前向帧中选择至少一帧；从当前帧与后向场景切换帧之间选择至少一帧；将从第六预设数量个前向帧中选择的至少一帧和从当前帧与后向场景切换帧之间选择的至少一帧作为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
25.可选地，第二确定单元可被配置为：当当前帧在所述视频中的第六预设数量个前向帧中存在场景切换帧并且第七预设数量个后向帧中不存在场景切换帧时，从第七预设数量个后向帧中选择至少一帧；从前向场景切换帧与当前帧之间选择至少一帧；将从第七预设数量个后向帧中选择的至少一帧和从前向场景切换帧与当前帧之间选择的至少一帧作为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
26.可选地，第二确定单元可被配置为：当当前帧在所述视频中的第六预设数量个前
向帧中不存在场景切换帧并且第七预设数量个后向帧中不存在场景切换帧时，从第六预设数量个前向帧中选择至少一帧；从第七预设数量个后向帧中选择至少一帧；将从第六预设数量个前向帧中选择的至少一帧和从第七预设数量个后向帧中选择的至少一帧作为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
27.根据本公开的示例性实施例，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现根据本公开的示例性实施例的视频的时域滤波方法。
28.根据本公开的示例性实施例，提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被电子设备的处理器执行时，使得电子设备执行根据本公开的示例性实施例的视频的时域滤波方法。
29.根据本公开的示例性实施例，提供一种计算机程序产品，包括计算机程序/指令，当所述计算机程序/指令被处理器执行时，实现根据本公开的示例性实施例的视频的时域滤波方法。
30.本公开的实施例提供的技术方案至少带来以下有益效果：
31.通过判断当前帧是否需要进行mctf处理并且筛选用于对当前帧进行运动估计补偿时域滤波处理的帧，从而提升mctf工具的编码性能；
32.能够使mctf处理适用于非固定帧类型结构的编码器，从而实现针对非固定帧类型结构的运动估计补偿时域滤波，提高运动估计补偿时域滤波的效果。
33.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
34.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
35.图1示出根据本公开的示例性实施例的视频的时域滤波方法的流程图。
36.图2示出根据本公开的示例性实施例的视频的时域滤波装置的框图。
37.图3示出根据本公开的示例性实施例的滤波处理单元23的框图。
38.图4是根据本公开的示例性实施例的电子设备400的框图。
具体实施方式
39.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
40.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
41.在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该
若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括a和b之中的至少一个”即包括如下三种并列的情况：(1)包括a；(2)包括b；(3)包括a和b。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。
42.在相关技术中，例如，hevc、vvc标准软件hm和vvc均有对mctf的实现，由于标准参考软件均具备固定帧结构。因此mctf的处理流程位于编码的最开始，读取输入帧的过程中，对每个模8余0的帧进行了mctf操作。后续joint video experts team(jvet)组织联合开发了一个更接近实用的vvc编码器，the fraunhofer versatile video encoder(vvenc)。该编码器对mctf做了一些并行和汇编优化。但是其处理流程依旧是按照对每个模8余0的帧进行mctf操作。可见，相关技术中的mctf的处理流程完全依赖于其固定帧结构。对于大多实际编码器，其帧结构需要经过预分析得到。在这类编码器上，模8余0的处理方式将不再适用于现有的编码器。
43.标准中由于mctf的帧结构固定，因此其采用模8余0的操作判断当前帧是否需要进行mctf操作。而大多数实际编码器(例如，x265)，不同于hevc、vvc等标准软件，通常先对视频进行预分析，会根据预分析的结果得到最好的帧类型结构(可变帧类型结构)，以获取最高的编码性能。
44.本公开提出了一种针对可变帧类型结构的时域滤波优化方法，主要解决在可变帧类型结构下，无法通过帧的位置进行模8余0滤波操作的问题。本公开中，在可变帧类型结构下，选取需要进行mctf操作的帧。除此之外，若当前帧需要进行mctf操作，现阶段标准通常采用当前帧的前后各四帧的关系进行滤波，在本公开中会针对帧类型结构的结果，对这些帧进行筛选，可获取更高的编码收益，例如，bdrate收益。
45.下面，将参照图1至图4具体描述根据本公开的示例性实施例的视频的时域滤波方法及装置、电子设备、存储介质。
46.图1示出根据本公开的示例性实施例的视频的时域滤波方法的流程图。图1中的视频的时域滤波方法可适用于可变帧类型结构的视频。
47.参照图1，在步骤s101，确定视频的当前帧的帧类型。
48.在本公开的示例性实施例中，可首先确定视频中的帧的帧类型，从而确定当前帧是i帧、p帧、b帧还是gpb帧。
49.在步骤s102，基于所述帧类型确定是否对当前帧进行运动估计补偿时域滤波处理。
50.在本公开的示例性实施例中，在基于所述帧类型确定是否对当前帧进行运动估计补偿时域滤波处理时，可当当前帧的帧类型是i帧时，基于当前帧是否是场景切换帧以及当前帧在所述视频中的近邻帧的情况，确定是否对当前帧进行运动估计补偿时域滤波处理；当当前帧的帧类型是gpb帧或p帧时，在当前帧在所述视频中的第三预设数量个前向帧未进行运动估计补偿时域滤波处理时，确定对当前帧进行运动估计补偿时域滤波处理；当当前帧的帧类型是b帧时，在当前帧与当前帧在所述视频中的前向最近邻参考帧和后向最近邻参考帧的距离之和大于或等于预设值时，确定对当前帧进行运动估计补偿时域滤波处理。这里，第三预设数量可以是小于等于4的正整数，例如，1、2、3、4。预设值可以是不超过最大连续b帧个数的值，例如，但不限于，12。
51.在本公开的示例性实施例中，如果当前帧的帧类型是i帧，则在基于当前帧是否是场景切换帧以及当前帧在所述视频中的近邻帧的情况，确定是否对当前帧进行运动估计补偿时域滤波处理时，可当当前帧不是场景切换帧时，在当前帧在所述视频中的第四预设数量个前向帧未进行运动估计补偿时域滤波处理时，确定对当前帧进行运动估计补偿时域滤波处理；当当前帧是场景切换帧时，在当前帧的下一帧不是场景切换帧时，确定对当前帧进行运动估计补偿时域滤波处理。这里，第四预设数量可以是小于等于4的正整数，例如，1、2、3、4。
52.例如，如果当前帧满足以下条件之一，则需要对当前帧进行mctf处理：
53.1、当前帧是i帧，不是场景切换帧，并且当前帧的前序4帧都不进行mctf处理；
54.2、当前帧是i帧，是场景切换帧，并且当前帧的下一帧不是场景切换帧；
55.3、当前帧是gpb/p帧，并且当前帧的前序4帧都不进行mctf处理；
56.4、当前帧是b帧，并且当前帧与前向最近邻参考帧和后向最近邻参考帧的距离之和大于或等于12。
57.在步骤s103，当确定对当前帧进行运动估计补偿时域滤波时，基于当前帧是否是场景切换帧从当前帧在所述视频中的近邻帧中确定至少一帧，基于所述至少一帧对当前帧进行运动估计补偿时域滤波处理。
58.在本公开的示例性实施例中，当前帧在所述视频中的近邻帧可包括当前帧在所述视频中的第一预设数量个前向帧和/或第二预设数量个后向帧。这里，第一预设数量可以是小于等于4的正整数，例如，1、2、3、4。第二预设数量可以是小于等于4的正整数，例如，1、2、3、4。当前帧在所述视频中的近邻帧可以是当前帧在所述视频中的4个前向帧(即，前序4帧)和4个后向帧(即，后序4帧)。
59.在本公开的示例性实施例中，在基于当前帧是否是场景切换帧从当前帧在所述视频中的近邻帧中确定用于对当前帧进行运动估计补偿时域滤波处理的至少一帧时，可当当前帧是场景切换帧时，基于当前帧在所述视频中的第五预设数量个后向帧中是否存在场景切换帧，从当前帧在所述视频中的第五预设数量个后向帧中确定用于对当前帧进行运动估计补偿时域滤波处理的至少一帧；当当前帧不是场景切换帧时，基于当前帧在所述视频中的第六预设数量个前向帧和/或第七预设数量个后向帧中是否存在场景切换帧，从当前帧在所述视频中的第六预设数量个前向帧和/或第七预设数量个后向帧中确定用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。这里，第五预设数量可以是小于等于4的正整数，例如，1、2、3、4。第六预设数量可以是小于等于4的正整数，例如，1、2、3、4。第七预设数量可以是小于等于4的正整数，例如，1、2、3、4。
60.在本公开的示例性实施例中，在基于当前帧在所述视频中的第五预设数量个后向帧中是否存在场景切换帧，从当前帧在所述视频中的第五预设数量个后向帧中确定用于对当前帧进行运动估计补偿时域滤波处理的至少一帧时，可当当前帧在所述视频中的第五预设数量个后向帧中不存在场景切换帧时，将当前帧在所述视频中的第五预设数量个后向帧中的至少一帧确定为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧；当当前帧在所述视频中的第五预设数量个后向帧中存在场景切换帧时，从存在的场景切换帧中选择与当前帧最近邻的场景切换帧，将当前帧与最近邻的场景切换帧之间的帧中的至少一帧确定为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
61.由于在当前帧是场景切换帧时，当前帧的前向帧对于当前帧没有参考意义，因此仅从当前帧的后向帧中选择用于对当前帧进行运动估计补偿时域滤波处理的帧。
62.例如，在当前帧是场景切换帧时，如果当前帧的4个后向帧(即，后序4帧)中不存在场景切换帧，那么仅将当前帧的4个后向帧(即，后序4帧)确定为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
63.例如，在当前帧是场景切换帧时，如果当前帧的4个后向帧(即，后序4帧)中存在场景切换帧(例如，后序第2帧、第3帧和第4帧中的至少一个)，那么在后序第2帧是场景切换帧的情况下将当前帧的后序第1帧确定为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧，在后序第2帧不是场景切换帧而后序第3帧是场景切换帧的情况下将当前帧的后序第1帧和第2帧(或者第1帧和第2帧之一)确定为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧，在后序第2帧和第3帧都不是场景切换帧而后序第4帧是场景切换帧的情况下将当前帧的后序第1帧、第2帧和第3帧(或者第1帧、第2帧和第3帧之一，或者第1帧、第2帧和第3帧中的两个)确定为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
64.在本公开的示例性实施例中，如果当前帧是场景切换帧，则在选择用于对当前帧进行运动估计补偿时域滤波处理的帧时，可以以当前帧和当前帧的后序最近邻的场景切换帧作为截断，从当前帧和当前帧的后序最近邻的场景切换帧这两个场景切换帧之间的帧(不包含着这两个场景切换帧)中选择一帧或多帧用于对当前帧进行运动估计补偿时域滤波处理的帧。
65.在本公开的示例性实施例中，在基于当前帧在所述视频中的第六预设数量个前向帧和第七预设数量个后向帧中是否存在场景切换帧，从当前帧在所述视频中的第六预设数量个前向帧和第七预设数量个后向帧中确定用于对当前帧进行运动估计补偿时域滤波处理的至少一帧时，可当当前帧在所述视频中的第六预设数量个前向帧中存在场景切换帧并且第七预设数量个后向帧中存在场景切换帧时，从存在的场景切换帧中选择与当前帧最近邻的前向场景切换帧和后向场景切换帧，从前向场景切换帧与后向场景切换帧之间选择用于对当前帧进行运动估计补偿时域滤波处理的至少一帧；当当前帧在所述视频中的第六预设数量个前向帧中不存在场景切换帧并且第七预设数量个后向帧中存在场景切换帧时，从存在的场景切换帧中选择与当前帧最近邻的后向场景切换帧，从第六预设数量个前向帧以及当前帧与后向场景切换帧之间选择用于对当前帧进行运动估计补偿时域滤波处理的至少一帧；当当前帧在所述视频中的第六预设数量个前向帧中存在场景切换帧并且第七预设数量个后向帧中不存在场景切换帧时，从存在的场景切换帧中选择与当前帧最近邻的前向场景切换帧，从第七预设数量个后向帧以及前向场景切换帧与当前帧之间选择用于对当前帧进行运动估计补偿时域滤波处理的至少一帧；当当前帧在所述视频中的第六预设数量个前向帧中不存在场景切换帧并且第七预设数量个后向帧中不存在场景切换帧时，从第六预设数量个前向帧和第七预设数量个后向帧中选择用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
66.在本公开的示例性实施例中，在从前向场景切换帧与后向场景切换帧之间选择用于对当前帧进行运动估计补偿时域滤波处理的至少一帧时，可首先从前向场景切换帧与当前帧之间选择至少一帧，从当前帧与后向场景切换帧之间选择至少一帧，然后将从前向场景切换帧与当前帧之间选择的至少一帧和从当前帧与后向场景切换帧之间选择的至少一
帧作为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
67.在本公开的示例性实施例中，在从第六预设数量个前向帧以及当前帧与后向场景切换帧之间选择用于对当前帧进行运动估计补偿时域滤波处理的至少一帧时，可首先从第六预设数量个前向帧中选择至少一帧，从当前帧与后向场景切换帧之间选择至少一帧，然后将从第六预设数量个前向帧中选择的至少一帧和从当前帧与后向场景切换帧之间选择的至少一帧作为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
68.在本公开的示例性实施例中，在从第七预设数量个后向帧以及前向场景切换帧与当前帧之间选择用于对当前帧进行运动估计补偿时域滤波处理的至少一帧时，可首先从第七预设数量个后向帧中选择至少一帧，从前向场景切换帧与当前帧之间选择至少一帧，然后将从第七预设数量个后向帧中选择的至少一帧和从前向场景切换帧与当前帧之间选择的至少一帧作为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
69.在本公开的示例性实施例中，在从第六预设数量个前向帧和第七预设数量个后向帧中选择用于对当前帧进行运动估计补偿时域滤波处理的至少一帧时，可首先从第六预设数量个前向帧中选择至少一帧，从第七预设数量个后向帧中选择至少一帧，然后将从第六预设数量个前向帧中选择的至少一帧和从第七预设数量个后向帧中选择的至少一帧作为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
70.由于在当前帧不是场景切换帧时，当前帧的前向帧和后向帧对于当前帧都有参考意义，因此从当前帧的前向帧和后向帧中选择用于对当前帧进行运动估计补偿时域滤波处理的帧。
71.例如，在当前帧不是场景切换帧时，如果当前帧的4个前向帧(即，前序4帧)中的前序第3帧是场景切换帧、4个后向帧(即，后序4帧)中不存在场景切换帧，那么可以将当前帧的前序2帧和后序4帧确定为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
72.例如，在当前帧不是场景切换帧时，如果当前帧的4个后向帧(即，后序4帧)中的后序第3帧是场景切换帧、4个前向帧(即，前序4帧)中不存在场景切换帧，那么可以将当前帧的后序2帧和前序4帧确定为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
73.例如，在当前帧不是场景切换帧时，如果当前帧的4个前向帧(即，前序4帧)中的前序第3帧是场景切换帧、4个后向帧(即，后序4帧)中的后序第4帧是场景切换帧，那么可以将当前帧的前序2帧和后序3帧确定为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
74.例如，在当前帧不是场景切换帧时，如果当前帧的4个前向帧(即，前序4帧)中不存在场景切换帧、4个后向帧(即，后序4帧)中不存在场景切换帧，那么可以将当前帧的前序4帧和后序4帧确定为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
75.在本公开的示例性实施例中，如果当前帧不是场景切换帧，则在选择用于对当前帧进行运动估计补偿时域滤波处理的帧时，可以以当前帧的前后最近邻的两个场景切换帧作为截断，从两个场景切换帧之间的帧(不包含着这两个场景切换帧)中选择一帧或多帧用于对当前帧进行运动估计补偿时域滤波处理的帧。
76.在确定了用于对当前帧进行运动估计补偿时域滤波处理的帧之后，在参考所确定的用于对当前帧进行运动估计补偿时域滤波处理的帧对当前帧进行基于运动估计补偿的时域滤波处理，本公开对具体的时域滤波处理方法不进行限制，这里可以使用任何可用的
时域滤波处理方法。
77.以上已经结合图1对根据本公开的示例性实施例的视频的时域滤波方法进行了描述。在下文中，将参照图2和图3对根据本公开的示例性实施例的视频的时域滤波装置及其单元进行描述。
78.图2示出根据本公开的示例性实施例的视频的时域滤波装置的框图。图3示出根据本公开的示例性实施例的滤波处理单元23的框图。
79.参照图2，视频的时域滤波装置包括结构确定单元21、处理确定单元22、和滤波处理单元23。
80.结构确定单元21被配置为确定视频的当前帧的帧类型。
81.处理确定单元22被配置为基于所述帧类型确定是否对当前帧进行运动估计补偿时域滤波处理。
82.在本公开的示例性实施例中，处理确定单元22可被配置为：当当前帧的帧类型是i帧时，基于当前帧是否是场景切换帧以及当前帧在所述视频中的近邻帧的情况，确定是否对当前帧进行运动估计补偿时域滤波处理；当当前帧的帧类型是gpb帧或p帧时，在当前帧在所述视频中的第三预设数量个前向帧未进行运动估计补偿时域滤波处理时，确定对当前帧进行运动估计补偿时域滤波处理；当当前帧的帧类型是b帧时，在当前帧与当前帧在所述视频中的前向最近邻参考帧和后向最近邻参考帧的距离之和大于或等于预设值时，确定对当前帧进行运动估计补偿时域滤波处理。
83.在本公开的示例性实施例中，处理确定单元被配置为：当当前帧的帧类型是i帧并且当前帧不是场景切换帧时，在当前帧在所述视频中的第四预设数量个前向帧未进行运动估计补偿时域滤波处理时，确定对当前帧进行运动估计补偿时域滤波处理；当当前帧的帧类型是i帧并且当前帧是场景切换帧时，在当前帧的下一帧不是场景切换帧时，确定对当前帧进行运动估计补偿时域滤波处理。
84.滤波处理单元23被配置为当确定对当前帧进行运动估计补偿时域滤波时，基于当前帧是否是场景切换帧从当前帧在所述视频中的近邻帧中确定至少一帧，基于所述至少一帧对当前帧进行运动估计补偿时域滤波处理。
85.在本公开的示例性实施例中，当前帧在所述视频中的近邻帧可包括当前帧在所述视频中的第一预设数量个前向帧和/或第二预设数量个后向帧。
86.在本公开的示例性实施例中，如图3所示，滤波处理单元23可包括：第一确定单元231，被配置为当当前帧是场景切换帧时，基于当前帧在所述视频中的第五预设数量个后向帧中是否存在场景切换帧，从当前帧在所述视频中的第五预设数量个后向帧中确定用于对当前帧进行运动估计补偿时域滤波处理的至少一帧；第二确定单元232，被配置为当当前帧不是场景切换帧时，基于当前帧在所述视频中的第六预设数量个前向帧和/或第七预设数量个后向帧中是否存在场景切换帧，从当前帧在所述视频中的第六预设数量个前向帧和/或第七预设数量个后向帧中确定用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
87.在本公开的示例性实施例中，第一确定单元231可被配置为：当当前帧在所述视频中的第五预设数量个后向帧中不存在场景切换帧时，将当前帧在所述视频中的第五预设数量个后向帧中的至少一帧确定为用于对当前帧进行运动估计补偿时域滤波处理的至少一
帧；当当前帧在所述视频中的第五预设数量个后向帧中存在场景切换帧时，从存在的场景切换帧中选择与当前帧最近邻的场景切换帧，将当前帧与最近邻的场景切换帧之间的帧中的至少一帧确定为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
88.在本公开的示例性实施例中，第二确定单元232可被配置为：当当前帧在所述视频中的第六预设数量个前向帧中存在场景切换帧并且第七预设数量个后向帧中存在场景切换帧时，从存在的场景切换帧中选择与当前帧最近邻的前向场景切换帧和后向场景切换帧，从前向场景切换帧与后向场景切换帧之间选择用于对当前帧进行运动估计补偿时域滤波处理的至少一帧；当当前帧在所述视频中的第六预设数量个前向帧中不存在场景切换帧并且第七预设数量个后向帧中存在场景切换帧时，从存在的场景切换帧中选择与当前帧最近邻的后向场景切换帧，从第六预设数量个前向帧以及当前帧与后向场景切换帧之间选择用于对当前帧进行运动估计补偿时域滤波处理的至少一帧；当当前帧在所述视频中的第六预设数量个前向帧中存在场景切换帧并且第七预设数量个后向帧中不存在场景切换帧时，从存在的场景切换帧中选择与当前帧最近邻的前向场景切换帧，从第七预设数量个后向帧以及前向场景切换帧与当前帧之间选择用于对当前帧进行运动估计补偿时域滤波处理的至少一帧；当当前帧在所述视频中的第六预设数量个前向帧中不存在场景切换帧并且第七预设数量个后向帧中不存在场景切换帧时，从第六预设数量个前向帧和第七预设数量个后向帧中选择用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
89.在本公开的示例性实施例中，第二确定单元232可被配置为：当当前帧在所述视频中的第六预设数量个前向帧中存在场景切换帧并且第七预设数量个后向帧中存在场景切换帧时，从前向场景切换帧与当前帧之间选择至少一帧；从当前帧与后向场景切换帧之间选择至少一帧；将从前向场景切换帧与当前帧之间选择的至少一帧和从当前帧与后向场景切换帧之间选择的至少一帧作为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
90.在本公开的示例性实施例中，第二确定单元232可被配置为：当当前帧在所述视频中的第六预设数量个前向帧中不存在场景切换帧并且第七预设数量个后向帧中存在场景切换帧时，从第六预设数量个前向帧中选择至少一帧；从当前帧与后向场景切换帧之间选择至少一帧；将从第六预设数量个前向帧中选择的至少一帧和从当前帧与后向场景切换帧之间选择的至少一帧作为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
91.在本公开的示例性实施例中，第二确定单元232可被配置为：当当前帧在所述视频中的第六预设数量个前向帧中存在场景切换帧并且第七预设数量个后向帧中不存在场景切换帧时，从第七预设数量个后向帧中选择至少一帧；从前向场景切换帧与当前帧之间选择至少一帧；将从第七预设数量个后向帧中选择的至少一帧和从前向场景切换帧与当前帧之间选择的至少一帧作为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
92.在本公开的示例性实施例中，第二确定单元232可被配置为：当当前帧在所述视频中的第六预设数量个前向帧中不存在场景切换帧并且第七预设数量个后向帧中不存在场景切换帧时，从第六预设数量个前向帧中选择至少一帧；从第七预设数量个后向帧中选择至少一帧；将从第六预设数量个前向帧中选择的至少一帧和从第七预设数量个后向帧中选择的至少一帧作为用于对当前帧进行运动估计补偿时域滤波处理的至少一帧。
93.关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法
的实施例中进行了详细描述，此处将不做详细阐述说明。
94.以上已经结合图2和图3对根据本公开的示例性实施例的视频的时域滤波装置进行了描述。接下来，结合图4对根据本公开的示例性实施例的电子设备进行描述。
95.图4是根据本公开的示例性实施例的电子设备400的框图。
96.参照图4，电子设备400包括至少一个存储器401和至少一个处理器402，所述至少一个存储器401中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器402执行时，执行根据本公开的示例性实施例的视频的时域滤波的方法。
97.在本公开的示例性实施例中，电子设备400可以是pc计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备400并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备400还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。
98.在电子设备400中，处理器402可包括中央处理器(cpu)、图形处理器(gpu)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
99.处理器402可运行存储在存储器401中的指令或代码，其中，存储器401还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。
100.存储器401可与处理器402集成为一体，例如，将ram或闪存布置在集成电路微处理器等之内。此外，存储器401可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器401和处理器402可在操作上进行耦合，或者可例如通过i/o端口、网络连接等互相通信，使得处理器402能够读取存储在存储器中的文件。
101.此外，电子设备400还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备400的所有组件可经由总线和/或网络而彼此连接。
102.根据本公开的示例性实施例，还提供一种包括指令的计算机可读存储介质，例如包括指令的存储器401，上述指令可由装置400的处理器402执行以完成上述方法。可选地，计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
103.根据本公开的示例性实施例，还可提供一种计算机程序产品，该计算机程序产品包括计算机程序/指令，当所述计算机程序/指令被处理器执行时，实现根据本公开的示例性实施例的视频的时域滤波的方法。
104.以上已参照图1至图4描述了根据本公开的示例性实施例的视频的时域滤波方法及装置、电子设备、存储介质。然而，应该理解的是：图2和图3中所示的视频的时域滤波装置及其单元可分别被配置为执行特定功能的软件、硬件、固件或上述项的任意组合，图4中所示的电子设备并不限于包括以上示出的组件，而是可根据需要增加或删除一些组件，并且以上组件也可被组合。
105.根据本公开的视频的时域滤波方法及装置，通过首先确定视频的当前帧的帧类型，基于所述帧类型确定是否对当前帧进行运动估计补偿时域滤波处理，当确定对当前帧
进行运动估计补偿时域滤波时，基于当前帧是否是场景切换帧从当前帧在所述视频中的近邻帧中确定至少一帧，然后基于所述至少一帧对当前帧进行运动估计补偿时域滤波处理，从而实现针对非固定帧类型结构的运动估计补偿时域滤波，提高运动估计补偿时域滤波的效果，并且可提高编码收益和编码性能。
106.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
107.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。