多源异构视频的内容帧提取方法、装置、设备及存储介质与流程

本发明涉及视频处理，具体而言，涉及一种多源异构视频的内容帧提取方法、装置、设备及存储介质。

背景技术：

1、随着互联网中视频的爆发增长，视频内容出现了多种多样的形式，分析视频内容不再局限在整帧图像，例如画中画视频、局部图像有效的手机视频，黑边视频，整帧图像中局部区域也是完整的图像。对于大量的加工变形过的视频图像，无法通过现有算法进行分别提取整帧图像和局部图像的关键帧，分析计算过程中整帧图像和局部图像二者相互干扰，无法提取正确的关键帧。

2、且现有技术中，常见方案用关键帧来表示镜头的内容，关键帧是视频压缩技术中的概念，对视频帧进行编码时，将视频帧分为多个视频帧组，每一组有n个视频帧，一个视频帧组只有一个关键帧，一般为视频帧组中的第一帧，其它帧是由关键帧i计算出来的向后预测帧p或双向预测帧b。有些图像内容是在预测帧中出现的，而没有出现在关键帧里。因此，现有技术中提取的关键帧难以完整表达镜头的内容。

技术实现思路

1、本发明实施例提供了一种多源异构视频的内容帧提取方法、装置、设备及存储介质，以至少解决相关技术中整帧图像和局部图像二者相互干扰，无法提取正确的关键帧的技术问题。

2、根据本发明实施例的一个方面，提供了一种多源异构视频的内容帧提取方法，包括：对待处理的原始视频进行解帧，得到原始帧序列；检测所述原始帧序列中是否存在处理痕迹，在所述原始帧序列中存在处理痕迹时，提取包含处理痕迹的图像中的局部目标图像，得到局部帧序列；分别对所述原始帧序列和所述局部帧序列进行镜头分割，得到原始镜头序列和局部镜头序列；对每个原始镜头提取内容帧，得到原始内容帧序列；对每个局部镜头提取内容帧，得到局部内容帧序列；其中，所述内容帧是指表示镜头内容的帧，包括首帧、尾帧、和n个中间帧，n为自然数，所述中间帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当所述差异率大于预设阈值时得到。

3、根据本发明实施例的另一方面，还提供了一种多源异构视频的内容帧提取装置，包括：解帧模块，用于对待处理的原始视频进行解帧，得到原始帧序列；局部图像提取模块，用于检测所述原始帧序列中是否存在处理痕迹，在所述原始帧序列中存在处理痕迹时，提取包含处理痕迹的图像中的局部目标图像，得到局部帧序列；镜头分割模块，用于分别对所述原始帧序列和所述局部帧序列进行镜头分割，得到原始镜头序列和局部镜头序列；内容帧提取模块，用于对每个原始镜头提取内容帧，得到原始内容帧序列；对每个局部镜头提取内容帧，得到局部内容帧序列；其中，所述内容帧是指表示镜头内容的帧，包括首帧、尾帧、和n个中间帧，n为自然数，所述中间帧通过对一个镜头的除首尾两帧之外的所有子帧顺序与其前一个内容帧进行差异率计算，当所述差异率大于预设阈值时得到。

4、根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的多源异构视频的内容帧提取方法。

5、根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述多源异构视频的内容帧提取方法。

6、本申请实施例提供的技术方案可以包括以下有益效果：

7、本申请实施例提供的多源异构视频的内容帧提取方法，对于待处理的原始视频，一方面提取原始视频的内容帧序列，一方面在所述原始帧序列中存在处理痕迹时，提取包含处理痕迹的图像中的局部目标图像，得到局部帧序列，提取局部帧序列的内容帧。通过对整帧图像和局部图像分别提取分析，可以避免整帧图像和局部图像二者之间相互干扰，降低了加工变形对图像内容分析的干扰，提高了内容帧提取的准确率，使来自不同文件，且内容存在多种变化的视频图像可以进行相似性比对，为图像内容关联分析提供了前提条件。且本申请的内容帧不同于现有技术中的关键帧，虽然只选取了部分视频图像帧作为内容帧，但是能完整的表达镜头的所有内容，解决了现有技术中的关键帧无法完整表示镜头内容的问题。

技术特征：

1.一种多源异构视频的内容帧提取方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，分别对所述原始帧序列和所述局部帧序列进行镜头分割之前，还包括：

3.根据权利要求2所述的方法，其特征在于，分别对所述原始帧序列和所述局部帧序列进行归一化处理，包括：

4.根据权利要求1所述的方法，其特征在于，检测所述原始帧序列中是否存在处理痕迹，在所述原始帧序列中存在处理痕迹时，提取包含处理痕迹的图像中的局部目标图像，包括：

5.根据权利要求1所述的方法，其特征在于，检测所述原始帧序列中是否存在处理痕迹，在所述原始帧序列中存在处理痕迹时，提取包含处理痕迹的图像中的局部目标图像，包括：

6.根据权利要求1所述的方法，其特征在于，检测所述原始帧序列中是否存在处理痕迹，在所述原始帧序列中存在处理痕迹时，提取包含处理痕迹的图像中的局部目标图像，包括：

7.根据权利要求1所述的方法，其特征在于，检测所述原始帧序列中是否存在处理痕迹，在所述原始帧序列中存在处理痕迹时，提取包含处理痕迹的图像中的局部目标图像，包括：

8.一种多源异构视频的内容帧提取装置，其特征在于，包括：

9.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。

10.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至7任一项中所述的方法。

技术总结
本申请公开了一种多源异构视频的内容帧提取方法、装置、设备及存储介质，方法包括：对待处理的原始视频进行解帧，得到原始帧序列；在原始帧序列中存在处理痕迹时，提取包含处理痕迹的图像中的局部目标图像，得到局部帧序列；分别对原始帧序列和局部帧序列进行镜头分割，得到原始镜头序列和局部镜头序列；对每个原始镜头提取内容帧，得到原始内容帧序列；对每个局部镜头提取内容帧，得到局部内容帧序列。本申请可以对分辨率、幅形比等不一致的多源视频进行归一化，可以对画中画、带框视频等加工变形后的视频进行局部图像提取，降低了加工变形对图像内容分析的干扰，使来自不同文件且内容存在多种变化的视频可以进行相似性比对，为图像内容关联分析提供了前提条件。

技术研发人员：汪昭辰,刘世章
受保护的技术使用者：青岛尘元科技信息有限公司
技术研发日：
技术公布日：2024/1/15