视频的关键帧提取方法、计算机可读存储介质及电子设备与流程

本发明涉及视频处理，更具体的说，本发明涉及一种视频的关键帧提取方法、计算机可读存储介质及电子设备。

背景技术：

1、视频可以包括一连串的视频帧，每个视频帧包含图像场景的视频快照。一连串的视频帧可以以适当的帧速率在显示器上再现，以提供视频的回放。

2、视频系统可以包括提取视频的视频帧子集以用作关键帧的能力。例如，可以从视频中提取一组关键帧从而为视频构建情节串连图板(storyboard)。通过将所提取的关键帧再现为一连串的缩略图像来构建情节串连图板，一连串的缩略图像向观众提供视频内容的可视指示。

3、在部件级实景三维中，常常使用无人机对部件（如建筑物等）通过倾斜摄影、优视摄影等进行视频数据的采集。然后从采集的数据中选取关键帧，并围绕关键帧对部件进行三维建模。因此关键帧的提取对于部件级的实景三维建模至关重要。

技术实现思路

1、为了克服现有技术的不足，本发明提供一种视频的关键帧提取方法，该方法使得关键帧的提取更加准确，减小了计算量。

2、本发明解决其技术问题所采用的技术方案是：一种视频的关键帧提取方法，其改进之处在于，该方法包括以下的步骤：

3、s10、特征提取与聚类，通过预训练模型resnet-18对无人机影像的每一帧进行特征提取，并对无人机影像中的帧进行聚类；

4、s20、时间分割初始化，将聚类后的帧映射到原影像中的位置，获得时间分割；

5、s30、关键帧初始化，在每一个时间分割中通过基于信息熵的目标函数，计算提取能够有效表达该时间分割的帧，作为初始化的视频关键帧；

6、s40、时间分割的更新，通过相邻帧之间的关系，进行时间分割的更新和关键帧的提取，重新确定每一对相邻关键帧之间的边界，完成时间分割的更新；

7、s50、关键帧的更新，采用步骤s30中的方式进行关键帧的提取；

8、s60、迭代更新，迭代步骤s40的时间分割的更新和步骤s50的关键帧的更新，直至时间分割不再更新时迭代停止。

9、进一步的，步骤s10中，采用预训练模型resnet-18对无人机影像的每一帧进行pool5层的特征提取，特征维度为512维；

10、此后采用dbscan对无人机影像中的帧进行聚类，获得多个聚类。

11、进一步的，步骤s20中，获得多个时间分割。

12、进一步的，步骤s30包括以下步骤：

13、s301、设定某时间分割中的视频帧的集合为a，从a中提取的关键帧为，该时间分割中剩余的帧，其中\表示为去除计算，其目标函数为：

14、；

15、其中，h1(p|q)为变量集合q条件下变量p的信息熵，|表示条件；

16、s302、步骤s301中目标函数的求解，使用贪婪的方式遍历该时间分割中的每一个帧，来获得关键帧；同时求解过程中使用resnet-18提取的各帧的特征向量进行条件熵的计算；

17、s303、步骤s302中使用高斯过程，特征向量集合q条件下特征向量p的信息熵h1(p|q)：

18、；

19、；

20、其中，k(•,•)为两个特征向量的协方差计算。

21、进一步的，步骤s40中，包括以下步骤：

22、s401、设定两个关键帧及其之间的帧构成的集合为b，一个边界将其划分为左半边和右半边，其目标函数表示为：

23、；

24、其中，h2(p|q)为变量集合q条件下变量集合p的信息熵；

25、s402、步骤s401中目标函数的求解，使用贪婪的方式遍历集合b的每一种划分，以获取最优划分；同时求解过程中使用resnet-18提取各帧的特征向量进行条件熵的计算；

26、s403、特征向量集合q条件下特征向量集合p的信息熵h2(p|q)：

27、；

28、；

29、其中，k(•,•)为两个特征向量的协方差计算；

30、s404、依次重新确定每一对关键帧之间的边界，完成时间分割的更新。

31、进一步的，所述步骤s50中，在时间分割和关键帧的提取中，大量使用两帧的协方差，通过提前计算两帧之间的协方差并进行存储。

32、进一步的，步骤s50中，迭代步骤s40的时间分割的更新和步骤s50的关键帧的更新时，计算中通过查询的方式获得两帧之间的协方差。

33、进一步的，步骤s60中，迭代结束时的关键帧则是最终的关键帧，该关键帧用于部件级的实景三维建模。

34、本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其改进之处在于，所述计算机程序被处理器执行时实现如上所述的视频的关键帧提取方法。

35、本发明还提供了一种电子设备，其改进之处在于，包括：

36、处理器；

37、存储器，用于存储所述处理器的可执行指令；

38、其中，所述处理器配置为经由执行所述可执行指令来执行如上所述的视频的关键帧提取方法。

39、本发明的有益效果是：本发明采用分级提取的方式，先对视频进行时间分割，再在时间分割中提取关键帧，相比整个视频中提取关键帧，对视频进行粗精度（时间分割）到细粒度（帧）的逐层分析，使得关键帧提取更加准确，同时也使得计算量减小。

技术特征：

1.一种视频的关键帧提取方法，其特征在于，该方法包括以下的步骤：

2.根据权利要求1所述的视频的关键帧提取方法，其特征在于，步骤s10中，采用预训练模型resnet-18对无人机影像的每一帧进行pool5层的特征提取，特征维度为512维；

3.根据权利要求2所述的视频的关键帧提取方法，其特征在于，步骤s20中，获得多个时间分割。

4.根据权利要求2所述的视频的关键帧提取方法，其特征在于，步骤s30包括以下步骤：

5.根据权利要求4所述的视频的关键帧提取方法，其特征在于，步骤s40中，包括以下步骤：

6.根据权利要求5所述的视频的关键帧提取方法，其特征在于，所述步骤s50中，在时间分割和关键帧的提取中，大量使用两帧的协方差，通过提前计算两帧之间的协方差并进行存储。

7.根据权利要求6所述的视频的关键帧提取方法，其特征在于，步骤s50中，迭代步骤s40的时间分割的更新和步骤s50的关键帧的更新时，计算中通过查询的方式获得两帧之间的协方差。

8.根据权利要求7所述的视频的关键帧提取方法，其特征在于，步骤s60中，迭代结束时的关键帧则是最终的关键帧，该关键帧用于部件级的实景三维建模。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的视频的关键帧提取方法。

10.一种电子设备，其特征在于，包括：

技术总结
本发明公开了一种视频的关键帧提取方法、计算机可读存储介质及电子设备，涉及视频处理技术领域；该方法包括以下的步骤：S10、特征提取与聚类，通过预训练模型ResNet‑18对无人机影像的每一帧进行特征提取，并对无人机影像中的帧进行聚类；S20、时间分割初始化，将聚类后的帧映射到原影像中的位置，获得时间分割；S30、关键帧初始化，提取每一个时间分割中的关键帧；S40、时间分割的更新，通过相邻帧之间的关系，进行时间分割的更新和关键帧的提取，重新确定每一对相邻关键帧之间的边界，完成时间分割的更新；S50、关键帧的更新；S60、迭代更新；本发明的有益效果是：使得关键帧的提取更加准确，减小了计算量。

技术研发人员：彭越华,李翔,王志刚,张红,廖剑,魏霞
受保护的技术使用者：江西啄木蜂科技有限公司
技术研发日：
技术公布日：2024/1/15