基于四叉树与先验轨迹的视频抽帧方法和系统与流程

本申请涉及增强现实领域，特别是涉及一种基于四叉树与先验轨迹的视频抽帧方法、系统、电子设备和存储介质。

背景技术：

1、视频流由一组时间连续的图像组成，视频流包括短时间内同一位置大量的信息，从而使视觉算法需要处理更多的冗余信息。因此，部分视觉算法需要对视频流进行抽帧，以选择包含主要信息的图像帧，同时尽可能减少与候选图像具有相同信息的冗余图像。

2、在相关技术中，基于视频流帧率进行均匀抽帧，即每隔n帧选取一张候选图像用于视觉算法处理。该种抽帧方式由于只有采用时序策略，对于一些空间上在某一个地方停留或者反复经过时无法滤除多余的信息。

技术实现思路

1、本申请实施例提供了一种基于四叉树与先验轨迹的视频抽帧方法、系统、计算机设备和计算机可读存储介质，以至少解决相关技术中抽帧方法存在大量重复无用信息的问题。

2、第一方面，本申请实施例提供了一种基于四叉树与先验轨迹的视频抽帧方法，所述方法包括：

3、根据目标视频的先验轨迹生成二维投影平面；

4、基于四叉树分割所述二维投影平面，得到多个投影区域；

5、获取所述目标视频的各个图像帧在所述二维投影平面上对应的投影点，并将所述投影点分类至所述投影区域；

6、基于所述投影区域中的投影点，获取各个所述投影区域的基准图像和候选图像，并根据各个所述投影区域的基准图像和候选图像，生成所述目标视频的抽帧结果。

7、在其中一些实施例中，基于投影区域中的投影点，获取各个投影区域的基准图像和候选图像包括：

8、获取各个所述投影区域中投影点对应在所述目标视频中的图像帧，并基于预设规则，从所述投影区域的图像帧中获取所述投影区域的基准图像；

9、根据所述投影区域的基准图像，与所述投影区域内其他图像帧之间的相对位移和相对旋转，得到所述投影区域的的候选图像。

10、在其中一些实施例中，基于预设规则，从所述投影区域的图像帧中获取所述投影区域的基准图像包括：

11、根据所述投影区域内的投影点对应的图像帧的高度信息，将所述投影区域内投影点对应的图像帧划分为多个图像组；

12、分别对各个所述图像组内的图像帧进行特征提取，得到所述图像组内各个图像帧对应的图像特征；

13、根据所述图像组内各个图像帧对应的图像特征，从所述图像组中的所有图像帧中选取图像组基准图像，

14、基于所有所述投影区域内所有的图像组基准图像，得到所述投影区域的基准图像。

15、在其中一些实施例中，所述图像特征包括：特征点数量、特征点区分度和特征点均匀度，

16、其中，根据所述图像组内各个图像帧对应的图像特征，从所述图像组中的所有图像帧中选取图像组基准图像包括：

17、基于所述图像组内各个图像帧对应的特征点数量、特征点区分度和特征点均匀度，进行加权运算，得到所述图像组内各个图像帧的特征评分；

18、在所述图像组内的所有图像帧中，获取所述特征评分最高的目标图像，得到所述图像组基准图像。

19、在其中一些实施例中，根据所述投影区域的基准图像，与所述投影区域内其他图像帧之间的相对位移和相对旋转，得到所述投影区域的的候选图像包括：

20、根据所述投影区域内的投影点对应的图像帧的高度信息，将所述投影区域内投影点对应的图像帧划分为多个图像组；

21、分别获取所述投影区域内各个图像组的基准图像，基于各个所述图像组的基准图像与所述图像组内其他图像帧之间的相对位移和相对旋转，得到图像组候选图像；

22、基于所述投影区域内各个图像组候选图像，得到所述投影区域的候选图像。

23、在其中一些实施例中，基于所述各个图像组的基准图像与所述图像组内其他图像帧之间的相对位移和相对旋转，得到图像组候选图像包括：

24、在所述图像组内，获取所述相对位移大于位移阈值的目标图像帧，得到第一图像帧集合；

25、在所述图像组内，获取所述相对位移小于位移阈值，且相对旋转大于角度阈值的目标图像帧，得到第二图像帧集合；

26、基于所述第一图像帧集合和所述第二图像帧结合，得到所述图像组候选图像。

27、在其中一些实施例中，根据目标视频的先验轨迹确定二维投影平面包括：

28、根据所述先验轨迹获取所述目标视频内各个图像帧的全局位姿；

29、根据所述目标视频内各个图像帧的全局位姿之间的位移量，获取全局坐标系下x轴极值和y轴极值；

30、基于所述x轴极值和所述y轴极值，确定所述二维投影平面。

31、第二方面，本申请实施例提供了一种基于四叉树与先验轨迹的视频抽帧系统，所述系统包括：区域划分模块、投影点分类模块和抽帧结果获取模块，其中：

32、所述区域划分模块用于，根据目标视频的先验轨迹生成二维投影平面，

33、以及，基于四叉树分割所述二维投影平面，得到多个投影区域；

34、所述投影点分类模块，用于获取所述目标视频的各个图像帧在所述二维投影平面上对应的投影点，并将所述投影点分类至所述投影区域；

35、所述抽帧结果获取模块，用于根据所述投影区域中的投影点，获取各个投影区域的基准图像和候选图像，并基于各个所述投影区域的基准图像和候选图像，生成所述目标视频的抽帧结果。

36、第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。

37、第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的方法。

38、相比于相关技术，本申请实施例提供的基于四叉树与先验轨迹的视频抽帧方法，根据目标视频的先验轨迹生成二维投影平面；基于四叉树分割二维投影平面，得到多个投影区域；获取目标视频的各个图像帧在二维投影平面上对应的投影点，并将投影点分类至投影区域；基于投影区域中的投影点，获取各个投影区域的基准图像和候选图像，并根据各个投影区域的基准图像和候选图像，生成目标视频的抽帧结果。本申请结合四叉树对二维平面进行分割，在各个区域之间提供全局信息，解决了现有技术中抽帧方法存重复性较高的问题，实现了高效准确的视频抽帧。

技术特征：

1.一种基于四叉树与先验轨迹的视频抽帧方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，基于投影区域中的投影点，获取各个投影区域的基准图像和候选图像包括：

3.根据权利要求2所述的方法，其特征在于，基于预设规则，从所述投影区域的图像帧中获取所述投影区域的基准图像包括：

4.根据权利要求3所述的方法，其特征在于，所述图像特征包括：特征点数量、特征点区分度和特征点均匀度，

5.根据权利要求2所述的方法，其特征在于，根据所述投影区域的基准图像，与所述投影区域内其他图像帧之间的相对位移和相对旋转，得到所述投影区域的的候选图像包括：

6.根据权利要求5所述的方法，其特征在于，基于所述各个图像组的基准图像与所述图像组内其他图像帧之间的相对位移和相对旋转，得到图像组候选图像包括：

7.根据权利要求1所述的方法，其特征在于，根据目标视频的先验轨迹确定二维投影平面包括：

8.一种基于四叉树与先验轨迹的视频抽帧系统，其特征在于，所述系统包括：区域划分模块、投影点分类模块和抽帧结果获取模块，其中：

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的方法。

技术总结
本申请涉及一种基于四叉树与先验轨迹的视频抽帧方法，根据视频的先验轨迹确定二维平面，再通过四叉树分割对该二维平面，在较小算力消耗的前提下，利用四叉树多维空间数据的特性以及层次结构，使得先验轨迹中的所有位姿数据与全局信息有机结合，以提供准确的全局信息，进而使得各个区域的抽帧结果在全局上产生关联。相比较于均匀抽帧方法和利用先验轨迹抽帧，仅能实现局部关联的方法，本申请方案利用四叉树分割建立全局关联，因此，能够避免局部大量图像帧被重复选择，从整体上提升视频抽帧结果的准确性和有效性，为视觉定位、图像处理等提供更加准确的数据支持。

技术研发人员：万旭东,丛林
受保护的技术使用者：杭州易现先进科技有限公司
技术研发日：
技术公布日：2024/2/6