一种视频关键帧的提取方法、装置及系统与流程

本发明涉及视频处理技术领域，特别涉及一种视频关键帧的提取方法、装置及系统。

背景技术：

帧是动画中最小单位的单幅影像画面，相当于电影胶片上的每一格镜头。在动画软件的时间轴上，帧表现为一格或一个标记。关键帧相当于二维动画中的原画，指角色或者物体运动或变化中的关键动作所处的那一帧。

而目前并没有一种方法，能够准确的从视频中提取关键帧，因此，如何提供一种视频关键帧的提取方法、装置及系统，能够准确提取视频关键帧，是本领域技术人员亟待解决的一大技术问题。

技术实现要素：

本发明提供了一种视频关键帧的提取方法、装置及系统，能够准确提取视频关键帧。

为实现所述目的，本申请提供的技术方案如下：

一种视频关键帧的提取方法，包括：

获取待提取关键帧的目标视频；

获取所述目标视频中每一帧的hsv颜色空间；

计算相邻两帧的差值，得到目标差分数组；

基于所述目标差分数组，确定出目标关键帧。

可选的，还包括：

对所述目标关键帧打标签，确定所述目标关键帧的标签为所述目标视频的标签。

可选的，所述基于所述目标差分数组，确定出目标关键帧，包括：

基于第一预设平滑函数以及所述目标差分数组，得到目标帧变化图；

确定所述目标帧变化图中所述差分值的峰值对应的帧为所述目标关键帧。

可选的，所述基于所述目标差分数组，确定出目标关键帧，还包括：

对所述目标差分数组中各差分值进行排序，确定排序符合第一预设规则的所述差分值对应的帧为所述目标关键帧。

可选的，还包括：

基于第二预设平滑函数，确定所述目标关键帧中符合第二预设规则的所述目标关键帧为目标主题帧；

基于所述目标主题帧，划分所述目标视频。

一种视频关键帧的提取装置，包括：

第一获取模块，用于获取待提取关键帧的目标视频；

第二获取模块，用于获取所述目标视频中每一帧的hsv颜色空间；

计算模块，用于计算相邻两帧的差值，得到目标差分数组；

第一确定模块，用于基于所述目标差分数组，确定出目标关键帧。

可选的，还包括：

第二确定模块，用于对所述目标关键帧打标签，确定所述目标关键帧的标签为所述目标视频的标签。

可选的，所述第一确定模块包括：

第一确定单元，用于基于第一预设平滑函数以及所述目标差分数组，得到目标帧变化图；

第二确定单元，用于确定所述目标帧变化图中所述差分值的峰值对应的帧为所述目标关键帧。

可选的，所述第一确定模块还包括：

第三确定单元，用于对所述目标差分数组中各差分值进行排序，确定排序符合第一预设规则的所述差分值对应的帧为所述目标关键帧。

可选的，还包括：

第二确定模块，用于基于第二预设平滑函数，确定所述目标关键帧中符合第二预设规则的所述目标关键帧为目标主题帧；

划分模块，用于基于所述目标主题帧，划分所述目标视频。

一种视频关键帧的提取系统，包括任意一项上述的视频关键帧的提取装置。

本发明提供了一种视频关键帧的提取方法，首先获取待提取关键帧的目标视频，然后获取所述目标视频中每一帧的hsv颜色空间。之后计算相邻两帧的差值，得到目标差分数组，并基于所述目标差分数组，确定出目标关键帧。可见，本方案提供了一种视频关键帧的提取方法，能够准确提取视频关键帧。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种视频关键帧的提取方法的流程示意图；

图2为本发明实施例提供的一种视频关键帧的提取方法的又一流程示意图；

图3为本发明实施例提供的一种视频关键帧的提取方法的又一流程示意图；

图4为本发明实施例提供的一种视频关键帧的提取方法的又一流程示意图；

图5为本发明实施例提供的一种视频关键帧的提取方法的又一流程示意图；

图6为本发明实施例提供的一种视频关键帧的提取装置的结构示意图；

图7为本发明实施例提供的一种视频关键帧的提取装置的又一结构示意图；

图8为本发明实施例提供的一种视频关键帧的提取装置的又一结构示意图；

图9为本发明实施例提供的一种视频关键帧的提取装置的又一结构示意图；

图10为本发明实施例提供的一种视频关键帧的提取装置的又一结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

请参阅图1，图1为本发明实施例提供的一种视频关键帧的提取方法的流程示意图，该视频关键帧的提取方法包括：

s11、获取待提取关键帧的目标视频；

其中，在本实施例中，可以利用opencv将待提取关键帧的目标视频读取到内存中。

s12、获取所述目标视频中每一帧的hsv颜色空间；

然后逐帧读取上述的目标视频，获得每一帧图像的rgb数据，然后将每一帧图像的rgb数据转换成hsv颜色空间。

具体的，可以使用python的opencv库中封装的方法实现从rgb到hsv颜色空间的转换，例如：cv2.cvtcolor(frame,cv2.color_bgr2luv)。

s13、计算相邻两帧的差值，得到目标差分数组；

步骤s12得到了每一帧的hsv颜色空间，本步骤是将步骤s12处理之后的一帧与前一帧视频做差，将差值转换成整数，然后计算得到的全部整数存入数组，形成目标差分数组。

具体的，在依次读取视频帧后，将后一帧(帧是以矩阵的形式存储的)与前一帧的矩阵做差，然后将做差之后的矩阵利用numpy包封装的sum方法把矩阵元素计算成一个整数值，用来代替矩阵差作两帧差并存入数组，之后遍历完所有的视频帧，即可得到目标差分数组。

s14、基于所述目标差分数组，确定出目标关键帧。

在本实施例中，提供了几种基于目标差分数组，确定出目标关键帧的具体实现步骤，如下：

方式一，如图2所示，包括：

s21、基于第一预设平滑函数以及所述目标差分数组，得到目标帧变化图；

s22、确定所述目标帧变化图中所述差分值的峰值对应的帧为所述目标关键帧。

在本实施例中，首先利用第一平滑函数消除两帧差距较大的误差，得到较为平滑的目标帧变化图，然后根据上述目标帧变化图，得到图中变化较大的帧，选为关键帧。

具体的，本实施例中，“变化较大”指的就是帧差越大，因此本方案是在得到了平滑后的目标帧变化图后，只需使用封装的argrelextrema函数就可以取得离散序列极值点，即峰值，从而作为目标关键帧。

方式二，如图3所示，包括：

s31、对所述目标差分数组中各差分值进行排序，确定排序符合第一预设规则的所述差分值对应的帧为所述目标关键帧。

例如，在提取关键帧时，直接将目标差分数组里面数值前10的帧确定为目标关键帧。当然10只是为了举例，还可以为其他数值，如6、12等等。

除此，在本实施例中，还可以根据临界函数值来确定目标关键帧，具体的为：提取关键帧时，用差分进行函数计算(x＝(b-a)/max(a,b)，x>0.6)，得到目标关键帧。

综上，本方案提供了一种视频关键帧的提取方法，能够准确的提取色差单调、变化迅速的视频的关键帧，准确率高。例如，直接选取峰值前十，利用平滑函数处理之后的帧差图可以有效的避免图像上的噪声和失真，提高了准确率，减少了非关键帧的提取和关键帧的遗漏，提高完整性。

在上述实施例的基础上，本实施例在确定了目标关键帧之后，还提供了几种基于目标关键帧的应用，例如，对目标关键帧打标签，以使目标关键帧对视频具有一定的指示作用。除此，还可以将目标关键帧确定为目标主题帧，以实现基于该目标主题帧，对视频的划分，等等。

具体的，结合图4，对本实施例提供的一种视频关键帧的提取方法的应用一进行介绍，包括：

s41、对所述目标关键帧打标签，确定所述目标关键帧的标签为所述目标视频的标签。

其中，对目标关键帧打标签的过程如下：

将关键帧保存为图片，并上传至打标签系统打上标签返回。具体的，打标签系统可以为开源图片的打标签系统，即利用post请求将图片作为参数，发送请求，会得到标签结果的json串。

例如：

posthttps://imm.cn-shanghai.aliyuncs.com

？action＝detectimagetags

&project＝test-project

&imageuri＝oss://imm-test/testcases/cat.jpg

在对目标关键帧打标签之后，将所有得到的标签作为视频的标签。可见，本实施例可以将视频中的关键部分的图片打上标签，例如标签可以黑色，猫，士兵等等，从而用标签概括视频。

除此，结合图5，对本实施例提供的一种视频关键帧的提取方法的应用二进行介绍，包括：

s51、基于第二预设平滑函数，确定所述目标关键帧中符合第二预设规则的所述目标关键帧为目标主题帧；

s52、基于所述目标主题帧，划分所述目标视频。

在本实施例中，可以根据差分数组的数值大小，选取前6作为变化时间点，利用这些时间点切分视频主题。需要说明的是，在本实施例中，前6是经验值，也可以是客户需求值。

还可以利用平滑函数消除两帧差距较大的误差，得到较为平滑的帧变化图。根据平滑函数得出的帧变化图，得到图中变化较大的帧，选为关键帧。将关键帧二次运用平滑函数，在关键帧中筛选差异较大的帧作为主题帧。

本实施例通过确定目标主题帧，对视频进行分段，例如可以形成：一段广告，前面0-5秒是展示产品，后面10-30秒是代言人画面，最后5秒是logo页面，从而能在最快时间内了解视频内容梗概。

在上述实施例的基础上，如图6所示，本实施例还提供了一种视频关键帧的提取装置，包括：

第一获取模块61，用于获取待提取关键帧的目标视频；

第二获取模块62，用于获取所述目标视频中每一帧的hsv颜色空间；

计算模块63，用于计算相邻两帧的差值，得到目标差分数组；

第一确定模块64，用于基于所述目标差分数组，确定出目标关键帧。

除此，如图7所示，本实施例提供的视频关键帧的提取装置，还包括：

第二确定模块71，用于对所述目标关键帧打标签，确定所述目标关键帧的标签为所述目标视频的标签。

具体的，如图8所示，本实施提供的视频关键帧的提取装置中，所述第一确定模块64包括：

第一确定单元81，用于基于第一预设平滑函数以及所述目标差分数组，得到目标帧变化图；

第二确定单元82，用于确定所述目标帧变化图中所述差分值的峰值对应的帧为所述目标关键帧。

除此，如图9所示，本实施提供的视频关键帧的提取装置中，所述第一确定模块64还包括：

第三确定单元91，用于对所述目标差分数组中各差分值进行排序，确定排序符合第一预设规则的所述差分值对应的帧为所述目标关键帧。

更进一步的，本实施例提供的视频关键帧的提取装置，如图10所示，还包括：

第二确定模块101，用于基于第二预设平滑函数，确定所述目标关键帧中符合第二预设规则的所述目标关键帧为目标主题帧；

划分模块102，用于基于所述目标主题帧，划分所述目标视频。

该装置的工作原理请参见上述方法实施例，在此不重复叙述。

除此，本实施例还提供了一种视频关键帧的提取系统，包括任意一项上述的视频关键帧的提取装置，该系统的工作原理请参见上述张纸实施例，在此不重复叙述。

综上，本发明提供了一种视频关键帧的提取方法、装置及系统，该提取方法首先获取待提取关键帧的目标视频，然后获取所述目标视频中每一帧的hsv颜色空间。之后计算相邻两帧的差值，得到目标差分数组，并基于所述目标差分数组，确定出目标关键帧。可见，本方案提供了一种视频关键帧的提取方法，能够准确提取视频关键帧。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。