一种视频自动剪辑方法、装置及便携式终端与流程

本发明属于视频领域，尤其涉及一种视频自动剪辑方法、装置及便携式终端。

背景技术：

随着多媒体技术的发展，各种图像及音视频为人们的生活增添了诸多乐趣。人们在观看影片、电视剧或者自己拍摄的短片等视频文件时，通常会选择自己感兴趣的片段进行观看，但是准确的找到这些片段是比较困难的，尤其对于习惯使用移动终端观看视频的用户来说，基本使用手指在触摸屏上对进度条进行相关操作，因此观看很不方便。

传统的视频剪辑大多采用人工的方法，即由人工预览每一个待剪辑视频，自行判断一场比赛中的精彩部分，并进行剪辑。这种方法不仅使视频剪辑效率低且由于存在人为操作误差导致视频剪辑准确性低。

本发明通过预训练场景分类方法和图像质量评分方法，生成剪辑规则和流程，实现了一种视频自动剪辑的效果。

技术实现要素：

本发明提出一种视频自动剪辑方法、装置及便携式终端，旨在避免由于人为因素导致的剪辑效率低以及准确性低的问题，实现一种视频自动剪辑的效果。

第一方面，本发明提供了一种视频自动剪辑方法，所述方法包括：

获取待剪辑视频；

提取待剪辑视频的关键帧；

将关键帧输入预训练场景分类方法和预训练目标检测方法，分别得到场景类型标记和目标对象标记；

筛选满足预设剪辑规则的复数个视频段；

通过预训练图像质量评分方法分别计算复数个视频段的平均分；

分别获取每个镜头类型平均分最高的视频段进行拼接。

第二方面，本发明提供了一种视频自动剪辑装置，所述装置包括：

获取模块：用于获取待剪辑视频；

提取关键帧模块：用于提取待剪辑视频的关键帧；

标记模块：用于将关键帧输入预训练场景分类方法和预训练目标检测方法，分别得到场景类型标记和目标对象标记；

筛选模块：用于筛选满足预设剪辑规则的复数个视频段；

计算模块：用于通过预训练图像质量评分方法分别计算复数个视频段的平均分；

拼接模块：用于分别获取每个镜头类型平均分最高的视频段进行拼接。

第三方面，本发明提供了一种计算机可读存储介质，所述计算机程序被处理器执行时实现如上述的一种视频自动剪辑方法的步骤。

第四方面，本发明提供了一种便携式终端，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上述的一种视频自动剪辑方法的步骤。

在本发明中，通过预训练场景分类方法和图像质量评分方法，生成剪辑规则和流程，实现了一种视频自动剪辑的效果。本发明技术方案能够避免由于人为因素导致的剪辑效率低以及准确性低的问题，提高视频剪辑的效率。

附图说明

图1是本发明实施例一提供的一种视频自动剪辑方法流程图。

图2是本发明实施例一提供的筛选满足预设剪辑规则的视频段的流程图。

图3是本发明实施例二提供的一种视频自动剪辑模块示意图。

图4是本发明实施例三提供的便携式终端的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一：

请参阅图1，本发明实施例一提供的一种视频自动剪辑方法包括以下步骤：

s101.获取待剪辑视频；

所述待剪辑视频的数量为n个，n≥5；

需要说明的是，本申请实施例中所述待剪辑视频可以是影片、电视剧或者用户自己拍摄的短片等视频文件，还可以是其他类型或者来源的视频文件，或者是通用格式的视频文件，如mp4、insv等，本申请不做限定。

s102.提取待剪辑视频的关键帧；

提取所述待剪辑视频的关键帧可以采用但不限于使用第三方库ffmpeg提取关键帧；

需要说明的是，关键帧描述了图像背景和运动主体的信息，通过读取关键帧图像数据，可以获取到视频的图像内容；视频文件封装格式都有关键帧列表的标示，比如mp4格式视频，stssbox就是标示关键帧列表的信息，它包含了每一个关键帧的视频时刻和所处视频文件位址偏离量，通过读取stssbox信息即可获取到待剪辑视频的每一个关键帧的图像。

s103.针对关键帧采用预训练场景分类方法和预训练目标检测方法分别提取场景类型的标记和目标对象的标记；

预训练场景分类方法中场景类型有p个，可以包含但不限于街道，办公室，地铁站，机场，商店，沙滩等，p对应预设的场景类型排列的顺序，p≥100；将第i个关键帧输入预训练场景分类方法，判断关键帧的场景类型，得到场景类型的标记，记为si；si∈[0,p]；

预设的目标对象有k个，可以包含但不限于人，交通工具，美食，球类，电子设备，动植物等，k对应预设的目标对象排列的顺序，k≥50；将第i个关键帧输入预训练目标检测方法，检测关键帧中的目标对象，得到目标对象的标记di，di∈[0,k]；

需要说明的是：预训练场景分类方法是预先训练好的基于深度卷积网络的场景分类算法，可以判断图像的场景类型；预训练目标检测方法是预先训练好的基于深度卷积网络的目标检测算法，可以检测出图像中是否存在预设的目标对象。

s104.筛选满足预设剪辑规则的复数个视频段；

预设剪辑规则包括预设镜头类型和预设每个镜头类型剪辑视频段的关键帧数；

预设剪辑规则中预设镜头类型由场景类型和目标对象综合确定，即一个预设镜头类型由一个预设场景类型和一个或多个目标对象确定；预设的镜头类型可以包含但不限于工作，旅游，逛街，风景，运动等日常生活场景；例如：预设镜头类型为工作的场景类型可以为办公室或会议室，和/或目标对象可以为电脑、桌子、键盘和/或鼠标等；

请参阅图2，筛选满足预设剪辑规则的视频段具体包括：

s1041：依次检测每个镜头类型；

预设剪辑规则中预设镜头类型为j个，j≥3；

s1042：依次判断每个关键帧是否为当前检测的镜头类型；

通过函数fj(i)依次判断第i个关键帧的镜头类型是否为第j个镜头类型:

公式(1)中，ssetj和dsetj分别为预设剪辑规则的第j个预设镜头类型时的场景类型集合和目标对象集合，si和di分别为步骤s103中得到的第i个关键帧的场景类型和目标对象，fj(i)＝1为当前检测的镜头类型，fj(i)＝0则不是当前检测的镜头类型；

s1043：剪辑视频段，依次判断所述剪辑视频段是否满足当前检测的镜头类型；

预设剪辑规则中预设每个镜头类型剪辑视频段的连续关键帧数为t，t≥3；判断剪辑视频段是否满足当前检测的镜头类型通过函数mj(i,t)判断：

公式(2)中，mj(i,t)＝1为满足，mj(i,t)＝0为不满足；

s1044：分别获取满足每个镜头类型的视频段；

当检测第j个镜头类型时，第i个关键帧对应的视频段记为maskj(i,t)；maskj(i,t)为第i个关键帧在视频中播放开始时刻与第i+t个关键帧在视频中播放开始时刻之间的片段。

s105.通过预训练的图像质量评分方法分别计算复数个视频段的平均分；

分别计算复数个满足预设剪辑规则的视频段的平均分具体为：

计算视频段maskj(i,t)的平均分mj(i,t)的公式为：

公式(3)中，li为第i个关键帧输入预训练的图像质量评分方法中得到的图像质量评分，li+t-1为第i+t-1个关键帧输入预训练的图像质量评分方法中得到的图像质量评分，t为视频段maskj(i,t)的连续关键帧数；

需要说明的是，预训练的图像质量评分方法是预先训练好的基于深度卷积网络的图像质量评分算法，可以给输入图像的质量输出一个对应的分数l，l∈(0,1)，l值越大表示图像的质量越好。

s106.分别获取每个镜头类型平均分最高的视频段进行拼接；

分别获取每个镜头类型的平均分最高的视频段进行视频拼接，生成新的视频文件，具体为：

当检测第j个镜头类型时，获取该镜头类型对应的平均分最高的视频段max(mj(i))，最终可以获取j个视频段，将该j个视频段按照预设场景顺序进行拼接，生成新的视频文件；

在拼接完成后还可以包括加入预设的背景音乐，预设的背景音乐可以有多个，背景音乐包括但不限于为普通的音乐和音频文件。

实施例二：

请参阅图3，本发明实施例二提供的一种视频自动剪辑装置包括：

获取模块：用于获取待剪辑视频；

提取关键帧模块：用于提取待剪辑视频的关键帧；

标记模块：用于将关键帧输入预训练场景分类方法和预训练目标检测方法，分别得到场景类型标记和目标对象标记；

筛选模块：用于筛选满足预设剪辑规则的复数个视频段；

计算模块：用于通过预训练图像质量评分方法分别计算复数个视频段的平均分；

拼接模块：用于分别获取每个镜头类型平均分最高的视频段进行拼接。

本发明实施例二提供的一种视频自动剪辑的装置及本发明实施例一提供的一种视频自动剪辑方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。

实施例三：

本发明实施例三提供了一种计算机可读存储介质，所述计算机程序被处理器执行时实现如本发明实施例一提供的一种视频自动剪辑方法的步骤。

实施例四：

图4示出了本发明实施例四提供的便携式终端的具体结构框图，一种便携式终端100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本发明实施例一提供的一种视频自动剪辑方法的步骤。

在本发明实施例中，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如rom/ram、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

在本发明中，通过预训练场景分类方法和图像质量评分方法，生成剪辑规则和流程，实现了一种视频自动剪辑的效果。本发明技术方案能够避免了由于人为因素导致的剪辑效率低以及准确性低的问题，提高视频剪辑的效率。