一种赛事视频剪辑方法、系统及计算机可读存储介质与流程

本发明涉及视频数据编辑处理领域，具体涉及一种赛事视频剪辑方法、系统及计算机可读存储介质。

背景技术：

传统媒体在传统版权赛事运营中，对于赛事直播过程中都会剪辑出一些精彩片段或者集锦，用于供数量庞大的观看群体快速浏览和分享。这一过程的现有做法往往都是依靠大量的人工视频编辑手工进行剪辑生产，存在以下问题：1、时效性差，一条全场比赛精彩集锦视频，往往需要编辑花费大量的时间反复观看比赛和寻找精彩片段，反复实验精确定位，制作过程繁琐效率低下，通常会在赛事结束后很长时间才能输出，影响用户观赛体验。2、内容产量低，受限于运营资源，内容生产只能重点保障重点赛事，非头部赛事的内容产量尤其受影响，且一场赛事输出视频数量有限。

随着现阶段体育比赛越来越丰富，人工剪辑的方法已经不能满足对大量比赛进行专业化快速剪辑输出的需求，目前也逐渐出现了自动的视频数据筛选方法及装置，但目前的自动视频数据筛选方法及装置所剪辑出的视频精准度差。

技术实现要素：

本发明目的是：提供一种能快速、精准地生产制作剪辑视频的赛事视频剪辑方法、系统及计算机可读存储介质。

本发明的技术方案是：

第一方面，提供了一种赛事视频剪辑方法，该方法包括：

分离并对应存储待处理的事件视频的视频轨道和音频轨道；

识别所述视频轨道中的回放片段和非回放片段；

分析得到所述非回放片段所对应的音频轨道中的解说语音尾点,并根据所述解说语音尾点对所述非回放片段进行截取获得非回放片段素材；

过滤所述回放片段的回放特效帧以获得回放片段素材；

根据所述回放片段素材和非回放片段素材对所述音频轨道进行截取以获得对应的音频素材；

合并所述回放片段素材和非回放片段素材得到素材视频，将所述音频素材合成到所述素材视频上得到目标剪辑视频。

进一步的，所述识别所述视频轨道中的回放片段和非回放片段具体包括：

利用resnet50神经网络识别所述视频轨道的视频帧中赛事logo画面以分类出回放特效帧，实时记录分类结果；

识别出所述分类结果中的回放片段和非回放片段。

进一步的，所述分析得到所述非回放片段所对应的音频轨道中的解说语音尾点具体包括：

按照事件类型，设定事件发生后保留的时长范围阈值t；

利用基于短时能量和短时平均过零率的语音端点检测方法，分析出对应的音频轨道中距离时长范围阈值t边界最近的解说员的解说语音尾点。

进一步的：所述根据所述解说语音尾点对所述非回放片段进行截取获得非回放片段素材具体包括：

以所述解说语音尾点作为片段结束时间点对所述非回放片段进行截取获得非回放片段素材。

进一步的，所述根据所述回放片段素材和非回放片段素材对所述音频轨道进行截取以获得对应的音频素材具体包括：

根据所述非回放片段素材与回放片段素材的时长之和从所述音频轨道的起始位置对应截取所述音频轨道获得音频素材。

进一步的，在所述分离并对应存储待处理的事件视频的视频轨道和音频轨道之前包括：

获取待处理的事件视频；具体包括：

获取待处理赛事视频流中的n个视频帧以及每个视频帧对应的显示时间戳；

识别所述n个视频帧中每一视频帧画面中的赛事时间标识，将所述赛事时间标识与显示时间戳进行第一次时间轴匹配以定位有效赛事视频；

对与所述待处理赛事视频流对应的赛事数据进行解析以获得所有事件的结构化数据，所述结构化数据包括事件在赛事中的发生时间，将所述发生时间与所述事件的显示时间戳进行第二次时间轴匹配；

在所有事件中获取构成任一目标事件的若干关联事件，并根据若干关联事件的起讫点确定所述目标事件的起点显示时间戳及终点显示时间戳，在所述有效赛事视频内定位并提取所述目标事件的所有视频帧，剪辑压制成待处理的事件视频。

进一步的，所述识别所述n个视频帧中每一视频帧画面中的赛事时间标识，将所述赛事时间标识与显示时间戳进行第一次时间轴匹配以定位有效赛事视频具体包括：

通过ai识别模块利用基于fasterr-cnn神经网络的深度学习算法识别所述n个视频帧中每一视频帧画面中的赛事时间标识并加以校验，将校验后的所述赛事时间标识与显示时间戳进行第一次时间轴匹配以定位有效赛事视频。

进一步的，该方法还包括：按发生时间合并所述目标剪辑视频获得集锦视频。

第二方面，提供了一种赛事视频剪辑系统，该系统包括：

分离存储模块，用于分离存储所述待处理的事件视频的视频轨道和音频轨道；

过滤模块，用于过滤所述回放片段的回放特效帧以获得回放片段素材；

识别分析模块，用于识别所述视频轨道中的回放片段和非回放片段，以及分析得到所述非回放片段所对应的音频轨道中的解说语音尾点；

截取模块，用于根据所述解说语音尾点对所述非回放片段进行截取获得非回放片段素材，以及根据所述回放片段素材和非回放片段素材对所述音频轨道进行截取以获得对应的音频素材；

合并模块，用于合并所述回放片段素材和非回放片段素材得到素材视频，以及将所述音频素材合成到所述素材视频上得到目标剪辑视频。

第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述的方法的步骤。

本发明的优点是：支持多种赛事类型，能从赛事视频中自动提取保留出重要的回放片段的同时精准去除回放特效画面缩短视频时长，在海量视频资源基础之上，快速生产制作大量剪辑视频，且准确率高，有利于用户快速了解赛事概况和精华，为日益红火的短视频的剪辑制作、分享传播提供有利支撑。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单的介绍，显而易见的，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种赛事视频剪辑方法的流程图；

图2为本发明实施例中一种足球赛事精彩集锦剪辑系统的结构图；

图3是本发明中实施例中一种赛事视频剪辑方法所达成的转场特效的示例图；

图4是本发明中实施例中一种赛事视频剪辑方法中球门坐标和范围示例图；

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。

在本申请中，resnet又名残差神经网络，指的是在传统卷积神经网络中加入残差学习(residuallearning)的思想，解决了深层网络中梯度弥散和精度下降(训练集)的问题，使网络能够越来越深，既保证了精度，又控制了速度。

blockid：分片标识。

cdn：contentdeliverynetwork的缩写，即内容分发网络，为通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，其能尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。

var：videoassistantreferee的缩写，也被称作“视频助理裁判”，指现役裁判员通过回放视频向裁判员提供信息，协助裁判员纠正改变比赛走势清晰明显的错漏判，提高判罚的准确性。

赛事视频剪辑需要保证事件的完整度，在事件完整的前提下需压缩视频时长。为解决人工剪辑效率低下、成本高昂，而自动剪辑准确率低下(事件剪辑不准确导致不能有效压缩视频时长或者事件不完整)的问题，本申请旨在提供一种赛事视频剪辑方法，实现自动的精细化剪辑操作，压缩单一事件的显示时长，突出事件重点，有效缩短视频总体时长。

实施例1：一种赛事视频剪辑方法，参照图1所示，该方法包括：

101、分离并对应存储待处理的事件视频的视频轨道和音频轨道；

具体的，分离并对应存储待处理的事件视频的视频轨道和音频轨道，并建立画面序列和音频序列的对应存储。

在此步骤之前，该方法还包括：获取待处理的事件视频，具体包括：

101-1、获取待处理赛事视频流中的n个视频帧以及每个视频帧对应的显示时间戳；

显示时间戳主要用于度量解码后的视频帧什么时候被显示出来，即用于标记制成的目标视频中每一帧的显示时间点。

待处理赛事视频流为赛事数据提供商提供的直播赛事视频流或通过点播视频播放地址下载的点播赛事视频流，本实施例中不对赛事视频流作具体类型限定。

n至少为4。以足球赛事为例：

当赛事视频流为直播赛事视频流时，视频帧通过cdn获取，cdn以预设的固定频率对直播赛事视频流截取n个视频帧，并提取每一视频帧所在的ts分片的blockid及相应的显示时间戳；在足球赛事的上半场或下半场赛事开始后，系统向cdn获取待处理的赛事视频流每一开场后的前6个视频帧以及相应的ts分片的blockid及每一视频帧的显示时间戳。

当赛事视频流为点播赛事视频流时，通过ai识别模块直接读取点播文件，利用点播文件总时长固定，随机选取上下半场相对于视频总时长的相对时间点，并定位到该时间点进行图片抽帧，解码得到对应的显示时间戳。n为4，即上下半场各2帧，如果识别有误，会继续随机抽2帧。如果有加时赛，加时赛上下半场，也需要如前述方法做抽帧处理。

101-2、识别所述n个视频帧中每一视频帧画面中的赛事时间标识，将所述赛事时间标识与显示时间戳进行第一次时间轴匹配以定位有效赛事视频。

具体的，采用ai识别模块利用深度学习算法识别所述n个视频帧中每一视频帧画面中的赛事时间标识。于本实施例中，优选每一视频帧画面中的赛事时间标识由ai识别模块利用基于fasterr-cnn神经网络的深度学习算法识别赛事视频流中每个视频帧画面中比分牌的显示时间，再对该显示时间加以校验而获得。

由于视频中会存在赛事开始前的视频片段，因此将所述赛事时间标识与显示时间戳进行第一次时间轴匹配以定位赛事部分即有效赛事视频，通过获取有效赛事时间确定赛事起点，提高定位精度。

101-3、对与所述待处理赛事视频流对应的赛事数据进行解析以获得所有事件的结构化数据，所述结构化数据包括事件在赛事中的发生时间，将所述发生时间与所述事件的显示时间戳进行第二次时间轴匹配；

具体的，当赛事视频流为赛事数据提供商提供的直播赛事视频流时，赛事数据由赛事数据提供商反馈获取或由查询获取；

当赛事视频流为通过点播视频播放地址下载的点播赛事视频流时，赛事数据通过直接查询历史赛事的详细事件数据获取。

由于赛事中存在中断或延长的情况，因此需要提取事件在赛事中的发生时间，将事件在赛事中的发生时间与显示时间戳进行第二次时间轴匹配，实现发生时间与显示时间的对齐。

101-4、在所有事件中获取构成任一目标事件的若干关联事件，并根据若干关联事件的起讫点确定所述目标事件的起点显示时间戳及终点显示时间戳，在所述有效赛事视频内定位并提取所述目标事件的所有视频帧，剪辑压制成待处理的事件视频。

具体的，确定核心事件，通过事先预设的关联规则获取该核心事件的相关事件，如：核心事件为进球时，相关事件包括进球前后可能发生的传球、盘带、过人、中圈开球事件。核心事件与其相关事件共同组成关联事件。

本实施例中对预设的关联规则具体不做限定。

获取待处理的事件视频后，还可以根据预设的权重规则对所述待处理的事件视频中筛选；例如，赛事为足球赛事时，所述预设的权重规则至少包括：上半场开始和下半场结束，以及进球、赛事数据提供商给定的highlight事件、var、威胁射门、红黄牌、点球中的至少一种。其中对于没有进球的足球比赛，预设的权重规则包括上半场开始和下半场结束，以及至少包括威胁射门，并需要界定威胁射门的程度，见图4球门坐标和范围示例图，如果射门后，足球轨迹落在球门外边框附近一圈close区域内，则判定为威胁射门，其他远离球门的轨迹不被筛选记录。

需要说明的是，预设的权重规则根据事件内容、现有的剪辑习惯及经验设置，本实施例中对预设的权重规则不做具体限定。

102、识别所述视频轨道中的回放片段和非回放片段；具体包括：

利用resnet50神经网络识别所述视频轨道的视频帧中赛事logo画面以分类出回放特效帧，实时记录分类结果；

识别出所述分类结果中的回放片段和非回放片段。

更具体的，对所述实时记录的分类结果进行分析，若回放特效帧的帧间距小于预设值，判定为同一段回放特效，且判定两段回放特效之间的视频内容为回放片段，从而识别出回放片段。

103、分析得到所述非回放片段所对应的音频轨道中的解说语音尾点并根据所述解说语音尾点对所述非回放片段进行截取获得非回放片段素材；

所述分析得到所述非回放片段所对应的音频轨道中的解说语音尾点具体包括：

按照事件类型，设定事件发生后保留的时长范围阈值t；

利用基于短时能量和短时平均过零率的语音端点检测方法，分析出对应的音频轨道中距离时长范围阈值t边界最近的解说员的解说语音尾点。

所述根据所述解说语音尾点对所述非回放片段进行截取以获得非回放片段素材具体包括：

以所述解说语音尾点作为片段结束时间点对所述非回放片段进行截取获得非回放片段素材。

104、过滤所述回放片段的回放特效帧以获得回放片段素材；

105、根据所述回放片段素材和非回放片段素材对所述音频轨道进行截取以获得对应的音频素材；具体包括：

根据所述非回放片段素材与回放片段素材的时长之和从所述音频轨道的起始位置对应截取所述音频轨道获得音频素材。更具体的，截取音频轨道获得音频素材的目的是使得非回放片段的部分能音画同步，对于回放片段的画面对应的部分是否为原待处理的事件视频中该画面时段的解说本实施例中并不做限制。

106、合并所述回放片段素材和非回放片段素材得到素材视频，将所述音频素材合成到所述素材视频上得到目标剪辑视频。

该方法还包括：按发生时间合并所述目标剪辑视频获得集锦视频。

本实施例提供的赛事视频剪辑方法支持多种赛事类型，能从赛事视频中自动提取保留出重要的回放片段的同时精准去除回放特效画面缩短时长，在海量视频资源基础之上，快速生产制作大量剪辑视频，且准确率高，有利于用户快速了解赛事概况和精华，为日益红火的短视频的剪辑制作、分享传播提供有利支撑。

实施例2：本实施例提供了一种赛事视频剪辑系统，参照图2所示，该系统包括：

分离存储模块21，用于分离存储所述待处理的事件视频的视频轨道和音频轨道；

过滤模块22，用于过滤所述回放片段的回放特效帧以获得回放片段素材；

识别分析模块23，用于识别所述视频轨道中的回放片段和非回放片段，以及分析得到所述非回放片段所对应的音频轨道中的解说语音尾点；

截取模块24，用于根据所述解说语音尾点对所述非回放片段进行截取以获得非回放片段素材，以及根据所述回放片段素材和非回放片段素材对所述音频轨道进行截取以获得音频素材；

合并模块25，用于合并所述回放片段素材和非回放片段素材得到素材视频，以及将所述音频素材合成到所述素材视频上。

本实施例提供的一种赛事视频剪辑系统用于实现实施例1中所提供的一种赛事视频剪辑方法，其有益效果与实施例1中提供的一种赛事视频剪辑方法的有益效果相同，在此不做赘述。

需要说明的是：上述实施例提供的一种赛事视频剪辑系统在执行一种赛事视频剪辑方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的一种赛事视频剪辑系统与一种赛事视频剪辑方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

实施例3，本实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下任一步骤：

获取待处理的事件视频；

分离并对应存储待处理的事件视频的视频轨道和音频轨道；

识别所述视频轨道中的回放片段和非回放片段；

分析得到所述非回放片段所对应的音频轨道中的解说语音尾点并根据所述解说语音尾点对所述非回放片段进行截取获得非回放片段素材；

过滤所述回放片段的回放特效帧以获得回放片段素材；

根据所述回放片段素材和非回放片段素材对所述音频轨道进行截取以获得对应的音频素材；

合并所述回放片段素材和非回放片段素材得到素材视频，将所述音频素材合成到所述素材视频上得到目标剪辑视频；

按发生时间合并所述目标剪辑视频获得集锦视频。

本实施例提供的一种计算机可读存储介质用于处理执行实施例1中所提供的一种赛事视频剪辑方法的步骤，其有益效果与实施例1中提供的一种赛事视频剪辑方法的有益效果相同，在此不做赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是但不限于只读存储器，磁盘或光盘等。

当然上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明主要技术方案的精神实质所做的修饰，都应涵盖在本发明的保护范围之内。