本发明涉及视频技术领域，尤其涉及一种视频集锦的生成方法、装置、电子设备及存储介质。
背景技术：
随着4g技术与移动互联网技术的日趋成熟以及移动端设备大量的普及，用户更加便捷地获取信息、资讯、娱乐的需求与日俱增。生活节奏加快以及娱乐时间碎片化的现状，使得短视频——以新媒体为传播渠道，时长在5分钟以内的传播载体，通过占据用户大量碎片时间的方式蔚然成风。而从长视频中截取精彩片段、高光时刻或者个性化定制片段的短视频生产方式，正好满足了用户在碎片化的时间中对热门影视剧作品、竞技体育类、综艺娱乐类等长视频资源的观赏需求，也符合时下用户期望快速获得娱乐资源或者能够获取个性化娱乐资源的消费习惯。
目前，各大视频平台的视频精彩集锦大多是通过大量专业的视频剪辑师在海量视频库中，通过人工手段对精彩片段进行定义、定位、剪辑、拼接后的处理结果。其结果有着时效性低、人工成本高、视频集锦产量低的特性，无法满足如此庞大用户群体的视听娱乐需求，也无法及时覆盖如此丰富多样的短视频内容需求。人工剪辑只能依据剧情进行剪辑，内容单一，定制化的集锦生成技术鲁棒性较差，制作的视频集锦风格种类较少，难以满足用户需求。
技术实现要素：
本发明提供一种视频集锦的生成方法、装置、电子设备及存储介质，解决了现有技术中制作视频集锦时效性低、人工成本高、产量低的问题。
第一方面，本发明实施例提供了一种视频集锦的生成方法，包括：
根据预设的切片规则从目标视频中切分视频片段，其中，所述切片规则是根据视频种类和内容确定；
预测所述视频片段的精彩程度，并根据所述视频片段的精彩程度确定目标片段；
根据所述目标片段生成视频集锦。
第二方面，本发明实施例还提供了一种视频集锦的生成装置，包括：
视频片段切分模块，用于根据预设的切片规则从目标视频中切分视频片段，其中，所述切片规则是根据视频种类和内容确定；
目标片段确定模块，用于预测所述视频片段的精彩程度，并根据所述视频片段的精彩程度确定目标片段；
视频集锦生成模块，用于根据所述目标片段生成视频集锦。
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的一种视频集锦的生成方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明任意实施例所述的一种视频集锦的生成方法。
本发明实施例通过根据预设的切片规则将视频切分成视频片段，其中，所述切片规则是根据视频种类和内容确定；预测所述视频片段的精彩程度，并根据所述视频片段的精彩程度确定目标片段；根据所述目标片段生成视频集锦，可以自动根据视频种类和内容确定切片规则，进一步切分视频片段，根据视频片段的精彩程度制作集锦，解决了现有技术制作视频集锦时效性低、人工成本高和产量低的问题。
附图说明
图1是本发明实施例一中的一种视频集锦的生成方法的流程图；
图2是本发明实施例二中的一种视频集锦的生成方法的流程图；
图3是本发明实施例二中的一种篮球比赛视频中的切分回合片段的关键时刻点示意图；
图4是本发明实施例二中的一种训练精彩程度判断模型中robustdeepranknet网络的结构图；
图5是本发明实施例二中的一种训练精彩程度判断模型中损失函数的示意图；
图6是本发明实施例三中的一种视频集锦的生成装置的结构示意图；
图7是本发明实施例四中的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种视频集锦的生成方法的流程图，本实施例可适用于视频集锦制作的情况，该方法可以由视频集锦的生成装置来执行，该装置可以采用硬件和/或软件实现，可配置于电子设备中，该方法具体包括如下步骤：
s110、根据预设的切片规则从目标视频中切分视频片段，其中，所述切片规则是根据视频种类和内容确定。
目标视频可以是用户制作视频集锦所用的素材视频。例如，需要从a视频中剪辑出片段制作视频集锦，则a视频即可以为目标视频。切片规则可以是预先设定的用于指示如何针对目标视频进行切分片段的规则，具体可以根据视频种类和内容确定。例如，视频种类为比赛视频，而比赛视频有一些规则和规律，比如交换球权，交换场地等，甚至比赛内容中的一些特定的场景过程，比如犯规罚球等场景，用户可以根据特定视频种类以及内容制作相关切片规则，进一步可以按照该切片规则从目标视频中切出视频片段。
s120、预测所述视频片段的精彩程度，并根据所述视频片段的精彩程度确定目标片段。
具体的，预测视频片段的精彩程度可以是根据预先训练好的模型、分类器或其他判断函数等。示例性的，预测每个视频片段时可以得到一个与精彩程度对应的数值，依据该数值可以判断不同视频片段的精彩程度，进一步依据精彩程度确定目标片段。其中，目标片段可以是用户制作的视频集锦中所要包括的视频片段，示例性的，在目标视频中切分出的视频片段中，可以将精彩程度高于设定阈值的视频片段作为目标片段。
s130、根据所述目标片段生成视频集锦。
在上述确定目标片段的基础上，将所述目标片段集合成一个视频集锦，当然，在生成视频集锦时，可以按照目标片段在目标视频中的时间顺序进行排列，也可以按照目标片段的精彩程度的顺序进行集合，或者其他生成集锦的规则，此处不做限制。用户可以通过调整视频集锦生成的规则，确保集锦非连续镜头在视觉上更加柔和连贯。
可选的，根据所述目标片段生成所述视频集锦之前，还包括：
依据所述目标片段的内容和/或时间特征在所述目标片段中添加与目标片段对应的特征信息，
相应的，所述根据所述目标片段生成视频集锦，包括：
根据所述目标片段以及对应的特征信息生成视频集锦。
其中，目标片段的内容特征可以是与目标片段中内容相关的代表性信息，示例性的，篮球比赛中的隔人扣篮，超远3分球的进球等可以代表该目标片段内容的特征。目标片段的特征可以是目标片段在目标视频中或视频比赛的进程时间点，比如篮球比赛中第四节最后1分钟的绝杀，足球比赛中的第10分钟上演帽子戏法等与时间相关的特征。当然，也可以是将时间和内容特征都添加在目标片段对应的特征信息中，进一步根据这些特征信息进行视频集锦的生成，比如可以直接按照时间前后顺序制作集锦。在具体实施的过程中，由于视频片段包含高度动态视觉内容，可以使用c3d与cnn相结合的方法作为特征提取器，进一步捕捉视频片段的空间内容和时间动态特征。
本实施例的技术方案，通过根据预设的切片规则将视频切分成视频片段，其中，所述切片规则是根据视频种类和内容确定；预测所述视频片段的精彩程度，并根据所述视频片段的精彩程度确定目标片段；根据所述目标片段生成视频集锦，可以自动根据视频种类和内容确定切片规则，进一步切分视频片段，无需专门的剪辑师观看大量素材，并从中选出符合集锦要求的片段。根据视频片段的精彩程度制作集锦，解决了现有技术制作视频集锦时效性低、人工成本高和产量低的问题。同时，配合一定的切片规则和判断精彩程度的模型便可以制作任意风格种类的视频集锦。另外，可以快速准确地根据用户的需求，比如比赛规则在长视频中截取片段，自动预测精彩程度，然后将精彩片段生成短视频，及时满足大量用户的短视频观看需求。
实施例二
图2是本发明实施例二提供的一种视频集锦的生成方法的流程图，在上述实施例的基础上，可选的，所述视频种类包括比赛视频，相应的，所述方法包括：
s210、根据比赛回合规则从比赛视频中切分回合片段。
对于比赛视频，比赛会存在比赛规则或者一些比赛回合规律，因此，可以预先制作好的针对不同比赛的比赛回合规则，然后可以按照这些规则切分视频片段，即回合片段。
可选的，所述比赛回合规则包括以下至少之一：底线发球、过半场线、得分、交换球权和24秒倒计时结束。示例性的，如果是球类比赛，比赛回合规则可以是针对不同球类具体的比赛规则和回合规律等制作的。
s220、预测所述回合片段的精彩程度，并根据所述回合片段的精彩程度确定目标片段。
在本实施例中的比赛视频中，预测回合片段的精彩程度可以通过预先训练好的精彩程度模型来计算，具体的可以将所有计算出的回合片段的精彩程度进行排序，然后从中选出精彩程度较高的回合片段作为目标片段。
s230、根据所述目标片段生成视频集锦。
可选的，根据比赛回合规则从比赛视频中切分回合片段，包括：
通过所述比赛回合规则确定回合片段的时间范围；
按照所述时间范围从所述比赛视频中切分出所述回合片段。
具体的，在按照比赛回合规则切分回合片段时，需要确定出回合片段在目标比赛视频中所处的位置，即时间范围，比如比赛视频中得分的回合片段可以是得分时刻前30s到完成得分时刻的一个时间范围。这样才可以按照时间范围切分出一个回合片段。
以篮球比赛为例，比赛规则包括：底线发球、过半场线、得分、交换球权、24秒倒计时结束等，具体在不同规则切分回合片段时，确定时间范围的过程或方法可以不同。
(1)底线发球和交换球权时间点确定
根据篮球比赛的规则，任意一队进球后另一方执行底线发球时和场上球权发生交换时，24秒计时器将重新开始计时。因此，可以通过ocr算法(opticalcharacterrecognition，光学字符识别)提取画面中的计时器参数，当计时器参数重新变为24秒时，可将此帧判定为球权交换或者底线发球时刻。相应的，对应的时间范围的回合片段，可以是从球权交换或者底线发球时刻之前和/或之后预设时长内的回合片段。
(2)得分时间点确定
当有得分事件发生时，画面中的得分显示会发生变化，可以通过ocr提取画面中的计分区域参数，当任意一方的得分发生变化时，判定为有得分事件已经发生，并且确定得分时刻。相应的，可以通过向前延长预设时间，即可得到完整的得分事件的回合片段。比如得分片段的提取可以依据得分完成时刻先前延长2秒得到。
(3)过半场线时间点确定
可以通过深度学习网络对视频中的画面进行判别，预测得到视频画面中的过半场线时刻。具体可以是根据预先训练好的预测模型来判断过半长线时刻，相应的，也可以将该时刻之前和/或之后一段时间内视频片段作为回合片段。
示例性的，篮球比赛视频中的关键时刻点如3图所示，图3是本发明实施例二中的一种篮球比赛视频中的切分回合片段的关键时刻点示意图，比赛中关键的事件点会循环出现。
可选的，所述视频片段的精彩程度根据预设的精彩程度判断模型确定，所述预设的精彩程度判断模型的样本数据包括：属于同一视频的精彩片段和非精彩片段。
在具体实施训练的过程中，由于视频片段包含高度动态视觉内容，对于如何捕捉视频段的空间内容和时间动态特征至关重要，在本实施例中可以使用c3d网络与cnn网络相结合的方法作为特征提取器。示例性的，可以采用cnn来对静态类变量进行特征提取(图4中的cnnfeature)，其中backbone采用resnet50做为骨架网络。c3d通过用时空卷积层代替传统的2d卷积层，同时可以将alexnet的图像中心网络架构扩展到视频域，进行在多个视频分类任务，并且对视频特征进行提取(图4中的c3dfeature)。具体的，可以利用3d卷积神经网络来表示视频的每个片段，而这些视频片段包括了视频高度动态的时空视觉特征。
另外，还可以为视频片段添加上下文信息，作为视频片段的元信息和视觉特征的补充信息。具体的特征信息可以包括类别标签，视频标签的语义嵌入和位置特征等。示例性的，对于位置特征，可以使用目标片段在目标视频中的时间戳，秩和相对位置等。
示例性的，对模型的训练过程中，可以将一对视频片段同时输入robustdeepranknet的网络神经网络，训练目标为精彩视频片段对应的分数高于非精彩视频片段对应的分数。由于如果比较任意的两个视频片段，比如来自不同的视频，其精彩程度的比较是存在问题的，因此输入的属于同一视频的一对视频片段，一个是精彩视频片段，另一个是非精彩视频片段。在视频片段数据集d上构建一个排序，使得精彩视频样本得分排名大于非精彩视频样本。
图4是本发明实施例二中的一种训练精彩程度判断模型中robustdeepranknet网络的结构图，图4中s+(gifsegment)和s-(non-gifsegment)可以分别代表精彩和非精彩的视频片段。如图4所示的robustdeepranknet的网络结构，可以选择2个全连接隐藏层(fullyconnetedlayer)，每个层后面都可以接relu激活函数。第一层512个节点，第二层128个节点。输出h(s)(图4中的)的最终预测层(scoringlayer)是一个简单的单线性单位，预测非标准化标量得分。其中，rankingloss是模型训练过程中进行精彩程度排序的损失函数。为了进一步减少模型的方差，在模型训练的过程中，可以初始化训练多个模型。此外，在训练的过程中，为了加速权重更新，可以采用nesterov’sacceleratedmomentum(nam)进行梯度更新。
测试阶段，模型只要求输入单个视频片段，并通过模型学习一个映射函数h获取视频片段对应的分数，遍历所有的视频片段便可以获取到所有视频片段的分数列表，可以进一步做出精彩程度的排序。在多个训练模型的情况下，可以通过在不同训练模型中得到的关于精彩程度的分数求平均作为该视频片段的分数。
可选的，所述预设的精彩程度判断模型是基于huberloss的损失函数训练得出。
具体的，在训练模型的过程中，可以使用如下公式计算损失函数lp(s+，s-)：
lp(s+，s-)＝max(0，1-h(s+)+h(s-))p；
在具体实施过程中，可以先设定损失函数l1(l1rankloss)和l2(l2rankloss)，其中，l1可以是一次函数，l2可以是二次函数。由于在正负差值越大，越接近1，loss下降越慢的情况下，模型拟合的效果越好。图5是本发明实施例二中的一种训练精彩程度判断模型中损失函数的示意图。如图5所示，l1在模拟正常范围(0，1)内的loss的时候，下降太快，显然l1的损失函数不准确。虽然l2在这一点的拟合上表现良好，但是当出现异常情况(＜0)的情况下，得到的loss会直接变得很大甚至超过范围。因此，在本实施例中，可以结合l1和l2得到自适应的huberloss函数：
whereu＝1-h(s+)+hs-)；
从图5中可以看出huberloss的拟合性更好，训练出的模型的鲁棒性更好。示例性的，为了考虑用户生成内容的不同质量程度，可以将社交媒体上的gif的精彩度编码到损失函数中，以满足用户高效剪辑精彩视频内容和不同风格个性化的视频集锦。
本实施例的技术方案，在球类比赛视频中，根据比赛回合规则切分回合片段，利用预先训练好的精彩程度判断模型得出目标片段，进一步制作视频集锦。另外，可以从海量视频素材中，高效剪辑出符合用户需求或用户自定义需求的精彩视频剪辑，以及解决球类运动中人员高速运动、人多拥挤、互相遮挡、多摄像头且镜头频繁移动等问题。
实施例三
图6为本发明实施例三提供的一种视频集锦的生成装置的结构示意图，如图6所示，所述装置包括：
视频片段切分模块610，用于根据预设的切片规则从目标视频中切分视频片段，其中，所述切片规则是根据视频种类和内容确定；
目标片段确定模块620，用于预测所述视频片段的精彩程度，并根据所述视频片段的精彩程度确定目标片段；
视频集锦生成模块630，用于根据所述目标片段生成视频集锦。
可选的，所述视频种类包括比赛视频，相应的，
所述视频片段切分模块610，包括：
视频片段切分单元，用于根据比赛回合规则从比赛视频中切分回合片段；
相应的，所述目标片段确定模块620，包括：
目标片段确定单元，用于预测所述回合片段的精彩程度，并根据所述回合片段的精彩程度确定目标片段。
可选的，所述比赛回合规则包括以下至少之一：底线发球、过半场线、得分、交换球权和24秒倒计时结束。
可选的，所述视频片段切分单元，具体用于，
通过所述比赛回合规则确定目标片段的时间范围；
按照所述时间范围从所述比赛视频中切分出所述回合片段。
可选的，所述装置还包括：特征信息添加模块，用于依据所述目标片段的内容和/或时间特征在所述目标片段中添加与目标片段对应的特征信息，
相应的，所述视频集锦生成模块630具体用于，
根据所述目标片段以及对应的特征信息生成视频集锦。
可选的，所述视频片段的精彩程度根据预设的精彩程度判断模型确定，所述预设的精彩程度判断模型的样本数据包括：属于同一视频的精彩片段和非精彩片段。
可选的，所述预设的精彩程度判断模型是基于huberloss的损失函数训练得出。
本发明实施例所提供的视频集锦的生成装置，可执行本发明任意实施例所提供的视频集锦的生成方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的一种视频集锦的生成方法。
实施例四
参见图7，本实施例提供了一种电子设备700，其包括：一个或多个处理器720；存储装置710，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器720执行，使得所述一个或多个处理器720实现本发明实施例所提供的一种视频集锦的生成方法，包括：
根据预设的切片规则从目标视频中切分视频片段，其中，所述切片规则是根据视频种类和内容确定；
预测所述视频片段的精彩程度，并根据所述视频片段的精彩程度确定目标片段；
根据所述目标片段生成视频集锦。
当然，本领域技术人员可以理解，处理器720还可以实现本发明任意实施例所提供的一种视频集锦的生成方法的技术方案。
图7显示的电子设备700仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于：一个或者多个处理器720，存储装置710，连接不同系统组件(包括存储装置710和处理器720)的总线750。
总线750表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
电子设备700典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备700访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置710可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)711和/或高速缓存存储器712。电子设备700可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统713可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线750相连。存储装置710可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块715的程序/实用工具714，可以存储在例如存储装置710中，这样的程序模块715包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块715通常执行本发明所描述的任意实施例中的功能和/或方法。
电子设备700也可以与一个或多个外部设备760(例如键盘、指向设备、显示器770等)通信，还可与一个或者多个使得用户能与该电子设备700交互的设备通信，和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口730进行。并且，电子设备700还可以通过网络适配器740与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图7所示，网络适配器740通过总线750与电子设备700的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
处理器720通过运行存储在存储装置710中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种视频集锦的生成方法。
实施例五
本发明实施例五提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种视频集锦的生成方法，该方法包括：
根据预设的切片规则从目标视频中切分视频片段，其中，所述切片规则是根据视频种类和内容确定；
预测所述视频片段的精彩程度，并根据所述视频片段的精彩程度确定目标片段；
根据所述目标片段生成视频集锦。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的一种视频集锦的生成方法中的相关操作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。