视频集锦生成方法、装置、电子设备及存储介质与流程

本发明涉及信息技术领域，尤其涉及一种视频集锦生成方法、装置、电子设备及存储介质。

背景技术：

在现有技术中视频集锦的生成方法可包括两种：

第一种：有邀请专门团队拍摄，人工编辑合成的；

第二种：有通过提前录入人脸信息，通过人脸识别技术完成的；

第一种方式不具有普世性、效率低，且成本过高；

第二种需要用户重度参与，需提前录入，识别的准确性依赖拍摄角度、视频画面的稳定性，对于动态画面支持不好。

技术实现要素：

有鉴于此，本发明提供视频集锦生成方法、装置、电子设备及存储介质。

本发明的技术方案是这样实现的：

一种视频集锦生成方法，包括：

从视频的图像帧中提取出人脸特征；

基于所述视频进行追踪检测，获得同一人物在所述视频中出现的时间信息；

当人脸特征库中未存储有所述人脸特征的人物标识时，为所述人脸特征分配人物标识，并将所述人脸特征及所述人物标识的映射关系入库到所述人脸特征库；

建立所述人物标识及所述视频之间的关联关系；

当接收到触发视频集锦生成的人脸图像时，基于所述时间信息及所述关联关系，生成包含所述人脸图像的视频集锦。

基于上述方案，所述基于所述视频进行追踪检测，获得同一人物在所述视频中出现的时间信息，包括：

结合人脸追踪和人体追踪，获得同一个人物在所述视频中出现的时间信息。

基于上述方案，所述结合人脸追踪和人体追踪，获得同一个人物在所述视频中出现的时间信息，包括：

基于所述人脸追踪，获得同一个人物的人脸在所述视频出现的第一时间信息；

基于所述人体追踪，获得同一个人物的人体在所述视频出现的第二时间信息；

基于同时出现了人脸和人脸的图像帧，合并同一个人物在所述视频出现的所述第一时间信息及所述第二时间信息。

基于上述方案，所述建立所述人物标识及所述视频之间的关联关系，包括：

生成包含所述人物标识、所述时间信息及所述视频的视频标识的结构性数据。

基于上述方案，所述为所述人脸特征分配人物标识，包括：

为从满足预设呈现条件的人脸中提取的人脸特征，分配所述人物标识。

基于上述方案，所述满足预设呈现条件的人脸包括以下至少之一：

所述人脸的清晰度不小于清晰度阈值；

所述人脸的完整度不小于完整度阈值；

所述人脸的遮挡程度低于遮挡阈值。

基于上述方案，所述当接收到触发视频集锦生成的人脸图像时，基于所述时间信息及所述关联关系，生成包含所述人脸图像的视频集锦，包括：

当接收到触发视频集锦生成的人脸图像时，显示视频集锦生成的提示信息；

基于所述提示信息的确认操作，查询所述时间信息及所述关联关系，生成包含所述人脸图像的视频集锦。

基于上述方案，当接收到位于预定位置的采集设备发送的人脸图像时，确定接收到触发视频集锦生成的人脸图像；

或者，

当接收到用户设备通过网络上传的人脸图像时，确定接收到触发视频集锦生成的人脸图像。

基于上述方案，所述当接收到触发视频集锦生成的人脸图像时，基于所述时间信息，生成包含所述人脸图像的视频集锦，包括：

将所述视频片段及用户输入指定的素材进行集锦合成，生成包含所述人脸图像的视频集锦。

一种视频集锦生成装置，包括：

提取模块，用于从视频的图像帧中提取出人脸特征；

追踪检测模块，用于基于所述视频进行追踪检测，获得同一人物在所述视频中出现的时间信息；

分配模块，用于人脸特征库中未存储有所述人脸特征的人物标识时，为所述人脸特征分配人物标识，并将所述人脸特征及所述人物标识的映射关系入库到所述人脸特征库；

建立模块，用于建立所述人物标识及所述视频之间的关联关系；

生成模块，用于当接收到触发视频集锦生成的人脸图像时，基于所述时间信息及所述关联关系，生成包含所述人脸图像的视频集锦。

一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；

其中，所述处理器用于运行所述计算机程序时，实现前述任意技术方案提供的视频集锦生成方法。

一种计算机存储介质，所述计算机存储介质中存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，能够前述任意技术方案提供的视频集锦生成方法。

本发明实施例提供的技术方案，可以不用预先为需要生成视频集锦的人物分配标识，而是会在获取到视频时，自动通过人脸识别为人脸特征库尚未分配人物标识的人脸，在该系统中分配一个唯一可识别的人物标识；且分配过程是在后台执行的，对用户而言是无感的，该人物标识可为将同一个人物的在视频中出现的时间信息收集起来，如此，后续接收到触发生成视频集锦生成的人脸图像时，可以基于该人脸检索到包含该人物图像时间信息的视频片段，并生成视频集锦。如此，不用人工合成视频集锦，或者预先采集人脸图像并注册，从而简化了视频集锦的生成和提升了视频集锦的生成效率。

附图说明

图1为本发明实施例提供的一种视频集锦生成方法的流程示意图；

图2为本发明实施例提供的一种时间信息获取方法的流程示意图；

图3为本发明实施例提供的一种视频集锦生成装置的结构示意图；

图4为本发明实施例提供的一种视频处理方法的流程示意图；

图5为本发明实施例提供的视频集锦生成过程中的视频搜索的流程示意图。

具体实施方式

以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

对本发明进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

如图1所示，本实施例提供一种视频集锦生成方法，包括：

步骤s110：从视频的图像帧中提取出人脸特征；

步骤s120：基于所述视频进行追踪检测，获得同一人物在所述视频中出现的时间信息；

步骤s130：当人脸特征库中未存储有所述人脸特征的人物标识时，为所述人脸特征分配人物标识，并将所述人脸特征及所述人物标识的映射关系入库到所述人脸特征库；

步骤s140：建立所述人物标识及所述视频之间的关联关系；

步骤s150：当接收到触发视频集锦生成的人脸图像时，基于所述时间信息及所述关联关系，生成包含所述人脸图像的视频集锦。

本实施例提供的视频集锦生成方法，可以应用于视频平台内；例如，该视频平台包括一台或多台视频设备。

所述待入库的视频可为一台或多台设备采集的视频，该视频可为直播视频流或者待入库的视频。

通过人脸识别从视频的图像帧中提取出人脸特征，该人脸特征包括：整体人脸的特征以及人脸中五官特征。

在视频平台内可设置有人脸特征库，人脸特征库中存储有人脸特征及人脸特征所对应的整个系统内唯一的人物标识。通过人脸特征匹配可以确定出在所述人脸特征库内，该人脸特征是否已经为分配有人物标识的未知人脸。若已经分配了人脸标识就不是未知人脸。当根据人脸特征确定出所述人脸特征来自已知人脸时，即人脸特征库中已经为当前提取到的人脸特征分配了人物标识，则可直接执行步骤s140或者s150。本申请实施例中的人物标识为在所述人脸特征库内的唯一标识，是该人物特征库按照自身的分配规则分配的标识，可不同于人物在现实生活中的身份证号码或者是护照号等标识。

即在一些实施例中，所述方法还包括：通过将当前提取的人脸特征与人脸特征库中的人脸进行匹配，当匹配到相似阈值大于第一匹配阈值的人脸特征时，就认为所述人脸特征库已经为当前提取的人脸特征分配了人物标识，否则为当前提取的人脸特征分配人物标识。

在一些实施例中，若通过人脸特征的匹配，发现了当前提取的人脸特征已经分配了人物标识，可根据当前人脸特征更新所述人脸特征库。

例如，当前提取的人脸特征与人脸特征库中最匹配的人脸特征之间的匹配度大于第一匹配阈值，但是低于第二匹配阈值，则将当前人脸特征添加到与其最匹配的人脸特征与人物标识中的对应关系，以提升后续热人脸特征的匹配。

在本实施例中，即便是未知人脸，也可以通过分配人物标识通过后续视频片段和人物标识入库，方便后续直接基于人物标识及人脸特征进行视频片段合成的视频集锦的生成。

在本实施例中，所述时间信息可为一个或多个指示视频中所述人脸图像出现的时间点。

在一些实施例中，所述时间信息可包括：时间线信息；所述时间线可为一个或多个时间点及一个或多个时间段构成的。在时间轴上按照一定时间顺序排列，形成所述时间线。

在另一些实施例中，所述时间信息可包括：时间段信息，例如，以15秒为一个时间段或24秒为一个时间段，时间段信息记录同一个人物在视频中出现的时间段。

在一些实施例中，所述步骤s120可以仅基于人脸检测，对同一个人物进行追踪。

在一些实施例中，所述步骤s120可包括：结合人脸追踪和人体追踪，获得同一个人物在所述视频中出现的时间信息。

为了提升追踪成功率，在采集设备布局较为稀疏的情况下，有些采集的人脸并不完整，或者仅采集到背影。在本实施例中会结合人脸追踪和人体追踪，得到同一个人物在所述视频中出现的时间信息。

为了解决人脸呈现条件不好时导致的同一个人物跟丢的现象，会进行人体追踪。例如，基于人体的外观特征和/或几何特征进行人体追踪。

所述几何特征包括：身体轮廓特征、身高、身材比例等。

所述外观特征包括：穿着打扮、佩戴等外观特征。

总之，在本申请中，在人脸追踪的同时，用人体追踪进一步进行一个人物在视频中的追踪，减少仅基于人脸追踪的跟丢现象，从而实现同一个人物的准确和持续追踪。

进一步地，如图2所示，所述步骤s120可包括：

步骤s121：基于所述人脸追踪，获得同一个人物的人脸在所述视频出现的第一时间信息；

步骤s122：基于所述人体追踪，获得同一个人物的人体在所述视频出现的第二时间信息；

步骤s123：基于同时出现了人脸和人脸的图像帧，合并同一个人物在所述视频出现的所述第一时间信息及所述第二时间信息。

例如，通过人脸追踪，发现人物a在视频出现的时间信息为第一时间信息，该第一时间信息形成了第一时间集合；再例如，通过人体追踪，发现人物a在视频出现的时间信息为第二时间信息，该第二时间信息形成了第二时间集合；合并第一时间集合和第二时间集合，得到了同一个人物在视频中出现的所有时间信息，如此可以减少遗漏和跟走丢失的现象。

在一些实施例中，所述建立所述人物标识及所述视频之间的关联关系，包括：生成包含所述人物标识、所述时间信息及所述视频的视频标识的结构性数据。

在本实施例中，所述人物标识、时间信息及包含该人物标识所对应人物的视频标识的结构性数据，如此方便后续快速查询和检索。

在一些实施例中，所述为所述人脸特征分配人物标识，包括：

为从满足预设呈现条件的人脸中提取的人脸特征，分配所述人物标识。

为了确保人脸特征库中的人脸足够的清晰，能够用于后续精确的进行人脸标识的查询，在本实施例中会从提取的多个人脸特征中，选择满足预设呈现条件的人脸提取出的人脸特征，来分配所述人物标识。

进一步地，所述满足预设呈现条件的人脸包括以下至少之一：

所述人脸的清晰度不小于清晰度阈值；

所述人脸的完整度不小于完整度阈值；

所述人脸的遮挡程度低于遮挡阈值。

所述清晰度阈值可为预先设置的值，在一些模糊的图像中，人脸图像也是模糊的。

例如，仅有一点点侧脸可能无法识别出属于哪一个人物。例如，若完全正脸的完整度为1，则完整度阈值为0到1之间的一个取值，例如，0.6、0.7、0.8或者0.9等。

在采集视频的过程中，由于人物是运动的，如此被其他物体或者其他人所遮挡，在本申请为了确保视频集锦中图像帧均包括同一个人物，会判断遮挡。遮挡程度同样可为0到1任意一值。遮挡阈值可为0.6、0.7、0.8或者0.9等取值。

在一些实施例中，所述步骤s150可包括：

当接收到触发视频集锦生成的人脸图像时，显示视频集锦生成的提示信息；

基于所述提示信息的确认操作，查询所述时间信息及所述关联关系，生成包含所述人脸图像的视频集锦。

如此，通过提示信息告知可以生成视频集锦，但是基于提示信息的确认操作再生成视频集锦，如此，可以结合用户意愿，在需要生成视频集锦时，才生成视频集锦。

在一些实施例中，若接收到的是基于所述提示信息的否认操作，则不生成所述视频集锦。

在一些实施例中，为了减少媒资库的数据存储量，会间隔预定时间就对入库的视频或视频片段进行压缩处理。

在一些实施例中所述方法还包括：

向用户设备发送包括对应人物的视频片段的删除提示，若接收到作用于删除提示的确认操作，删除对应的视频片段和/或对应的时间信息。

在另一些实施例中，在输出所述提示信息的同时，还输出删除提示，若检测到作用于删除提示的确认操作，则不生成视频集锦且删除对应的视频片段和/或时间信息。

在还有一些实施例中，所述当步骤s140可包括：

当接收到触发视频集锦生成的人脸图像时，基于所述时间信息及所述关联关系，显示查询到包括所述人脸图像所对应人物的视频片段信息；

检测针对于所述视频片段信息的确认操作，生成所述视频集锦。

在一些实施例中，当接收到位于预定位置的采集设备发送的人脸图像时，确定接收到触发视频集锦生成的人脸图像。

例如，用户在游乐园玩，被游乐园中不同位置的摄像头采集视频，采用前述的方法入库到媒资库以后，用户在离开游乐园时，系统会接收到游乐园出口处的摄像头采集的人脸图像，该人脸图像为一种触发视频集锦生成的人脸图像。但是为了不必要的生成，会通过提示信息等输出，来请求用户确认是否生成视频集锦。

在一些实施例中，用户在离开游乐园等特定场所时，可能还没有确定是否需要生成视频集锦，但是回家之后或者一段时间之后还是想要生成视频集锦，此时用户可以通过手机、平板或者笔记本等用户终端上传自己的人脸图像等，来触发视频集锦的在线生成。

故在一些实施例中，当接收到用户设备通过网络上传的人脸图像时，确定接收到触发视频集锦生成的人脸图像。

在一些实施例中，所述步骤s150可包括：将所述视频片段及用户输入指定的素材进行集锦合成，生成包含所述人脸图像的视频集锦。

在生成视频集锦的过程中，用户可以指定需要添加的素材，该素材包括但不限于：音频素材及特效素材等。

在一些实施例中，基于视频片段合成视频集锦可包括：

基于视频集锦的生成策略，将多个视频片段按照一定播放顺序合并到一个视频文件中。

例如，按照视频片段的采集时间顺序，将多个视频片段按照采集时间从前到后或者从后到前的顺序，将多个视频合并到一个视频文件。

再例如，按照视频片段所包含的标志性事件，根据标志性事件所产生的视频效果，合并这些视频片段得到一个视频文件。

在基于标志性事件进行视频集锦的生成时，结合视频集锦所需的视频效果，合并这些视频片段得到视频文件。视频效果可包括：合成温馨浪漫的效果，幽默的效果，搞怪的效果等。在合成搞怪的效果时，可以特意颠倒具有不同采集时间的视频片段，从而合成有搞怪意味的视频集锦。

如图3所示，本实施例还提供一种视频集锦生成装置，包括：

提取模块110，用于从视频的图像帧中提取出人脸特征；

追踪检测模块120，用于基于所述视频进行追踪检测，获得同一人物在所述视频中出现的时间信息；

分配模块130，用于人脸特征库中未存储有所述人脸特征的人物标识时，为所述人脸特征分配人物标识，并将所述人脸特征及所述人物标识的映射关系入库到所述人脸特征库；

建立模块140，用于建立所述人物标识及所述视频之间的关联关系；

生成模块150，用于当接收到触发视频集锦生成的人脸图像时，基于所述时间信息及所述关联关系，生成包含所述人脸图像的视频集锦。

在一些实施例中，所述提取模块110、追踪检测模块120、分配模块130、建立模块140及生成模块150可为程序模块，该程序模块被处理器执行后，能够上述功能模块的功能。

在另一些实施例中，所述提取模块110、追踪检测模块120、分配模块130、建立模块140及生成模块150可为软硬结合模块，所述软硬结合模块可包括各种可编程阵列；所述可编程阵列包括但不限于复杂可编程阵列或现场可编程阵列。

在还有一些实施例中，所述提取模块110、追踪检测模块120、分配模块130、建立模块140及生成模块150可为纯硬件模块；所述纯硬件模块包括但不限于复杂可编程阵列。

在一些实施例中，所述追踪检测模块120，具体用于结合人脸追踪和人体追踪，获得同一个人物在所述视频中出现的时间信息。

在一些实施例中，所述追踪检测模块120，具体用于基于所述人脸追踪，获得同一个人物的人脸在所述视频出现的第一时间信息；基于所述人体追踪，获得同一个人物的人体在所述视频出现的第二时间信息；基于同时出现了人脸和人脸的图像帧，合并同一个人物在所述视频出现的所述第一时间信息及所述第二时间信息。

在一些实施例中，所述建立模块140，具体用于生成包含所述人物标识、所述时间信息及所述视频的视频标识的结构性数据。

在一些实施例中，所述分配模块130，具体用于为从满足预设呈现条件的人脸中提取的人脸特征，分配所述人物标识。

在一些实施例中，所述满足预设呈现条件的人脸包括以下至少之一：

所述人脸的清晰度不小于清晰度阈值；

所述人脸的完整度不小于完整度阈值；

所述人脸的遮挡程度低于遮挡阈值。

在一些实施例中，所述生成模块150，具体用于当接收到触发视频集锦生成的人脸图像时，显示视频集锦生成的提示信息；基于所述提示信息的确认操作，查询所述时间信息及所述关联关系，生成包含所述人脸图像的视频集锦。

在一些实施例中，当接收到位于预定位置的采集设备发送的人脸图像时，确定接收到触发视频集锦生成的人脸图像；或者，当接收到用户设备通过网络上传的人脸图像时，确定接收到触发视频集锦生成的人脸图像。

在一些实施例中，所述生成模块150，具体用于将所述视频片段及用户输入指定的素材进行集锦合成，生成包含所述人脸图像的视频集锦。

以下结合上述任意实施例提供一个具体示例：

本示例提供的一种视频集锦处理系统，可包括：

第一视频处理模块，用于视频入库之前的处理；视频搜索模块，用于在接收到需要生成视频集锦的人脸图像时，进行视频片段的检索；

第二视频处理模块，可用于人脸识别、人体追踪检测、视频片段的合成等功能处理。

如图4所示，第一视频处理模块的视频处理，可包括：

将若干摄像头等采集设备拍的视频或者直播流；按照一定的逻辑，生成相应的素材，并打上人物标签；该视频处理可包括：主要为视频/直播流收集，编解码处理等；在图4中采集设备包括：采集设备1至采集设备n，n可为任意正整数；人脸检测及对比；其中，对于视频片段做人脸检测(区域，角度、模糊，遮挡等)，形成初筛切片(人物在该视频片段出现的时间线)，创建该人物的唯一标识id，并存储该人物人脸信息到人脸特征库。

人脸检测&人体追踪，具体可包括：利用人体追踪检测，作为人脸识别的辅助手段，在人脸模糊，遮挡或者其他原因导致人脸识别失败的时候。例如，可以判断某一个人在紧邻的时间段内，是否出现过。这主要是因为，人体追踪更多是对于人体轮廓的校验，即使人脸识别不准的情况下，也可以正常使用。

人脸识别，得到人物标识，此处的人物标识为一种唯一标识，且是会和人脸特征对应存储到人脸特征库。即将人脸特征和人物标识的映射关系入库到人脸特征库。

视频&标签结构数据，可包括：依据时间线对视频进行切片切割，并在切片上打上人物id，形成视频素材，保存到媒资库，用于后续搜索使用。

如图5所示，视频搜索，可通过人脸识别，搜索与当前用户相同或者相似的标识，即上文提到的人物标识id，进而从媒资库中搜索相关的素材视频；在此基础上，用户自主选择素材后，借用视频合成的能力，快速的生成集锦视频。

人脸特征和人物标识之间的映射关系是入库到人脸特征库的，视频是入库到媒资库。

人脸检测以及对比，当前人物的人脸检测，以及和人脸特征库进行对比，获取与当前用户的相似或者一致的人物标识(id)，用于下一步处理；

视频搜索，通过人物id，搜索媒资库中相同标签的媒资数据，用于下一步处理；

视频合成，可借助自建的视频合成能力。用户自主选择视频片段、背景音乐、转场、滤镜，或者是字幕等合成辅助素材，自动合成视频集锦等精彩视频。

在本示例提供的视频集锦生成方法，可通过未知人脸识别，无需提前注册人脸，也无需人工标注；对于用户而言，只需要在结束的时候刷脸，并自主选择合成素材，便可以完成整个流程。

人脸检测、比对与人体追踪的结合。运动场景下的模糊、遮挡都会影响人脸识别的效果，继而出现漏掉相关用户的视频片段。人脸识别与人体追踪的结合可以优化该问题。

本实施例还提供一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现前述任意技术方案提供的视频集锦生成方法；例如，如图1至图2、图4和图5所示方法的至少其中之一。

本实施例还提供一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，实现前述任意技术方案提供的视频集锦生成方法，例如如图1至图2、图4和图5所示方法的至少其中之一。

该电子设备还可以包括：至少一个网络接口。该电子设备中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见。

其中，存储器可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(rom，readonlymemory)、可编程只读存储器(prom，programmableread-onlymemory)、可擦除可编程只读存储器(eprom，erasableprogrammableread-onlymemory)、电可擦除可编程只读存储器(eeprom，electricallyerasableprogrammableread-onlymemory)、磁性随机存取存储器(fram，ferromagneticrandomaccessmemory)、快闪存储器(flashmemory)、磁表面存储器、光盘、或只读光盘(cd-rom，compactdiscread-onlymemory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(ram，randomaccessmemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(sram，staticrandomaccessmemory)、同步静态随机存取存储器(ssram，synchronousstaticrandomaccessmemory)、动态随机存取存储器(dram，dynamicrandomaccessmemory)、同步动态随机存取存储器(sdram，synchronousdynamicrandomaccessmemory)、双倍数据速率同步动态随机存取存储器(ddrsdram，doubledataratesynchronousdynamicrandomaccessmemory)、增强型同步动态随机存取存储器(esdram，enhancedsynchronousdynamicrandomaccessmemory)、同步连接动态随机存取存储器(sldram，synclinkdynamicrandomaccessmemory)、直接内存总线随机存取存储器(drram，directrambusrandomaccessmemory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

本发明实施例中的存储器用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括：用于在电子设备上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序，用于实现各种应用业务。这里，实现本发明实施例方法的程序可以包含在应用程序中。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。