直播视频剪辑方法、装置和电子设备与流程

文档序号:16590282发布日期:2019-01-14 19:03阅读:603来源:国知局
直播视频剪辑方法、装置和电子设备与流程

本发明涉及互联网应用技术领域,具体而言,本发明涉及一种直播视频剪辑方法、装置和电子设备。



背景技术:

在影音娱乐资源体量飞速增长的今天,这些影音娱乐资源的增加,一方面会增加创作的素材,但同时也对影音娱乐资源的处理速度和准确性提出了更高的挑战。以其中的视频为例,在直播、实时游戏录制等领域创作了大量的视频资源,这些视频资源是二次创作的优质素材,需要进行剪辑处理。对于直播视频流来说,由于实时性要求高,采用缓存的手段无法满足应用要求。

现有技术中一般是依据输入的剪辑操作,对视频资源进行剪辑,但由于剪辑时间、剪辑片段时长等难以把控,导致剪辑视频质量不高,而且剪辑效率低。



技术实现要素:

本发明的目的旨在至少能解决上述的技术缺陷之一,特别是无法将将数量庞大的视频资源快速、精确地剪辑的技术缺陷。

本发明提供一种直播视频剪辑方法,包括:

获取直播视频流的图片帧进行图像识别,确定出现目标事件的第一图片帧;

提取所述第一图片帧的时间戳,根据所述时间戳获取视频剪辑的剪辑位置;

根据所述剪辑位置从所述直播视频流中剪辑出目标视频片段。

在一种实施例中,所述根据所述剪辑位置从所述直播视频流中剪辑出目标视频片段的步骤包括:

根据所述剪辑位置确定剪辑视频的第一位置点;

在所述第一位置点上回推设定时长确定剪辑视频的第二位置点;

提取第一位置点和第二位置点之间的图片帧,合成所述目标视频片段。

在一种实施例中,当识别到连续的多帧图片帧为第一图片帧时,提取最后一帧第一图片帧对应的时间戳,根据该时间戳获取视频剪辑的剪辑位置。

在一种实施例中,所述直播视频剪辑方法还包括:

根据目标事件的类型对第一图片帧设置播放的指示标签;

在目标视频片段中插入所述指示标签,用于指示目标事件的内容和出现位置,当所述指示标签被点击时,跳转至相应的第一图片帧位置开始播放。

在一种实施例中,所述获取直播视频流的图片帧进行图像识别,确定出现目标事件的第一图片帧的步骤,包括:

提取直播视频流的图片帧;

对所述图片帧的图像内容进行识别,当图片帧中出现与目标事件相关联的目标图像时,判定所述图片帧中出现所述目标事件。

在一种实施例中,所述直播视频剪辑方法还包括:

根据设定的多个目标事件分别从直播视频流中剪辑出多段目标视频片段;

根据各个目标事件类型对所述目标视频片段进行排序;

根据所述排序从目标视频片段中选择部分目标视频片段合成视频合辑。

在一种实施例中,所述根据各个目标事件类型对所述目标视频片段进行排序的步骤,包括:

对所述目标事件进行分类;

根据目标视频片段中目标事件出现的次数以及目标事件设定的分值对目标视频片段进行评分;

根据各个目标视频片段的评分对目标视频片段进行排序,将排序靠前的若干个目标视频片段合成视频合辑。

在一种实施例中,获取直播视频流的图片帧进行图像识别,确定出现目标事件的第一图片帧的步骤前,还包括:

获取所述直播视频流的上传信息或制作信息;

获取视频剪辑白名单;

当所述上传信息或制作信息和视频剪辑白名单匹配时,对直播视频流的图片帧进行识别,获取所述图片帧中出现的目标事件。

在一种实施例中,所述直播视频流为游戏直播视频流,所述目标事件为游戏得分事件。

在一种实施例中,获取直播视频流的图片帧进行图像识别,确定出现目标事件的第一图片帧的步骤前,还包括:

当一场游戏开始时,开始执行获取直播视频流的图片帧进行图像识别的步骤;

当一场游戏结束时,停止执行获取直播视频流的图片帧进行图像识别的步骤。

在一种实施例中,根据所述剪辑位置从所述直播视频流中剪辑出目标视频片段之后,还包括:当检测到本场游戏结束或暂停时,将本场游戏直播中获取的所述目标视频片段进行播放。

本发明还提供一种视频剪辑装置,包括:

识别单元,用于获取直播视频流的图片帧,进行图像识别确定出现目标事件的第一图片帧;

提取单元,用于提取所述第一图片帧的时间戳,根据所述时间戳获取视频剪辑的剪辑位置;

剪辑单元,用于根据所述剪辑位置从所述直播视频流中剪辑出目标视频片段。

本发明还提供一种电子设备,包括:

处理器;

用于存储处理器可执行指令的存储器;

其中,所述处理器被配置为执行上述直播视频剪辑方法。

本发明还提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述直播视频剪辑方法。

本发明还提供一种计算机程序产品,包括计算机程序代码,所述计算机程序代码包括程序指令,当所述程序指令被电子设备执行时,使所述电子设备执行上述直播视频剪辑方法。

上述的视频自动剪辑方法、装置、电子设备以及计算机可读存储介质,通过对直播视频流的图片帧进行识别,获取所述图片帧中出现的目标事件;获取产生所述目标事件的图片帧对应在直播视频流中的时间戳;根据所述时间戳对所述直播视频流进行剪辑,获得视频片段的技术方案,以直播视频流中的目标事件确定剪辑直播视频流的对应时间戳,能准确快速的剪辑得到剪辑准确性高的视频片段。上述的直播视频剪辑方法、装置、电子设备以及计算机可读存储介质可以适应大批量的视频资源的剪辑工作。

本发明的技术方案是获取视频并对视频执行分帧解析,获得待识别图像信息;分析所述待识别图像信息,检测所述待识别图像信息中目标事件;获取所述目标事件的时间戳,根据所述时间戳和预设的时间区间剪辑所述视频,获得视频片段。通过上述技术方案,本发明可以通过检测获得目标事件以及对应时间戳以剪辑视频,可以精确识别目标事件,并以目标事件为核心,围绕目标事件剪辑,提高视频剪辑的精确性,应用本发明的技术方案还可以快速处理大批量的视频剪辑工作。

本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:

图1为一个实施例的直播视频剪辑方法流程图;

图2为一个实施例中根据剪辑位置剪辑目标视频片段的流程示意图;

图3为一个实施例中对目标视频片段识别指示标签的方法流程图;

图4为一个实施例中判定图片帧出现目标事件的流程示意图;

图5为一个实施例中形成视频合辑的方法流程图;

图6为一个实施例中以视频评分筛选视频片段的方法流程图;

图7为一个实施例中触发剪辑的方法流程图;

图8为一个实施例中直播视频剪辑装置结构图;

图9为一个实施例的执行直播视频剪辑方法的一种电子设备结构图;

图10为一个实施例的直播视频剪辑方法的剪辑场景示意图;

图11为一个实施例的直播视频剪辑方法的应用场景图。

具体实施方式

下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。

本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解,这里所使用的远端网络设备、装置,其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云。在此,云由基于云计算(cloudcomputing)的大量计算机或网络服务器构成,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机。本发明的实施例中,远端网络设备、终端设备与wns服务器之间可通过任何通讯方式实现通讯,包括但不限于,基于3gpp、lte、wimax的移动通讯、基于tcp/ip、udp协议的计算机网络通讯以及基于蓝牙、红外传输标准的近距无线传输方式。

请参考图1,在本实施例中,提供一种直播视频剪辑方法,包括如下步骤:

在步骤s11中获取直播视频流的图片帧进行图像识别,确定出现目标事件的第一图片帧。

在上述过程中,以一段直播视频流为例,所述直播视频流可以是正在进行录制的游戏视频或者正在直播视频。所述直播视频流由多帧带有时间戳的图片帧组成,对每一帧图片帧进行识别。其中,识别的图片帧如果确定出现目标事件,则该图片帧就是第一图片帧。在其他可能的实施方式中,还可以针对指定时长视频中的多帧图片帧同时进行识别,例如可以是对1秒或者5秒时长的视频的多帧图片帧同时进行识别。

以应用图像识别算法为例,在图片帧中识别是否出现目标事件,所述目标事件是指预先录入的特定图像信息。

结合具体的游戏直播视频流为例,所述目标事件可以指得分、释放技能、击杀等具有观赏性的特殊事件对应的特定图像信息。相应地,这些特殊事件通常具有特定的图像信息,例如是文字、器械图像、人物图像等。例如,得分事件在图片帧中可以显示为“a玩家得10分”、击杀事件在图片帧中可以显示为“a玩家击杀b玩家”。释放技能事件在图片帧可以显示为一定的技能释放图像,所述技能释放图像具有特殊的识别位点,例如是颜色变化、玩家图像变化等。其中的器械图像,在图片帧中可以被识别为“来福枪”、“加农炮”、“连弩”等器械。上述的人物图像,在图片帧中可以被识别为“某任务发布者”、“终极怪物”等。除此之外,还可以是反映场景的特定图像,例如是在同一图片帧中团队全部成员团战、某角色升级等场景。

在步骤s12中,提取所述第一图片帧的时间戳,根据所述时间戳获取视频剪辑的剪辑位置。

在上述过程中,目标事件出现的第一图片帧对应具体的一个事件的发生时刻,这个时刻点对应第一图片帧的时间戳。结合上述游戏直播视频流的例子,例如识别到“a玩家得10分”的目标事件,该目标事件在游戏录像直播视频流中出现的时间戳是00:05:07。当游戏录像直播视频流中出现多个目标事件时,分别记录多个时间戳。在其他的实施方式中,还可以通过连续识别和匹配目标事件的方法,识别单个目标时间的起始时间戳和结束时间戳。例如,“a玩家得10分”的目标事件,该目标事件持续出现13秒,对应起始时间戳是00:05:07,结束时间戳是00:05:20。根据上述时间戳就可以确定在所述直播视频流中的剪辑位置。所述时间戳可以指示绝对时间,即世界时,也可以指示相对时间,即本直播视频流中的相对时间。

在步骤s13中,根据所述剪辑位置从所述直播视频流中剪辑出目标视频片段。

在上述过程中,根据时间戳指示的剪辑位置将直播视频流剪辑为目标视频片段。在一些实施方式中,根据目标事件发生的次数不同,可以获得单个或者两个以上的目标视频片段。例如,上述直播视频流中仅出现“a玩家得10分”的目标事件,对直播视频流剪辑得到一段目标视频片段。若在直播视频流中,除了“a玩家得10分”的目标事件,还出现“团灭”的目标事件,对直播视频流剪辑就会得到两段目标视频片段。

在一种实施方式中,若两个或多个目标事件的时间戳的间隔小于指定间隔(例如10秒),可以将两个或多个目标事件剪辑于同一目标视频片段,以保证所述目标视频片段的完整性和连贯性,避免破坏目标事件之间的逻辑关系。若两个或多个目标事件的时间戳的间隔大于或等于指定间隔,将目标事件对应的直播视频流剪辑为多个目标视频片段。

在另一种实施方式中,还可以获取目标视频片段对应的时长信息,根据时间戳和时长信息,从直播视频流中截取目标视频片段。例如,“a玩家得10分”的目标事件,对应时间戳是00:05:07为终点,目标视频片段时长为30秒,那么将截取00:04:36至00:05:07对应的直播视频流为目标视频片段。除此之外,可以第一图片帧对应时间戳为中心,在时间轴上向前和向后各自截取相应时长,还可以时间戳为起点,在时间轴上向后截取相应时长。

更进一步地,根据目标事件的不同,相应目标视频片段的时长信息也不相同。例如,在游戏直播视频流中,“连续击杀”的目标事件可以有30秒的时长信息,即可以剪辑30秒包含“连续击杀”的目标视频片段。而“击杀”的目标事件,就只有10秒的时长信息,即剪辑10秒包含“击杀”目标事件的目标视频片段。目标事件与时长信息之间的关系可以根据目标事件的发生时长、精彩程度、受众喜爱度等信息确定。

在上述过程中,通过对直播视频流分帧识别,可以实现高频识别,更快找到目标事件出现的时间戳位置,便于准确、快速、实时地确定剪辑位置,进而快速剪辑出相应的目标视频片段。应用上述方法,对直播视频流可以实现低延迟时间(例如延迟时间可以在3秒以内)的目标视频片段剪辑,即当直播结束或者其他需要提取目标视频片段的场合,减少最长等待时间,即可获得本场直播的目标视频片段。

本申请除了可以剪辑游戏直播视频流,还可以针对其他类型的直播视频流进行剪辑。以表演类的直播视频流为例。首先,获取直播视频流的图片帧进行图像识别,确定出现目标事件的第一图片帧。其后,提取所述第一图片帧的时间戳,根据所述时间戳获取视频剪辑的剪辑位置。而后,根据所述剪辑位置从所述直播视频流中剪辑出目标视频片段。

在上述剪辑表演类直播视频流的过程中,获取表演类直播视频流的图片帧,并针对图片帧识别是否存在目标事件。针对表演类直播视频流,所述目标事件可以指发送礼物、观看人数、点赞数量等具有记录意义的特殊事件对应的特定图像信息,上述的特定图像信息在直播表演可以是对话、数字变化、直播界面的变化等。上述的对话在图片帧中可以显示为“感谢甲网友的礼物”、“人数破万”、“点赞破万”等文字信息,例如是网友的弹幕、评论、系统提醒等。除此之外,还可以是识别到图片帧中的观看人数超过10000、点赞人数500等特殊事件。根据识别得到第一图片帧的时间戳指示的剪辑位置,从所述表演类直播视频流中剪辑出目标视频片段。

请参考图2,在本实施例的基础上,步骤s13具体包括以下步骤:

在步骤s21中,根据所述剪辑位置确定剪辑视频的第一位置点。

在上述过程中,一个所述剪辑位置就可以确认第一位置点,该剪辑位置对应的时间戳指示目标事件出现的时刻。

当识别到连续的多帧图片帧为第一图片帧时,提取最后一帧第一图片帧对应的时间戳,根据该时间戳获取视频剪辑的剪辑位置。当出现多个目标事件确定得到多个剪辑位置时,在满足时间戳间距小于指定间隔的前提下,以最后一帧第一图片帧对应的时间戳作为确定第一位置点的时间戳。例如,获取指定间隔为30秒,若第一图片帧指示的时间戳共有3个,时间戳间隔分别为25秒和5秒,均小于指定间隔,那么3个时间戳中,以最后一帧第一图片帧对应的确定第一位置点。

若第一图片帧指示的时间戳有4个,时间戳间隔分别为20秒、10秒、35秒,在上述时间戳中,去除最后一个超出指定时间间隔的时间戳,以倒数第二帧第一图片帧对应的时间戳确定第一位置点。

在步骤s22中,在所述第一位置点上回推设定时长确定剪辑视频的第二位置点。

上述设定时长是指目标视频片段的时长,设定时长根据具体情况限定。例如,设定时长可以设置为40秒,那么在第一位置点往回退40秒,确定剪辑视频的第二位置点。例如目标事件的时间戳是00:06:03,那么确定的第一位置点为00:06:03,第二位置点为00:05:22。

当出现多个目标事件,即存在多个时间戳时,设定时长根据时间戳的数量相应增长。例如,直播视频流的图片帧中,出现6个目标事件,最后一个目标事件的时间戳是00:09:15,第一位置点为00:09:15,单位设定时长为30秒,相应的设定时长为180秒,第二位置点为00:06:14。

在步骤s23中,提取第一位置点和第二位置点之间的图片帧,合成所述目标视频片段。

当上述第一位置点为00:06:03,第二位置点为00:05:22时,对直播视频流截取00:05:22至00:06:03的图片帧,组合为目标视频片段。

当上述第一位置点为00:09:15,第二剪位置点为00:06:14时,对直播视频流截取00:06:14至00:09:15的图片帧,作为目标视频片段。

在本实施例的基础上,步骤s21具体包括:当识别到连续的多帧图片帧为第一图片帧时,提取最后一帧第一图片帧对应的时间戳,根据该时间戳获取视频剪辑的剪辑位置。

当一件目标事件具有连续性时,例如是d玩家连续5秒使用机关枪得分的目标事件,该目标事件持续5秒,对应时间戳为00:03:04至00:03:09,那么以最后一帧出现目标事件的图片帧对应的时间戳,即00:03:09,确定第一位置点为直播视频流的00:03:09处。

上述识别得到时间戳的操作可以在后台、终端等实现,优选的方案是,上述识别得到时间戳、剪辑视频的操作可以在云服务器上实现,剪辑得到的视频可以通过链接等方式分发,用户可以通过链接直接访问云端中的目标视频片段,减少直播视频流的下载、缓存和目标视频片段上传的等待时间和带宽资源,加快直播视频流的处理速度和目标视频片段的发布效率。应用上述方法,可以实时对直播视频流进行剪辑,不需要对视频进行缓存等操作,大大提升了处理效率。

请参考图3,在本实施例的基础上,所述方法还包括:

在步骤s31中,根据目标事件的类型对第一图片帧设置播放的指示标签。

在上述过程中,识别的目标事件根据内容分类设置播放标签,所述播放标签用于指示第一图片帧中的目标事件的名称或者内容、摘要等。

在步骤s32中,在目标视频片段中插入所述指示标签,用于指示目标事件的内容和出现位置,当所述指示标签被点击时,跳转至相应的第一图片帧位置开始播放。

在目标视频片段中插入指示标签,可以让用户快速找到目标事件出现的位置,并根据播放标签的内容提示,快速浏览目标视频片段。除了点击播放标签可以跳转到对应第一图片帧的位置开始播放外,还可以通过悬浮、特定按键的点击、三维触控等方式,显示对应播放标签的信息。更进一步地,可以显示悬浮小窗,悬浮小窗内从播放标签的对应图片帧位置开始播放目标视频片段。

请参考图4,在本实施例的基础上,步骤s11具体包括以下步骤:

在步骤s41中,提取直播视频流的图片帧。

在上述过程中,通过对直播视频流的解析,获取带有时间戳的图片帧,用于识别目标事件。

在上述过程之前,可以通过建立包含目标图像的数据库,将预设目标图像与目标事件进行关联。例如,建立包括多种关键词图像的数据库用以匹配对话类、系统提示类的目标事件;建立包括多种武器图像、道具图像、礼物图像的数据库用以匹配使用武器、使用道具或馈赠礼物相关联的目标事件。

在步骤s42中,对所述图片帧的图像内容进行识别,当图片帧中出现与目标事件相关联的目标图像时,判定所述图片帧中出现所述目标事件。

在上述过程中,应用人工智能算法(ai)、图片转文字算法、图片识别算法、卷积神经网络算法等识别算法,可以根据图片帧中出现的图形与预设的目标图像比对,最终判定是否出现目标事件。一般而言,根据预先关联的目标图像对目标事件常常具有较好的相关性,能够准确指示目标事件的发生与否。应用人工智能算法,可以在多次训练或者多次识别后,获得较好的识别结果。

请参考图5,在本实施例的基础上,所述直播视频剪辑方法还包括步骤:

在步骤s51中,根据设定的多个目标事件分别从直播视频流中剪辑出多段目标视频片段。

在步骤s52中,根据各个目标事件类型对所述目标视频片段进行排序。

在上述过程中,以游戏视频为例,可以根据游戏中出现目标事件的内容进行分类,例如可以分为得分类、升级类、视觉类等。根据不同目标事件类型,可以将目标事件都应的目标视频片段进行排序。排序的依据可以是观众喜欢的程度、出现的机率等。例如,“玩家升级”的目标事件比较稀有,可以将“玩家升级”的目标事件分为升级类,将其对应的目标视频片段排在序列的第一位。例如,“技能释放”的目标事件,由于视觉效果比较华丽,观众喜爱程度比较高,可以将“技能释放”的目标事件分为视觉类,并将对应目标视频片段排在序列的第二位。将“a玩家得10分”的目标事件分类为得分类,将对应目标视频片段排在序列的末位。

在一些实施方式中,若同一目标视频片段中出现多个目标事件,对目标视频片段的排序,可以根据多个目标事件的量化指数进行加权统计,进一步对目标视频片段排序。这个方案可以适用于目标视频片段内出现复杂的目标事件时的排序。

在步骤s53中,根据所述排序从目标视频片段中选择部分目标视频片段合成视频合辑。

在上述过程中,当对视频合辑有时长限制或者对目标视频片段有数量限制时,例如限制视频合辑时长为30秒。上述升级类目标事件对应目标视频片段长10秒,视觉类目标事件对应目标视频片段长20秒,得分类目标事件对应目标视频片段长30秒,那么根据上述排序结果优先选取升级类目标事件对应目标视频片段和升视觉类目标事件对应目标视频片段组成视频合辑。上述方案可以在有限的时长资源控制下,筛选质量较高的目标视频片段,组成可看性更好的视频合辑。

请参考图6,在本实施例的基础上,步骤s52具体包括以下步骤:

在步骤s61中,对所述目标事件进行分类。

以射击游戏为例,根据目标事件内容可以分类为“击杀”、“连续击杀”、“超神击杀”、“决赛圈”、“狙击枪”、“倍镜击杀”、“乘车击杀”、“道具击杀”。

在步骤s62中,根据目标视频片段中目标事件出现的次数以及目标事件设定的分值对目标视频片段进行评分。

例如在上述“击杀”、“连续击杀”、“超神击杀”、“决赛圈”、“狙击枪”、“倍镜击杀”、“乘车击杀”、“道具击杀”的目标事件分别对应分数值为:2、5、5、5、3、4、4、6。

目标视频片段a中,识别目标事件“道具击杀”2次,“超神击杀”1次,共计15分,目标视频片段时长25秒;

目标视频片段b中,识别目标事件“乘车击杀”1次,“倍镜击杀”1次,共计8分,目标视频片段时长10秒;

目标视频片段c中,识别目标事件“击杀”5次,“决赛圈”2次,共计20分,目标视频片段时长30秒;

目标视频片段d中,识别目标事件“击杀”3次,“决赛圈”1次,“超神击杀”1次,共计16分,目标视频片段时长60秒;

目标视频片段e中,识别目标事件“倍镜击杀”1次,“决赛圈”1次,“狙击枪”1次,共计12分,目标视频片段时长60秒。

在步骤s63中,根据各个目标视频片段的评分对目标视频片段进行排序,将排序靠前的若干个目标视频片段合成视频合辑。

根据评分由高至低的顺序排列:目标视频片段c(20分)、目标视频片段d(16分)、目标视频片段a(15分)、目标视频片段e(12分)、目标视频片段b(8分)。选用前3个目标视频片段组成视频合辑,即采用目标视频片段c、目标视频片段d、目标视频片段a。在组成视频合辑时,可以根据目标视频片段的时间戳的绝对时间或相对时间,按照时间的先后顺序排列;还可以根据目标视频片段的评分,按照评分从低至高的顺序组合目标视频片段;也可以根据目标视频片段的时长,按照时长从长到短的顺序组成视频合辑。

结合上述例子,展示对目标视频片段中的目标事件标签的方案:

请参考图3,根据所述目标事件的内容分别设置相应的标签的方案,仍以上述视频片段a为例,视频片段a中,识别目标事件“道具击杀”2次,“超神击杀”1次,相应识别标签“道具击杀”2个,“超神击杀”1个。

根据所述目标事件出现的第一图片帧的时间戳,在目标视频片段中时间轴的位置插入所述指示标签,用于指示目标事件的内容和出现位置。

在上述目标视频片段a中,识别目标事件“道具击杀”2次的时间戳分别为00:09:06和00:15:12,“超神击杀”1次的时间戳为00:11:26,根据时间戳的先后顺序在目标视频片段的相应位置分别插入指示标签。在目标视频片段a中,当鼠标或者其他具有指示交互功能的工具触及、悬浮、点击所述标签时,可以提示标签内容。例如,当用户在观赏目标视频片段a时,鼠标悬浮在进度条的00:11:26时,会显示悬浮指示,显示该段是“超神击杀”的目标事件的内容或者相关摘要信息。

请参考图7,在本实施例的基础上,所述直播视频剪辑方法的步骤s11之前,还包括步骤:

在步骤s71中,获取所述直播视频流的上传信息或制作信息。

其中上传信息可以是上传者的名称或者身份识别信息,所述制作信息可以是制作者的信息,例如是制作者的名称或者制作团队的识别码等信息。

在步骤s72中,获取视频剪辑白名单。

上述的视频剪辑白名单可以包括上传者的名称或者身份识别信息、制作者的信息、制作者的名称或者制作团队的识别码等信息,所述视频剪辑白名单用于筛选待剪辑的直播视频流。

在步骤s73中,当所述上传信息或制作信息和视频剪辑白名单匹配时,对直播视频流的图片帧进行识别,获取所述图片帧中出现的目标事件。

在视频剪辑白名单中的作者制作、录制或者上传的直播视频流具有较高的质量或者有一定的观众基础,因此在所述上传信息或制作信息和视频剪辑白名单匹配时,可以将对应的直播视频流挑选,作为待剪辑的直播视频流进行剪辑。

在本实施例的基础上,当直播视频流是游戏直播视频流,所述目标事件为游戏得分事件时,所述直播视频剪辑方法的步骤s11之前,还包括:

当一场游戏开始时,开始执行获取游戏直播视频流的图片帧进行图像识别的步骤。当一场游戏结束时,停止执行获取直播视频流的图片帧进行图像识别的步骤。

在上述过程中,当主播切换到游戏页面全屏或者游戏页面超过整个直播界面的一定比例就可以确定游戏已经开始。当主播切出游戏界面或者游戏界面已经被识别到本局游戏已经结束等内容时,可以确定游戏已经结束。

在其他一些实施方式中,可以是通过主播的点击、口令识别或者是游戏供应商指令作为游戏开始或结束的指令。在游戏开始后,可以对游戏直播视频流的图片帧开始识别。通过上述方案,可以切除主播在直播过程中进行与游戏直播无关的视频内容,降低识别运算量和识别资源的占用,待游戏直播进行中时,才起用上述视频剪辑的方法。

在上述过程中,以直播为例,单场直播开始的时刻为11:39am,直播结束的时刻为1:25pm。那么相应地,对直播视频流的识别就在11:39am和1:25pm时间进行。

在得到目标视频片段之后,当检测到本场游戏结束或暂停时,将本场游戏直播中获取的所述目标视频片段进行播放。本场游戏结束后实时回放剪辑得到的目标视频片段或者是播放由上述目标视频片段组成的视频合辑。

请参考图9,本实施例还提供一种直播视频剪辑装置,包括:

识别单元91,用于获取直播视频流的图片帧,进行图像识别确定出现目标事件的第一图片帧;

提取单元92,用于提取所述第一图片帧的时间戳,根据所述时间戳获取视频剪辑的剪辑位置;

剪辑单元93,用于根据所述剪辑位置从所述直播视频流中剪辑出目标视频片段。

上述视频剪辑装置用于执行上述的直播视频剪辑方法。

本实施例还提供一种电子设备,包括:

处理器;

用于存储处理器可执行指令的存储器;

其中,所述处理器被配置为执行上述的直播视频剪辑方法。

图9是根据一示例性实施例示出的一种执行直播视频剪辑方法的一种电子设备的框图。例如,电子设备900可以被提供为一服务器。参照图9,电子设备900包括处理组件922,其进一步包括一个或多个处理器,以及由存储器932所代表的存储器资源,用于存储可由处理组件922的执行的指令,例如应用程序。存储器932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件922被配置为执行指令,以执行上述直播视频剪辑的方法。

电子设备900还可以包括一个电源组件926被配置为执行电子设备900的电源管理,一个有线或无线网络接口950被配置为将电子设备900连接到网络,和一个输入输出(i/o)接口958。电子设备900可以操作基于存储在存储器932的操作系统,例如windowsservertm、macosxtm、unixtm、linuxtm、freebsdtm或类似。

本实施例还提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述直播视频剪辑方法。

请参考图10,本实施例示例性地展示一种直播视频剪辑的剪辑场景示意图。本实施例通过获取直播视频流中的图片帧101、图片帧102、图片帧103。分别对上述图片帧进行识别,识别得到图片帧102中存在“得分”目标事件,将图片帧102标识为第一图片帧。根据第一图片帧的时间戳102b,确定在该直播视频流的剪辑位置,即第一位置点为时间戳102b。根据“得分”目标事件的预设时长,回推到第二位置点,例如是时间戳101a的位置。将第一位置点和第二位置点之间的视频片段剪辑,得到目标视频片段。

请参考图11,本实施例中还示例性提供一种直播视频剪辑方法的应用场景。其中,服务器获取直播视频流,并将直播视频流发送至视频端,由视频端解析图片帧。此前,由后台根据直播视频流的信息判定是否触发剪辑,例如上传或者制作该直播视频流的用户是白名单用户或者是授信用户,则后台可以优先次序或者直接向服务器发出剪辑指令,以触发直播视频流的剪辑。当后台判定触发剪辑,发出剪辑指令时,在剪辑端应用人工智能(ai)识别算法识别目标事件,例如可以识别目标事件相关联的轮廓、文本、像素识别点或像素点集合等,并转化为目标视频片段信息。目标视频片段信息中包括所述目标事件中对应的时间戳、目标事件对应的预设时长等信息。根据目标视频片段信息和直播视频流,在剪辑端进一步剪辑生成目标视频片段,剪辑端将所述目标视频片段转至服务器储存。后台向服务器调取目标视频片段,并生成视频合辑、发布所述视频合辑的链接。

在上述执行直播视频剪辑方法的过程中,剪辑端的操作可以并入服务器执行,所述服务器可以采用云端服务器,主要执行剪辑、识别等运算。

在一种实施方式中,识别、剪辑等运算量高、运算复杂的步骤,可以在云端服务器完成,并可以链接的形式分发,避免缓存直播视频流,减少目标视频片段、视频合辑下载的时间和带宽占用。

上述的直播视频剪辑方法、装置、电子设备以及计算机可读存储介质,通过对直播视频流的图片帧进行识别,获取所述图片帧中出现的目标事件;获取产生所述目标事件的图片帧对应在直播视频流中的时间戳;根据所述时间戳对所述直播视频流进行剪辑,获得视频片段的技术方案,以直播视频流中的目标事件确定剪辑直播视频流的对应时间戳,能准确快速的剪辑得到剪辑准确性高的视频片段。上述的直播视频剪辑方法、装置、电子设备以及计算机可读存储介质可以适应大批量的视频资源的剪辑工作。

应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1