一种视频转化分析方法、装置、设备及介质与流程

本发明涉及计算机技术领域，尤其涉及一种视频转化分析方法、装置、设备及介质。

背景技术

目前，随着网络通信技术的进步和宽带网络的提速，网络直播得到了越来越多的发展和应用。为了保证直播的良性发展和获得直播过程的数据信息，往往需要监控直播视频是否存在不符合要求的视频图像，或分析获得直播视频中的关键性数据，以供直播平台采取改进措施。这都需要通过在直播过程中或获得视频后，进行视频分析来开展。

然而，无论是在直播过程中进行同步视频分析还是对已有的视频进行分析，都需要耗费较多的资源来进行解码、转化和分析等计算，计算量大，处理速度也慢。

可见，现有技术中的视频分析，存在计算量大，处理速度慢的技术问题。

技术实现要素：

本发明提供一种视频转化分析方法、装置、设备及介质，用以解决现有技术中的视频分析，存在的计算量大，处理速度慢的技术问题。

第一方面，本发明提供了一种视频转化分析方法，包括：

获取第一时间间隔；

在下载目标视频和解码所述目标视频的过程中或在解码所述目标视频后，按照所述第一时间间隔从解码所述目标视频后的帧中抽取目标帧；

将所述目标帧的格式由yuv格式转化为rgb格式；对除所述目标帧外的其他帧不进行yuv格式至rgb格式的转化；

对转化后的目标帧进行视频分析。

可选的，所述获取第一时间间隔，包括：确定所述目标视频的目标场景类型；按照预设的场景类型与时间间隔的对应关系，确定所述目标场景类型对应的所述第一时间间隔。

可选的，所述确定所述目标视频的目标场景类型包括：根据所述目标视频的属性信息中预设的场景标识，确定所述目标视频的场景类型；或者，在下载目标视频和解码所述目标视频的过程中，比对最新解码的目标视频的当前帧与预设的场景特征，根据比对结果确定所述目标视频的场景类型。

可选的，所述将所述目标帧的格式由yuv格式转化为rgb格式，包括：

根据以下公式将所述目标帧的格式由yuv格式转化为rgb格式：

其中，r为rgb格式的r通道参数值，g为rgb格式的g通道参数值，b为rgb格式的b通道参数值；y为yuv格式的y通道参数值，u为yuv格式的u通道参数值，v为yuv格式的v通道参数值。

第二方面，提供一种视频转化分析装置，包括：

获取模块，用于获取第一时间间隔；

抽取模块，用于在下载目标视频和解码所述目标视频的过程中或在解码所述目标视频后，按照所述第一时间间隔从解码所述目标视频后的帧中抽取目标帧；

转化模块，用于将所述目标帧的格式由yuv格式转化为rgb格式；对除所述目标帧外的其他帧不进行yuv格式至rgb格式的转化；

分析模块，用于对转化后的目标帧进行视频分析。

可选的，所述获取模块用于：确定所述目标视频的目标场景类型；按照预设的场景类型与时间间隔的对应关系，确定所述目标场景类型对应的所述第一时间间隔。

可选的，所述获取模块还用于：根据所述目标视频的属性信息中预设的场景标识，确定所述目标视频的场景类型；或者，在下载目标视频和解码所述目标视频的过程中，比对最新解码的目标视频的当前帧与预设的场景特征，根据比对结果确定所述目标视频的场景类型。

可选的，所述转化模块还用于：

根据以下公式将所述目标帧的格式由yuv格式转化为rgb格式：

其中，r为rgb格式的r通道参数值，g为rgb格式的g通道参数值，b为rgb格式的b通道参数值；y为yuv格式的y通道参数值，u为yuv格式的u通道参数值，v为yuv格式的v通道参数值。

第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。

第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。

本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

本申请实施例提供的方法、装置、设备及介质，按照第一时间间隔从解码所述目标视频后的帧中抽取目标帧；只对抽取的目标帧进行yuv格式到rgb格式的转化和视频分析，对除所述目标帧外的其他帧不进行格式的转化和分析，从而较大的减少了视频分析中的计算量和计算时间，有效的提高了视频分析的效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中视频转化分析方法的流程图；

图2为本发明实施例中视频转化分析装置的结构示意图；

图3为本发明实施例中设备的结构示意图；

图4为本发明实施例中介质的结构示意图。

具体实施方式

本申请实施例通过提供一种视频转化分析方法、装置、设备及介质，解决了现有技术中的视频分析，存在的计算量大，处理速度慢的技术问题。实现了提高视频分析的效率和速度的技术效果。

本申请实施例中的技术方案，总体思路如下：

获取第一时间间隔；在下载目标视频和解码所述目标视频的过程中，按照所述第一时间间隔从解码所述目标视频后的帧中抽取目标帧；将所述目标帧的格式由yuv格式转化为rgb格式；对除所述目标帧外的其他帧不进行yuv格式至rgb格式的转化；对转化后的目标帧进行视频分析。

上述方法按照第一时间间隔从解码所述目标视频后的帧中抽取目标帧；只对抽取的目标帧进行yuv格式到rgb格式的转化和视频分析，对除所述目标帧外的其他帧不进行格式的转化和分析，从而较大的减少了视频分析中的计算量和计算时间，有效的提高了视频分析的效率。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本实施例提供一种视频转化分析方法，如图1所示，包括：

步骤s101，获取第一时间间隔；

步骤s102，在下载目标视频和解码所述目标视频的过程中或在解码所述目标视频后，按照所述第一时间间隔从解码所述目标视频后的帧中抽取目标帧；

步骤s103，将所述目标帧的格式由yuv格式转化为rgb格式；对除所述目标帧外的其他帧不进行yuv格式至rgb格式的转化；

步骤s104，对转化后的目标帧进行视频分析。

需要说明的是，本实施例中提供的方法既可以用于直播视频过程中的实时视频分析，也可以用于历史存储的视频的视频分析，在此不作限制。

所述方法可以应用于单台服务器、服务器组或云服务器，在此不作限制。

下面结合图1，对本申请提供的方法的具体实施步骤进行详细说明：

在执行步骤s101之前，还可以先判断目标视频是否属于显示有关键信息的预设视频类型，如果是才采用本申请实施例提供的视频转化分析方法。

具体来讲，在某些视频类型中，会持续显示有关键信息，对于该类视频，可以通过解码后图像上的关键信息来进行视频分析，然而视频上显示的关键信息往往不会持续变化，故对该类视频采用本实施例的抽取帧进行转化的视频分析方案，不仅能提高视频分析效率还能避免出现分析遗漏。

举例来说，在击杀类游戏中，往往会在游戏的画面上持续显示当前我方的击杀次数和对方的击杀次数，则显示的击杀次数即为所述关键信息，该类击杀游戏即属于所述预设视频类型。

在本申请实施例中，判断目标视频是否属于显示有关键信息的预设视频类型的方法有多种，例如，可以由工作人员在人工确认某视频为预设视频类型后，会修改该视频的属性信息，在其中加入预设的标识，然后在服务器可以根据所述目标视频的属性信息中预设的标识，来判断所述目标视频是否属于显示有关键信息的预设视频类型。

当然，也可以预先对目标视频的部分帧进行解码，通过对解码后的帧结合预设的关键信息的图像特征，进行图像特征匹配来判断目标视频是否属于显示有关键信息的预设视频类型，在此不作限制。

当然，也可以不作类型判断，均采用本实施例提供的视频转化分析方法。

首先，执行步骤s101，获取第一时间间隔。

在本申请实施例中，可以先确定所述目标视频的目标场景类型；按照预设的场景类型与时间间隔的对应关系，确定所述目标场景类型对应的所述第一时间间隔。

具体来讲，对不同的场景往往其关键信息的切换平均频率不相同，对应的第一时间间隔也不相同。举例来说，击杀类游戏直播的击杀间隔往往较长，故设置的第一时间间隔更长，棋牌类游戏直播的出牌间隔往往较短，故设置的第一时间间隔更短。具体可以由工作人员预先建立场景类型与时间间隔的对应表，通过查表获取第一时间间隔。而目标场景类型的确定可以根据所述目标视频的属性信息中预设的场景标识，确定所述目标视频的场景类型；或者，在下载目标视频和解码所述目标视频的过程中，比对最新解码的目标视频的当前帧与预设的场景特征，根据比对结果确定所述目标视频的场景类型，在此不做限制。

然后，执行步骤s102，在下载目标视频和解码所述目标视频的过程中或在解码所述目标视频后，按照所述第一时间间隔从解码所述目标视频后的帧中抽取目标帧。

在本申请实施例中，根据视频的类别不同，抽取目标帧的流程也不相同，下面举例进行说明：

第一种，直播视频。

当所述目标视频为直播视频时，在服务器从主播端下载直播视频流的过程中，会边下载视频，边解码视频，边按预设的第一时间间隔对刚下载的视频进行目标帧的抽取，以在直播的过程中高效的抽取出的多个目标帧来进行实时格式转化和视频分析。

第二种，历史存储视频。

当所述目标视频为服务器上已经存储的视频时，可以直接对解码后的视频中的每帧进行遍历，根据所述目标视频中每帧生成的时间，按预设的第一时间间隔抽取出多个目标帧来进行格式转化和视频分析。

在本申请实施例中，在抽取出多个目标帧后，仅对目标帧进行格式转化和视频分析，其余的帧均不再作处理，以大大减少计算量，提高视频分析的速度。

然后，执行步骤s103和s104，将所述目标帧的格式由yuv格式转化为rgb格式；对除所述目标帧外的其他帧不进行yuv格式至rgb格式的转化；对转化后的目标帧进行视频分析。

具体来讲，在抽取目标帧后，为了便于分析，还会将目标帧的格式从yuv格式(yuv是指亮度参量和色度参量分开表示的像素格式)转化为rgb格式(彩色模式)，再对格式转化后的目标帧进行视频分析和输出分析结果。

在具体实施过程中，可根据以下公式将所述目标帧的格式由yuv格式转化为rgb格式：

其中，r为rgb格式的r通道参数值，g为rgb格式的g通道参数值，b为rgb格式的b通道参数值；y为yuv格式的y通道参数值，u为yuv格式的u通道参数值，v为yuv格式的v通道参数值。

为了便于整体理解本实施例提供的方案，下面举一具体实例，服务器先获取所述目标视频的流地址，然后，下载该目标视频。在下载的过程中，对已下载的帧进行解码。在按预设的第一时间间隔对已解码的帧进行抽取，获得目标帧，仅对目标帧进行yuv格式转化为rgb格式，然后再对转化后的目标帧进行视频分析和分析结果输出。

在一种实施方式中，还可以设置根据公式r＝y，g＝y和b＝y，将所述目标视频中的帧的格式由yuv格式转化为rgb格式；其中，r为rgb格式的r通道参数值，g为rgb格式的g通道参数值，b为rgb格式的b通道参数值；y为yuv格式的y通道参数值，u为yuv格式的u通道参数值，v为yuv格式的v通道参数值。

进一步，还可以先判断目标视频是否属于色彩单一的场景，如果是才采用公式r＝y，g＝y和b＝y进行视频转化。

具体的判断方法可以有多种，下面列举两种为例：

第一种，预设属性信息。

即由工作人员预先识别目标视频是否是色彩单一的场景，如是则修改目标视频的属性信息的色彩标识，如果服务器根据所述目标视频的属性信息中预设的色彩标识，确定所述目标视频为色彩单一的场景，则根据公式r＝y，g＝y和b＝y，将所述目标视频中的帧的格式由yuv格式转化为rgb格式。

举例来说，工作人员将目标视频属性信息中的色彩标识设置为0则表示为色彩单一的场景视频，将目标视频属性信息中的色彩标识设置为1则表示不为色彩单一的场景视频。服务器可以根据属性信息中色彩标识的值来确定其是否采用本实施例提供的视频转化方法。

第二种，特征比对。

即预先设置与色彩单一视频匹配的多个场景特征，比对解码的目标视频与预设的场景特征，根据比对结果确定所述目标视频为色彩单一的场景，则根据公式r＝y，g＝y和b＝y，将所述目标视频中的帧的格式由yuv格式转化为rgb格式。

举例来说，设置与色彩单一视频匹配的场景特征有：方格特征图像、筛子特征图像、熊猫特征图像。服务器比对解码后的图像与预设的场景特征，如果有匹配的特征，则确定所述目标视频为色彩单一的场景，确定采用本实施例提供的视频转化方法。

在另一种实施方式中，考虑抽取目标帧来进行转化和分析可能会出现遗漏。为了便于分析，还会对格式转化后的目标帧进行视频分析，生成分析反馈信息。根据所述分析反馈信息，监控是否存在识别点遗漏。如果存在识别点遗漏，则切换转化模式，对当前下载的所述目标视频的每一帧均进行转化，并对转化后的每一帧均进行视频分析。

该分析反馈信息的生成过程可以是：提取解码后的所述目标帧中预设的识别点图像信息，并判断所述识别点图像信息是否是连续的；如果是连续的，则生成表征不存在识别点遗漏的分析反馈信息；如果不是连续的，则生成表征存在识别点遗漏的分析反馈信息。

举例来讲，在击杀类游戏中，往往会在游戏的画面上持续显示当前我方的击杀次数，则显示击杀次数位置的图像即为识别点图像，通过分析该部分图像可以提取出识别点图像信息，即具体的击杀数。如果没有识别点遗漏，则该识别点图像信息(击杀数)应该是按1,2,3,4,5….这样的连续数字排列的，如果分析发现该该识别点图像信息在3之后直接为5，则确认遗漏了击杀次数为4附近的信息，确认存在识别点遗漏，生成表征存在识别点遗漏的分析反馈信息。

当然，在具体实施过程中，上述识别点图像信息连续，不仅可以是指数字上的连续，也可以是字母上的连续，或者按预设的连续信息表来连续，在此不作限制。

可以预先设置，在存在识别点遗漏时，设置分析反馈信息为0或n等字符，不存在识别点遗漏时，设置分析反馈信息为1或y等字符。故可以通过分析反馈信息的具体内容来监控是否存在识别点遗漏。

在另一种实施方式中，还可以在执行步骤s102之前，在下载所述目标视频的过程中，将下载的所述目标视频更新存储至缓存，使所述缓存中存储有当前时间至当前时间往前预设时长内下载的目标视频；然后按第一时间间隔抽取所述目标视频的目标帧，对所述目标帧进行格式转化，并仅对转化后的所述目标帧进行视频分析，生成分析反馈信息；根据所述分析反馈信息，监控是否存在识别点遗漏；如果存在识别点遗漏，则提取所述缓存中存储的缓存视频段，对所述缓存视频段的每一帧均进行解码、视频格式转化和视频分析，并清空所述缓存。

在本申请实施例中，采用缓冲寄存器buffer来进行对下载过程中的视频的缓存，通过fifo实现缓存中持续保存有当前时间至当前时间往前预设时长内下载的目标视频。所述预设时长可以为1分钟或40秒等，在此不作限制。

举例来讲，假设预设时长为1分钟，当前正在下载目标视频的第25分钟的视频帧，则缓存中存储有滴24-25分钟的视频帧。随着下载的继续，缓存中会清除最早的部分视频，始终保证缓存有距今1分钟时长的视频。

在监控发现存在识别点遗漏后，为了弥补确实的识别点信息，就提取缓存中现有的视频帧，并对每一帧均进行解码、视频格式转化和分析。由于已经对该缓存中的每一帧均进行了转化分析，则可以清空当前缓存，以节约缓存空间和避免重复转化。在清空缓存后，缓存中会继续按前述缓存方式存储当前继续下载的视频，使所述缓存中存储有当前时间至当前时间往前预设时长内下载的目标视频。

具体来讲，按照第一时间间隔从解码所述目标视频后的帧中抽取目标帧；只对抽取的目标帧进行yuv格式到rgb格式的转化和视频分析，对除所述目标帧外的其他帧不进行格式的转化和分析，从而较大的减少了视频分析中的计算量和计算时间，有效的提高了视频分析的效率。

基于同一发明构思，本申请还提供了与实施例一中视频转化分析方法对应的装置，详见实施例二。

实施例二

本实施例提供了一种视频转化分析装置，如图2所示，该装置包括：

获取模块201，用于获取第一时间间隔；

抽取模块202，用于在下载目标视频和解码所述目标视频的过程中或在解码所述目标视频后，按照所述第一时间间隔从解码所述目标视频后的帧中抽取目标帧；

转化模块203，用于将所述目标帧的格式由yuv格式转化为rgb格式；对除所述目标帧外的其他帧不进行yuv格式至rgb格式的转化；

分析模块204，用于对转化后的目标帧进行视频分析。

在本申请实施例中，所述获取模块201还用于：确定所述目标视频的目标场景类型；按照预设的场景类型与时间间隔的对应关系，确定所述目标场景类型对应的所述第一时间间隔。

在本申请实施例中，所述获取模块201还用于：根据所述目标视频的属性信息中预设的场景标识，确定所述目标视频的场景类型；或者，在下载目标视频和解码所述目标视频的过程中，比对最新解码的目标视频的当前帧与预设的场景特征，根据比对结果确定所述目标视频的场景类型。

在本申请实施例中，所述转化模块203还用于：

根据以下公式将所述目标帧的格式由yuv格式转化为rgb格式：

其中，r为rgb格式的r通道参数值，g为rgb格式的g通道参数值，b为rgb格式的b通道参数值；y为yuv格式的y通道参数值，u为yuv格式的u通道参数值，v为yuv格式的v通道参数值。

由于本发明实施例二所介绍的装置，为实施本发明实施例一的方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。

基于同一发明构思，本发明实施例还提供了实施例一中方法对应的电子设备实施例，见实施例三。

实施例三

本实施例提供一种电子设备，如图3所示，包括存储器310、处理器320及存储在存储器310上并可在处理器320上运行的计算机程序311，处理器320执行计算机程序311时，可以实现实施例一中任一实施方式。

由于本实施例所介绍的电子设备为实施本申请实施例一中方法所采用的设备，故而基于本申请实施例一所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本申请实施例中的方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中的方法所采用的设备，都属于本申请所欲保护的范围。

基于同一发明构思，本申请提供了实施例一对应的存储介质，详见实施例四。

实施例四

本实施例提供一种计算机可读存储介质400，如图4所示，其上存储有计算机程序411，该计算机程序411被处理器执行时，可以实现实施例一任一实施方式。

本申请实施例中提供的技术方案，至少具有如下技术效果或优点：

本申请实施例提供的方法、装置、设备及介质，按照第一时间间隔从解码所述目标视频后的帧中抽取目标帧；只对抽取的目标帧进行yuv格式到rgb格式的转化和视频分析，对除所述目标帧外的其他帧不进行格式的转化和分析，从而较大的减少了视频分析中的计算量和计算时间，有效的提高了视频分析的效率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。