一种视频直播测试方法及系统与流程

技术领域

本发明涉及视频播放技术领域，尤其涉及一种视频直播测试方法及系统。

背景技术：

随着移动互联网的迅猛发展，多屏合一的融合，直播视频终端的快速增加，直播播放器的测试工作已从简单的PC端平台发展到包括手机、平板、电视、盒子等各个终端。视频直播时，在持久化播放的过程中，直播的延迟性随着客户端网络环境的不同会随着缓冲的时间不断叠加，此时播放器进行直播播放时会实时纠正延迟的时间。此时，针对某些重要比赛直播的延时测试就尤为重要。

申请号为201410224695.1的中国专利提出了点播视频测试在不同终端的一直自动化测试方法，没有提到直播的测试，同时该专利没有指出直播的特殊的时效性的测试方法，即在直播的过程中，不同的终端的直播的时效性是需要保证的，在不同的网络环境中，直播的时效性规定在很短的时间延时是允许的（视直播延时的需求而定，有些对弈类的直播规定是10s，有些个人show的直播可能会是30s，甚至60s等）。而超出该延时时段，则会大大降低直播的体验。

技术实现要素：

为了确保在各个终端、不同网络环境下，在不同的时间点观看某一个频道的直播的延迟不能相差太多，本发明提供了一种视频直播测试方法及系统，能够自动监控某一时刻各个终端直播质量。

本发明是这样实现的：一种视频直播测试方法，包括：

获取原始直播视频流的第一关键帧，并获取所述第一关键帧出现的时刻之前的预定时间内的第二关键帧；

在所述第一关键帧出现的时刻，提取在终端播放的直播视频流的图像，得到测试图像；

获取所述测试图像与所述第一关键帧的第一相似度，获取所述测试图像与所述第二关键帧的第二相似度；

若所述第一相似度和所述第二相似度中任一不小于预定值，则判定所述终端播放正常。

进一步地，所述方法还包括：

获取所述第一关键帧出现的时刻之前的预定时间内的第三关键帧；

获取所述测试图像与所述第三关键帧的第三相似度；

若所述第一相似度、所述第二相似度和第三相似度中任一不小于预定值，则判定所述终端播放正常。

进一步地，所述方法还包括：

若所述第一相似度、所述第二相似度和所述第三相似度均小于预定值，则终端重新发送播放请求。

进一步地，所述获取所述测试图像与所述第一关键帧的第一相似度，获取所述测试图像与所述第二关键帧的第二相似度，获取所述测试图像与所述第三关键帧的第三相似度，包括：

分别提取所述测试图像、第一关键帧、第二关键帧和第三关键帧的边缘信息，根据所述边缘信息分别获取所述测试图像与所述第一关键帧的第一相似度、所述测试图像与所述第二关键帧的第二相似度和所述测试图像与所述第三关键帧的第三相似度。

进一步地，所述方法还包括：

根据延时需要，对所述直播视频分类；

根据所述直播视频的分类设定每种类别的直播视频的预定时间。

进一步地，直播视频的分类包括：对弈、个人秀、比赛和演出。

进一步地，所述预定值为80%。

本发明还提供了一种视频直播测试系统，包括：

第一获取模块，用于获取原始直播视频流的第一关键帧，并获取所述第一关键帧出现的时刻之前的预定时间内的第二关键帧；

第二获取模块，用于在所述第一关键帧出现的时刻，提取在终端播放的直播视频流的图像，得到测试图像；

第三获取模块，用于获取所述测试图像与所述第一关键帧的第一相似度，获取所述测试图像与所述第二关键帧的第二相似度；

判断模块，用于在所述第一相似度和所述第二相似度中任一不小于预定值时，判定所述终端播放正常。

进一步地，所述系统还包括：

所述第一获取模块还用于获取所述第一关键帧出现的时刻之前的预定时间内的第三关键帧；

所述第三获取模块还用于获取所述测试图像与所述第三关键帧的第三相似度；

所述判断模块还用于在所述第一相似度、所述第二相似度和第三相似度中任一不小于预定值时，判定所述终端播放正常。

进一步地，所述判断模块还用于：

若所述第一相似度、所述第二相似度和所述第三相似度均小于预定值，则终端重新发送播放请求。

进一步地，所述第三获取模块包括：

边缘信息提取单元，用于分别提取所述测试图像、第一关键帧、第二关键帧和第三关键帧的边缘信息；

相似度获取单元，用于根据所述边缘信息分别获取所述测试图像与所述第一关键帧的第一相似度、所述测试图像与所述第二关键帧的第二相似度和所述测试图像与所述第三关键帧的第三相似度。

进一步地，所述系统还包括：

分类单元，用于根据延时需要，对所述直播视频分类；

时间设定单元，用于根据所述直播视频的分类设定每种类别的直播视频的预定时间。

实施本发明，具有如下有益效果：

（1）本发明通过获取原始直播视频流的第一关键帧，并获取所述第一关键帧出现的时刻之前的预定时间内的第二关键帧；在所述第一关键帧出现的时刻，提取在终端播放的直播视频流的图像，得到测试图像；获取所述测试图像与所述第一关键帧的第一相似度，获取所述测试图像与所述第二关键帧的第二相似度；若所述第一相似度和所述第二相似度中任一不小于预定值，则判定所述终端播放正常。本发明通过对比终端和服务器端在同一个直播频道的视频关键帧时间点的关键帧截图的图像，判断该终端在直播播放过程中是否出现延迟过长，影响用户体验的问题。

（2）本发明分别提取所述测试图像、第一关键帧、第二关键帧和第三关键帧的边缘信息，根据所述边缘信息分别获取所述测试图像与所述第一关键帧的第一相似度、所述测试图像与所述第二关键帧的第二相似度和所述测试图像与所述第三关键帧的第三相似度。采用边缘进行判断图像的相似度，仅用了有限的像素便描述了大部分的视觉信息，从而减轻了服务器或终端在图像分析处理的负担，提高了图像比对效率。此外，位于区域边界上的边缘基本上可以描述不同区域的形状，特别适用于不同图像之间相似度的对比。

（3）本发明根据延时需要，对所述直播视频分类；直播视频的分类包括：对弈、个人秀、比赛和演出。本发明根据所述直播视频的分类设定每种类别的直播视频的预定时间，从而能够针对不同类的直播视频设定不同的延时时间，能够兼顾用户观看视频的体验和终端播放的成功率。

（4）本发明的方法具有较高的可靠性：通过技术手段选取直播播放的时间，截取前端播放的图像，与该时间点的三个关键帧图像进行对比，若与某一张图像的相似度在80%以上，则证明该终端直播正常。

（5）本发明的测试方法具有全面性：由于测试平台较多，测试设备及网络环境差异较大，本发明可以全方位收集直播在不同播放渠道的直播情况。

（6）本发明的方法具有持久性：可以从长时间播放的角度，检测前端的直播播放。

（7）本发明的方法具有时效性：在允许的延迟时间内，检测各端直播的情况。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明实施例的计算机终端的硬件结构框图；

图2是本发明实施例1提供的方法的流程图；

图3是本发明实施例1提供的方法的另一流程图；

图4是本发明实施例1提供的方法的又一流程图；

图5是本发明实施例2提供的系统的结构框图；

图6是本发明实施例2提供的第三获取模块的结构框图；

图7是本发明实施例2提供的系统的另一结构框图；

图8是本发明实施例3提供的计算机终端的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，提供了一种视频直播测试方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是根据本发明实施例的视频直播测试方法的计算机终端的硬件结构框图。如图1所示，计算机终端100可以包括一个或多个（图中仅示出一个）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）、用于存储数据的存储器104、以及用于通信功能的传输装置106。本领域普通技术人员可以理解，图2所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端100还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。

存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的视频直播测试方法对应的程序指令/模块，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的视频直播测试方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端100的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

在上述运行环境下，本申请提供了如图2所示的视频直播测试方法。该方法可以应用于智能终端设备中，由智能终端设备中的处理器执行，智能终端设备可以是智能手机、平板电脑等。当然，该方法中的部分步骤可以由服务器来执行。智能终端设备中安装有至少一个应用程序，本发明实施例并不限定应用程序的种类，可以为系统类应用程序，也可以为软件类应用程序。

步骤S101、获取原始直播视频流的第一关键帧，并获取所述第一关键帧出现的时刻之前的预定时间内的第二关键帧。

具体地，步骤S101的执行主体为服务器，服务器在播放原始直播视频流时，对直播源视频文件进行视频转码，分片切割后得到网站可以播放的视频流。转码后，对视频流进行分析，获取到视频的关键帧数据，也就是第一关键帧，存于数据库，并对允许延迟的时间内的至少一张关键帧图片，也就是第二关键帧进行截图存储。

数据库用于存储转码服务器端得到的关键帧时间点和允许延迟的时间内的关键帧时间点对应的关键帧截图，同时存贮终端播放的时间点和对应的视频内容图像。

步骤S102、在所述第一关键帧出现的时刻，提取在终端播放的直播视频流的图像，得到测试图像。

具体地，步骤S102的执行主体可以是播放直播视频的终端。服务器获取第一关键帧的同时，发送指令给终端，通知终端实时截取测试图像。

步骤S103、获取所述测试图像与所述第一关键帧的第一相似度，获取所述测试图像与所述第二关键帧的第二相似度；

步骤S104、若所述第一相似度和所述第二相似度中任一不小于预定值，则判定所述终端播放正常。

本发明通过获取原始直播视频流的第一关键帧，并获取所述第一关键帧出现的时刻之前的预定时间内的第二关键帧；在所述第一关键帧出现的时刻，提取在终端播放的直播视频流的图像，得到测试图像；获取所述测试图像与所述第一关键帧的第一相似度，获取所述测试图像与所述第二关键帧的第二相似度；若所述第一相似度和所述第二相似度中任一不小于预定值，则判定所述终端播放正常。本发明通过对比终端和服务器端在同一个直播频道的视频关键帧时间点的关键帧截图的图像，判断该终端在直播播放过程中是否出现延迟过长，影响用户体验的问题。

作为一种可选的实施方式，如图3所示，本发明的方法包括：

步骤S201：获取原始直播视频流的第一关键帧，并获取所述第一关键帧出现的时刻之前的预定时间内的第二关键帧和所述第一关键帧出现的时刻之前的预定时间内的第三关键帧。

步骤S202：在所述第一关键帧出现的时刻，提取在终端播放的直播视频流的图像，得到测试图像。

步骤S203：获取所述测试图像与所述第一关键帧的第一相似度，获取所述测试图像与所述第二关键帧的第二相似度，获取所述测试图像与所述第三关键帧的第三相似度。

步骤S204：若所述第一相似度、所述第二相似度和第三相似度中任一不小于预定值，则判定所述终端播放正常。

作为一种可选的实施方式，如图4所示，所述方法还包括：

步骤S205：若所述第一相似度、所述第二相似度和所述第三相似度均小于预定值，则终端重新发送播放请求。

举例来说，终端直播视频流，在播放至关键帧时间点时，截取关键帧图像存于数据库，获取一张关键帧截图，实时与数据库内存在的服务器端相应时间点的关键帧和允许延迟的时间内的2个关键帧时间点的截图进行图像对比，前端关键帧与后端服务器的3个关键帧进行一一对比图像的相似度，进而给出该直播视频是否在长时间不同终端和网络环境中出现与后端关键帧直播视频文件不一致的情况的判断结果。或者延迟超过规定的时间，影响观看体验。

作为一种可选的实施方式，步骤S203包括：

分别提取所述测试图像、第一关键帧、第二关键帧和第三关键帧的边缘信息，根据所述边缘信息分别获取所述测试图像与所述第一关键帧的第一相似度、所述测试图像与所述第二关键帧的第二相似度和所述测试图像与所述第三关键帧的第三相似度。

具体来说，图像对比是通过对图像内容、特征、结构、关系、纹理及灰度等的对应关系，相似性和一致性的分析，判断图像是否相似或相同。对比两幅图像时，最简单的方法是对比图像中的各个像素，以判断两幅图像的相似度。但一般来说，使用这种方法对比两幅图像只能精确的得到像素上的差异，而不适用于大多数实际的图像辨识。为了更好的分析两幅图像的相似性，不仅要从像素角度出发，更应结合图像的特征。最常用的图像特征包括颜包、纹理和形状，但近年来也有很多相关研究围绕图像边缘展开。边缘作为一个很重要并且十分有用的视觉特征，它仅用了有限的像素便描述了大部分的视觉信息，此外，位于区域边界上的边缘基本上可以描述不同区域的形状，本发明以关键帧截图的边缘为主要依据进行图像对比。

作为一种可选的实施方式，所述方法还包括：

步骤S100：根据延时需要，对所述直播视频分类；根据所述直播视频的分类设定每种类别的直播视频的预定时间。

直播视频的分类包括：对弈、个人秀、比赛和演出。

所述预定值为80%。

举例来说，本发明的主要目的是判断某一直播视频在不同终端下的延迟的时间是否在允许范围内。由于前端在视频直播时，针对不同设备，不同操作系统，采取的播放方式有所不同，所以需要验证该直播视频在各个不同网络环境中，不同终端的播放方式，是否能在规定的延迟范围可允许的时间内，正常播放直播的视频内容。通过客户端对直播中视频流各关键帧进行截图，可以得到直播在关键帧时间点的播放状态图像，对比相应时间点的服务器端原视频文件的关键帧截图信息前允许的延迟时间内的关键帧图像，便得到使用客户端直播过程中播放该直播文件是否有问题：判断直播过程中是否能播放，以及播放是否出现直播延时较大的情况。对对比图像一致的界定为：当前后端关键帧截图的相似度为预定值（例如80%）以上时，判定为一致。比如：直播视频延迟允许在10秒内，根据关键帧的定义，可以在直播关键帧的时间点及之前的10s内选择2张关键的图片与客户端的关键帧图片进行一一对比，若其中1次的对比结果相似度在80%以上，则说明直播的延迟在该终端是在规定延时时间之内。具体视直播延时的需求而定，有些对弈类的直播规定是10s，有些个人show的直播可能会是30s，甚至60s等 ，所以与后端关键帧的图像对比数量与可允许的直播延迟时间相关。

实施例2

如图5所示，本发明还提供了一种视频直播测试系统，包括：

第一获取模块，用于获取原始直播视频流的第一关键帧，并获取所述第一关键帧出现的时刻之前的预定时间内的第二关键帧；

第二获取模块，用于在所述第一关键帧出现的时刻，提取在终端播放的直播视频流的图像，得到测试图像；

第三获取模块，用于获取所述测试图像与所述第一关键帧的第一相似度，获取所述测试图像与所述第二关键帧的第二相似度；

判断模块，用于在所述第一相似度和所述第二相似度中任一不小于预定值时，判定所述终端播放正常。

作为一种优选的实施方式，所述第一获取模块还用于获取所述第一关键帧出现的时刻之前的预定时间内的第三关键帧；

所述第三获取模块还用于获取所述测试图像与所述第三关键帧的第三相似度；

所述判断模块还用于在所述第一相似度、所述第二相似度和第三相似度中任一不小于预定值时，判定所述终端播放正常。

作为一种可选的实施方式，所述判断模块还用于：

若所述第一相似度、所述第二相似度和所述第三相似度均小于预定值，则终端重新发送播放请求。

作为一种可选的实施方式，如图6所示，所述第三获取模块包括：

边缘信息提取单元，用于分别提取所述测试图像、第一关键帧、第二关键帧和第三关键帧的边缘信息；

相似度获取单元，用于根据所述边缘信息分别获取所述测试图像与所述第一关键帧的第一相似度、所述测试图像与所述第二关键帧的第二相似度和所述测试图像与所述第三关键帧的第三相似度。

作为一种可选的实施方式，如图7所示，所述系统还包括时间设定模块，所述时间设定模块包括：

分类单元，用于根据延时需要，对所述直播视频分类；

时间设定单元，用于根据所述直播视频的分类设定每种类别的直播视频的预定时间。

作为可选的实施方式，本发明的系统还包括获取终端信息、设备信息、系统信息、浏览器信息、播放器类型信息、直播频道信息和关键帧时间点的模块。具体来说：

1．终端：指定是哪种直播播放平台，包括PC、平板、手机、盒子、电视机等。

2．设备：标识出各设备具体信息，UserAngent等。

3．系统：包括PC的windows操作系统、安卓及ios系统等。

4．浏览器：ie,chrome,safari,QQ,360等主流浏览器。

5. 播放器类型：flash播放器、APP应用版本、H5播放器等。

6．直播频道：channelid。

7．关键帧时间点：出现服务器、客户端关键帧截图不一致的关键帧时间点。

本发明的系统，第一获取单元的执行主体为服务器，对于直播源视频文件进行视频转码，分片切割后得到网站可以播放的视频流。转码后，对视频流进行分析，获取到视频的关键帧数据，存于数据库，并对视频关键帧时间点的一张关键帧和允许延迟的时间内的两张关键帧时间点的图片进行截图存储。

本发明的系统还包括数据库，用于存储转码服务器端得到的关键帧时间点和允许延迟的时间内的关键帧时间点对应的至少两张关键帧截图，同时存贮客户端播放的时间点和对应的视频内容图像。

实施例3

本发明的实施例还提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。

可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，图8是根据本发明实施例的计算机终端的结构框图。如图8所示，该计算机终端A可以包括：一个或多个（图中仅示出一个）处理器161、存储器163、以及传输装置165。

其中，存储器163可用于存储软件程序以及模块，如本发明实施例中的短文本分类的方法和装置对应的程序指令/模块，处理器161通过运行存储在存储器163内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的短文本分类。存储器163可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器163可进一步包括相对于处理器161远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

上述的传输装置165用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置165包括一个网络适配器，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置165为射频模块，其用于通过无线方式与互联网进行通讯。

其中，具体地，存储器163用于存储预设动作条件和预设权限用户的信息、以及应用程序。

处理器161可以通过传输装置调用存储器163存储的信息及应用程序，以执行下述步骤：

可选的，上述处理器161还可以执行如下步骤的程序代码：

第一步，获取原始直播视频流的第一关键帧，并获取所述第一关键帧出现的时刻之前的预定时间内的第二关键帧。

第二步，在所述第一关键帧出现的时刻，提取在终端播放的直播视频流的图像，得到测试图像。

第三步，获取所述测试图像与所述第一关键帧的第一相似度，获取所述测试图像与所述第二关键帧的第二相似度，获取所述测试图像与所述第三关键帧的第三相似度。

第四步，若所述第一相似度和所述第二相似度中任一不小于预定值，则判定所述终端播放正常。

可选地，本实施例中的具体示例可以参考上述实施例1和实施例2中所描述的示例，本实施例在此不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。