一种直播视频的监控方法和装置与流程

本发明涉及视频处理的技术领域，特别是涉及一种直播视频的监控方法和一种直播视频的监控装置。

背景技术：

随着网络科技的发展以及智能设备的普及，人们喜欢将自己或者自己身边的事情，以视频的形式实时在网络平台上进行直播，与其他用户进行互动。

在直播的过程中，受网络影响，视频的画质可能会出现波动，为了对视频的画质进行监控，通常使用主观评价和客观评价两种方式。

客观评价指的是不需要人为干预评价的方法，即将原始视频与编码压缩处理后的视频进行对比，可以进行象素级别的对比，也可以对某些特性进行提取和对比。

客观评价的指标通常有psnr(峰值信噪比)、mse(均值方差)、ssim(结构相似度)等等。

客观评价需要将原始视频与编码压缩处理后的视频进行对比，消耗的时间较长，并不适用于直播的场景。

主观评价是指由评测人员参与，对视频的质量进行评估，按照评测者对锐度、对比度等的主观感受，进行打分。然后按照最后的评分来确定视频质量。

主观评价需要人工参与，对直播这种大流量的场景，工作量太大，并不适合。

技术实现要素：

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种直播视频的监控方法和相应的一种直播视频的监控装置。

依据本发明的一个方面，提供了一种直播视频的监控方法，包括：

在视频采样层中，从直播的视频流中提取目标帧图像；

在视频分析层中，将所述目标帧图像输入预置的分类模型中、以对所述目标帧图像进行分类，输出图像分类信息；

在业务处理层中，根据所述图像分类信息对所述直播的视频流进行分类，获得视频分类信息。

可选地，还包括：

在接口层中，将所述视频分类信息通过预置的接口发送至订阅设备。

可选地，所述在视频采样层中，从直播的视频流中提取目标帧图像的步骤包括：

从直播的视频流中查找画面组；

在所述画面组中提取关键帧图像，作为目标帧图像。

可选地，所述分类模型通过如下方式训练：

从直播的视频流中提取样本帧图像；

对所述样本帧图像标记图像分类信息；

以所述样本帧图像与所述图像分类信息作为训练样本，训练分类模型。

可选地，所述在业务处理层中，根据所述图像分类信息对所述直播的视频流进行分类，获得视频分类信息的步骤包括：

将所述图像分类信息存储至预置的滑动窗口中；

采用所述滑动窗口中缓存的图像分类信息对所述直播的视频流进行分类，获得视频分类信息。

可选地，所述将所述图像分类信息存储至预置的滑动窗口中的步骤包括：

判断所述滑动窗口是否已全部存储在先的图像分类信息；

若是，则从所述滑动窗口中移除时间戳最小的、在先的图像分类信息；

将当前的图像分类信息存储至空闲的滑动窗口中；

若否，则将当前图像分类信息存储至预置的、空闲的滑动窗口中。

可选地，所述采用所述滑动窗口中缓存的图像分类信息对所述直播的视频流进行分类，获得视频分类信息的步骤包括：

统计在所述滑动窗口中、相同种类的图像分类信息的数量占比；

当某个种类的图像分类信息的数量占比高于预设的比例阈值时，基于所述种类的图像分类信息表示的分类、对所述直播的视频流生成视频分类信息。

根据本发明的另一方面，提供了一种直播视频的监控的装置，包括：

视频采样模块，适于在视频采样层中，从直播的视频流中提取目标帧图像；

视频分析模块，适于在视频分析层中，将所述目标帧图像输入预置的分类模型中、以对所述目标帧图像进行分类，输出图像分类信息；

业务处理模块，适于在业务处理层中，根据所述图像分类信息对所述直播的视频流进行分类，获得视频分类信息。

可选地，还包括：

接口模块，适于在接口层中，将所述视频分类信息通过预置的接口发送至订阅设备。

可选地，所述视频采样模块还适于：

从直播的视频流中查找画面组；

在所述画面组中提取关键帧图像，作为目标帧图像。

可选地，所述分类模型调用如下模块训练：

样本帧图像提取模块，适于从直播的视频流中提取样本帧图像；

图像分类信息标记模块，适于对所述样本帧图像标记图像分类信息；

机器学习模块，适于以所述样本帧图像与所述图像分类信息作为训练样本，训练分类模型。

可选地，所述业务处理模块还适于：

将所述图像分类信息存储至预置的滑动窗口中；

采用所述滑动窗口中缓存的图像分类信息对所述直播的视频流进行分类，获得视频分类信息。

可选地，所述业务处理模块还适于：

判断所述滑动窗口是否已全部存储在先的图像分类信息；

若是，则从所述滑动窗口中移除时间戳最小的、在先的图像分类信息；

将当前的图像分类信息存储至空闲的滑动窗口中；

若否，则将当前图像分类信息存储至预置的、空闲的滑动窗口中。

可选地，所述业务处理模块还适于：

统计在所述滑动窗口中、相同种类的图像分类信息的数量占比；

当某个种类的图像分类信息的数量占比高于预设的比例阈值时，基于所述种类的图像分类信息表示的分类、对所述直播的视频流生成视频分类信息。

本发明实施例采用分层结构，在每层中均有相应的处理，组成了一个可扩展的跨界系统，在视频采样层中，从直播的视频流中提取目标帧图像，降低了计算量，在视频分析层中，利用分类模型对目标帧图像进行分类，输出图像分类信息，在业务处理层中，根据图像分类信息对直播的视频流进行分类，获得视频分类信息，通过汇总图像分类信息对直播的视频流进行分类，减少了少数目标帧图像的判断误差，提高了分类的准确率，实现了在全民网络直播平台，对大流量的直播的画质质量进行自动监控，大大提高了效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的一种直播视频的监控方法的步骤流程图；

图2示出了根据本发明一个实施例的一种直播系统结构示意图；

图3a-图3d示出了根据本发明一个实施例的一种图像分类信息的示例图；

图4示出了根据本发明一个实施例的另一种直播视频的监控方法的步骤流程图；

图5示出了根据本发明一个实施例的一种直播监控系统的逻辑分层示意图图；

图6示出了根据本发明一个实施例的一种直播监控系统的结构示意图；

图7示出了根据本发明一个实施例的一种直播视频的监控的装置的结构框图；以及

图8示出了根据本发明一个实施例的另一种直播视频的监控的装置的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

参照图1，示出了根据本发明一个实施例的一种直播视频的监控方法的步骤流程图，具体可以包括如下步骤：

步骤101，在视频采样层中，从直播的视频流中提取目标帧图像。

在具体实现中，如图2所示，在一个直播的系统中，可以包括服务器201，第一终端202、一个或多个第二终端203。

第一终端202，如个人电脑、手机、平板电脑、专业录制编码设备等等，配置有麦克风、摄像头等部件，进行内容采集，即采集视频数据(包括音频数据)。

第一终端202通过分布式推流的方式将视频数据上传到服务器201中，具体而言，第一终端202在推流之前会通过名字服务，一般是dns(domainnamesystem，域名系统)智能解析或是自有按ip(internetprotocol，网络之间互连的协议)调度系统获取最靠谱的推流节点，然后把流上传到服务器202中。

服务器202(如分布式推流节点)接入了流式的视频数据之后，后续进行编解码或者做一些水印等视频处理，比如，给视频数据加一些打点的数据、字幕以及一些特殊说明等，构成了直播后台系统。

服务器202根据不同的业务需求，需要有不同的后台服务来支撑，其可以为独立的服务器，也可以为服务器集群，如分布式系统，根据服务的不同，可以区分为管理服务器、web服务器、流媒体服务器，等等。

服务器202通过视频处理之后，生成h.264和aac(advancedaudiocoding，高级音频编码)等格式的直播流，然后通过cdn(contentdeliverynetwork，内容分发网络)等方式分发到一个或多个第二终端203，如手机、个人电脑、vr(virtualreality，虚拟现实)设备，等等，让用户看到实时的直播流。

在此直播系统中，第一终端202所属的用户可以称之为主播，第二终端203所属的用户可以称之为观众，观众可以在第二终端203中进行点赞、送礼、发信息等操作，通过服务器201反馈至第一终端201，实现与主播之间的互动。

当然，服务器202在处理完流式的视频数据之后，还可以进行录制存储，录制完了之后还能够转成点播，满足用户的多样需求。

此外，服务器202还有虚拟直播的概念，即在录下来的时可以转成flv(flashvideo，流媒体格式)的流推出来，不是真正的现实流录播。

在实际应用中，直播系统的直播可以包括如下几种形式：

1、媒体和活动直播

在此种方式中，多是单向，即低上行、高下行，一般无交互、流数少，延迟容忍度高，如大于10s，包含电视转流、演唱会直播等。

2、游戏直播

在此种方式中，多是单向，一般无交互、流数多，延迟容忍度较高，如大于5s。

3、秀场直播

在此种方式中，多是单向，一般文字交互、流数量多，延迟容忍度低，如2～5s。

4、社交直播

在此种方式中，多是单向，一般文字交互、流数量非常多，延迟容忍度低，如2～5s。

社交直播和秀场直播在交互上类似，但是，秀场直播一般都是有限的主播把内容运营起来，推流的数量较少，一般小于100路，而社交直播是路人即可产生内容，所以直播的流数会上升到1000，甚至10000。

在本发明实施例中，采用分层结构对直播的视频进行画质监控。

在分层结构中，其中一层为视频采样层，视频本质上由一帧一帧的连续图像组成的，可以采用定期的方式(2～4s)从视频流中选取目标帧图像，代表某个时间段内的视频，从而将对视频流的分析简化为对静止图像的分析。

在本发明的一个实施例中，可以从直播的视频流中查找画面组(groupofpicture，gop)，在画面组中提取关键帧图像，作为目标帧图像。

一个gop是一组连续的图像，mpeg(movingpicturesexpertsgroup/motionpicturesexpertsgroup，动态图像专家组)编码将图像(即帧)分为i、p、b三种，i是内部编码帧，p是前向预测帧，b是双向内插帧。i帧表示关键帧，这一帧画面的完整保留，解码时通过本帧数据即可完成，而p帧和b帧记录的是相对于i帧的变化。

步骤102，在视频分析层中，将所述目标帧图像输入预置的分类模型中、以对所述目标帧图像进行分类，输出图像分类信息。

在分层结构中，其中一层为视频分析层，在视频分析层中，可以预先训练一个分类模型，用于对视频图像进行分类。

在本发明的一个实施例中，分类模型通过如下方式训练：

子步骤s11，从直播的视频流中提取样本帧图像。

子步骤s12，对所述样本帧图像标记图像分类信息。

子步骤s13，以所述样本帧图像与所述图像分类信息作为训练样本，训练分类模型。

在本发明实施例中，可以通过有监督机器学习的办法，从直播的视频流中采集一批样本帧图像(如关键帧图像)，通过人工或自动学习的方式对其标记图像分类信息，然后采用机器学习训练分类模型。

其中，机器学习的方法即可以是浅层的机器学习方法，如svm(supportvectormachine，支持向量机)，也可以是深度学习方法，如cnn(convolutionalneuralnetwork，卷积神经网络)，等等，本发明实施例对此不加以限制。

分层结构使得可以很便利的替换掉已有的分类模型，从而采用更加高效的新的分类模型。

对于线上每一个视频流的目标帧图像，套用分类模型分析处理，可以得到分类的结果，即图像分类信息。

在本发明实施例的一个示例中，技术人员基于预设的打分规则，以主观感受为主，客观为辅，可以对样本帧图像标注五个图像分类信息：

1、清晰

如图3a所示，图像中面部边缘轮廓清晰，头发细节清晰，色调和谐自然。

2、细节稍模糊

如图3b所示，整体图像协调清晰，允许出现以下细节问题：

2.1、脸部有噪点、偏暗、曝光不足

2.2、脸部偏白、曝光过度

2.3、整个画面色调不对、发白或者发红，感觉画面有蒙层

2.4、头发不清楚、脸部没有自然皮肤质感

3、整体或多处细节模糊

如图3c所示，图像中脸部周围出现较多马赛克，或者较强较暗光照，看不清面部。

4、很模糊

如图3d所示，图像整体大面积马赛克，五官模糊，或者身处极强光照或者极暗环境。

5、不标注

图像清晰度极差，无法辨识人脸或者人脸不完全在镜头内。

当然，上述图像分类信息只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他图像分类信息，本发明实施例对此不加以限制。另外，除了上述图像分类信息，本领域技术人员还可以根据实际需要采用其它图像分类信息，本发明实施例对此也不加以限制。

步骤103，在业务处理层中，根据所述图像分类信息对所述直播的视频流进行分类，获得视频分类信息。

在分层结构中，其中一层为业务处理层，由于视频分析层给出的是某一小段时间内静止的场景的分类结果，而实际情况下，直播的视频流又是一个由连续和不断变化的场景组成的，如果靠一两次静止的场景的分类结果进行对直播的视频流进行分类，可能会有误差。

因此，在本发明实施例中，可以汇总静止的场景的分类结果，对直播的视频流进行分类，从而获知其视频分类信息。

在本发明的一个实施例中，步骤103可以包括如下子步骤：

子步骤s21，将所述图像分类信息存储至预置的滑动窗口中。

在本发明实施例中，可以对每个直播的视频流配置一个缓存历次图像分类信息的滑动窗口，缓存最近一段时间的图像分类信息。

在缓存图像分类信息时，可以判断滑动窗口是否已全部存储在先的图像分类信息。

若是，则从滑动窗口中移除时间戳最小的、在先的图像分类信息，并将当前的图像分类信息存储至空闲(即未存储图像分类信息)的滑动窗口中。

若否，则将当前图像分类信息存储至预置的、空闲(即未存储图像分类信息)的滑动窗口中。

子步骤s22，采用所述滑动窗口中缓存的图像分类信息对所述直播的视频流进行分类，获得视频分类信息。

每接收到一个新的图像分类信息，则可以重新采用滑动窗口中缓存的图像分类信息对直播的视频流进行分类，从而平滑了机器学习算法的误差，得到一个更为稳定的视频分类信息。

在一种实施方式中，可以统计在滑动窗口中、相同种类的图像分类信息的数量占比。

当某个种类的图像分类信息的数量占比高于预设的比例阈值时，基于种类的图像分类信息表示的分类、对直播的视频流生成视频分类信息。

例如，滑动窗口设置为10，即缓存最近10次的图像分类信息，如果10次的图像分类信息中，6次为清晰，3次为细节稍模糊，1次为整体或多处细节模糊，由于6次大于5次(比例阈值)，则可以认为直播的视频流的分类为清晰。

本发明实施例采用分层结构，在每层中均有相应的处理，组成了一个可扩展的跨界系统，在视频采样层中，从直播的视频流中提取目标帧图像，降低了计算量，在视频分析层中，利用分类模型对目标帧图像进行分类，输出图像分类信息，在业务处理层中，根据图像分类信息对直播的视频流进行分类，获得视频分类信息，通过汇总图像分类信息对直播的视频流进行分类，减少了少数目标帧图像的判断误差，提高了分类的准确率，实现了在全民网络直播平台，对大流量的直播的画质质量进行自动监控，大大提高了效率。

参照图4，示出了根据本发明一个实施例的另一种直播视频的监控方法的步骤流程图，具体可以包括如下步骤：

步骤401，在视频采样层中，从直播的视频流中提取目标帧图像。

步骤402，在视频分析层中，将所述目标帧图像输入预置的分类模型中、以对所述目标帧图像进行分类，输出图像分类信息。

步骤403，在业务处理层中，根据所述图像分类信息对所述直播的视频流进行分类，获得视频分类信息。

步骤404，在接口层中，将所述视频分类信息通过预置的接口发送至订阅设备。

如图5所示，在逻辑结构上，本发明实施例可以划分为视频采样层501、视频分析层502、业务处理层503、接口层504。

如图6所示，部署独立的开流状况服务器601，这是一个外部的系统，从这个系统里，可以查询到当前开播的视频流，从而按照当前开播的视频流的信息(如id)，去获取目标帧图像并进行分类。

部署独立的分析调度服务器602，分析调度服务器602从开流状况服务器601获取当前开播的视频流的信息(如id)，作为外部数据源，然后以视频流的信息(如id)作为输入信息，去调度分析服务器604进行分析处理工作。

部署独立的帧提取服务器603，划分为视频采样层，从而从直播的视频流中提取目标帧图像。

部署独立的分析服务器(集群)604，划分为视频分析层，从而将目标帧图像输入预置的分类模型中、以对目标帧图像进行分类，输出图像分类信息。

分析处理的结果(即图像分类信息)有部分存储在分析调度服务器602上，也有部分在业务处理服务器605上。

部署独立的业务处理服务器605，划分为业务处理层，从而根据图像分类信息对所述直播的视频流进行分类，获得视频分类信息。

部署独立的接口服务器606，划分为接口层，又可称为表示层，在该接口层中，对外提供api(applicationprogramminginterface,应用程序编程接口)接口，将直播的视频流的分类结果提供给第三方，由其进行业务相关的扩展使用。

例如，如对全平台较多直播的视频流出现画质变差的情况，发出报警邮件/短信等，及时排查。并留底存档，以备事后追踪。

部署独立的接口订阅服务器607，通过api接口从接口服务器606获取直播的视频流的分类结果，向用户提供画质较高的直播，让用户在网站进行搜索，将直播的信息通过订阅、邮件推荐给用户。

对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图7，示出了根据本发明一个实施例的一种直播视频的监控的装置的结构框图，具体可以包括如下模块：

视频采样模块701，适于在视频采样层中，从直播的视频流中提取目标帧图像；

视频分析模块702，适于在视频分析层中，将所述目标帧图像输入预置的分类模型中、以对所述目标帧图像进行分类，输出图像分类信息；

业务处理模块703，适于在业务处理层中，根据所述图像分类信息对所述直播的视频流进行分类，获得视频分类信息。

在本发明的一个实施例中，所述视频采样模块701还适于：

从直播的视频流中查找画面组；

在所述画面组中提取关键帧图像，作为目标帧图像。

在本发明的一个实施例中，所述分类模型调用如下模块训练：

样本帧图像提取模块，适于从直播的视频流中提取样本帧图像；

图像分类信息标记模块，适于对所述样本帧图像标记图像分类信息；

机器学习模块，适于以所述样本帧图像与所述图像分类信息作为训练样本，训练分类模型。

在本发明的一个实施例中，所述业务处理模块703还适于：

将所述图像分类信息存储至预置的滑动窗口中；

采用所述滑动窗口中缓存的图像分类信息对所述直播的视频流进行分类，获得视频分类信息。

在本发明的一个实施例中，所述业务处理模块703还适于：

判断所述滑动窗口是否已全部存储在先的图像分类信息；

若是，则从所述滑动窗口中移除时间戳最小的、在先的图像分类信息；

将当前的图像分类信息存储至空闲的滑动窗口中；

若否，则将当前图像分类信息存储至预置的、空闲的滑动窗口中。

在本发明的一个实施例中，所述业务处理模块703还适于：

统计在所述滑动窗口中、相同种类的图像分类信息的数量占比；

当某个种类的图像分类信息的数量占比高于预设的比例阈值时，基于所述种类的图像分类信息表示的分类、对所述直播的视频流生成视频分类信息。

本发明实施例采用分层结构，在每层中均有相应的处理，组成了一个可扩展的跨界系统，在视频采样层中，从直播的视频流中提取目标帧图像，降低了计算量，在视频分析层中，利用分类模型对目标帧图像进行分类，输出图像分类信息，在业务处理层中，根据图像分类信息对直播的视频流进行分类，获得视频分类信息，通过汇总图像分类信息对直播的视频流进行分类，减少了少数目标帧图像的判断误差，提高了分类的准确率，实现了在全民网络直播平台，对大流量的直播的画质质量进行自动监控，大大提高了效率。

参照图8，示出了根据本发明一个实施例的另一种直播视频的监控的装置的结构框图，具体可以包括如下模块：

视频采样模块801，适于在视频采样层中，从直播的视频流中提取目标帧图像；

视频分析模块802，适于在视频分析层中，将所述目标帧图像输入预置的分类模型中、以对所述目标帧图像进行分类，输出图像分类信息；

业务处理模块803，适于在业务处理层中，根据所述图像分类信息对所述直播的视频流进行分类，获得视频分类信息。

接口模块804，适于在接口层中，将所述视频分类信息通过预置的接口发送至订阅设备。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的直播视频的监控设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本发明实施例公开了a1、一种直播视频的监控方法，包括：

在视频采样层中，从直播的视频流中提取目标帧图像；

在视频分析层中，将所述目标帧图像输入预置的分类模型中、以对所述目标帧图像进行分类，输出图像分类信息；

在业务处理层中，根据所述图像分类信息对所述直播的视频流进行分类，获得视频分类信息。

a2、如a1所述的方法，还包括：

在接口层中，将所述视频分类信息通过预置的接口发送至订阅设备。

a3、如a1或a2所述的方法，所述在视频采样层中，从直播的视频流中提取目标帧图像的步骤包括：

从直播的视频流中查找画面组；

在所述画面组中提取关键帧图像，作为目标帧图像。

a4、如a1或a2所述的方法，所述分类模型通过如下方式训练：

从直播的视频流中提取样本帧图像；

对所述样本帧图像标记图像分类信息；

以所述样本帧图像与所述图像分类信息作为训练样本，训练分类模型。

a5、如a1或a2所述的方法，所述在业务处理层中，根据所述图像分类信息对所述直播的视频流进行分类，获得视频分类信息的步骤包括：

将所述图像分类信息存储至预置的滑动窗口中；

采用所述滑动窗口中缓存的图像分类信息对所述直播的视频流进行分类，获得视频分类信息。

a6、如a5所述的方法，所述将所述图像分类信息存储至预置的滑动窗口中的步骤包括：

判断所述滑动窗口是否已全部存储在先的图像分类信息；

若是，则从所述滑动窗口中移除时间戳最小的、在先的图像分类信息；

将当前的图像分类信息存储至空闲的滑动窗口中；

若否，则将当前图像分类信息存储至预置的、空闲的滑动窗口中。

a7、如a5所述的方法，所述采用所述滑动窗口中缓存的图像分类信息对所述直播的视频流进行分类，获得视频分类信息的步骤包括：

统计在所述滑动窗口中、相同种类的图像分类信息的数量占比；

当某个种类的图像分类信息的数量占比高于预设的比例阈值时，基于所述种类的图像分类信息表示的分类、对所述直播的视频流生成视频分类信息。

本发明实施例还公开了b8、一种直播视频的监控的装置，包括：

视频采样模块，适于在视频采样层中，从直播的视频流中提取目标帧图像；

视频分析模块，适于在视频分析层中，将所述目标帧图像输入预置的分类模型中、以对所述目标帧图像进行分类，输出图像分类信息；

业务处理模块，适于在业务处理层中，根据所述图像分类信息对所述直播的视频流进行分类，获得视频分类信息。

b9、如b8所述的装置，还包括：

接口模块，适于在接口层中，将所述视频分类信息通过预置的接口发送至订阅设备。

b10、如b8或b9所述的装置，所述视频采样模块还适于：

从直播的视频流中查找画面组；

在所述画面组中提取关键帧图像，作为目标帧图像。

b11、如b8或b9所述的装置，所述分类模型调用如下模块训练：

样本帧图像提取模块，适于从直播的视频流中提取样本帧图像；

图像分类信息标记模块，适于对所述样本帧图像标记图像分类信息；

机器学习模块，适于以所述样本帧图像与所述图像分类信息作为训练样本，训练分类模型。

b12、如b8或b9所述的装置，所述业务处理模块还适于：

将所述图像分类信息存储至预置的滑动窗口中；

采用所述滑动窗口中缓存的图像分类信息对所述直播的视频流进行分类，获得视频分类信息。

b13、如b12所述的装置，所述业务处理模块还适于：

判断所述滑动窗口是否已全部存储在先的图像分类信息；

若是，则从所述滑动窗口中移除时间戳最小的、在先的图像分类信息；

将当前的图像分类信息存储至空闲的滑动窗口中；

若否，则将当前图像分类信息存储至预置的、空闲的滑动窗口中。

b14、如b12所述的装置，所述业务处理模块还适于：

统计在所述滑动窗口中、相同种类的图像分类信息的数量占比；

当某个种类的图像分类信息的数量占比高于预设的比例阈值时，基于所述种类的图像分类信息表示的分类、对所述直播的视频流生成视频分类信息。