视频画面异常判断、装置及终端设备的制作方法

本发明涉及多媒体技术领域，具体涉及一种视频画面异常判断方法、装置及终端设备。

背景技术：

随着互联网技术及智能移动终端设备的发展，各种互联网产品给人们的工作、生活带来了很多便利与娱乐，近年来，各类用于视频直播的直播平台层出不穷，视频直播给人们带来更实时的社交体验。

在实时视频直播中，由于不可事前预知的视频采集、网络中断、编解码不兼容等异常引起的黑屏现象，会导致直播事实中断，造成严重的影响，此时直播平台运营方需要实时或准实时地判断问题发生情况以及时进行处理，而目前处理此类问题一般以线上观众在观看直播视频过程中人眼发现并主动报障为主，人工跟进，故障反应时间滞后。对于直播平台而言，海量主播难免存在偶发的但漏报或误报的故障，隐藏了故障产生的根源，且问题不能及时定位，故不能有效进行技术改进，影响观众观看体验。

技术实现要素：

本发明的首要目的在于提供一种视频画面异常判断方法及装置；

本发明的另一目的在于提供一种实现上述视频画面异常判断方法的终端设备。

为实现该目的，本发明采用如下技术方案：

第一方面，本发明提供一种视频画面异常判断方法，包括如下步骤：

获取视频流解码后的每一数据帧；

判断所述数据帧的部分像素点的三基色的亮度值是否低于预设阈值，以确定该数据帧是否为异常数据帧；

当所述数据帧为异常数据帧时，确定该视频流所输出的画面为异常状态，并将该视频流的异常信息上传到云端服务器。

具体的，所述部分像素点为数据帧的前N个连续的像素点和/或后M个连续的像素点，当所述前N个连续的像素点和/或后M个连续的像素点的三基色的亮度值低于预设阈值时，确定该数据帧为异常数据帧，所述N、M为小于数据帧的像素数的任意整数。

较佳的，所述N、M为大于等于5小于等于10的整数。

优选的，在确定所述部分像素点的三基色的亮度值低于预设阈值后，还包括：

当所述数据帧在预定位置处对应的像素点的三基色的亮度值低于预设阈值时，才确定该数据帧为异常数据帧。

具体的，判断像素点的三基色的亮度值是否低于预设阈值，包括：

计算多个像素点的三基色中各颜色的亮度值的平均值，再分别与各颜色的预设阈值比较，以确定所述像素点的三基色的亮度值是否低于预设阈值；或

计算每一个像素点的三基色的亮度值的平均值，再计算多个像素点的三基色的亮度值的平均值，再与单一预设阈值比较，以确定所述像素点的三基色的亮度值是否低于预设阈值。

具体的，所述异常数据帧为黑屏数据帧，所述预设阈值为趋近于0的数值，像素点的三基色的亮度值的均值低于预设阈值为像素点的三基色的亮度值的均值为0或趋近于0。

具体的，所述数据帧的预定位置为多条分割线将所述数据帧按预设几何布局进行分割的交点。

优选的，所述几何布局包括九宫格布局和符合黄金比例布局。

进一步的，所述方法还包括：

当在预设时间内的连续多个数据帧均为异常数据帧时，才确定该视频流所输出的画面处于异常状态。

进一步的，所述视频流的异常信息关联于直播间特征信息、主播用户特征信息、观看用户特征信息的至少一项上传到云端服务器。

第二方面，本发明提供一种视频画面异常判断装置，包括：

获取模块：用于获取视频流解码后的每一数据帧；

判断模块：用于判断所述数据帧的部分像素点的三基色的亮度值是否低于预设阈值，以确定该数据帧是否为异常数据帧；

上传模块：用于当所述数据帧为异常数据帧时，确定该视频流所输出的画面为异常状态，并将该视频流的异常信息上传到云端服务器。

第三方面，本发明提供一种终端设备，用于实现上述视频画面异常判断方法，包括：

触敏显示器：用于显示该方法实现过程中产生的中间信息及结果信息；

存储器：用于存储上述方法实现过程中产生的候选中间数据以及结果数据；

一个或多个处理器：所述处理器被配置为用于执行实现上述方法的步骤。

与现有技术相比，本发明具备如下优点：

本发明基于观看终端在解码视频流后加入简单的加减法运算和极少的逻辑判断，快速并且准确地判断视频画面出现黑屏的情况，第一时间将终端出现黑屏的故障上报给服务器，以让直播平台运营方及时地发现并处理故障产生的根源，然后可以根据该根源对技术进行改进，提高观众对视频直播的观看体验；

另外，由于判断黑屏现象的逻辑在视频流解码后，并且只对每一数据帧的几个像素点进行简单的加减法运算和极少的逻辑判断，涉及的计算量所消耗的资源较少，不会影响视频流解码的过程，同时由机器判断并上报黑屏状况，反应时间快速，漏报或误报的可能性较低，可以为直播平台运营方反馈更多的技术缺陷，让直播平台运营方更有效地进行技术改进，进而提高观众观看体验。

显然，上述有关本发明优点的描述是概括性的，更多的优点描述将体现在后续的实施例揭示中，以及，本领域技术人员也可以本发明所揭示的内容合理地发现本发明的其他诸多优点。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

【附图说明】

图1为本发明视频画面异常判断方法的一实施例流程示意图；

图2为数据帧的像素点的示意图；

图3为分割线按九宫格布局分割数据帧的示意图；

图4为一种符合黄金比例布局的图形；

图5为本发明视频画面异常判断装置的一实施例示意图。

【具体实施方式】

下面结合附图和示例性实施例对本发明作进一步地描述，其中附图中相同的标号全部指的是相同的部件。此外，如果已知技术的详细描述对于示出本发明的特征是不必要的，则将其省略。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。

本技术领域技术人员可以理解，这里所使用的远端网络设备，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云。在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。本发明的实施例中，远端网络设备、终端设备与WNS服务器之间可通过任何通信方式实现通信，包括但不限于，基于3GPP、LTE、WIMAX的移动通信、基于TCP/IP、UDP协议的计算机网络通信以及基于蓝牙、红外传输标准的近距无线传输方式。

本领域技术人员应当理解，本发明所称的“应用”、“应用程序”、“应用软件”以及类似表述的概念，是业内技术人员所公知的相同概念，是指由一系列计算机指令及相关数据资源有机构造的适于电子运行的计算机软件。除非特别指定，这种命名本身不受编程语言种类、级别，也不受其赖以运行的操作系统或平台所限制。理所当然地，此类概念也不受任何形式的终端所限制。

本发明所述方法的实现依赖于移动终端操作系统中的某一功能模块或插件，具体为内置于移动终端的相应应用程序内的可执行代码或独立于任何应用程序的单独可执行的应用程序，其可以限定于特定的应用程序中执行，也能够运行于各种兼容的应用程序中。功能模块或插件的具体实现形式不作为对本发明的具体限定。

直播间：本发明所述直播间包括以下含义，①一种基于网络直播平台创建的一个虚拟空间(或虚拟房间)，直播间一般由主播客户端创建并连接有多个观看客户端，即直播间中包括了主播及多个观众，位于该虚拟空间内的观看客户端可以观看主播客户端的直播内容，同时主播客户端的用户与观看客户端的用户、观看客户端的用户与观看客户端的用户之间还可以进行语音、图片、文字或赠送电子赠品的互动；②一种以群组方式将用户聚合在一起的即时通讯平台，例如视频会议系统，用户通过登录客户端的方式进入群组，用户在群组内以群组成员的身份存在，同一个群组内包含有多个群组成员，用户可任意加入或退出群组，在群组内，可以进行文字、语音、视频等多种互动。

第一方面，如图1所示是本发明视频画面异常判断方法的一实施例流程示意图，包括如下步骤：

步骤S100：获取视频流解码后的每一数据帧。

视频播放的流程一般包括步骤：输入->解码->输出，其中“输入”包括从文件或网络读取原数据提取流信息->分离音视频流等步骤，然后再对音、视频流解码后输出，在视频流解码前会分配内存以存储解码后的数据帧，数据帧(Frame)对应着编解码器的最小处理单元，媒体流通常由大量的数据帧组成，编解码器以帧为单位实现压缩数据和原始数据之间的相互转换，解码后的数据帧包括YUV格式或RGB格式，本实施例以RGB格式的数据帧为例进行说明，另外，帧的高度和宽度信息同样可以获得。本实施例的一种应用场景为视频直播领域，观看终端从网络上获取直播间视频数据流，在本地对视频流解码后获取解码后的每一数据帧，然后再执行后续操作。

步骤S200：判断所述数据帧的部分像素点的三基色的亮度值是否低于预设阈值，以确定该数据帧是否为异常数据帧。

在得到解码后的每一数据帧后，判断该数据帧的部分像素点的三基色的亮度值是否低于预设阈值，若判断结果为是，则确定该数据帧为异常数据帧。

具体的，像素点的三基色为R(红色)、G(绿色)和B(蓝色)，像素点的三基色的亮度值即为工业界的一种颜色标准“RGB色彩模式”中RGB值的多少，计算机上的所有颜色都由红色、绿色、蓝色三种色光按照不同的比例混合而成的，一组RGB值就是一个最小的显示单位，计算机屏幕上的任何一种颜色都可以由一组RGB值来记录和表达，在计算机中，RGB值的“多少”就是指RGB各颜色的亮度，并用整数来表示，通常情况下，RGB各有256级亮度，用数字从0、1、2...直到255表示，其中RGB值为(0，0，0)表示黑色，RGB值为(255，255，255)表示白色。

具体的，判断像素点的三基色的亮度值是否低于预设阈值，可以转化为判断像素点的三基色的亮度值的均值是否低于预设阈值，本实施例的一种实施方式为：计算多个像素点的三基色中各颜色的亮度值的平均值，再分别与各颜色的预设阈值比较，以确定所述像素点的三基色的亮度值是否低于预设阈值，例如像素点A的RGB值为(0，0，0)，像素点B的RGB值为(3，3，3)，像素点C的RGB值为(6，6，6)，计算得到像素点的RGB均值为(3，3，3)，再分别与R、G、B的预设阈值例如(5，5，5)比较；本实施例的另一种实施方式为：计算每一个像素点的三基色的亮度值的平均值，再计算多个像素点的三基色的亮度值的平均值，再与单一预设阈值比较，以确定所述像素点的三基色的亮度值是否低于预设阈值，此时上述像素点A、B、C的RGB均值为3，再与预设阈值例如5比较。

具体的，所述异常数据帧为黑屏数据帧，一般的，在存储视频图像数据时的RGB数组元素的默认初始值为(0，0，0)，即为黑色，故本实施例所述预设阈值为[0，255]区间内趋近于0的数值，可以理解的是在计算机图像显示领域中，表现为近似黑色的像素点的RGB值均接近(0，0，0)，故本实施例的预设阈值可以是RGB阈值数组如(5，5，5)或单一阈值如5，此时，像素点的三基色的亮度值低于预设阈值则可以理解为“像素点的三基色的亮度值为0或趋近于0”，即像素点表示为黑色或近似黑色的像素点，当数据帧的预设像素点的三基色的亮度值为0或趋近于0时，确定该数据帧为黑屏数据帧，即此时视频流所输出的画面为黑屏画面。

具体的，所述部分像素点为数据帧的前N个连续的像素点和/或后M个连续的像素点，所述N、M为小于数据帧的像素数的任意整数，优选的，所述N、M为大于等于5小于等于10的整数，在一种实施方式中，可以选取前10个连续的像素点为所述部分像素点，然后判断该些像素点的RGB值是否低于预设阈值，以此确定该数据帧是否为异常数据帧；在另一种实施方式中，也可以选取后10个连续的像素点为所述部分像素点；更佳地，可以同时选取前10个连续的像素点和后10个连续的像素点作为所述部分像素点，能更准确地判断数据帧是否为异常数据帧，如图2所示是一数据帧的像素点示意图，其中每一个方形代表一个像素点，图2中涂满颜色的部分是数据帧前5个像素点和后5个像素点。

进一步的，为了更加准确地判断数据帧为异常数据帧，本实施例在确定所述部分像素点的RGB值低于预设阈值后，还包括步骤：

判断所述数据帧在预定位置处对应的像素点的三基色的亮度值是否低于预设阈值时，若是，才确定该数据帧为异常数据帧。

具体的，所述预定位置为多条分割线将所述数据帧按几何布局进行分割的交点，根据人眼对视频信息存在视觉冗余的原理，该些交点为人眼视觉焦点，通过对这些特殊像素点的判断即相当于对整一数据帧进行判断，可以较快捷、准确地确认数据帧是否为异常数据帧，所述几何布局包括九宫格布局和符合黄金比例的布局，如图2所示是分割线按九宫格布局分割数据帧的示意图，其中每一个方形代表一个像素点，分割线的交点为图2中涂满颜色的方形，如图3所示是一种符合黄金比例布局的图形，通过将该图形与数据帧相匹配，以图3中所示的交点作为数据帧的所述预定位置，每一个交点对应于数据帧的一个像素点，本实施例通过选取特殊像素点作为判断的像素点，不需要对整一数据帧的像素点进行判断，可以适当地减少资源消耗。

步骤S300：当所述数据帧为异常数据帧时，确定该视频流所输出的画面为异常状态，并将该视频流的异常信息上传到云端服务器。

在上述确定一数据帧为异常数据帧后，确定此时视频流所输出的画面为异常状态，也即黑屏状态，然后将视频流的异常信息上传到云端服务器。

优选的，由于一些特殊的视频直播场景如晚间的户外直播，开播的环境亮度较低，若只判断一数据帧即确定视频流所输出的画面为异常状态的误判可能性较高，所以，为了更佳准确地确定视频流所输出的画面为异常状态，本实施例还包括步骤：

当在预设时间内的连续多个数据帧均为异常数据帧时，才确定该视频流所输出的画面处于异常状态。即设定一个观测时间阈值如3秒，若在3秒内的连续的数据帧均为异常数据帧时，才确定此时视频流所输出的画面处于异常状态，然后再将视频流的异常信息上传到云端服务器。

具体的，所述视频流的异常信息关联于直播间特征信息、主播用户特征信息、观看用户特征信息的至少一项上传到云端服务器，直播间的特征信息包括直播间的频道ID及其子频道ID，本实施例通过将视频流的异常信息上传到服务器，服务器收集到该异常信息后对其分析以便对产生该异常情况的源头作出处理。

第二方面，如图4所示是本发明视频画面异常判断装置的一实施例示意图，包括：

获取模块100：用于获取视频流解码后的每一数据帧。

视频播放的流程一般包括步骤：输入->解码->输出，其中“输入”包括从文件或网络读取原数据提取流信息->分离音视频流等步骤，然后再对音、视频流解码后输出，在视频流解码前会分配内存以存储解码后的数据帧，数据帧(Frame)对应着编解码器的最小处理单元，媒体流通常由大量的数据帧组成，编解码器以帧为单位实现压缩数据和原始数据之间的相互转换，解码后的数据帧包括YUV格式或RGB格式，本实施例以RGB格式的数据帧为例进行说明，另外，帧的高度和宽度信息同样可以获得。本实施例的一种应用场景为视频直播领域，观看终端的获取模块100从网络上获取直播间视频数据流，然后在本地对视频流解码后获取解码后的每一数据帧，然后再执行后续操作。

判断模块200：用于判断所述数据帧的预设像素点的三基色的亮度值的均值是否低于预设阈值，以确定该数据帧是否为异常数据帧。

在得到解码后的每一数据帧后，判断模块200判断该数据帧的部分像素点的三基色的亮度值是否低于预设阈值，若判断结果为是，则确定该数据帧为异常数据帧。

具体的，所述异常数据帧为黑屏数据帧，一般的，在存储视频图像数据时的RGB数组元素的默认初始值为(0，0，0)，即为黑色，故本实施例所述预设阈值为[0，255]区间内趋近于0的数值，可以理解的是在计算机图像显示领域中，表现为近似黑色的像素点的RGB值均接近(0，0，0)，故本实施例的预设阈值可以是RGB阈值数组如(5，5，5)或单一阈值如5，此时，像素点的三基色的亮度值低于预设阈值则可以理解为“像素点的三基色的亮度值为0或趋近于0”，即像素点表示为黑色或近似黑色的像素点，当数据帧的预设像素点的三基色的亮度值为0或趋近于0时，确定该数据帧为黑屏数据帧，即此时视频流所输出的画面为黑屏画面。

具体的，所述部分像素点为数据帧的前N个连续的像素点和/或后M个连续的像素点，所述N、M为小于数据帧的像素数的任意整数，优选的，所述N、M为大于等于5小于等于10的整数，在一种实施方式中，可以选取前10个连续的像素点为所述部分像素点，然后判断该些像素点的RGB值是否低于预设阈值，以此确定该数据帧是否为异常数据帧；在另一种实施方式中，也可以选取后10个连续的像素点为所述部分像素点；更佳地，可以同时选取前10个连续的像素点和后10个连续的像素点作为所述部分像素点，能更准确地判断数据帧是否为异常数据帧。

上传模块300：用于当所述数据帧为异常数据帧时，确定该视频流所输出的画面为异常状态，并将该视频流的异常信息上传到云端服务器。

在判断模块200确定一数据帧为异常数据帧后，确定此时视频流所输出的画面为异常状态，也即黑屏状态，然后上传模块300将视频流的异常信息上传到云端服务器。

具体的，所述视频流的异常信息关联于直播间特征信息、主播用户特征信息、观看用户特征信息的至少一项上传到云端服务器，直播间的特征信息包括直播间的频道ID及其子频道ID，本实施例通过将视频流的异常信息上传到服务器，服务器收集到该异常信息后对其分析以便对产生该异常情况的源头作出处理。

相应的，本发明提供一种终端设备，用于实现第一方面所述视频画面异常判断方法，包括触敏显示器；存储器；一个或多个处理器。

所述处理器具有以下功能：

获取视频流解码后的每一数据帧；

判断所述数据帧的部分像素点的三基色的亮度值是否低于预设阈值，以确定该数据帧是否为异常数据帧；

当所述数据帧为异常数据帧时，确定该视频流所输出的画面为异常状态，并将该视频流的异常信息上传到云端服务器。

本发明基于观看终端在解码视频流后加入简单的加减法运算和极少的逻辑判断，快速并且准确地判断视频画面出现黑屏的情况，第一时间将终端出现黑屏的故障上报给服务器，以让直播平台运营方及时地发现并处理故障产生的根源，然后可以根据该根源对技术进行改进，提高观众对视频直播的观看体验；另外，由于判断黑屏现象的逻辑在视频流解码后，并且只对每一数据帧的几个像素点进行简单的加减法运算和极少的逻辑判断，涉及的计算量所消耗的资源较少，不会影响视频流解码的过程，同时由机器判断并上报黑屏状况，反应时间快速，漏报或误报的可能性较低，可以为直播平台运营方反馈更多的技术缺陷，让直播平台运营方更有效地进行技术改进，进而提高观众观看体验。

虽然上面已经示出了本发明的一些示例性实施例，但是本领域的技术人员将理解，在不脱离本发明的原理或精神的情况下，可以对这些示例性实施例做出改变，本发明的范围由权利要求及其等同物限定。