一种识别直播视频的特定数字区域的方法及装置与流程

本发明涉及互联网技术领域，特别涉及一种识别直播视频的特定数字区域的方法及装置。

背景技术

在直播视频中的一些节目中，例如足球比赛的记分牌，再例如短跑比赛的计时牌等等，这些图像区域中的信息内容往往具有重要的实际意义。对于智能分析而言，如何从直播视频的图像中便捷的获取出准确的特殊数字区域，就成为了业界亟待解决的课题。

技术实现要素：

本发明提供一种识别直播视频的特定数字区域的方法及装置，用以从直播视频的图像中便捷的获取出准确的特殊数字区域，为下一步的图像智能分析提供可靠的基础。

根据本发明实施例的第一方面，提供一种识别直播视频的特定数字区域的方法，包括：

抽取直播视频的n帧图像；

对所述直播视频的n帧图像进行图像预处理，确认所述图像预处理之后的所述直播视频的n帧图像为规则化图像；

对所述规则化图像进行边缘检测；

根据所述边缘检测出的边缘，分析出每一帧图像的所述边缘围成的连通域；

筛选出符合预设条件的所述连通域，确认所述连通域为所述直播视频的特定数字区域。

在一个实施例中，所述抽取直播视频的n帧图像，包括：

在所述直播视频的t时长内，每间隔m帧，抽取1帧图像；

确认抽取出的图像集合为所述直播视频的n帧图像。

在一个实施例中，所述对所述直播视频的n帧图像进行图像预处理，确认所述图像预处理之后的所述直播视频的n帧图像为规则化图像，包括：

对所述直播视频的n帧图像进行灰度处理，形成所述直播视频的n帧图像的单通道图像；

对所述直播视频的n帧图像的单通道图像进行高通滤波处理。

在一个实施例中，所述对所述规则化图像进行边缘检测，包括：

在所述对所述规则化图像进行边缘检测之前，根据所述直播视频的样本集，进行梯度阈值的自适应训练；

通过所述自适应训练，推演出用于计算所述规则化图像的最优化梯度阈值，所述最优化梯度阈值包括横轴方向的梯度阈值和纵轴方向的梯度阈值；

根据所述最优化梯度阈值的横轴方向的梯度阈值和纵轴方向的梯度阈值，分别计算出所述规则化图像的横轴方向的梯度和纵轴方向的梯度。

在一个实施例中，所述筛选出符合预设条件的所述连通域，确认所述连通域为所述直播视频的特定数字区域，包括：

判断所述连通域是否具备至少一对平行边，确认所述判断为第一判断；

判断所述n帧图像中的至少x帧的图像的所述连通域是否一致，确认所述判断为第一判断；

当第一判断和第二判断都为真时，确认所述连通域为所述直播视频的特定数字区域。

根据本发明实施例的第二方面，提供一种识别直播视频的特定数字区域的装置，包括：

抽取模块，用于抽取直播视频的n帧图像；

预处理模块，用于对所述直播视频的n帧图像进行图像预处理，确认所述图像预处理之后的所述直播视频的n帧图像为规则化图像；

检测模块，用于对所述规则化图像进行边缘检测；

分析模块，用于根据所述边缘检测出的边缘，分析出每一帧图像的所述边缘围成的连通域；

筛选模块，用于筛选出符合预设条件的所述连通域，确认所述连通域为所述直播视频的特定数字区域。

在一个实施例中，所述抽取模块，包括：

抽取子模块，用于在所述直播视频的t时长内，每间隔m帧，抽取1帧图像；

第一确认子模块，用于确认抽取出的图像集合为所述直播视频的n帧图像。

在一个实施例中，所述预处理模块，包括：

形成子模块，用于对所述直播视频的n帧图像进行灰度处理，形成所述直播视频的n帧图像的单通道图像；

滤波子模块，用于对所述直播视频的n帧图像的单通道图像进行高通滤波处理。

在一个实施例中，所述预处理模块，包括：

自适应子模块，用于在所述对所述规则化图像进行边缘检测之前，根据所述直播视频的样本集，进行梯度阈值的自适应训练；

推演子模块，用于通过所述自适应训练，推演出用于计算所述规则化图像的最优化梯度阈值，所述最优化梯度阈值包括横轴方向的梯度阈值和纵轴方向的梯度阈值；

计算子模块，用于根据所述最优化梯度阈值的横轴方向的梯度阈值和纵轴方向的梯度阈值，分别计算出所述规则化图像的横轴方向的梯度和纵轴方向的梯度。

在一个实施例中，所述筛选模块，包括：

第一判断子模块，用于判断所述连通域是否具备至少一对平行边，确认所述判断为第一判断；

第二判断子模块，用于判断所述n帧图像中的至少x帧的图像的所述连通域是否一致，确认所述判断为第一判断；

第二确认子模块，用于当第一判断和第二判断都为真时，确认所述连通域为所述直播视频的特定数字区域。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明一示例性实施例示出的一种识别直播视频的特定数字区域的方法的流程图；

图2为本发明一示例性实施例示出的一种识别直播视频的特定数字区域的方法的步骤s11的流程图；

图3为本发明一示例性实施例示出的一种识别直播视频的特定数字区域的方法的步骤s12的流程图；

图4为本发明一示例性实施例示出的一种识别直播视频的特定数字区域的方法的步骤s13的流程图；

图5为本发明一示例性实施例示出的一种识别直播视频的特定数字区域的方法的步骤s15的流程图；

图6为本发明一示例性实施例示出的一种识别直播视频的特定数字区域的装置的框图；

图7为本发明一示例性实施例示出的一种识别直播视频的特定数字区域的装置的抽取模块61的框图；

图8为本发明一示例性实施例示出的一种识别直播视频的特定数字区域的装置的预处理模块62的框图；

图9为本发明一示例性实施例示出的一种识别直播视频的特定数字区域的装置的检测模块63的框图；

图10为本发明一示例性实施例示出的一种识别直播视频的特定数字区域的装置的筛选模块65的框图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1是根据一示例性实施例示出的一种识别直播视频的特定数字区域的方法流程图，如图1所示，该识别直播视频的特定数字区域的方法，包括以下步骤s11-s15：

在步骤s11中，抽取直播视频的n帧图像；

在步骤s12中，对所述直播视频的n帧图像进行图像预处理，确认所述图像预处理之后的所述直播视频的n帧图像为规则化图像；

在步骤s13中，对所述规则化图像进行边缘检测；

在步骤s14中，根据所述边缘检测出的边缘，分析出每一帧图像的所述边缘围成的连通域；

在步骤s15中，筛选出符合预设条件的所述连通域，确认所述连通域为所述直播视频的特定数字区域。

在一个实施例中，在直播视频中的一些节目中，例如足球比赛的记分牌，再例如短跑比赛的计时牌等等，这些图像区域中的信息内容往往对于用户而言具有重要的实际意义。本实施例中的技术方案可对于智能分析而言，从直播视频的图像中便捷的获取出准确的特殊数字区域。

在一个实施例中，抽取直播视频的n帧图像。其中，在该直播视频的t时长内，每间隔m帧，抽取1帧图像；确认抽取出的图像集合为该直播视频的n帧图像。

对该直播视频的n帧图像进行图像预处理，确认该图像预处理之后的该直播视频的n帧图像为规则化图像。其中，对该直播视频的n帧图像进行灰度处理，形成该直播视频的n帧图像的单通道图像；对该直播视频的n帧图像的单通道图像进行高通滤波处理。

对该规则化图像进行边缘检测。其中，在该对该规则化图像进行边缘检测之前，根据该直播视频的样本集，进行梯度阈值的自适应训练；通过该自适应训练，推演出用于计算该规则化图像的最优化梯度阈值，该最优化梯度阈值包括横轴方向的梯度阈值和纵轴方向的梯度阈值；根据该最优化梯度阈值的横轴方向的梯度阈值和纵轴方向的梯度阈值，分别计算出该规则化图像的横轴方向的梯度和纵轴方向的梯度。

根据该边缘检测出的边缘，分析出每一帧图像的该边缘围成的连通域。筛选出符合预设条件的该连通域，确认该连通域为该直播视频的特定数字区域。其中，判断该连通域是否具备至少一对平行边，确认该判断为第一判断；判断该n帧图像中的至少x帧的图像的该连通域是否一致，确认该判断为第一判断；当第一判断和第二判断都为真时，确认该连通域为该直播视频的特定数字区域。

本发明可智能的识别出直播视频中的特殊数字区域，例如足球比赛的记分牌，再例如短跑比赛的计时牌等，从而为下一步的图像智能分析提供既便捷又准确的信息支持。

在一个实施例中，如图2所示，步骤s1包括如下步骤s21-s22：

在步骤s21中，在所述直播视频的t时长内，每间隔m帧，抽取1帧图像；

在步骤s22中，确认抽取出的图像集合为所述直播视频的n帧图像。

在一个实施例中，节选出一段时长内的该直播视频，其中时长t的取值范围可由用户自行选择，也可采用默认值。无需对该节选出一段时长内的该直播视频抽取出全部的视频帧，很多相邻的直播视频帧的画面的内容的冗余度很高。每间隔m帧，抽取1帧图像，将抽取出来的图像集合命名为直播视频的n帧图像，其中，n的数值是根据t和m的数值而确定的。

例如，节选出直播视频甲在其播放时间03:20---06:30范围内的直播视频，每间隔24帧，抽取出1帧图像。因为该直播视频甲每秒包含的视频帧的数量为24帧，通过简单的计算，可计算出抽取出的图像的数量为180帧。将抽取出的该180帧的图像集合命名为该直播视频的n帧图像。

在一个实施例中，如图3所示，步骤s12包括如下步骤s31-s32：

在步骤s31中，对所述直播视频的n帧图像进行灰度处理，形成所述直播视频的n帧图像的单通道图像；

在步骤s32中，对所述直播视频的n帧图像的单通道图像进行高通滤波处理。

在一个实施例中，为了后续处理的便捷性，在不降低后续处理的准确性的基础上，通过图像预处理来降低后续处理的计算复杂度和运算量。首先对该n帧图像进行灰度处理，即将彩色多通道图像转换为单通道图像。然后对该n帧图像进行高通滤波处理，从而达到去除图像中的干扰噪声的技术目的。最后，将进过灰度处理和通过滤波处理的n帧图像命名为规则化图像，该规则化图像是图像集且包含的图像数量为n。

在一个实施例中，如图4所示，步骤s13包括如下步骤s41-s43：

在步骤s41中，在所述对所述规则化图像进行边缘检测之前，根据所述直播视频的样本集，进行梯度阈值的自适应训练；

在步骤s42中，通过所述自适应训练，推演出用于计算所述规则化图像的最优化梯度阈值，所述最优化梯度阈值包括横轴方向的梯度阈值和纵轴方向的梯度阈值；

在步骤s43中，根据所述最优化梯度阈值的横轴方向的梯度阈值和纵轴方向的梯度阈值，分别计算出所述规则化图像的横轴方向的梯度和纵轴方向的梯度。

在一个实施例中，为了对该规则化图像的边缘检测的准确率，预先采样了该直播视频的样本集，通过样本集进行边缘检测的梯度阈值的自适应训练。在多次的该自适应训练中采用sobel边缘检测算法，检测在横轴方向的梯度阈值和纵轴方向的梯度阈值的最优化结果，从而推演出用于计算该规则化图像的最优化梯度阈值。采用了该规则化图像的最优化梯度阈值，就可高效准确的在该直播视频中分割出特定数字区域的边缘。分析该规则化图像中的各个边缘所围成的图形，保留可围成一个闭合图形的边缘，将不能连成一个闭合图形的边缘全部舍弃掉，从而去除了该规则化图像中与该特定数字区域无关的边缘，达到了降低后续处理的计算量的技术效果。

在一个实施例中，如图5所示，步骤s15包括如下步骤s51-s53：

在步骤s51中，判断所述连通域是否具备至少一对平行边，确认所述判断为第一判断；

在步骤s52中，判断所述n帧图像中的至少x帧的图像的所述连通域是否一致，确认所述判断为第一判断；

在步骤s53中，当第一判断和第二判断都为真时，确认所述连通域为所述直播视频的特定数字区域。

在一个实施例中，在实际应用中，特殊数字区域通常是足球比赛的记分牌或短跑比赛的计时牌，以及一些类似的应用场景。这些特殊数值区域一般都是平行四边形，且大多数特殊数值区域为矩形。即连通域中的形状至少包括一对平行边才有可能是该特殊数字区域。而且足球比赛的记分牌往往是贯穿该直播视频的节目的全过程，那么偶尔出现的连通域就可以直接排除掉。综上，通过设置预设条件，达到了排除掉连通域中不符合预设条件的连通域的技术效果。即具备至少一对平行边，且n帧中至少存在x帧的图像的连通域才会被确认为该直播视频的特定数字区域。通过本实施例中的技术方案，在保证识别直播视频中的特殊数字区域准确率的同时，还可大大降低识别直播视频中的特殊数字区域的计算量，从而为下一步的图像智能分析提供便捷可靠的基础。

在一个实施例中，图6是根据一示例性实施例示出的一种识别直播视频的特定数字区域的装置框图。如图6示，该装置包括抽取模块61、预处理模块62、检测模块63、分析模块64和筛选模块65。

该抽取模块61，用于抽取直播视频的n帧图像；

该预处理模块62，用于对所述直播视频的n帧图像进行图像预处理，确认所述图像预处理之后的所述直播视频的n帧图像为规则化图像；

该检测模块63，用于对所述规则化图像进行边缘检测；

该分析模块64，用于根据所述边缘检测出的边缘，分析出每一帧图像的所述边缘围成的连通域；

该筛选模块65，用于筛选出符合预设条件的所述连通域，确认所述连通域为所述直播视频的特定数字区域。

如图7所示，该抽取模块61包括抽取子模块71和第一确认子模块72。

该抽取子模块71，用于在所述直播视频的t时长内，每间隔m帧，抽取1帧图像；

该第一确认子模块72，用于确认抽取出的图像集合为所述直播视频的n帧图像。

如图8所示，该预处理模块62包括形成子模块81和滤波子模块82。

该形成子模块81，用于对所述直播视频的n帧图像进行灰度处理，形成所述直播视频的n帧图像的单通道图像；

该滤波子模块82，用于对所述直播视频的n帧图像的单通道图像进行高通滤波处理。

如图9所示，该检测模块63包括自适应子模块91、推演子模块92和计算子模块93。

该自适应子模块91，用于在所述对所述规则化图像进行边缘检测之前，根据所述直播视频的样本集，进行梯度阈值的自适应训练；

该推演子模块92，用于通过所述自适应训练，推演出用于计算所述规则化图像的最优化梯度阈值，所述最优化梯度阈值包括横轴方向的梯度阈值和纵轴方向的梯度阈值；

该计算子模块93，用于根据所述最优化梯度阈值的横轴方向的梯度阈值和纵轴方向的梯度阈值，分别计算出所述规则化图像的横轴方向的梯度和纵轴方向的梯度。

如图10所示，该筛选模块65包括第一判断子模块101、第二判断子模块102和第二确认子模块103。

该第一判断子模块101，用于判断所述连通域是否具备至少一对平行边，确认所述判断为第一判断；

该第二判断子模块102，用于判断所述n帧图像中的至少x帧的图像的所述连通域是否一致，确认所述判断为第一判断；

该第二确认子模块103，用于当第一判断和第二判断都为真时，确认所述连通域为所述直播视频的特定数字区域。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。