一种台标更换方法及装置与流程

本申请涉及图像处理技术领域，尤其涉及一种台标更换方法及装置。

背景技术：

轮播应用，是从视频库中提取出多种类型的视频资源，并进行整合分类，形成电影、电视剧、体育、娱乐、音乐等多种类型的播放频道(即轮播频道)的一种应用。其中，轮播频道中包含多个节目单，每个节目单由多个节目组成，每个节目对应一个片源商。一般的，部分片源商在提供节目对应的视频流时，会在其提供的视频流中添加该片源商的片源台标。而轮播应用在使用该视频生成节目单时，会将节目对应的视频流中存在的台标图像更换为统一的轮播应用台标图像，用以标识该轮播应用，当然，若该节目对应的视频流中不存在台标时，则不做任何处理。

目前，通常使用图像识别技术进行台标的更换，即将某一节目的第1帧与第2帧这两帧图像进行对比，将两者中包含相同图像所在区域作为台标区域，并将该台标区域的几何特征与台标模板图像的几何特征进行匹配，若匹配，则将台标区域中的图像显示为轮播应用的台标图像。

但是，在实际应用中，常存在轮播应用包含的视频流中存在一段时间内保持不变的背景图像，这样，采用现有的图像识别技术来确定台标区域时，会将不变的背景图像识别为台标图像的一部分，或者识别为台标，使得识别出的台标与台标模板图像不匹配，以致台标识别失败或识别不准确，进而导致无法准确的对视频流中的台标实现更换。

技术实现要素：

本申请的实施例提供一种台标更换方法及装置，用以解决由于台标识别失败或识别不准确，而导致的台标更换准确率低的问题。

为达到上述目的，本申请的实施例采用如下技术方案：

第一方面，提供一种台标更换方法，包括：

采集目标视频流的第1帧图像以及所述第1帧图像之后的M帧图像；

计算所述第1帧图像与所述M帧图像中每帧图像间的变化图像；

确定M个变化图像中每个变化图像的台标区域；

若所述M个变化图像中的后Y个变化图像的台标区域相同，且所述Y个变化图像的台标区域的图像与台标模板图像相匹配，则在所述目标视频流中每帧图像中所述台标区域上显示目标台标图像；其中，M大于等于Y，且M大于等于2。

第二方面，提供一种台标更换装置，包括：

采集模块，用于采集目标视频流的第1帧图像以及所述第1帧图像之后的M帧图像；

计算模块，用于计算所述采集模块采集到的所述第1帧图像与所述M帧图像中每帧图像间的变化图像；

确定模块，用于确定所述计算模块计算得到的M个变化图像中每个变化图像的台标区域；

更换模块，用于若确定模块确定出的所述M个变化图像中的后Y个变化图像的台标区域相同，且所述Y个变化图像的台标区域的图像与台标模板图像相匹配，则在所述目标视频流中每帧图像中所述台标区域上显示目标台标图像；其中，M大于等于Y，且M大于等于2。

本申请提供的方案，相比于现有技术中采集相邻两帧图像，本申请采集的图像为第1帧图像和第1帧之后的M帧图像，由于采集的图像增多，且采集的第1帧之后的M帧图像可以为相邻或不相邻的M帧图像，这样，便大大降低了第1帧图像分别与M帧图像中存在相同图像内容的可能性，因此，若M个变化图像中的后Y个变化图像中的台标区域均相同，即连续多帧变化图像的台标区域相同，且这些变化图像的台标区域中图像与台标模板图像匹配时，便可确定台标区域中存在台标，降低了由于相邻帧可能存在相同的背景图像的概率，这样通过本申请提供的方案便可准确的识别出目标视频流中是否存在台标，并在存在时，在目标视频流中每帧图像中台标区域上将目标台标图像进行准确显示，进而提高了台标更换的准确率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种台标更换方法的流程示意图；

图2为本申请实施例提供的一种视频流图像中第三区域的区域示意图；

图3为本申请实施例提供的一种存在的黑边的图像示意图；

图4为本申请实施例提供的另一种存在的黑边的图像示意图；

图5为本申请实施例提供的一种台标更换装置的结构示意图。

具体实施方式

下面将结合本发明申请实施例中的附图，对本发明申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明申请一部分实施例，而不是全部的实施例。基于本发明申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明申请保护的范围。

需要说明的是，本文中的“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

需要说明的是，本申请实施例中，“的(英文：of)”，“相应的(英文：corresponding，relevant)”和“对应的(英文：corresponding)”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。

本申请实施例提供的台标更换方法的执行主体可以为台标更换装置，或者用于执行上述台标更换方法的电子设备。其中，台标更换装置可以为上述电子设备中的中央处理器(英文：Central Processing Unit，简称：CPU)或者可以为上述电子设备中的控制单元或者功能模块。

基于上述内容，本申请实施例提供一种台标更换方法，如图1所示，该方法包括如下步骤：

101、采集目标视频流的第1帧图像以及第1帧图像之后的M帧图像。

其中，M大于等于2。示例性的，上述采集过程可以通过视频采集卡采集机顶盒输出的视频信号来获取视频流的图像帧。上述的目标视频流为轮播应用中包括的视频流。

需要说明的是，上述的第1帧图像之后的M帧图像为连续的M帧图像，或者不连续的M帧图像，而后者的图像帧中存在不变的视频内容的概率比前者的存在不变的视频内容概率更低。同时，上述的第1帧图像之后的M帧图像，可以为从第2帧图像开始的M帧图像，也可以为与第一帧图像相隔X(X大于1)帧图像的M帧图像，对应的，后者的图像存在不变的视频内容的概率比前者的存在不变的视频内容概率更低。

102、计算第1帧图像与M帧图像中每帧图像间的变化图像。

示例性的，在采集到目标视频流的第1帧图像后，便可将该第1帧图像作为基准图像，与采集到的第1帧图像之后的M帧图像中的每帧图像进行比对，即将进行对比的两帧图像的每个像素点的像素值进行做差从而得到两幅图像间的变化图像。例如，以M帧图像中的第i帧图像为例，第1帧图像与第i帧图像间的变化图像，便可表现出该第1帧图像与第i帧图像间的图像变化程度。

在本申请中视频流的每帧图像中任一像素点的像素值可以表示为：

其中，R(x，y)为红基色色彩值，G(i，j)为绿基色色彩值，B(i，j)为蓝基色色彩值，其中，x∈(1，2，……，a)，y∈(1，2，……，b)，该帧图像的分辨率为a×b。

基于上述内容，第1帧图像与第i帧图像间的变化图像中像素点的像素值可以表示为：

其中，(x，y)表示像素点的坐标，1与i分别表示图像帧号，表示第1帧图像与第i帧图像。

在一种示例中，为了减小计算变化图像的计算量，步骤102可以替换为如下步骤：

102a、计算第1帧图像中第三区域的图像与M帧图像中每帧图像中第三区域的图像间的变化图像。

其中，第三区域为台标预定显示区域，即台标在视频帧图像中通常显示的位置，一般的，台标通常会显示在视频图像帧的左上方或者右上方，并且台标的宽度通常不会超过视频帧图像宽度的三分之一，高度不超过视频帧图像高度的四分之一，因此，可以选取视频帧图像左上方以及右上方，且宽度为视频帧图像的三分之一，高度为视频帧图像四分之一的区域作为台标预设显示区域，即第三区域，如图2所示，图2中的阴影部分即为第三区域。

此外，由于轮播应用中的部分视频流的图像的上下边框处存在黑边(如图3所示)，和/或，左右边框处存在黑边(如图4所示)，因此，上述的第三区域应适当扩大，具体的，可以可选取视频帧图像左上方以及右上方，且宽度为视频帧图像的三分之一，高度为视频帧图像三分之一的区域作为台标预设显示区域(即上述的第三区域)。需要说明的是，上述的三分之一以及四分之一只是一种示例，这里不做限定。

103、确定M个变化图像中每个变化图像的台标区域。

其中，上述的台标区域为变化图像中像素值小于等于预定阈值的像素点对应的区域。示例性的，由于变化图像为第1帧图像与第1帧图像之后的M帧图像中的某一帧图像相同位置像素点的像素值做差得到的，并且，当目标视频流中的某一帧图像中存在台标时，则目标视频流中的每一帧图像都存在台标，并且台标的位置信息不发生改变，因此，可以将变化图像中像素值很小的像素点组成的区域视为台标区域。

需要说明的是，由于每帧图像中台标的位置不发生变化，严格意义上来讲，上述的预定阈值为0，即台标区域为变化图像中像素值等于0的像素点对应的区域。但是，计算变化图像过程中总是存在误差的，因此，上述的预定阈值通常为大于0的值。

104、若M个变化图像中的后Y个变化图像的台标区域相同，且Y个变化图像的台标区域的图像与台标模板图像相匹配，则在目标视频流中每帧图像中台标区域上显示目标台标图像。

其中，本申请中的M大于等于Y。示例性的，上述M个变化图像中的后Y个变化图像的台标区域相同，说明上述M个变化图像中的后Y个变化图像的台标区域的形状、大小和位置相同。同时，由于上述的Y个变化图像中的台标区域相同时，该台标区域内的图像可能为连续多帧未发生变化的背景图像，因此，需要对该Y个变化图像中的台标区域中包含的图像进行判定，判定是否为片源商提供的台标。因此，本申请在确定计算出的M个变化图像中的后Y个变化图像的台标区域相同，且这Y个变化图像中的任一变化图像中的台标区域的图像与台标模板图像相匹配，则可以确定该目标视频流中存在台标，此时，可以将Y个变化图像的台标区域作为目标视频流的台标区域，并输出的该台标区域的位置信息，在目标视频流中每帧图像上打上统一的水印，即在目标视频流中每帧图像中台标区域的位置上层显示轮播应用的目标台标图像。

当然，若M个变化图像中的后Y个变化图像的台标区域不完全相同，或，Y个变化图像的台标区域的图像与台标模板图像不匹配，则表明该目标视频流不包含台标，对目标视频流不做处理。

在一种示例中，上述步骤104中，在目标视频流中每帧图像中台标区域的位置上显示目标台标图像，可以通过下述步骤实现：

104a1、获取Y个变化图像中的任一变化图像的台标区域的中心点的位置信息。

104a2、以目标视频流中每帧图像中台标区域的中心点为中心，依次在每帧图像的台标区域的图像的上层显示目标台标图像。

示例性的，本申请中的台标更换装置在确定目标视频流中包含台标后，便可基于步骤103得到的台标区域的位置信息确定出台标区域的中心点的位置信息，例如，可以根据台标区域的右上角坐标推算出该台标区域的中心点坐标。

示例性的，本申请在执行步骤104a2时可以基于两种实现方式来实现：以第1帧图像为例，第一种方式：按照第1帧图像的台标区域的区域面积，来调整目标台标图像的大小，调整后的目标台标图像可完全覆盖该台标区域，并以第1帧图像中台标区域的中心点为中心，在第1帧图像的台标区域的图像的上层直接显示调整后的目标台标图像；第二种方式：从台标模板图像库中存储的台标模板图像中选择出面积最大的目标台标模板图像，并以该目标台标模板图像的图像面积来调整目标台标图像的面积大小，从而使得调整后的目标台标图像可以覆盖所有类型的台标图像，并以第1帧图像中台标区域的中心点为中心，在第1帧图像的台标区域的图像的上层显示调整后的目标台标图像。

在一种示例中，步骤104在确定若M个变化图像中的后Y个变化图像的台标区域相同时，还可以通过执行下述匹配过程，来确定该变化图像的台标区域的图像是否与台标模板图像是否匹配，具体的：

104b、从台标模板图像库中，检索与Y个变化图像中的任一变化图像的台标区域的图像相匹配的台标模板图像。

其中，台标模板图像库中存储一个或多个台标模板图像。

示例性的，在执行步骤104b时，可以预先提取出Y个变化图像中的任一变化图像的台标区域的图像的几何特征，并将该任一变化图像的台标区域的图像的几何特征依次与台标模板图像库中的台标模板图像的几何特征进行匹配，来确定该台标模板图像库中是否包含与该任一变化图像的台标区域的图像相匹配的台标模板图像。

其中，上述图像的几何特征为图像中出现像素值急剧变化的那些像素的集合，该图像的几何特征包括但不限于：图像边缘信息和图像细节信息。其中，上述的图像边缘信息包括构成图像轮廓像素的像素信息，上述的图像细节信息包括图像的角点信息，而上述的角点是指图像中出现亮度变化剧烈的像素点或图像边缘曲线上曲率极大值的像素点。而上述的图像几何特征可经过信息测度算子或者HU不变矩提取得到。

此外，为了消除图像中无关的信息，滤除掉图像中的干扰和噪声，且为了恢复图像中有用的真实信息，并增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取的可靠性。优选的，在实现步骤104之前还可以对台标区域的图像进行图像预处理操作，进行该预处理操作时，可以采用低通滤波器对其进行去噪处理。此外，上述提取图像边缘信息时，可通过但不限于：Roberts Cross算子，Prewitt算子，Sobel算子，Kirsch算子，罗盘算子，Canny算子，Laplacian算子和高通算子得到。

在一种实施例中，当使用HU不变矩进行几何特征提取时，上述步骤104中描述的匹配过程，可通过如下步骤实现：

a1、提取台标区域中图像的边缘，做阈值分割获取台标二值图像。

a2、提取台标二值图像的HU不变矩。

a3、计算台标二值图像的HU不变矩与台标模板图像的HU不变矩的距离。

a4、确定出最小距离，并判断最小距离是否小于第一阈值；若判定最小距离大于等于第一阈值，则判定为不匹配。

需要说明的是，上述的所有阈值只是一种示例，具体取值视情况而定，且对上述阈值进行更改，也在本申请的保护范围之内，这里不做限定。

本申请提供的方案，相比于现有技术中采集相邻两帧图像，本申请采集的图像为第1帧图像和第1帧之后的M帧图像，由于采集的图像增多，且采集的第1帧之后的M帧图像可以为相邻或不相邻的M帧图像，这样，便大大降低了第1帧图像分别与M帧图像中存在相同图像内容的可能性，因此，若M个变化图像中的后Y个变化图像中的台标区域均相同，即连续多帧变化图像的台标区域相同，且这些变化图像的台标区域中图像与台标模板图像匹配时，便可确定台标区域中存在台标，降低了由于相邻帧可能存在相同的背景图像的概率，这样通过本申请提供的方案便可准确的识别出目标视频流中是否存在台标，并在存在时，在目标视频流中每帧图像中台标区域上将目标台标图像进行准确显示，进而提高了台标更换的准确率。

可选的，在实际应用中，由于视频流的图像长宽尺寸比为固定值，因此，当使用的终端屏幕的基本画面的标准长宽尺寸比与视频流的图像长宽尺寸比不匹配时(如，电视屏幕的基本画面的标准长宽尺寸比为4∶3、待显示视频流的图像的长宽尺寸比为16∶9)，为了适应电视屏幕的基本画面的标准长宽尺寸，通常会在视频流的图像的上下或者左右边缘添加黑边(黑边区域中像素点的像素值为0)。具体的，参照图3所示，可以在视频流的图像的上下添加与该图像同宽，且高度固定的黑边；或者，参照图4所示，在视频流的上下添加与该图像同高，且宽度固定的黑边。

但是，当视频流的图像中存在黑边时，由于黑边所处的区域不会发生改变，因此，当使用现有的台标识别技术来识别台标时，便会将图像的黑边也作为台标的一部分，从而导致台标识别失败或不准确，进而导致无法准确的对视频流中的台标实现更换。

为了解决上述的黑边问题，本申请通过将上文中的步骤103替换为下文中的步骤103b1和103b2，来将台标区域中的黑边区域进行排除。具体的，步骤103b1和103b2如下所述：

103b1、确定变化图像中像素值小于等于预定阈值的第一区域。

103b2、在变化图像的第一区域中包含第二区域的情况下，将变化图像的第一区域中除第二区域外的其他区域，作为变化图像的台标区域。

其中，第二区域为与变化图像的宽度或高度相同，且在第1帧图像内对应的像素点的像素值为0的区域。

需要说明的是，当确定出变化图像中存在黑边时，为了减少计算量，上述的第一区域可以取视频帧图像宽度的高度的三分之一以及高度的三分之一的区域。

此外，由于轮播应用需要将所有存在台标的视频流中的台标更换为目标台标图像，因此，在轮播应用在播放视频流时，需要对视频流的播放剩余时常进行检测，在剩余时长后，即在播放下一视频流的起始时间时，需要重新检测当前播放的视频流中是否需要更换台标。基于此，本申请实施例提供的台标更换方法在步骤104之后还包括如下步骤：

105a、实时获取当前播放目标节目的剩余时长，在剩余时长后，重新采集目标视频流的第1帧图像以及第1帧图像之后的M帧图像。

105b、重复上述步骤102-步骤104，确定当前目标视频流的下一视频流是否更换台标。

通过上述步骤105a以及步骤105b，便可以对轮播应用的所有视频流中是否需要台标更换进行判断。

可选的，在现有技术中，通常会使用片源商提供的第三方台标识别接口来识别台标，但识别的过程中通常会碰到如下问题：1)识别不准确，即当第三方台标识别接口识别出视频流中存在台标，但识别出的位置和大小不准确，存在误差；2)识别失败，视频流中存在台标，但识别结果为视频流中无台标。

针对上述问题，当第三方台标识别接口识别出视频流中存在台标时，本申请通过将第三方台标识别接口的台标识别结果输出，并提取出其识别出的台标区域的中心位置，并以该台标区域的中心位置为中心，宽度和高度为该台标区域的两倍区域作为检测区域，直接计算第1帧图像的检测区域与第1帧之后的M帧图像中的每帧图像的检测区域之间的变化图像，基于计算出的M个变化图像来对台标进行二次判断。

此外，当第三方台标识别接口识别出视频流中未存在台标时，则可以使用本申请提供的台标更换方法(即步骤101-104)对台标进行二次判断，并以二次判断的结果为准。

本发明提供一种台标更换装置，如图5所示，该更换装置包括：采集模块21、计算模块22、确定模块23和更换模块24，其中：

采集模块21，用于采集目标视频流的第1帧图像以及第1帧图像之后的M帧图像；

计算模块22，用于计算采集模块21采集到的第1帧图像与M帧图像中每帧图像间的变化图像；

确定模块23，用于确定计算模块22计算得到的M个变化图像中每个变化图像的台标区域；

更换模块24，用于若确定模块23确定出的M个变化图像中的后Y个变化图像的台标区域相同，且Y个变化图像的台标区域的图像与台标模板图像相匹配，则在目标视频流中每帧图像中台标区域上显示目标台标图像；其中，M大于等于Y，且M大于等于2。

可选的，确定模块23用于：

确定变化图像中像素值小于等于预定阈值的第一区域；

在变化图像的第一区域中包含第二区域的情况下，将变化图像的第一区域中除第二区域外的其他区域，作为变化图像的台标区域；

其中，第二区域为与变化图像的宽度或高度相同，且在第1帧图像内对应的像素点的像素值为0的区域。

可选的，计算模块22用于：

计算第1帧图像中第三区域的图像与M帧图像中每帧图像中第三区域的图像间的变化图像，其中，第三区域为台标预定显示区域。

可选的，若M个变化图像中的后Y个变化图像的台标区域相同，更换模块24用于：

从台标模板图像库中，检索与Y个变化图像中的任一变化图像的台标区域的图像相匹配的台标模板图像；其中，台标模板图像库中用于存储一个或多个台标模板图像。

可选的，更换模块24用于：

获取Y个变化图像中的任一变化图像的台标区域的中心点的位置信息；

以目标视频流中每帧图像中台标区域的中心点为中心，依次在每帧图像的台标区域的图像的上层显示目标台标图像。

本申请提供的方案，相比于现有技术中采集相邻两帧图像，本申请采集的图像为第1帧图像和第1帧之后的M帧图像，由于采集的图像增多，且采集的第1帧之后的M帧图像可以为相邻或不相邻的M帧图像，这样，便大大降低了第1帧图像分别与M帧图像中存在相同图像内容的可能性，因此，若M个变化图像中的后Y个变化图像中的台标区域均相同，即连续多帧变化图像的台标区域相同，且这些变化图像的台标区域中图像与台标模板图像匹配时，便可确定台标区域中存在台标，降低了由于相邻帧可能存在相同的背景图像的概率，这样通过本申请提供的方案便可准确的识别出目标视频流中是否存在台标，并在存在时，在目标视频流中每帧图像中台标区域上将目标台标图像进行准确显示，进而提高了台标更换的准确率。

需要说明的是，在具体实现过程中，上述如图1所示的台标更换方法所执行的各步骤均可以通过硬件形式的处理器执行存储器中存储的软件形式的计算机执行指令实现，为避免重复，此处不再赘述。而上述台标更换方法所执行的动作所对应的程序均可以以软件形式存储于该台标更换方法实施的存储器中，以便于处理器调用执行以上各个模块对应的操作。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。