一种视频广告的自动检测方法
【专利摘要】本发明属于计算机视频处理【技术领域】，具体为一种视频广告的自动检测方法。本发明输入为电视台播放的数字电视信号或本地视频格式，综合采用颜色、纹理和边缘特征，对视频进行镜头分割，关键帧提取，FMPI帧分类，拷贝检测，和疑似广告检测，最终分析出视频中的广告成分。可以用作数字电视转播的广告过滤和解决项目中需要处理视频数据自动标注的问题。本发明采用FMPI关键帧的概念，大大提高了广告拷贝检测的准确率和算法效率，对于疑似广告检测也有了非常可靠的基于FMPI关键帧的特征做分类器的依据。
【专利说明】一种视频广告的自动检测方法
【技术领域】
[0001]本发明属于计算机视频处理【技术领域】，具体涉及一种视频广告的自动检测方法。【背景技术】
[0002]三网融合是我国未来几年信息化发展的重要方向，其中广播电视网和互联网的融合是其重要组成部分。随着互联网和高速宽带网络技术的成熟，整个互联网已经具备了同时传送高质量音频、视频和数据的能力。同时和传统的电视广播网络比较，互联网的特点在于互联网的数据传输是高速双向的，融合后电视用户利用这种双向传输的特点，将享受前所未有的交互方式。利用互动电视中的回看功能，在电视节目中自动的去掉广告内容无疑会提闻用户的交互体验。
[0003]目前，每天都有大量的电视视频数据产生，如果要做到对那么多视频数据进行处理，简单的根据人力去标注视频内容，分割出哪些是正常的电视节目，哪些是广告内容，进行广告检测，显然不切实际。这就要求有一个自动化的能够高效准确的完成这个功能的广告检测算法。
[0004]目前，学术界主要的广告检测算法有基于视频拷贝检测的广告检测算法，基于广告特征的广告检测算法，和基于学习的广告检测算法。这些方法都有其应用的场景和条件，也分别有优点和缺点。
[0005](I)基于拷贝检测的广告检测算法
广告作为宣传一种产品或者理念的视频序列出现在电视上，为了达到宣传的目的，最大的特点就是它的重复性。根据这种重复性，如果视频库中存在我们需要的广告，应用视频拷贝检测技术，我们就可以把重复出现的广告检测出来。
[0006]视频拷贝检测的关键点是视频特征信息的提取和匹配算法[I]。视频特征信息关系到视频拷贝检测准确度，该部分大多数是由镜头分割后的镜头帧所提取图像特征构成。这种图像特征大致分为两类:第一是全局特征，该部分主要是那些表征图像整体信息的特征，如颜色特征(颜色直方图等)、纹理特征(边缘分布等)，全局特征的优点在于提取速度快，内存占用率小，缺点在于忽略了图像的局部信息，不抗旋转和和缩放；第二是局部特征，如SIFT[2]等，这些特征优点在于能反映图像中的细节信息，抗旋转与缩放，缺点是计算代价大，内存占用较多。
[0007]特征匹配算法关系到视频拷贝检测的速度。线性匹配算法结构简单但速度较慢，需要遍历视频库中所有的视频才能得出结果，结构化的匹配算法[I]能够优化匹配时间。
[0008]Covell把视频拷贝检测应用到广告检测中来[3]，他的特点在于应用视频中的音频作为主要的拷贝检测的依据，并且达到了很好的效果。
[0009]基于拷贝检测的广告检测，缺点主要有三方面:第一，对于在视频库中的广告，视频拷贝检测查全率和查准率都较高，但对于新上线的广告，需要人工向广告库中添加广告，才能识别出来；第二，视频拷贝检测的速度是和广告库中视频的速度相关的，视频库中视频越多，拷贝检测的速度越慢；第三，对于那些已经下线的广告，需要人工的去广告库中删除掉对应广告，以减少广告库中视频的数量，从而保证视频拷贝检测的速度。对于这三方面缺点，都需要人工进行操作，而且对于有大数据量的广告库，人工操作的工作量将会很大。
[0010](2)基于特征的广告检测
广告作为一种特殊的媒体，在视觉和听觉上有其独特的特征，利用这些特征，可以有效的进行广告检测。
[0011]Duygulu提出了一种根据广告特征进行广告检测的方法[4]。在图像上，在国外的电视节目中，广告作为电视节目的一类内容，被定义了严格的格式要求，最重要的就是广告和广告之间会插入黑帧(black frame，即全黑的一张图像帧)。由于有了这个特征，就可以很方便的检测这样的黑帧，作为广告的边界。
[0012]Sadlier不仅采用了黑帧，在音频上还用了静音段检测的方法，当黑帧和静音段出现在同一个位置时，就检测到广告边界[5]。对黑帧的检测，该文章用到了 MPEG中的DCT系数:当图片为单色时，DCT的低频部分主要包含了图片的细节，然而单色图片基本上没有细节，所以低频部分几乎为零。另外，黑帧和静音段在正常的电视节目中也经常同时出现，所以作者根据电视制式的特点，制定了一些规则来减少错判的情况。例如，连续六帧为黑帧和静音才被认为是广告边界；广告时间总长度最长为30秒，超过则不是广告。利用这些广告制式的特点，该文章成功的提高了广告检测的效果。
[0013]Gauch除了应用以上提到的一些广告检测的特征以外，还应用了镜头速率来检测广告内容[6]。镜头切换速率表示为每个镜头的持续时间。对于广告来说，为了尽可能的在最短是的时间内表达更多的内容，镜头切换速率一般来讲会非常的快，因此这个特征在一定程度上能够表征广告的特点。另外，该文章还用视频拷贝检测作为辅助，进一步优化了广告检测的效果。
[0014]基于广告特征的广告检测，其缺点主要在于:第一，现在的广告拍摄水平越来越高，拍摄手法越来越多样化，现有的某些特征已经不能满足判断是否是广告帧的要求；第二，由于现在广告的复杂性，简单的规则已经不能保证算法的高准确性和易用性；第三，由于电视制式的不同，不同地区和不同国家间广告特点的不同，以上文章描述的特征并不是对所有广告都适用，例如，在中国的电视节目中，广告的边界就不存在必须插入黑帧的情况。这些在实际应用中存在的问题都会使该类方法的效果大打折扣。
[0015](3)基于学习算法的广告检测
由于广告越来越复杂，这就要求越来越复杂的规则去检测。如果使用机器学习的办法，通过学习，学习出广告帧特征的内在规律，那么在一定程度上会提高广告检测的准确性。
[0016]Xian-Sheng等根据这种思路提出了一种基于学习的广告检测算法[7]。该算法运用切分下来的镜头提取基于时间域的图像特征，再用训练好的SVM分类器进行分类，最后利用一些策略把分类出来的广告镜头帧聚集在一起形成广告序列。该方法所需要的特征有1.边缘变化率平均值(A-ECR)和边缘变化率方差(V-ECR)
2.帧间差平均值(A-FD)和帧间差方差(V-FD) 3.相邻镜头的边缘变化率均值(
AECR5IO和用相邻镜头变化率的方法计算的上述其余三个特征。共八个特征，用这些特征作
为训练特征，在一定程度上能够表征广告镜头帧的特点，对标定好的镜头提取上述特征，再放到SVM[9]训练器中训练，生成训练好的模型，以用来检测视频中的广告镜头。[0017]此类方法的缺点在于:第一，过分依赖于训练数据，广告镜头帧情况复杂，人选取样本又具有主观性，所以往往训练数据的构成会有问题，这样就会造成对于不同的检测样本，模型的准确性会有较大出入的结果；第二，基于学习的广告检测，需要从视频中判断哪些帧为广告镜头，而大多数情况下，广告检测的任务是标定完整的广告序列，包括一个广告的开始位置和结束位置，该方法广告区域边界定位不准的问题比较严重。
【发明内容】
[0018]为了克服现有技术的不足，本发明目的在于提出一种实时高效的视频广告的自动检测方法，其可对数字信号的电视节目中的广告进行自动的过滤，并对视频中的广告成分进行自动的标注；准确率和召回率高。
[0019]本发明提供的一种视频广告自动检测方法，利用广告中带有商品信息的广告帧(FMPI)的特点；首先对人工切割好的广告片段进行镜头分割，为提取关键帧进行数据准备；接着对关键帧进行特征提取；然后对关键帧集合进行SVM筛选，构建SVM分类器模型，选出FMPI关键帧；最后根据SVM模型对待测视频进行检测；具体步骤如下:
一、数据准备
数据来自于电视台的数字电视视频，从中挑选出比较有代表性的，完整的24小时电视数据。需要人工先从这些数据中切分出广告的连续片段视频，可以用镜头分割程序进行辅助，最后得到的是连续的广告视频片段。
[0020]根据颜色直方图变化率和边缘直方图变化率对人工切割好的广告片段进行镜头分割，用颜色直方图变化率和边缘直方图变化率的线性组合，来判断两个镜头之间的帧突变；选取跳变第一帧作为关键帧，人工选出FMPI关键帧、普通广告帧和非广告跳变帧。FMPI帧指带有商品信息的广告帧；普通广告帧指视频镜头分割中切割出的广告中间镜头跳变帧，即除去FMPI帧的其他广告帧；非广告帧指普通视频帧，但是镜头分割时作为跳变帧也被挑选了出来，如连续剧中的镜头转换帧。
[0021]计算颜色直方图变化率时，对RGB三个分量色彩空间进行区间划分，每个分量取16个区间，用Chist[48]保存颜色直方图信息，RGB分别对应16维直方图向量；计算边缘直方图变化率时，对图像进行4X 4分块，对每一块中的边缘像素点进行统计，用Ehist [16]保存。
[0022]二、特征提取
对关键帧提取的特征包括颜色特征、纹理特征和边缘特征。
[0023]本发明中用HSV空间中H分量的分布直方图表示颜色特征，用Canny边缘分块统计直方图表示纹理特征，用二维Gabor四个方向的分块累加直方图表示边缘特征；
颜色特征:首先需要对RGB色彩空间的关键帧进行色彩转化，得到对应关键帧的HSV表示后，把H色度空间分成16个等距的角度做直方统计；得到Hhist[16]之后，取得最大的四个维度值构成向量Hhist [4] ； [n]表示向量Hhist的维数,下同；
纹理特征:对关键帧图片提取Gabor滤波器四个方向的边缘统计。关键帧分成4x4的块，对于每个块内的四个方向分别统计Gabor边缘点的数目得到向量Ghist[4];—共有16个这样的块，最终形成的Gabor滤波特征向量为Ghist[64]，即64维向量。
[0024]边缘特征:对整张图片经行Canny边缘提取，得到的边缘图同样分成4x4的块，分别统计落在其中的Canny边缘点数目，得到的Chist [16]为16维向量Canny边缘点分布。
[0025]三、样本训练和测试
采用高斯核的SVM分类器，把上述的三个特征向量组合起来构成84维向量，用作SVM训练，这个向量对应了一张FMPI关键帧特征，也即对应了一个广告镜头的特征。具体的，其首先对训练样本进行数据预处理，把特征提取得到的向量处理成SVM接受的输入形式，即<label>〈indexl>:<valuel><index2>:<value2>〈index3>〈value3>…的形式，其中〈label〉是标注类别，<indeXi>是特征序号，<valuei>是特征值，并做好数据处理，然后用测试样本提取相同特征，处理为标准输入形式后用于测试，最后得到关于FMPI关键帧的SVM模型；其公式如下所示:
【权利要求】
1.一种视频广告的自动检测方法，其特征在于，首先对人工切割好的广告片段进行镜头分割，为提取关键帧进行数据准备；接着对关键帧进行特征提取；然后对于关键帧集合进行SVM筛选，选择出FMPI关键帧；最后用FMPI关键帧检测待测视频；具体步骤如下: (1)数据准备 对于人工切割好的广告片段进行镜头分割，选取跳变第一帧作为关键帧，人工选出FMPI关键帧、普通广告帧和非广告跳变帧；将其分为训练样本和测试样本两部分；两部分中均含有FMPI关键帧、普通广告帧和非广告跳变帧； (2)特征提取 提取关键帧的颜色、纹理和边缘三个方面的特征； 颜色特征:首先RGB转化为HSV颜色，把HSV色彩空间分成16个等距的角度做直方统计，得到Hhist[16];之后取得最大的四个维度值构成Hhist[4]； 纹理特征:将关键帧分成4x4的块，对于每个块内的四个方向分别统计Gabor边缘点的数目得到Ghist[4];最终形成64维向量的Gabor滤波特征向量Ghist[64]； 边缘特征:对整张图片进行Canny边缘提取，得到的边缘图同样分成4x4的块，分别统计落在其中的Canny边缘点数目，得到的16维Canny边缘点分布,构成Chist[16]； (3)样本训练和测试 采用高斯核的SVM分类 器，把上述的三个特征向量组合起来构成84维向量用作SVM训练；具体过程为: 首先，对训练样本进行数据预处理，把特征提取得到的向量处理成SVM接受的输入形式，即 <label>〈indexl>: <valuel>〈index2>: <value2>〈index3>〈value3>…的形式，其中〈label〉是标注类别，<indeXi>是特征序号，<valuei>是特征值，并做好数据处理；然后，用测试样本提取相同特征，处理为标准输入形式后用于测试；最后，得到关于FMPI关键帧的SVM模型，其公式如下所示:
2.根据权利要求1所述的自动检测方法，其特征在于:步骤(1)中，根据颜色直方图变化率和边缘直方图变化率对人工切割好的广告片段进行镜头分割；用颜色直方图变化率和边缘直方图变化率的线性组合，来判断两个镜头之间的帧突变。
3.根据权利要求2所述的自动检测方法，其特征在于:计算颜色直方图变化率时，对RGB三个分量色彩空间进行区间划分，每个分量取16个区间，用Chist [48]保存颜色直方图信息，RGB分别对应16维直方图向量；计算边缘直方图变化率时，对图像进行4X4分块，对每一块中的边缘像素点进行统计，用Ehist[16]保存。
4.根据权利要求1所述的自动检测方法,其特征在于:所述训练样本中，FMPI关键帧为正样本；普通广告帧和非广告跳变帧为负样本，正样本和负样本的数目比为1:1。
5.根据权利要求1所述的自动检测方法，其特征在于:步骤(2)中，对关键帧进行颜色特征提取的算法具体如下: 首先，RGB转换成HSV颜色，公式如下:
6.根据权利要求1所述的自动检测方法，其特征在于:步骤(2)中对关键帧进行纹理特征提取的算法如下:图像4X4分块后，对每块提取四个方向的二维Gabor边缘统计向量；按照二维Gabor滤波器的一般表不形式:
7.根据权利要求1所述的自动检测方法，其特征在于:步骤(2)中对边缘特征提取的算法如下:对图片4 X 4分块，然后对图像进行Canny边缘计算，最后分别统计落在每个小块中的Canny边缘点数目，构成4维向量Chist [4],实现边缘特征提取；其中Canny边缘计算分为四个步骤: 第一步，进行高斯平滑滤波，构造7X7的高斯滤波核，通过二维高斯函数计算出高斯核矩阵；第二步，算图像的梯度，其做法是应用一阶偏导的有限差分来做，具体使用高斯偏导数系数模板与平滑后的图片进`行卷积操作，通过计算可以得到平滑图片的梯度方向和梯度幅值。 第三步，是非极值抑制； 最后一步，是双阈值检测，强阈值需要确定强边缘，和强边缘联通的边缘点，如果超过弱阈值，都会计算成Canny边缘点；若边缘值并没有超过强阈值，且没有与任何强边缘联通，或者是与强边缘联通，但其边缘强度没有超过弱阈值的边缘点，将会不被计算为Canny边缘点。
【文档编号】G06K9/66GK103605991SQ201310513702
【公开日】2014年2月26日 申请日期:2013年10月28日 优先权日:2013年10月28日
【发明者】金城, 吴渊, 段超, 薛向阳 申请人:复旦大学