专利名称：一种广告监播方法和系统的制作方法
技术领域：
本发明涉及视频检索技术领域，尤其涉及一种广告监播方法和系统。
背景技术：
要使自己在市场上处于有利地位，首先要对竞争对手进行调查，以便确定相应的竞争策略，而了解竞争对手的整体广告策略是一个重要方面。其中，广告监测及调查统计分析是比较切实可行的一种方法。近年来，图像、音频和视频等多媒体内容已成为互连网信息高速公路上所传送数据的主要部分，基于文本的检索方法已不能满足数字化多媒体信息检索的需要，基于内容的多媒体检索技术应运而生。
由于原始音频数据除了含有采样频率、量化精度、编码方法等有限的注册信息外，本身仅仅是一种非语义符号表示和非结构化的二进制流，缺乏内容语义的描述和结构化的组织，因而音频检索受到极大的限制。传统的广告监测，主要依据人工监测得方法，需要耗费大量的人力物力，同时存在着效率低、漏检等问题。音频包括语音和非语音(Non-speech)两类信号。一直以来，音频信号的处理主要集中于语音识别、说话者识别等语音处理方面的研究，如在语音识别方面IBM的ViaVoice已趋于成熟。但是，对于基于内容的音频信息检索技术的研究还不多。只有在基于音频物理特征的检索技术方面有所突破，才可能在更高层次的基于知识辅助的音频检索方面做出更深入地研究。真正基于内容的音频检索工作是由美国Muscle Fish公司完成的，他们研究的系统可以对首频进行检索和分类，有较闻的准确率。基于内容的首频技术尚有大量问题需要进一步深入研究。对广告音频逐帧提取音频特征，并对特征序列进行模糊聚类的方法提取质心，即音频模板。给定若干个匹配模板后，对于未知的音频样例，可以跟模板逐个计算特征的距离、取最小者，即得到所属的类别。具体的方法如下
音频特征提取，主要包含频谱分析、提取帧特征、扩展片段特征等步骤。频谱分析主要包含分帧、加窗、离散傅里叶变换等步骤。帧特征主要包含短时平均能量、过零率、频率中心、带宽、MFCC系数等。对音频数据逐帧提取特征后，为了压缩数据量，可以采用聚类方法得到固定数目的质心，来为音频建立索引。在检索、分类时，需要分别在对方的索引中找到最近的距离，然后取平均求的音频数据库中所有音频与带匹配样例的相似程度，然后选择若干最详实的音频返回给用户，完成检索。使用上述现有音频检索系统用于广告监测后台的方法，存在以下的缺点
该方案面向的对象为切分好的音频片段，对于大段连续的音像内容，却不能自动的抽取相关片段。广告产生的渠道多，而且通常包含在大段连续的音像文件中，没有切分好的片段。如果要利用该方法，必然需要手工的干预。否则，该方法无法运用。该方案提取的音频特征主要是面向语音/静音以及音乐的区分，对于广告音频中的内容却不能有效的表征，因此对于广告监测未必有良好的效果，不能区分广告与非广告，关注的广告和非关注的广告。检索、匹配的方法，计算量大、效率不高，很难用于大量音频内容、大量广告模板的情形。目前有大量的电视台、视频网站，每天产生大量的待检测的音视频内容。当待检索的样例或模板量级不断增大时，采用逐个匹配计算相似性的方法，其时间消耗无疑会线性增长。
发明内容
本发明的目的在于提出一种广告监播方法和系统，能够解决目前海量视频数据的检索和标注，自动化的定位出广告片段的潜在位置，无需人工干预。充分挖掘有效的特征，对广告音频建立可靠的声纹，同时为声纹的高效索引提供了保障。大幅优化检索机制，通过该系统可实现同时对多个电视广告播出24小时自动监测。并可以根据当前已完成任务的统计信息，对不同频道、行业等分别进行统计分析，实时生成完整的报表形式。
为达此目的，本发明采用以下技术方案
一种广告监播方法，包括步骤
A、获取视频广告模板的音频数据和待检索视频的音频数据，存储在特征数据库中；
B、提取所述视频广告模板的音频数据的音频指纹和所述待检索视频的音频数据的音频指纹；
C、对所述视频广告模板的音频指纹与所述待检索视频的音频指纹进行匹配，计算两者之间的相似度，对所述相似度进行排序；
D、保留相似度大于预设第一阈值的视频片段作为检索候选，并作为检索结果输出。步骤D还包括
将所述检索结果和对应的视频广告出现的频道、时段、位置和长度信息输出至广告监播数据库中；
对所述检索结果增加类别属性，所述类别属性包括行业、公司、类别等，根据所述类别属性对所述检索结果进行统计分析，并输出统计报表。步骤A还包括步骤
通过预先标注从视频节目中选取视频广告，增加到所述视频广告数据库中。步骤B进一步包括以下步骤
对所述视频广告模板的音频数据和待检索视频的音频数据进行预加重、加窗和傅里叶变换；
把频域分为预设数量个频带，分别计算当前帧相邻2个子带频域幅值的差异值与前一帧对应的相邻2个子带频域幅值的差异值；
将所述当前帧和前一帧的差异值之和大于预设第二阈值的设为1，否则设为0，得到所述音频数据的音频指纹。步骤C进一步包括以下步骤
为待检索视频建立一个Hash索引结构；
比较所述视频广告模板的音频指纹一帧与所述待检索视频的音频指纹之间的对应帧的不同字符个数，当不同字符个数小于预设值时，所述视频广告的音频指纹一帧与所述带检索视频片段的音频指纹之间的对应帧是相似的；
当所述带检索视频的相似帧数与总帧数之比大于预设值时，所述视频广告与所述待检索视频片段是相同的视频。本发明还提供了一种广告监播系统，包括数据获取模块、音频指纹提取模块、检索模块和结果输出模块，其中
所述数据获取模块，用于获取视频广告模板的音频数据和待检索视频的音频数据，存储在特征数据库中；
所述音频指纹提取模块，用于提取所述视频广告模板的音频数据的音频指纹和所述待检索视频的音频数据的音频指纹；
所述检索模块，用于对所述视频广告模板的音频指纹与所述待检索视频的音频指纹进行匹配，计算两者之间的相似度，对所述相似度进行排序；
所述结果输出模块，用于保留相似度大于预设第一阈值的视频片段作为检索候选，并作为检索结果输出。所述结果输出模块还用于，将所述检索结果和对应的视频广告出现的频道、时段、位置和长度信息输出至广告监播数据库中；
对所述检索结果增加类别属性，所述类别属性包括行业、公司、类别等，根据所述类别属性对所述检索结果进行统计分析，并输出统计报表。所述数据获取模块还用于，通过预先标注从视频节目中选取视频广告，增加到所述视频广告数据库中。所述音频指纹提取模块进一步用于
对所述视频广告模板的音频数据和待检索视频的音频数据进行预加重、加窗和傅里叶变换；
把频域分为预设数量个频带，分别计算当前帧相邻2个子带频域幅值的差异值与前一帧对应的相邻2个子带频域幅值的差异值；
将所述当前帧和前一帧的差异值之和大于预设第二阈值的设为1，否则设为0，得到所述音频数据的音频指纹。 所述检索模块进一步用于
为待检索视频建立一个Hash索引结构；
比较所述视频广告模板的音频指纹一帧与所述待检索视频的音频指纹之间的对应帧的不同字符个数，当不同字符个数小于预设值时，所述视频广告的音频指纹一帧与所述带检索视频片段的音频指纹之间的对应帧是相似的；
当所述带检索视频的相似帧数与总帧数之比大于预设值时，所述视频广告与所述待检索视频片段是相同的视频。采用了本发明的技术方案，能够对同时播出的多路视频节目进行监控和检索，利用事先确定的广告音频特征建立可靠的声纹数据库，为声纹的高效检索提供保障，经过检索后能够得到与事先设置的视频广告模板相同的视频片段并定位出广告在其中的潜在位置，通过对检索结果进行统计分析获得不同频道或不同行业等标准的分析报表，可以准确获得视频广告的播出特征数据，得到竞争对手的投放广告策略。
图I是本发明广告监播系统具体实施方式
的结构示意图。图2是本发明广告监播方法具体实施方式
的流程图。
具体实施例方式下面结合附图并通过具体实施方式
来进一步说明本发明的技术方案。本系统的主要任务是预先获取视频广告模板音频数据，从直播流中获取视频数据源，运算得到两者的音频指纹，然后将视频广告模板的音频指纹与数据源的音频指纹进行对比分析，得到与视频广告模板近似或相同的待检索视频，并把分析的结果存到相关的数据库。如图I所示，本发明具体实施方式
中广告监播系统的结构示意图，该系统包括数 据获取模块101、音频指纹提取模块102、音频指纹检索模块103、结果输出模块104，其中结果输出模块104进一步包括数据后处理模块和自动分类统计形成报表模块。数据获取模块101主要包含视频广告模板获取模块和电视源数据获取模块。视频广告模板获取模块提供广告监播系统需要的广告模板音频素材。系统定期根据广告模板库信息更新广告模板文件。例如，利用检测出的新的广告片段，加入到模板库中。电视源数据获取模块，根据系统能提供直播数据源的地址列表，系统自动接收多路电视视频数据，各路数据在一定时间间隔长度内生成一个数据包。音频指纹提取模块102主要包含音频抽取模块和音频指纹抽取模块。对于电视广告模板，直接抽取视频中音频数据保存为后续提取特征文件准备。对于电视源数据，当固定长度的视频数据包一生成，音频抽取模块即被启动，提取视频数据中对应的音频数据。音频指纹抽取模块102提取音频指纹特征，音频索引特征只和检测音频信号相关，音频指纹提取是对于音频数据首先预加重、加窗、傅里叶变换，然后把频域分为33个频带，分别计算当前帧相邻2个子带频域幅值的差异值与前一帧对应的相邻2个子带频域幅值的差异值，并将2帧的差异值之和相应设为0或1，每帧音频数据就提取32个0/1值作为指纹，这样就把一帧音频映射成一个32位的音频指纹。检索模块103主要包含音频指纹索引和检索。索引阶段，对检索数据建立一个hash的索引结构，供后期广告模板数据查询。音频指纹检索阶段，对广告模板音频指纹，通过逐帧计算相识度进行音频指纹匹配。指纹的相识度是2个等长二进制字符串之间的对应位置的不同字符个数，当小于设定的阈值t时，认为2帧是相似的。然后计算总相似度，即相似的帧数与总帧数之比，如果2个音频对象的总相似度大于设定阈值T，则认为这2个是相同的音频对象。结果输出模块104包括结果后处理模块，主要包含数据格式检查和数据入库。对每个频道的广告的进行检索，产生初步的广告检索结果并保存到数据库中。这些信息包括广告出现的频道、时段、位置、长度等。以及自动分类统计形成报表模块，主要包含自动根据类别进行统计分析，和形成报表模块。由于可以获取的电视台、广告的类别众多，单一的分析意义并不大，而对结果的统计分析，例如行业内性能的横向对比，能提供一个更简洁有效的分类报表形式、同时又富含信息量。根据广告检索的结果，尝试对其加上各种类别属性，然后根据不同的行业、公司、类别等分别进行统计分析，然后输出报表。用户可以根据需要，调整成不同格式的报表。在上述系统的基础上，还可以增加人机交互模块，主要包含广告模板的录入和检测结果的检查。该模块建立在对音像文件的自动分析技术上，通过对广告库、预先标注的广告片段、以及音频场景切分技术，自动从音像库中提取可靠性较高的广告片段，并随时播放给操作员观看。操作员根据系统的推荐，勾选出真正关心的广告片段，加入模板库中。随着库的扩充，系统不断更新广告片段监测模块，最终完成广告模板的录入。检测结果的检查，广告的监播会存在一定的错误，适时的抽样检查，有利于问题的及早纠正。为了提高操作员的效率，每个监测出的广告都会有一个打分；根据打分，由低到高的排序，并展示给操作员确认。图2是本发明广告监播方法具体实施方式
的流程图。如图2所示，该流程包括以下步骤
步骤201、获取视频广告模板的音频数据和待检索视频的音频数据，存储在特征数据 库中；
其中可以通过预先标注从视频节目中选取视频广告，增加到所述视频广告数据库中。步骤202、提取所述视频广告模板的音频数据的音频指纹和所述待检索视频的音频数据的音频指纹；
具体步骤为，首先，对所述视频广告模板的音频数据和待检索视频的音频数据进行预加重、加窗和傅里叶变换；然后把频域分为预设数量个频带，这里可以分为33个频带，这样在计算当前帧和前一帧的相邻2个子带频域幅值的差异值之后，将差异值之和设为0或1，就能够得到一个32位的音频指纹数据。分别计算当前帧相邻2个子带频域幅值的差异值与前一帧对应的相邻2个子带频域幅值的差异值；
将所述当前帧和前一帧的差异值之和大于预设第二阈值的设为1，否则设为0，得到所述音频数据的音频指纹。步骤203、对所述视频广告模板的音频指纹与所述待检索视频的音频指纹进行匹配，计算两者之间的相似度，对所述相似度进行排序；
具体的判断步骤为
为待检索视频建立一个Hash索引结构；
比较所述视频广告模板的音频指纹一帧与所述待检索视频的音频指纹之间的对应帧的不同字符个数，当不同字符个数小于预设值时，所述视频广告的音频指纹一帧与所述带检索视频片段的音频指纹之间的对应帧是相似的；
当所述带检索视频的相似帧数与总帧数之比大于预设值时，所述视频广告与所述待检索视频片段是相同的视频。步骤204、保留相似度大于预设第一阈值的视频片段作为检索候选，并作为检索结果输出。为了得到更好的检索效果，我们可以对所述检索结果增加类别属性，所述类别属性包括行业、公司、类别等，根据所述类别属性对所述检索结果进行统计分析，并输出统计报表。得到输出的检索结果的同时，还可以将该检索结果和对应的视频广告出现的频道、时段、位置和长度信息输出至广告监播数据库中，并对所述检索结果增加类别属性，所述类别属性包括行业、公司、类别等，根据所述类别属性对所述检索结果进行统计分析，并输出统计报表。视频广告模板文件可以通过预先标注和音频场景切分从视频节目中选取，增加到视频数据库中，或者将检测得到的视频广告和数据库中的视频广告进行插值计算得到新的视频广告并存入视频数据库中。这样就通过音频指纹数据的相似度对比从待检索的视频片段中检索到带有视频广告模板的视频片段，并得到视频片段的相关信息，通过统计分析得到不同频道或不同行业等标准的分析报表，可以准确获得视频广告的播出特征数据，得到竞争对手的投放广告策略
采用了本发明的技术方案有以下有益效果
对目前海量视频数据流，能够通过音频指纹数据检索视频直播流中相应的广告，得到具有相同视频广告的视频节目信息和相关统计分析数据；选择的音频指纹数据特征能有效的表征广告片段的声纹，并量化到0/1两个值，建立高效的检索效率；通过采用本发明的技 术方案，系统的识别结果正确率可以达到98%以上，能够满足实际使用的要求。以上所述，仅为本发明较佳的具体实施方式
，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
权利要求
1.一种广告监播方法，其特征在于，包括步骤 A、获取视频广告模板的音频数据和待检索视频的音频数据，存储在特征数据库中； B、提取所述视频广告模板的音频数据的音频指纹和所述待检索视频的音频数据的音频指纹； C、对所述视频广告模板的音频指纹与所述待检索视频的音频指纹进行匹配，计算两者之间的相似度，对所述相似度进行排序； D、保留相似度大于预设第一阈值的视频片段作为检索候选，并作为检索结果输出。
2.根据权利要求I所述的广告监播方法，其特征在于，步骤D还包括 将所述检索结果和对应的视频广告出现的频道、时段、位置和长度信息输出至广告监播数据库中； 对所述检索结果增加类别属性，所述类别属性包括行业、公司、类别等，根据所述类别属性对所述检索结果进行统计分析，并输出统计报表。
3.如权利要求I或2所述的广告监播方法，其特征在于，步骤A还包括步骤 通过预先标注从视频节目中选取视频广告，增加到所述视频广告数据库中。
4.根据权利要求I或2所述的广告监播方法，其特征在于，步骤B进一步包括以下步骤 对所述视频广告模板的音频数据和待检索视频的音频数据进行预加重、加窗和傅里叶变换； 把频域分为预设数量个频带，分别计算当前帧相邻2个子带频域幅值的差异值与前一帧对应的相邻2个子带频域幅值的差异值； 将所述当前帧和前一帧的差异值之和大于预设第二阈值的设为1，否则设为O，得到所述音频数据的音频指纹。
5.根据权利要求I或2所述的广告监播方法，其特征在于，步骤C进一步包括以下步骤 为待检索视频建立一个Hash索引结构； 比较所述视频广告模板的音频指纹一帧与所述待检索视频的音频指纹之间的对应帧的不同字符个数，当不同字符个数小于预设值时，所述视频广告的音频指纹一帧与所述带检索视频片段的音频指纹之间的对应帧是相似的； 当所述带检索视频的相似帧数与总帧数之比大于预设值时，所述视频广告与所述待检索视频片段是相同的视频。
6.一种广告监播系统，其特征在于，包括数据获取模块、音频指纹提取模块、检索模块和结果输出I吴块，其中 所述数据获取模块，用于获取视频广告模板的音频数据和待检索视频的音频数据，存储在特征数据库中； 所述音频指纹提取模块，用于提取所述视频广告模板的音频数据的音频指纹和所述待检索视频的音频数据的音频指纹； 所述检索模块，用于对所述视频广告模板的音频指纹与所述待检索视频的音频指纹进行匹配，计算两者之间的相似度，对所述相似度进行排序； 所述结果输出模块，用于保留相似度大于预设第一阈值的视频片段作为检索候选，并作为检索结果输出。
7.根据权利要求6所述的广告监播系统，其特征在于，所述结果输出模块还用于，将所述检索结果和对应的视频广告出现的频道、时段、位置和长度信息输出至广告监播数据库中； 对所述检索结果增加类别属性，所述类别属性包括行业、公司、类别等，根据所述类别属性对所述检索结果进行统计分析，并输出统计报表。
8.根据权利要求6或7所述的广告监播系统，其特征在于，所述数据获取模块还用于，通过预先标注从视频节目中选取视频广告，增加到所述视频广告数据库中。
9.根据权利要求6或7所述的广告监播系统，其特征在于，所述音频指纹提取模块进一步用于 对所述视频广告模板的音频数据和待检索视频的音频数据进行预加重、加窗和傅里叶变换； 把频域分为预设数量个频带，分别计算当前帧相邻2个子带频域幅值的差异值与前一帧对应的相邻2个子带频域幅值的差异值； 将所述当前帧和前一帧的差异值之和大于预设第二阈值的设为1，否则设为O，得到所述音频数据的音频指纹。
10.根据权利要求6或7所述的广告监播系统，其特征在于，所述检索模块进一步用于 为待检索视频建立一个Hash索引结构； 比较所述视频广告模板的音频指纹一帧与所述待检索视频的音频指纹之间的对应帧的不同字符个数，当不同字符个数小于预设值时，所述视频广告的音频指纹一帧与所述带检索视频片段的音频指纹之间的对应帧是相似的； 当所述带检索视频的相似帧数与总帧数之比大于预设值时，所述视频广告与所述待检索视频片段是相同的视频。
全文摘要
本发明公开了一种广告监播方法和系统,首先,获取视频广告模板的音频数据和待检索视频的音频数据,存储在特征数据库中；提取所述视频广告模板的音频数据的音频指纹和所述待检索视频的音频数据的音频指纹；对所述视频广告模板的音频指纹与所述待检索视频的音频指纹进行匹配，计算两者之间的相似度，对所述相似度进行排序；保留相似度大于预设第一阈值的视频片段作为检索候选，并作为检索结果输出。采用了本发明的技术方案，能够对海量视频数据进行检索和标注，定位出广告片段的所在位置和相关信息。
文档编号G06F17/30GK102799605SQ20121013169
公开日2012年11月28日 申请日期2012年5月2日 优先权日2012年5月2日
发明者刘赵杰 申请人:天脉聚源(北京)传媒科技有限公司