专利名称：一种基于词汇树的音频片段检索算法的制作方法
技术领域：
本发明涉及一种音频基于内容的片段检索的领域下，基于词汇树的量化方法，结合旋律线匹配，查找原始音频的检索算法。
背景技术：
随着现代信息技术，特别是网络技术和多媒体技术的迅速发展，多媒体数据已成为互联网上所传送数据的主要部分，声音媒体是除视觉媒体外最重要的媒体。基于内容的音频信息检索技术有着广泛的应用前景(1)它是音频信息搜索引擎的关键技术，用户可通过该技术快速获取所需的信息资源，还可以根据音频信息的内容实现更加灵活的信息搜索策略；( 它可实现对音视频点播和网上电视节目等媒体中的音频信息进行实时检索、审查和有效监控；可应用于市场调查、网络管理、信息安全等诸多领域；它可用于各种数字音频产品的版权保护，如音乐的版权保护，即搜索未经授权的使用等；(4)它在音频信息分类与统计技术的研究中扮演重要的角色。如在广播电视新闻节目、 学术会议的录音报告、数字图书馆等内容中包含着大量的语音、音乐等信息，使用音频信息检索技术可以有效地对这些信息进行分类、统计与检索，更好地利用这些资源。基于词汇树的音频片段检索就是一种基于内容的音频信息检索技术，可以实现用小的片段，即时间比较短的片段，一般为10s，检索出原始的音频文件，并且较高的准确率和较短的响应时间。
发明内容
本发明要解决的技术问题基于音频数据内容的音频信息的片段检索。本发明采用的技术方案一种基于词汇树的音频片段检索方案，其特征在于步骤如下(1)采用一定量的MFCC Peaks特征，使用k-means的聚类方法训练出一棵词汇树。 词汇树是层次化的树，每一层表现为子节点是父父节点数据的k个分类。词汇树的每个叶子节点被记为一个单词。(2)在插入数据的时候，首先提取出MFCC Peaks特征，使用词汇树将特征变成单词，将单词按照文本检索的方法存储。同时还需要提取旋律线的特征，用字符串的形式存储在数据库中。这是一个离线的过程。(3)在获得一个查询片段的时候，首先从片段提取MFCC Peaks特征，使用相同的词汇树将特征变成单词，使用文件检索中的计算得分的方式计算库中音频的得分，根据得分的大小排序，获得前5个结果。同时需要对检索的片段提取出旋律线，在前面获得的前 5个结果中，进一步用旋律线进行字符串的相似匹配，根据这个得分重新对这5个结果进行排序。根据本发明的又一个方面，其中步骤(1)又进一步包括对MFCC Peaks特征的定义。MFCC Peaks特征定义为在MFCC上面的包含峰值点的向量。具体提取包括
(a)首先提取音频文件的MFCC特征。(b)在MFCC维度和时间的二维图上，以某个点为中心的一个大小为P的范围内，没有一个点的值大于这个点，这个点就认为是峰值点。MFCC Peaks特征指的是包含这样的峰值点的一个MFCC向量。根据本发明的又一个方面，其中步骤(1)还包括词汇树的构建(a)词汇树的构建首先将所有训练数据划分成K类，记下每类的中心点。然后把每类的数据再划分成K类，记下每类的中心点。这样递归，构造成一棵L层的树，并给树的每个叶子节点赋值一个单词。其中步骤(3)还包括词汇树的使用。(a)词汇树的使用当有一个特征需要转化为单词时，首先与树的根节点所记下的中心点比较，找到距离最近的点，移动到对应的子节点，直到遇到叶子节点为止，当前叶子节点的单词就是这个特征所量化的单词。
图1为本发明的方法基本流程图。
具体实施例方式下面参考附图1，对本发明的实施例进行详细的说明。本发明的方法原理为使用词汇树的方法把音频片段检索的问题转化为文本的检索问题，同时可以结合现有的旋律线匹配等方法进一步调整前5个返回结果，实现高效率、 高准确率的音频片段检索。具体而言，本发明所提出的方法基本流程如图1所示。本发明主要包括如下步骤(1)采用一定量的MFCC Peaks特征，使用k-means的聚类方法训练出一棵词汇树， 词汇树是层次化的树，每一层表现为子节点是父父节点数据的k个分类，词汇树的每个叶子节点被记为一个单词；(2)在插入数据的时候，首先提取出MFCC Peaks特征，使用词汇树将特征变成单词，将单词按照文本检索的方法存储，同时还需要提取旋律线的特征，用字符串的形式存储在数据库中，这是一个离线的过程；(3)在获得一个查询片段的时候，首先从片段提取MFCC Peaks特征，使用相同的词汇树将特征变成单词，使用文件检索中的计算得分的方式计算库中音频的得分，根据得分的大小排序，获得前5个结果，同时需要对检索的片段提取出旋律线，在前面获得的前5 个结果中，进一步用旋律线进行字符串的相似匹配，根据这个得分重新对这5个结果进行排序；根据本发明的又一个方面，其中步骤(1)又进一步包括对MFCC Peaks特征的定义。MFCC Peaks特征定义为在MFCC上面的包含峰值点的向量。具体提取包括(a)首先提取音频文件的MFCC特征；(b)在MFCC维度和时间的二维图上，以某个点为中心的一个大小为P的范围内，没有一个点的值大于这个点，这个点就认为是峰值点，MFCC Peaks特征指的是包含这样的峰值点的一个MFCC向量；根据本发明的又一个方面，其中步骤(1)进一步包括词汇树的构建，步骤C3)又进一步包括词汇树的使用。具体包括(a)词汇树的构建首先将所有训练数据划分成K类，记下每类的中心点，然后把每类的数据再划分成K类，记下每类的中心点，依次递归，构造成一棵L层的树，并给树的每个叶子节点赋值一个单词；(b)词汇树的使用当有一个特征需要转化为单词时，首先与树的根节点所记下的中心点比较，找到距离最近的点，移动到对应的子节点，直到遇到叶子节点为止，当前叶子节点的单词就是这个特征所量化的单词；综上所述，根据上述方法就可以实现快速有效的基于内容的音频片段的检索。对于本领域的普通技术人员来说可显而易见的得出其他优点和修改。因此，具有更广方面的本发明并不局限于这里所示出的并且所描述的具体说明及示例性实施例。因此，在不脱离由随后权利要求及其等价体所定义的一般发明构思的精神和范围的情况下， 可对其作出各种修改。
权利要求
1.一种基于词汇树的音频片段检索方法，其特征在于步骤如下(1)采用一定量的MFCCPeaks特征，使用k-means的聚类方法训练出一棵词汇树，词汇树是层次化的树，每一层表现为子节点是父节点数据的k个分类，词汇树的每个叶子节点被记为一个单词；(2)在插入数据的时候，首先提取出MFCCPeaks特征，使用词汇树将特征变成单词，将单词按照文本检索的方法存储，同时还需要提取旋律线的特征，用字符串的形式存储在数据库中，这是一个离线的过程；(3)在获得一个查询片段的时候，首先从片段提取MFCCPeaks特征，使用相同的词汇树将特征变成单词，使用文件检索中的计算得分的方式计算库中音频的得分，根据得分的大小排序，获得前5个结果，同时需要对检索的片段提取出旋律线，在前面获得的前5个结果中，进一步用旋律线进行字符串的相似匹配，根据这个得分重新对这5个结果进行排序。
2.根据权利要求1所述的一种基于词汇树的音频片段检索方法，其特征在于其中步骤(1)又进一步包括对MFCC Peaks特征定义为在MFCC上面的包含峰值点的向量，具体提取步骤包括(a)首先提取音频文件的MFCC特征；(b)在MFCC维度和时间的二维图上，以某个点为中心的一个大小为P的范围内，如果没有一个点的值大于这个点，这个点就认为是峰值点；MFCC Peaks特征指的是包含这样的峰值点的一个MFCC向量。
3.根据权利要求1所述的一种基于词汇树的音频片段检索方法，其特征在于其中所述步骤(1)中还包括词汇树的构建(a)构建词汇树首先将所有训练数据划分成K类，记下每类的中心点，然后把每类的数据再划分成K类，记下每类的中心点，依次递归，构造成一棵L层的树，并给树的每个叶子节点赋值一个单词；所述步骤(3)中还包括词汇树的使用(a)使用词汇树当有一个特征需要转化为单词时，首先与树的根节点所记下的中心点比较，找到距离最近的点，移动到对应的子节点；直到遇到叶子节点为止，当前叶子节点的单词就是这个特征所量化的单词。
全文摘要
一种基于词汇树的音频片段检索算法(1)通过聚类的方法训练一个层次化的用于量化特征的词汇树；(2)从音频文件提取MFCC Peaks特征，通过词汇树量化成单词；(3)将单词以文本检索的倒排文件索引的方式存储和索引；(4)在得到最匹配的结果数据集后用旋律线匹配的方式调整顺序提高排名第一的结果的准确率。本发明提出一种新的音频特征MFCC Peaks，并根据该特征的特点设计了一套基于词汇树的检索方案，本方法具有检索效率高和准确率高的特点。
文档编号G06F17/30GK102253993SQ20111019072
公开日2011年11月23日 申请日期2011年7月8日 优先权日2011年7月8日
发明者余韡, 刘祥龙, 李未, 许恬菁, 郎波 申请人:北京航空航天大学