用于按照索引信息搜索音频指纹的系统和方法

专利名称：：用于按照索引信息搜索音频指纹的系统和方法
技术领域：
：本发明涉及一种音频指紋(fingerprint)搜索技术，且更具体地，涉及如下的系统和方法，该系统和方法用于通过对音频指紋进行编索引(indexing),基于编索引搜索预定的音频指紋、并验证所搜索的音频指紋，来按照索引信息搜索音频指紋，以改善识别性能并增加搜索速度。这项工作受MIC(弟国信息通信部)/IITA(韩国信息技术促进协会)的信息技术(IT)研究开发计划[2007-S-017-01，"Developmentofuser-centriccontentsprotectionanddistributiontechnology(用户中心内容保护和分布技术的开发)"]支持。
背景技术：
：音频指紋系统的目标是通过接收音频信号并利用预先构建的音频指紋数据库搜索对应的音频来识别预定的音频。根据应用领域，音频指紋系统已经用于广播监视器、CF识别、和文件过滤。为了在所述应用领域中有效地使用音频指紋系统，甚至在各种失真情况下，也需要高识别率和快的搜索速度。具体地，为了在P2P或UCC领域中过滤文件，需要迅速且准确地搜索由其每一个具有自己的版权的几十万个音频文件形成的音频指紋数据。对于在基于大容量音频指紋数据库进行操作的广播监视和文件过滤领域中的实时处理，识别速度是最重要因素之一。此外，根据音频指紋系统的应用领域，还要求音频指紋系统具有高识别性能(尽管音频数据通过重新采样、过滤、均衡、和压缩而被变形)、以及快的识别速度。在名称为"Methodforsearchinaudiodatabase(用于音频数据库中的搜索的方法)"的韩国专利公开第2003-7001489号中介绍了根据现有技术的搜索方法。在用于音频数据库中的搜索的方法中，提取界标(landmark)和指紋，并使用界标和指紋的对应关系来搜索预定的音频数据。在所述方法中，除了指紋之外还计算界标，将所计算的界标存储为索引、和在界标与使用界标位置中的指紋的音乐ID之间的候选列表。然后，基于其线性关系来识别音频。然而，尽管在所述方法中基于指紋来搜索音频信号，但是没有考虑指紋的特性。此外，作为补充特征，所述方法需要界标来识别预定音频。在名称为"Fingerprintproducingmethodandaudiofingerprintingsystembasedonnormalizedspectralsubbandcentroids(基于头见才各化的"i普子带矩心的指紋产生方法和音频指紋识别系统)"的韩国专利公开第2007-0031765号中介绍了根据现有技术的音频搜索系统。所述指紋产生方法和音频指紋识别系统基于规格化的谱子带矩心来生成指紋，并通过比较指紋的距离来搜索预定的音频。所述指紋产生方法和音频指紋识别系统没有考虑用于音频搜索的指紋的特性，尽管所述指紋产生方法和音频指紋识别系统具有比MP3的典型指紋的MFCC和音调、均衡、以及随机开始更好的识别性能。
发明内容技术问题相应地，本发明旨在一种用于根据索引信息来搜索音频指紋的系统和方法，其实质上排除了由于现有技术的限制和缺点所导致的一个或多个问题。本发明的目标是提供一种使用索引信息搜索音频指紋的系统和方法，以通过使用音频指紋特征信息的统计特性来生成索引并使用生成的索引来搜索预定音频，来改善音频识别性能并增加搜索速度。-技术解决方案为了实现这些目标和其它优点并且4艮据本发明的目的，如在这里所实施和广泛描述的，提供了一种用于搜索音频指紋的系统，该系统包括DB组，用于基于音频文件的音频指紋的统计特性来生成索引，并连续地匹配索引、音频指紋、和音乐信息；和音频指紋搜索设备，用于基于新输入音频文件的音频指紋的统计特性来生成新索引，并通过从DB组中搜索新索引来搜索用于新输入音频文件的对应音乐信息。根据本发明的另一目的，提供了一种用于使用索引信息来搜索音频指纹的方法，包括如下步骤a)基于音频文件的音频指紋的统计特性来生成索引，并准备用于存储位置信息的DB组，该DB组连续地匹配所生成的索引、音频指紋、和音乐信息；b)基于新输入音频文件的音频指紋的统计特性来生成索引；以及c)通过从DB组中搜索在步骤b)中生成的已生成索引来搜索用于新输入音频文件的对应音乐信息。有益效果根据本发明的用于按照索引信息来搜索音频指紋的系统和方法使用音频指紋的统计特性来生成索引，并基于所生成的索引来搜索音频指紋。因此，根据本发明的用于按照索引信息来搜索音频指紋的系统和方法可以支持快的搜索时间，并可以应用于过滤和监视大容量数据库中的文件。此外，用于按照索引信息来搜索音频指紋的系统和方法创建了包括可变位置的索引比特的候选索引以便补偿失真，这是因为如果将索引直接用于搜索而没有补偿，则由于失真而急剧地降低识别率。因此，用于按照索引信息来搜索音频指紋的系统和方法可以通过校正由于比特索引而可生成的误差来改善识别率。在这个申请的部分中合并了附图，并且所述附图构成这个申请的部分，包括所述附图以提供本发明的进一步理解，所述附示了本发明的实施例，并且与描述一起用于说明本发明的原理。在附图中图1是图示了根据本发明的实施例的、用于搜索音频指紋的系统的框图2是图示了根据本发明的实施例的索引处理器的框图3是图示了在根据本发明实施例的用于搜索音频指紋的系统中使用的DB文件中的关系的图4是图示了用于生成指紋索引所使用的概率分布的图5是图示了使用从音频搜索处理提取的指紋来生成指紋索引并基于所生成的指紋索引来搜索预定音频的过程的图6是图示了在音频搜索处理中生成候选索引的过程的图；以及图7是图示了使用在音频搜索处理中生成的候选索引来搜索最终结果的过程的图。具体实施例方式现在，将详细参考在附图中图示了其示例的本发明的优选实施例。图1是图示了根据本发明的实施例的、用于搜索音频指紋的系统的框图。参考图1，根据本实施例的用于搜索音频指紋的系统包括音频指紋搜索设备l。所述音频指紋搜索设备1包括指紋提取单元ll,用于提取用于音频文件的音频指紋；候选索引搜索单元12，用于通过按照所提取的音频指紋值与在生成索引时使用的平均值(meanvalue)之间的差的绝对值的升序来排序所提取的指紋的值，而考虑可变位置地生成候选索引；指紋匹配单元13,用于与候选索《1对应地匹配音频指紋和已提取音频指紋；以及结果验证单元14，用于如果音频指紋之间的距离处于预定值范围中，则验证搜索结果是对应的音乐信息。由于索引^L用于搜索，所以用于搜索指紋的系统还包括DB组2,用于存储音频指纹，所述音频指紋具有与所述音频指紋匹配的对应索引。为了操作根据本发明的音频指紋搜索设备l，首先需要建立相关的数据库。因此，优选地，将DB组2形成为具有指紋DB21、音乐信息DB22、和指紋索引DB23。此外，为了匹配并存储音频指紋与对应的索引，需要对音频文件执行预处理。优选地，还包括索引处理器3，用于在预处理中接收音频文件和音乐ID信息，并将音频指紋与对应的索引匹配。如上所述，根据本实施例的用于搜索音频指紋的系统被划分为DB生成区域，用于生成指紋索引并建立其数据库，以及DB搜索区域，用于通过编索引进行搜索。也就是说，在DB生成步骤中，相关的信息被存储在指紋DB21、音乐信息DB22、和指紋索引DB23中。在基于索引进行搜索的步骤中，执行指紋提取、通过编索引进行的候选搜索和匹配、以及结果验证。尽管根据本实施例的用于搜索音频指紋的系统被划分为两个区域，但是对于本领域技术人员而言明显的是，所述两个区域可以在一个区域中执行。图2是图示了根据本发明的实施例的索引处理器的框图。参考图2，索引处理器3包括指紋提取器31、指紋统计分析器32、指紋二进制化器33、和指紋编索引器(indexer)34。指紋提取器31使用指紋提取算法从输入的音频文件中提取音频指紋，并且指紋统计分析器32分析音频指紋的统计特性并计算概率分布。也就是说，指紋统计分析器32通过计算音频指紋的平均数(mean)以及指紋分布来将所提取的音频指紋近似为概率模型。然后，指紋二进制化器33通过分析音频指紋的统计特性来将指紋二进制化为具有概率性上同一的分布，并且指紋编索引器34生成索引。这里，指故提取算法可以是过零率(ZCR:zerocrossingrate)、能量差、谱平坦度、美尔频率倒谱系数(MFCC:melfr叫uencycepstralcoefficients)和频率矩心(frequencycentroide)中的一个。图3是图示了与在根据本发明实施例的用于搜索音频指紋的系统中使用的DB文件的结构的关系的图。参考图3，根据本实施例的DB组2包括指紋DB21、音乐信息DB22、和指紋索引DB23。指紋DB21存储音乐中的指紋音频值和位置信息。音乐信息DB22存储关于音乐ID的信息和指紋的数目。指紋索引DB23根据二进制化的指紋值来存储指紋DB21中的关于位置的信息。当根据本实施例的用于搜索音频指紋的系统在每个DB存储对应信息之后、接收搜索预定音频文件的请求时，所述系统通过图2中所示的编索引步骤来生成候选索引，从指紋索引DB23中搜索所生成的候选索引，并检测候选索引的指纹位置信息。然后，所述系统检测在指紋DB21中存储的、与指紋位置信息对应的指紋信息，并输出在音乐信息DB22中存储的、与音乐的位置信息对应的音乐信息。图4是图示了用于生成指紋索引所使用的概率分布的曲线图。参考图4，所述曲线图示出了规格化的频率矩心值的直方图分布。所述曲线图清楚地示出了平均值接近于0。图5是图示了使用从音频搜索处理提取的指紋来生成指紋索引并基于所生成的指紋索引来搜索预定音频的过程的图。像图3中一样，从音频文件中准备三个DB文件。所述音频指紋搜索设备1使用三个DB文件来执行搜索服务。参考图5，当预定音频文件输入时，与用于从音频文件生成DB的方法一样地依次执行提取音频指紋的步骤、基于从所提取的指紋获得的索引来计算候选指紋的步骤、匹配所提取的音频指紋和与所计算的候选指紋索引对应的音频指紋的步骤、以及使用匹配结果来验证搜索结果的步骤。这些步骤将如下描述。如果输入音频文件，则通过使用上述方法提取音频指紋来生成索引。也就是说，指紋提取器11使用指紋提取算法从输入的音频文件中提取音频指紋，并且指紋统计分析器32分析音频指紋的统计特性，并计算具有概率性上同一的分布的概率分布。也就是说，指紋统计分析器32通过计算音频指紋的平均数和分布来将指紋近似为概率模型。然后，指紋二进制化器33分析音频指紋的统计特性，并将音频指紋二进制化为具有概率性上同一的分布。然后，指紋编索引器34生成索引。为了获得候选指紋值以用于音频搜索，荻得指紋DB21中的关于位置的信息，所述位置信息具有指紋索引DB23的对应索引值。其间，如果音频失真，则从其提取的指紋也可能失真。相应地，指紋的索引值可能改变。所述索引值可能由于噪声、均衡、压缩、模数转换、和数模转换而变化。为索引值变化生成候选索引。在生成候选索引之后，指紋索引DB23获得关于具有指紋DB21中的对应候选索引值的位置的信息。然后，通过匹配和'睑证指紋的步骤来输出搜索对应音乐信息的结果。图6是图示了在音频搜索处理中生成候选索引的过程的图。如图6中所示，如果存在N维指紋值，则基于与用于生成索引的平均值的差的绝对值、按照升序来排列N维指紋值。根据概率分布形状来决定阈值，决定可变位置，并且考虑可变位置来生成候选索引。图7是图示了使用音频搜索步骤中的所生成的候选索？1来搜索最终结果的步骤的图。如图7中所示，调用与所生成的候选索引值匹配的指纟丈值，并计算在要搜索的目标音频指紋与具有所调用的指紋值的位置之间的距离。然后，将所计算的距离与预定阈值比较。如果最小值小于阔值，则存储一个结杲。为了提供高度可靠的结果，在不同位置中的指紋处重复地执行上述步骤。然后，通过对结果进行验证来输出所述最终结果。在本实施例中，假设所提取的音频指紋具有浮点实数值，并且指紋的所估计的概率模型具有如图4所示的钟形分布，该钟形分布具有平均值"0"。这里，如等式l中所示，可使用平均值"0"来将N维指紋表达为N个二进制数。通过等式2来将用二进制数表示的指紋转换为十进制^t。所述十进制指紋数目被用作数据库的索引。10[等式2]<formula>formulaseeoriginaldocumentpage11</formula>例如，在N为16的情况下，16维音频指纹;故表示为0到65535之间的一个值，并且这个值被用作数据库中的索引。根据本实施例的音频指紋系统生成用于音频搜索的三个数据库文件。如图3中所示，三个数据库文件被形成为指紋DB21、音乐信息DB22、和指紋索引DB23。指紋DB21存储所提取的指紋值。也就是说，指紋DB21按照原样存储所提取的指纹值。音乐信息DB22存储关于如下音乐的信息，即基于在生成指紋时提供的信息而从其提取指紋的音乐。例如，音乐信息DB22可存储各种信息，诸如音乐ID、版权信息、指纹的长度。指纹索引DB23通过等式1和等式2将指紋变换为索引，并根据指紋DB21中的位置信息来存储作为索引的指紋值。例如，在16维指紋的情况下，如图3中所示，与位置4言息一起依次存储指紋。还与它们一起存储音乐信息和指纹信息。通过与具有图3所示的对应索引值的指紋的位置信息一起存储指紋索引，而将所述指紋索引用于音频搜索。在从音频文件准备三个DB文件之后，音频指紋系统使用所准备的DB文件执行搜索服务。也就是说，如果输入了预定的音频文件，则依次执行使用用于从音频文件生成DB的上述方法来提取音频指紋的步骤、通过从所提取的指紋计算索引来计算候选指紋的步骤、匹配候选指紋的步骤、以及使用匹配结果来进行验证的步骤。这些步骤将如下更详细地描述。当输入音频文件时，使用音频指紋提取方法来提取音频指紋，并基于所提取的音频指紋来生成索引。为了获得候选指紋值以用于音频搜索，获得关于指紋DB21中的位置的信息，其具有指紋索引DB23的对应索引值。其间，如果音频失真，则从其提取的指紋也可能失真。相应地，指紋的索引值可能改变。所述索引值可能由于噪声、均衡、压缩、模数转换、和数模转换而变化。为索引值变化生成候选索引。在生成候选索引之后，与候选索引对应地获得指紋DB21中的的位置信息，该位置信息具有指紋索引DB23中的对应候选索引值。然后，在指紋匹配和验证步骤之后输出对应音乐信息的搜索结果。下文中，将更详细地描述生成候选索引的步骤。在N维指紋的情况下，按照与用于生成索引的概率分布的平均值(例如，本实施例中的平均值"0")最近距离的顺序来排列N维值。这里，可以依次计算根据概率分布而具有改变的大概率的位置。可以选择在通过概率分布的预定距离范围中的位置。此外，可以在没有任何条件的情况下选择预定数目的位置。等式[3]如果在先前使用的音频指紋中具有钟形概率分布的阈值:故决定为常数，则可以获得关于能根据指紋而改变的位置的信息。在决定位置之后，使用在提取指紋的步骤中使用的索引生成方法来生成索引。此外，与可变位置对应地生成所有可能的索引。例如，如果4维音频指紋值是(-0.2，0.1,0.4,0.2)，如果决定索引的值是0，并且如果第二个位置具有要改变的大概率，则其索引是Olll，并且候选索引是OOll,这是因为第二个位置可能改变。在如上所述地计算候选索引之后，参考在指紋DB21中的位置信息从对应的索引中获得候选指紋，并且通过根据位置信息而比较距要搜索的目标音频指紋的距离来排列所获得候选指紋。这里，基于与作为参考的参考位置对应的值来去除冗余，并计算从具有预定长度的K个预定音频指紋到指紋DB21的指紋值的距离。例如，计算欧几里得距离，并且将所计算的欧几里得距离与阔值比较。如果所计算的距离小于阈值，则在音乐信息DB22中搜索音乐信息，并输出搜索结果。如果不小于，则作为结果而输出指明没有搜索到音乐的基本信息值。参考图7来很好地描述了上述的步骤。如等式4所示，作为可靠性的结果值由指示数据库中的音乐信息的MusicID(音乐ID)、指示时间位置的Position(位置)、和指示3巨离差的Distance(距离)形成。R[n]={MusicID[n],Position[n]，Distance[n]}当音乐ID的值小于阈值时，使用指紋索引DB23中的位置信息来计算音乐ID的值。由于音乐信息DB22存储了每个音乐的指紋数目，所以如果第m个音乐ID是结果、则位置的值大于上至第(m-l)个音乐的指紋数目之和。此外，位置的值小于上至第(m+l)个音乐的音乐的指紋数目之和。利用这个事实，计算音乐ID的值。[等式5]m-lm+l一般系统可多次执行搜索步骤，以便改善搜索的可靠性。在计算预定位置处的候选索引之后，可再次搜索另一位置处的候选索引，并重复地执行用以搜索候选指紋的步骤，以获得结果。基于由系统选择的参数值来决定这样的结果，并且与执行搜索步骤的次数一样多地存储搜索结果。在验证步骤之后，输出所存储的结果作为最终搜索结果。在验证步骤中，从要搜索的预定音频信号中提取的指紋是时域上的连续值。也就是说，在时间上依次提取指紋。类似地，在时间上依次提取指紋并将其存储在所生成的指紋DB21中。也就是说，使用预定位置处的指紋进行搜索的结果和使用下一位置处的指紋进行搜索的结果具有时间上同一的距离差。基于这个事实，使用等式6验证搜索结果。如果MusicID[n+p]=MusicID[n],则p-l^Position[n+p]—Position[n]Sp+l也就是说，如果p位置的搜索结果相同，则位置信息的差必须大于p-l并小于p+l。基于这个事实，验证了重复获得的结果。如果满足所述条件，则将该结果输出为最终结果。对于其每一个具有40秒长度的27,000个音频文件生成测试数据库，以用于验证。然后，从测试数据库中搜索被压缩为其每一个具有20秒长度的32kbps的MP3音频文件的100个音频文件。揭—耳又在本实施例中描述的用于16维的指紋，并使用所提取的指紋。为了比较距离，使用52个指紋。此外，将搜索步骤执行5次以用于验证。为了比较性能，在相同条件下执行依次搜索。在依次搜索中，在DB中搜索所有指紋，并且将通过比较距离具有最小值的结果确定为最终结果。<table>tableseeoriginaldocumentpage14</column></row><table>如表格l中所示，根据本实施例的基于索引的搜索的搜索速度比依次搜索的搜索速度快很多。此外，用于比特索引值的识别率的恶化可通过调整决定候选索？1的参数值来克服，尽管总搜索时间扩展少许。也就是说，尽管总搜索时间扩展大约IO秒长，但是识别率可以从87%改善到96%。可减少搜索时间达到依次搜索的总搜索时间的1/9。基于快的搜索时间和高识别率，根据本实施例的用于按照索引信息搜索音频指紋的系统和方法可应用于在大容量数据库中的文件的过滤和监视。具体地，根据本实施例的用于按照索引信息搜索音频指紋的系统和方法可应用对于本领域技术人员而言显然的是，可以在本发明中进行各种修改和变化。这样，只要本发明的修改和变化落入所附权利要求和它们的等效物的范围内，本发明就意欲覆盖这些修改和变化。权利要求1.一种用于搜索音频指纹的系统，包括DB组，用于基于音频文件的音频指纹的统计特性来生成索引，并连续地匹配索引、音频指纹、和音乐信息；和音频指纹搜索设备，用于基于新输入音频文件的音频指纹的统计特性来生成新索引，并通过从DB组中搜索新索引来搜索用于新输入音频文件的对应音乐信息。2.根据权利要求l的系统，其中所述DB组包括指紋DB，用于存储音频文件的音频指紋和音乐信息的位置信息；音乐信息DB,用于存储音乐信息的音乐ID和关于指紋数目的信息；以及指紋索引DB，用于存储与索引对应的指紋DB中的关于音频指紋位置的信息。3.根据权利要求2的系统，还包括索引处理器，用于将通过从音频文件中提取音频指紋而提取的音频指紋和音乐信息转移到对应的DB。4.根据权利要求3的系统，其中所述索引处理器包括指紋提取器，用于使用指紋提取算法来提取音频指紋；指紋统计分析器，用于通过对于所提取的音频指紋获得音频指紋的平均数和分布来将指紋近似为概率模型；指紋二进制化器，用于通过分析音频指紋的统计特性并执行二进制化，以具有概率性上同一的分布；以及指紋编索引器，用于匹配二进制化结果与索引。5.根据权利要求4的系统，其中所述指紋提取算法是过零率(ZCR)、能量差、谱平坦度、美尔频率倒谱系数(MFCC)、和频率矩心之一。6.根据权利要求4的系统，其中基于统计特性之中的平均值来执行二进制化。7.根据权利要求l的系统，其中所述音频指纹搜索设备包括指紋提取器，用于提取新音频文件的音频指紋；候选索引搜索单元，用于通过按照所提取的音频指紋值与用于生成新索引而使用的平均值之间的差的绝对值的升序来排序所提取的音频指紋的值、并考虑可变位置，来生成候选索引；指紋匹配单元，用于与候选索《I对应地匹配音频指紋和已提取音频指玟；以及结果验证单元，用于测量音频指紋之间的距离，并且如果所测量的距离处于预定值范围中，则通过时间信息验证结果。8.根据权利要求7的系统，其中所述可变位置是通过在概率分布形状中的阈值设置来决定的。9.一种用于使用索引信息来搜索音频指紋的方法，包括如下步骤a)基于音频文件的音频指紋的统计特性来生成索引，并准备用于存储位置信息的DB组，该DB组连续地匹配所生成的索引、音频指纹、和音乐信息；b)基于新输入音频文件的音频指紋的统计特性来生成索引；以及c)通过从DB组中搜索在步骤b)中生成的已生成索引来搜索用于新输入音频文件的对应音乐信息。10.根据权利要求9的方法，其中在步骤a)和b)中的索引生成中包括如下步骤使用指紋提取算法来提取音频指紋；通过对于所提取的音频指紋计算音频指紋的平均值和分布来将指紋近似为概率模型；以及通过分析音频指紋的统计特性、并执行二进制化以具有概率性上同一的分布，来生成索引。11.根据权利要求9的方法，其中步骤a)包括如下步骤在指紋DB处存储音频文件的音频指紋和音乐信息的位置信息；在音乐信息DB处存储作为音乐信息的唯一ID的音乐ID和包括指紋数目的信息；以及在指紋索引DB处存储与索引对应的指紋DB中的关于音频指紋位置的信息。12.根据权利要求9的方法，其中所述步骤c)包括如下步骤通过按照所提取的音频指纹值与在步骤b)中用于生成索引而使用的平均值之间的差的绝对值的升序来排序所提取的音频指紋的值、并考虑可变位置，来生成候选索引；匹配与候选索？1对应的音频指紋和已提取音频指紋；以及通过测量音频指紋之间的距离，并且所测量的距离处于预定值范围中，来利用时间信息验证结果。13.根据权利要求12的方法，其中在按照升序来排序与用于生成索引的平均值的差的绝对值、并且通过根据阈值决定接近于平均值的维的位置来改变对应位置的比特值之后，生成候选索引。14.根据权利要求13的方法，其中参考指紋DB来与预定次数一样多地计算从候选索引计算的指紋位置信息与从新输入音频文件获得的指紋之间的欧几里得距离，并且搜索具有最小距离的音乐信息。15.根据权利要求14的方法，其中如果所测量的距离处于候选索引中的阈值范围中，则作为结果而输出具有最小距离的指紋位置的音乐信息。16.根据权利要求15的方法，其中如果新输入音频文件中的指紋之间的距离差等于结果的位置信息差，则使用其它位置的指紋来输出音乐信息搜索作为最终结果。全文摘要提供了一种用于按照索引信息来搜索音频指纹的系统和方法。所述系统包括DB组，用于基于音频文件的音频指纹的统计特性来生成索引，并连续地匹配索引、音频指纹、和音乐信息；和音频指纹搜索设备，用于基于新输入音频文件的音频指纹的统计特性来生成新索引，并通过从DB组中搜索新索引来搜索用于新输入音频文件的对应音乐信息。文档编号G11B27/10GK101663708SQ200880012639公开日2010年3月3日申请日期2008年4月14日优先权日2007年4月17日发明者俞元英,吴元根,尹英锡,徐庸硕,徐泳浩,徐镇洙,李承宰,李相光申请人:韩国电子通信研究院