专利名称：数字音乐旋律的跨越式高速匹配装置的制作方法
技术领域：
本发明涉及的是一种计算机应用技术领域的装置，具体是一种数字音乐旋律的跨越式高速匹配装置。
背景技术：
基于哼唱输入的数字音乐检索方式简称哼唱检索(QBHQuery byHumming)，它允许用户通过哼唱的形式来检索所需要的歌曲。用户只要能回忆起其中的片段旋律，并通过麦克风哼唱出来，QBH检索系统就能为用户找到其所需要的歌曲。在哼唱检索方面，由于用户凭借自己的记忆哼唱，再加之为非特定人哼唱，如何有效地对查询输入的旋律模式进行规整化，如何提高旋律匹配检索时的鲁棒性，以及如何实现面向大规模乐曲的检索高速化等，这些问题还没有得到很好的解决，许多关键技术都还有待于进一步深入研究。针对哼唱检索，国内外已提出的面向旋律匹配的技术包括有近似符号串比较算法，典型的如DP(Dynamic Programming)法和快速近似匹配法，音高轮廓几何匹配法和线性对齐近似旋律匹配算法LAN。在这些面向旋律匹配的方法中，旋律特征模式由音符特征序列来描述，而音符特征则一般由音符音高(或相对音高差)及音符长度(相对音符长度比)来表征；在对哼唱旋律片段与整首乐曲旋律之间进行非等长音符特征序列的模式匹配时，都是按照音符移动单位将输入旋律片段的音符序列沿着整首乐曲旋律的标准音符序列方向来进行逐一连续移动匹配的。
经对现有技术的文献检索发现，刊登在《计算机研究与发展》2003年11月第40卷第11期，pp.1554-1560上的文章“线性对齐近似旋律匹配算法”中所提出的旋律匹配系统的技术方案，基本上由旋律提取部、旋律匹配部、结果输出部和乐曲旋律特征摸板库组成，而未包含为检测旋律分段特征音符位置的装置和为了控制基于旋律分段特征音符位置的旋律分段音符特征序列匹配移动方式的装置。整个乐曲旋律特征摸板库结构采用以摸板单位的链表结构来实现。在这种匹配系统框架结构下，设当输入旋律片段沿着标准旋律的音符序列进行移动匹配并移动至第K个音符时，先将输入旋律片段的头部音符与标准旋律的第K个音符对齐，并从以第K个音符为起点的标准旋律中取出长度为输入旋律片段长度1.3倍长的音符序列段作为在该头部音符对齐下的标准旋律匹配段；在时间轴上进行两旋律匹配段的线性对齐近似旋律匹配，即将输入旋律片段线性延展到与标准旋律的音符序列段相同的长度，并在一定的误差范围内对齐发生时刻接近的音符，计算旋律在节奏上的相似度，同时继续比较两段等长旋律在每个时间点上的音高差异，计算旋律在音高上的相似度，最后，综合考虑节奏和音高两方面的相似度，给出输入旋律片段与该标准旋律音符序列段的匹配得分。输入旋律片段的头部音符将继续沿着标准旋律的音符序列向后移动一个音符，并重复上述基于核心步骤的旋律音符序列段的匹配，直至移动到最后为止。线性对齐近似旋律匹配算法具有节奏容错性好、匹配精度高的优点，但是由于该文献所述匹配系统的技术方案没有考虑对标准旋律进行自动分段检测标注的手段及基于该分段标注的匹配控制方式，而采用了原始的以音符为移动单位的移动匹配控制方式，故使得这种基于音符移动单位的移动匹配方式响应时间较长，不适于用作大规模数字音乐库的检索匹配。因此，随着数字音乐库的规模日益增大，面向旋律匹配检索的响应速度和检索精度之间的矛盾将会日益突出，成为基于哼唱输入的数字音乐检索系统迈向实用化的一大瓶颈。
发明内容
本发明的目的在于针对现有技术的不足，提供一种高性能的数字音乐旋律的跨越式高速匹配装置，使得在保持对用户哼唱输入的容错性的同时，还能大幅度地提高对哼唱输入的匹配检索速度。
本发明是通过以下技术方案实现的，本发明包括旋律特征提取结果存储装置、标准旋律特征库和音乐素材库存储装置、标准旋律特征读取和匹配检索控制装置、旋律分段位置检测和移动匹配控制装置、旋律分段匹配装置、旋律匹配结果存储装置、旋律匹配检索结果显示装置。
标准旋律特征读取和匹配检索控制装置控制保存在旋律特征提取结果存储装置的输入旋律的音符特征序列和保存在标准旋律特征库和音乐素材库存储装置中的整首标准旋律的音符特征序列的读取及其匹配检索进程；
旋律分段位置检测和移动匹配控制装置检测乐曲标准旋律中表征各旋律分段位置的特征音符，标准旋律中每两个特征音符间的音符特征序列即被定义为一个旋律特征分段；同时，控制输入旋律片段与乐曲标准旋律中的各旋律分段进行匹配时的跨越式移动方式，以及输出整首旋律匹配结果；旋律分段匹配装置进行输入旋律片段与乐曲标准旋律中某一旋律分段间的模式匹配，旋律分段的匹配结果将返回所述旋律分段位置检测和移动匹配控制装置的控制进程；旋律匹配结果存储装置在每一次与标准旋律模板文件匹配之后，将结果存储在该存储部中；旋律匹配检索结果显示装置显示基于输入旋律片段的最终标准旋律匹配检索的结果，包括与前N位匹配的乐曲旋律特征曲线的比较视图及其相关乐曲的文本属性；当输入旋律片段和乐曲标准旋律的音符序列由标准旋律特征读取和匹配检索控制装置提交给旋律分段位置检测和移动匹配控制装置时，由其旋律分段位置检测装置部分先对标准旋律的音符序列进行旋律分段位置的检测；然后，由其移动匹配控制装置部分以当前检测到的旋律分段为单位进行跨越式移动匹配的控制，而不是按照音符移动单位将输入旋律片段的音符序列沿着标准旋律的音符序列方向进行连续移动匹配的控制。跨越式移动中的输入旋律片段与标准旋律中的某一旋律分段的匹配则由旋律分段匹配装置来完成。最后，由旋律分段位置检测和移动匹配控制装置根据旋律分段匹配装置返回的各旋律分段匹配的结果从中选取出最高的旋律分段匹配得分，以此得分作为哼唱输入旋律片段与当前整首乐曲旋律的匹配结果并输出至旋律匹配结果存储装置，以供旋律匹配检索结果显示装置选择。
所述的旋律特征由表征音符特征的(音高差、时间)矢量的序列来描述。其中，“音高差”指与前一个音符音高(基本频率)的差值，以适应不同旋律的起调和非特定人哼唱，并以半音(Semitone)为单位；“时间”指该音符的开始时刻，其表达了旋律的节奏特征。之所以选用音符起始时刻而非音符持续时间长度来作为表征旋律的节奏参数，是考虑到用户哼唱旋律时的节奏特征。用户在进行哼唱时，一般比较容易把握音符的出现时刻，而对各个音符的持续长度不怎么敏感或差异较大。而若仅仅采用音高信息而忽略时间这一节奏信息，随着音乐库规模的扩大，匹配成功率势必会随之下滑，将变得越来越低。另外，考虑到单以音高信息为参数匹配的局限性，本发明选择(音高差，时间)的矢量序列来描述旋律的特征。在进行输入旋律片段的音符特征序列与整首乐曲旋律的标准音符特征序列的模式匹配时，不是像传统的旋律移动匹配方式那样，即按照音符移动单位将输入旋律片段的音符序列沿着整首乐曲旋律的音符序列方向进行逐一连续移动匹配的控制，而是以检测到的整首乐曲旋律中的各旋律分段的特征音符位置为匹配移动单位来实现跨越式移动匹配的控制，从而为实现大幅度提高基于内容的音乐检索匹配速度提供了一种切实可性的解决方法。
本发明所述的旋律分段位置检测和移动匹配控制装置，也可以由下述特征而构成。即，为避免过多的无意义的分段，先由消除可忽略静音段(等效于休止符)子装置搜索标准旋律的音符特征序列，若查找到的音符长度小于某一预先设定的静音段长度阈值则将该音符加以删除，并将此段并入前一个音符的发音段。由于静音段长度阈值一般设得较低(如八分音符长度)，所以这种删除在匹配检索时对结果几乎没有影响。在删除了可忽略的静音段后，则再根据音符类别特征及其音符长度特征来对标准旋律中的每个音符进行检测。特征音符类别分为定位类音符和休止类音符，对于这两类音符均按其各自的音符长度是否超过事先所设定的特征音符阈值来确定该音符是否为分段特征音符。在整首标准旋律中每两个特征音符间的音符特征序列即被定义为一个旋律特征分段。
在所述的旋律分段位置检测和移动匹配控制装置中，对于定位类特征音符的设定为其音符长度若大于或等于二分音符长时则将该音符确定为分段特征音符；对于休止类特征音符的设定为其音符长度若大于或等于八分音符长时则将该类音符确定为分段特征音符。然而，所述的基于特征音符进行旋律分段，其依据及其用于哼唱检索的可行性是根据乐理基础知识及对大量乐曲旋律进行统计分析与验证的基础上得出的。首先，对于整首旋律的可划分位置，可考虑休止符位置为一种表征旋律分段特征的特征音符。但是，一般在主旋律中，休止符的数目并不是很多，仅考虑采用休止符作为旋律分段的切分位置势必将造成旋律分段过长，从而没有起到真正的分段作用。通过对大量乐曲旋律的音符特征分析，发现在乐曲，尤其歌曲中，连贯的旋律分段大都在二分音符/全音符处结束。之所以如此，这其中有一个意群的概念。意群是指一个具有相对独立意义的词组、短语或短句，任何的交流都是概念与概念的结合方式的交流。无概念的符号或声音是无意义的，也就不能成为语言。在书面表达里任何句子、文章都是由基本概念以一定的方式结构而成的。就如同我们日常交流一般，都是以一个一个完整的语句或者词组出现，而不会突然从一个词组的中间开始交流，哼唱也是一样，出于人们思维的惯式，拿某句歌词“五千年的风和雨”为例，哼唱人一般不会以“年的风和”这样的分段进行哼唱，因为这样的分段不构成一个独立的意群，在乐曲中，对应于一个个意群的多为一个个乐句，其间以较长的音符或休止符作为间隔的标记，以换取主旋律的交替，演奏中的间歇，实际也是意群的转变。所以本发明可以将这些特征音符所处的位置作为检索匹配时跳跃匹配的基础。
本发明所述的旋律分段匹配装置，也可以由下述特征而构成。为防止由于用户哼唱片段在其起始部存在音符脱落现象而导致其与乐曲旋律分段匹配的失配，在进行旋律分段匹配时设有基于音符移动单位的旋律头部容错移动匹配控制机制。即在将输入旋律片段与乐曲旋律的某一特征旋律分段进行匹配时，先进行各自旋律头部对齐的线性伸缩匹配，然后将输入旋律片段的旋律头部沿着该乐曲旋律分段的音符序列方向向后移动一个音符再进行一次旋律头部对齐的线性伸缩匹配，直至这种旋律头部容错移动到达所设定的移动范围为止，并取其旋律头部容错移动匹配中的最高匹配得分作为该旋律分段的匹配输出得分返回。在本发明中该容错移动范围设为2个音符长。
本发明所述的旋律匹配检索结果显示装置，也可以由下述特征而构成。即含有可供用户选定的显示输入旋律片段音符特征序列与前N位中任意乐曲旋律分段的音符特征序列匹配效果的旋律特征曲线比较视图生成机制。所述的旋律特征曲线，其横轴为各音符的起始时间，纵轴为音高(半音(Semitone)单位)，输入旋律与乐曲旋律的特征曲线分别用不同的颜色来表示。乐曲旋律特征曲线中的特征音符，按其位置的音符图形面积用涂色方式表示。用户可根据所述的旋律特征曲线比较视图，方便地浏览自己的发音特点并做出必要的分析评估。
在本发明应用于大型的数字音乐数据库后，对于音乐检索的性能可得到明显提高。按本发明而实施的基于哼唱输入的音乐检索系统的平均检索时间要比传统按照音符单位移动匹配检索方式的检索系统减少2/3左右，系统性能的改善效果非常显著。
图1为适用于本发明的实施例的音乐旋律跨越式高速匹配装置的组成框图。
图2为适用于本发明的实施例的音乐旋律跨越式高速匹配处理的流程图。
图3A-图3B为适用于本发明的实施例的音乐旋律跨越式高速匹配跨越移动方法的说明示意图。
图4A-图4B为用于说明按本发明的实施例1进行的音乐旋律跨越式匹配过程中乐曲旋律分段特征检测程序的图。
图5A-图5D为用于说明按本发明的实施例2进行的音乐旋律跨越式匹配过程中跨越式移动匹配程序的图。图5E为第一个旋律分段只有3个音符，跳过不做匹配程序的图。
具体实施例方式
如图1所示，本发明包括旋律特征提取结果存储装置1、标准旋律特征库和音乐素材库存储装置2、标准旋律特征读取和匹配检索控制装置3、旋律分段位置检测和移动匹配控制装置4、旋律分段匹配装置5、旋律匹配结果存储装置6、旋律匹配检索结果显示装置7。
标准旋律特征读取和匹配检索控制装置3控制保存在旋律特征提取结果存储装置1的输入旋律的音符特征序列和保存在标准旋律特征库和音乐素材库存储装置2中的整首标准旋律的音符特征序列的读取及其匹配检索进程；当输入旋律片段和乐曲标准旋律的音符序列由标准旋律特征读取和匹配检索控制装置3提交给旋律分段位置检测和移动匹配控制装置4时，由其旋律分段位置检测部分先对标准旋律的音符序列进行旋律分段位置的检测。然后，由其移动匹配控制部分以当前检测到的旋律分段为单位进行跨越式移动匹配的控制，而不是按照音符移动单位将输入旋律片段的音符序列沿着标准旋律的音符序列方向进行连续移动匹配的控制。跨越式移动中的输入旋律片段与标准旋律中的某一旋律分段的匹配则由旋律分段匹配装置5来完成。最后，由旋律分段位置检测和移动匹配控制装置4根据旋律分段匹配装置5返回的各旋律分段匹配的结果从中选取出最高的旋律分段匹配得分，以此得分作为哼唱输入旋律片段与当前整首乐曲旋律的匹配结果并输出至旋律匹配结果存储装置6，以供旋律匹配检索结果显示装置7选择。
旋律特征提取结果存储装置1是用于使从输入旋律信号提取出的旋律特征结果适当地存储于存储器上的工作区的装置。旋律特征结果中的音符特征序列信息为由该数字音乐旋律的跨越式高速匹配检索装置相关联而设置的前级的预处理系统的音符特征矢量序列提取装置得到的信息。标准旋律特征库和音乐素材库存储装置2是用于使预先制作及编制好的音乐素材集以及与其相对应的标准旋律特征数据集适当地存储于存储器上的数据库区的装置。利用后述的标准旋律特征读取和匹配检索控制装置3读取保存在旋律特征提取结果存储装置1的输入旋律特征并将其依次与标准旋律特征库中的旋律特征进行匹配，匹配的结果则由旋律匹配结果存储装置6适当地存储于存储器上的输出区，如此进行处理。这里的乐曲库旋律特征序列，是指从相应的乐曲素材数据文件中取出此文件的音符总数，音符序列包括每个音符的音高(半音为单位)，音长(tick为单位)和旋律节点标志，存放在被称为旋律模板文件的数据流文件中，并且在相关的旋律模板文件和音乐素材文件之间建立关联，使得检索到模板文件序号(ID)的时候也可以得到相应的真正的音乐文件。
标准旋律特征读取和匹配检索控制装置3控制从模板文件中对音乐序列的读取以及匹配检索的控制。在读取模板文件时，由于系统使用了旋律分段特征音符，在移动匹配的时候不是以音符为单位进行，而是以旋律分段为单位进行，这个装置可以读取音符的旋律标志，由于模板文件数量较大，需要匹配检索控制部来进行各个模板文件匹配过程的控制。
旋律分段位置检测和移动匹配控制装置4用于在单个旋律模板文件的音乐序列中检测旋律分段的特征音符，在匹配移动的时候，由于系统使用了旋律分段特征音符，在移动匹配的时候不是以音符为单位进行，而是以旋律分段为单位进行，这个装置可以搜索检测到音符序列中的旋律特征音符，在完成一个旋律分段的两次线性对齐算法后，就定位到下一旋律分段开始的音符处，移动匹配控制可以完成这一工作。
旋律分段匹配装置5用于完成对于一个旋律分段的匹配过程，第1次为输入旋律片段头部与乐曲旋律分段头部对齐下的K次线性对齐匹配，即考虑到用户输入音符有遗漏或是添加，而将输入段与标准旋律分段在容错匹配长度变化范围内的分段进行线性对齐匹配；而第2次是为了考虑用户哼唱片段在其起始部存在音符脱落现象，而将输入旋律片段的头部延乐曲旋律分段音符序列方向向后移动一个音符，即相当于将输入旋律片段头部与乐曲旋律分段头部的下一个音符对齐下的K次线性对齐匹配。在本发明实施例中乐曲旋律分段的标准音符序列的容错匹配长度P的变化范围设为0.75N～1.33N，其中N为输入音乐段的音符数。
旋律匹配结果存储装置6在每一次与标准旋律模板文件匹配之后，可以将结果存储在该存储部中，包括匹配的模板文件序号，匹配总相似度值，最佳匹配的旋律分段在该文件中的位置等，并且保留前N位的匹配结果用于输出返回用户，在实施例中N取10。
旋律匹配检索结果显示装置7在得到哼唱输入与标准旋律文件匹配前N位的计算结果后，可将模板文件序号对应到真正的音乐文件，为用户显示前N位的结果包括哼唱输入的文件名，匹配的排名，详细的音乐文件名，匹配总相似度值，匹配的旋律分段在音乐文件中的位置等。
实施例1在图1中依次从标准旋律特征库和音乐素材库存储装置2读取的乐曲旋律的音符特征序列如图4A所示(音乐旋律“莫斯科郊外的晚上”)。
图中横轴表示音符起始时间，其单位是MIDI(Musical Instrument DigitalInterface)文件中表示音符时间的特有单位TICK，而纵轴则表示音高，其单位是半音。图中第十个音符、第十八个音符与最后一个音符即为本发明所定义的定位类旋律分段特征音符，而第二十八个音符则为休止类旋律分段特征音符。因此，只要能通过检测手段检测出这些特征音符，则即可将这些特征音符的标志位置定为旋律分段特征音符，即一个音乐旋律分段的结束音符。在图1中，这部分工作由旋律分段位置检测和移动匹配控制装置自动完成。即旋律分段位置检测和移动匹配控制装置4对表征旋律分段特征位置的特征音符的检测是按其音符类别特征及其音符长度特征来进行的。表征分段特征的特征音符，其类别分为定位类特征音符和休止类特征音符，对于这两类音符均按其各自的音符长度是否超过各自预先所设定的阈值来确定该音符是否为分段特征音符。在本实施例中对于定位类特征音符的设定为其音符长度若大于或等于二分音符长时则将该音符确定为分段特征音符；对于休止类特征音符的设定其音符长度若大于或等于八分音符长时则将该类音符确定为分段特征音符。在整首标准旋律中每两个特征音符间的音符序列即被定义为一个旋律分段。如图4B所示，图4A所示的这段乐曲旋律就被检测到4个特征音符并被分为四个旋律分段。
由旋律分段位置检测和移动匹配控制装置4在对休止类特征音符的进行检测时，对小于八分音符的静音段，将对其实施删除合并操作，即，经统计发现，长度在八分音符以下的静音段可忽略，此时会将前一个音符的结束时间延长至下一个音符的发音起始时刻为止。
经过检测标注后，由旋律分段位置检测和移动匹配控制装置4在存储器上的工作区内可生成相应的带有旋律分段信息的音乐旋律特征模板数据文件，如下表所示。其中每个音符特征的数据结构的第一字段表示与前一音符的音高差值，但是首音符在这一字段记录的是绝对音高值，虽然在匹配时不使用绝对音高值，但这一首音符记录方式对于计算重现描述旋律特征的音高曲线是必需的(如本实施例中的音高曲线)；其第二字段记录的是该音符用tick表示的音长，如果该音符为普通音符，就是正值，而如果该音符为分段特征音符，那么就在该音长特征值前加负号，特征音符的第三字段为可选标注位，用于记录该特征音符的实际发音时间，同样也是用tick表示。如下表所示，只有当音符为表征旋律分段的特征音符时，该音符的特征字段才会有3个字段，而不是所有音符都具有3个字段。
因此，由标准旋律特征提取和匹配检索控制装置3至旋律分段位置检测和移动匹配控制装置4在对输入旋律片段与整首乐曲的标准旋律进行匹配时，若采用这种带有检测旋律分段特征音符的手段及能形成带有旋律分段信息的标准旋律特征模板，就可以不按音符移动单位来将输入旋律片段的音符序列沿着整首乐曲旋律的音符序列方向来进行连续移动匹配，而可以按照在每首乐曲旋律中预先检测到的标注的旋律分段为匹配移动单位来进行跨越式移动匹配(参照图3)，从而为实现大幅度提高基于内容的音乐检索匹配速度提供了一种切实可性的解决方法。
实施例2下面对实施例2进行说明。
设有一待检索的哼唱输入旋律分段，其经过特征提取预处理(未图示)而保存在旋律特征提取结果存储装置1中的输入旋律分段的音符特征序列如图5A所示。该输入旋律分段的音符特征序列中音符特征的描述同图4A(为了便于说明，以下图中纵轴都使用绝对音高而不是与前一音符的音高差)。图5B给出了图4B所示的标准旋律的第一段旋律分段的音符特征序列，该旋律分段的判断与截取处理由标准旋律特征提取和匹配检索控制装置3、旋律分段位置检测和移动匹配控制装置4进行。
下面叙述的本发明的跨越式高速匹配检索，由旋律分段位置检测和移动匹配控制装置4先将检索起始位置先设在首音符处，即将输入旋律音符特征序列的首音符与标准旋律的音乐特征序列的第一个旋律分段的第一个音符对齐进行旋律分段的线性对齐匹配。为了防止非音乐专业人士在进行哼唱输入时可能发生的首音符遗漏现象，本发明在线性对齐匹配一次后，向后移动一个音符，再进行第二次匹配，此时与无旋律分段标注的线性对齐算法并无不同。而在结束两次匹配之后，线性对齐算法会继续向后移动一个音符即第三个音符作为起始位置进行下一次移动匹配，而本发明则会自动向后移动到下一旋律分段的首音符，即检测到的本旋律分段的特征音符即结束位置，再向后一个音符即为下次移动匹配的起始位置。
图5C给出了无旋律分段标注的线性对齐算法的第三次匹配起始位置，而图5D为本发明的第三次匹配起始位置。由图5C和图5D可见，本发明在匹配移动速度上大大优于传统的线性对齐算法。
在上述输入旋律片段移动匹配的过程中，其与标准旋律分段的匹配是由旋律分段匹配装置5完成的。并由旋律分段位置检测和移动匹配控制装置4判断整首旋律的旋律分段标注存在与否，直至输入旋律片段与一个完整的旋律匹配完毕为止。
如图2所示，在进行旋律分段的线性对齐匹配时，是以预先设定的乐曲旋律的音符特征序列匹配长度P将输入旋律片段的音符特征序列作时间上的旋律头部对齐线性伸缩变换，并在一定的误差范围内对齐发声时刻接近的音符并计算节奏相似度，直至该旋律分段内P匹配范围内的K＝αN次匹配操作完毕(图3参照)。在本发明实施例中乐曲旋律分段的标准音符序列的节奏容错匹配长度P的变化范围(K)设为0.75N≤P≤1.33N(K＝0.58N)，其中，N为输入旋律片段的音符数。如实施例1中的输入段的音符数为8，那么如果标准旋律分段的长度小于6，那么可以认为这两段旋律分段无法进行伸缩变换，即可以跳过这个旋律分段而移动到下一个分段继续匹配。如有标准旋律的音符特征序列(“新世纪福音战士”)，如图5E所示。由图5E可以观察到第一个旋律分段只有3个音符，不符合此处输入段长度的匹配范围，所以可以忽略，跳过不做匹配。
在图2中完成一个标准旋律的音符特征序列的跨越式检索匹配计算后，在计算节奏性相似度(rhythm_score)时，是根据对齐的音符占总数的比例计算的。
因为音符只记录了起始时间，造成最后一个音符的结束时刻无法确定。在本实例中，假设最后一个音符的长度为前面音符的平均值。
为计算音高相似度(pitch_score)，两个音的接近程度由sim函数来评估，考虑到用户哼唱总是存在有一定的音高误差，所以这个函数被设计成为能在一定范围内容忍误差。
sim(x)=10<=x<10.51<=x<2-22<=x]]>
最后将节奏相似度和音高相似度相加，就得到两段旋律近似程度的一个总评价。rhythm_score和pitch_score最高均为1.0，所以完全匹配的两端旋律的score为2.0。本实例中输入段较为清晰，预处理结果较好，在与“莫斯科郊外的晚上”匹配时得到的相似度就比较高，该匹配结果的rhythm_score和pitch_score分别为0.98和0.95，因此总的相似度有1.93，最佳匹配出现在该首乐曲旋律的第二个旋律分段。相对的，与其它标准旋律的音符特征序列的相似度就显得较低，如与“新世纪福音战士”的相似度分别为0.32和0.45，总的相似度只有0.77，表明两段旋律匹配度不高。
如图2所示，所得到当前输入旋律片段对于每一个标准旋律特征文件的匹配结果，将被保存到旋律匹配结果存储装置6中，其中包括了该标准旋律特征文件的序号、总相似度值、当前文件的最佳匹配位置(起始音符序号，结束音符序号)。
对于实施例1中输入的旋律分段，可以分别得到与标准旋律文件“莫斯科郊外的晚上”和“新世纪福音战士”的特征文件进行匹配的结果
在图2中由旋律匹配检索结果显示装置7对保存在旋律匹配结果存储装置6中的输入旋律片段与所有标准旋律特征文件的相似度进行排序，得到前N位得分高的标准旋律(ID)作为输出结果，本实例中N取10作为默认值，具体可由用户设订。
权利要求
1.一种数字音乐旋律的跨越式高速匹配装置，包括旋律特征提取结果存储装置(1)、标准旋律特征库和音乐素材库存储装置(2)、旋律分段匹配装置(5)、旋律匹配结果存储装置(6)、旋律匹配检索结果显示装置(7)，其特征在于，还包括标准旋律特征读取和匹配检索控制装置(3)、旋律分段位置检测和移动匹配控制装置(4)，标准旋律特征读取和匹配检索控制装置(3)控制保存在旋律特征提取结果存储装置(1)的输入旋律的音符特征序列和保存在标准旋律特征库和音乐素材库存储装置(2)中的整首标准旋律的音符特征序列的读取及其匹配检索进程；当输入旋律片段和乐曲标准旋律的音符序列由标准旋律特征读取和匹配检索控制装置(3)提交给旋律分段位置检测和移动匹配控制装置(4)时，由其旋律分段位置检测部分先对标准旋律的音符序列进行旋律分段位置的检测；然后，由其移动匹配控制部分以当前检测到的旋律分段为单位进行跨越式移动匹配的控制，跨越式移动中的输入旋律片段与标准旋律中的某一旋律分段的匹配则由旋律分段匹配装置(5)来完成，最后，由旋律分段位置检测和移动匹配控制装置(4)根据旋律分段匹配装置(5)返回的各旋律分段匹配的结果从中选取出最高的旋律分段匹配得分，以此得分作为哼唱输入旋律片段与当前整首乐曲旋律的匹配结果并输出至旋律匹配结果存储装置(6)，以供旋律匹配检索结果显示装置(7)选择。
2.根据权利要求1所述的数字音乐旋律的跨越式高速匹配装置，其特征是，所述的标准旋律特征读取和匹配检索控制装置(3)，控制从模板文件中对音乐序列的读取以及匹配检索的控制，在读取模板文件时，由于系统使用了旋律分段特征音符，在移动匹配的时候以旋律分段为单位进行，这个装置读取音符的旋律标志，由于模板文件数量较大，匹配检索控制部分进行各个模板文件匹配过程的控制。
3.根据权利要求1所述的数字音乐旋律的跨越式高速匹配装置，其特征是，所述的旋律分段位置检测和移动匹配控制装置(4)，检测乐曲标准旋律中表征各旋律分段位置的特征音符，标准旋律中每两个特征音符间的音符特征序列即被定义为一个旋律特征分段；旋律分段位置检测和移动匹配控制装置(4)还控制输入旋律片段与乐曲标准旋律中的各旋律分段进行匹配时的跨越式移动方式，以及输出整首旋律匹配结果。
4.根据权利要求1或者2所述的数字音乐旋律的跨越式高速匹配装置，其特征是，所述的旋律分段位置检测和移动匹配控制装置(4)，为避免过多的无意义的分段，先由消除可忽略静音段子装置搜索标准旋律的音符特征序列，若查找到的音符长度小于某一预先设定的静音段长度阈值则将该音符加以删除，并将此段并入前一个音符的发音段；在删除了可忽略的静音段后，再根据音符类别特征及其音符长度特征来对标准旋律中的每个音符进行检测，特征音符类别分为定位类音符和休止类音符，对于这两类音符均按其各自的音符长度是否超过事先所设定的特征音符阈值来确定该音符是否为分段特征音符，在整首标准旋律中每两个特征音符间的音符特征序列即被定义为一个旋律特征分段。
5.根据权利要求1或者2所述的数字音乐旋律的跨越式高速匹配装置，其特征是，所述的旋律分段位置检测和移动匹配控制装置(4)中，对于定位类特征音符的设定为其音符长度若大于或等于二分音符长时则将该音符确定为分段特征音符；对于休止类特征音符的设定为其音符长度若大于或等于八分音符长时则将该类音符确定为分段特征音符。
6.根据权利要求1所述的数字音乐旋律的跨越式高速匹配装置，其特征是，所述的旋律分段匹配装置(5)，进行输入旋律片段与乐曲标准旋律中某一旋律分段间的模式匹配，在将输入旋律片段与乐曲旋律的某一特征旋律分段进行匹配时，先进行各自旋律头部对齐的线性伸缩匹配，然后将输入旋律片段的旋律头部沿着该乐曲旋律分段的音符序列方向向后移动一个音符再进行一次旋律头部对齐的线性伸缩匹配，直至这种旋律头部容错移动到达所设定的移动范围为止，并取其旋律头部容错移动匹配中的最高匹配得分作为该旋律分段的匹配输出得分返回，该容错移动范围设为2个音符长，旋律分段的匹配结果将返回所述旋律分段位置检测和移动匹配控制装置(4)的控制进程。
7.根据权利要求1或者6所述的数字音乐旋律的跨越式高速匹配装置，其特征是，旋律分段匹配装置(5)，完成对于一个旋律分段的匹配过程，第一次为输入旋律片段头部与乐曲旋律分段头部对齐下的K次线性对齐匹配，即考虑到用户输入音符有遗漏或是添加，而将输入段与标准旋律分段在容错匹配长度变化范围内的分段进行线性对齐匹配；而第二次是为了考虑用户哼唱片段在其起始部存在音符脱落现象，而将输入旋律片段的头部延乐曲旋律分段音符序列方向向后移动一个音符，即相当于将输入旋律片段头部与乐曲旋律分段头部的下一个音符对齐下的K次线性对齐匹配，乐曲旋律分段的标准音符序列的容错匹配长度P的变化范围设为0.75N～1.33N，其中N为输入音乐段的音符数。
8.根据权利要求1所述的数字音乐旋律的跨越式高速匹配装置，其特征是，所述的旋律匹配结果存储装置(6)，在每一次与标准旋律模板文件匹配之后，将结果存储在该存储部中，包括匹配的模板文件序号、匹配总相似度值、最佳匹配的旋律分段在该文件中的位置，并且保留前N位的匹配结果用于输出返回用户。
9.根据权利要求1所述的数字音乐旋律的跨越式高速匹配装置，其特征是，所述的旋律匹配检索结果显示装置(7)，显示基于输入旋律片段的最终标准旋律匹配检索的结果，包括与前N位匹配的乐曲旋律特征曲线的比较视图及其相关乐曲的文本属性，具体为哼唱输入的文件名、匹配的排名、详细的音乐文件名、匹配总相似度值、匹配的旋律分段在音乐文件中的位置。
10.根据权利要求1所述的数字音乐旋律的跨越式高速匹配装置，其特征是，所述的旋律特征，由表征音符特征的音高差、时间矢量的序列来描述，其中，“音高差”指与前一个音符频率的差值，以适应旋律的起调和非特定人哼唱，并以半音为单位；“时间”指该音符的开始时刻，其表达了旋律的节奏特征。
全文摘要
一种计算机应用技术领域的数字音乐旋律的跨越式高速匹配装置。输入的音符序列由标准旋律特征读取和匹配检索控制装置提交给旋律分段位置检测和移动匹配控制装置，先对标准旋律的音符序列进行旋律分段位置的检测，再进行跨越式移动匹配的控制，输入旋律片段与标准旋律的旋律分段的匹配由旋律分段匹配装置完成，并将结果返回旋律分段位置检测和移动匹配控制装置，从结果中选出最高匹配得分，以此作为哼唱输入旋律片段与当前整首乐曲旋律的匹配结果并输出至旋律匹配结果存储装置，供旋律匹配检索结果显示装置选择。本发明保持对用户哼唱输入的容错性的同时，大幅度提高对哼唱输入的匹配检索速度。
文档编号G06F17/30GK1752970SQ20051002949
公开日2006年3月29日 申请日期2005年9月8日 优先权日2005年9月8日
发明者吴亚栋, 赵芳 申请人:上海交通大学