音乐编辑设备、创建音乐编辑信息的方法及其记录介质的制作方法

专利名称：音乐编辑设备、创建音乐编辑信息的方法及其记录介质的制作方法
技术领域：
本发明涉及一种创建音乐编辑信息的方法，所述音乐编辑信息指 定例如将被编辑的歌曲的歌曲部分或小节的连接方法，具体地讲，涉 及一种音乐编辑设备，该音乐编辑设备将音乐内容等编辑成与根据所 述创建方法创建的编辑信息相对应的素材，并新创建歌曲(音乐内 容)。另外，本发明涉及一种记录根据所述创建音乐编辑信息的方法 描述的编辑信息的记录介质。
背景技术：
随着存储器类型的音频变得普遍，用户每天随身携带大量歌曲。 由于存储器类型的音频允许其用户连续收听大量歌曲而无需改变介
质，以下方式变得普遍用户不仅顺次收听每个CD唱片集的歌曲， 而且还收听在所有CD唱片集中随机播放的歌曲和被设为播放列表的 他们喜爱的歌曲。可以说，用户按他们喜爱的顺序收听他们喜爱的歌 曲的自由度增加。
然而，假设用户从头到尾收听每首歌曲。另外，在歌曲之间存在 没有声音的区间。换句话说， 一首歌曲是最小单位。因而，用户必须 一首歌接一首歌地收听音乐。用户的关注力，即，他或她的热情在歌 曲之间这样的没有声音的区间中断。结果，用户难以在保持他或她的 关注状态的情况下连续收听歌曲。
图28显示使用歌曲A和歌曲B的传统音乐再现。在这种情况下， 用这两首歌曲的原始速度再现这两首歌曲。当然，在这些歌曲之间存
在没有声音的区间。
因而，研发了组合多个音乐素材并对它们进行编辑的技术。公开 号为2003-44046的日本专利申请公开了这样的技术，该技术组合通过用户的键盘和鼠标输入的多个音乐素材，并允许他或她交互式地对它 们进行编辑和欣赏再现的歌曲。在该技术中，声音片段例如声音样式 以及由可应用于声音片段的效果构成的单击和轻击被分配给键盘的 各个键。当用户按下鍵时，执行与其对应的轻击。当同时按下多个键 时，相应的轻击被组合输出。另外，通过连续地按键，相应的轻击被 按时间顺序组合，从而创作出歌曲。
然而，利用前述>^开为>^开号为2003-44046的日本专利申请的 技术，难以连接多首歌曲的多个部分，使它们的节拍在由流行音乐主 持人(DJ)产生的混音下保持相同，从而重新创作歌曲。DJ目前是 常见的职业。存在专门处理混音音乐的包装公司。欣赏混音音乐的用 户的数量在不断增加。
根据前述观点创造本发明。本发明的目的在于提供一种方法，用 于创建在对记录在诸如硬盘或闪存的记录介质中的许多歌曲进行编 辑时使用的音乐编辑信息，使得这些歌曲的全部或部分在节拍保持不 变的情况下叠合或连接。本发明的另一目的在于提供一种音乐编辑设 备，它将音乐内容用作素材并创建与根据前述创建方法产生的编辑信 息相对应的新歌曲(音乐内容)。本发明的另一个目的在于提供一种 记录根据音乐编辑信息的创建方法描述的编辑信息的记录介质.

发明内容
为了解决前述问题，本发明的音乐编辑设备具有混音处理部分， 其基于元数据和用于决定混音模式的文件来执行混音处理，所述元数 据对应于歌曲数据而被预先产生并且包含至少一个基于时间的节拍 位置；同步再现控制部分，其产生主节拍，将主节拍发送到混音处理 部分，并根据混音处理部分对应于混音模式和元数据而指定的混音处 理，基于元数据的各个条目再现多首歌曲；和混合部分，其混合由同 步再现控制部分再现的歌曲，所述混音处理部分的特征在于所迷混 音处理部分基于被构造为分级层的混音模式文件执行混音处理，所述 分级层中的每一级层具有控制参数部分和数据实体部分。为了解决前述问题，所述创建编辑信息的方法是一种由音乐编辑 设备创建被称为混音模式的编辑信息的方法，所述音乐编辑设备具
有混音处理部分，其基于元数据和用于决定混音模式的文件来执行 混音处理，所述元数据是对应于歌曲数据预先产生的并且至少包含基 于时间的节拍位置；同步再现控制部分，其产生主节拍，将主节拍发 送到混音处理部分，并根据混音处理部分对应于混音模式和元数据而 指定的混音处理，基于元数据的各个条目再现多首歌曲；和混合部分， 其混合由同步再现控制部分再现的歌曲，其特征在于通过使构成上
部分进行处理、来:建被构造为分级层的混音^模式文^，所述分级i的 每一级层具有控制参数部分和数据实体部分。
为了解决前述问题，本发明的记录编辑信息的记录介质为由音乐 编辑设备记录被称为混音模式的编辑信息的记录介质，所述音乐编辑 设备具有混音处理部分，其基于元数据和用于决定混音模式的文件 来执行混音处理，所述元数据是对应于歌曲数据预先产生的并且至少 包含基于时间的节拍位置；同步再现控制部分，其产生主节拍，将主 节拍发送到混音处理部分，并#^据混音处理部分对应于混音模式和元 数据而指定的混音处理，基于元数据的各个条目再现多首歌曲；和混 合部分，其混合由同步再现控制部分再现的歌曲，其特征在于被记 录在被构造为分级层的混音模式文件中的是通过使构成上级层的数 据实体部分的下级层的控制参数部分对同级层的数据实体部分进行
处理而创建的编辑信息，所述分级层的每级层具有控制参数部分和数 据实体部分。
根据本发明，可实现这样的编辑处理，即，叠合或连接被记录在 诸如硬盘或闪存的记录介质中的多首歌曲的全部或多个部分，并在保 持它们的节拍不变的情况下，再现叠合或连接的歌曲。另外，可根据 情况实时地连接和再现歌曲的全部或多个部分。


图1是显示根据本发明的设备和方法的实施例的音乐编辑设备1
的框图2是显示同步再现控制部分和音频混合部分的详细结构的框
图3是显示音乐编辑设备的功能框图4是显示音乐编辑设备通过CPU执行的音乐编辑程序的处理 流程图5是显示基于时间的元数据的示意图6是显示基于时间的元数据的一个具体例子的示意图7是显示基于时间的元数据的另一具体例子的示意图8A、图8B和图8C是显示存储元数据的方法的示意图9是显示混音模式文件的具体例子的示意图10是显示通过根据本发明的创建编辑信息的方法而创建的编
辑信息的数据结构的示意图ll是显示根据XML描述的混音模式文件的例子的示意图； 图12是显示直到合奏(ensemble )层和乐器层以及歌曲列表层、
歌曲层和曲调块(melody block)层的分级结构的示意图13是显示音乐编辑设备基于根据本发明的创建编辑信息的方
法所创建的编辑信息，具体地基于混音模式文件而进行的控制处理的
例子的示意图14是显示直观上实现根据本发明的创建编辑信息的方法的创 作工具的GUI结构的例子的示意图15是用于描述根据本发明的音乐再现的示意图16是用于描述使用渐变切换(cross-fade)的连接的示意图17是用于描述使用切入(cut-in)的连接的示意图18是用于描述使用音效(sound effect)的连接的示意图19是用于描述将渐变切换用作音效的连接的示意图20是用于描述同时同步再现的示意图21是用于描述效果的应用的示意图；图22是用于描述部分再现的示意图23是显示具有网络通信部分的音乐编辑设备的结构的示意
图24是具有网络通信部分的音乐编辑设备的功能框图25是显示具有传感器值获取部分的音乐编辑设备的结构示意
图26是显示具有传感器值获取部分的音乐编辑设备的功能框
图27A和图27B是显示具有传感器值获取部分的音乐编辑设备 的处理流程图；和
图28是用于描述现有技术的音乐再现的示意图。
具体实施例方式
接下来，参考附图，将描述用于执行本发明的最佳模式实施例。 图l是显示根据本发明的设备和方法的实施例的音乐编辑设备l的框图。
音乐编辑设备1可将通过各种类型的记录介质和通过诸如因特 网的网络提供的歌曲的具有不同速度的音乐内容数据(原始数据)的 歌曲A和歌曲B与稍后描述的以下元数据叠合，并在保持它们的节拍 不变的情况下再现它们，所述各种类型的记录介质例如是硬盘(HD)、 压缩盘(CD)、迷你盘(MD)和数字多用途盘(DVD)。换句话说， 音乐编辑设备1是以DJ方式自动再现歌曲的设备。
如图1所示，在音乐编辑设备l中，中央处理单元(CPU) 2通 过总线3连接至存储部分4和同步再现部分8。另外，通过总线3连 接至CPU2的是ROM13、 RAM 14、用户操作I/F部分15和用户接 口 (U/I)显示部分16。
CPU 2实时地决定歌曲的连接方法，并按需要的时序将需要的歌 曲素材供应给同步再现部分8。另外，根据用户的操作，CPU2指定 用于同步再现部分8的速度和节拍同步/异步。存储部分4包括歌曲存储部分5、歌曲元数据存储部分6和混音 模式存储部分7。歌曲存储部分5存储多首歌曲的数据。可将控制台 类型的音乐再现设备或便携式音乐再现设备具有的存储部分，例如闪 存或硬盘作为外部装置连接至歌曲存储部分5。存储在歌曲存储部分 5中的歌曲数据可以是压缩的音乐数据，也可以是没有压缩的数据。
歌曲元数据存储部分6存储添加到歌曲的基于时间的元数据。如 稍后将描述的，元数据为添加到歌曲的基于时间的辅助数据，其描述 节拍的位置信息以及速度、小节的开头位置信息(简单地称为开头) 和曲调信息例如前奏和主旋律(易记部分)。
与歌曲存储部分5相同，混音模式存储部分7不受限制，只要它 是存储装置即可。混音模式存储部分7是指定混音模式并存储混音模 式文件的存储部分。如稍后描述的，混音模式文件不仅是描述歌曲顺 序的文件，而且还是描述使用歌曲A和歌曲B的什么部分以及在什么 部分组合歌曲A和歌曲B的文件。
同步再现部分8是音乐编辑设备1用来以DJ方式自动再现歌曲 的信号处理块。同步再现部分8与参考节拍同步地再现由CPU2的混 音控制功能指定的歌曲素材。同步再现部分8包括同步再现控制部分 9、音频混合部分IO、数字/模拟转换部分(D/A) ll和音频输出部分 12。
同步再现控制部分9具有多个音频信号产生部分，并与本地产生 的时钟信号同步地再现多个音频信号。另外，同步再现控制部分9总 是基于从元数据存储部分6供应的元数据来监视正被再现的歌曲的位 置，并将当前再现位置(诸如正被再现的歌曲的采样数量)和表示什 么小节的什么节拍正被再现的再现位置发送回CPU 2的混音处理功 能部分。
音频混合部分10组合由同步再现控制部分9的多个音频信号产 生部分产生的多个音频信号，并输出组合的信号。D/A11将由音频混 合部分10再现的数字信号转换为模拟信号。音频输出部分12放大从 D/A 11供应的模拟音频信号，并将放大的信号输出到扬声器、耳机等。ROM 13存储音乐编辑程序，该程序包括基于根据本发明的音乐 编辑方法的处理。另外，ROM13存储各种类型的缺省数据。RAM 14 成为CPU2用来执行音乐编辑程序的工作区。另外，RAM14存储各 种类型的更新数据，通过这些更新数据，CPU2执行音乐编辑程序。
用户操作I/F部分15例如为接受用户的操作的键盘、鼠标、触 摸板等。U/I显示部分16是包括触摸板的显示部分，该显示部分显示 当前操作状态和音乐编辑处理状态并接受用户的操作。U/I显示部分 16例如为液晶显示装置。当然，U/I显示部分16可以是CRT。
图2是显示同步再现控制部分9和音频混合部分10的详细结构 的框图。同步再现控制部分9包括主节拍产生部分90和三个音频信 号产生部分。主节拍产生部分90产生相当于节拍的时钟。具体地讲， 主节拍产生部分90输出混音的速度和与该速度同步的节拍信号。主 节拍产生部分90产生小节的开头信号和与指定节拍(四四拍、四三 拍等)对应的除开头信号之外的固定的节拍信号，并输出它们。
三个(音轨的)音频信号产生部分具有三个音轨以实时输出多个 立体声，举一个典型的例子，歌曲A、歌曲B和音效(SE)。当然，
音频信号产生部分可根据歌曲的数量而具有四个音轨、五个音轨或者 更多的音轨。音频信号产生部分基于由主节拍产生部分80产生的同 步信号(时钟或节拍)同步地再现与主节拍的小节/节拍位置相对应的 歌曲的小节/节拍位置。
对于各个音轨，提供解码器91a、 91b和91c以及时间伸展部分 92a、 92b和92c。解码器91a、 91b和91c对已根据MP3或ATRAC 压缩的压缩声音进行解码，并输出PCM数据。在这种情况下，由于 SE短并且其数据大小较小，所有它不总是需要被解码。因而，可省 略用于SE音轨的解码器。时间伸展部分92a、 92b和92c在使音调保 持不变的同时转换再现速度。时间伸展部分92a、 92b和92c基于从
速度匹配。时间伸展部分92a、 92b和92c基于歌曲的原始速度和主 节拍的比率来执行实时改变再现速度的处理。因而，可使歌曲的原始速度与主节拍的速度匹配。当然，如上所述，音调不改变。
音频信号产生部分可具有变调器功能。变调器功能在保持再现速
度不变的同时改变音调。变调器功能用于在音乐上使不同调(key) 和音调(pitch)的歌曲素材协调。然而，变调器功能不是必要功能， 而是附加功能。
音频混合部分10具有三个效果处理部分100a、 100b和100c以 及与三个音轨的音频信号产生部分对应的三个音量调整部分101a、 101b和101c。这三个系统的输出4皮音频混合部分102混合，-故音频 输出部分103放大，然后被输出到外部扬声器、耳机等。音频混合部 分10可对从音频信号产生部分供应的输出音频信号的各个音轨执行 效果处理和音量调整处理。
图3是音乐编辑设备1的功能框图。混音处理部分20代表作为 图1中的硬件结构的CPU 2的功能。混音处理部分20分为元数据处 理部分21和混音模式读取部分22。
混音处理部分20使元数据处理部分21对存储在歌曲元数据部分 6中的元数据进行处理。如上所述，基于时间的元数据已被添加到歌 曲。元数据不仅包含速度，而且还包含节拍的位置信息、小节的开头 位置信息以及前奏和易记部分的曲调信息等。
元数据处理部分21读取与歌曲对应的基于时间的元数据，并根 据混音模式读取部分22读取的指定混音模式信息来检查歌曲的位置 信息。例如，在知道将被组合的歌曲的当前节拍和节拍位置的情况下， 元数据处理部分21决定以什么时序如何再现歌曲和音效。
另外，混音处理部分20使混音模式读取部分22读取存储在混音 模式存储部分7中的混音模式文件7a。混音模式文件7a为指定是否 执行渐出、是否执行切入以及执行什么SE的文件。混音模式可以是 由用户或第三方指定(指示如何连接这首歌曲)或者根据自动创建算 法而创建(即，由机器方决定的混音)的数据序列。
同步再现控制部分9使主节拍产生部分90产生主节拍，将主节 拍发送到混音处理部分20，并根据混音处理部分20基于混音模式和元数据所指定的混音处理，基于从元数据存储部分6提供的元数据的 各条目来再现多首歌曲。
图4显示音乐编辑设备1与CPU2执行的音乐编辑程序的处理。 该音乐编辑程序为根据本发明的音乐编辑方法的实施例。
首先，CPU 2的混音处理部分20使混音模式读取部分22从混音 模式存储部分7读取混音模式文件7a，并获得混音模式文件7a (在 步骤S1)。其后，CPU2使同步再现控制部分9获得歌曲，例如，第 一首歌曲(在步骤S2)。当存在另一首歌曲(在步骤S3为"是")时， CPU 2使同步再现控制部分9的主节拍产生部分90决定速度(在步 骤S4)。可将速度固定为140或者用户可指定速度。其后，CPU 2 获得连接模式(在模式文件中描述)(在步骤S5)。
由于已决定连接歌曲的模式，所以CPU2获得歌曲的元数据(在 步骤S6)。例如，获得歌曲B的元数据。其后，CPU 2基于混音模 式文件确定是否需要效果处理(在步骤S7)。当需要(是)时，CPU 2使效果处理部分100实现预定的效果(在步骤S8 )。
其后，CPU2基于混音模式文件确定是否需要音量渐变处理(在 步骤S9)。例如，当编辑歌曲A和歌曲B使它们叠合时，CPU2选 择是否需要提高或降低歌曲音量的音量渐变。当需要(是)时，CPU 2设置渐变参数(在步骤S10)。虽然假设音量自动提高或降低，但 是CPU2设置渐变参数。
CPU 2将歌曲的原始速度设置到同步再现控制部分9的主节拍 产生部分90 (在步骤Sll)。歌曲的原始速度已被添加到歌曲的元数 据。其后，CPU2获得同步再现控制部分9的前述三个声道的自由音 频信号产生部分。在上述具体例子中，CPU2从三个声道获得自由音 频信号产生部分，并将要再现的歌曲设置到所获得的音频信号产生部 分(在步骤S13)。
在获得每首歌曲的当前再现位置(在步骤S14)后，CPU2确定 准备下一首歌曲的点是否已发生(在步骤S15)。当SE例如为渐变 切换时，它在相关小节之前的几个小节结束。当SE例如为切入时，由于它立即开始，所以CPU2可在它之前的一个小节准备SE。当然， 同时再现就是歌曲的再现被同时进行的再现。CPU 2确定这样的点是 否发生。当准备歌曲的点还没有发生时，处理流程返回到步骤S14。 在步骤S14， CPU2等待，直到这样的点发生。当准备下一首歌曲的 点发生(是)时，处理流程返回到步骤S2。
图5是显示基于时间的元数据30的,示意图。如上所述，元数据 30为添加到歌曲的基于时间的辅助数据。元数据30不仅描述速度， 而且还描述节拍的位置、小节的开头位置信息以及前奏和易记部分的 曲调信息。小节/节拍31表示一个小节的节拍号。"ll"表示第一小节 的第一拍。"14"表示第一小节的第四拍。同样，"21，，表示第二小节的 第一拍。具体地讲，"11"和"21"表示每小节的第一拍。属性32表示 以下位置上的实体，所述位置即小节的开头、正常节拍、曲调或主旋 律(易记部分)的位置。"01800001"作为"11，，和"21"的属性代表小 节的开头。当以44,1KHz对歌曲进行采样时，每秒的采样数为"100。 以采样为单位描述位置。以文本格式或二进制格式描述图5中显示的 元数据30。
图6显示基于时间的元数据的具体例子。图6显示音频信号40 以及节拍41和42的基于时间的元数据。音频信号训随着时间流逝 从左到右变化，节拍搭载在音频信号40上。在图6中，长线41表示 小节的开头，短线42表示固定的节拍。与歌曲的采样位置相关联地 存储小节的开头41和其它节拍42 (在四拍的情况下，在小节的开头 之后的四分音符时刻的三个节拍)的位置。
图7也是显示基于时间的元数据的具体例子的示意图。音频信号 50不仅可包含节拍位置55,而且还可包含表示曲调组成的位置信息， 所述曲调组成例如是歌曲的前奏51、 A曲调52和53、 B曲调54和主 旋律(易记部分)。通过这个信息，可获得目标歌曲的小节的位置和
特定曲调的起始位置。
在具有图1中显示的结构等的音乐编辑设备l中，元数据被存储 在歌曲元数据存储部分6中。作为替代，可如图8A、图8B和图8C所示存储元数据。图8A显示这样的例子，即，元数据71和歌曲数据 72在逻辑上分离，但如在MP3中那样在物理上存在于相同介质中。 图8B显示这样的例子，即，如在MPEG4中那样元数据73与歌曲数 据74共存。图8C显示这样的例子，即，检索与歌曲数据76对应的 元数据75，例如通过网络检索。在这种情况下，歌曲数据和元数据在 逻辑上和物理上彼此分离。这种结构应用于具有连接至诸如因特网等 网络的网络通信部分的音乐编辑设备80和110 (稍后将描述)。这种 结构允许根据歌曲ID从网络上的站点下栽元数据。
图9是显示混音模式文件的具体例子的示意图。虽然元数据直接 对应于一首歌曲，但是用户可自由地创建混音模式。因而，无论歌曲 如何，用户都可创建混音模式。换句话说，混音模式文件是以用户期 望的方式连接歌曲的文件。在混音模式60中，歌曲ID(文件)61的 ID一A至ID—E可分别与歌名A至E相同。作为替代，ID—A至ID_E 可以是绝对文件名或文件路径。再现部分62表示将被再现的歌曲的 位置。在该例子中，对歌曲A指定"易记部分"的位置，对歌曲B指定 "前奏，，的位置，对歌曲C指定"第8节至第20节"的位置，对歌曲D 指定所有的位置，对歌曲E指定"易记部分"的位置。再现效果63指 定将什么效果应用于每首歌曲的每个部分。连接方法(模式)64表示 歌曲A为渐变切换，用渐变切换连接歌曲A和歌曲B，用切入连接歌 曲B和歌曲C，用渐变切换连接歌曲C和歌曲D，通过同时再现歌曲 D和歌曲E的易记部分来连接歌曲D和歌曲E。另一方面，连接效果 65指定当歌曲被连接时，混响、低切(low-cut)和失真被用作效果。 连接SE 66指定音效。
当指定图9中显示的模式时，如下执行实际再现."再现ID_A 的易记部分。—在H^A的易记部分差不多结束时，用渐变切换再现 ID一B的前奏。—在ID一B的前奏结束时，开始ID—C的笫八节的再现。 —在ID—C的20个小节之后的几个小节用渐变切换再现ID_D。同时， 将SE_A与ID_D混合。—当再现H^D的易记部分时，还再现ID-E 的易记部分。"因而，可以说，混音模式是将以什么方式连接歌曲的什么部分的 指定添加到传统播放列表的概念实体。
图10是显示通过根据本发明的创建编辑信息的方法而创建的编 辑信息的数据结构的示意图。数据结构对应于图9中显示的具体例子 的ID_A、 ID_B和ID—C的歌曲。
在图10中，将歌曲分级为歌曲列表层120、歌曲层130和曲调 块层140。歌曲被分级成树形，各个分级层的处理不同。树的每个节 点包括控制参数部分和数据实体部分，控制参数部分对应于来自音乐 编辑设备的接口的输入实时地产生歌曲创作方法和歌曲前进方法，数 据实体部分是创作歌曲的声音素材。另外，节点分为可同时在同级层
处理的节点和不能同时在同级层上处理的节点。
在图10中，歌曲及其连接顺序被分级成以下三层，在这三层中 对歌曲及其连接顺序进行管理。歌曲列表层120为最高层，它包括歌 曲层的连接顺序。在歌曲列表层120中，可改变歌曲之间的效果，以 通过匹配例如它们的渐变切换或BPM来实现同时再现。可由才艮据几 首歌曲创建了歌曲层的歌曲规则(比如，唱片集和歌曲之间的关系) 的创建者或第三方(用户或另一创建者)来创建歌曲列表层的规则库， 以描述动态使用各首歌曲所依据的规则。
作为现有概念，歌曲层130对应于一首歌曲。歌曲层130与歌曲 列表层120的不同之处在于 一首歌曲是由同一创建者创建的并且是 完整的。从这个观点来讲，歌曲列表层120是在上面连接多首歌曲的 一层，并且是歌曲层130的上层。因而，歌曲层130由数据块和动作 组成，现有歌曲例如"H^A"通过这些动作被布置成特定方式。
曲调块层140由构成歌曲层130的歌曲块組成，歌曲层130为曲 调块层140的上层。例如，通常的歌曲具有定义的结构，例如，所谓 的"前奏"、"A曲调"、"易记部分"和"吉它独奏"的定义结构，在这种 系统中，由于根据这样的结构拆分和存储歌曲，所以可以用宏对歌曲 进行编辑，例如使得以一首歌曲的前奏替换另一首歌曲的前奏，或者 重复歌曲的易记部分。歌曲列表层120具有控制参数部分121。控制参数部分121定义 用来控制混音数据部分122的参数，混音数据部分122为代表混音的 例子的对象。如稍后将描述的，歌曲层130描述ID一A132、 ID—B 134 和ID—C 136的歌曲数据实体(对象)。在混音数据部分122中使用 这些ID_A 132、 ID_B 134和ID_C 136来描述混音的实体。在控制参 数部分121中描述用来控制混音数据部分122的控制参数。
控制参数部分121描述再现顺序，例如，ID—A—ID—B—ID—C。 这与以上示出的图9中显示的示例的顺序部分相同。作为连接模式， ID_A H^B指定渐变切换模式，ID一B—ID—C指定切入模式。作为 连接效果，ID_A —ID—B指定混响，ID_B—ID—C指定低切。作为连 接SE ， ID_A —ID—B和ID—B—ID_C不指定任何东西。
歌曲层130描述控制参数部分131、 133和135。控制参数部分 131、 133和135包括歌曲列表层的混音数据部分122。控制参数部分 131、 133和135定义用于控制作为实体的对象ID—A 132、 ID_B 134 和ID—C 136的控制参数。
控制参数部分131将ID一A 132的歌曲的再现部分指定为主旋律 (易记部分)。然而，控制参数部分131不指定再现效果。控制参数 部分133将ID—B 134的歌曲的再现部分指定为前奏。控制参数部分 133将再现效果指定为低切。控制参数部分135将ID_C 136的歌曲的 再现部分指定为第八小节至第20小节。控制参数部分l35不指定再 现效果。
曲调块层140具有自由控制参数部分141、 143、 145、 147、 U9、 151、 153和155。在该例子中，由于对应于混音模式静态执行处理， 所以曲调块层140的控制参数部分不需要参数。连接至各参数部分的 是作为控制实体的前奏部分142、 A曲调部分144、 B曲调部分146、 易记部分148、结束部分150、前奏部分152、厶曲调部分154和易记 部分156。
图11显示用XML描述的混音模式文件的描述的例子。 -<song_list id = "SONG—LIST—1，，〉定义歌曲列表1。 -controllertransition = "ID A : ID一B" pattern = "CORSS_FADE，， effect = "REVERB" se = "" />将ID—A —ID—B指定为渐变切换模式，将效果 指定为混响。
另夕卜，<controller transition = "ID一B : IDC" pattern = "CUT_IN" effect = "LOW—CUT" se = "" />将ID—B—ID_C指定为切 入模式，将效果指定为低切。
另夕卜，<song id = "ID—A，，〉定义ID_A的再现。-controller play—segment = "MELODY_BLOCK : A" effect = "" />指定A曲调块 和无效果。<melody type = "INTRO" />指定前奏，<melody type = "A" />指定A曲调，<melody type = "B" />指定B曲调，<melody type = "SABI" />指定易记部分，<melody type = "ENDING" />指定结束。
另夕卜，<song id = "ID—B，、定义ID—B的再现。-controller paly一segment = "MELODY一BLOCK : INTRO" effect = "LOW_CUT，， />定义以低切效果再现前奏。另外，<meIody type = "INTRO" />指定前奏，<melody type = "A" />指定A曲调，<melody type = "SABI" />指定易记部分。
另夕卜，<song id = "ID—C"〉才旨定ID一C。 (controller play_segment ="BAR : 8-20" effect = "，， / >将歌曲的再现部分指定为第八小节至第 20小节，但没有效果。
图12显示直到合奏层和乐器层以及歌曲列表层、歌曲层和曲调 块层的分级结构。在合奏层中，从诸如前奏和易记部分的歌曲结构单 元的观点来讲，例如，第一易记部分可以是钢琴，根据重奏的数量， 第二易记部分可以是喇p八部分，而不是钢琴。作为替代，紧邻在重奏 后的另一曲调块之前的几个小节可以不同于第一重奏的几个小节。
乐器层是为构成合奏层的每个乐器记录的一组音频素材。乐器层 可指定特定的文件实体。作为替代，可给予乐器层检索条件，诸如"欢 快的八拍吉他"。
图13显示音乐编辑设备1基于通过根据本发明的创建编辑信息 的方法创建的编辑信息，具体地讲，基于混音模式文件的控制过程的例子。在该例子中，通过指定多首歌曲的连接方法，连续地再现这些 歌曲。
首先，用户选择歌曲列表(在步骤S40)。其后，选择在图10 和图12中显示的歌曲层的控制参数部分中指定的连接方法和歌曲(在 步骤S41)。指定的连接方法包括效果信息，该效果信息指定在歌曲 结束之前从什么小节开始执行渐变切换以及以什么方式产生什么声 音(例如，与小节的开头的节拍对应地再现声音N次)。
其后，按曲调块、合奏和乐器的顺序选择歌曲的结构元素，并再 现歌曲(在步骤S42、步骤S43和步骤S44)。只要歌曲结束条件为"继 续"，则重复这些处理。当在步骤S45歌曲结束条件变为"结束"时， 流程前进到步骤S41，"选择连接方法和歌曲"。结果，根据指定的连 接方法开始新的歌曲的再现。
图14显示直观实现根据本发明的创建编辑信息的方法的创作工 具的GUI结构的例子。这是指定连接歌曲和再现这些歌曲的方法的例 子。在屏幕160上，可指定歌曲列表名161、歌名162、当前歌曲连 接至下一首歌曲的效果163和用于连接歌曲的音频文件164。
因而，在混音模式数据作为具有图10中显示的数据结构的编辑 信息的情况下，由于现有歌曲的布置改变，所以可将新的欣赏方式提 供给用户。另外，创建者可根据来自传感器和/或歌曲创建和再现设备 的接口的输入来指定布置的变化。另外，由于多首歌曲被连接和再现， 所以用户可像DJ —样容易地享受歌曲的再现方法。
接下来，参考图15至图22，将简要地描述连接歌曲的方法的具 体例子。在传统的音乐再现中，如图28所示，用两首歌曲A和B的 原始速度再现歌曲A和B，最可能的情况是在两首歌曲A和B之间 存在没有声音的区间。虽然可使用特别的再现设备的机制去除没有声 音的区间而连接歌曲，但是许多歌曲在开头和结尾具有没有声音的区 间。由于这些歌曲部分包含没有声音的区间，所以这是不可避免的。
在具有图1中显示的结构的音乐编辑设备l中，如图15所示， 当使所有歌曲的速度与用户或系统决定的公共速度匹配并且以使这些歌曲的节拍位置(强拍位置)匹配这样的方式用匹配的速度而不是 它们的原始速度再现歌曲时，可无缝地连接这些歌曲，而不会使用户 感觉到不适。
为了这样做，音乐编辑设备1以使它们的节拍同步这样的方式再
现歌曲A和歌曲B。为了与具有不同速度的歌曲的节拍同步地再现这 些歌曲，需要知道它们的原始速度和它们的节拍位置。另外，为了匹 配将被再现的歌曲的速度和节拍位置，需要改变歌曲的再现速度。
为了知道歌曲的原始速度和节拍位置，音乐编辑设备1使用与歌 曲配对的基于时间的元数据。当再现歌曲时，基于它们的原始速度与 当前主节拍速度的比率改变它们的再现速度，并对歌曲的小节的开头 位置进行匹配。
如上所述，准确地处理多首歌曲的速度和节拍位置，并实时地控 制它们的再现位置，从而使它们的节拍同步。假设无缝连接歌曲的方
法是基于使它们的节拍同步的方法。
图16显示在使歌曲A和歌曲B的节拍匹配的同时通过渐变切换 处理连接它们的例子。在当前歌曲A正被渐出(音量逐渐降低)的同 时，下一首歌曲B正被渐入(音量逐渐提高)。当同时再现歌曲A和 歌曲B时，获得无缝切换它们的效果。渐变切换是广泛用于例如FM 广播的技术。本发明的要点在于，由于歌曲A和歌曲B的速度和节拍 位置被匹配，所以它们被无缝连接，而不使用户感觉到不适。
音乐编辑设备1可执行图17中描绘的切入处理。当歌曲A、歌 曲B和歌曲C的音乐连接是清楚的时，可优选地如图17所示直接连 接它们，而不通过渐变切换处理连接它们。另外，可在节拍结束时有 意地停止歌曲，并可在下一拍开始时开始下一首歌曲。
如上所述，音乐编辑设备1以上述音效(SE)连接歌曲。换句 话说，不仅可在歌曲之间设置音效(SE)，而且还可在歌曲的连接部 分和歌曲的任何部分设置音效(SE )。
图18是在歌曲A和歌曲B以及歌曲B和歌曲C之间设置音效 的例子。图19是在歌曲A和歌曲B之间设置SE并通过渐变切换处理连接它们的例子。当然，在这种情况下，可使音效与主节拍速度同
步。当在歌曲之间设置或重叠SE时，如果它们的曲调极大改变，则 通过使音效与主节拍速度同步，可更自然地连接这些歌曲。
另外，音乐编辑设备1可执行同时再现。在这种情况下，如图 20所示，以使不同歌曲的节拍同步这样的方式同时再现这些歌曲。由 于使歌曲的速度和节拍位置同步，所以用户可感觉它们好像是独立的 歌曲一样。
另外，如图21所示，音乐编辑设备l可在一首歌曲A中设置效 果。在这种情况下，音乐编辑设备l将效果(音效)应用于声音A的 一部分或全部以改变声音质量。这个音效包括强调歌曲的低音和高音 的处理以及改变音质例如混响、延迟、失真和最大化的处理。
尽管将混响作为效果应用于音乐A、将低切滤波器作为效果应用 于音乐B，但是由于音乐编辑设备l可以以多种方式同时再现它们或 者连接它们，所以音乐编辑设备l可实现较以前更自然、更吸引人的 连接方法。
另外，音乐编辑设备l不仅可将前述连接方法应用于整首歌曲， 而且还可如图22所示将前述连接方法应用于每首歌曲的易记部分或 前奏。当连接歌曲的多个部分时，例如，只有易记部分可被混音。
如上所述，音乐编辑设备1可基于描述混音模式的混音模式文件 无缝地对歌曲进行混音。在这种情况下，音乐编辑设备l可决定用户
指定的或者与主要歌曲的速度对应的主节拍速度.
这样，通过音乐编辑设备l，用户不仅可以以传统方式欣赏音乐， 而且还可以以以下新类型的方式欣赏音乐。与传统方式不同，这种新 类型的方式不能仅通过被动地听音乐来实现。这种新类型的方式允许 用户主动地将他或她自己参与到音乐中，根据他或她的生活方式创建 听音乐的方法，满足他或她的表现欲。
换句话说，用户可时髦地连接他或她喜欢的歌曲部分，并收听这 些无缝混音音乐。另外，通过音乐编辑设备l，用户可满足他或她的 通过不断尝试来选择歌曲的连接方法和时髦地创建混音的创作欲望。图23显示根据本发明的实施例的另一音乐编辑设备80的结构。 图24是音乐编辑设备80的功能框图。音乐编辑设备80具有可连接 至因特网82的网络通信部分81。
由于音乐编辑设备80具有网络通信部分81，所以用户可通过诸 如因特网82的网络交换和/或共享混音模式文件，第三方可下载由另 一用户创建的混音并欣赏它。作为替代，可使用由内容服务方而不是 私人用户提供的混音模式。
通过音乐编辑设备80，可实现新的基于音乐的通信，通过该通 信，在因特网等上发布歌曲的连接方法，其他人共享这些连接方法， 并且多个人创作混音并对混音进行评价。
图25和图26分别显示另 一音乐编辑设备110的硬件结构和功能 框图。音乐编辑设备IIO具有通过A/D转换器lll从传感器112获得 传感器值的结构。音乐编辑设备110在功能上具有传感器值获取部分。
在合寸如题为"reproduction state controlling apparatus and reproduction sate controlling method,，(公开号为2005-156641的日本 专利申请)的发明中，传感器值获取部分113基于这样的技术，即，使 用加速度传感器检测行走速度，并与行走速度对应地改变歌曲的速 度。当应用该例子时，可与行走速度对应地改变主节拍产生部分的速 度，并可与行走速度和慢跑速度对应地以混音方式再现所有歌曲。另 夕卜,如在"reproducing apparatus and reproducing method for audio signal，，(公开号为2005-363094的日本专利申请)中那样，可应用与行 走速度或慢跑速度对应地选择歌曲的发明。
为了应用这些技术，传感器是必要的。当将这些发明的传感器和 算法应用于本发明的系统时，可与用户的状态对应地选择歌曲，可以 以混音的方式连接所选择的歌曲，并可无缝地再现它们。
图27A和图27B为显示具有传感器优先模式的音乐编辑设备110 的处理的流程图。除了混音模式优先模式之外，这些处理还具有传感 器优先模式。这些处理例如根据用户选择的模式而改变。在传感器优 先模式中，传感器检测例如行走模式或慢跑模式，音乐编辑设备110对应于检测的模式改变节拍。
首先，确定音乐编辑设备110的模式是传感器优先模式还是模式 优先模式(在步骤S311)。在这种情况下，传感器优先模式是基于根 据用户在行走还是在慢跑来选择歌曲的技术。传感器决定歌曲的顺序 并选择歌曲。因而，可不对应于一种模式来决定歌曲。可建议动态改 变它们。换句话说，作为一种构思，音乐编辑设备110利用从传感器 读取的值动态地创建模式文件，而不读取预定的模式文件。
当在步骤S311选择模式优先模式而不是传感器优先模式时，执 行图4中显示的相同处理。
接下来，将描述在步骤S311或步骤S312选择传感器优先模式 的情况。在这种情况下，对应于慢跑自动选择歌曲，并对应于慢跑自 动连接所选择的歌曲。
作为子例程，与来自传感器的输入相对应地决定歌曲和它们的速 度(在步骤S313)。当在步骤S314的确定结果表示存在另一首歌曲 时，流程前进到步骤S315。在步骤S315， *没置主节拍速度。在这种 情况下，主节拍速度已被检测并与行走速度相对应地进行设置。在这 种情况下，由于不总是通过预定的连接方法连接歌曲，所以自动决定 速度(在步骤S316)。例如，在慢走模式下，可通过渐变切换处理简 单地连接所有歌曲。作为替代，由于下一首歌曲的元数据表示它被渐 入，所以可简单地叠合歌曲.由于步骤S317之后的处理与图4的从 步骤S6至步骤S15的处理相同，所以将省略它们的描述。
这样，通过音乐编辑设备110，对应于慢跑速度选择歌曲，并无 缝地连接所选择的歌曲。因而，由于歌曲不扰乱慢跑的紧张状态和速 度，所以用户可舒适地享受慢跑。通过特定类型的传感器，可创建与 另一有节律的运动(例如，舞蹈)或用户的心率而不是慢跑对应的混音。
与来自传感器的输入对应地选择歌曲，使所选择的歌曲的速度与 慢跑的速度匹配，并用调整的速度对歌曲进行混音。因而，用户可欣 赏与他或她的速度相对应的喜爱歌曲。另外，可执行计时器混音再现。假设用户想在他或她的30分钟 路程内收听唱片集的播放列表的歌曲。传统上，如果唱片集的持续时 间为60分钟，则他或她不得不在30分钟后停止再现歌曲。相反，根 据本发明，可通过选择歌曲的速度和多个部分来创建混音，从而歌曲 的再现持续时间变为30分钟。可将计时器混音再现应用于慢跑。当 用户仅想慢跑30分钟时，可创建与慢跑速度对应的30分钟的歌曲混 音。
可创建30分钟路程内的仅仅歌曲的易记部分的混音，从而当用 户到达目的地时混音结束。另外，随着当前时间逼近到达时间，可以 以逐渐降低歌曲的速度或者叠合特定SE这样的方式来创建允许用户 感觉到他或她正靠近目的地的气氛。
如上所述，通过音乐编辑设备80和110,可实现新的基于音乐 的通信，通过该通信，发布歌曲的连接方法，例如，在因特网上发布， 其他人共享这些连接方法，多个人创建混音，他们对这些混音进行评 价。另外，通过传感器，用户可收听到特别适合他或她的情形和状态 的音乐。
这些特征将对用户享受专业创建者和音乐人创建的作品的传统 世界产生新的冲击，并将允许用户体验到新的世界并欣赏结果，在所
述新的世界中，他或她重复使用并且重新创作他们的作品作为他或她
自我展现的素材。
当以这样的新类型的音乐得到消遣的用户增加时，整个音乐行业 将变得充满活力。另外，从音乐行业一方的角度来讲，存在这样的可 能性，即，将存在允许用户方进行重新创作以及新的创建者创建这样 的作品的音乐工作。因而，存在这样的可能性，即，行业和用户可建 立新的音乐文化。
最后，将描述可用在根据本发明的音乐编辑设备中的特征。该音 乐编辑设备为具有再现部分的歌曲创建和再现设备，所述再现部分使 存储在存储部分中的多首歌曲的速度和强拍与预定时序匹配，将得到 的歌曲存储在多个再现控制部分中，并同步地同时再现所述多首歌曲。另外，歌曲的特征在于，每首歌曲的全部或部分被使用。另外， 歌曲的特征在于，它们不限于音乐创作的歌曲，而是包括诸如音效、 对话和公告的声音。
另外，所述音乐编辑设备的特征在于，当执行同步再现时，可在 任何歌曲开始位置和任何歌曲的任何时刻开始/停止声音产生。另外， 可具体以一个小节、 一个节拍和一个曲调组成单位为单位指定音乐开 始部分和时序。
另外，通过前述特征，在正在再现某首歌曲时，可在任何时刻同 时再现另一首歌曲的任何部分。同样，通过前述特征，可停止正被再 现的歌曲的任何部分的再现，并可无缝地再现另一首歌曲的任何部 分。
另外，所述音乐编辑设备的特征在于在它正在执行前述同步再 现时，它可离散地调整它同时再现的每首歌曲的音量。通过音量调整， 在所述设备正在执行同时再现的同时，它可降低它当前正再现的歌曲 的音量，提高下一首歌曲的音量，组合得到的歌曲，并再现它们。
另外，所迷设备的特征在于在它正在执行同步再现时，它可将 效果处理作为信号处理应用于每首歌曲以用于同步再现。另外，所述 设备的特征在于，在它正在执行同步再现时，它基于包括为每首歌曲 记录的速度、小节、强拍位置、曲调组成变化位置信息等的元数据控 制时序。
所述音乐编辑设备的特征在于元数据和歌曲被记录在相同的文 件或不同的文件中，通过数据库和标识符管理它们之间的关系，基于 描述歌曲创建和再现方法的模式文件实时地控制歌曲的范围、声音产 生开始时刻、音量控制方法和用于同步再现的效果处理的类型。
另外，所述音乐编辑设备的特征在于由用户指定速度，或者由 所述设备自动决定速度，并且作为由所述设备自动决定的速度，使用 来自传感器的输入数据。
传感器的特征在于它可被添加到所述设备，传感器包括任何类 型，诸如加速度传感器、陀螺仪传感器、心率传感器、体温传感器、身体运动传感器和脑波传感器。模式文件的特征在于它不仅被记录 在所述设备的存储部分中，而且还可从外部存储装置或者通过因特网 获得。
描述歌曲的混音方法的文件的特征在于当音乐编辑设备连续再 现歌曲时，所述文件描述歌曲连接信息，该信息允许应用诸如渐变切 换等效果或者允许另一声音被混合，以便无缝地再现歌曲，而不是离 散地再现歌曲。
另外，所述音乐编辑设备的特征在于用户可对应于用户对歌曲 创建和再现设备的接口的操作以及来自置于歌曲创建和再现设备外 部的传感器的输入，指定歌曲的再现位置和歌曲的连接方法。另外， 所述音乐编辑设备的特征在于可执行多种歌曲布置方法，例如在除 歌曲连接部分之外的部分混合另一声音和歌曲、应用效果以及指定对 这些控制参数的改变方法。
权利要求
1.一种音乐编辑设备，包括混音处理部分，其基于元数据和用于决定混音模式的文件来执行混音处理，所述元数据对应于歌曲数据而被预先产生并且包含至少一个基于时间的节拍位置；同步再现控制部分，其产生主节拍，将主节拍发送到混音处理部分，并根据混音处理部分对应于混音模式和元数据而指定的混音处理，基于元数据的各个条目再现多首歌曲；和混合部分，其混合由同步再现控制部分再现的歌曲，所述混音处理部分的特征在于所述混音处理部分基于被构造为分级层的混音模式文件执行混音处理，所述分级层中的每一级层具有控制参数部分和数据实体部分。
2. 才艮据权利要求1所述的音乐编辑设备，其特征在于所述混 音处理部分具有处理元数据的元数据处理部分和读取混音模式的混音模式读取部分。
3. 才艮据权利要求1所述的音乐编辑设备，其特征在于所述同步再现处理部分具有主节拍产生部分和多个音频信号产生部分，其中 所述主节拍产生部分产生主节拍，并将产生的主节拍提供给所述混音 处理部分；所述多个音频信号产生部分产生多首歌曲的音频信号。
4. 根据权利要求l所述的音乐编辑设备，还包括 存储元数据的元数据存储部分；存储歌曲数据的歌曲存储部分；和存储混音模式的混音模式存储部分。
5. —种由音乐编辑设备创建被称为混音模式的编辑信息的方 法，所述音乐编辑设备具有混音处理部分，其基于元数据和用于决定混音模式的文件来执行 混音处理，所述元数据对应于歌曲数据而被预先产生并且包含至少一 个基于时间的节拍位置；同步再现控制部分，其产生主节拍，将主节拍发送到混音处理部分，并根据所述混音处理部分对应于混音模式和元数据而指定的混音处理，基于元数据的各个条目再现多首歌曲；和混合部分，其混合由所述同步再现控制部分再现的歌曲， 所述方法的特征在于通过使构成上级层的数据实体部分的下级层的控制参数部分对同级层的数据实体部分进行处理来创建被构造为分级层的混音模式文件，所述分级层中的每一级层具有控制参数部分和数据实体部分。
6. 根据权利要求5所述的创建编辑信息的方法，其特征在于， 从最上层一侧往下看，所述分级层为歌曲列表层、歌曲层和曲调块层。
7. 根据权利要求6所述的创建编辑信息的方法，其特征在于， 歌曲列表层的控制参数部分用于控制混音数据实体部分，该混音数据 实体部分包括歌曲层的多个控制参数部分，歌曲层的多个控制参数部 分用于控制歌曲层的每个数据实体部分，并且在曲调块层中静态执行 多个数据实体部分。
8. —种由音乐编辑设备记录被称为混音模式的编辑信息的记录介质，所述音乐编辑设备具有混音处理部分，其基于元数据和用于决定混音模式的文件来执行 混音处理，所述元数据对应于歌曲数据而被预先产生并且包含至少一个基于时间的节拍位置；同步再现控制部分，其产生主节拍，将主节拍发送到混音处理部分，并根据混音处理部分对应于混音模式和元数据而指定的混音处理，基于元数据的各个条目再现多首歌曲；和混合部分，其混合由同步再现控制部分再现的歌曲， 其特征在于记录在被构造为分级层的混音模式文件中的是通过使构成上级层的数据实体部分的下级层的控制参数部分对同级层的 数据实体部分进行处理而创建的编辑信息，所述分级层中的每一级层具有控制参数部分和数据实体部分。
全文摘要
提供一种音乐编辑设备，它能够以调整多首歌曲中的每首歌曲的全部或多个部分的节拍的方式来实现叠合或连接这些歌曲的全部或多个部分的编辑处理。该音乐编辑设备包括混音处理部分，基于对应于歌曲数据预先产生的至少包含基于时间的节拍位置的元数据和用于决定混音模式的文件来执行混音处理；同步再现控制部分，产生主节拍，将主节拍发送到混音处理部分，并根据混音处理部分对应于混音模式和元数据而指定的混音处理，基于元数据的各个条目再现多首歌曲；和混合部分，其混合由同步再现控制部分再现的歌曲。混音处理部分基于被构造为分级层的混音模式文件执行混音处理，所述分级层中的每一级层具有控制参数部分和数据实体部分。
文档编号G10H1/40GK101322179SQ20068004522
公开日2008年12月10日 申请日期2006年12月7日 优先权日2005年12月9日
发明者宫岛靖, 小森显博, 山下功诚, 开哲一, 阿部友一, 高井基行 申请人:索尼株式会社