乐曲生成装置的制作方法

专利名称：乐曲生成装置的制作方法
技术领域：
本发明涉及ー种生成乐曲(旋律)的技木。
背景技术：
当前提出了自动生成乐曲的旋律的技术(自动作曲技术)。例如在日本特开平9 一081141号公报中公开了ー种技术，即，通过对音值列数据以时间序列指定的各音值(发音区间)赋予音高，从而生成旋律 。向各音值赋予的音高是随机选择的。在日本特开平9 一081143号公报中公开了ー种技木，S卩，通过将曲调素材数据以时间序列指定的各音高与音调或音阶等的背景信息对应地进行变更，从而生成旋律。

发明内容
在日本特开平9 一 081141号公报所记载的技术中，由于对各音值赋予的音高是随机选择的，所以实际上难以生成从音乐角度来说自然的旋律。另外，在日本特开平9 一081143号公报所记载的技术中，只不过对曲调素材数据所指定的各音高进行变更，因此，难以生成多祥化的旋律。考虑到上述情况，本发明的目的在于生成从音乐角度来说自然且多样化的旋律。说明本发明为了解决上述课题而采用的手段。此外，为了易于理解本发明，在以下的说明中，将本发明的各要素与后述的各实施方式的要素之间的对应关系利用括号进行附记，但这并不代表将本发明的范围限定于实施方式的例示。本发明的乐曲生成装置具有第I取得単元(例如第I取得部42)，其从对以时间序列排列的发音区间进行指定的多个区间指定数据(例如区间指定数据DA)中，取得其中一个区间指定数据(例如区间指定数据GA);第2取得単元(例如第2取得部44)，其从对以时间序列排列的音高进行指定的多个音高指定数据(例如音高指定数据DB)中，取得其中ー个音高指定数据(例如音高指定数据GB);以及旋律生成単元(例如旋律生成部522)，其与由第I取得単元取得的区间指定数据所指定的各发音区间、和由第2取得単元所取得的音高指定数据在该发音区间的基准时刻(例如发音区间的起点)所指定的音高相对应，生成对以时间序列排列的音符进行指定的旋律数据(例如旋律数据DM)。在上述结构中，由于利用与多个区间指定数据的其中一个对应的区间指定数据、和与多个音高指定数据的其中一个对应的音高指定数据，生成旋律数据，所以与例如仅对曲调素材数据所指定的各音高进行变更的、作为现有技术而说明的日本特开平9-081143号公报所记载的技术相比，具有可以生成多祥化的乐曲这ー优点。另外，由于将区间指定数据和音高指定数据用作为模板而生成旋律数据，所以与例如随机选择音高的、作为现有技术而说明的日本特开平9-081141号公报所记载的技术相比，可以生成从音乐角度来说自然的旋律。在本发明的优选方式中，旋律生成单元包含音高提取单元(例如音高提取部62)，其生成編制音符列(例如編制音符列M)，该编制音符列是将具有区间指定数据所指定的各发首区间和首闻指定数据在该发首区间的基准时刻所指定的首闻的首符进行排列而形成的；以及音高调整单元(例如音高调整部64)，其对由音高提取单元生成的编制音符列 的各音符的音高进行调整而生成旋律数据。在上述方式中，由于对根据区间指定数据和音 高指定数据生成的编制音符列的各音符的音高进行调整，所以与不对编制音符列进行调整 的结构相比，可以生成从音乐角度来说自然的旋律。利用音高调整单元进行的调整处理的内容是任意的，例如在具有取得对和弦进行 作出指定的和弦进行数据(例如与多个和弦进行数据的其中一个对应的和弦进行数据)的 第3取得单元(例如第3取得部46)的结构中，音高调整单元执行第I调整处理(例如第I 调整处理SBl )，在该处理中，将编制音符列的多个音符中的至少一部分音符(例如被指定为 重要音或结束音的音符)的音高，变更为在该音符的发音区间中由和弦进行数据所指定的 和弦的构成音的音高。在上述方式中，由于编制音符列中的至少一部分音符的音高变更为 和弦进行数据所指定的和弦的构成音，所以可以生成各音符的音高从音乐角度来说自然地 转变的乐曲。另外，即使音高调整单元执行第2调整处理(例如第2调整处理SB2)，在该处 理中，将编制音符列的多个音符中的至少一部分音符(例如指定为过渡音的音符)的音高变 更为与该音符的紧前方或紧后方的音符的音高对应的规定范围内的音高，在这一结构下， 也具有可以生成各音符的音高从音乐角度来说自然地转变的乐曲这一优点。本发明的优选方式所涉及的乐曲生成装置具有字符串设定单元(例如字符串设 定部34)，其取得将多个音声单位(例如音节或音素)以时间序列排列的指定字符串；以及音 声合成单元(例如音声合成部524)，其根据由旋律生成单元生成的旋律数据所指定的多个 音符，生成对指定字符串进行发音的音声的音声信号。根据上述方式，具有可以生成对从音 乐角度来说自然且多样化的旋律进行发音的音声的音声信号这一优点。在具有音声合成单元的结构的优选例中，第I取得单元包含乐谱分割单元(例如 乐谱分割部424)，其使得由第I取得单元取得的区间指定数据所指定的各发音区间和指定 字符串的各音声单位彼此对应，音声合成单元在由旋律数据所指定的多个音符的各自的发 音区间中，生成对经由乐谱分割单元而与该发音区间对应起来的音声单位进行发音产生的 音声的音声信号。在上述方式中，具有下述优点，即，可以在旋律数据所指定的各音符的发 音区间中，生成对指定字符串的音声单位进行发音的自然音声的音声信号。在本发明的优选方式中，第I取得单元包含选择单元，其以如下方式选择所述多 个区间指定数据中的区间指定数据，即，字符串设定单元所设定的指定字符串的音声单位 的数量越多，所选择的区间指定数据的发音区间的数量就越多。在上述方式中，由于指定字 符串的音声单位的数量越多则选择发音区间的数量就越多的区间指定数据，所以可以将各 发音区间和各音声单位合理地进行对应。在本发明的优选方式中，乐谱分割单元针对设定在时间轴上的多个区段，以使得 所述区间指定数据在该区段内指定的发音区间的数量，与指定字符串中的该区段内的音声 单位的数量近似的方式，将指定字符串针对各个区段进行分割，将各发音区间和各音声单 位在各个区段中对应。根据上述方式，可以在各个区段中使发音区间和音声单位合理地对 应。另外，如果形成下述结构，即，针对发音区间的数量少于音声单位的数量的区段，分割该 区段内的发音区间，针对发音区间的数量多于音声单位的数量的区段，在该区段内的指定 字符串中追加规定的音声单位(例如长音符号)，则可以使各发音区间和各音声单位 对 应。
本发明的优选方式所涉及的乐曲生成装置具有伴奏音生成单元(例如伴奏音生成部54),其生成表伴奏音的伴奏信号；以及混音单兀(例如混音部56),其将由音声合成単元生成的音声信号和由伴奏音生成単元生成的伴奏信号进行混音。在上述方式中，由于将伴奏信号与音声信号混音，所以与単独生成音声信号的结构相比，具有可以生成富有音乐性的乐曲的优点。另外，如果将音声合成単元生成的音声信号和伴奏音生成単元生成的伴奏信号设定为相同速度，则还具有可以生成旋律和伴奏自然整合的乐曲的优点。上述各方式所涉及的乐曲生成装置，除了使用专用的DSP (Digital SignalProcessor)等硬件(电子电路)实现之外,还可以通过CPU (Central Processing Unit)等通用的运算处理装置和程序之间的协同动作而实现。本发明所涉及的程序使计算机执行下述处理第I取得处理，在该处理中，从对以时间序列排列的发音区间进行指定的多个区间指定数据中，取得其中一个区间指定数据;第2取得处理，在该处理中，从对以时间序列排列的音高进行指定的多个音高指定数据中，取得其中一个音高指定数据；以及旋律生成处理，在该处理中，与由第I取得处理取得的区间指定数据所指定的各发音区间、和由第2取 得处理所取得的音高指定数据在该发音区间的基准时刻所指定的音高相对应，生成对以时间序列排列的音符进行指定的旋律数据。根据上述程序，实现与本发明所涉及的乐曲生成装置相同的作用及效果。此外，本发明的程序除了以存储在计算机可读取的存储介质中的方式进行提供而安装在计算机中之外，也可以以经由通信网络分发的方式进行提供而安装在计算机中。另外，还可以作为生成乐曲的方法而实现本发明。在本发明的乐曲生成方法中，从对以时间序列排列的发音区间进行指定的多个区间指定数据中，取得其中一个区间指定数据，从对以时间序列排列的首闻进行指定的多个首闻指定数据中，取得其中一个首闻指定数据，并且与由所述取得的区间指定数据所指定的各发音区间、和由所述取得的音高指定数据在该发首区间的基准时刻所指定的首闻相对应，生成对以时间序列排列的首符进行指定的旋律数据。根据上述方法，可以实现与本发明所涉及的乐曲生成装置相同的作用及效果。


图I是本发明的第I实施方式所涉及的乐曲生成装置的框图。图2是区间指定数据的说明图。图3是音高指定数据的说明图。图4是指定字符串的分割的说明图。图5是第I取得部的框图。图6是乐谱分割处理的流程图。图7是歌唱音生成部的框图。图8是旋律生成部的动作的说明图。图9是调整处理的流程图。图10是伴奏音生成部的框图。图11是第2实施方式所涉及的乐曲生成装置的框图。
具体实施例方式<第I实施方式>图I是本发明的第I实施方式所涉及的乐曲生成装置100A的框图。乐曲生成装 置100A是生成乐曲并输出该乐曲的演奏音的音频信号V的信号处理装置(自动作曲装置)。 在第I实施方式中，例示了用于生成在歌唱音的旋律中添加有乐器音的伴奏的乐曲(歌曲) 的结构。乐曲生成装置100A与输入装置12和放音装置14连接。输入装置12是接受来自 使用者的指示的设备(例如鼠标等指点设备或键盘、触摸面板)。放音装置14 (例如是扬声 器或头戴式耳机)发射与由乐曲生成装置100A供给的音频信号V对应的声波。此外，为了 简化而省略了将音频信号V进行数模变换的D/A变换器等的图示。第I实施方式的乐曲生成装置100A是由具有运算处理装置22和存储装置24的 计算机系统实现的。运算处理装置22通过执行存储在存储装置24中的程序PGM，从而实 现用于生成乐曲的多个功能(变量设定部32、字符串设定部34、第I取得部42、第2取得部 44、第3取得部46、歌唱音生成部52、伴奏音生成部54、混音部56)。此外，也可以将运算处 理装置22的一部分功能由专用的电子电路(例如DSP)分担。存储装置24存储运算处理装置22所执行的程序PGM及运算处理装置22所使用 的各种数据。作为存储装置24，可以任意采用半导体存储介质、磁存储介质等公知的存储介 质、或多种存储介质的组合。第I实施方式的存储装置24存储多个区间指定数据DA、多个音高指定数据DB、 多个和弦进行数据DC和和弦表TBL。各区间指定数据DA、各音高指定数据DB、各和弦进行 数据DC是指，根据作为生成乐曲的素材而选择的现有多个乐曲各自的规定区间(以下称为 “素材区间”)Q生成的模板。如图2及图3所示，在第I实施方式中，从各乐曲中提取出连续的规定数量(在第 I实施方式的例示中为8个)的小节，作为素材区间Q。各素材区间Q的节拍(例如4/4拍) 是共通的。此外，在本第I实施方式中，各素材区间Q的节拍是共通的，但各素材区间Q的 节拍也可以不是共通的。例如，在DA为3/4、DB为4/4、DC为4/4的情况下，只要忽略DB及 DC的最后I拍即可。由此，在将各素材区间Q利用共通的速度进行播放的情况下的各素材 区间Q的时间长度相等。如图2及图3所示，素材区间Q以乐曲的2个小节的量为单位而 分割为4个区段QB (QBl QB4)。但是，素材区间Q内的区段QB的数量及构成区段QB的 小节的个数可以任意变更。存储在存储装置24中的各区间指定数据DA如图2所示，指定对素材区间Q内的 构成旋律的各音符进行发音的以时间序列排列的区间(以下称为“发音区间”)S。S卩，各区 间指定数据DA表现素材区间Q内的旋律的节奏模式。多个区间指定数据DA分别是根据不 同素材区间Q (不同乐曲的素材区间Q或I个乐曲内的不同素材区间Q)生成的。由此，区 间指定数据DA所指定的以时间序列排列的发音区间S的形态(各发音区间S在时间轴上的 位置、持续长度及数量)在各个区间指定数据DA中是不同的。如图2所示，I个区间指定数据DA由与素材区间Q内的不同发音区间S对应的多 个以时间序列排列的单位数据UA构成。各单位数据UA包含属性信息UAl和时间信息UA2 而构成。时间信息UA2对发音区间S在时间轴上的位置(例如起始点的时刻)及持续长度(音值)进行指定。属性信息UAl对发音区间S的音符的音乐性的属性(乐曲内的音乐层面上的意义)进行指定。具体地说，如图2所示，属性信息UAl指定重要音、结束音、过渡音的其中ー个。重要音表示在素材区间Q内从音乐角度来说重要的音符。具体地说，将持续长度较长的音符及乐曲的和弦的构成音分类为重要音。结束音是位于素材区间Q内的各区段QB的最后的音符(除了重要音之外的音符)。过渡音是除了重要音及结束音之外的音符。各单位数据UA的属性信息UAl例如是乐曲生成装置100A的提供者通过对各素材区间Q的内容进行分析而手动设定的。各区间指定数据DA可以作为基于MIDI (Musical Instrument DigitalInterface)标准的SMF (Standard MIDI File)格式的音乐文件而进行记述。具体地说，将利用音符编号的数值方便地指定属性信息UAl的事件数据(event data)和作为时间信·息UA2指定各事件数据的处理间隔的定时数据，以时间序列排列得到SMF格式的时间序列数据，将该SMF格式的时间序列数据制作为区间指定数据DA并存储在存储装置24中。如图3所示，存储在存储装置24中的各音高指定数据DB对素材区间Q内的构成旋律的以时间序列排列的各首符的首闻进行指定。即，各首闻指定数据DB表现素材区间Q内的曲调线。首闻指定数据DB所指定的以时间序列排列的首闻的形态在各个首闻指定数据DB中不同。如图3所示，I个音高指定数据DB由与素材区间Q内的不同音符对应的以时间序列排列的多个单位数据UB构成。各単位数据UB包含音高信息UBl和时间信息UB2而构成。音高信息UBl指定音符的音高，时间信息UB2指定音符在时间轴上的位置及持续长度。各音高指定数据DB可以作为SMF格式的音乐文件而进行记述，即，将利用音符编号的数值指定音高信息UB I的事件数据和作为时间信息UB2指定各事件数据的处理间隔的定时数据以时间序列排列而得到的SMF格式的音乐文件。存储在存储装置24中的各和弦进行数据DC指定素材区间Q内的和弦进行(以时间序列排列的和弦)。具体地说，各和弦进行数据DC在各个对素材区间Q进行分割得到的単位时间(例如8分音符的时间长度)中指定和弦。各和弦进行数据所指定的以时间序列排列的和弦在各个和弦进行数据DC中不同。图I的和弦表TBL对在可由和弦进行数据DC指定的各个和弦中，该和弦的多个构成音进行指定。以上是第I实施方式的存储装置24中存储的主要数据。图I的变量设定部32可变地对乐曲生成中应用的变量进行设定。具体地说，变量设定部32与由使用者向输入装置12输入的指示对应地，设定乐曲的速度Xt和音乐风格(例如摇滚或爵士等类型)Xs。速度Xt例如设定为由使用者所指示的任意数值，风格Xs例如设定为使用者在多个选择项中选择的内容。字符串设定部34可变地设定乐曲的歌词的字符串(以下称为“指定字符串”)DY。具体地说，字符串设定部34与由使用者向输入装置12输入的指示(字符输入)对应地，设定指定字符串DY。如图4所示，指定字符串DY由多个音节y (音声単位)构成。指定字符串DY被分割为字符串Ya和字符串Yb。具体地说，在使用者指定2行的指定字符串DY的结构中，将指定字符串DY分割为换行之前的字符串Ya和换行之后的字符串Yb。此外，指定字符串DY的分割方法是任意的。在使用者指定了由2个语句构成的指定字符串DY的结构中，将指定字符串DY分割为与第1语句对应的字符串Ya和与第2语句对 应的字符串Yb。图1的第1取得部42生成与存储在存储装置24中的多个区间指定数据DA的其 中一个对应的区间指定数据GA。图5是第1实施方式的第1取得部42的框图。如图5所 示，第1取得部42包含选择部422和乐谱分割部424而构成。选择部422选择存储在存储装置24中的多个区间指定数据DA的其中一个。在第 1实施方式中，与构成字符串设定部34所设定的指定字符串DY的音节y的数量对应地，选 择区间指定数据DA。具体地说，指定字符串DY的音节y的数量越多，选择部422就选择发 音区间S的数量越多的区间指定数据DA。例如，选择部422针对存储在存储装置24中的多个区间指定数据DA，分别算出下 述算式(1)的指标值a。a = | Na - NYa | + Nb - NYb ...... (1)算式(1)的第1项|Na —NYa|为，在素材区间Q的前半区间(区段QB1及区段QB2) 内，由区间指定数据DA指定的发音区间S的数量Na和指定字符串DY中的前侧的字符串 Ya的音节y的数量NYa之间的差值的绝对值。相同地，算式(1)的第2项| Nb 一 NYb |为， 在素材区间Q的后半区间(区段QB3及区段QB4)内，由区间指定数据DA指定的发音区间S 的数量Nb和指定字符串DY中的后侧字符串Yb的音节y的数量NYb之间的差值的绝对值。 即，素材区间Q的前半区间中的发音区间S的数量Na和字符串Ya的音节y的数量NYa越 近似，或者素材区间Q的后半区间中的发音区间S的数量Nb和字符串Yb的音节y的数量 NYb越近似，指标值a的数值就越小。选择部422从存储装置24内检索指标值a位于规定范围内(例如小于或等于5 的范围内)的区间指定数据DA (即，指定了数量与指定字符串DY的音节y的数量接近的发 音区间S的区间指定数据DA)，从检索到的多个区间指定数据DA中随机选择一个区间指定 数据DA。图5的乐谱分割部424执行乐谱分割处理，使选择部422所选择的区间指定数据 DA所示出的各发音区间S和字符串设定部34所设定的指定字符串DY的各音节y对应。具 体地说,如图4所示，乐谱分割部424针对素材区间Q内的4个区段QB(QB 1 QB4)，分别 以使得区间指定数据DA在该区段QBi (i=l 4)内所指定的发音区间S的数量Ni、和指定 字符串DY中的该区段QBi内的音节y的数量NYi之间的差异最小化的方式，使指定字符串 DY的各音节y和素材区间Q内的各发音区间S对应。图6是乐谱分割处理的流程图。如果开始乐谱分割处理，则乐谱分割部424如图 4所示，将指定字符串DY针对素材区间Q内的各个区段QB进行分割(步骤SA1 )。指定字符 串DY的分割边界是从指定字符串DY的各句节的边界中选择的。对指定字符串DY的句节 的确定可以任意利用形态分析等公知的自然语言处理而得到。此外，在图4中，为了方便而 例示了字符串Ya和字符串Yb之间的边界与区段QB2和区段QB3之间的边界吻合的情况， 但字符串Ya和字符串Yb之间的边界与各区段QB的边界并不一定吻合。具体地说，乐谱分割部424以使得下述算式(2)所定义的指标值0最小化的方式， 将指定字符串DY利用句节的边界进行分割。3 = | N1 — NYI 12+1N2 — NY2 12+1N3 — NY3 12+1N4 — NY4 |2...... (2)
根据算式(2)可知，指标值@为，针对多个区段QBl QB4，将区间指定数据DA在区段QBi内指定的发音区间S的数量Ni和指定字符串DY中的区段QBi内存在的音节y的数量NYi之间的差值的平方|Ni — NYi I2进行累计而得到的数值。即，乐谱分割部424以针对多个区段QBl QB4而使发音区间S的数量Ni和音节y的数量NYi之间的差异最小化的方式，将指定字符串DY针对各个区段QB进行分割。在利用上述处理将指定字符串DY进行分割的阶段中，各区段QBi内的发音区间S的数量Ni和指定字符串DY的音节y的数量NYi并不一定一致。因此，乐谱分割部424执行用于使各区段QB内的发音区间S的数量Ni和指定字符串DY的音节y的数量NYi —致的处理(步骤SA2、SA3)。S卩，乐谱分割部424使各区段QB内的发音区间S和音节y —一对·应。第一，乐谱分割部424针对发音区间S的数量Ni小于音节y的数量NYi的区段QBi (Ni〈NYi)，通过对各发音区间S适当地进行分割而使区段QBi内的发音区间S的数量Ni増加至音节y的数量NYi (步骤SA2)。具体地说，乐谱分割部424反复进行对区段QBi内的最长的发音区间S进行分割(例如2等分)的处理，直至发音区间S的数量Ni达到音节I的数量NYi。将分割后的多个发音区间S的属性(重要音/结束音/过渡音)设定为与分割前的发音区间S共通的属性。第二，乐谱分割部424针对发音区间S的数量Ni多于音节y的数量NYi的区段QBi(Ni>NYi)，通过在指定字符串DY中适当地插入调整用的规定音节y，从而使区段QBi内的音节I的数量NYi増加至发音区间S的数量Ni (步骤SA3)。具体地说，乐谱分割部424反复进行将表示紧前方的音节I持续的长音符号“一”作为调整用的音节I插入区段QBi内的指定字符串DY中的处理，直至音节y的数量NYi达到发音区间S的数量Ni。此外，也可以替代长音符号“一”而使紧前方的音节的母音重复。插入调整用的音节y的位置例如从区段QBi内的指定字符串DY中随机选择。通过上述说明的乐谱分割处理，将各区段QBi内的发音区间S和音节y—一对应。乐谱分割部424生成对乐谱分割处理后的以时间序列排列的各发音区间S进行指定的区间指定数据GA、和对乐谱分割处理后的以时间序列排列的各音节y进行指定的指定字符串GY。S卩，区间指定数据GA是对将由选择部422选择的区间指定数据DA所指定的多个发音区间S的一部分置换为在步骤SA2中分割后的多个发音区间S的状态下的以时间序列排列的发音区间S进行指定的时间序列数据，与区间指定数据DA相同地包含多个单位数据UA而构成。指定字符串GY是在步骤SA3中向字符串设定部34设定的指定字符串DY中追加了调整用的音节y后的内容的字符串。根据上述说明可知，区间指定数据GA指定的各发音区间S和构成指定字符串GY的各音节y是一一对应的。图I的第2取得部44将存储在存储装置24中的多个音高指定数据DB的其中一个选择作为音高指定数据GB而从存储装置24取得。音高指定数据DB的选择方法是任意的，例如，可以将多个音高指定数据DB的其中一个随机地选择作为音高指定数据GB。图I的第3取得部46将存储在存储装置24中的多个和弦进行数据DC的其中一个选择作为和弦进行数据GC而从存储装置24取得。例如，第3取得部46将多个和弦进行数据DC的其中ー个随机地选择作为和弦进行数据GC。歌唱音生成部52生成音声信号VA，其是将与第I取得部42生成的区间指定数据GA、第2取得部44取得的音高指定数据GB和第3取得部46取得的和弦进行数据GC对应 的旋律，利用第1取得部42生成的指定字符串GY进行发音的音声的音声信号。图7是歌唱音生成部52的框图。如图7所示，歌唱音生成部52具有旋律生成部 522和音声合成部524。旋律生成部522是将区间指定数据GA、音高指定数据GB和和弦进 行数据GC作为模板使用而生成旋律数据DM的要素，包含音高提取部62和音高调整部64 而构成。首闻提取部62如图8所不，生成由区间指定数据GA指定的各发首区间S、和首闻 指定数据GB在该发音区间S中指定的音高而规定的以时间序列排列的音符n (以下称为 “编制音符列”)M。具体地说，构成编制音符列M的多个音符n中的第m个(m为自然数)音 符n，在区间指定数据GA指定的多个发音区间S中的第m个发音区间S的起点至终点，维持 音高指定数据GB在该发音区间S的起点的时刻所指定的音高。例如，图8所例示的编制音 符列M中的第1个音符n，在区间指定数据GA指定的第一个发音区间S内，维持音高指定数 据GB在该发音区间S的起点的时刻所指定的音高“C#”。根据上述说明可知，编制音符列M 的各音符n和区间指定数据GA指定的各发音区间是一一对应的。图7的音高调整部64对音高提取部62生成的编制音符列M的各音符n的音高进 行调整而生成旋律数据DM。图9是由音高调整部64进行的调整处理的流程图。如图9所 示，音高调整部64顺序执行第1调整处理SB1、第2调整处理SB2和第3调整处理SB3。此 外，各调整处理(SB1 SB3)的顺序可以适当变更。第1调整处理SB1为下述处理，即，将构成编制音符列M的多个音符n中的通过区 间指定数据GA指定为重要音或结束音的音符n的音高，与第3取得部46取得的和弦进行 数据GC对应而进行调整。具体地说，音高调整部64将编制音符列M中的被指定为重要音 或结束音的各音符n的音高，变更为和弦进行数据GC针对该音符n的发音区间S所指定的 和弦(例如发首区间S的起点的和弦)的构成首中与该首闻最接近的首闻。和弦进行数据 GC指定的和弦的构成音根据存储在存储装置24中的和弦表TBL确定。但是，从确保音乐角度的自然性的观点出发，执行下述特例处理。第一，在重要音 的音符n的音高为“F”或“B”、且和弦进行数据GC针对该音符n指定的和弦的根音为“C” 的情况下，不执行音符n的音高变更。即，维持音符n的音高为“F”或“B”不变。第二，在 和弦进行数据GC针对结束音的音符n指定的和弦的根音为“C”、“F”或“G”的情况下，音符 n的音高变更为最接近其音高的五音音阶音(C、D、E、G、A)。第2调整处理SB2是对构成编制音符列M的多个音符n中的由区间指定数据GA 指定为过渡音的音符n的音高进行调整的处理。具体地说，音高调整部64将编制音符列M 中的指定为过渡音的各音符n的音高，变更为包含该音符n的紧前方或紧后方的音符n的 音高在内的规定范围内的音高。例如，将过渡音的各音符n的音高设定为，以其紧前方或紧 后方的音符n的音高为中心或端点(上限或下限)的规定范围(例如4个半音的范围)内的 主音((、0、￡、？、6、六、8)。第3调整处理SB3是和弦进行数据GC针对编制音符列M的各音符n (重要音、结 束音、过渡音)指定特定和弦的情况下的特例处理。具体地说，在音符n的音高为“A”、且针 对该音符n所指定的和弦为Fm类(例如Fm、Fm7等)的情况下，音高调整部64将音符n的 音高从“A”变更为“G#”。另外，在音符n的音高为“B”、且针对该音符n所指定的和弦为Fm类、Gm类、A#类或C7的情况下，音高调整部64将音符n的音高从“B”变更为“A#”。图7的旋律生成部522 (音高调整部64)生成对上述说明的调整后的编制音符列M进行指定的旋律数据DM。如图8所示，旋律数据DM由与调整后的編制音符列M的各音符n对应的以时间序列排列的多个单位数据UM构成。各单位数据UM包含对音符n的音高进行指定的音高信息UM1、和对音符n的发音区间S (时间轴上的位置及持续长度)进行指定的时间信息UM2而构成。具体地说，旋律数据DM与音高指定数据DB相同地作为SMF格式的音乐文件而记述。旋律数据DM指定的各音符n和指定字符串GY指定的各音节y之间的关系，維持第I取得部42 (乐谱分割部424)产生的对应关系(各音符n的发音区间S和指定字符串GY的各音节y —一对应的关系)。此外，旋律生成部522也可以不进行音高调整 部64中的第I至第3调整处理，而是将从音高提取部62输出的編制音符列M作为旋律数据DM进行处理，并向音声合成部524供给。图7的音声合成部524生成与旋律生成部522生成的旋律数据DM和第I取得部42生成的指定字符串GY对应的音声信号I音声信号VA是将指定字符串GY的各音节y以旋律数据DM对与该音节y对应的音符n指定的音高进行发音时的歌唱音的音频信号。即，音声信号VA相当于将指定字符串GY作为歌词而对编制音符列M (曲调线)进行歌唱的歌唱音。在生成音声信号VA时,例如可以优选利用公知的单位连接(unit concatenation)型的音声合成处理。即，音声合成部524通过顺序选择与指定字符串GY指定的各音节y对应的音声単位，将各音声単位调整为旋律数据DM所指定的各音符n的发音区间S和音高后，进行相互连结，从而生成音声信号VA。音声信号VA的速度设定为变量设定部32所设定的速度XU图I的伴奏音生成部54生成表示伴奏音的伴奏信号VB0如图10所示，伴奏音生成部54包含伴奏数据生成部542和伴奏信号生成部544而构成。伴奏数据生成部542生成与第3取得部46取得的和弦进行数据GC对应的伴奏数据DE。伴奏数据DE是对与和弦进行数据GC顺序指定的和弦对应的伴奏音以时间序列进行指定的SMF格式的音乐文件。伴奏数据DE指定的伴奏音的种类及节奏与变量设定部32设定的风格Xs对应而设定。另夕卜，伴奏数据DE的速度设定为变量设定部32设定的速度XU伴奏信号生成部544通过对伴奏数据DE执行规定的处理(例如由MIDI音源进行的乐音生成处理)而生成伴奏信号VB。根据上述说明可知，音声信号VA和伴奏信号VB设定为相同的速度。图I的混音部56通过将歌唱音生成部52生成的音声信号VA和伴奏音生成部54生成的伴奏信号VB进行混音(加权和)而生成音频信号V。通过将混音部56生成的音频信号V供给至放音装置14，从而对声波进行播放。根据上述说明可知，音频信号V的播放音是在将旋ィ聿数据DM所表不的旋ィ聿以指定子符串GY进彳丁歌唱的歌唱首中附加了伴奏首后的歌曲的演奏音。如上述说明所示，在第I实施方式中，利用与多个区间指定数据DA的其中ー个对应的区间指定数据GA和与多个音高指定数据DB的其中一个对应的音高指定数据GB，生成旋律数据DM。由此，即使是根据同一区间指定数据GA生成的旋律数据DM，如果音高指定数据DB不同则也成为不同的旋律，即使是根据同一音高指定数据GB生成的旋律数据DM，如果区间指定数据GA不同则成为不同的旋律。即，根据第I实施方式，与例如仅变更曲调素材数据指定的各音高的、作为现有技术而说明的日本特开平9 一 081143号公报所记载的技术相比，具有下述优点，即，即使在作为生成乐曲的素材而选择的乐曲较少的情况下，也可以 生成多样化的乐曲。另外，由于例如将对现有乐曲的节奏模式进行表现的区间指定数据DA、和对现有 乐曲的曲调线进行表现的音高指定数据DB用作为模板而生成旋律数据DM，所以与例如作 为现有技术进行说明的、随机选择音高的日本特开平9 一 081141号公报所记载的技术相 比，还存在可以生成从音乐角度来说自然的旋律的优点。即，根据第I实施方式，可以生成 从音乐角度来说自然且多样化的旋律。在第I实施方式中，由于利用音高调整部64对根据区间指定数据DA和音高指定 数据DB生成的编制音符列M的各音符n的音高进行调整，所以与不对编制音符列M进行调 整的结构相比，具有可以生成从音乐角度来说自然的旋律的优点。具体地说，在第I实施方 式中，由于将重要音及结束音的音符n的音高变更为由和弦进行数据GC所指定的和弦的构 成音的音高(第I调整处理SB1)，所以可以使旋律内特别重要的音符的音高从音乐角度来 说自然地转变。另外，还具有下述优点，即，可以生成与区间指定数据DA、音高指定数据DB 和和弦进行数据DC的组合对应的多样化的旋律。另外，由于将过渡音的音符n的音高变更 为与紧前方或紧后方的音符n的音高相对的规定范围内的音高(第2调整处理SB2)，所以可 以使过渡音的音高也从音乐角度来说自然地转变。在第I实施方式中，由于利用乐谱分割部424使区间指定数据GA指定的各发音区 间S和指定字符串GY的各音节y相关联，所以具有下述优点，即，可以生成各发音区间S和 各音节y之间的对应明确且自然的歌唱音的音声信号VA。在第I实施方式中，特别由于指 定字符串DY的音节y的数量越多就选择发音区间S的数量越多的区间指定数据DA，所以与 使发音区间S的数量和音节y的数量具有较大差异的结构相比，可以合理地使各发音区间 S和各音节I对应。另外，由于以针对区段QBl QB4而使得发音区间S的数量Ni和音节 y的数量NYi之间的差异最小化的方式，将指定字符串DY针对各个区段QB进行分割而使 得各发音区间S和各音节y相关联，所以在各个区段QBl QB4中，可以合理地使各发音区 间S和各音节y对应。而且，由于以使得各发音区间S和各音节y —一对应的方式执行发 音区间S的分割(SA2)或者向指定字符串DY插入音节y (SA3)，所以还具有下述优点，BP, 可以生成针对旋律的各音符n分配一个音节y的自然的歌唱音的音声信号VA。在第I实施方式中，由于在音声信号VA中添加了伴奏音生成部54所生成的伴奏 信号VB，所以与单独播放音声信号VA的结构相比，具有可以生成富有音乐性的乐曲的优 点。在第I实施方式中，特别地，由于利用从多个和弦进行数据DC中选择的和弦进行数据 GC生成伴奏信号VB，所以与将伴奏固定为I个种类的结构相比，具有可以生成多样化的乐 曲的优点。而且，在第I实施方式中，由于按与来自使用者的指示对应的风格Xs而生成伴 奏数据DE，所以可以生成与使用者的意图或嗜好一致的乐曲。另外，由于将音声信号VA和 伴奏信号VB设定为共通的速度Xt，所以还具有可以生成伴奏音和旋律音自然地整合的乐 曲的优点。〈第2实施方式>下面，说明本发明的第2实施方式。在第I实施方式中，例示了以单个装置实现乐 曲生成装置100A的结构。在第2实施方式中，通过使可以彼此通信的多个服务器装置协同 动作，从而实现与第I实施方式的乐曲生成装置100A具有相同功能的乐曲生成装置100B。此外，在下面例示的各形态中，对于作用及功能与第I实施方式相同的要素，沿用上述说明中參照的标号，适当地省略各自的详细说明。图11是第2实施方式所涉及的乐曲生成装置100B的框图。如图11所示，第2实施方式的乐曲生成装置100B是生成音频信号V并向终端装置10提供的通信系统(乐曲生成系统)，包含管理服务器装置70、旋律生成服务器装置72、音声信号合成服务器装置74、伴奏生成服务器装置76和伴奏信号合成服务器装置78而构成。各服务器装置可以经由互联网等通信网络而彼此通信。終端装置10例如是移动电话或个人计算机等通信終端，包含输入装置12和放音装置14而构成。管理服务器装置70是与终端装置10通信的网络服务器，具有变量设定部32、字符串设定部34、存储部242、第3取得部46和混音 部56。变量设定部32与使用者向终端装置10的输入装置12输入的指示对应而设定速度Xt及风格Xs，字符串设定部34与使用者向输入装置12输入的指示对应而设定指定字符串DY。存储部242存储多个和弦进行数据DC。第3取得部46将多个和弦进行数据DC的其中一个作为和弦进行数据GC而取得。将指定字符串DY、速度Xt和和弦进行数据GC发送至旋律生成服务器装置72，和弦进行数据GC、速度Xt和风格Xs发送至伴奏生成服务器装置76。旋律生成服务器装置72具有存储部244、第I取得部42、第2取得部44和旋律生成部522。存储部244存储多个区间指定数据DA和多个音高指定数据DB。第I取得部42与指定字符串DY对应而选择存储在存储部244中的多个区间指定数据DA的其中ー个，执行图6的乐谱分割处理，从而生成区间指定数据GA和指定字符串GY。第2取得部44将存储在存储部244中的多个音高指定数据DB的其中一个选择作为音高指定数据GB。旋律生成部522生成与区间指定数据GA、音高指定数据GB、和弦进行数据GC对应的旋律数据DM。将旋律数据DM、指定字符串GY和速度Xt发送至音声信号合成服务器装置74。音声信号合成服务器装置74具有生成与旋律数据DM、指定字符串GY和速度)(t对应的音声信号VA的音声合成部524。音声合成部524生成的音声信号VA经由旋律生成服务器装置72发送至管理服务器装置70。伴奏生成服务器装置76生成与和弦进行数据GC、速度Xt和风格Xs对应的伴奏数据DE。伴奏信号合成服务器装置78具有伴奏信号生成部544，其生成与由伴奏生成服务器装置76供给的伴奏数据DE对应的伴奏信号VB。伴奏信号生成部544所生成的伴奏信号VB经由伴奏生成服务器装置76发送至管理服务器装置70。管理服务器装置70的混音部56将音声信号合成服务器装置74所生成的音声信号VA和伴奏信号合成服务器装置78所生成的伴奏信号VB混音而生成音频信号V。将音频信号V发送至終端装置10而从放音装置14作为声波进行播放。在第2实施方式中也实现与第I实施方式相同的效果。此外，构成乐曲生成装置100B的服务器装置的数量及各自执行的功能可以在图11的例示的基础上适当地变更。例如，也可以采用将图11的旋律生成服务器装置72及音声信号合成服务器装置74的功能由单个服务器装置执行的结构，或者将伴奏生成服务器装置76及伴奏信号合成服务器装置78的功能由单个服务器装置执行的结构。<变形例>上述各方式可以进行各种变形。具体的变形方式如下所例示。也可以从下述例示中任意选择大于或等于2个方式进行适当地组合。(I)第I取得部42取得区间指定数据GA的方法可以适当地变更。例如，也可以 采用第I取得部42随机地将多个区间指定数据DA的其中一个选择作为区间指定数据GA 的结构(即，省略乐谱分割部424的结构)。即，可以省略与指定字符串DY对应而选择区间 指定数据DA的结构，或者省略针对区间指定数据DA执行乐谱分割处理的结构。根据上述 说明可知，第I取得部42可以概括为用于取得与多个区间指定数据DA的其中一个对应的 区间指定数据GA的要素。区间指定数据GA涵盖如第I实施方式所例示的利用乐谱分割部 424进行乐谱分割处理后的区间指定数据DA和区间指定数据DA本身这两者。第2取得部 44及第3取得部46的动作也可以适当地变更。例如，也可以采用下述结构，即，第2取得部 44从存储装置24中选择多个音高指定数据DB的其中一个并执行规定的处理(例如将各音 符的音高增加规定量的处理)，从而生成音高指定数据GB。对于第3取得部46也相同。(2)在所述各方式中，音声合成部524生成与指定字符串GY对应的音声信号VA， 但也可以省略字符串设定部34或音声合成部524。即，本发明也可以作为以生成对编制音 符列M进行指定的旋律数据DM作为目的的装置、或者生成对旋律数据DM所指定的编制音 符列M的乐器音进行表现的音频信号的装置而实现。(3)伴奏音生成部54生成伴奏信号VB的方法也可以适当地变更。例如，也可以在 存储装置24中保存与不同风格对应的多个伴奏数据DE，选择与使用者所指定的风格Xs对 应的伴奏数据DE而生成伴奏信号VB。另外，也可以采用省略伴奏音生成部54的结构(SP， 仅生成旋律的结构)。(4)在所述各方式中，针对区间指定数据GA所指定的发音区间S的起点，由音高 提取部62提取出首闻指定数据GB所指定的首闻，但提取首闻的时刻并不限定于发首区间 S的起点。例如，也可以在从发音区间S的起点开始经过了规定时间后的时刻、或发音区间 S的中间点，将音高指定数据GB所指定的音高作为与该发音区间S对应的音符n的音高进 行提取。根据上述说明可知，旋律生成部522可以概括为生成对与区间指定数据GA所指定 的各发音区间S和音高指定数据GB针对该发音区间S的基准时刻所指定的音高对应的以 时间序列排列的音符进行指定的旋律数据DM的要素，发音区间S的基准时刻表示相对于发 音区间S处于规定的位置关系的时刻(发音区间S的起点或中间点)。(5)在所述各方式中，针对编制音符列M中的对应于重要音及结束音的音符n执行 第I调整处理SB1，针对对应于过渡音的音符n执行第2调整处理SB2，但也可以对编制音 符列M的所有音符n执行第I调整处理SBl或第2调整处理SB2。(6)所述各方式中例示的数据的格式可以任意地变更。例如，区间指定数据DA、音 高指定数据DB、旋律数据DM及伴奏数据DE并不限定于SMF格式，可以以任意格式进行记 述。和弦进行数据DC也可以以SMF格式记述。另外，音频信号V、音声信号VA及伴奏信号 VB并不限定于时间波形的采样序列，也可以表现为以时间序列对时间波形进行指定的数据 (例如基于MIDI标准的演奏数据)。
权利要求
1.一种乐曲生成装置，其具有 第I取得单元，其从对以时间序列排列的发音区间进行指定的多个区间指定数据中，取得其中一个区间指定数据； 第2取得单元，其从对以时间序列排列的音高进行指定的多个音高指定数据中，取得其中一个音高指定数据；以及 旋律生成单元，其与由所述第I取得单元取得的区间指定数据所指定的各发音区间、和由所述第2取得单元所取得的音高指定数据在该发音区间的基准时刻所指定的音高相对应，生成对以时间序列排列的音符进行指定的旋律数据。
2.根据权利要求I所述的乐曲生成装置，其中， 所述旋律生成单元包含 音高提取单元，其生成编制音符列，该编制音符列是将具有所述区间指定数据所指定的各发音区间和所述音高指定数据在该发音区间的基准时刻所指定的音高的音符进行排列而形成的；以及 首闻调整单兀，其对由所述首闻提取单兀生成的编制首符列的各首符的首闻进行调整而生成所述旋律数据。
3.根据权利要求2所述的乐曲生成装置，其中， 该乐曲生成装置具有第3取得单元，其取得对和弦进行作出指定的和弦进行数据， 所述音高调整单元执行第I调整处理，在该处理中，将所述编制音符列的多个音符中的至少一部分音符的音高，变更为在该音符的发音区间中由所述和弦进行数据所指定的和弦的构成音的音高。
4.根据权利要求2所述的乐曲生成装置，其中， 所述音高调整单元执行第2调整处理，在该处理中，将所述编制音符列的多个音符中的至少一部分音符的音高，变更为与该音符的紧前方或紧后方的音符的音高对应的规定范围内的首闻。
5.根据权利要求I至4中任一项所述的乐曲生成装置，其中， 乐曲生成装置具有 字符串设定单元，其取得将多个音声单位以时间序列排列的指定字符串；以及音声合成单元，其根据由所述旋律生成单元生成的旋律数据所指定的多个音符，生成对所述指定字符串进行发音的音声的音声信号。
6.根据权利要求5所述的乐曲生成装置，其中， 所述第I取得单元包含乐谱分割单元，其使得由所述第I取得单元取得的区间指定数据所指定的各发音区间和所述指定字符串的各音声单位彼此对应， 所述音声合成单元在由所述旋律数据所指定的多个音符的各自的发音区间中，生成对经由所述乐谱分割单元而与该发音区间对应起来的音声单位进行发音产生的音声的音声信号。
7.根据权利要求6所述的乐曲生成装置，其中， 所述第I取得单元包含选择单元，其以如下方式选择所述多个区间指定数据中的区间指定数据，即，所述字符串设定单元所设定的指定字符串的音声单位的数量越多，所选择的区间指定数据的发音区间的数量就越多。
8.根据权利要求6所述的乐曲生成装置，其中， 所述乐谱分割单元针对设定在时间轴上的多个区段，以使得所述区间指定数据在该区段内指定的发音区间的数量，与所述指定字符串中的该区段内的音声单位的数量近似的方式，将所述指定字符串针对各个区段进行分割，将所述各发音区间和所述各音声单位在各个区段中对应。
9.根据权利要求8所述的乐曲生成装置，其中， 所述乐谱分割单元针对发音区间的数量少于音声单位的数量的区段，分割该发音区间，针对发音区间的数量多于音声单位的数量的区段，在该区段内的指定字符串中追加规定的音声单位。
10.根据权利要求5所述的乐曲生成装置，其中， 乐曲生成装置具有 伴奏音生成单元，其生成表示伴奏音的伴奏信号；以及 混音单元，其将由所述音声合成单元生成的音声信号和由所述伴奏音生成单元生成的伴奏信号进行混音。
11.根据权利要求10所述的乐曲生成装置，其中， 乐曲生成装置具有对速度进行指定的变量设定单元， 所述音声合成单元生成由所述变量设定单元所设定的速度的音声信号， 所述伴奏音生成单元生成由所述变量设定单元所设定的速度的伴奏信号。
12.—种乐曲生成方法，在该方法中， 从对以时间序列排列的发音区间进行指定的多个区间指定数据中，取得其中一个区间指定数据， 从对以时间序列排列的首闻进行指定的多个首闻指定数据中，取得其中一个首闻指定数据，并且 与由所述取得的区间指定数据所指定的各发音区间、和由所述取得的音高指定数据在该发首区间的基准时刻所指定的首闻相对应，生成对以时间序列排列的首符进行指定的旋律数据。
全文摘要
本发明涉及一种乐曲生成装置。第1取得部(42)生成与对发音区间(S)的时间序列进行指定的多个区间指定数据(DA)中的其中一个对应的区间指定数据(GA)。第2取得部(44)将对音高的时间序列进行指定的多个音高指定数据(DB)中的其中一个选择作为音高指定数据(GB)。旋律生成部(522)生成旋律数据(DM)，该旋律数据(DM)对于与由第1取得部(42)取得的区间指定数据(GA)所指定的各发音区间(S)、和由第2取得部(44)所取得的音高指定数据(GB)针对该发音区间(S)的起点指定的音高相对应的音符，对该音符的时间序列进行指定。
文档编号G10H1/36GK102956224SQ201210309068
公开日2013年3月6日 申请日期2012年8月27日 优先权日2011年8月26日
发明者宫木强, 木村义一, 山口健一郎, 藤本功一 申请人:雅马哈株式会社