音韵信息合成装置、语音合成装置以及音韵信息合成方法
【专利说明】音韵信息合成装置、语音合成装置以及音韵信息合成方法
[0001]本申请主张日本申请JP2014-211194的优先权，这里通过参考而将其内容并入本申请。
技术领域
[0002]本发明涉及语音合成技术，特别是涉及根据操作件的操作而实时地合成歌唱语音的技术。
【背景技术】
[0003]近年来，随着语音合成技术的普及，希望通过将由合成器等电子乐器输出的乐音信号和由语音合成装置输出的歌唱语音信号混合并播放而实现“歌的演奏”这样的需求提高。因此，提出有采用各种语音合成技术的语音合成装置。
[0004]这里，为了对具有各种音韵和音高的歌唱语音进行合成，需要对合成对象即歌唱语音的音韵和音高进行指定。因此，在第I技术中，预先存储歌词数据，根据按键操作而依次读出歌词数据，对与歌词数据所表示的音韵对应、且具有通过按键操作而指定的音高的歌唱语音进行合成。这种技术例如记载于专利文献I (日本特开2012-083569号公报)以及专利文献2 (日本特开2012-083570号公报)中。另外，在第2技术中，在每次进行按键操作时，例如对与“ ^ ” (ra)这样的特定的表音文字对应、且具有通过按键操作而指定的音高的歌唱语音进行合成。另外，在第3技术中，在每次进行按键操作时，从预先准备的多个候补中随机地选择文字，对与选择的文字所表示的音韵对应、且具有通过按键操作而指定的音高的歌唱语音进行合成。
[0005]但是，在第I技术中，需要个人计算机等能够输入文字的装置。因此，不仅装置变得大型化，成本也相应地增加。另外，对不懂日语的外国人而言，难以输入日语的歌词。并且，在英语中根据状况而有时将同一文字以不同的音韵进行发音(例如，在have之后接着出现to的情况下，ve的音韵变为f)，在输入了这种单词的情况下，难以事先确认是否以期望的音韵进行发音。
[0006]第2技术只是简单地重复相同的语音(例如“歹”(ra))，无法生成表现力丰富的歌词。因此，听众会听到仅重复“歹” (ra)这样的语音的无聊的语音。
[0007]第3技术有可能生成用户不希望的无意义的歌词。另外，在演奏时，希望具有“同音连奏”、“返回相同的旋律”这样的重复性的情形较多。但是，在第3技术中，随机地再生语音，因此无法确保重复再生相同的歌词。
[0008]另外，第I?第3技术无法任意地决定音韵，作为具有任意音高的歌唱语音而实时地进行合成，因此存在无法进行即兴的歌唱合成的问题。
【发明内容】
[0009]本发明就是鉴于以上说明的情况而提出的，其目的在于，提供一种实时地合成与任意音韵对应的歌唱语音的技术手段。
[0010]在爵士乐的领域中，存在歌唱者将简单的词语(例如“夂八'久(da ba da ba)、“ K ^匕' K ^匕(do u bi do u bi))配合着旋律而即兴地演唱的衬词唱法这样的歌唱方法。在该衬词唱法中，与其他歌唱方法不同，无需生成很多有意义的词语(例如乂卞:备 < 6 (O H ^ (sa i ta sa i ta sa ku ra no ha na ga))的技术，但要求将符合演奏者的希望的语音配合着旋律且实时地生成的技术。因此，在本发明中，提供一种对最适合该衬词唱法的歌唱语音进行合成的技术。
[0011]本发明的音韵信息合成装置的特征在于，具有:操作强度信息获取部，其获取表示操作强度的信息；以及音韵信息生成部，其基于从所述操作强度信息获取部供给的表示操作强度的信息，输出对合成对象即歌唱语音的音韵进行指定的音韵信息。
[0012]本发明的音韵信息合成方法的特征在于，获取表示操作强度的信息，基于所述表示操作强度的信息，输出对合成对象即歌唱语音的音韵进行指定的音韵信息。
【附图说明】
[0013]图1是表示本发明的一个实施方式即语音合成装置I的结构的框图。
[0014]图2是表示在该实施方式中与键盘的各键相关联的音符代码的一个例子的图。
[0015]图3是表示在该实施方式中从信道O?8输出的检测电压的一个例子的图。
[0016]图4是表示该实施方式中的音符开(note on)事件以及音符关(note off)事件的一个例子的图。
[0017]图5是表示该实施方式中的语音合成部130的结构的框图。
[0018]图6是表不该实施方式中的歌词变换对应表的一个例子的图。
[0019]图7是表示在该实施方式中音韵信息合成部131以及音高信息提取部132执行的处理的流程图。
[0020]图8是表示在与连音符的演奏对应的语音合成装置I中从信道O?8输出的检测电压的一个例子的图。
[0021]图9是对与连音符的演奏对应的语音合成装置I的效果进行说明的图。
[0022]图10是表示利用槌敲击了键150_k(k = O?η — I)时从各信道输出的检测电压的一个例子的图。
[0023]图11是表示施加于键150_k(k = O?η — I)的操作压力、以及从语音合成装置I播放的语音的音量的图。
[0024]图12是表不以槌作为对象而设置的歌词变换对应表的一个例子的图。
[0025]图13是表示选择歌词变换对应表时使用的调整旋钮的例子的图。
【具体实施方式】
[0026]图1是表示本发明的一个实施方式即语音合成装置I的结构的框图。如图1所示，语音合成装置I具有键盘150、操作强度检测部110_k(k = O?n-1) ,MIDI事件生成部120、语音合成部130以及扬声器140。
[0027]键盘150具有η个(η为多个，例如η = 88)键150_k(k = O?n_l)。对这些键150_k(k = O?η — I)分配有对音高进行指定的音符代码，用户为了对合成对象即歌唱语音的音高进行指定，对与期望的音高对应的键150_k(k = O?η — I)进行按压。图2举例示出对键150_k(k = O?η — I)中的9个键150_0?150_8分配的音符代码。在该例子中，对各键150_k(k = O?η — I)分配有MIDI形式的音符代码。
[0028]操作强度检测部110_k(k = O?η — I)分别输出表示对键150_k(k = O?η —I)施加的操作强度的信息。这里，操作强度是指对键150_k(k = O?η — I)施加的操作压力、按键时键150_k(k = O?η — I)的操作速度。在本实施方式中，作为操作强度，操作强度检测部110_k(k = O?η — I)分别输出表示对键150_k(k = O?η — I)施加的操作压力的检测信号。该操作强度检测部110_k(k = O?η — I)分别具有压敏传感器。各键150_k的按压时对各键施加的操作压力传递至各操作强度检测部110_k的压敏传感器。各操作强度检测部110_k输出与对各自的压敏传感器施加的操作压力对应的检测电压。此外，为了进行每一个压敏传感器的校准、各种设定，也可以在操作强度检测部110_k(k = O?η —I)另外设置压敏传感器。
[0029]MIDI事件生成部120是基于操作强度检测部110_k(k = O?η — I)输出的检测电压而生成对歌唱语音的合成进行控制的MIDI事件的装置，由包含CPU以及A/D变换器的模块构成。
[0030]MIDI事件生成部120所生成的MIDI事件包含音符开事件和音符关事件。这些MIDI事件的生成方法如下。
[0031]首先，操作强度检测部110_k(k = 0?η — I)输出的各检测电压，分别经由信道O?η — I而向MIDI事件生成部120的A/D变换器供给。A/D变换器通过时间分割控制而依次选择信道O?η - 1，针对每个信道以固定的采样率对检测电压进行采样并将其变换为10比特的数字值。
[0032]MIDI事件生成部120在某信道k的检测电压(数字值)超过规定的阈值时视为存在键盘150_k的音符开，执行生成音符开事件及音符关事件的处理。
[0033]图3(a)举例示出了经由信道O?8而获得的检测电压。在该例子中，通过采样周期为10ms、基准电压为3.3V的A/D变换器进行A/D变换后的检测电压，由10比特的数字值表示。图3(b)是对图3(a)所示的测定值进行图表化的图。该图表的纵轴表示检测电压，横轴表不时刻。
[0034]例如如果阈值为500，则在图3 (b)所示的例子中，从信道4及5输出的检测电压超过阈值500。因此，MIDI事件生成部120针对信道4及5，生成音符开事件和音符关事件。
[0035]另外，MIDI事件生成部120在某信道k的检测电压超过规定的阈值的情况下，将该检测电压达到峰值的时刻作为音符开时刻，基于该音符开时刻下的检测电压而计算音符开的速率。更详细而言，利用以下计算式对速率进行计算。在以下的式子中，VEL为速率，E为音符开时刻下的检测电压(数字值)，k为变换系数(其中，k = 0.000121)。根据该计算式求出的速率VEL，取在MIDI标准中规定的取值范围即O?127之间的值。VEL = E X E X k……
(I)
[0036]另外，MIDI事件生成部120将某信道k的检测电压超过规定的阈值之后达到峰值，然后，开始下降的时刻作为音符关时刻，基于该音符关时刻下的检测电压而计算音符关的速率。速率的计算式与音符开的情况相同。
[0037]另外，MIDI事件生成部120存储有表示对键150_k(k = O?η — I)分配的音符代码(参照图2)的对应表。MIDI事件生成部120在根据某信道k的检测电压检测到键150_k的音符开时，通过参照该对应表而求出键150_k的音符代码。另外，MIDI事件生成部120在根据某信道k的检测电压检测到键150_k的音符关时，通过参照该对应表而求出键150_k的音符代码。
[0038]并且，MIDI事件生成部120在基于某信道k的检测电压而检测到键150_k的音符开时，