声音合成装置的制作方法

专利名称：声音合成装置的制作方法
技术领域：
本发明涉及基于声音合成技术的声音内容的编辑或生成方法。
背景技术：
近些年，随着声音合成技术的发展，已经可以制作音质非常高的 合成音。
然而，以往的合成音的用途基本上是用于以广播员的语调读新闻等。
另外，在移动电话服务等方面所提供的服务中，逐渐普及的是以 某种特殊的声音(具有个人再现性的高合成音，或具有高中女学生的 语气、关西方言等特殊韵律或音质的合成音)融汇于一个内容之中， 例如，以有名人物的声音消息来代替来电铃声等。因此，考虑到的是 要想在个人间的交流之中增加娱乐性，则制作特殊的声音让对方听的 需求就会不断增高。
根据以上所述的需求，则需要的不仅是以往的那种单调的读音， 而且还需要编辑或制作具有各种音质或韵律的声音内容，并希望能够 利用。
从上述的声音内容制作的观点来看，"声音内容的编辑或制作"相 当于，制作符合编辑者喜好的合成音，例如制作具有高中女学生语气 或关西方言等特征性的抑扬顿挫，或为了传达作者的感情而变更韵律 或音质，或强调句尾语气等。像这样满足用户的需求不是通过一次处 理来实现的，而是通过反复编辑和试听，才制作成了用户所希望的内作为便捷地进行上述声音内容的编辑或制作的环境需要具备以下 的条件。
(1) 即使是移动终端等小规模硬件资源也能够制作。
(2) 能够高速地编辑合成音。
(3) 在合成音的编辑过程中能够简单地试听。 在以往的高音质合成音的制作方法中提出了，例如从记录再生时
的合计时间从几个小时到几百个小时的大规模声音的声音数据库中， 选择最佳的声音单元系列，并连接，据此，制作高音质的合成音(例 如，参照专利文献1 )。图1是专利文献1中所记载的以往的声音合成 装置的构成方框图。
以往的声音合成装置将合成器指令002作为输入来接受，并输出 合成声音波形019，所述合成器指令002是通过分析成为合成目标的文 本结果而得到的，所述合成声音波形019是通过从声音单元DB (数据 库)OOl中所包含的被扩展的声音单元中选择合适的声音单元并连接而 得到的。
声音合成装置包括多级预备选择部003、单元选择部004、以及连 接部005。
多级预备选择部003接受合成器指令002，在由合成器指令002 指定的声音单元中进行以后将要叙述的多级预备选择，从而选择预备 选择候补群018。
单元选择部004接受合成器指令002，从预备选择候补群018中选 择，利用所有辅助费用计算的费用最小的声音单元。
连接部005连接由单元选择部004选择的声音单元，并输出合成 声音波形019。
另外，由于预备选择候补群018仅用于声音单元的选择，因此仅 含有费用计算中所需要的特征量，而不含有声音单元数据本身。连接 部005参照声音单元DB001来获得由单元选择部004选择的声音单元
的声音单元数据。在以往的声音合成装置中所使用的辅助费用包括基频误差、持续
时间长度误差、MFCC(Mel Frequency Cepstrum Coefficient :梅尔倒 频谱系数)误差、F0 (基频)不连续误差、MFCC不连续误差、以及音素 环境误差所分别对应的六种辅助费用。在这些费用之中，前三者属于 目标费用，后三者属于连接费用。
在通过以往的声音合成装置所涉及的单元选择部004的费用计算 中，费用是从辅助费用中计算出的。
多级预备选择部003包括四个预备选择部006、 009、 012、以及
015。
第一预备选择部006接受合成器指令002，并从声音单元DB001 中的声音单元候补中，进行根据在各个时刻的FO误差、持续时间长度 误差的预备选择，并输出第一候补群007。
第二预备选择部009从第一候补群007的声音单元中，进行根据 在各个时刻的FO误差、继续时间长度误差、MFCC误差的预备选择，并 输出第二候补群OIO。
同样，第三预备选择部012以及第四预备选择部015也使用辅助 费用的一部分进行预备选择。
通过进行这样的预备选择，可以消减从声音单元DB001中选择的 最佳声音单元的计算量。
专利文献l日本特开2005 — 265895号公报(图1)
如以上所述，本发明的目的是要制作声音内容，为此需要对合成 音进行编辑的单元。然而，在利用专利文献l的技术对合成音即声音 内容进行编辑的情况下，存在以下的问题。
也就是说，专利文献1中所记载的声音合成装置在选择声音单元 时，通过利用预备选择部，可以消减总共的计算费用。但是，结果上 是为了得到合成音，就需要在第一预备选择部006从所有的声音单元 进行预备选择。并且，连接部005每次都需要从声音单元DB001中选 择最终的最佳声音单元。而且，为了生成高音质的合成音，需要预先
10在声音单元DB001中存储大量的声音单元，这样，再生时的合计时间 也会成为从几个小时到几百个小时的大规模数据库。
因此，在编辑合成音时，每次都需要从大规模的声音单元DB001
中选择声音单元，在这种情况下，要想得到最终所需的合成音，每次
都需要在大规模的声音单元DB001中进行搜索。因此，就会出现在编 辑时计算费用增大的问题。

发明内容
为了解决上述以往的课题，本发明的目的在于提供一种声音合成 装置，该声音合成装置可以高速地执行声音内容的编辑，并可以容易 地制作声音内容。
本发明所涉及的声音合成装置，生成符合声音记号以及韵律信息
的合成音，其中包括小规模数据库，保持用于生成合成音的合成音
生成用数据；大规模数据库，保持比所述小规模数据库所保持的所述 合成音生成用数据还要多的声音单元；合成音生成用数据选择机构， 从所述小规模数据库中选择，被生成的合成音符合声音记号以及韵律 信息的合成音生成用数据；符合声音单元选择机构，从所述大规模数 据库中选择，在所述合成音生成用数据选择机构所选择的所述合成音 生成用数据所对应的声音单元；以及声音单元连接机构，通过连接在 所述符合声音单元选择机构所选择的所述声音单元，而生成合成音。
根据此构成，合成音生成用数据选择机构可以从小规模数据库中 选择合成音生成用数据。并且，符合声音单元选择机构可以从大规模 数据库中选择，与被选择的合成音生成用数据相对应的高质量的声音 单元。这样，通过以两个阶段来选择声音单元，从而可以快速地选择 高质量的声音单元。
并且，也可以是，所述大规模数据库被设置在，通过计算机网络 与所述声音合成装置相连接的服务器；所述符合声音单元选择机构， 从被设置在所述服务器的所述大规模数据库中选择所述声音单元。通过使服务器设置于大规模数据库，从而在终端可以不需要不必 要的存储容量，以最小的构成来构成声音合成装置。
并且，上述声音合成装置进一步包括小规模声音单元连接机构， 通过连接在所述合成音生成用数据选择机构所选择的声音单元，来生 成简易合成音；以及韵律信息校正机构，接受用于校正所述简易合成 音的韵律信息的信息，并根据该信息校正所述韵律信息。并且，也可 以是，所述合成音生成用数据选择机构，在所述简易合成音的韵律信 息被校正的情况下，从所述小规模数据库再次选择，被生成的合成音 符合声音记号以及被校正后的所述韵律信息的合成音生成用数据，并 将所述再次选择的合成音生成用数据输出到所述小规模声音单元连接 机构。并且，也可以是，所述符合声音单元选择机构接受在所述校正 和所述再次选择中所决定的所述合成音生成用数据，并从所述大规模 数据库中选择与该合成音生成用数据相对应的声音单元。
通过校正韵律信息，从而可以再次选择合成音生成用数据。通过 反复这样的韵律信息的校正以及合成音生成用数据的再次选择，从而 用户可以选择所希望的合成音生成用数据。并且，从大规模数据库的 声音单元的选择可以在最后仅执行一次。因此，可以高效率地制作高 质量的合成音。
并且，本发明不仅可以作为具有这种特征性单元的声音合成装置 来实现，而且还可以作为将这些声音合成装置所包含的特征性单元作 为步骤的声音合成方法来实现，并且还可以作为使计算机执行声音合 成方法中所包含的特征性步骤的程序来实现。并且，这些程序可以通
过CD—R0M(Co即act Disc-Read Only Memory)等的记录介质或互联网 等的通信网络来流通也是不言而喻的。
通过本发明，可以提供一种声音合成装置，该声音合成装置可以 高速地执行声音内容的编辑，并可以容易地制作声音内容。
通过本发明的声音合成装置，作为合成音的编辑处理，可以仅在 终端利用小规模的数据库来制作合成音。并且，通过韵律校正单元，用户可以进行合成音的编辑处理。据此，即使在移动终端等小规模的 资源终端，也可以进行声音内容的编辑。并且，由于在终端一侧可以 利用小规模的数据库制作合成音，因此编辑后的合成音可以仅在终端 再生，并且用户可以试听被再生的合成音。
并且，用户可以在编辑工作结束后，利用服务器中所保持的大规 模数据库进行高音质化处理。此时，在对应的数据库中，已经决定的 小规模声音单元系列和大规模数据库的候补是相互对应的。为此，通 过大规模声音单元选择部的声音单元的选择与重新进行声音单元的再 选择情况相比较，由于可以仅在被限定的搜索空间进行搜索，因此可 以大幅度地消减计算量。作为大规模声音单元的例子可以举出几GB以
上的系统，对此，作为小规模的声音单元的例子可以在0.5MB左右。
而且，用于获得大规模数据库中所存储的声音单元的终端与服务 器之间的通信，可以在进行高质量处理时一次性进行。因此可以降低 在通信时浪费的时间。也就是说，通过对编辑工作和高质量化处理进 行分离，可以快速发出声音内容的编辑工作所需要的应答。


图1是以往的多级声音单元选择型声音合成装置的结构图。
图2是本发明的实施例1中的多种音质声音合成装置的结构图。
图3示出了本发明的实施例1的对应DB的例子。
图4是将本发明的实施例1中的多种音质声音合成装置作为系统
来实现的情况下的概念图。
图5是本发明实施例1中的多种音质声音合成装置的工作流程图。 图6是示出本发明的实施例1的高音质化处理的工作例子的图。 图7是对于大规模声音单元DB中所保持的声音单元群，进行层次
聚类的概念图。
图8是本发明的实施例1的变形例1中的多种音质声音合成处理 的流程图。
13图9是本发明的实施例1的变形例2中的多种音质声音合成处理 的流程图。
图IO是本发明的实施例1的变形例3中的多种音质声音合成处理 的流程图。
图11是本发明的实施例1的变形例4中的多种音质声音合成处理
的流程图。
图12是利用作为通过统计模型的声音合成方式之一的HMM声音合 成方法的文本声音生成装置的结构图。
图13是本发明的实施例2中的多种音质声音合成装置的结构图。 图14是本发明的实施例2中的多种音质声音合成装置的工作流程图。
图15是示出本发明的实施例2中的高音质化处理的工作例子的图。
图16是对于大规模声音单元DB中所保持的声音单元群按照前后 关系进行分群的情况下的概念图。
图17示出了本发明实施例2的对应DB的例子。
图18示出了在本发明的实施例2的高音质化处理中，将多种状态 的H醒分配到声音单元单位的情况下的工作例子。
图19是本发明的实施例3所涉及的多种音质声音合成系统的构成 的方框图。
图20是实施例3所涉及的多种音质声音合成系统的处理流程图。 图21是实施例3所涉及的多种音质声音合成系统的处理流程图。
符号说明
101小规模声音单元DB
102小规模声音单元选择部 103小规模声音单元连接部 104韵律校正部
14105大规模声音单元DB
106、506 对应DB
107声音单元候补获得部
108大规模声音单元选择部
109大规模声音单元连接部
501HMM模型
502H薩声音合成部
503合成部
说明书第8/37页
具体实施例方式
以下，参照附图对本发明的实施例进行说明。 (实施例1 )
在本发明的实施例l中，通过将声音单元DB分层为小规模声音单 元DB和大规模声音单元DB，从而可以使声音内容的编辑工作更具效率 化。
图2是本发明实施例1中的多种音质声音合成装置的构成图。 多种音质声音合成装置是合成多种音质的声音的装置，包括小 规模声音单元DB101、小规模声音单元选择部102、小规模声音单元连 接部103、韵律校正部104、大规模声音单元DB105、对应DB106、声 音单元候补获得部107、大规模声音单元选择部108、以及大规模声音 单元连接部109。
小规模声音单元DB101是保持小规模声音单元的数据库。在本说 明书中，将小规模声音单元DB101中所存储的声音单元称为"小规模 声音单元"。
小规模声音单元选择部102是一处理部，将以制作合成音为目标 的音韵信息和韵律信息作为输入来接受，并从小规模声音单元DB101 中所保持的声音单元中选择最佳的声音单元系列。
小规模声音单元连接部103是一处理部，连接由小规模声音单元选择部102所选择的声音单元系列，并生成合成音。
韵律校正部104是一处理部，接受由用户输入的用于校正韵律信 息的信息，并校正成为多种音质声音合成装置制作合成音的目标的韵 律信息。
大规模声音单元DB105是保持大规模声音单元的数据库。在本说 明书中，将大规模声音单元DB105中所存储的声音单元称为"大规模 声音单元"。
对应DB106是保持信息的数据库，该信息表示小规模声音单元 DB101中所保持的声音单元和大规模声音单元DB105中所保持的声音 单元的对应关系。
声音单元候补获得部107是一处理部，将由小规模声音单元选择 部102所选择的声音单元系列作为输入来接受，并根据表示对应DB106 中所存储的声音单元的对应关系的信息，通过网络113等，从大规模 声音单元DB105中获得被输入的声音单元系列的各个声音单元所对应 的声音单元候补。
大规模声音单元选择部108是一处理部，将成为合成音的目标的 信息作为输入来接受，并从声音单元候补获得部107所选择的声音单 元候补中选择最佳的声音单元系列，所述成为合成音的目标的信息是 指小规模声音单元选择部102作为输入而接受的音韵信息和小规模 声音单元选择部102作为输入接受的韵律信息或由韵律校正部104校 正的韵律信息。
大规模声音单元连接部109是一处理部，连接由大规模声音单元 选择部108所选择的声音单元系列，并生成合成音。
图3示出了对应DB106中所存储的信息的例子，这些信息表示小 规模声音单元DB101中所保持的声音单元和大规模声音单元DB105中 所保持的声音单元的对应关系。
如该图所示，在表示对应DB106的对应关系的信息中，"小规模声
音单元编号"和"大规模声音单元编号"是对应起来被存储的。"小规
16模声音单元编号"是指，用于识别小规模声音单元DB101中所存储的声音单元的声音单元编号，"大规模声音单元编号"是指，用于识别大
规模声音单元DB105中所存储的声音单元的声音单元编号。例如，小规模声音单元编号"2"的声音单元与大规模声音单元编号"1"和"2"的声音单元相对应。
并且，编号相同的声音单元表示相同的声音单元。S卩，小规模声音单元编号"2"的声音单元和大规模声音单元编号"2"的声音单元表示同一个声音单元。
图4是将本发明的实施例所涉及的多种音质声音合成装置作为系统来实现的情况下的概念图。
多种音质声音合成系统包括通过网络113相互连接的终端111和服务器112，通过终端111和服务器112的协调工作，从而实现多种音质声音合成装置。
终端111包括小规模声音单元DBIOI、小规模声音单元选择部102、小规模声音单元连接部103、韵律校正部104、对应DB106、声音单元候补获得部107、大规模声音单元选择部108、以及大规模声音单元连接部109。服务器112以大规模声音单元DB105构成。
由于多种音质声音合成系统具有上述这样的构成，因此终端111所需的存储容量可以不必过大。并且，大规模声音单元DB105可以不必设置在终端lll，而可以集中保持在服务器112。
以下利用图5所示的流程图来说明本实施例所涉及的多种音质声音合成装置的工作。多种音质声音合成装置的工作大致可以分为合成音的编辑处理和被编辑的合成音的高音质化处理。以下对合成音的编辑处理和高音质化处理分别进行说明。
<编辑处理>
首先，对合成音的编辑处理进行说明。作为前处理，分析由用户输入的文本信息，并根据音韵系列和重音记号生成韵律信息(步骤SOOl)。韵律信息的生成方法没有特殊的限定，例如可以参照模板来生成，也可以利用量化I类来推导。并且，韵律信息也可以直接从外部输入。
例如，获得"A 6 ^ S (arayuru)"这一文本数据(音素信息)，输出包含该音素信息所包含的各个音素和各个韵律的韵律信息群。此韵律信息群至少包含韵律信息tl到t7，韵律信息tl表示音素"a"以及和该音素"a"对应的韵律、韵律信息t2表示音素"r"和该音素"r"对应的韵律、韵律信息t3表示音素"a"以及和该音素"a"对应的韵律、韵律信息t4表示音素"y"以及和该音素"y"对应的韵律，同理，以下的韵律信息t5到t7分别与"u "、 " r "、 " u "对应。
小规模声音单元选择部102根据在步骤S001获得的韵律信息tl到t7，并在考虑从小规模声音单元DB101到目标韵律(tl到t7)的距离(目标费用(Ct))以及声音单元的连接性(连接费用(Cc))的基础上，选择最佳声音单元系列(U二ul、 u2、……、un)(步骤S002)。具体而言，由威特比演算法(Viterbi algorithm)来搜索以下公式(1 )所示的费用为最小的声音单元系列。目标费用和连接费用的算法没有特殊的限定，例如目标费用可以以韵律信息(基频、持续时间长度、功率)的差分的加权和来计算。并且，连接费用可以利用ui-l的终端和ui的始端的倒谱距离(c印strum distance)来计算。
= arg min
/ = 1,2,.." w
(公式l )
并且，
argmin[]
^ (公式2)表示，在使U二ul、 u2、……、un变化时，括号内的值为最小的U的系列。
小规模声音单元连接部103利用由小规模声音单元选择部102所
18选择的声音单元系列来合成声音波形，并通过数据合成音来提示给用 户(步骤S003)。合成声音波形的方法没有特殊的限定。
韵律修正部104接受用户是否对合成音满意的输入(步骤S004)。 在用户对合成音满意的情况下(步骤S004的"是")，结束编辑处理， 并执行步骤S006以后的处理。
在用户对合成音不满意的情况下(步骤S004的"否")，韵律校正 部104接受由用户输入的用于校正韵律信息的信息，并校正成为目标 的韵律信息(步骤S005)。"韵律信息的校正"例如包括重音位置的变 更、基频的变更、持续时间长度的变更等。据此，用户可以对目前的 合成音的韵律的不满意之处进行校正，并可以制作被编辑的韵律信息 T，二t'l、 t'2、……、t'n。在校正结束后返回步骤S002。通过重复从 步骤S002到步骤S005的处理，从而用户可以制作自己所希望的韵律 的合成音。将像上述这样选择的声音单元系列设为S^sl、 s2、……、 sn。
另外，韵律校正部104的接口没有特殊的限定。例如，可以用滑 动器(slider)等来校正韵律信息，也可以使用户指定以高中女学生语 气或关西方言等具有直观表现的韵律信息。而且，也可以使用户根据 声音来输入韵律信息。
<高音质化处理〉
以下对高音质化处理的流程进行说明。
声音单元候补获得部107根据在编辑处理最后确定的声音单元系 列(S = sl、 s2、……、sn)，从大规模声音单元DB105中获得声音单 元候补(步骤S006)。也就是说，声音单元候补获得部107利用，保持 有表示小规模声音单元DB101所保持的声音单元和大规模声音单元 DB105所保持的与声音单元的对应关系的信息的对应DB106，从大规模 声音DB105中获得与构成声音单元系列(S = sl、 s2、……、sn)的各 个声音单元所对应的声音单元候补。另外，对于对应DB106的制作方 法以后待述。
19利用图6，对通过声音单元候补获得部107的声音单元候补获得处
理(步骤S006)进行说明。图6的虚线框601所围起来的部分表示， 对于"arayuru"这个音素列，在编辑处理(步骤S001到S005)确定 的小规模声音单元DB101的声音单元系列(S 二 sl、 s2、……、s7)。 并且，图6示出了，根据对应DB106获得与各个小规模声音单元(si) 相对应的大规模声音单元DB105的声音单元候补群的样子。例如，在 图6的例子中，作为音素"a"在编辑处理中决定的小规模声音单元sl， 可以通过利用对应DB106，而展开为大规模声音单元群hll、 h12、 h13、 h14。也就是说，大规模声音单元群hll、 h12、 h13、 h14是对小规模 声音单元sl进行音响上类似后的多个实际声音波形(或根据实际声音 波形分析的参数)。
对于音素"r"对应的小规模声音单元s2也是同样，通过利用对 应DB106，可以展开为大规模声音单元群h21、 h22、 h23。以下同样， 对于s3、……、s7，也是根据对应DB106获得声音单元候补。也就是 说，该图所示的大规模声音单元候补群系列602示出了，与小规模声 音单元系列S相对应的大规模声音单元候补群的系列。
大规模声音单元选择部108从上述的大规模声音单元候补群系列 602中选择最符合由用户编辑的韵律信息的声音单元系列(步骤S007)。 选择的方法可以与步骤S002相同，在此省略说明。在图6的例子中， 从大规模声音单元候补群系列602中选择出来的是H二h13、 h22、 h33、 h43、 h54、 h61、 h74。
结果是，H = hl3、 h22、 h33、 h43、 h54、 h61、 h74是从大规模声 音单元DB105所保持的声音单元群中选择出来的，用于实现由用户编 辑的韵律信息的最佳声音单元系列。
大规模声音单元连接部109连接在步骤S007被选择出来的大规模 声音单元DB105中所保持的声音单元系列H，并生成合成音(步骤 S008)。对于连接方法没有特殊的限定。
另外，在连接声音单元时，也可以对各个声音单元进行适当地变
20形后再连接。
通过以上的处理，可以使韵律和音质与在编辑处理中编辑的简易 版的合成音相似，并且能够生成高音质的合成音。 <对应DB的制作方法〉
以下对对应DB106进行详细说明。
如以上所述，对应DB106是保持，表示小规模声音单元DB101所 保持的声音单元和大规模声音单元DB105所保持的声音单元的对应关 系的信息的数据库。
具体而言，被用于在进行高音质化处理时从大规模声音单元DB105 中，对在编辑处理中制作的与简易合成音相似的声音单元的选择上。
小规模声音单元DB101是大规模声音单元DB105所保持的声音单 元群的部分集合，并且满足以下的关系是本发明的特征。
首先，小规模声音单元DB101所保持的声音单元，与大规模声音 单元DB所保持的一个以上的声音单元相对应。而且，根据对应DB106 所示的被对应的大规模声音单元DB105的声音单元，与小规模的声音 单元DB的声音单元在音响上相似。作为相似的基准有，韵律信息(基 频、功率信息、持续时间长度等)以及声道信息(共振峰、倒谱系数 等)。
据此，利用小规模声音单元DB101所保持的声音单元系列与被合 成的简易合成音相比较，能够在进行高音质化处理时选择韵律以及音 质接近的声音单元。并且，大规模声音单元DB105可以从丰富的候补 中选择最佳的声音单元候补。因此，可以在上述的大规模声音单元选 择部108选择声音单元时减少费用。据此，可以得到使合成音的音质 提高的效果。
其原因是，小规模声音单元DB101所保持的声音单元被限定。为 此，可以生成与目标韵律接近的合成音，但不能保证声音单元之间的 高连接性。另外，大规模声音单元DB105可以保持大量的数据。因此， 大规模声音单元选择部108可以从大规模声音单元DB105中选择声音单元之间连接性高的声音单元系列(例如，可以通过利用专利文献l 记载的方法来实现)。
为了进行上述的对应，采用了分群技术。"分群"是指，根据由多 种特性决定的个体间的相似性的指标，将个体分类为若干个集合的方 法。
分类方法大致可以分为层次聚类方法(hierarchical clustering method)禾口非层次聚类方法(non-hierarchical clustering method), 所述层次聚类方法是指，将相似的个体合并为若干个集合的方法，所 述非层次聚类方法是指，将原来的集合分割，以使相似的个体最终归 属于同一个集合的方法。在本实施例中，对于具体的分类方法不进行 限定，只要最后的结果是相似的声音单元被归纳到相同的集合即可。 例如在层次聚类方法中已知的方法是"利用堆(heap)的层次聚类方 法"。并且，在非层次聚类方法中己知的方法是"k—means法"。
首先，利用层次聚类方法，对将声音单元归纳为若干个集合的方 法进行说明。图7示出了对大规模声音单元DB105所保持的声音单元 群进行层次聚类时的概念图。
初期层次301由大规模声音单元DB105所保持的各个声音单元构 成。在该图的例子中，大规模声音单元DB105所保持的声音单元以四 角形来表示。并且，附加在四角形上的数字是用于识别声音单元的标 识符，也就是声音单元编号。
第一层次的聚合群302是由层次聚类方法分群的作为第一层次的 聚合的集合，各个聚合以圆形来表示。聚合303是作为第一层次被分 群的聚合之一，具体而言，由声音单元编号"1"和"2"的声音单元 构成。各个聚合所示的数字是代表聚合的声音单元的标识符。例如， 代表聚合303的声音单元是声音单元编号为"2"的声音单元。此时，
在各个聚合中需要决定代表聚合的代表声音单元，作为代表声音单元 的决定方法有利用属于聚合的声音单元群的类心(centroid)的方法。
即，将与属于聚合的声音单元群的类心最接近的声音单元作为聚合的
22代表。在图所示的例子中，代表聚合303的声音单元成为声音单元编 号"2"的声音单元。同样，也可以对其他的聚合决定代表声音单元。
并且，作为求出属于聚合的声音单元群的类心的方法，在考虑将 声音单元群中所包含的各个声音单元的韵律信息和声道信息作为要素 的矢量的情况下，可以将多个矢量的矢量空间中的重心作为聚合的类 心来求。
并且，作为代表声音单元的求出方法，可以求出上述的声音单元 群中所包含的各个声音单元的矢量和聚合的类心的矢量之间的相似 度，将相似度最大的声音单元作为代表单元来求。并且，可以求出聚 合的类心的矢量和各个声音单元的矢量之间的距离(例如欧几里得距 离)，并将距离为最小的声音单元作为代表单元来求。
第二层次的聚合群304是进一步根据上述的相似度，对属于第一 层次的聚合群302的聚合进行分群而得到的。因此，聚合的数量比第 一层次的聚合群302的聚合数少。此时，对于第二层次的聚合305也 是同样，可以决定代表声音单元。在该图所示的例子中，声音单元编 号"2"的声音单元是代表聚合305的声音单元。
通过进行这样的层次聚类方法，大规模声音单元DB105可以被分 割为第一层次聚合群302或第二层次聚合群304等。
此时，可以将仅由第一层次聚合群302的各个聚合的代表声音单 元构成的声音单元群，作为小规模声音单元DB101来利用。在该图所 示的例子中，可以将声音单元编号为2、 3、 6、 8、 9、 12、 14、 15的 声音单元，作为小规模声音单元DB101来利用。并且，同样，可以将 仅由第二层次聚合群的各个聚合的代表声音单元构成的声音单元群， 作为小规模声音单元DB101来利用。在该图所示的例子中，可以将声 音单元编号为2、 8、 12、 15的声音单元，作为小规模声音单元DB101 来利用。
艮P，若利用这种关系，就可以构筑图3所示的对应DB106。 在该图的例子中，示出了将第一层次的聚合群302作为小规模声
23音单元来利用的情况。小规模声音单元编号"2"的声音单元与大规模
声音单元DB105的大规模声音单元编号"1"和"2"的声音单元相对 应。并且，小规模声音单元编号"3"的声音单元与大规模声音单元DB105 的大规模声音单元编号"3"和"4"的声音单元相对应。以下同样， 所有的第一层次的聚合群302的代表声音单元都能够和大规模声音单 元DB105的大规模声音单元编号相对应。并且，通过事先将这种小规
模声音单元编号和大规模声音单元编号的关系对应起来作为表来保 持，从而可以非常高速地参照对应DB106。
并且，通过进行这样的层次聚类方法，可以将小规模声音单元 DB101的规模变更为可缩放的。g卩，作为小规模声音单元DBIOI，可以 利用第一层次的聚合群302的代表声音单元，或利用第二构成的聚合 群304的代表声音单元。因此，可以按照终端111的存储容量来构成 小规模声音单元DBIOI。
此时，小规模声音单元DB101和大规模声音单元DB105满足上述 的关系。即，作为小规模声音单元DBIOI，在利用第一层次的聚合群 302的代表声音单元的情况下，例如，小规模声音单元DB101所保持的 声音单元编号"2"的声音单元，与大规模声音单元DB105的声音单元 编号"1"和"2"的声音单元相对应。并且，声音单元编号"1"和"2" 的声音单元，根据上述的基准，与聚合303的声音单元编号"2"的代 表声音单元相似。
例如，小规模声音单元选择部102在从小规模声音单元DB101选 择了声音单元编号"2"的声音单元的情况下，声音单元候补获得部107 利用对应DB106，来获得声音编号"1"和"2"的声音单元。则大规模 声音单元选择部108从获得的声音单元候补中获得上述公式(1 )为 最小的候补，即，选择接近于目标韵律、且与前后的声音单元的连接 性好的声音单元。
因此，能够保证由大规模声音单元选择部108选择的声音单元系 列的费用值，在由小规模声音单元选择部102选择的声音单元系列的费用值以下。其理由是，在声音单元候补获得部107获得的声音单元 候补中包含了由小规模声音单元选择部102选择的声音单元，且与该 声音单元相似的多个声音单元作为候补被追加。
另外，在上述的说明中，对应DB106是利用层次聚类方法来构成 的，不过，也可以利用非层次聚类方法来构成对应DB106。
例如，可以利用k一means法。k一means法是为了成为预先设定的 聚合数(k)，而分割要素群(在此为声音单元群)的非层次聚类方法。 通过利用k一means法，可以在设计时计算在终端111所需的小规模声 音单元DB101的大小。并且，决定被分割为k个的各个聚合的代表声 音单元，并通过作为小规模声音单元DB101来利用，从而可以得到与 层次聚类方法同样的效果。
另外，上述的聚类处理通过预先以声音单元的单位(例如，音素 或音节、莫拉(mora)、 CV(C :子音、V :母音)、VCV)区分并进行分群， 从而可以高效率地进行分群。
根据所涉及的构成，由于终端111包括小规模声音单元DBIOI、 小规模声音单元选择部102、小规模声音单元连接部103、韵律校正部 104、对应DB106、声音单元候补获得部107、大规模声音单元选择部 108、以及大规模声音单元连接部109，并且服务器112具备大规模声 音单元DB105，因此要求终端111的存储容量可以不必太大。并且，由 于大规模声音单元DB105只要能够集中地保持在服务器112即可，因 此，即使是终端111存在多个的情况下，只要有一个大规模声音单元 DB105保持在服务器112中就可以。
此时，作为编辑处理，可以仅在终端111利用小规模声音单元 DB101来制作合成音。并且，用户可以通过韵律校正部104来对合成音 进行编辑处理。
而且，在编辑工作结束后，可以利用保持在服务器112的大规模 声音单元DB105来进行高音质化处理，此时，通过对应DB106，已经决 定的小规模声音单元系列和大规模声音单元DB105的候补是被对应起来的。为此，由大规模声音单元选择部108进行的声音单元的选择与 重新再次选择声音单元的情况相比较，由于可以在被限定的搜索空间 进行搜索，因此可以大幅度地消减计算量。
并且，终端111和服务器112之间的通信可以在进行高质量化处 理时仅进行一次。因此，可以降低因通信而造成的时间损失。也就是 说，通过对编辑工作和高质量化处理进行分离，从而可以快速发出声 音内容的编辑工作所需要的应答。并且，可以在服务器112进行高音 质化处理，并可以通过网络113将高音质化处理后的结果发送给终端 111。
另外，在本实施例中，小规模声音单元DB101被构筑成大规模声 音单元DB105的部分集合，不过，也可以对大规模声音单元DB105的 信息量进行压縮，从而制作小规模声音单元DB101。具体而言，可以通 过降低采样频率、降低量化位数、或降低在分析时的分析次数等来进 行压縮。在这种情况下，对应DB106使小规模声音单元DB101和大规 模声音单元DB105——对应。
通过在终端和服务器之间对本实施例的各个构成要素采用不同的 分担方法，而负载也会分别不同。并且，与此同时，在终端和服务器 之间进行通信的信息也会不同，因此信息量也会不同。以下对构成要 素的组合及其效果进行说明。 (变形例1)
在本变形例中，终端111包括小规模声音单元DB101、小规模声 音单元选择部102、小规模声音单元连接部103、以及韵律校正部104。 服务器112包括大规模声音单元DB105、对应DB106、声音单元候补 获得部107、大规模声音单元选择部108以及大规模声音单元选择部 109。
利用图8的流程图对本变形例的工作进行说明。由于各个步骤已 经说明过，因此省略详细说明。
利用终端111进行编辑处理。具体而言，生成韵律信息(步骤
26SOOl)。之后，小规模声音单元选择部102从小规模声音单元DB101中 选择小规模声音单元系列(步骤S002)。小规模声音单元连接部103 连接小规模声音单元，并生成简易版合成音(步骤S003)。用户试听被 生成的合成音，并进行是否满意的判断(步骤S004)。在不满意的情况 下(步骤S004的"否")，韵律校正部104校正韵律信息(步骤S005)。 通过重复从步骤S002到步骤S005的处理，从而生成所需的合成音。
在用户对简易版合成音满意的情况下(步骤S004的"是")，终端 111将在步骤S002选择的小规模声音单元系列的标识符和被确定的韵 律信息发送给服务器112 (步骤SOIO)。
以下对服务器一侧的工作进行说明。声音单元候补获得部107根 据从终端111获得的小规模声音单元系列的标识符，参照对应DB106， 从大规模声音单元DB105获得成为选择候补的声音单元群(步骤
5006) 。大规模声音单元选择部108根据从终端111接收的韵律信息， 从获得的声音单元候补群中选择最佳的大规模声音单元系列(步骤
5007) 。大规模声音单元连接部109连接被选择的大规模声音单元系列， 并生成高音质版合成音(步骤S008)。
服务器112将像以上这样作成的高音质版合成音发送给终端111。 通过以上的处理，从而可以制作高音质的合成音。
通过以上的终端111以及服务器112的构成，由于终端111可以 仅具有小规模声音单元DBIOI、小规模声音单元选择部102、小规模声 音单元连接部103、以及韵律校正部105，因此可以减小所需的内存容 量。并且，由于可以在终端lll仅利用小规模声音单元来生成合成音， 因此可以减少计算量。并且，从终端111到服务器112的通信仅为韵 律信息和小规模声音单元系列的标识符的通信，因此可以大幅度地减 少通信量。并且，从服务器112到终端111的通信可以只发送一次被 高音质化的合成音，因此可以使通信量减少。 (变形例2)
在本变形例中，终端111包括小规模声音单元DBIOI、小规模声
27音单元选择部102、小规模声音单元连接部103、韵律校正部104、对 应DB106以及声音单元候补获得部107。服务器112包括大规模声音 单元DB105、大规模声音单元选择部108、以及大规模声音单元连接部 109。
本变形例与变形例1的不同之处是，在终端111具有对应DB106。
以下利用图9的流程图对本变形例的工作进行说明。由于各个步 骤已经说明过，因此省略详细说明。
利用终端111进行编辑处理。具体而言，生成韵律信息(步骤 SOOl)。之后，小规模声音单元选择部102从小规模声音单元DB101中 选择小规模声音单元系列(步骤S002)。小规模声音单元连接部103 连接小规模声音单元，并生成简易版合成音(步骤S003)。用户试听被 生成的合成音，并进行是否满意的判断(步骤S004)。在不满意的情况 下(步骤S004的"否")，韵律校正部104校正韵律信息(步骤S005)。 通过重复从步骤S002到步骤S005的处理，从而生成所需的合成音。
在用户对简易版合成音满意的情况下(步骤S004的"是")，声音 单元候补获得部107利用对应DB106,获得对应的成为大规模声音单元 DB105的候补的声音单元标识符(步骤S006)，终端lll将大规模声音 单元的选择候补群的标识符和被确定的韵律信息发送给服务器112(步 骤SOll)。
以下对服务器一侧的工作进行说明。大规模声音单元选择部108 根据从终端111接收的韵律信息，从获得的声音单元候补群中选择最 佳的大规模声音单元系列(步骤S007)。大规模声音单元连接部109 连接被选择的大规模声音单元系列，并生成高音质版合成音(步骤 S008)。
服务器112将像以上这样作成的高音质版合成音发送给终端111。 通过以上的处理，从而可以制作高音质的合成音。
通过以上的终端111以及服务器112的构成，由于终端111可以 仅具有小规模声音单元DBIOI、小规模声音单元选择部102、小规模声音单元连接部103、韵律校正部104、以及对应DB106，因此可以减小
所需的内存容量。并且，由于可以在终端111仅利用小规模声音单元
来生成合成音，因此可以减少计算量。通过将对应DB106设置在终端 111 一侧，从而可以减轻服务器112的处理。并且，从终端111到服务 器112的通信仅为韵律信息和声音单元候补群的标识符的通信。关于 声音单元候补群由于可以仅发送标识符，因此可以大幅度地减少通信 量。并且，由于服务器112可以不进行声音单元候补的获得处理，因 此可以减轻对服务器112的处理负荷。并且，向终端111的通信只是 发送一次被高音质化的合成音，因此可以使通信量减少。 (变形例3)
在本变形例中，终端111包括小规模声音单元DB101、小规模声 音单元选择部102、小规模声音单元连接部103、韵律校正部104、对 应DB106、声音单元候补获得部107、大规模声音单元选择部108、以 及大规模声音单元连接部109。服务器112包括大规模声音单元DB105。
本变形例与变形例2的不同之处是，在终端111具备了大规模声 音单元选择部108以及大规模声音单元连接部109。
以下利用图10的流程图对本变形的工作进行说明。由于各个步骤 已经说明过，因此省略详细说明。
利用终端111进行编辑处理。具体而言，生成韵律信息(步骤 S001)。之后，小规模声音单元选择部102从小规模声音单元DB101中 选择小规模声音单元系列(步骤S002)。小规模声音单元连接部103 连接小规模声音单元，并生成简易版合成音(步骤S003)。用户试听被 生成的合成音，并进行是否满意的判断(步骤S004)。在不满意的情况 下(步骤S004的"否")，韵律校正部104校正韵律信息(步骤S005)。 通过重复从步骤S002到步骤S005的处理，从而生成所需的合成音。
在用户对简易版合成音满意的情况下(步骤S004的"是")，终端 111利用对应DB106，获得对应的作为大规模声音单元DB105的候补的 声音单元标识符，并将大规模声音单元的选择候补群的标识符发送给
29服务器(步骤S009)。
以下对服务器一侧的工作进行说明。服务器112根据接收的选择
候补群的标识符，从大规模声音单元DB105中选择声音单元候补群， 并发送给终端lll (步骤S006)。
之后，在终端lll，大规模声音单元选择部108根据已经确定的韵 律信息，从获得的声音单元候补群中算出最佳的大规模声音单元系列 (步骤S007)。
大规模声音单元连接部109连接被选择的大规模声音单元系列， 并生成高音质版合成音(步骤S008)。
通过终端111和服务器112具有以上这样的构成，由于服务器112 可以根据从终端111发送来的声音单元候补群的标识符，仅将声音单 元候补发送给终端111，因此可以大幅度地降低服务器112的计算负 荷。并且，由于可以在终端lll，通过对应DB106，从小规模声音单元 所对应的限定的声音单元候补群中选择最佳的声音单元系列，因此计 算量可以不必过大并可以进行选择。 (变形例4)
在本变形例中，终端111包括小规模声音单元DBIOI、小规模声 音单元选择部102、小规模声音单元连接部103、韵律校正部104、大 规模声音单元选择部108、以及大规模声音单元连接部109。服务器112 包括大规模声音单元DB105、对应DB106、以及声音单元候补获得部 107。
本变形例与变形例3的不同之处是，在服务器112具备了对应 DB106。
以下利用图11的流程图对本变形例的工作进行说明。由于各个步 骤已经说明过，因此省略详细说明。
利用终端111进行编辑处理。具体而言，生成韵律信息(步骤 SOOl)。之后，小规模声音单元选择部102从小规模声音单元DB101中 选择小规模声音单元系列(步骤S002)。小规模声音单元连接部103
30连接小规模声音单元，并生成简易版合成音(步骤S003)。用户试听被 生成的合成音，并进行是否满意的判断(步骤S004)。在不满意的情况
下(步骤S004的"否")，韵律校正部104校正韵律信息(步骤S005)。 通过重复从步骤S002到步骤S005的处理，从而生成所需的合成音。
在用户对简易版合成音满意的情况下(步骤S004的"是")，处理 的控制被移向服务器112—侧。
服务器112利用对应DB106，获得对应的成为大规模声音单元 DB105的候补的声音单元群，并将大规模声音单元的选择候补群发送给 终端111 (步骤S006)。
在接收了选择候补群的终端lll，根据已经确定的韵律信息，从由 大规模声音单元选择部108获得的声音单元候补群，算出最佳的大规 模声音单元系列(步骤S007)。
大规模声音单元连接部109连接被选择的大规模声音单元系列， 并生成高音质版合成音(步骤S008)。
通过终端111和服务器112具有以上这样的构成，从而服务器112 可以仅通过接收小规模声音单元系列的标识符，并利用对应DB106从 大规模声音单元DB105将对应的声音单元候补群发送到终端111，因此 可以大幅度地减少服务器lll的计算负荷。并且，与变形例3相比较， 由于从终端111向服务器112的通信仅为小规模声音单元系列的标识 符的通信，因此可以减少通信量。 (实施例2)
以下，对本发明的实施例2所涉及的多种音质声音合成装置进行 说明。
在实施例1中，作为以编辑处理制作合成音的方法，采用了连接 声音单元系列并生成合成音，而在本实施例与实施例1的不同之处是， 利用丽M (隐藏式马可夫模型)声音合成方法来生成合成音。H匿声音 合成方法是，根据统计模型的声音合成法，其特征是，统计模型的容 量较小，且能够生成稳定音质的合成音。由于H腦声音合成方法是周
31知技术，因此不重复详细说明。
图12是利用作为通过统计模型的声音合成方式之一的H塵声音合
成方法的文本声音合成装置的结构图(参考文献日本特开2002 — 268660号公报)
文本声音合成装置包括学习部030和声音合成部031。
学习部030包括声音DB (数据库)032、激励源参数抽出部033、 谱参数抽出部034、以及H醒的学习部035。并且，声音合成部031包 括上下文相关H丽文件036、言语分析部037、参数生成部038、激 励源生成部039、以及合成滤波器040。
学习部030所具有的功能是，利用声音DB032中存储的声音信息， 使上下文相关H丽文件036学习。在声音DB032中存储有用于重新采 样的多个声音信息。声音信息是在声音信号中附加了用于识别波形的 各个音素等部分的标记信息(如arayuru或nuuyooku)的信息。
激励源参数抽出部033和谱参数抽出部034分别按照从声音DB032 取出的每个声音信息，来抽出激励源参数列和谱参数列。HMM的学习部 035利用从声音DB032取出的声音信号以及标记信息和时间信息，对被 抽出的激励源参数列和谱参数列进行HMM的学习处理。学习的HMM被 存储到上下文相关HMM文件036。
激励源模型的参数利用多空间分布H醒被学习。多空间分布H固 是能够允许每次参数矢量的维数都不同的被扩展了的HMM，含有有声/ 无声标志的音调(pitch)是这种维数发生变化的参数列的例子。即，有 声时为一维参数矢量，无声时为零维的参数矢量。在学习部030进行 通过该多空间分布PMM的学习。"标记信息"具体而言例如是指以下所 述的信息，各个H薩则将这些作为属性名(上下文)来保持。 *{前面的、当前的、后接的}音素 当前的音素的重音句中的莫拉位置 *{前面的、当前的、后接的}词性、活用形、活用型 ，(前面的、当前的、后接的}重音句的莫拉长度、重音类型 当前的重音句的位置、前后暂停的有无 *{前面的、当前的、后接的)呼气段落的莫拉长度 当前的呼气段落的位置 句子的莫拉长度 像这样的H丽被称为上下文相关H丽。
声音合成部031具有的功能是，从任意的电子形式的文本，生成 朗读形式的声音信号列。言语分析部037分析被输入的文本，并变换 为作为音素排列的标记信息。参数生成部038根据标记信息检索上下 文相关醒M文件036，并连接得到的上下文相关H薩，从而构成句子H画。 参数生成部038进一步通过参数生成算法，从得到的句子H腿生成激 励源参数以及谱参数的列。激励源生成部039以及合成滤波器040根 据激励源参数以及谱参数的列来生成合成音。
通过构成以上这样的文本声音合成装置，在H醒声音合成处理中 可以通过统计模型生成稳定的合成音。
图13是本发明实施例2中的多种音质声音合成装置的结构图。在 图13中对于与图2相同的构成要素赋予相同的符号，并省略说明。
多种音质声音合成装置是合成多种音质的声音的装置，包括HMM 模型DB501、 H薩模型选择部502、合成部503、韵律校正部104、大规 模声音单元DB105、对应DB506、声音单元候补获得部107、大规模声 音单元选择部108、以及大规模声音单元连接部109。
H醒模型DB501是保持根据声音数据而被学习的HMM模型的数据库。
歷M模型选择部502是一处理部，至少将音韵信息和韵律信息作为 输出来接受，并从H醒模型DB501选择最佳的H固模型。
合成部503是一处理部，利用由H画模型选择部502选择的HMM 模型来生成合成音。
对应DB506是使H醒模型DB501中所保持的HMM模型和大规模声 音单元DB105中所保持的声音单元相关联的数据库。本实施例也和实施例1相同，可以作为图4所示的多种音质声音
合成系统来实现。终端111包括H画模型DB501、HMM模型选择部502、 合成部503、韵律校正部104、对应DB106、声音单元候补获得部107、 大规模声音单元选择部108、以及大规模声音单元连接部109。服务器 112包括大规模声音单元DB105。
通过构成这样的多种音质声音合成系统，由于HMM模型的文件是 基于模型的，因此可以使终端111所需要的存储容量变小(几M字节 左右)。并且，大规模声音单元DB105 (几百字节到几G字节)可以集 中保持在服务器112。
以下利用图14所示的流程图，对本发明的实施例2所涉及的多种 音质声音合成装置的处理流程进行说明。本实施例所涉及的多种音质 声音合成装置的工作与实施例1所涉及的多种音质声音合成装置的工 作相同，分为合成音的编辑处理和被编辑的合成音的高音质化处理。 以下，对合成音的编辑处理和高音质化处理分别进行说明。
<编辑处理>
首先，对合成音的编辑进行说明。作为前处理，分析由用户输入 的文本信息，并根据音韵系列和重音记号生成韵律信息(步骤SIOI)。 韵律信息的生成方法没有特殊的限定，例如可以参照模板来生成，也 可以利用量化I类来推导。并且，韵律信息也可以直接从外部输入。
訓M模型选择部502根据在步骤S101得到的音韵信息以及韵律信 息，进行H薩声音合成(步骤S102)。具体而言，H醒模式选择部502 根据被输入的音韵信息以及韵律信息，从H薩模型DB501中选择最佳 的H醒模型，并从被选择的H醒模型生成合成参数。由于详细内容已 经说明过，因此再次省略。
合成部503根据由HMM模型选择部502生成的合成参数来合成声 音波形(步骤S103)。合成的方法没有特殊的限定。
合成部503通过输出在步骤S103作成的合成音，而向用户提示(步 骤S104)。
34韵律校正部104接受用户对合成音是否满意的输入，在用户满意
的情况下(步骤S004的"是")，结束编辑处理，并执行步骤S106以
后的处理。
在用户对合成音不满意的情况下(步骤S004的"否")，韵律校正 部104接受由用户输入的用于校正韵律信息的信息，并校正成为目标 的韵律信息(步骤S005)。"韵律信息的校正"例如包括重音位置的变 更、基频的变更、持续时间长度的变更等。据此，用户可以校正对现 在的合成音的韵律不满意的地方。在校正结束后返回步骤S002。通过 重复从步骤S002到步骤S005的处理，从而用户可以制作自己所希望 的韵律的合成音。通过以上的步骤，用户可以根据HMM合成来制作声 音内容。
<高音质化处理〉
以下对高音质化的处理流程进行说明。图15示出了高音质化处理 的工作例子。
声音单元候补获得部107根据在编辑处理最后确定的H画模型系 列(M二ml、 m2、……、mn)，从大规模声音单元DB105中获得声音单元 候补(步骤S106)。也就是说，声音单元候补获得部107利用对应DB506， 从大规模声音单元DB105中，获得在步骤S102的处理中选择的、与HMM 模型DB501内的H画模型相关联的大规模声音单元候补，所述对应 DB506保持表示函M模型DB501中所保持的H画模型和大规模声音单元 DB105的声音单元的对应关系的信息。
在图15的例子中，声音单元候补获得部107参照对应DB506，从 大规模声音单元DB105中选择，为了合成音素"/a / "而被选择的H醒 模型(ml)所对应的大规模声音单元(hll、 h12、 h13、 h14)。同样，声 音单元候补获得部107对于醒M模型m2、……、mn，也通过参照对应 DB506,而从大规模声音单元DB105中获得大规模声音单元候补。对于 对应DB506的制作方法待后述。
大规模声音单元选择部108从在步骤S006获得的大规模声音单元
35候补中，选择最符合由用户编辑的韵律信息的声音单元系列(步骤 S007)。由于选择方法与实施例l相同因此省略说明。在图15的例子
中，作为结果可以得到H = h13、 h22、 h33、 h42、 h53、 h63、 h73的 大规模声音单元系列。
大规模声音单元连接部109连接在步骤S007选择的大规模声音单 元DB105中所保持的声音单元系列(H = h13、 h22、 h33、 h42、 h53、 h63、 h73)，生成合成音(步骤S008)。由于连接方法与实施例1相同， 因此省略说明。
通过以上的处理，可以使韵律和音质与在编辑处理中编辑的简易 版的合成音相似，并且能够生成利用大规模声音单元DB105中所存储 的大规模声音单元的高音质的合成音。
<对应DB的制作方法〉
以下对对应DB106进行详细说明。
在制作对应DB106时，为了使H醒模型DB501中所保持的H丽模 型和大规模声音单元DB105中所保持的声音单元相对应，而利用HMM 模型的学习行程。
首先，对丽M模型DB501中保持的H丽模型的学习方法进行说明。 在H丽声音合成中，H画模型通常使用被称为"上下文相关模型"的模 型，该"上下文相关模型"由前面的音素、当前的音素、后接的音素 等上下文组合而成。但是，由于仅音素种类就有数十种，因此组合后 的上下文相关模型的总数也会变得庞大。这样就会出现上下文相关模 型的模型学习数据变小的问题。因此通常会进行上下文的分群。由于 上下文的分群处理是周知技术，因此在此不做详细说明。
在本实施例中，利用大规模声音单元DB105来学习此丽M模型。 对于此时大规模声音单元DB105中所保持的声音单元群进行上下文分 群的结果的例子，在图16中示出。大规模声音单元DB105的声音单元 群702的各个声音单元以四角形来表示，数字表示声音单元标识符。 在上下文分群中，根据上下文(例如，前面的音素是否为有声音等)
36对声音采样进行分类。这时，按照图16所示的用于决定的树状结构， 分阶段地对声音单元进行分群。
此时，在用于决定的树状结构的叶子节点703，被分类有具有相同 上下文的声音单元。在该图所示的例子中，前面的音素为有声音、前
面的音素为母音、且前面的音素为/a/的声音单元(声音单元编号l和 声音单元编号2)，被分类到叶子节点703。对于叶子节点703而言， 声音单元编号1以及声音单元编号2的声音单元作为学习数据，学习 醒M模型，从而制作模型编号为"A"的丽M模型。
艮口，在该同中，模型编号"A"的H麗模型被大规模声音单元DB105 的声音单元编号1和2的声音单元学习。并且，该图是概念图，实际 上H腦模型会被更多的声音单元学习。
利用这种关系，表示模型编号"A"的H固模型和学习该丽M模型 时所利用的声音单元(声音单元编号1以及声音单元编号2的声音单 元)的对应关系的信息被保持在对应DB506。
通过利用以上的对应关系，例如可以作成图17所示的对应DB506。 在此例子中，模型编号"A"的H醒模型表示，与大规模声音单元DB105 的声音单元编号"1"和"2"的声音单元相对应。并且，模型编号"B" 的H薩模型表示，与大规模声音单元DB105的声音单元编号"3"和"4" 的声音单元相对应。以下同样，所有的叶子节点群的H塵模型的模型 编号和大规模声音单元DB105的大规模声音单元编号的对应关系，可 以被作为表来保持。并且，通过将这样的对应关系作为表来保持，从 而可以迅速地参照丽M模型和大规模声音单元的关联。
通过构成这样的对应DB506，从而在编辑处理中被编辑的、用于生 成完成的合成音的H醒模型，和为了学习该H醒模型的大规模声音单 元DB105的声音单元被对应起来。因此，声音单元候补获得部107所 选择的大规模声音单元DB105的声音单元候补是，由H醒模型选择部 502从H丽模型DB501选择的H薩模型的学习采样的实际波形。并且， 该声音单元候补和该匿M模型的韵律信息以及音质信息也是相似的。
37并且，H丽模型是通过进行统计处理而被作成的。为此，与用于H固模型的学习的声音单元相比，在再生时会出现地方口音。即，因对学习采样进行平均等统计处理，而使本来波形应该具有的细微结构丧失。
但是，由于大规模声音单元DB105内的声音单元没有被统计处理，因此细微结构也可以照常保持。因此，在音质这一观点上，与利用HMM模型，合成部503输出的合成音相比，可以得到高音质的合成音。
也就是说，根据统计模型与其学习数据的关系可以确保韵律和音质的相似性，且可以不必进行统计处理，就能够保存表现声音的细微结构的声音单元，据此可以得到生成高音质的合成音的效果。
并且，在上述的说明中，HM1模型的学习前提是以音素为单位进行的，不过学习的单位也可以不是音素。例如，可以对于图18所示的一个音素，H丽模型保持多个状态，并以各个状态分别学习统计量。在该图中示出了，对于"/a/"这个音素，以三个状态来构成歴M模型的情况下的例子。在这种情况下，对应DB506存储用于使HMM模型的各个状态和大规模声音单元DB105中所存储的声音单元对应起来的信息。
在该图的例子中示出了 ，通过利用对应DB506，将最初的状态"ml 1"可以展开为学习时所使用的大规模声音单元DB105的声音单元(声音单元编号l、 2、 3)。并且，可以将第二个状态"ml2"可以展开为大规模声音单元DB105的声音单元(声音单元编号l、 2、 3、 4、 5)。同样，通过利用对应DB506，最终状态"ml3"可以展开为大规模声音单元DB105的声音单元(声音单元编号l、 3、 4、 6)。
而且，声音单元候补获得部107可以利用以下三个基准来选择声音单元候补。
(1) 将与HMM的各个状态相对应的大规模声音单元的并集作为声音单元候补。在图18的例子中为，选择声音单元编号{1、 2、 3、 4、5、 6}的大规模声音单元作为选择候补。
(2) 将与H丽的各个状态相对应的大规模声音单元的交集作为声音单元候补。在图18的例子中为，选择声音单元编号{1、 3}的大规
38模声音单元作为选择候补。
(3)将与H薩的各个状态相对应的大规模声音单元的集合中的、 属于规定的阈值以上的集合的声音单元，作为声音单元候补。在规定 的阈值为"2"的情况下，在图18所示的例子中，例如选择声音单元
编号{1、 2、 3、 4}的大规模声音单元为选择候补。
另外，也可以组合各个基准。例如，在声音单元候补获得部107 所选择的声音单元候补没有满足一定数量的情况下，也可以以不同的 基准来选择声音单元候补。
根据所涉及的构成，由于终端111具备H丽模型DB501、 H固模 型选择部502、合成部503、韵律校正部104、对应DB106、声音单元 候补获得部107、大规模声音单元选择部108、以及大规模声音单元连 接部109，并且服务器112具备大规模声音单元DB105，因此要求终端 111的存储容量可以不必太大。并且，由于大规模声音单元DB105只要 能够集中地保持在服务器112即可，因此，即使是终端111存在多个 的情况下，只要有一个大规模声音单元DB105保持在服务器112中就 可以。
此时，作为编辑处理，可以只在终端111利用H画声音合成来制 作合成音。并且，通过韵律校正部104，用户可以进行合成音的编辑处 理。此时，H醒声音合成与搜索大规模声音单元DB105进行合成的情况 相比较，可以以非常高的速度来生成合成音。因此，可以消减在编辑 合成音时的计算费用，即使在进行多次编辑的情况下，也可以做出良 好地应答并可以进行合成音的编辑。
而且，在编辑工作结束后，可以利用服务器112中所保持的大规 模声音单元DB105来进行高音质化处理，此时，通过对应DB106，由编 辑处理已经被决定的醒M模型的模型编号和大规模声音单元DB105的 声音单元候补的声音单元编号是对应的，因此由大规模声音单元选择 部108进行的声音单元的选择与重新再次选择声音单元的情况相比较, 由于搜索是仅在被限定的搜索空间进行的，因此可以大幅度地消减计
39算量。
并且，终端111和服务器112之间的通信可以在进行高质量化处 理时一次性进行，因此可以降低因通信造成的时间浪费。也就是说， 通过对编辑工作和高质量化处理进行分离，可以快速发出声音内容的 编辑工作所需要的应答。
而且，在实施例l必需要以小规模来保持声音波形本身，与此相
比，在本实施例中，可以仅在终端一侧保持HMM模型的文件，因此可
以进一步消减终端所需的存储容量。
另外，在本实施例中，与实施例1的变形例1到4所示相同，可
以使各个构成要素分担到终端和服务器。在这种情况下，小规模声音
单元DB101、小规模声音单元选择部102、小规模声音单元连接部103、 以及对应DB106分别与HMM模型DB501、 1MM模型选择部502、合成部 503、以及对应DB506相对应。 (实施例3)
将上述这样的声音合成的制作作为声音内容的制作(编辑)来考 虑的情况下，可以考虑到将作成的声音内容提供给第三者的方式。即 内容制作者和内容利用者不同的情况。作为将声音内容提供给第三者 的例子可以考虑到这样一种声音内容的流通方式，即在利用移动电 话等制作声音内容的情况下，声音内容的制作者通过网络等发送作成 的声音内容，并由接受者接受声音内容。具体而言，可以考虑到的服 务是，在考虑到利用电子邮件等进行声音消息的收发的情况下，将制 作者作成的声音内容发送给对方。
此时，重要的是将要对哪个信息进行通信。而且，在发送者以及 接受者共享相同的小规模声音单元DB101或H薩模型DB501的情况下， 可以消减流通时所需的信息。
并且，也可以考虑到，声音内容的编辑处理由制作者来执行，接 收者接收并试听声音内容，在中意的情况下进行高音质化处理等。
本发明的实施例3与作成的声音内容的通信方法、高音质化处理的方法有关。
图19是本发明的实施例3所涉及的多种音质声音合成系统的构成
方框图。在本实施例，编辑处理由声音内容制作者来执行，高音质化 处理由声音内容接收者来执行，并且在制作者使用的终端和接收者使
用的终端之间设置有通信单元，这与实施例1和2不同。
多种音质声音合成系统包括制作终端121、接收终端122、以及 服务器123。制作终端121和接收终端122以及服务器123通过网络 113互相连接。
制作终端121是声音内容制作者在编辑声音内容时所利用的装置。 接收终端122是接收由制作终端121制作的声音终端的装置。制作终 端121利用声音内容接收者。服务器123保持大规模声音单元DB105， 是进行声音内容高音质化处理的装置。
对于制作终端121、接收终端122以及服务器123所具有的功能， 根据实施例1的构成来说明。制作终端121包括小规模声音单元 DB101、对应DB106、小规模声音单元选择部102、小规模声音单元连 接部103、以及韵律校正部104。接收终端122包括声音单元候补获 得部107、大规模声音单元选择部108、以及大规模声音单元连接部 109。服务器123包括大规模声音单元DB105。
图20以及图21是实施例3所涉及的多种音质声音合成系统进行 处理的流程图。
多种音质声音合成系统所进行的处理可分为编辑处理、通信处理、 确认处理以及高音质化处理这四个处理。以下，分别对这些处理进行 说明。
<编辑处理〉
编辑处理在制作终端121上执行。处理内容可以与实施例1相同。 若简单地说明，则作为前处理，分析由用户输入的文本信息，并根据 音韵系列和重音记号来生成韵律信息(步骤sooi)。
小规模声音单元选择部102根据在步骤S001获得的韵律信息，并在考虑从小规模声音单元DB101到目标韵律的距离(目标费用(Ct)) 以及声音单元的连接性(连接费用(Cc))的基础上，选择最佳声音单 元系列(步骤S002)。具体而言，由威特比演算法(Viterbi algorithm) 来搜索上述公式(1 )所示的费用为最小的声音单元系列。
小规模声音单元连接部103利用由小规模声音单元选择部102所 选择的声音单元系列来合成声音波形，并通过数据合成音来提示给用 户(步骤S003)。
韵律校正部104接受用户对合成音是否满意的输入，在用户对合 成音满意的情况下(步骤S004的"是")，结束编辑处理，步骤S201 以后的处理被执行。
在用户对合成音不满意的情况下(步骤S004的"否")，韵律校正 部104接受由用户输入的用于校正韵律信息的信息，并校正成为目标 的韵律信息(步骤S005)。在校正结束后返回步骤S002。通过重复从 步骤S002到步骤S005的处理，从而用户可以制作自己所希望的韵律 的合成音。
<通信处理>
以下对通信处理进行说明。
制作终端121通过互联网等网络，将在制作终端121上的编辑处 理中确定的小规模声音单元系列以及韵律信息，发送到接收终端122 (步骤S201)。对于通信的方法不做特殊限定。
接收终端122接收在步骤S201被发送的韵律信息以及小规模声音 单元系列(步骤S202)。
通过以上的通信处理，从而接收终端122可以得到能够再次构成 在制作终端121制作的声音内容的最低限度的信息。
<确认处理〉
以下对确认处理进行说明。
接收终端122从小规模声音单元DB101获得在步骤S202接收的小 规模声音单元系列的声音单元，并由小规模声音单元连接部103制作
42符合接收的韵律信息的合成音(步骤S203)。合成音的制作处理与步骤
S003相同。
接收者确认在步骤S203作成的简易合成音，接收终端122接受接 收者的判断结果(步骤S204)。此时，在接收者判断简易版的合成音就 可以的情况下(步骤S204的"否")，接收终端122将简易合成音作为 声音内容来使用。另一方面，通过确认，在接收者要求高音质化的情 况下(步骤S204的"是")，进行步骤S006以后的高音质化处理。
<高音质化处理〉
以下对高音质化处理进行说明。
接收终端122的声音单元候补获得部107将小规模声音单元系列 发送到服务器123，服务器123参照接收终端122的对应DB106，并从 大规模声音单元DB105中获得声音单元候补(步骤S006)。
大规模声音单元选择部108从在步骤S006获得的韵律信息和声音 单元候补中，选择满足上述公式(1 )的大规模声音单元系列(步骤 S007)。
大规模声音单元连接部109连接在步骤S007选择的大规模声音单 元系列，并生成高音质合成音(步骤S008)。
根据以上构成，在将在制作终端121制作的声音内容发送到接收 终端122时，由于可以仅发送韵律信息以及小规模声音单元系列，因 此与发送合成音的情况相比，可以使制作终端121和接收终端122之 间的通信量减少。
并且，在制作终端121，由于可以仅用小规模声音单元系列来编辑 合成音，因此可以不必通过服务器123制作高音质合成音，从而可以 简化声音内容的制作。
并且，可以在接收终端122根据韵律信息和小规模声音单元系列 制作合成音，从而可以通过在进行高音质化处理之前试听合成音而得 以确认。据此，可以不必访问服务器123就能够试听声音内容。而且， 只有在想对试听的声音内容进行高音质化的情况下，才访问服务器123
43并进行高音质化，因此接收者可以自由选择简易版以及高音质版的声 音内容。
而且，在利用大规模声音单元DB105进行的声音单元选择处理中， 通过利用对应DB106，由于可以仅将与小规模声音单元系列相对应的声 音单元作为候补，因此可以消减接收终端122和服务器123之间的通 信量，从而可以高效率地进行高音质化处理。
并且，在以上的说明中，在接收终端122保持有对应DB106、声音 单元候补获得部107、大规模声音单元选择部108、以及大规模声音单 元连接部109，在服务器123保持有大规模声音单元DB105，不过也可 以使服务器123保持大规模声音单元DB105、声音单元候补获得部107、 大规模声音单元选择部108、以及大规模声音单元连接部109。
在这种情况下，可以得到消减接收终端的处理量以及消减接收终 端和服务器之间的通信量的效果。
另外，在上述的说明中，以实施例1的构成进行了说明，不过也 可以根据实施例2的构成，以构成制作终端121、接收终端122以及服 务器123所具有的功能。在这种情况下，制作终端121以HMM模型 DB501、 H固模型选择部502、合成部503以及韵律校正部104构成， 接收终端122以对应DB106、声音单元候补获得部107、大规模声音单 元选择部108、以及大规模声音单元连接部109构成。服务器123只要 包括大规模声音单元DB105即可。
本发明可以适用于声音合成装置，尤其可以适用于在制作移动电 话等所利用的声音内容时所利用的声音合成装置等。
4权利要求
1. 一种声音合成系统，生成符合声音记号以及韵律信息的合成音，其特征在于，所述声音合成系统包括通过计算机网络而相互连接的制作终端、服务器、以及接收终端；所述制作终端包括小规模数据库，保持用于生成合成音的合成音生成用数据；以及合成音生成用数据选择机构，从所述小规模数据库选择合成音生成用数据，该合成音生成用数据是指，被生成的合成音最符合声音记号以及韵律信息的合成音生成用数据；所述服务器包括大规模数据库，保持众多数量的声音单元，所保持的这些声音单元比所述小规模数据库所保持的所述合成音生成用数据多，且生成的合成音比所述小规模数据库所保持的所述合成音生成用数据更能够详细表现韵律信息；所述接收终端包括符合声音单元选择机构，从所述大规模数据库中选择，与所述合成音生成用数据选择机构所选择的所述合成音生成用数据相对应、且生成的合成音最符合所述声音记号以及所述韵律信息的声音单元；以及声音单元连接机构，通过连接在所述符合声音单元选择机构所选择的所述声音单元，而生成合成音。
2. —种制作终端，生成符合声音记号以及韵律信息的简易合成音，其特征在于，包括小规模数据库，保持有用于生成所述合成音的声音单元；合成音生成用数据选择机构，从所述小规模数据库中选择，被生成的合成音符合声音记号以及韵律信息的合成音生成用数据；以及发送机构，发送所述合成音生成用数据；所述发送机构将用于与所述大规模数据库的声音单元对应的所述合成音生成用数据发送到具有大规模数据库的服务器，所述大规模数据库保持有比所述小规模数据库所保持的所述声音单元还要多的声音单元。
3. 如权利要求2所述的制作终端，其特征在于，所述制作终端进一步包括小规模声音单元连接机构，通过连接在所述合成音生成用数据选择机构所选择的声音单元，来生成简易合成音；以及韵律信息校正机构，接受用于校正所述简易合成音的韵律信息的信息，并根据该信息校正所述韵律信息；所述合成音生成用数据选择机构，在所述简易合成音的韵律信息被校正的情况下，从所述小规模数据库再次选择，生成的合成音符合声音记号以及校正后的所述韵律信息的合成音生成用数据，并将所述再次选择的所述合成音生成用数据输出到所述小规模声音单元连接机构；所述发送机构发送在所述校正和所述再次选择中决定的所述合成音用数据。
4. 一种服务器，生成符合声音记号以及韵律信息的合成音，其特征在于，包括接收机构，接收制作终端所生成的合成音生成用数据；大规模数据库，保持比所述小规模数据库所保持的所述合成音生成用数据还要多的声音单元；以及对应数据库，保持有对应关系信息，该对应关系信息是表示，所述小规模数据库所保持的各个所述合成音生成用数据、和与该合成音生成用数据相对应的至少一个所述声音单元的对应关系的信息。
5. —种声音合成装置，生成符合声音记号以及韵律信息的合成 音，其特征在于，包括小规模数据库，保持用于生成合成音的合成音生成用数据； 大规模数据库，保持比所述小规模数据库所保持的所述合成音生成用数据的数量还要多的声音单元；合成音生成用数据选择机构，从所述小规模数据库选择，生成的合成音符合声音记号以及韵律信息的合成音生成用数据；符合声音单元选择机构，从所述大规模数据库中选择，在所述合 成音生成用数据选择机构所选择的所述合成音生成用数据所对应的声 音单元；以及声音单元连接机构，通过连接所述符合声音单元选择机构所选择 的所述声音单元，来生成合成音。
6. 如权利要求5所述的声音合成装置，其特征在于， 所述声音合成装置进一步包括小规模声音单元连接机构，通过连接在所述合成音生成用数据选 择机构所选择的声音单元，来生成简易合成音；以及韵律信息校正机构，接受用于校正所述简易合成音的韵律信息的 信息，并根据该信息来校正所述韵律信息；所述合成音生成用数据选择机构，在所述简易合成音的韵律信息 被校正的情况下，从所述小规模数据库再次选择，被生成的合成音符 合声音记号以及被校正后的所述韵律信息的合成音生成用数据，并将 所述再次选择的合成音生成用数据输出到所述小规模声音单元连接机 构；所述符合声音单元选择机构接受在所述校正和所述再次选择中所 决定的所述合成音生成用数据，并从所述大规模数据库中选择与该合成音生成用数据相对应的声音单元。
7. 如权利要求5所述的声音合成装置，其特征在于， 所述声音合成装置进一步包括对应数据库，该对应数据库保持有对应关系信息，该对应关系信息是表示，所述小规模数据库所保持的 各个所述合成音生成用数据、和与该合成音生成用数据相对应的至少 一个所述声音单元的对应关系的信息，， 所述符合声音单元选择机构包括声音单元获得部，利用所述对应数据库所保持的所述对应关系信 息，确定与所述合成音生成用数据选择机构所选择的所述合成音生成 用数据相对应的声音单元的候补，并从所述大规模数据库获得被确定的所述声音单元的候补；以及声音单元选择部，从在所述声音单元获得部获得的所述声音单元 的候补中，选择被生成的合成音最符合所述声音记号以及所述韵律信 息的声音单元；所述声音单元连接机构通过连接在所述声音单元选择部所选择的 所述声音单元，来生成合成音。
8. 如权利要求5所述的声音合成装置，其特征在于， 所述大规模数据库被设置在，通过计算机网络与所述声音合成装置相连接的服务器；所述符合声音单元选择机构，从被设置在所述服务器的所述大规 模数据库中选择所述声音单元。
9. 如权利要求5所述的声音合成装置，其特征在于，所述小规 模数据库保持有，在对所述大规模数据库中所保持的声音单元进行分 群时的、代表各个群的声音单元。
10.如权利要求9所述的声音合成装置，其特征在于，所述小 规模数据库保持有，在根据所述大规模数据库中所保持的声音单元的 基频、持续时间长度、功率信息、共振峰参数、以及倒谱系数中至少 一个，对该声音单元进行分群时的、代表各个群的声音单元。
11.如权利要求5所述的声音合成装置，其特征在于， 所述小规模数据库保持H丽模型(隐藏式马可夫模型)； 所述大规模数据库保持，在生成所述小规模数据库所保持的所述 IMM模型时的、作为学习采样的声音单元。
12. —种声音合成方法，生成符合声音记号以及韵律信息的合成音，其特征在于，包括合成音生成用数据选择步骤，从保持有用于生成合成音的合成音 生成用数据的小规模数据库中，选择被生成的合成音最符合声音记号以及韵律信息的合成音生成用数据；符合声音单元选择步骤，从大规模数据库中选择，与在所述合成 音生成用数据选择步骤选择的所述合成音生成用数据相对应的、且被 生成的合成音最符合所述声音记号以及所述韵律信息的声音单元，所 述大规模数据库保持众多数量的声音单元，所保持的这些声音单元比 所述小规模数据库所保持的所述合成音生成用数据多，且生成的合成 音比所述小规模数据库所保持的所述合成音生成用数据更能够详细表 现韵律信息；以及声音单元连接步骤，通过连接在所述符合声音单元选择步骤中所 选择的所述声音单元，而生成合成音。
13. —种程序，用于生成符合声音记号以及韵律信息的合成音 的程序，其特征在于，使计算机执行以下步骤合成音生成用数据选择步骤，从保持有用于生成合成音的合成音6生成用数据的小规模数据库中，选择被生成的合成音最符合声音记号 以及韵律信息的合成音生成用数据；符合声音单元选择步骤，从大规模数据库中选择，与在所述合成 音生成用数据选择步骤选择的所述合成音生成用数据相对应的、且被 生成的合成音最符合所述声音记号以及所述韵律信息的声音单元，所 述大规模数据库保持众多数量的声音单元，所保持的这些声音单元比 所述小规模数据库所保持的所述合成音生成用数据多，且生成的合成 音比所述小规模数据库所保持的所述合成音生成用数据更能够详细表现韵律信息；以及声音单元连接步骤，通过连接在所述符合声音单元选择步骤中所 选择的所述声音单元，而生成合成音。
全文摘要
一种声音合成装置，能够高速地进行声音内容的编辑，并可以容易地制作声音内容，其中包括小规模声音单元DB(101)、小规模声音单元选择部(102)、小规模声音单元连接部(103)、韵律校正部(104)、大规模声音单元DB(105)、使小规模声音单元DB(101)和大规模声音单元DB(105)相对应的对应DB(106)、声音单元候补获得部(107)、大规模声音单元选择部(108)、以及大规模声音单元连接部(109)，该声音合成装置利用小规模声音单元DB(101)来编辑合成音，并通过根据编辑结果，利用大规模声音单元DB(105)进行高音质化，从而能够容易地在移动终端上制作声音内容。
文档编号G10L13/06GK101490740SQ20078002087
公开日2009年7月22日 申请日期2007年5月11日 优先权日2006年6月5日
发明者加藤弓子, 广濑良文, 釜井孝浩 申请人:松下电器产业株式会社