声音处理系统、声音处理程序以及声音处理方法

专利名称：声音处理系统、声音处理程序以及声音处理方法
技术领域：
本发明涉及将以源语言形式输入的声音数据变换成目的语言而进 行声音输出的技术。
背景技术：
近年来，随着国际间的交流繁盛，多语言交流的必要性增加，从 而为了实现多语言交流而需要多语言通译。作为实现多语言交流的手 段，伴随计算机的处理能力提高和大容量数据库利用，声音识别技术 以及自然语言处理技术、特别是针对文本的机械翻译技术的高速化以 及高精度化等得到了进步。进而，声音合成技术的高品质化得到了进 步，可以实现利用这些技术的多语言的声音翻译装置(例如参照专利 文献l)。
在声音翻译装置中，公开出如下的技术为了提高翻译的正确性， 根据重要语句规则抽取条件，可以判定所输入的源语言信息的重要部 分，根据判定结果设定翻译精度。并且根据所设定的精度，将源语言 信息翻译成以目的语言记述的对译语言信息(例如参照专利文献2 )。
另外，在声音翻译系统中，公开出如下的技术为了提高声音质 量，从源语言的输入声音抽取说话者的音质特征，测量与目的语言声 音的类似性，根据所得到的声质类似性测量结果，合成出与源语言声 音的声质比较类似的目的语言声音(例如参照专利文献3)。
专利文献1:专利公开2005 - 141759号公报
专利文献2:专利/>开2004 -355118号7>才艮
专利文献3:专利〃>开2006 -330298号7>净艮
另外，上述的以往技术是通过测量所输入的源语言的声音的音质， 并控制目的语言的声音合成部而实现的。另外，根据输入源语言的重要度的判定结果而翻译成目的语言。但是，在以往的声音翻译系统中， 不存在自动地变换声音的韵律特征的技术，并且未利用输入输出声音 的韵律特征模式与标准的韵律特征模式的差分信息，所以不能得到充 分的精度。
本发明的目的在于提供一种声音翻译系统，利用所输入的源语言 声音的韵律特征，并以更高的正确性且更自然的目的语言进行输出。

发明内容
本发明的代表性的一个方式的声音翻译系统接受基于第l语言的
源声音的输入，将上述输入的内容翻译成第2语言而以声音形式输出， 具备输入处理部，接受上述源声音的输入，根据上述源声音生成作 为基于上述第1语言的文本的源语言文本以及上述源声音的韵律信
息；翻译部，生成将上述源语言文本从上述第1语言翻译成上述第2
语言的对译文；韵律变换信息，包括上述第l语言的韵律信息以及上 述第2语言的韵律信息的对应关系；韵律特征变换部，根据上述韵律 变换信息，将上述源声音的韵律信息变换成上述输出的声音的韵律信 息；以及声音合成部，利用根据上述输出的声音的韵律信息合成的声 音，输出上述对译文。
根椐本发明的一个方式，可以输出基于所输入的第l语言(源语 言)的声音的韵律信息的第2语言(目的语言)的声音。


图l是示出本发明的第1实施方式的声音翻译装置的结构的图。 图2是示出本发明的第1实施方式的各结构的处理的关系的图。 图3是示出本发明的第1实施方式的声音翻译处理的整体的步骤 的流程图。
图4是示出本发明的第1实施方式的输入处理部的结构的图。 图5是示出本发明的第1实施方式的韵律特征变换部的结构的图。 图6是示出本发明的第1实施方式的韵律变换数据库的结构的一个例子的图。
图7是示出本发明的第1实施方式的韵律特征变换部的处理的步 骤的流程图。
图8是本发明的第2实施方式的声音翻译装置的包括输入部以及 输出部的图。
图9是示出本发明的第2实施方式的声音翻译装置的输入输出画 面的一个例子的图。
标号说明
1声音翻译装置
2处理器
3主存储器
4存储部
5输入部
6输出部
10输入处理部
20翻译部
30韵律特征变换部
40韵律变换数据库
50声音合成部
60语言标准韵律集
110声音特征抽取部
120声音识别部
130语言解析部
140选择结果对象显示修正单元 150特征变更l务正部 160语言l务正变更部 310韵律特征差分测量部 320目的语言韵律特征生成部330差分变换部
340源语言标准韵律集
350目的语言标准韵律集
具体实施例方式
接下来，参照附图对本发明的实施方式进行说明。 (第1实施方式)
图l是示出本发明的第1实施方式的声音翻译装置l的结构的图。
声音翻译装置1具备处理器2、主存储器3、存储部4、输入部5 以及输出部6。另外，在本发明的第1实施方式中，构成为由声音翻 译装置l处理所有的功能，但作为声音翻译系统，也可以构成为针对 每个功能由不同的计算机进行处理，也可以构成为为了保存向存储部 4保存的数据而包括其他贮存器装置。
处理器2通过处理存储在主存储器3中的程序，而执行各种处理。
主存储器3存储由处理器2执行的程序以及各种处理的执行所需 的数据。主存储器3存储输入处理部10、翻译部20、韵律特征变换部 30以及声音合成部50。输入处理部10、翻译部20、韵律特征变换部 30以及声音合成部50是由处理器2执行的程序。
输入处理部IO对所输入的源语言声音进行处理。翻译部20对所 输入的源语言声音进行翻译(通译)。另外，翻译部20包括方言等同 一语言间的变换。
韵律特征变换部30对所输入的源语言声音进行解析，而抽取韵律 的特征。进而，根据所抽取的韵律特征以及目的语言的标准韵律，将 所输入的源语言声音的韵律变换成目的语言的韵律。
声音合成部50根据由韵律特征变换部30变换后的目的语言的韵 律，合成目的语言的声音。
存储部4保存本发明的声音翻译处理中所需的程序以及数据。保 存在存储部4中的程序在执行时被载入主存储器3。在保存于存储部4 中的数据中，包括韵律变换数据库40以及语言标准韵律集60。韵律变换数据库40保存有成为翻译的对象的语言间的韵律的对 应信息。语言标准韵律集60是包括与本发明的声音翻译装置1对应的 语言的文章的巨大的文本数据。另外，在进行本发明的说明的情况下， 将源语言(输入)的语言标准韵律集60设为源语言标准韵律集340， 将目的语言(输出)的语言标准韵律集60设为目的语言标准韵律集成 350。
输入部5接受声音信息以及文本信息等输入。具体而言，包括接 受声音的输入的麦克风、以及接受文本信息等的输入的键盘等。
输出部6输出声音信息以及文本信息等。具体而言，包括输出声 音信息的扬声器、以及显示翻译结果等的通用显示器等。
图2是说明基于本发明的第1实施方式的各结构的处理的关系的图。
在本发明的声音翻译装置1中，由输入处理部IO接受输入语言(第 l语言)的源声音数据。输入处理部IO将所输入的源声音数据变换成 文本，向翻译部20以及韵律特征变换部30提交变换结果。在后面， 使用图4对输入处理部10的结构进行详细说明。
翻译部20将从源声音数据变换后的基于源语言的文本翻译成目 的语言(第2语言)。韵律特征变换部30根据保存在韵律变换数据库 40中的数据，对输入语言的声音数据的韵律特征模式进行解析，生成 目的语言的声音数据的韵律特征模式。在后面，使用图5对韵律特征 变换部30的结构进行详细说明。韵律是利用声音的长、短、辅音、原 音或重音的排列的方式来表示的，韵律特征模式是抽取韵律的特征而 得到的。
声音合成部50根据利用由翻译部20得到的翻译结果和由韵律特 征变换部30生成的韵律特征模式合成目的语言的声音。然后，从输出 部6输出所合成的目的语言声音。
图3是示出本发明的第1实施方式的声音翻译处理的整体的步骤 的流程图。
在本发明的第1实施方式的声音翻译处理中，首先，声音翻译装置1的处理器2执行输入处理部10，从而执行源语言声音输入处理 (S2)。在源语言声音输入处理中，接受从输入部5输入的源语言声 音，将所输入的源语言声音变换成易于解析。具体而言，将声音信息 变换成文本，或者从声音信息抽取韵律信息。
如果源语言声音输入处理结束，则处理器2通过执行翻译部20， 执行目的语言翻译处理(S3)。在目的语言翻译处理中，根据文本变 换后的源语言声音信息，翻译成目的语言。从源语言翻译成目的语言 的技术利用既存的技术。
如果源语言声音输入处理以及目的语言翻译处理结束，则处理器 2通过执行韵律特征变换部30，执行目的语言韵律特征生成处理(S4 )。 在目的语言韵律特征生成处理中，首先，根据在源语言声音输入处理 中抽取的输入语言的声音数据的韵律信息，解析韵律特征模式。然后，
根据所解析出的韵律特征模式以及通过目的语言翻译处理翻译后的目 的语言的翻译结果，生成目的语言的声音信息的韵律信息。在后面， 使用图6对目的语言韵律特征生成处理进行详细说明。
最后，处理器2通过执行声音合成部50，合成所翻译出的目的语 言的声音(S5)。具体而言，将通过目的语言翻译处理得到的向目的
语言的翻译结果变换成声音信息，在变换后的声音信息中根据在目的 语言韵律特征生成处理中生成的韵律信息合成声音信息。
图4是示出本发明的第1实施方式的输入处理部IO的结构的图。 输入处理部IO构成为包括声音特征抽取部110、声音识别部120、
语言解析部130、选择结果对象显示修正单元140、特征变更修正部
150以及语言修正变更部160。
输入处理部10首先如果被输入源语言的声音，则利用声音识别部
120取得源语言的语言文本以及音素分段识别结果。音素分段是指，
针对每个音素分割所输入的声音的处理。
接下来，输入处理部10利用声音特征抽取部110，根据所输入的 源语言的声音数据以及利用声音识别部120取得的音素分段识别结 果，抽取源语言的韵律特征模式。韵律特征模式具体而言是指，音调模式、能量、重音、持续长度、或音素间的无声区间的长度等。
接下来，在输入处理部10中，根据使用声音识别部120抽取的源 语言的韵律特征模式，语言解析部130对利用声音识别部120取得的 语言文本进行解析。作为解析方法，例如有词素解析、句法解析、意 思解析处理等。
在输入处理部10中，可以利用特征变更修正部150来修正利用声 音特征抽取部IIO抽取的源语言的韵律特征模式。另外，可以利用语 言修正变更部160接受源语言的文本信息的输入，而修正利用语言解 析部130得到的语言文本的解析结果。特征变更修正部150以及语言 修正变更部160接受来自包括GUI的选择结果对象显示修正单元140 的输入，修正解析结果。在后面，使用图9对GUI的一个例子进行叙 述。
在翻译部20中，将包括利用输入处理部IO取得的源语言的语言 文本以及音素分段识别结果的信息设为输入，而翻译成所指定的目的 语言。在利用翻译部20执行的翻译处理中，可以利用一般的转换方式、 基于规则方式、统计性语言模型方式、中间语言方式等机械翻译系统 中利用的所有方法。
进而，在翻译部20中，通过利用韵律特征模式，可以判断文章中 被强调的部分，而进行更恰当的翻译。例如，对将作为源语言(第1 语言)的日文的输入文"开往东京的列车即将从3号线在9点40分发 车。"翻译成作为目的语言(第2语言)的中文的情况进行说明。在 输入文中"3号线，，被强调的情况下，与"3号线"对应的中文单词配 置于翻译文的第一关注位置。另外，在输入文中"9点40分"被当作 焦点的情况下，所对应的中文单词可以配置于翻译文的第一关注位置。
图5是示出本发明的第1实施方式的韵律特征变换部30的结构的图。
韵律特征变换部30包括韵律特征差分测量部310、差分变换部330 以及目的语言韵律特征生成部320。
韵律特征差分测量部310首先接受从输入处理部10的声音特征抽取部110或特征变更修正部150取得的源语言的韵律特征模式和通过 语言解析部130或语言修正变更部160得到的源语言的句法解析结果。 韵律特征差分测量部310参照源语言标准韵律集340，测量源语言的 韵律特征模式和标准韵律模式的差分。具体而言，针对音调模式、能 量、重音、持续长度、音素间的无声区间的长度、或输入文整体水平 的韵律特征模式等，对源语言的韵律特征模式与标准韵律模式进行比 较。接下来，差分变换部330接受利用翻译部20翻译成目的语言的结 果和源语言的韵律差分测量分析结果的输入。然后，根据韵律变换数 据库40，取得最恰当的目的语言的韵律特征模式。韵律变换数据库40 例如可以实现成基于集的变换表，在后面利用图6来进行叙述。图6是示出本发明的第l实施方式的韵律变换数据库40的结构的 一个例子的图。韵律变换数据库40将源语言的语言解析向量、源语言的韵律差分 解析向量以及目的语言的语言解析向量作为检索条件(输入项目)， 将检索结果(输出项目)设为目的语言的韵律差分解析向量。韵律差 分解析向量是指，对构成韵律特征模式的各项目进行数值化，并将这 些数值设为要素的向量。具体而言，检索条件(输入项目)包括应用领域、句型、源语言 的单词、词汇、前后环境、韵律特征解析向量、目的语言的单词、词 汇以及前后音韵环境。另一方面，检索结果(输出项目)是所映射的 目的语言的韵律差分解析向量。韵律差分解析向量包括音调模式、能 量、重音、持续长度、音素间的无声区间的长度、输入文整体水平的 韵律特征模式(平均音调、平均能量等)等信息。这样，在韵律变换数据库40中，将源语言的语言解析向量以及韵 律差分解析向量、与目的语言的语言解析向量以及韵律差分解析向量 对应关联地保存。因此，可以加上源声音数据的韵律，而取得要输出 的目的语言的韵律。另外，在韵律变换数据库40的各记录中，源语言 的单词与目的语言的单词无需成为1对1，而还有时以多个单词来对此处，在返回到图5的说明时，差分变换部330从韵律变换数据 库40，利用最大似然决定等算法取得与检索条件最适合的目的语言的 韵律差分解析向量。另外，将在后面叙述用于取得与检索条件最适合 的目的语言的韵律差分解析向量的方法。之后，将目的语言韵律差分向量和通过翻译部20得到的目的语言 的翻译结果作为输入，参照目的语言标准韵律集350，利用目的语言 韵律特征生成部320生成目的语言的韵律特征模式。接下来，对将所输入的源语言的韵律变换成目的语言的韵律的步 骤进行说明。图7是示出本发明的第1实施方式的韵律特征变换部30的处理的 步骤的流程图。本处理是通过声音翻译装置1的处理器2处理韵律特 征变换部30而执行的。处理器2首先根据源语言的韵律特征模式以及源语言的句法解析 结果，计算出输入文的与各单词单位对应的韵律特征(S31)。接下来， 计算出与各单词对应的韵律特征向量(S32)。处理器2计算出与各单词对应的韵律特征向量和与包含在源语言 标准韵律集340中的各单词对应的特征向量之间的韵律特征差分向量 (S33)。进而，根据与源语言的各单词对应的目的语言翻译结果和源 语言的韵律特征差分向量，制成韵律变换数据库的检索条件。接下来，处理器2从韵律变换数据库40检索出源语言的单词与目 的语言翻译结果的语言解析向量部分(参照图6) —致的记录，判定可否取得一致的记录(S34 )。在无法检索出 一致的记录的情况下(S34 的结果为"否，，)，执行错误处理(S36),结束变换作业。另一方面，处理器2在存在语言解析向量部分一致的记录的情况 下(S34的结果为"是")，针对从韵律变换数据库40检索出的记录 执行S35的处理。此处，在S33的处理中取得的源语言的韵律差分向 量与在之前制成的候补语言韵律差分向量的欧几里德距离最小的情况 下，将该距离定义成最小向量距离。在S35的处理中，检索成为最小向量距离的源语言韵律特征差分向量、即源语言的最大似然韵律特征差分向量。将与在S35的处理中取得的源语言的韵律差分向量的最小 向量距离对应的目的语言韵律差分向量选择成最大似然的目的语言的 韵律差分向量。接下来，处理器2使用所选择出的目的语言的韵律差分向量和包 含在目的语言标准韵律集350中的目的语言的标准特征向量，计算出 目的语言的韵律特征向量(S37)。最后，根据所生成的韵律特征向量， 利用目的语言韵律特征生成部320生成目的语言的韵律特征模式 (S38)。在进一步具体说明时，在源语言为日文、目的语言为英文的情况 下，测量出所输入的日文源声音的音调模式与标准模式的差分。根据 所测量出的差分值，利用通过在翻译部20取得的翻译结果，可以估计 出所对应的英文内容的恰当的强调模式。另外，作为另一例子，在源语言为日文、目的语言为中文的情况 下，测量出所输入的日语疑问句的韵律特征中反映的整体性的音调模 式特征与标准模式的差分。根据所测量出的差分值，可以生成所对应 的中文疑问句的恰当的音调模式。声音合成部50输入以目的语言翻译成的字符串，根据所变换后的 目的语言的韵律特征合成声音而从输出部6输出。声音合成处理利用 既存的技术，而在此不进行详细叙述。根据本发明的第1实施方式，根据所输入的源语言的韵律特征模 式，生成所输出的目的语言的韵律特征模式，合成所输出的声音信息， 从而可以实现以更自然的发声输出的声音翻译。例如，可以以与所输 入的声音信息类似的声质合成输出声音。进而，通过输入声音的重音 或声量、或者、根据强调后的单词等，即使对微细差别的差异也能够 应对。(第2实施方式)在本发明的第1实施方式中，对根据预先输入的韵律变换数据库 40翻译输入声音的情况进行了说明，但在本发明的第2实施方式中，对通过由利用者进行追加和更新数据，而在韵律变换数据库40中具备学习功能的情况进行说明。
另外，在本发明的第2实施方式中，针对与本发明的第l实施方式共同的内容，恰当省略说明。
图8是说明本发明的第2实施方式的声音翻译装置1的输入部5以及输出部6的图。
本发明的第2实施方式的声音翻译装置1包括输入输出画面DIO、麦克风的输入部D20、麦克风的音量调整部D30、扬声器输出部D40、以及扬声器的音量调整部D50。
输入输出画面D10为触摸面板，是受理韵律变换数据库40的记录的显示、变更以及追加的GUI接口。输入输出画面D10如上所述还可以作为向第1实施方式的特征变更修正部150以及语言修正变更部160输入修正项目的GUI发挥功能。
在声音翻译装置l中，向麦克风的输入部D20连接麦克风，使用麦克风的音量调整部D30调整音量。进而，向扬声器输出部D40连接扬声器，而使用扬声器的音量调整部D50调整音量。
图9是示出本发明的第2实施方式的声音翻译装置1的输入输出画面D10的一个例子的图。
输入输出画面D10具备源语言种类选择按钮1501、目的语言种类选择按钮1502、翻译按钮1503、再现按钮1504、源语言输入显示部1505、目的语言变换结果显示部1506、目的语言变换结果选择部1507、以及更新按钮1508。
源语言种类选择按钮1501选择从声音翻译装置1的麦克风的输入部D20输入的源语言声音的源语言的种类。目的语言种类选择按钮1502选择翻译源语言的目的语言。
翻译按钮1503执行翻译。在再次希望输出声音信息的情况下操作再现按钮1504。
源语言输入显示部1505显示利用输入处理部IO对从声音翻译装置1的麦克风的输入部D20输入的源语言声音进行处理而得到的结果。在源语言输入显示部1505中，可以变更所输出的内容。通过变更源语言输入显示部1505的内容，并操作翻译按钮1503，可以利用翻译部20以及韵律特征变换部30将输入修正后的源语言的语言解析结果以及韵律特征模式从源语言的声音内容翻译成目的语言。
另外，在目的语言变换结果显示部1506中，作为翻译部20以及韵律特征变换部30的处理结果，显示出与目的语言的翻译结果对应的韵律特征模式。另外，可以在目的语言变换结果显示部1506中，显示多个目的语言变换结果。利用者通过选择最佳的目的语言变换结果，并操作所对应的目的语言变换结果选择部1507，可以使所选择的韵律特征模式反映到输出结果。如果操作翻译按钮1503,则根据所选择的目的语言变换结果，由声音合成部50合成目的语言的声音，从扬声器输出部D40输出所合成的声音。另外，也可以变更显示在目的语言变换结果显示部1506上的内容自身。
进而，如果操作更新按钮1508，则可以使在源语言输入显示部1505和/或目的语言变换结果显示部1506上变更的内容反映到韵律变换数据库40。
根据本发明的第2实施方式，通过修正基于输入处理部10的处理结果以及基于韵律特征变换部30的处理结果，可以使韵律变换数据库40学习到修正事项，而进一步提高翻译的精度。
权利要求
1. 一种声音处理系统，接受基于第1语言的源声音的输入，将上述输入的内容变换成第2语言而以声音形式输出，其特征在于，具备输入处理部，接受上述源声音的输入，根据上述源声音生成作为基于上述第1语言的文本的源语言文本以及上述源声音的韵律信息；翻译部，生成将上述源语言文本从上述第1语言变换成上述第2语言的对译文；韵律变换信息，包括上述第1语言的韵律信息以及上述第2语言的韵律信息的对应关系；韵律特征变换部，根据上述韵律变换信息，将上述源声音的韵律信息变换成上述输出的声音的韵律信息；以及声音合成部，利用根据上述输出的声音的韵律信息合成的声音，输出上述对译文。
2. 根据权利要求l所述的声音处理系统，其特征在于 上述声音处理系统保存包括上述第l语言的标准的韵律信息的第1标准韵律信息、以及包括上述第2语言的标准的韵律信息的第2标 准韵律信息，上述韵律特征变换部根据上述第l标准韵律信息，取得上述源声音的韵律信息与上述 第l语言的标准的韵律信息之间的差分信息，根据上述对译文以及上述源声音的韵律信息的差分信息，从上述 韵律变换信息，检索上述第2语言的韵律信息，根据上述第2标准韵律信息，取得上述检索出的第2语言的韵律 信息与上述第2语言的标准的韵律信息之间的差分信息，根据上述取得的第2语言的韵律信息的差分信息，生成上述输出 的声音的韵律信息。
3. 根据权利要求2所述的声音处理系统，其特征在于 上述韵律特征变换部通过将上述源语言文本分割成单词，并针对每个上述分割出的单词取得上述第2语言的韵律信息的差分信息，从 而生成为上述输出的声音的韵律信息。
4. 根据权利要求2所述的声音处理系统，其特征在于上述韵律 信息是通过对包括音调以及重音的各项目进行数值化后的向量来被表 示，上述韵律特征变换部在从上述韵律变换信息检索与上述第l语言 的韵律信息对应的上述第2语言的韵律信息的情况下，将表示上述源 声音的韵律信息的向量与表示上述第1语言的韵律信息的向量的欧几 里德距离成为最小的韵律信息设为检索结果。
5. 根据权利要求1所述的声音处理系统，其特征在于上述输入 处理部解析包含在上述源声音中的音素，根据上述音素的解析结果，生成上述源声音的韵律信息， 根据上述源声音的韵律信息，制成上述源语言文本。
6. 根据权利要求l所述的声音处理系统，其特征在于上述韵律 特征变换部显示包括上述对译文以及所对应的韵律信息的变换结果， 接受上述变换结果的修正，使上述修正后的变换结果反映到上述韵律 变换信息。
7. —种由包含在声音处理系统中的声音处理装置执行的声音处理 程序，该声音处理系统接受基于第1语言的源声音的输入，将上述输 入的内容变换成第2语言而以声音形式输出，其特征在于上述声音处理系统具备包括上述第1语言的韵律信息以及上述第 2语言的韵律信息的对应关系的韵律变换信息， 上述程序使上述声音处理装置执行如下步骤 接受上述源声音的输入的步骤；根据上述源声音生成作为基于上述第l语言的文本的源语言文本 以及上述源声音的韵律信息的步骤；生成将上述源语言文本从上述第l语言变换成上述第2语言的对 译文的步骤；根据上述韵律变换信息，将上述源声音的韵律信息变换成上述输出的声音的韵律信息的步骤；以及利用根据上述输出的声音的韵律信息合成的声音，输出上述对译 文的步骤。
8. 根据权利要求7所述的声音处理程序，其特征在于上述声音 处理系统保存包括上述第l语言的标准的韵律信息的第l标准韵律信 息、以及包括上述第2语言的标准的韵律信息的第2标准韵律信息，变换上述韵律信息的步骤包括根据上述第1标准韵律信息，取得上述源声音的韵律信息与上述 第l语言的标准的韵律信息之间的差分信息的步骤；根据上述对译文以及上述源声音的韵律信息的差分信息，从上述 韵律变换信息，检索上述第2语言的韵律信息的步骤；根据上述第2标准韵律信息，取得上述检索出的第2语言的韵律 信息与上述第2语言的标准的韵律信息之间的差分信息的步骤；根据上述取得的第2语言的韵律信息的差分信息，生成为上述输 出的声音的韵律信息的步骤。
9. 根据权利要求8所述的声音处理程序，其特征在于变换上述 韵律信息的步骤包括将上述源语言文本分割成单词的步骤，通过针对每个上述分割出的单词取得上述第2语言的韵律信息的 差分信息，从而生成为上述输出的声音的韵律信息。
10. 根据权利要求8所述的声音处理程序，其特征在于上述韵 律信息是利用对包括音调以及重音的各项目进行数值化后的向量来被 表示，从上述韵律变换信息检索上述第2语言的韵律信息的步骤是将表 示上述源声音的韵律信息的向量与表示上述第1语言的韵律信息的向 量的欧几里德距离成为最小的上述第2语言的韵律信息设为检索结 果。
11. 根据权利要求7所述的声音处理程序，其特征在于生成上 述源语言文本以及上述源声音的韵律信息的步骤包括解析包含在上述源声音中的音素的步骤；根据上述音素的解析结果，生成上述源声音的韵律信息的步骤；以及根据上述源声音的韵律信息，制成上述源语言文本的步骤。
12. 根据权利要求7所述的声音处理程序，其特征在于 变换上述韵律信息的步骤包括显示包括上述对译文以及所对应的韵律信息的变换结果的步骤； 接受上述变换结果的修正的步骤；以及 使上述修正后的变换结果反映到上述韵律变换信息的步骤。
13. —种声音处理系统中的声音处理方法，该声音处理系统接受 基于第l语言的源声音的输入，将上述输入的内容变换成第2语言而 以声音形式输出，其特征在于上述声音处理系统具备包括上述第l语言的韵律信息以及上述第 2语言的韵律信息的对应关系的韵律变换信息， 在上述方法中， 接受上述源声音的输入，根据上述源声音生成作为基于上述第l语言的文本的源语言文本 以及上述源声音的韵律信息，生成将上述源语言文本从上述第l语言变换成上述第2语言的对 译文，根据上述韵律变换信息，将上述源声音的韵律信息变换成上述输出的声音的韵律信息，利用根据上述输出的声音的韵律信息合成的声音，输出上述对译文。
全文摘要
本发明提供一种声音处理系统、声音处理程序以及声音处理方法，输出根据源声音的韵律信息翻译出的声音。声音翻译系统接受基于第1语言的源声音的输入，将所输入的内容翻译成第2语言而以声音形式输出，具备输入处理部，接受源声音的输入，根据源声音生成作为基于第1语言的文本的源语言文本以及源声音的韵律信息；翻译部，生成将源语言文本从第1语言翻译成第2语言的对译文；韵律变换信息，包括第1语言的韵律信息以及第2语言的韵律信息的对应关系；韵律特征变换部，根据韵律变换信息，将源声音的韵律信息变换成所输出的声音的韵律信息；以及声音合成部，利用根据所输出的声音的韵律信息合成的声音，输出对译文。
文档编号G06F17/28GK101504643SQ20081017618
公开日2009年8月12日 申请日期2008年11月14日 优先权日2008年2月7日
发明者布社辉 申请人:株式会社日立制作所