语音转换方法和系统的制作方法

专利名称：语音转换方法和系统的制作方法
技术领域：
本发明涉及声音处理方法和系统，尤其涉及对人类语音进行转换 的方法和系统。
背景技术：
语音转换是转换源说话者的语音以使其听起来类似于目标说话 者的语音。当前，语音转换可具有多种用途。 一个重要的应用是为 不同的公司构建定制的文本至语音系统，其中通过修改原始说话者的语音语料可以快速且便宜地创建具有一个公司喜好的语音的TTS 系统。语音转换也可以用于生成具体的角色语音并在语音到语音翻 译时保持说话者的 一致性，这种经过转换的语音可用于电影制作、 在线游戏、语言聊天、多媒体消息服务等各种应用中。通常存在两 个对于转换的语音的标准来评估语音转换系统的性能。转换语音的 质量以及与目标说话者的相似度。当前技术水平下的语音转换技术， 通常在质量和相似度之间找到一个较好的平衡点。同时，不同的应 用会对质量和相似度有不同的侧重。但通常而言，较好的语音质量 是语音转换技术被实际应用的一个重要条件。频谱转换是语音转换系统的关键组成部分。最流行的两种频谱转 换方法是码本映射(例如参见Abe， M.,S.Nakamura， K.Shikano, H.Kuwabara的 "Voice Conversion through Vector Quantization," Proc. ICASSP, Seattle, WA， U.S.A.， 1998, pp. 655-658 )和高斯混合模型 (GMM)转换算法(例如参见Stylianou, Y.等人的"Continuous Probabilistic Transform for Voice Conversion," IEEE Transactions on Speech and Audio Processing, v.6, no.2, March 1998， pp.131-142;以及 Kain, A.B.的 "High Resolution Voice Transformation," Ph.D. thesis, Oregon Health and Science University, October 2001 )。然而，尽管最 近已对这两种方法进行了改进，但其中引入的质量下降却仍然很严 重(例如参见Shuang, Z.W.， Z. X. Wang， Z. H. Ling， and R. H. Wang, "A Novel Voice Conversion System Based on Codebook Mapping with Phoneme-Tied Weighting," Proc. ICSLP, Jeju， Korea, 2004 )。相比專交 地，另 一 种频谱转换方法 一 一频率弯曲可以带来了较少的质量下降(例如参见Eichner， M., M. Wolff和R.Hoffmann的"Voice Characteristic Conversion for TTS Using Reverse VTLN," Pro. ICASSP, Montreal, PQ, Canada, 2004 )。为了寻找良好的频率弯曲函数，已经 进行了4艮多工作。例如，由Eide， E.和H. Gish在"A Parametric Approach to Vocal Tract Length Normalization," ICASSP 1996, Atlanta, USA, 1996中提出了一种方法，其中弯曲函数是基于每一个说话者的 第三共振峰的中值。 一些研究者通过基于属于相同音素的共振峰生 成弯曲函数扩展了此方法。然而，共振峰频率和其与声道长度(VTL) 的关系不仅依赖于说话者的声道形状和其所发出的不同音素，而且 高度依赖于上下文，同一个说话者的共振峰可能随着上下文而发生 很大变化。同一申请人的中国专利申请公开号CN101004911A公开 了 一种通过映射源说话者和目标说话者的共振峰参数生成频率弯曲 函数的新方案，其中增加了对准和选择过程，以保证选择的映射共 振峰可以很好地代表说话者之间发音的不同之处。此方案仅需要非 常小量的生成弯曲函数的训练数据，可以极大地方便其应用，而且 可以获得高质量的转换语音，同时成功地使转换语音与目标说话者 相似。虽然如此，利用该方案进行的语音转换，听众仍然能够察觉 到转换的语音和目标说话者之间的差别。这样的差异是由具体的频 镨差异引起的，它不能通过纯粹的频谱弯曲解决。在声音处理技术中，还存在其它的语音技术，例如文本到语音(TTS)技术。最流行的TTS技术被称为拼接式TTS,在其中需要 首先记录语料说话者的语音数据库，然后通过单元选择拼接说话者 的语音数据段以合成新的语音数据。在很多商业的TTS系统中，语
音数据库包含数小时的记录。最小的拼接段，即单元，可以是音节、音素，甚至是10ms的语音数据帧。在典型的拼接式TTS系统中，与由估计模型生成的韵律目标一 起列出的候选段序列驱动对最小化代价函数的单元序列的Viterbi 束搜索。该搜索旨在从候选单元中选择具有最小代价函数的单元序 列。目标代价可以包括代价分量的集合，例如/。代价，其衡量单元 的/。曲线与目标的/。曲线之间的差距；持续时间代价，其衡量单元 的持续时间与目标的持续时间之间的差距；能量代价，其衡量单元 的能量离与目标的能量之间的差距(该分量在搜索时通常并不采 用)。过渡代价可以包括两个分量，其中一个捕获跨单元结合处的 频语平滑度，另一个捕获跨频镨结合处的音调平滑度。此过渡代价 的频谱平滑度分量可以基于感知修改耳(Mel)倒谱系数之间的 Euclidian距离。目标代价分量和过渡代价分量可以使用能够手工调 节的权重相加在一起。由于合成的语音事实上是由语料说话者的语 音单元拼接的，所以通常能被认为是由语料说话者所说出的。然而， 由于很难模拟真人的语音生成过程，所以合成的语音通常被认为是 不真实的和不自然的。因此，传统的TTS系统虽然保持了说话者的 一致性，但其由于不能提供完美的目标估计而失去了人声的自然度。可见，现有技术中的语音技术都存在其自身的局限性。需要提供 一种即具有较高目标语音逼真度又具有人声的自然度的语音转换系 统。发明内容为了克服现有技术中存在的局限性，本发明提出 一种新颖的语音 转换方案，既具有较高目标语音相似度又体现了人声的自然度。根据本发明的一方面，提供一种语音转换方法。该方法包括语 音分析步骤，用于对源说话者的语音执行语音分析以获得语音信息；频谱转换步骤，用于基于语音信息执行频谱转换，至少获得与目 标说话者的语音相似的第一频谱；单元选择步骤，用于至少使用第
一频谱作为目标，基于目标说话者的语音执行单元选择；频谱替换 步骤，用于以所选择的目标说话者语音单元的频傳替代第一频谱的 至少一部分；语音重建步骤，用于至少基于替换的频谱执行语音重建。根据本发明的另一方面，提供一种语音转换系统。该系统包括 语音分析装置，用于对源说话者的语音执行语音分析以获得语音信 息；频谱转换装置，用于基于语音信息执行频谱转换，至少获得与 目标说话者的语音相似的第一频语；单元选择装置，用于至少使用 第一频镨作为目标，基于目标说话者的语音执行单元选择；频谱替 换装置，用于以所选择的目标说话者语音单元的频谱替代第一频谱 的至少一部分；语音重建装置，用于至少基于替换的频谱执行语音 重建。根据本发明的另一方面，提供一种计算机程序产品，包括当在 的程序代码。根据本发明的语音转换方案，将诸如频率弯曲的频谱转换技术和 TTS系统内的单元选择进行有机地结合，很大程度上克服了由说话 者语音的具体频谱差异引起的转换的语音和目标说话者之间的差 别。而且，在本发明中由于采用转换的源语音作为单元选择的目标， 因此最终转换语音不仅具有与目标说话者语音的良好相似度，而且 保持了人声的自然度。结合附图阅读本发明实施方式的详细描述后，本发明的其他特 点和优点将变得更加清楚。


为了对本发明实施方式的特征和优点进行详细说明，将参照以 下附图。如果可能的话，在附图和描述中使用相同或者类似的参考 标号以指代相同或者类似的部分。附图中图1示出了根据本发明一个实施方式的语音转换方法的流程图；200710163066. 2说明书第5/15页图2示意性地示出了根据本发明一种实施方式的语音转换系统 的功能框图；图3示意性示出了可以实现根据本发明的实施方式的计算设备。
具体实施方式
正如上文所述，即使应用良好的频率弯曲函数对源语音进行频率 弯曲，由于说话者语音的具体频语差异，听众仍然能够察觉到转换 的语音和目标说话者之间的差别。鉴于纯粹的诸如频率弯曲的频谱 转换难以进一步提高与目标说话者的相似度，本发明提出一种复合 式的语音转换系统，其中将诸如频率弯曲的频谱转换技术和TTS系 统内的单元选择进行有机地结合，以得到更好的语音转换系统。图1示出了根据本发明一个实施方式的语音转换方法的流程图。如图1所示，在步骤S100中，该方法的流程开始。在步骤S102中，对源说话者的语音进行语音分析以获得语音信 息。该语音信息诸如频谱包络和基频曲线信息。在步骤S104中，根据本发明的语音转换系统的原理，对源说话 者的语音应用诸如频率弯曲的频谱转换，以获得与目标说话者的语 音相似的第一频i普。通过使用频率弯曲函数转换频谱包络，本步骤是相当直接的。 假设源说话者的频谱的一帧是5YW入从目标频率轴到源频率轴的频 率弯曲函数是FfW力则转换频谱Co肌fW)是C譜^)="在步骤S106中，对音调曲线(韵律)进行韵律转换，其中主要 包括对基音频率(/。)曲线转换。例如，可以利用训练的/。调域转换 函数转换厶的均值和方差。本领域的技术人员可以理解，利用频率弯曲还可以在弯曲的频谱 上应用频谱包络均衡过滤来补偿沿着频率轴的不同能量分布。在步骤S104和S106之后，转换后的第一频谱将与目标说话者 的频谱相似，以及优选地转换后的音调曲线将与目标说话者的音调 曲线更相似。在步骤S108中，至少使用第一频谱作为估计的目标，基于目标 说话者语料库进行单元选择。这里可以采用的最小单元为 一帧语音提取的频镨和基频信息。 将其作为一个码字，而将所有码字的集合成为码本。例如，所采用 的一帧语音的帧长可以为5ms或10ms。当然，本领域的^支术人员可 以很容易地使用其他尺度的语音长度，这不对本发明构成限制。优选地，使用通过频率弯曲转换的第一频谱和转换的力曲线作 为估计的目标来从目标说话者的码本中选择合适的码字。该步骤与在拼接式文本到语音系统中的候选单元选择相似。然 而，不同指出在于，本发明以转换后的第一频语和/0曲线作为单元 选择的目标。这样的估计目标的有点在于，其比TTS系统中的由韵 律模型或者其它模型估计出的更自然。可以从转换的第一频谱和/。曲线生成目标码字的集合。如果拥 有原始语音的切分信息，则目标码字可以同时提取语境信息。然后， 可以定义在目标码字和候选的码字之间的目标代价函数。优选地， 此目标代价可以由频谱距离、韵律距离和语境距离加4又。可以通过各种频谱特征之间的距离计算频谱距离，诸如 Euclidean距离或者FFT (快速傅立叶变换)振幅频谱、FFT倒易空 间振幅频谱、MFCC (耳级频率倒谱系数)、LPC (线性预测编码)、 LSF (线性频谱频率)等距离度量，也可以采用多个距离的加权和。韵律距离可以通过线性域或者对数域/。之间的差值计算。韵律 距离也可以通过预定义的特殊策略进行计算。例如，如果两个/0值 都非零或者都为零，他们的韵律距离为零。否则，他们的韵律距离是非常大的值。也可以使用许多其它策略来进行韵律距离的计算， 例如，考虑/。导数之间的差值的策略等。如果在生成目标码字和训练备选码字时均提取了语境信息，则 可以计算目标码字和备选码字之间的语境距离。最重要的语境信息之一是码字属于哪个音素及它的邻近音素是哪个音素。距离计算策 略可以是如果两个码字属于相同音素并具有相同的邻近音素，则 它们的距离是零。如果两个码字属于相同音素但具有不同的邻近音 素，则将它们的距离设为很小的值。然而，如果两个码字属于不同 的音素，则将它们的距离设为大的值。除了目标代价外，还需要定义在两个候选码字之间的过渡代价。与目标代价类似，过渡代价也可以是频谱距离、韵律距离和语境距 离的力口斥又和。由此，通过上述选择过程，可以确定目标i兌话者语冲牛库中与转 换后的第 一频谱和/。曲线最适合的码字集合。在步骤S110中，以所选择的目标说话者语音单元的真实频谱替 代第 一频谱的至少 一部分。这样做的这主要原因是，由于所选择的目标说话者语音的是诸 如帧的基本单元，因此如果直接利用所选择的单元替换第一频谱中 该单元所对应的整个的频谱，则可能在最终得到的语音中引起严重 的不连续问题。鉴于频语的低频部分对于连续性是至关重要的，而 对改善与目标的相似度不是很重要，因此根据本发明一种优选的方 案，将第一频谱中所选单元所对应频谱的低频部分保持不变。也就 是说，在选择完合适的码字后，利用选择的码字的高于特定频率的 频谱替换第一频谱中的相应部分，而将第一频谱中低于该特定频率 的部分保持不变。根据本发明的一种优选实施方案，该特定频率在 500Hz到2000Hz之间进行选择。优选地，在步骤S112中，可以利用现有技术中的任何已知方案 对替换所得的频谱进行平滑。在步骤S114中，利用平滑后的频谱和转换的/o曲线重建语音数据。在步骤S116中，该方法的流程结束。如上所述的根据本发明一个实施方式的语音转换方法，在常规 的基于频谱转换的语音转换方法的基础上增加了单元选择步骤以及 频谱替换步骤，由此以经过频谱转换的源说话者语音频谱作为估计 目标，来选择目标说话者语料库中的诸如语音帧的单元，并完成频 谱相应部分的替换。这样，充分利用了源说话者自然的频谱特征， 并且相当大程度上保留了目标说话者的发音特点。上述语音转换方法的实施方式中，主要以频率弯曲作为频语转 换的示例性技术方案。这是因为现有的频率弯曲方案能够提供转换 语音与目标说话者语音的之间相对高的近似度。然而，这种举例并不是限制性的，因为本领域的技术人员可以理解，只要频率转换步 骤能够为后续的单元选择步骤提供良好的估计目标，就能够实现根 据本发明的技术方案。类似地，对于韵律转换中对力曲线的转换可 以利用除调域变换以外的其他任何已知的技术实现。图2示意性地示出了根据本发明一种实施方式的语音转换系统 的功能框图。其中，参考标号200表示根据本发明一个实施方式的 语音转换系统；参考标号201表示对源语音进行分析的语音分析装 置；参考标号202表示根据源语音的频谱包络进行频谱转换的频谱 转换装置，在本实施方式中频谱转换装置202采用频率弯曲技术实 现频谱转换；参考标号203表示根据源语音的曲线进行韵律转换的 装置；参考标号204表示提供目标说话者语音码本的目标语音语料 库；参考标号205表示从目标语音语料中选择适当码字单元的单元 选择装置；参考标号206表示频镨替换装置；参考标号208表示用 于根据本发明一种优选方案的频谱平滑装置；参考标号209表示进 行语音重建以获得最终转换语音的语音重建装置。如图2所示的语音转换系统类似于常规的语音转换系统，需要 在语音分析装置201中对源语音进行语音分析以将源语音分解成频 谱包络和激励(例如，/。曲线)，并且最终在语音重建装置209中， 由转换的频谱包络和激励重建转换的语音。例如，语音转换系统200 可以使用由Chazan, D., R. Hoory, A. Sagi, S. Shechtman, A. Sorin, Z.W. Shuang和R. Bakis在"High Quality Sinusoidal Modeling of Wideband Speech for the Purpose of Speech Synthesis and Modification," ICASSP 2006中提出的语音分析/重建技术，以得到加
强的复杂包络模型和音调曲线。该技术基于合成过程中的频率抖动 噪音插入和有效线谱提取，并且能够提供在分析和合成过程中的帧 对准过程以在语音操作过程中允许振幅和相位操纵，例如，音调修 正、频谱平滑、声道转换等。当然，对于本发明而言，可以采用本领域中现有的任何语音分析/重建技术来实现语音分析装置201和语 音重建装置209,其对本发明的实现不够成限制。语音转换系统200的功能实现依赖于两个操作阶段，即训练阶 段和转换阶段。训练阶段为转换阶段的操作提供必要的准备。虽然训练阶段本身并不是本发明所关注的问题所在，但是由于 本发明语音转换系统的新颖配置，其训练阶段也与常规系统有所不 同。以下对根据本发明一个实施方式的语音转换系统200的训练阶 段进行简要的示例性描述，以便本领域的技术人员更好的理解本发 明的实现方式。根据本发明一个实施方式的语音转换系统200的训练阶段可以 分为三部分1.针对频谱转换装置202所采用的频率弯曲函数训练；2. 针对目标语音语料库204和单元选择装置205进行的码本训练；3. 除了这两个主要部分外，还可以包括附加的其它训练韵律参数 训练、频谱均衡过滤训练等。1.频率弯曲函数训练如前所述，频谱转换装置202可以采用频率弯曲技术实现对源 语音频谦包络的频谱转换。频率弯曲可以补偿不同说话者之间声光谱的差值。给定一种声 音的截面谱，可以通过应用频率弯曲函数创建新的截面谱。假设源 说话者的频谱的一帧是SfWj， ^v目标频率轴到源频率轴的频率弯曲 函数是FfW)，则转换频谱ComY—是在现有技术中存在许多用于发现性能良好的频率弯曲函数的自 动训练方法。 一种方法是最大似然线性回归法，参见L.F.Uebeland和 P.C. Woodland 的 "An investigation into vocal tract lengthnormalization," EUROSPEEECH， 99， Budapest, Hungary, 1999， pp.2527-2530。然而，这种方法需要大量的训练数据集，这限制了它 在很多场合中的使用。Eichner， M., M. Wolff和R.Hoffmann的"Voice Characteristic Conversion for TTS Using Reverse VTLN," Pro. ICASSP， Montreal, PQ， Canada, 2004建议从一些预定义的单参数函数族中选 择频率弯曲函数，但是效率难以令人满意。David Sunderman和 Hermann Ney的"VTLN-Based Voice Conversion", ICSLP， 2004， Jeju， Korea, 2004采用动态编程以训练线性或者分段的线性弯曲函数，其 中动态编程使转换源频谱和目标频谱之间的距离最小化。然而，由 于输入光谱中的噪音，此方法的性能可以被极大地降低。由Eide， E.和H. Gish在 "A Parametric Approach to Vocal Tract Length Normalization," ICASSP 1996, Atlanta, USA, 1996中提出了 一 种方法，其中弯曲函数是基于每一个说话者的第三共振峰的中值。 一些研究者通过基于属于相同音素的共振峰生成弯曲函数扩展了此 方法。然而，共振峰频率和其与声道长度(VTL)的关系不仅依赖 于说话者的声道形状和其所发出的不同音素，而且高度依赖于上下 文，同一个说话者的共振峰可能随着上下文而发生很大变化。同一 申请人:的中国专利申请/〉开号CN101004911A 7>开了一种通过映射 源说话者和目标说话者的共振峰参数生成频率弯曲函数的新方案， 在此通过参考将该申请全文引入本申请。在该技术方案中增加了对 准和选择过程，以保证选择的映射共振峰可以很好地代表说话者之 间发音的不同之处。然后，映射共振峰将成为定义从目标频率轴到 源频率轴的分段线性频率弯曲函数的关键位置。提出线性插值以生 成两个邻接关键位置之间的部分，其它插值机制也可以^吏用。此方 案仅需要非常小量的生成弯曲函数的训练数据，可以极大地方便其 应用，而且可以获得高质量的转换语音，同时成功地使转换语音与 目标说话者相似。 2.码本训练目标语料库204是可以用于存储并向单元选择装置205提供码 本。码本由多个码字组成。通常一个码字由一帧语音数据而生成，该一帧语音数据例如是10ms长的语音数据。 一个码字可以用于重建 一帧语音数据。基本上有两种码字。 一种没有语境信息，其意味着每个码字仅 包含诸如频谱和基音频率的声音信息。另一种具有语音信息，-其意 味着除了声音信息之外，每个码字包含语音信息，诸如码字属于的 音素、邻近音素等。生成不具有语音信息的码本通常非常简单。仅需要逐帧对语音 数据作语音分析，并得到每帧的频谱包络和基音频率。然后，从所 有分析的帧中选择一些帧。可以简单地在固定间隔内选择一个帧来 执行选择。当然，也可以使用一些更复杂的策略执行选择。例如， 可以在那些安静或者低能段中选择更少的帧。或者可以在更快变化 段中选择更多的帧，而在稳定段中选择更少的帧。为了生成具有目标语音信息的码本，通常需要对准信息。可以 通过自动语音识别引擎执行对准，其将目标语音语料库204中语音 数据与诸如音节、音素等相应的单元对准。还可以通过听取目标语 音语料库204中的语音数据手动地添加标签，从而执行对准。利用 对准信息，可以得到一个码字的多种语音信息，诸如其属于的音 素、在音素中的位置和它的邻近音素等。这样的音素信息对于在转 换阶段中由单元选择单元205所执行的对码本单元的选择是很有用 的。3.其它训练除了上述两部分外，还可以包括附加的训练，例如韵律参^:(音 调参数)训练、频谱均衡过滤训练等。韵律训练为韵律转换装置203提供了从源说话者音调到目标说 话者音调的韵律转换函数。其中基音频率(/o)转换对于韵律转换是 至关重要的。可以通过使用应用至1og/。的线性转换对/。曲线进行调 节。因此，如果A是源/w A是目标；则log^="+Z>/0<g/^。其中 选择"和6以将源说话者/og/^。的均值和方差转换为目标说话者/og/o
的均值和方差。所以，我们可以通过计算源说话者和目标说话者/ogy^ 的均值和方差生成/。转换函数。可以将频谱包络均衡实现为对频谱的滤波器(未示出)，以补 偿沿着频率轴的不同能量分配。在训练完频率弯曲函数后，由于在 频率弯曲后计算源说话者和目标说话者的平均功率谦之间的差异曲 线，需要训练频谱均衡滤波器。然后，平滑差异曲线以得到更平滑 的作为频谱包络均衡滤波器使用的频i普滤波器。当然，本领域技术人员可以理解，为了获得更加更佳的语音转 换结果还可以在根据本发明的语音转换系统200中增加这里虽未描述但依据现有技术可以获知的任何其它处理装置，因此还可以包括 针对这些附加装置的其它附加的训练步骤。当根据本发明一个实施方式的语音转换系统200执行源语音到 目标语音的转换时，则系统进入转换阶段。首先，由语音分析装置201对源说话者的语音进行语音分析以获 得频谱包络和音调曲线信息。频谱转换装置202对源说话者的语音频谱包络进行频谱转换。如 前所述，在该实施方式中频谱转换装置202将在训练阶段所得到频 率弯曲函数应用于源说话者语音的频谦包络，以获得与目标说话者 的语音相似的第一频语。韵律转换装置203对音调曲线进行韵律转换，其中主要包括对基 音频率(/Q)曲线转换。例如，可以利用在训练阶段训练的/。转换函 数转换/。曲线。之后，韵律转换装置203将转换后的音调信息提供 给单元选择装置205和语音重建装置209,以便后续的使用。此时，通过频谱转换装置202和韵律转换装置203的转换，第 一频谱将与目标说话者的频语更相似，以及优选地转换后的音调曲 线将与目标说话者的音调曲线更相似。单元选择装置205至少使用第一频语作为估计的目标，基于由 目标语音语料库204通过前述训练过程所获得的码本进行单元选择。 在本实施方式中，优选地，单元选择装置205使用通过频率弯曲转
换的第一频谱和转换的/。曲线作为估计的目标来由目标语音语料库204通过前述训练过程所获得的码本中选择合适的码字。单元选择装置205执行与在拼接式文本到语音系统中的候选单 元选择相似的处理过程。然而，不同指出在于，本发明以转换后的 第一频谱和/。轮廓曲线作为单元选择的目标。这样的估计目标的优 点在于，其比TTS系统中的由韵律模型或者其它模型估计出的目标 更自然。单元选择装置205可以从转换的第一频谱和/。轮廓曲线生 成目标码字的集合。然后，可以定义在目标码字和候选的码字之间的目标代价函数。优选地，此目标代价可以由频谱距离、韵律距离 和语境距离加权。除了目标代价外，单元选择装置205还需要定义 在两个候选码字之间的过渡代价。与目标代价类似，过渡代价也可 以是频谱距离、韵律距离和语境距离的加权和。由此，单元选择装 置205确定目标语音语料库204中生成的码本与转换后的第一频谱 和/。轮廓曲线最适合的码字集合。接着，频谱替换装置206以所选择的目标说话者语音单元的真 实频谱替代第一频谱的至少一部分。由于所选择的目标说话者语音 的是诸如帧的基本单元，因此如果频谱替换装置206直接利用所选 择的单元替换第一频谱中该单元所对应的整个的频谱，则可能在最 终得到的语音中引起严重的中断问题。鉴于频谱的低频部分对于连 续性是至关重要的，而对改善与目标的相似度不是很重要，因此根 据本发明一种优选的方案，频谱替换装置206将第一频谱中所选单 元所对应频谱的低频部分保持不变。也就是说，在选择完合适的码 字后，频谱替换装置206利用选择的码字的高于特定频率的频谱替 换第一频谱中的相应部分，而将第一频谱中低于该特定频率的部分 保持不变。根据本发明的一种优选实施方案，该特定频率在500Hz 到2000Hz之间进行选择。优选地，频谱平滑装置20 8可以利用现有技术中的任何已知方案 对替换所得的频谱进行平滑。语音重建装置209利用平滑后的频谱和转换的力曲线重建语音 数据，由此获得最终转换的语音。如图2所示的根据本发明实施方式的语音转换系统与使用频率 弯曲的现有语音转换系统相比较，在根据本发明实施方式的语音转 换系统所获得的最终转换语音与目标说话者的相似度的得分上增加 了 20%,并在质量上的降低是可以接受的。图2所示的语音转换系统的 一 些部件对于本发明来说是可选的， 例如频谱平滑装置208，其作用是消除用于进行语音重建的频谱包络 的细小毛刺和跳变，使其更加平滑，从而能够获得性能更加优越的 最终转换语音。虽然在图2所示实施方式中没有进一步列举，但是 本领域的技术人员可以在实现根据本发明的语音转换系统时增加其 它的部件，以便进一步改进最终转换语音的性能，例如消除附加噪 声、获得某种特殊音效等。图3示意性示出了可以实现根据本发明的实施方式的计算设备。图3中所示的计算机系统包括CPU(中央处理单元)301、 RAM(随 机存取存储器)302、 ROM(只读存储器)303、系统总线304,硬盘控 制器305、键盘控制器306、串行接口控制器307、并行接口控制器 308、显示器控制器309、硬盘310、键盘311、串行外部设备312、 并行外部设备313和显示器314。在这些部件中，与系统总线304 相连的有CPU301、 RAM 302、 ROM 303、硬盘控制器305、键盘控 制器306，串行接口控制器307，并行接口控制器308和显示器控制 器309。硬盘310与硬盘控制器305相连，键盘311与键盘控制器 306相连，串行外部设备312与串行接口控制器307相连，并行外部 设备313与并行接口控制器308相连，以及显示器314与显示器控 制器309相连。图3中每个部件的功能在本技术领域内都是众所周知的，并且图 3所示的结构也是常规的。这种结构不仅用于个人计算机，而且用于 手持设备，如PalmPC、 PDA(个人数据助理)、移动电话等等。在 不同的应用中，可以向图3中所示的结构添加某些部件，或者图6 中的某些部件可以被省略。图3中所示的整个系统由通常作为软件
存储在硬盘310中、或者存储在EPROM或者其它非易失性存储器 中的计算机可读指令控制。软件也可从网络(图中未示出)下载。 或者存储在硬盘310中，或者从网络下载的软件可被加载到RAM 302中，并由CPU301执行，以便完成由软件确定的功能。尽管图3中描述的计算机系统能够支持根据本发明的语音转换 方案，但是该计算机系统只是计算机系统的一个例子。本领域的熟 练技术人员可以理解，许多其它计算机系统设计也能实现本发明的 实施方式。本发明还可以实现为例如由图3所示计算机系统所使用的计算 机程序产品，其可以包含有用于实现根据本发明的语音转换方法的 代码。在使用之前，可以把代码存储在其它计算机系统的存储器中， 例如，存储在硬盘或诸如光盘或软盘的可移动的存储器中，或者经 由因特网或其它计算机网络进行下载。虽然结合附图描述了本发明的实施方式，但是本领域技术人员可 以在所附权利要求的范围内做出各种变形或修改。
权利要求
1. 一种语音转换方法，包括语音分析步骤，用于对源说话者的语音执行语音分析以获得语音信息；频谱转换步骤，用于基于所述语音信息执行频谱转换，至少获得与目标说话者的语音相似的第一频谱；单元选择步骤，用于至少使用所述第一频谱作为目标，基于所述目标说话者的语音执行单元选择；频谱替换步骤，用于以所选择的目标说话者语音单元的频谱替代所述第一频谱的至少一部分；语音重建步骤，用于至少基于替换的频谱执行语音重建。
2. 根据权利要求1所述的方法，其中 通过频率弯曲执行所述频谱转换步骤。
3. 根据权利要求1所述的方法，还包括韵律转换步骤，用于基于所述语音信息执行韵律转换，至少获得与所述目标说话者的语音相似的第 一 音调曲线；其中在所述单元选择步骤中，使用所述第一频谱和所述第一音 调曲线作为目标，基于所述目标说话者的语音^丸行单元选择；以及在所述语音重建步骤中，基于替换的频谱和所述第一音调曲线执行语音重建。
4. 根据权利要求1所述的方法，其中在所述频谱替换步骤中，利用所选择单元的高于特定频率的频 谱替换所述第一频谱中的相应部分，而将所述第一频谱中低于所述 特定频率的部分保持不变。
5. 根据权利要求4所述的方法，其中 所述特定频率选择在500Hz至2000Hz之间。
6. 根据权利要求1所述的方法，还包括频镨平滑步骤，用于对所述频谱替换步骤中获得的替换的频傳 进行频谱平滑；其中在所述语音重建步骤中，基于平滑的频谱和所述第一音调曲 线执行语音重建。
7. 根据权利要求1 - 6中任一权利要求所述的方法，其中 所述语音信息包括频谱包络和音调曲线信息。
8. —种语音转换系统，包括语音分析装置，用于对源说话者的语音执行语音分析以获得语音 信息；频镨转换装置，用于基于所述语音信息执行频谱转换，至少获得 与目标说话者的语音相似的第一频谱；单元选择装置，用于至少使用所述第一频谱作为目标，基于所 述目标说话者的语音执行单元选择；频语替换装置，用于以所选择的目标说话者语音单元的频谱替代 所述第一频谱的至少一部分；语音重建装置，用于至少基于替换的频谱执行语音重建。
9. 根据权利要求8所述的系统，其中 所述频谱转换装置通过频率弯曲执行频谱转换。
10. 根据权利要求8所述的系统，还包括韵律转换装置，用于基于所述语音信息执行韵律转换，至少获得 与所述目标说话者的语音相似的第 一音调曲线；其中所述单元选择装置使用所述第一频谱和所述第一音调曲线 作为目标，基于所述目标说话者的语音执行单元选择；以及所述语音重建装置基于替换的频谱和所述第一音调曲线执行语 音重建。
11. 根据权利要求8所述的系统，其中所述频谱替换装置利用所选择单元的高于特定频率的频谱替换 所述第一频谱中的相应部分，而将所述第一频谱中低于所述特定频 率的部分保持不变。
12. 根据权利要求11所述的系统，其中 所述特定频率选择在500Hz至2000Hz之间。
13. 根据权利要求8所述的系统，还包括频谱平滑装置，用于对所述频谱替换步骤中获得的替换的频谱 进行频i普平滑；其中所述语音重建装置基于平滑的频谱和所述第一音调曲线执 行语音重建。
14. 根据权利要求8-13中任一权利要求所述的系统，其中 所述语音信息包括频谱包络和音调曲线信息。
15. —种计算机程序产品，包括当在计算机设备上对其进行执行 时用于执行根据权利要求1-7任一权利要求的语音转换方法的程序 代码。
全文摘要
本发明提供一种语音转换方法。该方法包括语音分析步骤，用于对源说话者的语音执行语音分析以获得语音信息；频谱转换步骤，用于基于语音信息执行频谱转换，至少获得与目标说话者的语音相似的第一频谱；单元选择步骤，用于至少使用第一频谱作为目标，基于目标说话者的语音执行单元选择；频谱替换步骤，用于以所选择的目标说话者语音单元的频谱替代第一频谱的至少一部分；语音重建步骤，用于至少基于替换的频谱执行语音重建。本发明还提供相应的语音转换系统和计算机程序产品。本发明的语音转换方案将频率弯曲技术和TTS系统内的单元选择进行有机地结合，使得最终转换语音不仅具有与目标说话者语音的良好相似度，而且体现了人声的自然度。
文档编号G10L13/08GK101399044SQ20071016306
公开日2009年4月1日 申请日期2007年9月29日 优先权日2007年9月29日
发明者双志伟, 孟繁平, 勤 施, 勇 秦 申请人:国际商业机器公司