用于建模语音频谱的系统和方法

专利名称：用于建模语音频谱的系统和方法
技术领域：
本发明总体涉及语音处理。更特别地，本发明涉及诸如语音编 码、话音转换和文本到语音合成的语音处理应用。
背景技术：
本部分意在提供在权利要求书中陈述的本发明的背景或上下 文。本文的描述可包括将被贯彻的概念，但前面被表达和贯彻的内 容并非是必须的。因而，除非在本文指出，在此部分所描述的并非 是在该申请中的说明书和权利要求书的现有技术，以及并非通过包 含于此部分内而承认其为现有技术。许多语音模型依赖于基于线性预测(LP)的方法，其中使用 LP系数对声道(vocal tract)进行建模。继而，使用进一步的技术对 激励信号(即，LP残差(residual))建模。下面是一些传统技术。 第一，可将激励建模为周期性脉冲(在话音语音(voiced speech )期 间)或者噪声(在非话音语音(unvoiced speech )期间)。然而，由 于话音/非话音硬决策，限制了可获得的质量。第二，可使用激励频 谱对激励建模，其将在时变的截止频率之下的激励频谱认为是话音 的，而将在该频率之上的激励频谱认为是非话音的。这种频带切分 方法能够在语音信号的许多部分上令人满意地执行，但是问题依然 出现，尤其是在具有混合的声音和噪声语音的频谱的情况下。第三， 可使用多带激励(MBE， multiband excitation )模型。在此模型中， 频谱可包括若干话音的频带和非话音的频带(多达谐波的数量)。 对于每个频带执行单独的话音/非话音决策。尽管在一些情况下是相 当可接受的，但是MBE模型的性能关于对多个频带的话音/非话音 硬决策依然具有受限的质量。第四，在波形内插(WI, waveforminterpolation)语音编码中，将激励建模为慢渐变波形(SEW, slowly evolving waveform ) 和快渐变波形 (REW， rapidly evolving waveform) 。 SEW对应于话音的贡献，而REW代表非话音的分布。 不幸的是，由于高复杂度和对于获得SEW和REW的完美分割不总 是可行，此模型受到损害。因此，希望提供 一 种改进的用于建模语音频谱的系统和方法， 以解决上面提出的许多问题。发明内容本发明的多种实施方式提供了用于以话音的和非话音的贡献 二者能够共存于某频率的方式来建模语音的系统和方法。为将复杂 度保持在适中的程度，使用三组频谱带(或者高达三种不同类型的 频带)。在一个特定实施方式中，最低频带或频带组完全是话音的， 中间频带或频带组包含话音的和非话音的贡献两者，而最高频带或 频带组是完全非话音的。此种实现在需要的场合提供了高的建模精 度，并且也以低计算负载支持较简单的情况。可使用本发明的实施 方式用于语音编码和其它语音处理应用，诸如文本到语音合成和话 音转换。本发明的多种实施方式在语音建模，尤其在较弱的话音语音的 情况下，提供了高精度，与此同时，仅承受适中的计算负载。多种 实施方式相对于传统装置也提供了在精度和复杂度之间的改进的平衡。当结合附图而考虑时，从下文的详细描述中，本发明的这些和 其它优点和特征，连同其操作的方式和组织将变得明显，其中贯穿 下文描述的若干附图，相同的单元具有相同的数字。


图1是示出了可以如何实现多种实施方式的流程图；图2是可在本发明的实现中使用的移动电话的透视图；以及图3是对图2移动电话的电话电路的示意性展现。
具体实施例方式
本发明的多种实施方式提供了用于以话音的和非话音的贡献 二者能够共存于某频率的方式来建模语音的系统和方法。为将复杂 度保持在适中的程度，使用三个频谱带集合(或者高达三种不同类 型的频带)。在一个特定实施方式中，最低频带或频带组完全是话 音的，中间频带或频带组包含话音的和非话音的贡献两者，而最高 频带或频带组是完全非话音的。此种实现在需要的场合提供了高的 建模精度，并且也以低计算负载支持较简单的情况。可使用本发明 的实施方式用于语音编码和其它语音处理应用，诸如文本到语音合 成和语音转换。
本发明的多种实施方式在语音建模，尤其在较弱的话音语音的 情况下，提供了高精度，与此同时，仅承受适中的计算负载。多种 实施方式相对于传统装置也提供了在精度和复杂度之间的改进的平衡。
图1是示出了本发明的一个特定实施方式的实现的流程图。在 图1的100，接收语音帧(例如，20毫秒帧)作为输入。在110,计 算当前帧的音高估计(pitch estimate ),并获得对在音高频率及其谐 波所采样的频谱(或激励频谱)的估计。然而，应当指出，可用不 同于音高谐波的方式对频谱采样。在120，在每个谐波频率执行调声 估计。作为对获得话音(例如，使用值1.0指出)和非话音(例如， 使用值0.0指出)之间硬决策的替代，获得"调声似然性(voicing likelihood)，，(例如，在从0.0到l.O的范围之间)。由于本质上调 声不是离散值，可将多种已知估计技术用于此过程。
在130，指明话音频带。可通过以下来对此加以实现从频谱 的低频端开始，并经过针对谐波频率的调声值，直到调声似然性下 降到预先确定的阈值(例如0.9)之下。话音频带的宽度甚至可以为 0，或者如果需要的话，话音频带可覆盖整个频谱。在140,指明非话音频带。可通过以下来对此加以实现开始于频i普的高频端，经 过针对谐波频率的调声值，直到调声似然性大于预先确定的阈值(例 如O.l)。同话音频带类似，非话音频带的宽度可以是0，或者，如 果必要的话，该频带也可覆盖整个频语。应当指出，对于话音频带 和非话音频带二者，可使用多种比例和/或范围，以及如果必要或者 需要的话，可将个别的"话音值"和"非话音值"定位在频谱的多 个部分。在150,将在话音频带和非话音频带之间的频谱区域指定为 混合频带。如同用于话音频带和非话音频带的情况，混合频带的宽 度可从0延伸到覆盖整个频谱。如果必须或者需要的话，也可用其 它方式定义混合频带。
在160,创建针对混合频带的"调声形状(voicing shape )，，。 用于执行此动作的一种选项同样地涉及〗吏用调声似然性。例如，如 果在调声估计中使用的窗口 (bins)宽于谐波间隔，那么可使用在此 点或者在下面解释的180处的内插来重定义形状。在语音编码的情 况下，可进一步处理或简化调声形状，以允许对信息的有效压缩。 在简单的情况下，可使用该频带内的线性模型。
在170，存储所获得的模型的参数(在语音编码的情况下)， 或者在话音转换的情况下，传递所获得的模型的参数用于进一步处 理或者用于语音合成。在180,基于模型参数重建频语的振幅和相位。 在话音频带中，假定相位是线性演化(evolve linearly)。在非话音 频带，相位可以是随机的。在混合频带中，可以将两种贡献组合以 实现组合的振幅和相位值，或者可使用两种单独的值来表示两种贡 献(依赖于合成技术)。在190，将频i普转换到时域。此转换可使用 例如离散傅立叶变换或正弦振荡器而发生。可通过执行线性预测合 成滤波器或者通过是用传统上已知的其它过程来将所合成的激励转 换为语音而实现语音建模的其余部分。
如同此处所讨论的，从110到170的项特别地涉及语音分析或 编码，而从180到190的项特别地涉及语音合成或解码。
除了在图1中描绘的过程，以及如同上面所讨论的，对编码和解码过程的多种变化也是可能的。例如，处理框架和参数估计算法 可不同于上面所讨论的那些。此外，可使用不同的调声检测算法， 以及每个频率窗口的宽度可以是可变的。而且，该建模仅使用混合 频带，或者可以使用代表三种不同频带类型的频带，而替代对每种 类型的一个频带的使用。依然进一步地，可用不同于上面所讨论的 方式来执行对调声形状的确定，以及合成方法的细节可以是多样的。 本发明的多种实施方式在语音建模，尤其在较弱的话音语音的 情况下，提供了高精度，与此同时，仅承受适中的计算负载。多种 实施方式相对于传统装置也提供了在精度和复杂度之间的改进的平 衡。
实现本发明的多种实施方式的设备可使用多种传输技术来通
信，传输技术包括但不限于码分多址(CDMA)、全球移动通信系 统(GSM)、通用移动通信系统(UMTS)、时分多址(TDMA)、 频分多址(FDMA)、传输控制协议/因特网协议(TCP/IP)、短消 息传送服务(SMS)、多媒体消息传送服务(MMS)、电子邮件、 即时消息传送服务(IMS)、蓝牙、IEEE802.il等。通信设备可使 用包括但不限于射频、红外、激光、线缆连接及其类似的多种介质 而通信。
图2和3示出了其中可实现本发明的一种代表性移动电话12。 然而，应当理解，本发明并非意在限制于移动电话12或者其它电子 设备的一种特定类型。图2和3的移动电话12包括外壳30、液晶显 示器形式的显示器32、键区34、麦克风36、耳机38、电池40、红 外端口42、天线44、根据本发明的实施方式的UICC形式的智能卡 46、读卡器48、无线电接口电路52、编解码器电路54、控制器56 和存储器58。单独的电路和单元全都是现有技术中(例如，Nokia 系列的移动电话中)公知的类型。
在方法步骤的 一般上下文中描述了本发明，通过包括诸如程序 代码的由在网络环境中的计算机执行的计算机可执行指令的程序产 品，可将其实现于一种实施方式。 一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结 构等。同数据结构相关联的计算机可执行指令，以及程序模块，代
指令或相关联的数据结构的特定序列代表了用于实现在此类步骤中 描述的功能的对应活动的例子。
可用标准编程技术，使用基于规则的逻辑以及用于实现多种动
作的其它逻辑，实现本发明的软件和web实现。也应当指出，此处 以及在权利要求书中所使用的单词"组件"和"模块"意在包括使 用一行或多行软件代码的实现，和/或硬件实现，和/或接收手工输入 的装置。
已经为了示出和描述的目的而展现了本发明的实施方式的前 述描述。并非意在穷尽或限制本发明于所公开的精确形式，以及按 照上述教导，调整和变化是可能的，或者从本发明的实践中可获得 调整和变化。选择和描述实施方式以便解释本发明的原则及其实际 应用，以允许所属领域技术人员来在多种实施方式中用适合于特定 使用目的的多种调整来利用本发明。
权利要求
1. 一种获得语音帧模型的方法，包括获得对所述语音帧的频谱估计；为在所估计的频谱内的每个频点分配调声似然值；标识包括具有第一集合的调声似然值的频点的至少一个话音频带；标识包括具有第二集合的调声似然值的频点的至少一个非话音频带；标识包括具有第三集合的调声似然值的频点的至少一个混合频带；创建针对频点的所述至少一个混合频带的调声形状。
2. 根据权利要求1的所述方法，其中所述至少 一 个话音频带包括具有在第 一 取值范围内的调声似然 值的频点；所述至少 一 个非话音频带包括具有在第二取值范围内的调声似 然值的频点；所述至少一个混合频带包括具有在所述至少一个话音频带和所 述至少 一 个非话音频带之间的调声似然值的频点。
3. 根据权利要求1或2的所述方法，其中在所确定的音高频率 及其谐波上采样用于所述语音帧的频谱估计。
4. 根据权利要求1-3中任一项的所述方法，进一步包括存储用 于所获得的模型的参数。
5. 根据权利要求1-4中任一项的所述方法，进一步包括向远程 设备传送用于所获得的模型的参数。
6. 根据权利要求1-5中任一项的所述方法，进一步包括进一步 处理用于所获得的模型的参数。
7. 根据权利要求1-6中任一项的所述方法，其中使用在所述至 少 一 个混合频带中的调声似然值而实现对调声形状的创建。
8. 根据权利要求1-7中任一项的所述方法，其中对调声形状的创建包括在所述至少 一个混合频带中的调声似然值之间内插值。
9. 根据权利要求1和3-8中任一项的所述方法，其中所述至少 一个话音频带、所述至少一个非话音频带和所述至少一个混合频带 中的至少其一，覆盖了频点的整个频谱。
10. 根据权利要求1和3-9中任一项的所述方法，其中所述至少 一个话音频带、所述至少一个非话音频带和所述至少一个混合频带 中的至少其一，没有覆盖频点的频语的任何部分。
11. 根据权利要求1-7中任一项的所述方法，其中所述至少一个 话音频带、所述至少一个非话音频带和所述至少一个混合频带中的 每个，包括单一频带。
12. —种实现于计算机可读介质中的计算机程序产品，用于获得语音帧模型，所述计算机程序产品包括用于执行权利要求1的动 作的计算机代码。
13. —种装置，包括 处理器，以及存储器单元，其通信地连接到所述处理器，并包括用于获得语 音帧模型的计算机代码，所述存储器单元包括用于获得对所述语音帧的频谱的估计的计算机代码；用于为在所估计的频谱内的每个频点分配调声似然值的计算机代码；用于标识包括具有在第 一 取值范围内的调声似然值的频点的至 少 一 个话音频带的计算机代码；用于标识包括具有在第二取值范围内的调声似然值的频点的至 少 一 个非话音频带的计算机代码；用于标识包括具有在所述至少一个话音频带和所述至少一个非 话音频带之间的调声似然值的频点的至少 一 个混合频带的计算机代 码；以及用于创建针对频点的所述至少 一 个混合频带的调声形状的计算机代码。
14. 根据权利要求13的所述装置，其中所述至少 一 个话音频带包括具有在第 一 取值范围内的调声似然 值的频点；所述至少一个非话音频带包括具有在第二取值范围内的调声似 然值的频点；以及所述至少一个混合频带包括具有在所述至少一个话音频带和所 述至少 一 个非话音频带之间的调声似然值的频点。
15. 根据权利要求13或14的所述装置，其中在所确定的音高 频率及其谐波上采样用于所述语音帧的频谱估计。
16. 根据权利要求13-15中任一项的所述装置，其中使用在至少 一个混合频带中的话音似然值而实现对所述调声形状的所述创建。
17. 根据权利要求13以及权利要求15-16中任一项的所述装置， 其中所述至少一个话音频带、所述至少一个非话音频带和所述至少 一个混合频带中的至少其 一 ，覆盖了频点的整个频谱。
18. 根据权利要求13以及权利要求15-17中任一项的所述装置， 其中所述至少一个话音频带、所述至少一个非话音频带和所述至少 一个混合频带中的至少其一 ，没有覆盖频点的频谱的任何部分。
19. 一种装置，包括用于获得对语音帧的频谱的估计的装置； 用于为在所估计的频谱内的每个频点分配调声似然值的装置； 用于标识包括具有第 一集合的调声似然值的频点的至少一个话 音频带的装置；用于标识包括具有第二集合的调声似然值的频点的至少 一 个非 话音频带的装置；用于标识包括具有第三集合的调声似然值的频点的至少 一 个混 合频带的装置；用于创建针对频点的所述至少 一 个混合频带的调声形状的装置。
20. 根据权利要求19的所述装置，其中所述至少 一 个话音频带包括具有在第 一 取值范围内的调声似然 值的频点；所述至少一个非话音频带包括具有在第二取值范围内的调声似 然值的频点；以及所述至少一个混合频带包括具有在所述至少一个话音频带和所 述至少 一 个非话音频带之间的调声似然值的频点。
21. —种用于合成在频语上的语音帧模型的方法，包括 基于所述频语的参数而重建所述频语的振幅和相位值，所述频语包括至少一个话音频带，至少一个非话音频带和至少一个混合频 带，所述话音频带包括具有第一集合的调声似然值的频点，所述非 话音频带包括具有第二集合的调声似然值的频点，所述混合频带包 括具有第二集合的调声似然值的频点；以及 将所述频谱转换到时域。
22. 根据权利要求21的所述方法，其中使用傅立叶变换将所述 频语转换到时域。
23. 根据权利要求21的所述方法，其中使用正弦振荡器将所述 频i普转换到时域。
24. 根据权利要求21-23中任一项的所述方法，其中，为了重建 所述频谱，将针对所述至少一个话音频带的相位值假定为线性演化。
25. 根据权利要求21-24中任一项的所述方法，其中，为了重建 所述频语，将针对所述至少 一个非话音频带的相位值假定为随机的。
26. 根据权利要求21-25中任一项的所述方法，其中，为了重建 所述频谱，针对所述至少 一 个混合频带的振幅和相位值包括针对话 音贡献和非话音贡献的各自的振幅和相位值的组合。
27. 根据权利要求21-25中任一项的所述方法，其中，为了重建 所述频错，针对所述至少 一 个混合频带的振幅和相位值的每个包括 两个单独的值。
28. 根据权利要求21-27中任一项的所述方法，其中所述至少一个话音频带、所述至少一个非话音频带和所述至少一个混合频带中 的每个，包括单一频带。
29. —种实现于计算机可读介质中的计算机程序产品，用于合 成在频谱上的语音帧模型，所述计算机程序产品包括用于执行权利 要求21的动作的计算机代码。
30. —种装置，包括 处理器，以及存储器单元，其通信地连接到所述处理器，并包括用于合成在 频镨上的语音帧模型的计算机代码，所述存储器单元包括用于基于所述频谱的参数而重建所述频谱的振幅和相位值的计 算机代码，所述频谱包括至少一个话音频带，至少一个非话音频带 和至少 一 个混合频带，所述话音频带包括具有第 一 集合的调声似然 值的频点，所述非话音频带包括具有第二集合的调声似然值的频点， 所述混合频带包括具有第二集合的调声似然值的频点；以及用于将所述频谱转换到时域的计算机代码。
31. 根据权利要求30的所述装置，其中，为了重建所述频谱， 针对所述至少 一 个非话音频带的相位值是随机的。
32. 根据权利要求30的所述装置，其中，为了重建所述频谱， 针对所述至少 一 个混合频带的振幅和相位值包括针对话音贡献和非 话音贡献的各自的振幅和相位值的组合。
33. 根据权利要求30-32中任一项的所述装置，其中所述至少一 个话音频带、所述至少一个非话音频带和所述至少一个混合频带中 的每个，包括单一频带。
34. —种装置，包括用于基于所述频谱的参数而重建所述频谱的振幅和相位值的装 置，所述频谱包括至少一个话音频带，至少一个非话音频带和至少 一个混合频带，所述话音频带包括具有第 一 集合的调声似然值的频 点，所述非话音频带包括具有第二集合的调声似然值的频点，所述 混合频带包括具有第二集合的调声似然值的频点；以及用于将所述频谱转换到时域的装置。
35.根据权利要求34的所述装置，其中，为了重建所述频谱， 针对所述至少 一 个混合频带的振幅和相位值包括针对话音贡献和非 话音贡献的各自的振幅和相位值的组合。
全文摘要
一种用于以话音贡献和非话音贡献二者能够共存于某频率的方式建模语音的系统和方法。在多种实施方式中，使用三种频带(或高达三种不同类型的频带)。在一个实施方式中，最低频带或频带组完全是话音的，中间频带或频带组包含话音贡献和非话音贡献两者，而最高频带或频带组是完全非话音的。可将本发明的实施方式用于语音编码和其它语音处理应用。
文档编号G10L19/08GK101536087SQ200780041119
公开日2009年9月16日 申请日期2007年9月26日 优先权日2006年11月6日
发明者J·尼尔米南, S·伊玛南 申请人:诺基亚公司