语音信号发送方法及系统、接收方法及系统的制作方法

语音信号发送方法及系统、接收方法及系统的制作方法
【专利摘要】本发明公开了一种语音信号发送方法及系统，该发送方法包括：确定待发送的连续语音信号对应的文本内容；根据所述文本内容确定各合成单元的语音合成参数模型；拼接各合成单元的语音合成参数模型得到语音合成参数模型序列；确定所述语音合成参数模型序列对应的序号串；将所述序号串发送给接收端，以使所述接收端根据所述序号串恢复所述连续语音信号。本发明还公开了一种语音信号接收方法及系统。利用本发明，可以在保证语音恢复音质损失最小化的前提下实现极低码流率的信号传输。
【专利说明】语音信号发送方法及系统、接收方法及系统
【技术领域】
[0001]本发明涉及信号传输【技术领域】，具体涉及一种语音信号发送方法及系统、以及一种语音信号接收方法及系统。
【背景技术】
[0002]随着互联网的普及和便携式设备的推广，各种基于手持设备的聊天软件应运而生。语音交互的自然人性化是其他交互手段无法超越的，特别是在不利于手写按键输入的手持小屏设备应用上。对此很多产品都支持语音交互功能，将某终端接收到的语音信号传输至目的端，如腾讯推出的微讯产品即支持Voice Message的语音消息传输功能。然而直接传输的语音信号数据量往往极大，在互联网或通讯网等按流量收费的信道中给用户带来了较大的经济负担。显然如何在不影响语音质量的前提下尽可能压缩传送的数据量是提高语音信号传输应用价值的前提条件。
[0003]针对语音信号传输的问题，研究人员尝试了多种语音编码方法，对语音信号进行数字量化和压缩传输，在提高语音信号的恢复话质条件下降低编码码率并提升传输效率。目前常用的语音信号压缩方法有波形编码和参数编码等。其中:
[0004]波形编码是将时域的模拟信号波形经过取样、量化、编码，形成数字信号，这种编码方式具有适应能力强、话音质量高的优点。但由于需要保持恢复原有语音信号的波形形状，这种方案码流率要求较高，在高于16kb/s才能取得较好的音质。
[0005]参数编码即从原始语音信号中提取表征语音发音特征的参量，并对该特征参量进行编码。这种方案的目标在于保持原始语音的语意，保证可懂度。其优点在于码流率较低，但恢复音质受损较多。
[0006]在传统的语音通信时代，往往采用时间计费方式，编码方法主要考量算法延时和通信质量；而在移动互联时代，语音作为数据信号的一种，通常使用流量来收取费用，编码语音码流率的高低将直接影响用户使用的花费。此外，传统电话信道语音只使用8k采样率，属于窄带语音，音质受损且存在上限。显然如果继续使用传统编码方式处理宽带或超宽带语音，需要增加码流率，成倍提升流量消耗。

【发明内容】

[0007]本发明实施例一方面提供一种语音信号发送方法及系统，在保证语音恢复音质损失最小化的前提下实现极低码流率的信号传输。
[0008]本发明实施例另一方面提供一种语音信号接收方法及系统，以降低语音恢复音质损失。
[0009]为此，本发明提供如下技术方案:
[0010]一种语音信号发送方法，包括:
[0011]确定待发送的连续语音信号对应的文本内容；
[0012]根据所述文本内容确定各合成单元的语音合成参数模型；[0013]拼接各合成单元的语音合成参数模型得到语音合成参数模型序列；
[0014]确定所述语音合成参数模型序列对应的序号串；
[0015]将所述序号串发送给接收端，以使所述接收端根据所述序号串恢复所述连续语音信号。
[0016]—种语音信号发送系统，包括:
[0017]文本获取模块，用于确定待发送的连续语音信号对应的文本内容；
[0018]参数模型确定模块，用于根据所述文本内容确定各合成单元的语音合成参数模型；
[0019]拼接模块，用于拼接各合成单元的语音合成参数模型得到语音合成参数模型序列；
[0020]序号串确定模块，用于确定所述语音合成参数模型序列对应的序号串；
[0021]发送模块，用于将所述序号串发送给接收端，以使所述接收端根据所述序号串恢复所述连续语音信号。
[0022]本发明实施例提供的语音信号发送方法及系统，采用统计分析模型编码，其处理方式与语音采样率无关，在保证语音恢复音质损失最小化的前提下极大地降低了传输码流率，减少了流量消耗，解决了传统语音编码方法不能兼顾音质和流量的问题，改善了移动网络时代下用户通信需求体验。
[0023]相应地，本发明实施例提供的语音信号接收方法及系统，接收方根据接收到的语音合成参数模型序列对应的序号串从码本中获取语音合成参数模型序列，利用该序列通过语音合成方式得到语音信号，大大降低了语音恢复音质损失，实现了语音信号的极大压缩和信号损失的最小化。
【专利附图】

【附图说明】
[0024]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0025]图1是本发明实施例语音信号发送方法的流程图；
[0026]图2是本发明实施例中确定各合成单元的语音合成参数模型的一种流程图；
[0027]图3是本发明实施例中二叉决策树的构建流程图；
[0028]图4是本发明实施例中一种二叉决策树的示意图；
[0029]图5是本发明实施例中确定各合成单元的语音合成参数模型的另一种流程图；
[0030]图6是本发明实施例语音信号接收方法的流程图；
[0031]图7是本发明实施例中语音信号发送系统的结构框图；
[0032]图8是本发明实施例中参数模型确定模块的结构框图；
[0033]图9是本发明实施例中二叉决策树构建模块的结构框图；
[0034]图10是本发明实施例中语音信号发送系统中基频模型确定单元的一种结构框图；
[0035]图11是本发明实施例中语音信号发送系统中频谱模型确定单元的一种结构框图；[0036]图12是本发明实施例中语音信号发送系统中基频模型确定单元的另一种结构框图；
[0037]图13是本发明实施例中语音信号发送系统中频谱模型确定单元的另一种结构框图；
[0038]图14是本发明实施例语音信号接收系统的结构框图。
【具体实施方式】
[0039]为了使本【技术领域】的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。
[0040]针对传统编码方式处理宽带或超宽带语音，需要增加码流率，流量消耗大的问题，本发明实施例提供一种语音信号发送方法及系统，以及一种语音信号接收方法及系统，适用于各类语音(如16KHz采样率的超宽带语音、8KHz采样率的窄带语音等)的编码，在保证语音恢复音质损失最小化的前提下，实现极低码流率的信号传输。
[0041]如图1所示，是本发明实施例语音信号发送方法的流程图，包括以下步骤:
[0042]步骤101，确定待发送的连续语音信号对应的文本内容。
[0043]具体地，可以通过语音识别算法自动获取所述文本内容，当然也可以通过人工标注的方式来获取所述文本内容。另外，为了进一步保证语音识别得到的文本内容的正确性，还可以对语音识别得到的文本内容进行人工编辑修正。
[0044]步骤102，根据所述文本内容确定各合成单元的语音合成参数模型。
[0045]所述合成单元是预先设定的最小合成对象，如音节单元、音素单元，甚至是音素HMM模型中的状态单元等。
[0046]为了尽量减少接收端恢复音质的损失，使接收端能够通过语音合成方式恢复连续语音信号，发送端从原始语音信号中获取的语音合成参数模型应尽可能符合原语音信号特点，以减少信号压缩和恢复的损失。
[0047]具体地，可以根据所述文本内容对连续语音信号进行语音片断切分，得到各合成单元对应的语音片断，进而得到各合成单元对应的时长、基频模型和频谱模型，具体过程将在后面详细描述。
[0048]步骤103，拼接各合成单元的语音合成参数模型得到语音合成参数模型序列。
[0049]步骤104，确定所述语音合成参数模型序列对应的序号串。
[0050]步骤105，将所述序号串发送给接收端，以使所述接收端根据所述序号串恢复所述连续语音信号。
[0051]本发明实施例语音信号发送方法，采用统计分析模型编码，其处理方式与语音采样率无关，对16kHz超宽带语音编码无需付出额外码流率代价，其音质效果好，编码流量低。以一段典型的中文语音片段为例，其有效语音段持续10s，拥有80个声韵母(音素)，以每个音素拥有5个基频状态、5个频谱状态、I个时长状态计，每状态采用I个字节编码(8bit),其码流率为 m:m=[80* (5+5+1) ] *8bit/10s=704b/s,低于 lkb/s,属于极低码率编码方法，码流率大大低于当前主流语音通讯领域的各项编码标准，网络通讯的流量将会大大降低。相较当前主流的通信领域语音编码方法，本发明方法的语音编码方式可处理超宽带语音(16kHz采样率)，音质更高；且具有更低的码流率(lkb/s以下)，有效降低网络通信流量。
[0052]如图2所示，是本发明实施例中确定各合成单元的语音合成参数模型的一种流程图，包括以下步骤:
[0053]步骤201，根据文本内容对连续语音信号进行语音片断切分，得到各合成单元对应的语音片断。
[0054]具体地，可以将所述连续语音信号与所述文本内容中合成单元对应的声学模型序列做强制对齐，即计算语音信号相应于所述声学模型序列的语音识别解码，从而获取各合成单元对应的语音片段。
[0055]需要说明的是，所述合成单元可以根据不同的应用需求而选择不同规格。一般来说，如果对码流率要求较高，则选择较大的语音单元，如音节单元、音素单元等；反之若对音质要求较高，则可以选择更小的语音单元，如模型的状态单元、特征流单元等。
[0056]在采用基于HMM (Hidden Markov Model，隐马尔可夫模型)的声学模型设置下，还可进一步选取HMM模型的各状态作为合成单元，并获取相应的基于状态层的语音片断。随后对每个状态分别从其对应的基频二叉决策树及频谱二叉决策树中确定每个状态对应的基频模型和频谱模型。这样可以使获取的语音合成参数模型能够更细致地描述语音信号的特点。
[0057]步骤202，获取当前考察的合成单元。
[0058]步骤203，统计当前考察的合成单元对应的语音片段时长。
[0059]步骤204，确定当前考察的合成单元的基频模型。
[0060]具体地,首先获取当前考察的合成单元对应的基频二叉决策树；对所述合成单元进行文本解析，获得所述合成单元的上下文信息，比如，音素单元、调性、词性、韵律层次等上下文信息；然后，根据所述上下文信息在所述基频二叉树中进行路径决策，得到对应的叶子节点，将所述叶节点对应的基频模型作为所述合成单元的基频模型。
[0061]具体地，进行路径决策的过程如下:
[0062]根据所述合成单元的上下文信息，从所述基频二叉决策树的根节点开始依次对各节点分裂问题进行回答；根据回答结果获取一条自上而下的匹配路径；根据所述匹配路径获得叶子节点。
[0063]步骤205，确定当前考察的合成单元的频谱模型。
[0064]具体地,首先获取当前考察的合成单元对应的基频二叉决策树；对所述合成单元进行文本解析，获得所述合成单元的上下文信息，比如，音素单元、调性、词性、韵律层次等上下文信息；然后，根据所述上下文信息，在所述频谱二叉决策树中进行路径决策，得到对应的叶子节点，将所述叶节点对应的频谱模型作为所述合成单元的频谱模型。
[0065]具体地，进行路径决策的过程如下:
[0066]根据所述合成单元的上下文信息，从所述频谱二叉决策树的根节点开始依次对各节点分裂问题进行回答；根据回答结果获取一条自上而下的匹配路径；根据所述匹配路径获得叶子节点。
[0067]步骤206，判断当前考察的合成单元是否为最后一个合成单元。如果是，则执行步骤207 ;否则，执行步骤202。
[0068]步骤207，输出各合成单元对应的语音片段时长、基频模型及频谱模型。[0069]合成单元对应的语音合成参数模型的质量和二叉决策树(包括基频二叉决策树和频谱二叉决策树)的构建有着直接的关系。在本发明实施例中，采用从下而上的聚类方法构建二叉决策树。
[0070]如图3所示，是本发明实施例中二叉决策树的构建流程图，包括以下步骤:
[0071]步骤301，获取训练数据。
[0072]具体地，可以采集大量的语音训练数据并对其进行文本标注，然后根据标注的文本内容进行基本语音单元乃至合成单元(如基本语音单元模型的状态单元)的语音片断切分，获取各合成单元对应的语音片断集合，并将每个合成单元对应的语音片断集合中的语音片断作为该合成单元对应的训练数据。
[0073]步骤302，从所述训练数据中提取合成单元对应的语音片断集合的合成参数。
[0074]所述合成参数包括:基频特征和频谱特征等。
[0075]步骤303，根据提取的合成参数对所述合成单元对应的二叉决策树进行初始化，并设置根节点作为当前考察节点。
[0076]对所述二叉决策树进行初始化即构建只有根节点的二叉决策树。
[0077]步骤304，判断当前考察节点是否需要分裂。如果是，则执行步骤305 ;否则执行步骤 306。
[0078]挑选预设问题集合中的剩余问题对当前考察节点的数据进行分裂尝试，获取子节点。所述剩余问题是指没有询问过的问题。
[0079]具体地，可以首先计算当前考察节点的样本聚集度，即描述语音片断集合内样本的分散程度。一般来说，分散程度越大，则说明该节点分裂的可能性越大，否则分裂的可能性越小。具体可以采用样本方差来衡量节点的样本聚集度，即计算该节点下所有样本距离类中心的距离(或平方)的均值。然后计算分裂后子节点的样本聚集度，并选择具有最大样本聚集度下降幅度的问题作为优选问题。
[0080]然后根据所述优选问题进行分裂尝试，得到子节点。如果根据所述优选问题分裂的聚集度下降小于设定的阈值，或者分裂后的子节点中训练数据最低于设定的门限，则确定当前考察节点不再继续分裂。
[0081 ] 步骤305，对当前考察节点进行分裂，并获取分裂后的子节点及所述子节点对应的训练数据。然后，执行步骤307。
[0082]具体地，可以根据所述优选问题对当前考察节点进行分裂。
[0083]步骤306，将当前考察节点标记为叶节点。
[0084]步骤307，判断所述二叉决策树中是否还有未考察过的非叶节点。如果是，则执行步骤308 ;否则执行步骤309。
[0085]步骤308，获取下一个未考察过的非叶节点作为当前考察节点。然后，返回步骤304。
[0086]步骤309，输出二叉决策树。
[0087]需要说明的是，在本发明实施例中，基频二叉决策树和频谱二叉决策树都可以按照图3所示流程来建立。
[0088]如图4所示，是本发明实施例中一种二叉决策树的示意图。
[0089]图4展示了音素”*_aa+”的第三个状态的二叉决策树的构建图。如图4所示，在根节点分裂时根据对预设问题“右相邻音素是否为鼻音”的回答可以将根节点对应的训练数据拆分，随后在下一层节点分裂时，如对左节点分裂时，根据对预设问题“左相邻音素是否为浊辅音”的回答可以将所述节点对应的训练数据进一步拆分。最后在节点无法进一步拆分时设定其为叶节点，并利用其所对应得训练数据训练得到数学统计模型，如高斯模型，将该数字统计模型作为当前叶节点对应的合成参数模型。
[0090]显然，在图2所示实施例中，语音合成参数模型的挑选主要依赖于基于文本分析的二叉决策树，如通过当前考察的合成单元上下文的音素类别、当前音素的发音类型等。这样挑选语音合成参数模型方便快捷，但对特定语音信号输入，这种具有普适性的语音合成参数模型确定方法无法很好地体现发音特点。
[0091]为此，图5示出了本发明实施例中确定各合成单元的语音合成参数模型的另一种流程图，包括以下步骤:
[0092]步骤501，根据文本内容对连续语音信号进行语音片断切分，得到各合成单元对应的语音片断。
[0093]具体地，可以将所述连续语音信号与预设的合成单元对应的声学模型做强制对齐，即计算语音信号相应于所述声学模型序列的语音识别解码，从而获取各合成单元对应的语音片段。
[0094]需要说明的是，所述合成单元可以根据不同的应用需求而选择不同规格。一般来说，如果对码流率要求较高，则选择较大的语音单元，如音节单元、音素单元等；反之若对音质要求较高，则可以选择更小的语音单元，如模型的状态单元、特征流单元等。
[0095]在采用基于HMM (Hidden Markov Model，隐马尔可夫模型)的声学模型设置下，还可进一步选取HMM模型的各状态作为合成单元，并获取相应的基于状态层的语音片断。随后对每个状态分别从其对应的基频二叉决策树及频谱二叉决策树中确定每个状态对应的基频模型和频谱模型。这样可以使获取的语音合成参数模型能够更细致地描述语音信号的特点。
[0096]步骤502，确定各合成单元对应的语音片断的时长、以及所述连续语音信号对应的基频特征序列和频谱特征序列。
[0097]步骤503，根据所述基频特征序列及所述合成单元对应的基频模型集合确定所述合成单元的基频模型。
[0098]具体地,确定所述合成单元对应的基频特征序列，并获取所述合成单元对应的基频模型集合，即所述合成单元的基频二叉决策树的所有叶节点对应的基频模型。然后计算所述基频特征序列与所述基频模型集合中各基频模型的似然度，并选择具有最大似然度的基频模型作为所述合成单元的基频模型。
[0099]步骤504，根据所述频谱特征序列及所述合成单元对应的频谱模型集合确定各合成单元的频谱模型。
[0100]具体地,确定所述合成单元对应的频谱特征序列，并获取所述合成单元对应的频谱模型集合，即所述合成单元的频谱二叉决策树的所有叶节点对应的频谱模型。然后计算所述频谱特征序列与所述频谱模型集合中各频谱模型的似然度，并选择具有最大似然度的频谱模型作为所述合成单元的频谱模型。
[0101]可见，本发明实施例的语音信号发送方法，在保证语音恢复音质损失最小化的前提下极大地降低了传输码流率，减少了流量消耗，解决了传统语音编码方法不能兼顾音质和流量的问题，改善了移动网络时代下用户通信需求体验。
[0102]相应地，本发明实施例还提供一种语音信号接收方法，如图6所示，是该方法的流程图，包括以下步骤:
[0103]步骤601，接收语音合成参数模型序列对应的序号串。
[0104]步骤602，根据所述序号串从码本中获取语音合成参数模型序列。
[0105]由于每个语音合成参数模型都有一个唯一的序号，而且，在发送方和接收方都保存有相同的码本，所述码本中包含了所有语音合成参数模型。因此，接收方根据收到的序号串即可从码本中获取对应各序号的语音合成参数模型，拼接这些语音合成参数模型得到所述语音合成参数模型序列。
[0106]步骤603，根据所述语音合成参数模型序列确定语音合成参数序列。
[0107]具体地，可以根据所述语音合成参数模型序列和合成单元对应的时长序列确定语音合成参数，生成语音合成参数序列。
[0108]比如，按照以下公式来得到语音合成参数序列:
[0109]0max=arg max Ρ(θ|, λ，T)
[0110]其中，O为参数序列，λ为给定的语音合成参数模型序列，T为各合成单元对应的时长序列。
[0111]Omax即最终生成的基频参数序列或频谱参数序列，在单元时长序列T的范围内，求取相应于给定的语音合成参数模型序列λ的具有最大似然值的参数序列Omax，从而得到用于语音合成的参数序列。
[0112]步骤604，根据所述语音合成参数序列恢复语音信号。
[0113]将上步得到的语音合成参数序列Omax送入语音合成器即可得到对应语音。语音合成器是一种语音信号的分析恢复工具，可以将参数化的语音数据(如基频参数、频谱参数)恢复出高质量的语音波形。
[0114]可见，本发明实施例语音信号发送方法及接收方法，通过对连续语音信号对应的语音合成参数模型的提取和信号合成，实现了语音信号的极大压缩和信号损失的最小化，即有效地减少信号失真。
[0115]相应地，本发明实施例还提供一种语音信号发送系统，如图7所示，是该系统的结构框图。
[0116]在该实施例中，所述语音信号发送系统包括:
[0117]文本获取模块701，用于确定待发送的连续语音信号对应的文本内容；
[0118]参数模型确定模块702，用于根据所述文本内容确定各合成单元的语音合成参数模型；
[0119]拼接模块703，用于拼接各合成单元的语音合成参数模型得到语音合成参数模型序列；
[0120]序号串确定模块704，用于确定所述语音合成参数模型序列对应的序号串；
[0121]发送模块705，用于将所述序号串发送给接收端，以使所述接收端根据所述序号串恢复所述连续语音信号。
[0122]在实际应用中，上述文本获取模块701可以通过语音识别算法自动获取所述文本内容，当然也可以通过人工标注的方式来获取所述文本内容。为此,可以在文本获取模块701中设置语音识别单元和/或标注信息获取单元，以便可以使用户选择不同方式来得到待发送的连续语音信号对应的文本内容。其中，所述语音识别单元，用于通过语音识别算法确定待发送的连续语音信号对应的文本内容；所述标注信息获取单元用于通过人工标注的方式获取待发送的连续语音信号对应的文本内容。
[0123]所述合成单元是预先设定的最小合成对象，如音节单元、音素单元，甚至是音素HMM模型中的状态单元等。
[0124]为了尽量减少接收端恢复音质的损失，使接收端能够通过语音合成方式恢复连续语音信号，参数模型确定模块702从原始语音信号中获取的语音合成参数模型应尽可能符合原语音信号特点，以减少信号压缩和恢复的损失。具体地，可以根据所述文本内容对连续语音信号进行语音片断切分，得到各合成单元对应的语音片断，进而得到各合成单元对应的时长、基频模型和频谱模型。
[0125]本发明实施例语音信号发送系统，采用统计分析模型编码，其处理方式与语音采样率无关，对16kHz超宽带语音编码无需付出额外码流率代价，其音质效果好，编码流量低。相较当前主流的通信领域语音编码系统，本发明系统的语音编码方式可处理超宽带语音(16kHz采样率)，音质更高；且具有更低的码流率(lkb/s以下)，有效降低网络通信流量。
[0126]如图8所示，是本发明实施例中参数模型确定模块的一种结构框图。
[0127]所述参数模型确定模块包括:
[0128]切分单元801，用于根据所述文本内容对所述连续语音信号进行语音片断切分，得到各合成单元对应的语音片断。
[0129]具体地，可以将连续语音信号与所述文本内容中合成单元对应的声学模型序列做强制对齐，即计算语音信号相应于所述声学模型序列的语音识别解码，从而获取各合成单元对应的语音片段。
[0130]需要说明的是，所述合成单元可以根据不同的应用需求而选择不同规格。一般来说，如果对码流率要求较高，则选择较大的语音单元，如音节单元、音素单元等；反之若对音质要求较高，则可以选择更小的语音单元，如模型的状态单元、特征流单元等。在采用基于HMM (Hidden Markov Model，隐马尔可夫模型)的声学模型设置下，还可进一步选取HMM模型的各状态作为合成单元，并获取相应的基于状态层的语音片断。随后对每个状态分别从其对应的基频二叉决策树及频谱二叉决策树中确定每个状态对应的基频模型和频谱模型。这样可以使获取的语音合成参数模型能够更细致地描述语音信号的特点。
[0131]时长确定单元802，用于依次确定各合成单元对应的语音片断的时长。
[0132]基频模型确定单元803，用于依次确定各合成单元对应的语音片断的基频模型。
[0133]频谱模型确定单元804，用于依次确定各合成单元对应的语音片断的频谱模型。
[0134]在实际应用中，上述基频模型确定单元803和频谱模型确定单元804可以有多种实现方式，比如，可以根据二叉决策树来得到基频模型和频谱模型，为此，在本发明语音信号发送系统的另一实施例中，所述系统还包括二叉决策树构建模块，用于构建基频二叉决策树及频谱二叉决策树。另外，上述基频模型确定单元803和频谱模型确定单元804还可以基于信号特征优化来得到基频模型和频谱模型，对此将在后面详细描述。
[0135]如图9所示，是本发明实施例中语音信号发送系统中二叉决策树构建模块的结构框图。
[0136]所述二叉决策树构建模块包括:
[0137]训练数据获取单元901，用于获取训练数据；
[0138]参数提取单元902，用于从所述训练数据中提取所述合成单元对应的语音片断集合的合成参数，所述合成参数包括:基频特征和频谱特征；
[0139]初始化单元903，用于根据所述合成参数对所述合成单元对应的二叉决策树进行初始化，即构建只有根节点的二叉决策树；
[0140]节点考察单元904，用于从所述二叉决策树的根节点开始，依次考察每个非叶节点；如果当前考察节点需要分裂，则对当前考察节点进行分裂，并获取分裂后的子节点及所述子节点对应的训练数据；否则，将当前考察节点标记为叶节点；
[0141]二叉决策树输出单元905，用于在所述节点考察单元对所有非叶节点考察完成后，输出所述合成单元的二叉决策树。
[0142]在该实施例中，训练数据获取单元901具体可以采集大量的语音训练数据并对其进行文本标注，然后根据标注的文本内容进行基本语音单元乃至合成单元(如基本语音单元模型的状态单元)的语音片断切分，获取各合成单元对应的语音片断集合，并将每个合成单元对应的语音片断集合中的语音片断作为该合成单元对应的训练数据。
[0143]上述节点考察单元904在判断当前考察节点是否需要分裂时，可以根据当前考察节点的样本聚集度，选择具有最大样本聚集度下降幅度的问题作为优选问题进行分裂尝试，获取子节点。如果根据所述优选问题分裂的聚集度下降小于设定的阈值，或者分裂后的子节点中训练数据最低于设定的门限，则确定当前考察节点不再继续分裂。
[0144]上述考察及分裂过程可参照前面本发明实施例语音信号发送方法中的描述，在此不再赘述。
[0145]需要说明的是，在本发明实施例中，基频二叉决策树和频谱二叉决策树都可以由该二叉决策树构建模块来建立，其实现过程相类似，在此不再一一详细说明。
[0146]基于上述基频二叉决策树和频谱二叉决策树，下面进一步详细说明本发明实施例中基频模型确定单元和频谱模型确定单元的实现方案。
[0147]如图10所示，是本发明实施例中语音信号发送系统中基频模型确定单元的一种结构框图。
[0148]在该实施例中，所述基频模型确定单元包括:
[0149]第一获取单元161，用于获取所述合成单元对应的基频二叉决策树。
[0150]第一解析单元162，用于对所述合成单元进行文本解析，获得所述合成单元的上下文信息，比如，音素单元、调性、词性、韵律层次等上下文信息。
[0151]第一决策单元163，用于根据所述上下文信息在所述基频二叉树中进行路径决策，得到对应的叶子节点。
[0152]具体地，进行路径决策的过程如下:根据所述合成单元的上下文信息，从所述基频二叉决策树的根节点开始依次对各节点分裂问题进行回答；根据回答结果获取一条自上而下的匹配路径；根据所述匹配路径获得叶子节点。
[0153]第一输出单元164，用于将所述叶节点对应的基频模型作为所述合成单元的基频模型。[0154]与上述基频模型确定单元的实现类似，如图11所示，是本发明实施例中语音信号发送系统中频谱模型确定单元的一种结构框图。
[0155]在该实施例中,所述频谱模型确定单元包括:
[0156]第二获取单元171，用于获取所述合成单元对应的频谱二叉决策树。
[0157]第二解析单元172，用于对所述合成单元进行文本解析，获得其音素单元，调性，词性，韵律层次等上下文信息，比如，音素单元、调性、词性、韵律层次等上下文信息。
[0158]第二决策单元173，用于根据所述合成文本的上下文信息，在所述频谱二叉树中进行路径决策，得到对应的叶子节点。
[0159]具体地，进行路径决策的过程如下:根据所述合成单元的上下文信息，从所述频谱二叉决策树的根节点开始依次对各节点分裂问题进行回答；根据回答结果获取一条自上而下的匹配路径；根据所述匹配路径获得叶子节点。
[0160]第二输出单元174，将所述叶节点对应的频谱模型作为所述合成单元的频谱模型。
[0161]需要说明的是,在实际应用中，上述图10所示的基频模型确定单元和图11所示的频谱模型确定单元可以分别由各自独立的物理单元来实现，也可以统一由一个物理单元来实现。在需要生成基频模型时，获取合成单元对应的基频二叉决策树，并对合成单元进行相应的解析及决策，得到对应所述合成单元的基频模型。在需要生成频谱模型时，获取合成单元对应的频谱二叉决策树，并对合成单元进行相应的解析及决策，得到对应所述合成单元的频谱模型。
[0162]如图12所示，是本发明实施例中语音信号发送系统中基频模型确定单元的另一种结构框图。
[0163]在该实施例中，所述基频模型确定单元包括:
[0164]第一确定单元181，用于确定所述合成单元对应的基频特征序列。
[0165]第一集合获取单元182，用于获取所述合成单元对应的基频模型集合，即所述合成单元的基频二叉决策树的所有叶节点对应的基频模型。
[0166]第一计算单元183，用于计算所述基频特征序列与所述基频模型集合中各基频模型的似然度。
[0167]第一选择单元184，用于选择具有最大似然度的基频模型作为所述合成单元的基频模型。
[0168]与上述基频模型确定单元的实现类似，图13是本发明实施例中语音信号发送系统中频谱模型确定单元的另一种结构框图。
[0169]在该实施例中，所述频谱模型确定单元包括:
[0170]第二确定单元191，用于确定所述合成单元对应的频谱特征序列。
[0171]第二集合获取单元192，用于获取所述合成单元对应的频谱模型集合，即所述合成单元的基频二叉决策树的所有叶节点对应的频谱模型。
[0172]第二计算单元193，用于计算所述频谱特征序列与所述频谱模型集合中各频谱模型的似然度。
[0173]第二选择单元194，用于选择具有最大似然度的频谱模型作为所述合成单元的频谱模型。
[0174]需要说明的是，在实际应用中，上述图12所示的基频模型确定单元和图13所示的频谱模型确定单元可以分别由各自独立的物理单元来实现，也可以统一由一个物理单元来实现。在需要生成基频模型时，获取合成单元对应的基频二叉决策树，并对合成单元进行相应的解析及决策，得到对应所述合成单元的基频模型。在需要生成频谱模型时，获取合成单元对应的频谱二叉决策树，并对合成单元进行相应的解析及决策，得到对应所述合成单元的频谱模型。
[0175]可见，本发明实施例的语音信号发送系统，在保证语音恢复音质损失最小化的前提下极大地降低了传输码流率，减少了流量消耗，解决了传统语音编码方法不能兼顾音质和流量的问题，改善了移动网络时代下用户通信需求体验。
[0176]相应地，本发明实施例还提供一种语音信号接收系统，如图14所示，是该系统的结构框图。
[0177]在该实施例中，所述语音信号接收系统包括:
[0178]接收模块141，用于接收语音合成参数模型序列对应的序号串；
[0179]提取模块142，用于根据所述序号串从码本中获取语音合成参数模型序列；
[0180]确定模块143，用于根据所述语音合成参数模型序列确定语音合成参数序列；
[0181]信号恢复模块144，用于根据所述语音合成参数序列恢复语音信号。
[0182]上述确定模块143可以根据所述语音合成参数模型序列和模型序列持续时长确定语音合成参数，生成语音合成参序列。具体实现过程可参照前面本发明实施例语音信号接收方法中的描述，在此不再赘述。
[0183]由于本发明实施例语音信号接收系统中语音信号的恢复与语音采样率无关，因此，可以在保证语音恢复音质损失最小化的前提下实现极低码流率的信号传输，较好地解决了传统语音编码方法的音质和流量问题，改善了移动网络时代下用户通信需求体验，节约了网络费用。
[0184]本发明实施例的语音信号发送及接收方案可以适用于各类语音(如16k采样率的超宽带语音，8k采样率的窄带语音等)的编码，并可得到较好的音质。
[0185]本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0186]以上对本发明实施例进行了详细介绍，本文中应用了【具体实施方式】对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及设备；同时，对于本领域的一般技术人员，依据本发明的思想，在【具体实施方式】及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
【权利要求】
1.一种语音信号发送方法，其特征在于，包括: 确定待发送的连续语音信号对应的文本内容； 根据所述文本内容确定各合成单元的语音合成参数模型； 拼接各合成单元的语音合成参数模型得到语音合成参数模型序列； 确定所述语音合成参数模型序列对应的序号串； 将所述序号串发送给接收端，以使所述接收端根据所述序号串恢复所述连续语音信号。
2.根据权利要求1所述的方法，其特征在于，所述确定待发送的连续语音信号对应的文本内容包括: 通过语音识别算法确定待发送的连续语音信号对应的文本内容；或者 通过人工标注的方式获取待发送的连续语音信号对应的文本内容。
3.根据权利要求1所述的方法，其特征在于，所述根据所述文本内容确定各合成单元的语音合成参数模型包括: 根据所述文本内容对所述连续语音信号进行语音片断切分，得到各合成单元对应的语首片断； 依次确定各合成单元对应的语音片断的时长、基频模型和频谱模型。
4.根据权利要求3所述的方法，其特征在于，所述确定合成单元对应的基频模型包括: 获取所述合成单元对应的基频二叉决策树； 对所述合成单元进行文本解析，获得所述合成单元的上下文信息； 根据所述上下文信息在所述基频二叉树中进行路径决策，得到对应的叶子节点； 将所述叶节点对应的基频模型作为所述合成单元的基频模型。
5.根据权利要求3所述的方法，其特征在于，所述确定合成单元对应的频谱模型包括: 获取所述合成单元对应的频谱二叉决策树； 对所述合成单元进行文本解析，获得其音素单元，调性，词性，韵律层次等上下文信息； 根据所述合成文本的上下文信息，在所述频谱二叉树中进行路径决策，得到对应的叶子节点； 将所述叶节点对应的频谱模型作为所述合成单元的频谱模型。
6.根据权利要求4或5所述的方法，其特征在于，所述方法还包括:按以下方式构建所述合成单元对应的二叉决策树: 获取训练数据； 从所述训练数据中提取所述合成单元对应的语音片断集合的合成参数，所述合成参数包括:基频特征和频谱特征； 根据所述合成参数对所述合成单元对应的二叉决策树进行初始化； 从所述二叉决策树的根节点开始，依次考察每个非叶节点； 如果当前考察节点需要分裂，则对当前考察节点进行分裂，并获取分裂后的子节点及所述子节点对应的训练数据；否则，将当前考察节点标记为叶节点； 当所有非叶节点考察完成后，得到所述合成单元的二叉决策树。
7.根据权利要求3所述的方法，其特征在于，所述确定合成单元对应的基频模型包括:确定所述合成单元对应的基频特征序列； 获取所述合成单元对应的基频模型集合； 计算所述基频特征序列与所述基频模型集合中各基频模型的似然度； 选择具有最大似然度的基频模型作为所述合成单元的基频模型。
8.根据权利要求3所述的方法，其特征在于，所述确定合成单元对应的频谱模型包括: 确定所述合成单元对应的频谱特征序列； 获取所述合成单元对应的频谱模型集合； 计算所述频谱特征序列与所述频谱模型集合中各频谱模型的似然度； 选择具有最大似然度的频谱模型作为所述合成单元的频谱模型。
9.一种语音信号接收方法，其特征在于，包括: 接收语音合成参数模型序列对应的序号串； 根据所述序号串从码本中获取语音合成参数模型序列； 根据所述语音合成参数模型序列确定语音合成参数序列； 根据所述语音合成参数序列恢复语音信号。
10.根据权利要求9所述的方法，其特征在于，所述根据所述语音合成参数模型序列确定语音合成参数序列包括: 根据所述语音合成参数模型序列和模型序列持续时长确定语音合成参数，生成语音合成参序列。
11.一种语音信号发送系统，其特征在于，包括: 文本获取模块，用于确定待发送的连续语音信号对应的文本内容； 参数模型确定模块，用于根据所述文本内容确定各合成单元的语音合成参数模型； 拼接模块，用于拼接各合成单元的语音合成参数模型得到语音合成参数模型序列； 序号串确定模块，用于确定所述语音合成参数模型序列对应的序号串； 发送模块，用于将所述序号串发送给接收端，以使所述接收端根据所述序号串恢复所述连续语音信号。
12.根据权利要求11所述的系统，其特征在于，所述文本获取模块包括: 语音识别单元，用于通过语音识别算法确定待发送的连续语音信号对应的文本内容；或者 标注信息获取单元，用于通过人工标注的方式获取待发送的连续语音信号对应的文本内容。
13.根据权利要求11所述的系统，其特征在于，所述参数模型确定模块包括: 切分单元，用于根据所述文本内容对所述连续语音信号进行语音片断切分，得到各合成单元对应的语音片断； 时长确定单元，用于依次确定各合成单元对应的语音片断的时长； 基频模型确定单元，用于依次确定各合成单元对应的语音片断的基频模型 频谱模型确定单元，用于依次确定各合成单元对应的语音片断的频谱模型。
14.根据权利要求13所述的系统，其特征在于，所述基频模型确定单元包括: 第一获取单元，用于获取所述合成单元对应的基频二叉决策树； 第一解析单元，用于对所述合成单元进行文本解析，获得所述合成单元的上下文信息； 第一决策单元，用于根据所述上下文信息在所述基频二叉树中进行路径决策，得到对应的叶子节点； 第一输出单元，用于将所述叶节点对应的基频模型作为所述合成单元的基频模型。
15.根据权利要求13所述的系统，其特征在于，所述频谱模型确定单元包括: 第二获取单元，用于获取所述合成单元对应的频谱二叉决策树； 第二解析单元，用于对所述合成单元进行文本解析，获得其音素单元，调性，词性，韵律层次等上下文信息； 第二决策单元，用于根据所述合成文本的上下文信息，在所述频谱二叉树中进行路径决策，得到对应的叶子节点； 第二输出单元，用于将所述叶节点对应的频谱模型作为所述合成单元的频谱模型。
16.根据权利要求14或15所述的系统，其特征在于，所述系统还包括:二叉决策树构建模块，所述二叉决策树构建模块包括: 训练数据获取单元，用于获取训练数据； 参数提取单元，用于从所述训练数据中提取所述合成单元对应的语音片断集合的合成参数，所述合成参数包括:基频特征和频谱特征； 初始化单元，用于根据所述合成参数对所述合成单元对应的二叉决策树进行初始化；节点考察单元，用于从所述二叉决策树的根节点开始，依次考察每个非叶节点；如果当前考察节点需要分裂，则 对当前考察节点进行分裂，并获取分裂后的子节点及所述子节点对应的训练数据；否则，将当前考察节点标记为叶节点； 二叉决策树输出单元，用于在所述节点考察单元对所有非叶节点考察完成后，输出所述合成单元的二叉决策树。
17.根据权利要求13所述的系统，其特征在于，所述基频模型确定单元包括: 第一确定单元，用于确定所述合成单元对应的基频特征序列； 第一集合获取单元，用于获取所述合成单元对应的基频模型集合； 第一计算单元，用于计算所述基频特征序列与所述基频模型集合中各基频模型的似然度； 第一选择单元，用于选择具有最大似然度的基频模型作为所述合成单元的基频模型。
18.根据权利要求13所述的系统，其特征在于，所述频谱模型确定单元包括: 第二确定单元，用于确定所述合成单元对应的频谱特征序列； 第二集合获取单元，用于获取所述合成单元对应的频谱模型集合； 第二计算单元，用于计算所述频谱特征序列与所述频谱模型集合中各频谱模型的似然度； 第二选择单元，用于选择具有最大似然度的频谱模型作为所述合成单元的频谱模型。
19.一种语音信号接收系统，其特征在于，包括: 接收模块，用于接收语音合成参数模型序列对应的序号串； 提取模块，用于根据所述序号串从码本中获取语音合成参数模型序列； 确定模块，用于根据所述语音合成参数模型序列确定语音合成参数序列； 信号恢复模块，用于根据所述语音合成参数序列恢复语音信号。
20.根据权利要求19所述的系统，其特征在于， 所述确定模块，具体用于根据所述语音合成参数模型序列和模型序列持续时长确定语音合成参数，生成语音 合成参序列。
【文档编号】G10L19/005GK103474075SQ201310362024
【公开日】2013年12月25日 申请日期:2013年8月19日 优先权日:2013年8月19日
【发明者】江源, 周明, 凌震华, 何婷婷, 胡国平, 胡郁, 刘庆峰 申请人:安徽科大讯飞信息科技股份有限公司