发言者适配的语音识别和利用基音的注册的制作方法

专利名称：发言者适配的语音识别和利用基音的注册的制作方法
技术领域：
本申请涉及语音识别，并且更具体来说涉及适于基于基音的发言 者的语音识别系统。
背景技术：
语音和语言识别技术使得配备声音输入源(例如麦克风)的计算 机和其他电子装置能够解释人的语言，例如用于抄录或作为一种与计
算机交互的备选方法。正在开发语言识别软件，以在消费电子装置(例 如移动电话、游戏平台、个人计算机和个人数字助理)中使用。在典 型的语言识别算法中，表示人语言的时域信号被分成多个时间窗口 ， 每个窗口通过例如快速傅立叶变换(FFT)转换到频域信号。然后通 过采用频谱域信号的对数并且再执行另一个FFT来压缩此频域或频 谱域信号。根据压缩的频谱(称为倒语)，可以使用统计;溪型来确定 该信号所表示的语言内的音位和上下文。倒谱(c印strum)可以^见为有关 语言信号内的不同频带中的速率变化的信息。对于语言识别应用，常 常首先使用Mel频带来变换频谱。其结果称为Mel频率倒谱系数或 MFCC。可以根据如下公式将以赫兹为单位的频率f (每秒的周期数) 转换成mel频率m: m = (1127.01048Hz)loge(l+f/700)。相似地，可以
使用f = (700 Hz)(e^m，眺-1)将mel频率m转换成以赫兹为单位的频 率f。
在语音识别中，常常使用 一组三角形滤波器函数来对频语滤波。 该滤波器函数将频谱分成一組部分重叠的频带，该组频带位于最小频
率/min与最大频率/,之间。每个滤波器函数以感兴趣的频率范围内的
特定频率为中心。当转换到mel频率标度时，每个滤波器函数可以表 示为一组mel滤波器组，其中每个mel滤波器组由如下公式给 出
，其中索引i指代滤波器组的编号，以及m和<formula>formula see original document page 6</formula>
m是对应于和的me 1频率。
/,和/,的选择决定语音识别算法所使用的滤波器组。通常，/， 和由正在使用的语音识别模型来固定。语音识别的一个问题在于，
音信号。为了对此进行补偿，语音识别系统可以在滤波之前执行语音 信号的声道规范化。举例来说，规范化可以使用这种类型的函数
<formula>formula see original document page 6</formula>其中f是规范化的频率，以及a是调整规范化函数的曲率的参数。 具有N个不同mel频带的语言信号的分量可以表示为具有N个
分量的矢量A。矢量A的每个分量是语言信号的mel频率系数。矢量
A的规范化通常包括如下类型的矩阵变换
F' = [M] ' F + B,其中[M]是由如下公式给出的NxN矩阵
A'A/22
以及B是如下/>式给出的偏置矢量:
6
<formula>formula see original document page 7</formula>
F和F是如下形式的矢量:
<formula>formula see original document page 7</formula>
其中离线计算矩阵系数Mij和矢量分量5i，以使HMM系统中观 察的语言序列的概率最大。通常，对于给定的帧和给定的特征F,按如
+ J。规范化的
下高斯函数计算观察的概率 "A
矢量F的每个分量是^L范化的语言信号的mel频率分量。
众所周知，男性和女性发言者产生由不同mel频率系数(MFCC) 表征的语音信号。在现有技术中，语音识别系统已经使用训练以在发 言者是男性还是女性之间进行鉴别，并基于发言者是男性还是女性来 调整语音识别中所用的声音^t型。通常，通过让多个(例如10个) 男性发言者和相等数量的女性发言者说相同的词以产生语音样本来 训练声音模型。将基于语音样本的特征分析与用于语音识别的超才莫型 组合在一起。
上面的规范化的主要缺点在于，矢量F可能具有多达40个分量。 因此，矩阵[M]可能具有多达1600个系数。这种大量系数的计算可能 花费太长时间来调整语音识别算法。
而且，因为现有技术的语音识别系统和方法使用/_、 /^、m/皿 和m/m^的固定值来进行滤波和规范化，所以它们并未充分地考虑到 发言者之间声道长度方面的变化。因此，语言识别精确度可能差于最 优情况。因此，需要一种克服此类缺点的语音识别系统和方法。

发明内容
通过本发明涉及语音识别方法和系统的实施例克服了与现有技 术关联的缺点。根据本发明的实施例，获取发言者的发言的语音信号。 根据发言的语音信号确定运行时基音。基于运行时基音将发言者归 类，并基于发言者的类别调整一个或多个声音模型参数。然后基于声 音^)t型参数来执行对发言的语音识别分析。


通过参考结合附图的下文详细描述可以容易地理解本发明的技
术，其中
图1是图示根据本发明实施例的语音识别算法的流程图。 图2是图示根据本发明实施例的语音识别系统的框图。
具体实施例方式
虽然出于说明的目的，下文详细描述包含许多特定细节，但是本 领域技术人员将认识到对下文细节的许多变化和备选方案均在本发 明的范围内。因此，下文描述的本发明的实施例是在不失一般性且不 对要求权利的本发明施加任何限制的前提下提出的。
根据本发明实施例，语音识别方法100可以如图1A所示的进行。 在102,获取来自发言者的发言的语音信号。可以釆用任何常规方式 来获取语音信号，例如使用麦克风，并使用将语音信号制作成数字格 式的波形数字转换器。可以通过以大于工作特征分析频率的采样频率 对语音信号进行过釆样(over-sampling)来获取语音信号。具体来说，采 样频率可以大于训练时间语言采样率。通过非限制性实例，如果通过
12千赫的工作特征分析频率来表征语音信号，则可以采用例如16-22 千赫的采样频率来对该信号釆样。
在104,确定发言的运行时基音值Aun。有许多方法来确定运行 时基音Pnm。例如，Aun可以是按如下公式在包括时间f的给定时间窗
口上计算的移动平均基音pavg(0:
其中求和是对在基音概率高于预定阈值的时间窗口期间在时间
1产{1-(^-1),"(>[ -2),...,1:}处所取的NP个基音测量值进行的。计算基 音概率的一种简单方式是
, cwre/oto"(0),其中 w十s 、尸s w是分析
语言信号的相关性。或者，可以通过例如如下公式将运行时基音p皿 与当前基音相关
(/>式2 ) P柳(0-。p朋G-i)+(i一c/KO),for/X)
其中C是O与l之间的常数，/7(t)是时间t处的基音的当前值。常
数c的值与窗口大小相关。例如，c=0的值对应于无窗口 (其中
c=i的值对应于无穷窗口 (其中p"'"H^/"/)。注意，对于
t〉0的值，t之前的时间的基音值构成运行时基音prun(t)的值。这可以
在c-0.6的情况中以数值示例说明。在此情况中，公式2得到 p"o)=p(o)
P柳(l) = + ("c).p(l) - 0.6柳+ 0.4 )(1)
p"2) = ) + (l咖(2) = 0.6*(0., + 0.4'p(1)) + 0.4;p(2)
在本发明的一些实施例中，如果基音概率高于某个阈值(例如高 于约0.4),则可以根据公式2来计算Aua(t)。
举例来说，图1A的106处执行的发言者归类可以基于发言者的 年龄和/或性别来进行。例如，根据训练数据，可以确定男性、女性和 小孩发言者的平均基音落在不同的范围内。可以由语音信号的当前基 音所落在的基音范围来将发言者归类。举例来说，成年男性发言者具 有约120Hz与约160Hz之间的平均基音，成年女性发言者具有约180 Hz与约220 Hz之间的平均基音，以及小孩发言者具有大于约220 Hz 的平均基音。如果当前基音是190 Hz，则发言者被归类为女性发言者。
在这些情况的任何一种中，可以将发言者的平均基音作为矢量F中的 特征来包括。
一旦将发言者归类，则可以按108所指示的相应地选择声音;f莫型 的参数。然后在110，在语音识别分析中使用这些参数。参数的选择 取决于语音识别分析中所用的声音沖莫型的类型。例如，语音识别分析 可以使用一组滤波器函数来对语音信号滤波。滤波器函数(例如，三 角形滤波器函数)将频谱分成一组部分重叠的频带。每个语音识别分 析使用由不同的最大频率/_和不同的最小频率/_定义的滤波器组。 /目和/mm可以是赫兹标度的频率或mel标度的基音。最大频率/_指 滤波器组的频率范围的上限，而最小频率/_指滤波器组的频率范围 的下限。参数/ ^和/皿的值可以在语音识别分析期间在任何时间瞬间 (例如语音识别分析期间的任何时间窗口)动态地进行调整。语音识
别分析产生一个或多个语言单元的识别的识别概率尸r。语言单元可以
是短语、词或词的子单元(例如音位)。
举例来说， 一旦发言者被归类为男人、女人或小孩，则可以相应 地选择用于对发言进行语音识别分析的值/^和/^。例如，如果假定 发言者是男人，则/^可以约为70Hz而/^可以约为3800 Hz。如果 假定发言者是女人，则/_可以约为70 Hz而厶m可以约为4200 Hz。 如果々i定发言者是小孩，则/_可以约为90 Hz而/^可以约为4400 Hz。
在110,基于调整的模型参数从对发言的语音分析得到识别概率
尸r。举例来说且不失一般性地，语音识别分析可以使用隐藏的马尔可
夫模型(HMM)来确定给定语音信号中的语言单元。语言单元可以 是词、双词组合或子词单元(例如音位等)。HMM可以由如下项来表 征
L，表示系统的多个可能状态；
M,表示系统中存在的高斯的总数；
N，表示给定时间处的不同可观察特征的数量；这些特征可以是 语言信号的频镨上的(即频域)或时间上的(时域)特征；
A={aij}，状态过渡概率分布，其中每个ay表示如果系统最初在 时间t处于第i状态，则系统将在时间t+l过渡到第j状态的概率；
B={bj(k)}，第j个状态的观察特征概率分布，其中每个bj(k)表示 当系统处于第j个状态时第k个特征的观察值的概率分布；以及
7T ={7Ii}，最初状态分布，其中每个分量兀i表示系统将在某个
最初时间处于第i个状态的概率。
隐藏的马尔可夫模型可以应用于语音信号以解决一个或多个基 本问题，包括(1)从语音信号获得给定观察序列的概率；(2)给定 观察序列，什么对应状态序列最好地解释该观察序列；以及(3)如 何调整该组才莫型参数A、 BTi以使得给定观察序列的概率最大化。
将HMM应用于语言识别由例如Lawrence Rabiner在1989年2 月正EE学报第2期巻77的"语言识别中隐藏的马尔可夫模型和选择 的应用的教禾呈"("A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition" in Proceedings of the IEEE, Vol. 77, No. 2, February 1989，其通过引用基于所有目的结合于本文)中进行了 详细描述。
在110处实现的语音识别分析可以通过公知为音位(phoneme)的 多个可识别才莫式来表征语言。这些音位的每一个可以分成多个部分， 例如开始、中间和结尾部分。注意，中间部分通常是最稳定的，因为 开始部分常常受到前一个音位的影响，而结尾部分受到后一个音位的 影响。不同部分的音位由频域特征来表征，这些特征可以通过信号的 适当统计分析来识别。统计模型常常使用高斯概率分布函数来预测特 征的每个不同状态的概率，所述特征构成与不同音位的不同部分对应 的信号部分。 一个HMM状态可以包含一个或多个高斯。给定可能状 态的特定高斯，例如第k个高斯可以由一组N个平均值jUki和方差 Oki表示。在典型的语言识别算法中，确定给定时间窗口的哪个高斯
是最大的一个。根据最大高斯，可以推断时间窗口的最大可能音位。
举例来说，在110的语音识别分析可以分析时域信号以获得N个
不同可观察信号特征xo..... xn,其中n=N-l。系统的观察的特征
可以表示为具有分量x。..... Xn的矢量。这些分量可以是给定观察
的语言信号的频语上、倒谱上或时间上的特征。
举例来说且不作为本发明实施例的限制，分量Xo..... Xn可以
是在102处获得的语音信号的mel频率倒谱系数(MFCC)。倒谱是如 同作为信号来取分贝频谱的傅立叶变换(FT)的结果。时域语言信号 的倒镨可以在言语上定义为该时域信号的傅立叶变换的对数(具有去 包裹的相位(unwrapped phase))的傅立叶变换。时域信号S(t)的倒谱 可以在数学上表示为FT(log(FT(S(t)))+j2nq)，其中q是将复对数函数 的角度或虚数部分正确去包裹所需的整数。算法上为倒语可以由如 下操作序列来生成信号一>FT~~〉对数 一> 相位去包裹一〉FT 一〉倒语.
有复倒语和实倒谱。实倒谱使用为实值定义的对数函数，同时复 倒i瞽使用为复值定义的复对数函数。复倒谱具有有关初始频谱的量值 和相位的信息，从而能够重构信号。实倒谱仅使用频语的量值的信息。 举例说明且不失一般性地，在110处实现的语音识别分析可以使用实 倒镨。
分量x。..... Xn的组合的某些模式对应于语言单元(例如词或
短语)或子单元(例如音节、音位或词的其他子单元)。每个单元或子 单元可以视为系统的状态。系统的给定高斯(笫k个高斯)的概率密 度函数厶Ov..;O可以是任何类型的概率密度函数，例如具有如下形式 的高斯函数
' i=l.....N,k=l....M。
在上面的公式中，"i"是特征的索引，以及"k"是高斯的索引。 在公式(1)中，下标k是高斯函数的索引。可能有数百至数十万个 高斯为语言识别算法所使用。数量Mid是系统的第k个高斯的特征Xi 的平均值。数量《是第k个高斯中的Xi的方差。可以将一个或多个 高斯与一个或多个不同的状态关联。例如，可以有L个不同的状态， 其包含系统中的总数M个高斯。数量ju ki是在训练数据的所有时间窗 口上属于厶0c。.. )的Xi的所有测量值的平均值，而 是用于计算m ki 的对应测量值的方差。
公式(1)可以计算每个高斯的概率以得到对应的识别概率尸r。 根据具有最大概率的高斯，可以构建该特定时间窗口的最可能的状 态、词、音位、字符等。注意，也可以使用给定时间窗口的最可能的 状态来帮助确定较早或较晚时间窗口的最可能的状态，因为它们可以 确定其中发生该状态的上下文。
根据本发明的实施例，按如上所述来工作的图IA或IB中所示 类型的识别方法(例如，语音识别方法)可以作为信号处理设备200 的一部分来实现，如图2所示。系统200可以包括处理器201和存储 器202 (例如，RAM、 DRAM、 ROM等)。此外，如果要实现并行处 理，则信号处理设备200可以具有多个处理器201。存储器202包括 按如上所述来配置的数据和代码。确切地来说，存储器包括表示信号 特征204的数据和概率函数206，每个概率函数206可以包括代码、 数据或代码与数据的某种组合。
设备200还可以包括公知的支持功能210,例如输入/输出(I/O) 部件2U、电源(P/S)212、时钟(CLK) 213和高速緩存214。设备 200可以可选地包括用于存储程序和/或数据的海量存储装置215，例 如磁盘驱动器、CD-ROM驱动器、磁带驱动器等。控制器还可以可选 地包括用于帮助控制器200与用户之间交互的显示单元216和用户接
口单元218。显示单元216可以采用显示文本、数字、图形符号或图 像的阴极射线管(CRT)或平板屏幕的形式。用户接口 218可以包括 键盘、鼠标、游戏杆、光笔或其他装置。此外，用户接口218可以包 括用于对待分析信号进行直接捕获的麦克风、视频摄像器或其他信号 换能装置。处理器201、存储器202和系统200的其他组件可以经由 图2所示的系统总线220彼此交换信号(例如代码指令和数据)。麦 克风222可以通过I/O功能211耦合到设备200。
如本文所使用的，术语I/O —般指将数据传输到系统200或从系
序、操作或装置。每次传输是来自一个装置的输出和对另一个装置的 输入。外设包括只输入装置，例如键盘和鼠标；只输出装置，例如打 印机；以及例如可以用作输入和输出装置的可写CD-ROM的装置。 术语"外设"包括外部装置，例如鼠标、键盘、打印机、监视器、麦 克风、摄像头、外部Zip驱动器或扫描仪，以及内部装置，例如CD-ROM 驱动器、CD-R驱动器或内部调制解调器或如闪速存储器读取器/写入 器、硬盘的其他外设。
处理器201可以执行程序204的程序代码指令中的对信号数据 206和/或概率的信号识别，程序204由存储器202存储并检索并由处 理器模块201执行。程序203的代码部分可以遵循多种不同编程语言 (例如汇编、C++、 JAVA或多种其他语言)的任何一种。处理器冲莫块 201形成在执行例如程序代码204的程序时成为专用计算^/L的通用计 算机。虽然本文中将程序代码204描述为以软件形式实现并在通用计 算机上执行，但是本领域技术人员将认识到，作为备选方式，该任务 管理方法可以使用硬件、例如专用集成电路(ASIC)或其他硬件电路 来实现。同样地，应该理解本发明实施例可以全部或部分地以软件、 硬件或二者的某种组合来实现。
在一个实施例中，其中程序代码204可以包括一组处理器可读指 令，该组处理器可读指令实现与图1A的方法100或图1B的方法110
具有共有特征的方法。程序204—般可以包括一个或多个指令，该一 个或多个指令指示处理器201获取发言者发言的语音信号；根椐发言 的语音信号确定运行时基音(runtime pitch);基于运行时基音将发言者 归类；基于发言者的类别调整一个或多个声音才莫型参数；以及基于声 音^f莫型参数来执行对发言的语音识别分析。
举例来说，程序204可以是较大的整体程序(例如计算机游戏的 程序)的一部分。在本发明的某些实施例中，程序代码204可以在提供 语言样本的初始化阶段(例如在游戏开始时)提示发言者说某个词或 短语(例如发言者的姓名)。根据此样本，程序204可以按参考图1 所描述的进行，以查找该发言者的最佳参数(例如/_和/_ )，并使 用这些参数来运行110的语音识别。可以在程序得出结果之后保存这 些参数，并在发言者再次使用该程序时使用。
本发明的实施例提供更鲁棒且更精确的语言识别。在采用声音模 型参数选择的语言识别的一个示例中，对单个女性发言者使用基于基 音的发言者归类产生了 94.8%的词精确度。不采用声音^^型参数选择 的常规语言识别算法，对于同 一个女性发言者使用基于基音的发言者 归类仅达到86.3%的词精确度。
虽然上文是对本发明优选实施例的完整描述，但是还可以使用多 种备选方案、修改和等效物。因此，本发明的范围应该不是参照上文 描述来确定的，而是应该参照所附权利要求连同其等效物的完整范围 来确定。可以将本文描述的任何特征(无论是否是优选的)与本文描 述的任何其他特征(无论是否是优选的)组合。在下文的权利要求中， 除非另行明确指示，否则不定冠词"一个"指该冠词后面为一个或多 个项目的数量。所附权利要求不应解释为包括部件加功能的限制，除 非在给定的权利要求中使用短语"用于...的部件"来明确指出此类限 制。
权利要求
1. 一种用于语音识别的方法，所述方法包括:获取发言者的发言的语音信号；根据所述发言的语音信号确定运行时基音；基于所述运行时基音将所述发言者归类；基于所述发言者的类别调整一个或多个声音模型参数；以及基于所述声音模型参数来执行对所述发言的语音识别分析。
2. 如权利要求1所述的方法，其中确定所述运行时基音包括通过如下公式确定时间t处的移动平均基音/ avg(0:"'逆^ '，其中求和是对在时间窗口期间在时间&处所取的NP个基音测量值进行的。
3. 如权利要求2所述的方法，其中所述基音/^i)中的每一个基音都高于预定阈值。
4. 如权利要求2所述的方法，其中确定所述运行时基音包括如下 类型的计算/^(^c'/u(卜l) + (1-c'p0),其中c是0与1之间的常数，p(f)是时间 f处的当前基音值。
5. 如权利要求1所述的方法，其中将所述发言者归类包括确定所 述发言者的年龄和/或性别。
6. 如权利要求5所述的方法，其中确定所述发言者的年龄和/或 性别包括确定所述运行时基音是否落在一个范围内，其中所述范围 取决于发言者的年龄和/或性别。
7. 如权利要求5所述的方法，其中确定所述发言者的年龄和/或 性别包括根振所述基音确定所述发言者是男性、女性还是小孩发言 者。
8. 如权利要求1所述的方法，其中所述一个或多个声音才莫型参数 包括执行所述语音识别分析时所用的滤波器组的最大频率/_和最小 频率/i。
9. 如权利要求8所述的方法，其中/_和/^的值^^于在基于 所述运行时基音将所述发言者归类期间确定的发言者的性别和/或年 龄来选择的。
10. 如权利要求8所述的方法，其中/_和/^的值是基于在基于 所述运行时基音将所述发言者归类期间，所述发言者是男性、女性还 是小孩发言者来选择的。
11. 如权利要求8所述的方法，其中在所述识别期间的任何时间 瞬间动态地调整所述和。
12. 如权利要求l所述的方法，还包括存储所述发言者类别和/ 或基于所述发言者的类别的一个或多个声音才莫型参数，并将所述发言 者的所述发言者类别和/或基于所述发言者的类别的一个或多个声音 模型参数与特定发言者关联。
13. 如权利要求11所述的方法，还包括在对发言者进行后续语 音识别分析期间，使用所存储的发言者类别和/或基于所述发言者的类 别的所述一个或多个声音才莫型参数。
14. 一种语音识别系统，包括 适于获取语音信号的接口； 耦合到所述接口的一个或多个处理器；以及 耦合到所述接口和所述处理器的存储器，所述存储器中包含配置成实现语音识别的方法的一组处理器可读指令，所述处理器可读指令 包括用于获取发言者的发言的语音信号的指令；用于根据所述发言的语音信号确定运行时基音的指令；基于所述运行时基音将所述发言者归类；用于基于所述发言者的类别来调整一个或多个声音模型参数的 指令；以及用于基于所述声音模型参数来执行对所述发言的语音识别分析 的指令。
全文摘要
公开语音识别方法和系统。获取发言者的发言的语音信号。根据发言的语音信号确定运行时基音。基于运行时基音将发言者归类，并基于发言者的类别调整一个或多个声音模型参数。可在所述识别期间的任何时间瞬间进行参数调整。然后基于声音模型来执行对发言的语音识别分析。
文档编号G10L15/00GK101390155SQ200780006100
公开日2009年3月18日 申请日期2007年2月6日 优先权日2006年2月21日
发明者R·陈 申请人:索尼电脑娱乐公司