语音情绪的分类方法及其情绪语意模型的建立方法

专利名称：语音情绪的分类方法及其情绪语意模型的建立方法
技术领域：
本发明是有关于一种情绪辨识方法，且特别是有关于一种结合语意与韵律的语音
情绪的分类方法及其情绪语意模型的建立方法。
背景技术：
近几年，由于科技的日新月异，人们与智慧型电子装置之间的沟通模式，已不再是过去以指令输入至电子装置，而电子装置再以文字回应的方式所能满足。因此，未来人类与智能电子装置之间的人机接口也将透过最自然且方便的沟通媒介"语音"来进行控制。而为了使人机接口系统更为多样性与人性化，许多学者、厂商则莫不开始着手研究情绪的辨识。
以客服系统而言，目前利用电视以及网络来进行购物的使用者越来越普遍。当产品发生故障时，使用者大都皆会打电话至客服中心询问。倘若客服系统能够辨识出使用者目前的情绪状态，客服人员便能够趁早来安抚使用者的情绪。并且，客服人员亦可依据所辨识出的使用者的情绪来判断自身是否能够解决，而决定是否将电话转接给资深客服人员来进行安抚动作。如此一来，便能够解决许多不必要的冲突产生。据此，如何提高情绪辨识的正确率，亦为目前研究的重要一环。

发明内容
本发明提供一种情绪语意模型的建立方法，结合语意属性与韵律属性来建构情绪语意模型。 本发明提供一种语音情绪的分类方法，分析词语的语意属性并结合韵律属性，借以提高分类的正确率。 本发明提出一种情绪语意模型的建立方法。先提供一个情绪语料库，其包括分属于多个情绪类别的多个语音信号。接着，分别撷取语音信号中的各词语的语意属性与韵律属性。其中，语意属性是查询词汇知识库而获得，而韵律属性是由各语音信号中撷取所得。之后，便可借由各语音信号的语意属性与韵律属性，建立情绪语意模型。 在本发明的一实施例中，上述建立情绪语意模型的步骤，包括依据语意属性与韵律属性，将各语音信号分别转换为语意韵律向量。再将这些语意韵律向量代入高斯混合模型，以建立情绪语意模型。 在本发明的一实施例中，上述依据语意属性与韵律属性，分别转换各语音信号为语意韵律向量的步骤，先依据各词语的语意属性与韵律属性，获得一语意韵律记录。接着，借由语意韵律记录来探勘一情绪规则。之后，便可依据上述情绪规则，将语意韵律记录转换为语意韵律向量。 在本发明的一实施例中，上述获得语意韵律记录的步骤包括依据语意属性，判断各词语是否为语意标签。其中，语意标签是依据词汇知识库所定义而得。当词语属于语意标签时，结合此词语的语意标签与其所对应的韵律属性为一语意韵律标签，以将语意韵律标签记录至语意韵律记录。另外，更可依据语意属性，判断在不为语意标签的词语中是否包
5括情绪特征词，以结合情绪特征词与其对应的韵律属性为一特征集合，而将特征集合记录 至语意韵律记录。 在本发明的一实施例中，情绪语意模型的建立方法更包括依据一基本情绪规则 以及词汇知识库，订定语意标签。其中，语意标签包括特定语意标签、否定语意标签与转折 语意标签。 在本发明的一实施例中，上述将语意韵律记录转换为语意韵律向量的步骤，首先， 依据情绪规则，计算语意韵律记录中的情绪特征词的语意分数以及韵律分数。接着，依据 语意分数以及韵律分数，分别获得各语音信号的语意韵律记录在语意韵律向量中的维度分 数。而上述语意韵律向量的维度是依据情绪规则的数量而决定。 在本发明的一实施例中，上述在分别撷取语音信号中的各词语的语意属性与韵律 属性的步骤之前，更包括将各语音信号转换为文句。并且，对上述文句进行断词处理，而获 得上述词语。 在本发明的一实施例中，上述词汇知识库为知网(HowNet)。韵律属性包括音高、能 量以及音长。 本发明提出一种语音情绪的分类方法。首先，依据多个语音信号中的各测试词语 所包括的语意属性以及韵律属性，建立一情绪语意模型。而语意属性是查询词汇知识库而 获得，韵律属性则是由各语音信号所取得。接着，撷取待测语音信号中的各待测词语的语意 属性与韵律属性。之后，将各待测词语的语意属性与韵律属性，代入上述情绪语意模型，以 获得情绪语意分数。最后，依据情绪语意分数来判断待测语音信号的情绪类别。
在本发明的一实施例中，语音情绪的分类方法更包括在待测语音信号中，检测一 情绪显著音段，以撷取情绪显著音段的韵律特征。之后，将韵律特征代入情绪韵律模型，以 获得情绪韵律分数。据此，上述判断待测语音信号的情绪类别的步骤，更可依据情绪语意分 数与情绪韵律分数来进行判断。 在本发明的一实施例中，上述在待测语音信号中，检测情绪显著音段的步骤，可撷 取待测语音信号的音高轨迹，而音高轨迹包括多个音高。借由检测音高轨迹中的连续音段， 以将音高轨迹中的连续音段作为情绪显著音段。 基于上述，本发明先依据各词语的语意属性与韵律属性来训练语意韵律模型，以 借由此语意韵律模型来作为语音情绪的分类。如此一来，经由韵律属性来加强各情绪类别 的情绪特征，将可提高情绪分类的正确率。


为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具 体实施方式作详细说明，其中
图l是依照本发明第
图2是依照本发明第
图3是依照本发明第
图4是依照本发明第
图5是依照本发明第
图6是依照本发明第
6
一实施例所绘示的情绪语意模型的建立方法流程图。
一实施例所绘示的语音情绪的分类方法流程图。
二实施例所绘示的情绪语意模型的建立方法流程图。
二实施例所绘示的知网概念记录形式的示意图。
二实施例所绘示的语意标签的定义方法流程图。
二实施例所绘示的基本情绪因素的示意图。
图7是依照本发明第二实施例所绘示的语意标签的示意图。 图8A是依照本发明第二实施例所绘示的附加属性的示意图。 图8B是依照本发明第二实施例所绘示的附加属性权重表的示意图。 图9是依照本发明第二实施例所绘示的韵律属性权重表的示意图。 图10是依照本发明第三实施例所绘示的语音情绪分类方法的流程图, 主要元件符号说明 S105 S115 :本发明第一实施例的情绪语意模型的建立方法各步骤 S205 S220 :本发明第一实施例的语音情绪的分类方法各步骤 S310 S365 :本发明第二实施例的情绪语意模型的建立方法各步骤 S505 S510 :本发明第二实施例的语意标签的定义方法各步骤 S1010 S1030 :本发明第三实施例的语音情绪分类方法各步骤 301 :知网 302、 1002 :语意标签资料库 303、 1003 :韵律属性资料库 304、 1004 :情绪规则 305:附加属性权重表 306:韵律属性权重表 1001 :声学模型 1005 :情绪语意模型 1006 :情绪韵律模型
具体实施例方式
有别于传统仅使用情绪关键字于情绪分类，在下列实施例中，将进一步分析文字 语意并应用于情绪分类上。为了使本发明的内容更为明了，以下特举实施例作为本发明确 实能够据以实施的范例。
第一实施例 图1是依照本发明第一实施例所绘示的情绪语意模型的建立方法流程图。请参照 图1，在步骤S105中，提供一情绪语料库，其包括多个语音信号。在建立情绪语意模型之前， 先搜集多种情绪类别的语音信号。例如，可由多个不同的人针对生气、悲伤、高兴以及中性 四种情绪类别分别进行语音录制，以建立情绪语料库。 接着，在步骤SllO中，撷取各个语音信号中的各词语的语意属性与韵律属性，以
利用语意属性与韵律属性来做为分类的特征值。例如，先将各个语音信号转换为文句，再将
文句进行断词处理以切割为多个词语。之后，自一词汇知识库中查询这些词语的语意属性，
并且自语音信号撷取这些词语的韵律属性(例如，音高、能量以及音长)。 最后，在步骤S115中，依据语意属性与韵律属性，建立情绪语意模型。例如，依据
语意属性与韵律属性，将各语音信号转换为语意韵律向量。之后，再借由语意韵律向量来训
练情绪语意模型。即是将所撷取出的语意属性与韵律属性等情绪特征利用分类技术加以归纳。 —般而言，分类技术包括支持向量机(Support Vector Machine, SVM)、类神经网
7络(Neural Network, NN)、隐藏式马可夫模组(Hidden Markov Model, HMM)以及高斯混合 模式(Gaussian Mixture Model，G匪)等。在分类技术中， 一般是借由在空间上的向量来进 行训练。 举例来说，依据各词语的语意属性与韵律属性可获得此文句的一笔语意韵律记 录。接着，再借由自情绪语料库所取得的全部的语意韵律记录来探勘出各个情绪类别的情 绪规则。之后，便可依据上述情绪规则，将语意韵律记录转换为语意韵律向量。
在此，可预先利用上述词汇知识库来定义出多个语意标签。在定义上述语意标签 之后，再加入语音信号中的韵律属性，而将语意标签扩展成语意韵律标签。据此，便可经由 韵律属性来加强各情绪类别的情绪特征。 进一步地说，在撷取出各词语的语意属性之后，判断各词语的语意属性是否为语 意标签。当词语属于语意标签时，便将此词语的语意标签与其所对应的韵律属性结合为一 语意韵律标签。之后，再将语意韵律标签记录至文句所对应的语意韵律记录。另一方面，更 可依据语意属性，判断在不为语意标签的词语中是否包括情绪特征词，以结合情绪特征词 与其对应的韵律属性为一特征集合，而将特征集合记录至语意韵律记录。据此，便可依据自 动探勘而得的情绪规则，将语意韵律记录转换为语意韵律向量，以借由语意韵律向量在空 间中的关系来训练情绪语意模型。 而在建立情绪语意模组之后，便可开始进行语音情绪的辨识。以下再举一例来说 明。 图2是依照本发明第一实施例所绘示的语音情绪的分类方法流程图。请参照图2， 在步骤S205中，接收一待测语音信号。在接收到待测语音信号之后，便将待测语音信号转 换为文句，并将此文句切割为多个待测词语。 接着，如步骤S210所示，自词汇知识库中查询这些待测词语的语意属性并且自待 测语音信号来撷取这些待测词语的韵律属性。 之后，在步骤S215中，将各待测词语的语意属性与韵律属性，代入情绪语意模型，
以获得情绪语意分数。由于情绪语意模型已经建立，在此将语意属性及韵律属性代入情绪
语意模型，便可获得此待测语音信号在各情绪类别中所代表的情绪语意分数。 最后，在步骤S220中，依据情绪语意分数，判断待测语音信号的情绪类别。 一般而
言，情绪语意分数越高者通常是代表最后的分类结果。倘若快乐情绪类别的情绪语意分数
为最高，即代表此待测语音信号属于快乐情绪类别。 上述词汇知识库例如为知网(Hownet)。知网是一个以汉语和英语的词语所代表的 概念为描述物件，并且揭示概念与概念之间所具有的属性之间的关系。以下便以知网为例， 再举一实施例来详细说明建立情绪语意模型的各步骤。
第二实施例 图3是依照本发明第二实施例所绘示的情绪语意模型的建立方法流程图。请参照 图3，在步骤S310中，首先，查询知网301来撷取文句中各词语的语意属性。在知网301中 记录了多个词语的概念以及这些词语之间的关系。 以下列举一例来说明知网的概念记录形式。图4是依照本发明第二实施例所绘示 的知网概念记录形式的示意图。请参照图4，在知网中，每一个词语是由其概念与描述形成 一笔记录。而每一笔记录主要包括功能变量名称(包括词语、词词语性、词语例子以及概念
8定义)与资料。以"w—c二打"为例，其中"打"为资料，而"打"的功能变量名称为"wj:"，也 就是说"打"为一个词语。而以"g_c = v"为例，其中"v"为资料，而"v"的功能变量名称
为"G_C"，也就是说"V"为一个词词语性。其余以此类推。 返回图3，接着，在步骤S315中，查询语意标签资库302，以判断语意属性是否属于 语意标签。在此，语意标签是借由知网301当中所定义的语意属性而订定。以下再举一例 来说明语意标签的定义方法各步骤。 图5是依照本发明第二实施例所绘示的语意标签的定义方法流程图。请参照图5， 在步骤S505中，先订定基本引发的情绪因素。例如，参考情绪心理学以了解人类在什么情 境或状况之下，会引发情绪的产生。在整理归纳出引发情绪的基本情绪因素后，分析这些基 本情绪因素所隐含的主要语意。 举例来说，图6是依照本发明第二实施例所绘示的基本情绪因素的示意图。图6 所示即为归纳所得的基本情绪因素。在此，分别为快乐情绪因素、生气情绪因素以及悲伤情 绪因素。 经由对基本情绪因素的观察，可以发现这些基本情绪因素之中，均会有某些特定
语意的表现。例如得到某种好处、解除某种压力、失去某种好处等等。在上述语意表现中，
例如将"得到"、"解除"、"失去"等动作描述部分称为"动作语意词"，而将附属于动作语意词
而形成完整语意的部分称为"附属动作语意词"，如某种好处、压力、目标等。 回到图5，为了由语音信号所辨识出来文句中正确撷取出语意属性，之后便如步骤
S510，利用基本情绪规则与知网来定义出语意标签。 举例来说，图7是依照本发明第二实施例所绘示的语意标签的示意图。在此，语意 标签包括特定语意标签、否定语意标签以及转折语意标签。其中，特定语意标签是用来表达 特定语意的词语，否定语意标签具有否定意味的词语，而转折语意标签则具有语气转折的 词语。 在此，便根据知网中的动词，选取出其中具有表达特定语意的语意属性，再将这些 语意属性分为15类，成为15个特定语意标签的定义。 以语意标签[达成]为例，在知网中具有"Vachievel达成"、"fulful1实现"、 "end|终结"、"finishl完毕"、"succeed |成功"属性的词语将会被归类到[达成]此一语 意标签。例如，"查出"与"猜到"两个词语在知网中的记录为"DEF = Vachievel达成"，因 此，上述两个词语将会被归类至[达成]这个语意标签。 否定语意标签的定义是将知网里所有词语的定义中具有特征"negl负否"的词语 全部直接撷取，而成为否定语意标签的定义。 转折语意标签的定义则是观察知网中所有副词与连接词，将具有转折语气的词语 撷取成为转折语意标签的定义。此外，再根据转折语的特性，将转折语意标签分为二种，一 为[转折-撷取]，另一为[转折-省略]。 在语意标签定义完成之后，便可利用其来对语音情绪进行分类。
返回图3，在步骤S315中，当词语的语意属性符合语意标签时，如步骤S320所示， 标示对应的语意标签。之后，如步骤S325所示，查询韵律属性资料库303以将语意标签扩充 为语意韵律标签。据此，可经由韵律属性来加强各情绪类别的情绪特征。接着，在步骤S340 中，将语意韵律标签记录至此文句所对应的一语意韵律记录中。
举例来说，在将语音信号转换为文句并进行断词之后，可依据各个词语在语音信 号中的音段，撷取出此一音段的韵律属性，并记录至韵律属性资料库303。在此，韵律属性包 括音高、能量以及音长。而每一种韵律属性可分别量化成三个程度来表示，音高与能量以高 (H)、中(M)、低(L)来表示，而音长则以长(L)、中(M)、短(S)来表示。 返回步骤S315，当词语的语意属性不符合语意标签，如步骤S330所示，自这些词 语中取情绪特征词。之后，如步骤S335所示，将这些情绪特征词结合对应的韵律属性而成 为一特征集合。接着，在步骤S340中，将特征集合记录至此文句所对应的一语意韵律记录 中。 也就是说，除了已经被标上语意标签的词与之外在，其他未被标上语意标签的词 语(例如，形容词或名词)中，取其在知网301中的情绪特征词，并将此情绪特征词加入至 语意韵律记录之中，如此一来才算是一个完整文句的语意特征。 举例来说，假设语音信号转换的文句为，"都快没钱过日子了 ，还好今天拿到一点 钱了"。在经过上述步骤S310 S325之后，获得"没"的语意韵律标签为[否定—PM—El DS]，"还好"的语意韵律标签为[转折_撷取_PL_EM_DL]，"拿到"的语意韵律标签为[得 到_PH_EH_DM]，而其他词语则无任何语意标签。 接着，在其他未标示语意标签的词语中，依据其语意属性来找出情绪特征词。在经 过上述步骤S330 S335之后，获得"钱"的特征集合为[wealth |钱财_PH_EM_DS]，而"一 点"的特征集合为[few|少—Pl^EiLDM]。 据此，所获得的语意韵律记录则为{[否定_PM_EH_DS]、[转折_撷取_PL_EM_DL]、 [得到_PH_EH_DM] 、 [few |少_PL_EM_DM] 、 [wealth |钱财_PH_EM_DS]}。
值得注意的是，在本实施例中，仅撷取[转折-撷取]之后的语意韵律标签，因此 最后得到的语意韵律记录为{[得到_PH_EH_DM] 、 [few |少_PL_EM_DM] 、 [wealth |钱财—PH— EM—DS]}。 而辨识后的文句经由语意属性以及韵律属性的撷取后，成为一笔语意韵律记录。 之后，便运用资料探勘的技术，从全部的语意韵律记录中，自动来探勘出情绪规则304。
由于语意韵律标签的标示程序是以被标示的语意韵律标签为中心，因此所要求的 情绪规则形态为T — D。其中，T代表语意韵律标签，例如[达成_PH_EM_DS]、[解除_PM_ EH_DM]等。而D为附属于某个动作的附属语意词，是利用知网301来撷取出主要的情绪特 征词并结合韵律属性而成为特征集合，如[symbol I符号_PM_EH_DM]。在此T与D可以是一 个或多个。据此，不论是T1'T2 — Dl或是T3 — D2'D3均有可能。 经由资料探勘技术得到情绪规则304后，在步骤S345 S355中，利用情绪规则 304，将每一笔语意韵律记录转换为一语意韵律向量表示，其中每一条情绪规则代表向量空 间中的一个维度。 倘若中性情绪规则为R/， R/，. . . ， ，快乐情绪规则为R/1， R2H，. . . ， A;，生气情 绪规则为R2a， ... ，A^ ，悲伤情绪规则为R/， R2S， ... ，。 则每 一 笔语意韵律记录的语意韵律向量表示为 w =(《,vf,.."《v/7,《,…，《，vf,vf ，...《)。而此语意韵律向
10量则是在维度为rN+rH+rA+rs向量空间中的一个点。 在步骤S345中，依据情绪规则304，计算语意韵律记录的语意分数。详细地说，在 计分时，先检查语意韵律记录的T部分是否符合情绪规则304的T部分。倘若语意韵律记 录的T部分符合情绪规则的T部分，才进一步对D部分进行检查，以计算此维度分数。
由于在知网301定义中，词语具有阶层关系，此阶层关系是在语意韵律记录与情 绪规则304之间二个情绪特征词不一样时，用来计算二个情绪特征词的语意相似度。在知 网301中，若阶层关系最深共分m层，阶层愈深，其关系愈好，即语意愈相近。因此语意韵律 记录与情绪规则304之间二个情绪特征词Di， Dj的比对分数为
V
1
附
1
if A ^ 其中，L(Di， Dj)为Di， Dj最大相同路径长，N(L(Di， D》)为最大相同路径节点下的 子节点数，m为阶层关系。 阶层关系求得后，若语意韵律记录中的情绪特征词尚有一附加属性存在，再依不 同的属性关系再进行运算，如步骤S350所示，依据附加属性权重表305来计算附加属性的 计分。举例来说，图8A是依照本发明第二实施例所绘示的附加属性的示意图。图8B是依 照本发明第二实施例所绘示的附加属性权重表的示意图。在图8A，以知网301为例，定义了 八种附加属性。在图8B中，依据各附加属性之间的关系，给予各附加属性一权重值。
返回图4，接着，在步骤S355中，依据韵律属性权重表306计算韵律属性的计分。 举例来说，图9是依照本发明第二实施例所绘示的韵律属性权重表的示意图。在图9中，将 韵律属性可分别量化成三个程度来表示，音高与能量以高(H)、中(M)、低(L)来表示，而音 长则以长(U、中(M)、短(S)来表示。依据量化的程度差距来给予一权重值。H与M两者 程度较近，赋予的权重值为0. 5 ;而H与L两者程度较远，赋予的权重值为0. 25 ;另外，M与 H两者程度较近，所赋予的权重值亦为0.5。以此类推。 之后，在步骤S360中，根据上述步骤S345 S355来计算出语意韵律向量中的各 维度分数。 举例来说，假设Di为[symbol |符号_PM_EH_DM] ， D」为[&language |语言_PH_EM_ DM]。 Di在知网的路径为1. 1. 2. 5. 1. l，而Dj在知网的路径为1. 1. 2. 5. 1， L(Di， D》为5， N(L(Di， Dj))为4，求得阶层关系分数Vp为5/28。附加属性分数、为0. 5。韵律属性分数 vf为0. 5。最后求得在语意韵律向量中的一维度分数为v = VpXVrXVf。
最后，在步骤S365中，在各情绪类别的语意韵律向量收集完成之后，便可以高斯 混合模型建构出每一情绪类别的情绪语意模型。在情绪语意模型建构完成之后，便可开始 进行语音情绪的分类。以下再举另一实施例来说明。
第三实施例 图10是依照本发明第三实施例所绘示的语音情绪分类方法的流程图。请参照图 10，在本实施例中，接收到待测语音信号之后，可分别对待测语音信号进行文字语意的分析 以及韵律特征的撷取。 在文字语意的分析上，首先如步骤S1010所示，利用一语音辨识的声学模型
111001(例如HMM)将待测语音信号转换为文句。接着，如步骤1015所示，利用语意标签资料 库1002、韵律属性资料库1003以及情绪规则1004，将此文句转换为语意韵律向量。
在此，步骤1015与前述第二实施例中的步骤S310 S360相同或相似，而语意标 签资料库1002、韵律属性资料库1003以及情绪规则1004与前述第二实施例中的语意标签 资料库302、韵律属性资料库303以及情绪规则304的建立方法亦相同或相似，故在此皆不 再赘述。 另一方面，在韵律特征的撷取上，首先如步骤S1020所示，在待测语音信号中，检 测一情绪显著音段。在待测语音信号中，为了避免非情绪音段影响了情绪辨识的准确率，因 而可先检测情绪显著音段(Emotionally Salient Segment)，以针对显著音段来撷取韵律 特征。所谓的情绪显著音段是先计算出整个待测语音信号的音高轨迹(Pitch Contour)。 倘若音高轨迹中存在连续音段，则将此连续音段定义为情绪显著音段。
接着，在步骤S1025中，基于情绪显著音段来撷取韵律特征。韵律特征包括最大音 高值、最小音高值、平均音高值、音高变异数、最大能量值、最小能量值、平均能量值、能量变 异数、最大共振峰值、最小共振峰值、平均共振峰值、共振峰变异数，共计12个参数。将此12 个参数视为12维度的韵律向量。 最后在步骤S1030中，结合情绪语意模型1005与情绪韵律模型1006，并且根据贝 式定理来决定待测语音信号的情绪类别。详细地说，也就是将语意韵律向量代入情绪语意 模型1005而获得情绪语意分数，并将韵律向量代入情绪韵律模型1006而获得情绪韵律分 数。之后，借由贝式定理所找出的事后机率最大的情绪类别，即为最后的辨识结果。
在此，情绪韵律模型1006例如亦是以高斯混合模型所建立。也就是将情绪语料库 中的语音信号，分别撷取上述12个参数，以此12个参数作为韵律向量来训练此情绪韵律模 型1006。 综上所述，在上述实施例中，分析各词语的语意属性，并进一步结合韵律属性，据 以提高情绪分类的正确率。此外，更可仅针对语音信号中的情绪显著音段进行分析，以避免 非情绪的音段影响了情绪分类的正确率。 虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技 术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范 围当以权利要求书所界定的为准。
权利要求
一种情绪语意模型的建立方法，包括提供一情绪语料库，其包括分属于多个情绪类别的多个语音信号；分别撷取该些语音信号中的多个词语各自的一语意属性与一韵律属性，其中该语意属性是依据一词汇知识库而获得，该韵律属性是由各该些语音信号所取得；以及借由该些语音信号各自的该语意属性与该韵律属性，建立该情绪语意模型。
2. 如权利要求1所述的情绪语意模型的建立方法，其特征在于，借由该些语音信号各 自的该语意属性与该韵律属性，建立该情绪语意模型的步骤，包括依据该语意属性与该韵律属性，分别转换各该些语音信号为一语意韵律向量，以借由 该些语音信号各自的该语意韵律向量，建立该情绪语意模型。
3. 如权利要求2所述的情绪语意模型的建立方法，其特征在于，借由该些语音信号各 自的该语意韵律向量，建立该情绪语意模型的步骤，包括将该些语音信号各自的该语意韵律向量代入一高斯混合模型，以建立该情绪语意模型。
4. 如权利要求2所述的情绪语意模型的建立方法，其特征在于，依据该语意属性与该 韵律属性，分别转换各该些语音信号为该语意韵律向量的步骤，包括依据该些词语各自的该语意属性与该韵律属性，获得一语意韵律记录； 借由该语意韵律记录，探勘一情绪规则；以及 依据该情绪规则，将该语意韵律记录转换为该语意韵律向量。
5. 如权利要求4所述的情绪语意模型的建立方法，其特征在于，依据该些词语各自的 该语意属性与该韵律属性，获得该语意韵律记录的步骤，包括依据该语意属性，判断各该些词语是否属于一语意标签，其中该语意标签是依据该词 汇知识库所定义而得；以及当该些词语其中之一属于该语意标签时，结合该语意标签与其所对应的该韵律属性为 一语意韵律标签，以将该语意韵律标签记录至该语意韵律记录。
6. 如权利要求5所述的情绪语意模型的建立方法，其特征在于，更包括 依据一基本情绪因素以及该词汇知识库，订定该语意标签，其中该语意标签包括一特定语意标签、一否定语意标签与一转折语意标签。
7. 如权利要求5所述的情绪语意模型的建立方法，其特征在于，依据该些词语各自的 该语意属性与该韵律属性，获得该语意韵律记录的步骤，更包括依据该语意属性，判断在不属于该语意标签的该些词语中是否包括一情绪特征词，以 结合该情绪特征词与其对应的该韵律属性为一特征集合，而将该特征集合记录至该语意韵 律记录。
8. 如权利要求7所述的情绪语意模型的建立方法，其特征在于，依据该情绪规则，将该语意韵律记录转换为该语意韵律向量的步骤，包括依据该情绪规则，计算该语意韵律记录中的情绪特征词的一语意分数以及一韵律分 数；以及依据该语意分数以及该韵律分数，分别获得该些语音信号各自的该语意韵律记录在 该语意韵律向量中的一维度分数，而该语意韵律向量的维度是依据该情绪规则的数量而决 定。
9. 如权利要求1所述的情绪语意模型的建立方法，其特征在于，在分别撷取该些语音 信号中的该些词语各自的该语意属性与该韵律属性的步骤之前，更包括转换各该些语音信号为一文句；以及 对该文句进行断词处理，而获得该些词语。
10. 如权利要求1所述的情绪语意模型的建立方法，其特征在于，该词汇知识库为知网。
11. 如权利要求1所述的情绪语意模型的建立方法，其特征在于，该韵律属性包括音 高、能量以及音长。
12. —种语音情绪的分类方法，包括依据多个语音信号中的多个测试词语各自所包括的一语意属性以及一韵律属性，建立 一情绪语意模型，其中该语意属性是依据一词汇知识库而获得，该韵律属性是由各该些语 音信号所取得；接收一待测语音信号；撷取该待测语音信号中的多个待测词语各自的该语意属性与该韵律属性； 将该些待测词语各自的该语意属性与该韵律属性，代入该情绪语意模型，以获得一情 绪语意分数；以及依据该情绪语意分数，判断该待测语音信号的情绪类别。
13. 如权利要求12所述的语音情绪的分类方法，其特征在于，更包括 在该待测语音信号中，检测一情绪显著音段； 撷取该情绪显著音段的多个韵律特征；将该些韵律特征代入一情绪韵律模型，以获得一情绪韵律分数。
14. 如权利要求13所述的语音情绪的分类方法，其特征在于，依据该情绪语意分数，判 断该待测语音信号的情绪类别的步骤，更包括依据该情绪语意分数与该情绪韵律分数，判断该待测语音信号的情绪类别。
15. 如权利要求13所述的语音情绪的分类方法，其特征在于，在该待测语音信号中，检 测该情绪显著音段的步骤，包括撷取该待测语音信号的一音高轨迹；以及检测该音高轨迹中的连续音段，以将该音高轨迹中的连续音段作为该情绪显著音段。
16. 如权利要求12所述的语音情绪的分类方法，其特征在于，将该些待测词语各自的 该语意属性与该韵律属性，代入该情绪语意模型的步骤，包括依据该语意属性与该韵律属性，转换该待测语音信号为一语意韵律向量；以及 将该语意韵律向量代入该情绪语意模型。
17. 如权利要求16所述的语音情绪的分类方法，其特征在于，依据该语意属性与该韵 律属性，转换该待测语音信号为该语意韵律向量的步骤，包括依据该些待测词语各自的该语意属性与该韵律属性，获得一语意韵律记录；以及 依据一情绪规则，将该语意韵律记录转换为该语意韵律向量。
18. 如权利要求17所述的语音情绪的分类方法，其特征在于，依据该些待测词语各自 的该语意属性与该韵律属性，获得该语意韵律记录的步骤，包括依据该语意属性，判断各该些待测词语是否属于一语意标签，其中该语意标签是依据该词汇知识库所定义而得；当该些待测词语其中之一属于该语意标签时，结合该语意标签与其所对应的该韵律属性为一语意韵律标签，以将该语意韵律标签记录至该语意韵律记录；以及依据该语意属性，判断在不属于该语意标签的该些待测词语中是否为一情绪特征词，以结合该情绪特征词与其对应的该韵律属性为一特征集合，而将该特征集合记录至该语意韵律记录。
19. 如权利要求18所述的语音情绪的分类方法，其特征在于，该语意标签包括一特定语意标签、一否定语意标签与一转折语意标签。
20. 如权利要求18所述的语音情绪的分类方法，其特征在于，依据该情绪规则，将该语意韵律记录转换为该语意韵律向量的步骤，包括依据该情绪规则，计算该语意韵律记录中的情绪特征词的一语意分数以及一韵律分数；以及依据该语意分数以及该韵律分数，获得该语意韵律记录在该语意韵律向量中的一维度分数，而该语意韵律向量的维度是依据该情绪规则的数量而决定。
21. 如权利要求12所述的语音情绪的分类方法，其特征在于，建立该情绪语意模型的步骤，包括依据一高斯混合模型，建立该情绪语意模型。
22. 如权利要求12所述的语音情绪的分类方法，其特征在于，在撷取该待测语音信号中的该些待测词语各自的该语意属性与该韵律属性的步骤之前，更包括转换该待测语音信号为一文句；以及对该文句进行断词处理，而获得该些待测词语。
23. 如权利要求12所述的语音情绪的分类方法，其特征在于，该词汇知识库为知网。
24. 如权利要求12所述的语音情绪的分类方法，其特征在于，该韵律属性包括音高、能量以及音长。
全文摘要
揭示一种语音情绪的分类方法及其情绪语意模型的建立方法。首先，借由一情绪语料库的语音信号所包括的语意属性以及韵律属性，建立一情绪语意模型。接着，撷取待测语音信号中的各待测词语的语意属性与韵律属性。之后，将各待测词语的语意属性与韵律属性，输入上述情绪语意模型，借此来将待测语音信号分类至对应的情绪类别。如此一来，经由韵律属性来加强各情绪类别的情绪特征，将可提高情绪分类的正确率。
文档编号G10L15/00GK101751923SQ20081017949
公开日2010年6月23日 申请日期2008年12月3日 优先权日2008年12月3日
发明者吴宗宪, 朱家德, 李伟铨, 林瑞堂, 许进顺 申请人:财团法人资讯工业策进会