专利名称：识别语音信号中所承载的情感状态的方法和系统的制作方法
技术领域：
本发明涉及语音信号识别技木，尤其涉及生成语音情感模型的方法和设备，以及识别语音信号中所承载的情感状态的方法和设备。
背景技术：
语音是人类最重要的交流工具之一，可以承载和传递多种不同的信息，如语义内容、说话人身份、语言种类、情感状态等。语音情感识别是研究如何通过语音信号识别说话人的情感状态。通过获取语音信号中蕴含的丰富情感信息，可识别说话人通过语音表达的情感状态。中国专利第200610097301. 6号公开ー种基于支持向量机的语音情感识别方法，提取基音频率轨迹、振幅、共振峰频率轨迹等声学特征；加入性别规整，对说话人性别的差异进行处理；采用支持向量机(SVM)训练情感识别模型，为每ー种情感状态训练ー个SVM模型，用最少支持向量在错分样本和算法复杂度之间获得识别結果。非专利文献Hidden Markov model-based speech emotion recognition (B.Schuller, G.Rigoll，M. Lang, Proceedings of ICASSP 2003，HongKong，China,2003,401-405)研究了隐马尔科夫模型(HMM)在语音情感识别中的应用，对于基音频率和能量提取全局统计特征，利用単一状态的HMM进行情感识别，对于语音信号的短时特征，利用连续的HMM进行情感识别。非专利文献 Emotion recognition of speech in Mandarin based onneura丄network(Q. Wang, B.Xie, G. C. Chen, Proceedings of the IstChinese Conference onAffective Computing and Intelligent Interaction(ACII), Beijing, China,2003,185-190)研究了人工神经网络(ANN)在语音情感识别中的应用，提取了基音频率、能量、以及语速等特征，分别利用0C0N、AC0N、LVQ三种类型的ANN，对汉语情感语音进行情感识别。
发明内容
本发明的一个实施例是ー种生成语音情感模型的方法，包括以下步骤通过无监瞀聚类将标注为同一情感状态的多个情感语音样本聚类成η个子类，每个子类对应于同一情感状态的不同情感表达方式中的ー种情感表达方式；以及为每个子类中的情感语音样本生成一个语音情感模型，从而得到分别对应于η个子类的η个语音情感模型，η个语音情感模型用于识别语音信号所承载的不同情感表达方式的情感状态，其中η为大于或等于2的整数。本发明的一个实施例是ー种生成语音情感模型的设备，包括无监瞀聚类部，通过无监瞀聚类将标注为同一情感状态的多个情感语音样本聚类成η个子类，每个子类对应于同一情感状态的不同情感表达方式中的ー种情感表达方式；以及语音情感模型生成部，为每个子类中的情感语音样本生成一个语音情感模型，从而得到分别对应于η个子类的η个语音情感模型，η个语音情感模型用于识别语音信号所承载的不同情感表达方式的情感状态，其中η为大于或等于2的整数。
本发明的一个实施例是ー种识别语音信号中所承载的情感状态的方法，包括以下步骤将预处理后的语音信号与至少ー个情感状态中的每ー个情感状态的η个语音情感模型中的每ー个分别进行相似度匹配，以识别语音信号所承载的不同情感表达方式的每ー个情感状态，其中，同一情感状态的η个语音情感模型中的每ー个对应于同一情感状态的不同情感表达方式中的ー种情感表达方式，以及η为大于或等于2的整数。本发明的一个实施例是ー种识别语音信号中所承载的情感状态的设备，包括语音情感识别部，将预处理后的语音信号与至少ー个情感状态中的每ー个情感状态的η个语音情感模型中的每ー个分别进行相似度匹配，以识别语音信号所承载的不同情感表达方式的每ー个情感状态，其中，同一情感状态的η个语音情感模型中的每ー个对应于同一情感状态的不同情感表达方式中的ー种情感表达方式，以及η为大于或等于2的整数。
參照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。在附图中，相同的或对应的技术特征或部件将采用相同或对应的附图标记来表示。图I是示出根据本发明的一个实施例的生成语音情感模型的设备的示例性结构的框图；图2是示出根据本发明的一个实施例的语音情感模型生成部的示例性结构的框图；图3是示出根据本发明的另ー个实施例的语音情感模型生成部的示例性结构的框图；图4是示出根据本发明的另ー个实施例的生成语音情感模型的设备的示例性结构的框图；图5是示出根据本发明的一个实施例的生成语音情感模型的方法的示例性过程的流程图；图6是示出根据本发明的一个实施例的生成步骤的示例性过程的流程图；图7是示出根据本发明的另ー个实施例的生成步骤的示例性过程的流程图；图8是示出根据本发明的另ー个实施例的生成语音情感模型的方法的示例性过程的流程图；图9是示出根据本发明的一个实施例的修正步骤的示例性过程的流程图；图10是示出根据本发明的一个实施例的识别语音信号中所承载的情感状态的设备的示例性结构的框图；图11是示出根据本发明的一个实施例的语音情感识别部的示例性结构的框图；图12是示出根据本发明的一个实施例的识别语音信号中所承载的情感状态的方法的示例性过程的流程图；图13是示出根据本发明的一个实施例的识别步骤的示例性过程的流程图。
具体实施方式
本文中所用的术语，仅仅是为了描述特定的实施例，而不意图限定本发明。本文中所用的単数形式的“一”和“该”，_在也包括复数形式，除非上下文中明确地另行指出。还要知道，“包含” 一词在本说明书中使用时，说明存在所指出的特征、整体、步骤、操作、単元和/或组件，但是并不排除存在或増加ー个或多个其它特征、整体、步骤、操作、単元和/或组件，以及/或者它们的组合。下面參照附图来说明本发明的实施例。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出ー种机器，使得通过计算机或其它可编程数据处理装置执行的这些指令，产生实现流程图和/或框图中的方框中规定的功能/操作的装置。 也可以把这些计算机程序指令存储在能指令计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令产生ー个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instruction means)的制造品。也可以把计算机程序指令加载到计算机或其它可编程数据处理装置上，使得在计算机或其它可编程数据处理装置上执行一系列操作步骤，以产生计算机实现的过程，从而在计算机或其它可编程装置上执行的指令就提供实现流程图和/或框图中的方框中规定的功能/操作的过程。应当明白，附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。情感的表示是语音情感识别的重要基础之一，情感表示方法主要有以下两种基本情感论和情感维度论。基本情感论认为情感是离散的实体，并且存在数种“基本情感”，其它情感都可以由基本情感修改和/或组合得到。在语音情感识别中应用基本情感论时，存在以下ー些不足基本情感论提供的粒度过大，不易分辨人类丰富、细腻的情感，如紧张、焦虑、郁闷、挫折感等；另外，基本情感论也不能提供有效的建模方法来解决人与人之间在情感认知和心理体验上的差异。情感维度论是用连续的维度空间来描述情感，用情感在维度空间中的相对距离来衡量彼此的相似性和差异性，且情感状态转变是逐渐的和平稳的。在语音情感识别中应用情感维度论，也存在以下一些问题维度论情感空间中所有的点都是用数值表示的，不仅缺少直观性，也难以理解和体验；另外，情感空间各维度的測量手段和计算方法，在客观性和确定性上也与人们的期待有差距。发明人通过观察认识到，不同人的情感表达方式具有差异性。例如，对于“高兴”，不同的人会有“高兴”的不同的表达方式。如果为某ー种情感状态仅建立一种语音情感模型，则无法表示同一情感状态的各种不同的情感表达方式，导致语音情感识别的可靠性差。发明人相应认识到，人类的情感丰富且复杂，同一情感状态具有各种不同的情感表达方式，并且情感状态的转变是逐渐的和平稳的，因此可以用连续的维度空间来描述情感。同时，不同的情感状态之间又具有相対的边界，从而可以将不同的情感状态彼此区分开。基于人类情感的上述特点，本发明通过无监瞀聚类将标注为同一情感状态的多个情感语音样本聚类成η个子类，每个子类对应于同一情感状态的不同情感表达方式中的ー种情感表达方式；并且为每个子类中的情感语音样本生成一个语音情感模型,从而得到分别对应于η个子类的η个语音情感模型，η个语音情感模型用于识别语音信号所承载的不同情感表达方式的情感状态，其中η为大于或等于2的整数。图I是示出根据本发明的一个实施例的生成语音情感模型的设备的示例性结构的框图。如图I所示，该生成语音情感模型的设备包括无监瞀聚类部101和语音情感模型生成部102。无监瞀聚类部101通过无监瞀聚类将标注为同一情感状态的多个情感语音样本聚类成η个子类，每个子类对应于同一情感状态的不同情感表达方式中的ー种情感表达方式；语音情感模型生成部102为每个子类中的情感语音样本生成一个语音情感模型，从而得到分别对应于η个子类的η个语音情感模型，η个语音情感模型用于识别语音信号所承载的不同情感表达方式的情感状态，其中η为大于或等于2的整数。可以通过各种方式来收集情感语音样本，例如来自非专业演员的录音数据，或者来自电视剧的演员录音数据，或者来自广播、电视中访谈类节目的录音数据等。对于非专业演员的录音数据，例如通过设计不同的对话场景，以两人对话的形式录制语音，通过一方的话语激发另一方产生期待的情感变化，以获得真实性较高的情感语音样本。參考语音呼叫中心经常发生的事情来编写录音语料，以保证对话内容的合理性。挑选ー些性格特点不同、文化背景不同的录音人员，可以尽可能涵盖不同情感表达方式的情感语音。另外两种情感语音可以从电视、电影、广播等多媒体文件中截取。收集的情感语音样本可以以数据库的形式存储到标注情感语音库中。本领域技术人员可以理解，收集的情感语音数据也可以以其它形式存储。无监瞀聚类的方法例如是最近距离聚类法、系统聚类法、逐步形成聚类法等。然而应当明白，可采用的无监瞀聚类的方法并不限于此。通过无监瞀聚类，每种情感状态可以建立多个语音情感模型。例如，当有“高兴”、“中性”、“生气”三种情感状态时，针对“高兴”可能聚类出四个语音情感模型Η1、Η2、Η3和Η4，针对“中性”可能聚类出两个语音情感模型Ml和M2，针对“生气”可能聚类出六个语音情感模型Al、Α2、A3、Α4、Α5和Α6。这些不同情感状态的多个语音情感模型以数据库的形式存储到情感模型知识库中。本领域技术人员可以理解，这些不同情感状态的多个语音情感模型也可以以其它形式存储。图2是示出根据本发明的一个实施例的语音情感模型生成部的示例性结构的框 图。语音情感模型生成部102包括声学模型建立部202和分类器训练部203。声学模型建立部202根据从每个子类中的情感语音样本中所提取的声学特征建立每个子类的声学模型。可以提取的声学特征有很多种，例如基音频率轨迹、振幅、共振峰频率轨迹等。然而应当明白，可提取的声学特征并不限于此。分类器训练部203训练与每个子类的声学模型相适应的情感分类器。可以采用多种方法来建立声学模型和训练情感分类器，例如可以采用支持向量机(SVM)、隐马尔科夫模型(HMM)、人工神经网络(ANN)等方法。具体的SVM、HMM、ANN等方法由于众多文献都有详细论述，这里就不再展开说明。然而应当明白，可采用的方法并不限于此。
由声学模型建立部202得到的声学模型和由分类器训练部203得到的分类器构成了初始的语音情感模型。语音情感模型可以以数据库的形式存储到语音情感模型知识库中。本领域技术人员可以理解，语音情感模型也可以以其它形式存储。图3是示出根据本发明的另ー个实施例的语音情感模型生成部的示例性结构的框图。图3所示的情感模型生成部102’与图2所示的基本相同，不同在于图3所示的情感模型生成部102’还包括语音情感模型更新部204。语音情感模型更新部204根据所标注的多个情感语音样本与所述初始的语音情感模型的匹配结果更新初始的语音情感模型的參数。经过更新的语音情感模型可以以数据库的形式存储到语音情感模型知识库中。本领域技术人员可以理解，经过更新的语音情感模型也可以以其它形式存储。图4是示出根据本发明的另ー个实施例的生成语音情感模型的设备的示例性结构的框图。图4所示的生成语音情感模型的设备与图I所示的基本相同，不同在于图4所示的生成语音情感模型的设备还包括语音情感模型测试部7010和测试结果反馈部7012。其中，语音情感模型测试部7010采用所述标注情感语音样本对生成的语音情感模型进行测试，根据测试结果生成所述标注情感语音样本的新标注信息；测试结果反馈部7012将所述新标注信息与相应的原始的标注信息进行比较，若不一致，则采用所述新标注信息修正所述相应的原始的标注信息。由于充分利用标注情感语音样本对生成的语音情感模型进行测试，能够避免由情感语音样本的标注错误导致的模型缺陷，训练得到更加鲁棒的语音情感模型。图5是示出根据本发明的一个实施例的生成语音情感模型的方法的示例性过程的流程图。如图5所示，该方法从步骤500开始。在步骤501中，通过无监瞀聚类将标注为同一情感状态的多个情感语音样本聚类成η个子类，每个子类对应于同一情感状态的不同情感表达方式中的ー种情感表达方式；在步骤502中，为每个子类中的情感语音样本生成一个语音情感模型，从而得到分别对应于η个子类的η个语音情感模型，η个语音情感模型用于识别语音信号所承载的不同情感表达方式的情感状态，其中η为大于或等于2的整数。该方法在步骤503结束。可以通过各种方式来收集情感语音样本，例如来自非专业演员的录音数据，或者来自电视剧的演员录音数据，或者来自广播、电视中访谈类节目的录音数据等。无监瞀聚类的方法例如是最近距离聚类法、系统聚类法、逐步形成聚类法等。然而应当明白，可采用的无监瞀聚类的方法并不限于此。图6是示出根据本发明的一个实施例的生成步骤的示例性过程的流程图。如图6所示，在步骤5020中，根据从每个子类中的情感语音样本中所提取的声学特征建立所述每个子类的声学模型。接着，在步骤5022中，训练与每个子类的声学模型相适应的情感分类器。最后，在步骤503结束。可以采用多种方法来建立声学模型和训练情感分类器，例如可以采用支持向量机(SVM)、隐马尔科夫模型(HMM)、人工神经网络(ANN)等方法。具体的SVM、HMM、ANN等方法由于众多文献都有详细论述，这里就不再展开说明。然而应当明白，可采用的方法并不限于此。由步骤5020得到的声学模型和由步骤5022得到的分类器构成了初始的语音情感模型。语音情感模型可以以数据库的形式存储到语音情感模型知识库中。本领域技术人员可以理解，语音情感模型也可以以其它形式存储。图7是示出根据本发明的另ー个实施例的生成步骤的示例性过程的流程图。图7所示的生成步骤与图6所示的基本相同，下面仅描述不同之处。在步骤5024中，判断是否对初始的语音情感模型进行更新。如果为“是”，则执行步骤5026;如果为“否”，则结束(步骤503)。在步骤5026中，根据所标注的多个情感语音样本与所述初始的语音情感模型的匹配结果更新初始的语音情感模型的參数。执行完步骤5026后，返回步骤5020。经过更新的语音情感模型可以以数据库的形式存储到语音情感模型知识库中。本领域技术人员可以理解，经过更新的语音情感模型也可以以其它形式存储。图8是示出根据本发明的另ー个实施例的生成语音情感模型的方法的示例性过程的流程图。图8所示的生成语音情感模型的方法与图5所示的基本相同，下面仅描述不同之处。如图8所示，在步骤603中，判断是否对标注情感语音样本进行修正。如果为“是”，则执行步骤604;如果为“否”，则结束(步骤605)。在步骤604中，采用标注情感语音样本对生成的语音情感模型进行测试，井根据测试结果修正所述标注情感语音样本的标注信息。由于充分利用标注情感语音样本对生成的语音情感模型进行测试，能够避免由情感语音样本的标注错误所导致的模型缺陷，训练得到更加鲁棒的语音情感模型。执行完步骤604后，返回到步骤603。图9是示出根据本发明的一个实施例的修正步骤的示例性过程的流程图。如图9所示，在步骤6040中，采用所述标注情感语音样本对生成的语音情感模型进行测试，根据测试结果生成所述标注情感语音样本的新标注信息。接着，在步骤6042中，将新标注信息与相应的原始的标注信息进行比较。在步骤6044中，判断新标注信息与相应的原始的标注信息是否一致。如果一致，则返回步骤603 ;若不一致，执行步骤6046。在步骤6046中，采用新标注信息修正相应的原始的标注信息。执行完步骤6046后,返回步骤603。图10是示出根据本发明的一个实施例的识别语音信号中所承载的情感状态的设备的示例性结构的框图。该识别语音信号中所承载的情感状态的设备包括语音情感识别部103。语音情感识别部103将预处理后的语音信号与至少ー个情感状态中的每ー个情感状态的η个语音情感模型中的每ー个分别进行相似度匹配，以识别语音信号所承载的不同情 感表达方式的每ー个情感状态，其中，同一情感状态的η个语音情感模型中的每ー个对应于同一情感状态的不同情感表达方式中的ー种情感表达方式，并且η为大于或等于2的整数。图11是示出根据本发明的一个实施例的语音情感识别部的示例性结构的框图。语音情感识别部103包括模型语音情感模型匹配部401和投票部403。语音情感模型匹配部401计算在所述语音情感模型中的每ー个的条件下预处理后的语音信号承载语音情感模型中的每ー个的相应情感状态的概率值，从计算得到的概率值中选择前几个作为投票候选概率值。例如，若存在“高兴”、“中性”、“生气”3种情感状态的12个语音情感模型，其中针对“高兴”有四个语音情感模型Η1、Η2、Η3和Η4，针对“中性”有两个语音情感模型Ml和M2，针对“生气”有六个语音情感模型A1、A2、A3、A4、A5和A6。计算在12个语音情感模型中的每ー个的条件下预处理后的语音信号承载该12个语音情感模型中的每ー个的相应情感状态的概率值，这样共得到12个概率值。从这12个概率值中选择前N个作为投票候选概率值。投票部403对N个投票候选概率值按对应的情感状态进行计票，将相应投票候选概率值的数目最大的情感状态确定为语音信号所承载的情感状态。将N个投票候选概率值按照语音情感模型对应的情感状态进行分类，统计每类中投票候选概率值的票数(即语音情感模型出现的次数)。如果相应投票候选概率值的数目最大的情感状态的数目为2或2以上，则分别计算每个情感状态的相应投票候选概率值的数目之和，将最大投票候选概率值的数目之和的相应情感状态确定为语音信号所承载的情感状态。所确定的情感状态所对应的语音情感模型的概率值中，最大的概率值就是输入的语音信号所承载的情感状态与该语音情感模型之间的相似度。以上述“3种情感的12个模型”为例，模型匹配部401得到12个概率值，取这些概率值中最大的N = 5个作为投票候选概率值。例如，如果“高兴”的H2模型的概率值为O. 9，“生气”的A2模型的概率值O. 85，“高兴”的H3模型的概率值为O. 82，“中性”的Ml模型的概率值为O. 76，“高兴”的H4模型的概率值为O. 68，则“高兴”的票数计为3，“生气”的票数计为1，“中性”的票数计为I。由干“高兴”的票数最多，因此当前语音信号所承载的情感状态被确定为“高兴”。在“高兴”对应的3个模型H2、H3和H4中，模型H2的概率值最大，因此确定“高兴”以模型H2的情感表达方式来表达，情感相似度为O. 9。再例如，如果“高兴”的H2模型的概率值为O. 9，“生气”的A2模型的概率值为O. 85，“高兴”的H3模型的概率值为O. 82，“中性”的Ml模型的概率值为O. 76，“生气”的A5模型的概率值为O. 68，则“高兴”的票数计为2，“生气”的票数计为2，“中性”的票数计为1，其中，“高兴”对应的2个模型的概率值之和为O. 9 (H2) +0. 82 (H3) = I. 72 ;“生气”对应的2个模型的概率值之和为0.85 (A2)+0.68 (A5) =1.53。由于“高兴”对应的2个模型的概率值之和I. 72大于“生气”对应的2个模型的概率值之和I. 53，因此当前语音信号所承载的情感状态被确定为“高兴”。在“高兴”对应的2个模型H2、H3中，模型H2的概率值最大，因此确定“高兴”以模型H2的情感表达方式来表达，情感相似度为O. 9。图12是示出根据本发明的一个实施例的识别语音信号中所承载的情感状态的方法的示例性过程的流程图。如图12所示，该方法从步骤800开始。接着，在步骤801中，将预处理后的语音信号与至少ー个情感状态中的每ー个情感状态的η个语音情感模型中的每ー个分别进行相似度匹配，以识别语音信号所承载的不同情感表达方式的每ー个情感状态，其中，同一情感状态的η个语音情感模型中的每ー个对应于同一情感状态的不同情感表达方式中的ー种情感表达方式，并且η为大于或等于2的整数。最后，在步骤802结束。图13是示出根据本发明的一个实施例的识别步骤的示例性过程的流程图。如图13所示，从步骤800开始。接着，在步骤8010中，计算在语音情感模型中的每ー个的条件下预处理后的语音信号承载语音情感模型中的每ー个的相应情感状态的概率值，从计算得到的概率值中选择前几个作为投票候选概率值。
接着，在步骤8012中，对投票候选概率值按对应的情感状态进行计票，将包含投票候选概率值的数目最大的情感状态确定为语音信号所承载的情感状态。将这些投票候选概率值按照语音情感模型对应的情感状态进行分类，统计每类中投票候选概率值的票数(即语音情感模型出现的次数)。如果相应投票候选概率值的数目最大的情感状态的数目为2或2以上，则分别计算每个所述情感状态的相应投票候选概率值的数目之和，将最大投票候选概率值的数目之和的相应情感状态确定为语音信号所承载的情感状态。所确定的情感状态所对应的语音情感模型的概率值中，最大的概率值就是输入的语音信号所承载的情感状态与该语音情感模型之间的相似度。最后，在步骤802结束。还需要指出的是，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。在前面的说明书中參照特定实施例描述了本发明。然而本领域的普通技术人员理 解，在不偏离如权利要求书限定的本发明的范围的前提下可以进行各种修改和改变。
权利要求
1.一种生成语音情感模型的方法，包括以下步骤 通过无监督聚类将标注为同一情感状态的多个情感语音样本聚类成n个子类，每个子类对应于所述同一情感状态的不同情感表达方式中的一种情感表达方式；以及 为每个子类中的情感语音样本生成一个语音情感模型，从而得到分别对应于所述n个子类的n个语音情感模型，所述n个语音情感模型用于识别语音信号所承载的不同情感表达方式的所述情感状态， 其中，n为大于或等于2的整数。
2.根据权利要求I所述的方法，其中所述生成步骤包括以下步骤 根据从所述每个子类中的情感语音样本中所提取的声学特征建立所述每个子类的声学模型；以及 训练与所述每个子类的声学模型相适应的情感分类器， 其中，所述声学模型和所述情感分类器构成初始的语音情感模型。
3.根据权利要求2所述的方法，其中所述生成步骤还包括以下步骤 根据所标注的多个情感语音样本与所述初始的语音情感模型的匹配结果更新所述初始的语音情感模型的参数。
4.根据权利要求1-3中任一项所述的方法，在所述生成步骤之后还包括以下步骤 采用所标注的多个情感语音样本对生成的语音情感模型进行测试，并根据测试结果生成所标注的多个情感语音样本的新标注信息；以及 将所述新标注信息与相应的原始的标注信息进行比较，若不一致，则采用所述新标注信息修正所述相应的原始的标注信息。
5.一种生成语音情感模型的设备，包括 无监督聚类部,通过无监督聚类将标注为同一情感状态的多个情感语音样本聚类成n个子类，每个子类对应于所述同一情感状态的不同情感表达方式中的一种情感表达方式；以及 语音情感模型生成部，为每个子类中的情感语音样本生成一个语音情感模型，从而得到分别对应于所述n个子类的n个语音情感模型，所述n个语音情感模型用于识别语音信号所承载的不同情感表达方式的所述情感状态， 其中，n为大于或等于2的整数。
6.根据权利要求5所述的设备，其中所述语音情感模型生成部进一步包括 声学模型建立部，根据从所述每个子类中的情感语音样本中所提取的声学特征建立所述每个子类的声学模型；以及 分类器训练部，训练与所述每个子类的声学模型相适应的情感分类器， 其中，所述声学模型和所述情感分类器构成初始的语音情感模型。
7.根据权利要求6所述的设备，其中所述情感模型生成部还包括 语音情感模型更新部，根据所标注的多个情感语音样本与所述初始的语音情感模型的匹配结果更新所述初始的语音情感模型的参数。
8.根据权利要求5-7中任一项所述的设备，所述设备还包括 语音情感模型测试部，采用所标注的多个情感语音样本对生成的语音情感模型进行测试，并根据测试结果生成所标注的多个情感语音样本的新标注信息；以及测试结果反馈部，将所述新标注信息与相应的原始的标注信息进行比较，若不一致，则采用所述新标注信息修正所述相应的原始的标注信息。
9.一种识别语音信号中所承载的情感状态的方法，包括以下步骤 将预处理后的语音信号与至少一个情感状态中的每一个情感状态的n个语音情感模型中的每一个分别进行相似度匹配，以识别所述语音信号所承载的不同情感表达方式的所述每一个情感状态， 其中，同一情感状态的n个语音情感模型中的每一个对应于所述同一情感状态的不同情感表达方式中的一种情感表达方式，以及n为大于或等于2的整数。
10.根据权利要求9所述的方法，其中所述识别步骤包括以下步骤 计算在所述语音情感模型中的每一个的条件下所述预处理后的语音信号承载所述语音情感模型中的每一个的相应情感状态的概率值，从计算得到的概率值中选择前几个作为投票候选概率值；以及 对所述投票候选概率值按对应的情感状态进行计票，将包含投票候选概率值的数目最大的情感状态确定为所述语音信号所承载的情感状态。
11.根据权利要求10所述的方法，其中， 如果所述相应投票候选概率值的数目最大的情感状态的数目为2或2以上，则分别计算每个所述情感状态的相应投票候选概率值的数目之和，将最大投票候选概率值的数目之和的相应情感状态确定为所述语音信号所承载的情感状态。
12.—种识别语音信号中所承载的情感状态的设备，包括 语音情感识别部，将预处理后的语音信号与至少一个情感状态中的每一个情感状态的n个语音情感模型中的每一个分别进行相似度匹配，以识别所述语音信号所承载的不同情感表达方式的所述每一个情感状态， 其中，同一情感状态的n个语音情感模型中的每一个对应于所述同一情感状态的不同情感表达方式中的一种情感表达方式，以及n为大于或等于2的整数。
13.根据权利要求12所述的设备，其中所述语音情感识别部包括 语音情感模型匹配部，计算在所述语音情感模型中的每一个的条件下所述预处理后的语音信号承载所述语音情感模型中的每一个的相应情感状态的概率值，从计算得到的概率值中选择前几个作为投票候选概率值；以及 投票部，对所述投票候选概率值按对应的情感状态进行计票，将相应投票候选概率值的数目最大的情感状态确定为所述语音信号所承载的情感状态。
14.根据权利要求13所述的设备，其中， 如果所述相应投票候选概率值的数目最大的情感状态的数目为2或2以上，则分别计算每个所述情感状态的相应投票候选概率值的数目之和，将最大投票候选概率值的数目之和的相应情感状态确定为所述语音信号所承载的情感状态。
全文摘要
公开了一种生成语音情感模型的方法、设备以及识别语音信号中所承载的情感状态的方法、设备。生成语音情感模型的方法包括以下步骤通过无监督聚类将标注为同一情感状态的多个情感语音样本聚类成n个子类，每个子类对应于同一情感状态的不同情感表达方式中的一种情感表达方式；以及为每个子类中的情感语音样本生成一个语音情感模型，从而得到分别对应于n个子类的n个语音情感模型，n个语音情感模型用于识别语音信号所承载的不同情感表达方式的情感状态，其中，n为大于或等于2的整数。
文档编号G10L15/00GK102637433SQ20111003731
公开日2012年8月15日 申请日期2011年2月9日 优先权日2011年2月9日
发明者徐明星, 徐露, 李鹏, 王彬, 郭庆, 陆应亮 申请人:富士通株式会社, 清华大学