。
[0033] (3)情感交互模块
[0034] 情感是认知的基础，对外界刺激做出最基本的、快速的智能反应。情感通过情感的 载体（人、计算机等）进行情感的交互。从工程的角度出发，建立情感交互模型，当情感载 体在进行情感交互时，该模型能够再现情感的动态变化。本模块包括有限状态自动机模型 的构建模块、情感交互状态转换表的建立模块和转换矩阵模块的确定三个部分。
[0035] ①有限状态自动机模型的构建模块
[0036] 本模块构建有限状态机情感交互模型，采用有限状态机描述语音情感状态及其转 换过程。确定性的有限状态机Μ是一个五元组，如式（1)所示：
[0037]M=(Q，Σ，δ，q。，F)(1)
[0038] 其中，Q是指有限状态集合，Q= {qiiq2，…，qn} ;Σ是指系统能接收的所有事件 的集合，Σ= {σισ2，…，ση} ;δ是指状态转移函数，δ:QXΣ-Q;q。是指初始状态， q〇GQ;F是终止状态，FCQ。
[0039] ②情感交互状态转换表的建立模块
[0040] 本模块实现情感交互模型的建立，包括两个方面:A有限状态自动机转换函数的 定义、B有限状态自动机转换函数的确定。
[0041] A有限状态自动机转换函数的定义
[0042] 假设情感状态集中包含4种情感状态。根据有限状态自动机模型，建立的情感交 互如图4所示，其中q。代表个体的初始情感状态，〇 1表示输入的状态，即个体接收的事件， 〇ieΣ，本系统中表示机器反馈的情感状态。其含义是根据当前的情感状态和输入状态， 个体的情感状态发生改变。
[0043] 情感交互的过程如下：令状态机在时间t的状态为qt，条件反馈状态为〇 t，在离散 时间内，情感交互模型下一时刻的状态为qt+1，则有：
[0044] qt+1=δ(qt,σt) (2)
[0045] 即情感交互模型下一时刻的状态取决于它当前的状态和它所接收的状态。
[0046] B有限状态自动机转换函数的确定
[0047] 在语音情感识别系统中包含4种情感状态，故以状态集中的4种情感为例，情感状 态集合定义为{H，S，A，N}，其中Η是指高兴，S是指伤心，A是指生气，N是指平静。状态转 换表如表1所示，表中行表示当前的情感状态，列表示状态机的机器情感的反馈，状态转换 表取值表示状态机在时间t+i的状态。
[0048] 表1 :状态转换表
[0049]
[0050] 根据情感载体的个性差异，情感交互的结果也有所不同，本发明中情感交互时的 转换依据是根据情感库样本分析统计得到，其分析结果如表1所示。例如，初始情感状态为 生气时，机器反馈的情感状态为高兴，对于不同的个性载体，情感变化也是不同的。可表现 为高兴、生气、平和或悲伤，其他情感状况也是如此。针对本系统的情况考虑，设置的状态转 换表如表1所不。
[0051] ③转换矩阵模块
[0052] 转换矩阵模块实现状态转换矩阵的确定。在有限状态自动机模型中，状态转换函 数可以用状态转换矩阵描述。令描述情感状态转移的矩阵F有公式（3)的如下形式：
[0054] 其中0彡t彡1表示从状态qi转移到状态q^的概率。
[0055] 匕=p(qjlq;，〇 = 1，2,…，n;j= 1，2,…，η。
[0056] 本系统中t取值根据情感库样本分析统计得到，其取值如表2所示。
[0057] 表2 :状态转换矩阵
[0058]
[0059] 情感状态机的状态转换图的确定，根据状态转换矩阵的确定，即可得到情感交互 的状态转换图，如图5所示。根据情感交互模型，当有语音情感状态输入时，机器首先识 另拙情感信息，然后选择不同的情感反馈，分别做出不同的情感交互，如检测出是伤心的情 感，可以随机抽取一个笑话给用户听，播放一个搞笑动画等等诸如此类的交互方式。
[0060] 本发明是一种基于Android客户端语音情感交互方法，在本发明中，首先要检测 Android客户端的运行环境或状态参数，如SD卡是否存在数据网络或WIFI是否开启，若条 件满足则可进行情感识别。随后Android客户端主要是采集原始语音，并进行抽样、量化、 编码形成一个标准的音频文件，通过网络将音频文件传送到服务器进行复杂的数据分析， 并能接收服务器返回的分析结果，并对分析结果进行相应的处理，最终得到情感分析结果， 将情感分析结果通话UI反馈给用户。
[0061] 以上内容是结合具体的附图对本发明所作的详细说明，不能认定本发明具体实施 仅限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提 下，还可以做出若干简单替换和变更，都应当视为属于本发明由所提交的权利要求书确定 的发明保护范围。
【主权项】
1. 一种基于有限状态自动机的语音情感交互装置，其包括： 语音采集模块，其用于设置录音源、采样率、音频通道、音频数据格式四个基本参数，参 数设置完成后向原始文件写入裸数据，生成文件A; 语音情感识别模块，其用于对文件A进行语音情感识别获得情感类型； 语音情感交互模块，其用于通过情感的载体进行情感的交互； 其特征在于： 所述语音情感交互模块包括： 有限状态自动机模型的构建模块，其用于采用有限状态机描述语音情感状态及其转换 过程； 情感交互状态转换表的建立模块，其用于有限状态自动机转换函数的定义和有限状态 自动机转换函数的确定； 转换矩阵模块，其用于在有限状态自动机模型中，用状态转换矩阵描述状态转换函数。2. 如权利要求1所述的基于有限状态自动机的语音情感交互装置，其特征在于：针对 构建模块，确定性的有限状态机Μ是一个五元组，如式（1)所示： Μ=怕，S，δ，q〇,F) (1); 其中，Q是指有限状态集合，Q= {qi，q2，'''，q。} ;Σ是指系统能接收的所有事件的集合， 5： = { 0 1，σ2,…，0。} ;δ是指状态转移函数，δ:QX5： -Q;屯是指初始状态，qQ;F 是终止状态，FCQ。3. 如权利要求1所述的基于有限状态自动机的语音情感交互装置，其特征在于：针对 建立模块，情感交互的过程如下：令状态机在时间t的状态为Qt，条件反馈状态为σt，在离 散时间内，情感交互模型下一时刻的状态为Qw，则有公式（2) :qw=δ(q。〇t) (2)，即 情感交互模型下一时刻的状态取决于它当前的状态和它所接收的状态。4. 如权利要求1所述的基于有限状态自动机的语音情感交互装置，其特征在于：针对 转换矩阵模块，在有限状态自动机模型中，状态转换函数用状态转换矩阵描述；令描述情感 状态转移的矩阵有公式（3)的如下形式：(3)，其中1表示从状态转移到状 态q，的概率；f,取值根据情感库样本分析统计得到，f,，=P(q.，k，σ1)i= 1，2,…，η;j= 1, 2,…，η。5. -种基于有限状态自动机的语音情感交互方法，其包括W下步骤： (1) 设置录音源、采样率、音频通道、音频数据格式四个基本参数，参数设置完成后向原 始文件写入裸数据，生成文件A; (2) 对文件A进行语音情感识别获得情感类型； (3) 通过情感的载体进行情感的交互； 其特征在于： 步骤（3)包括W下步骤： (3. 1)采用有限状态机描述语音情感状态及其转换过程； (3. 2)有限状态自动机转换函数的定义和有限状态自动机转换函数的确定； (3. 3)在有限状态自动机模型中，用状态转换矩阵描述状态转换函数。6. 如权利要求5所述的基于有限状态自动机的语音情感交互方法，其特征在于：在步 骤化1)中，确定性的有限状态机Μ是一个五元组，如公式（1)所示：Μ=怕，S，δ，q。，巧 (1);其中，Q是指有限状态集合，Q= {屯，屯，…，q。} ;Σ是指系统能接收的所有事件的集合， S= { 01，02,…，0J;δ是指状态转移函数，δ:QX5： -Q;q。是指初始状态，q。￡Q;F 是终止状态，FCQ。7. 如权利要求5所述的基于有限状态自动机的语音情感交互方法，其特征在于：在步 骤化2)中，情感交互的过程如下：令状态机在时间t的状态为Qt，条件反馈状态为σt，在 离散时间内，情感交互模型下一时刻的状态为Qw，则有公式（2) :qw=δ(q。〇t) (2)， 即情感交互模型下一时刻的状态取决于它当前的状态和它所接收的状态。8. 如权利要求5所述的基于有限状态自动机的语音情感交互方法，其特征在于：在步 骤（3.3)中，在有限状态自动机模型中，状态转换函数用状态转换矩阵描述；令描述情感状 态转移的矩阵有公式（3)的如下形式：(3 )，其中0《1表示从状态q1转移到状 态q.j的概率；fi.j取值根据情感库样本分析统计得到，fi.j=P(q.jki, 0i)i= 1，2,…，η;j= 1，2,…，n。
【专利摘要】本发明公开了一种基于有限状态自动机的语音情感交互装置与方法。所述装置包括：语音采集模块，用于设置录音源、采样率、音频通道、音频数据格式，完成后向原始文件写入裸数据生成文件A；对文件A进行语音情感识别的语音情感识别模块；通过情感的载体进行情感交互的语音情感交互模块。语音情感交互模块包括：有限状态自动机模型的构建模块，用于采用有限状态机描述语音情感状态及其转换过程；情感交互状态转换表的建立模块，用于有限状态自动机转换函数的定义和有限状态自动机转换函数的确定；转换矩阵模块，用于在有限状态自动机模型中，用状态转换矩阵描述状态转换函数。本发明还公开所述装置的基于有限状态自动机的语音情感交互方法。
【IPC分类】G10L15/22, G10L25/63
【公开号】CN105244042
【申请号】CN201510535485
【发明人】王坤侠, 严辉, 李莹莹, 孙全玲
【申请人】安徽建筑大学
【公开日】2016年1月13日
【申请日】2015年8月26日