一种基于有限状态自动机的语音情感交互装置与方法
【技术领域】
[0001] 本发明涉及一种基于Android客户端语音情感交互方法，尤其涉及一种基于有限 状态自动机的语音情感交互装置、及基于有限状态自动机的语音情感交互方法。
【背景技术】
[0002] 随着移动互联网的蓬勃发展，智能手机的不断普及，智能手机的人机交互越来越 受到人们的重视，人们日夜与电脑、手机为伴，"人-人互动"逐渐减少，"人-机互动"不断 增加，在人机交互中人们都情感的需求提出了更高的要求，即情感交互越来越受到人们的 关注。
[0003] 语音是人类交流的重要媒介，尤其是语音技术更加受到世界著名企业的青睐。如： Apple公司移动设备（iPhone、iPad以及iPod)中的语音助手Siri、Google公司可穿戴设 备（如GoogleGlass)和装有Google服务的Android智能设备中的语音助手GoogleNow 以及Microsoft公司WindowsPhone移动设备上的Cortana私人数字助手等等，这些功能 极大的提高了人机语音交互的机会。
[0004] 语音情感交互的研究对于增加计算机的智能化、个性化，开发智能新型人机交互 环境，推动机器学习学科的发展，具有重要意义。
[0005] 目前语音情感交互技术在不断发展和完善，给人们的生活、学习和工作带来显著 影响。在个人生活方面，语音情感交互可以记录个人的情绪波动曲线，总结出适合自己工作 学习的最佳时间段，提高效率；在教育界，语音情感交互技术应用于幼教产品，可以教儿童 如何讲话，甚至可以教他们如何把话讲的自然而富有感情；在娱乐界，语音情感交互技术可 以构筑更加拟人化的风格和更加逼真的游戏场景，给用户更全面的感官享受；在工业界，智 能家用电器、汽车等能够理解我们的情感，并做出响应，为我们的工作和生活提供优质的服 务；在医学界，可以对部分心理病症（如抑郁症、焦虑症等心理疾病）和空巢家庭中的老年 人的情感变化进行检测并提供相应帮助。语音情感交互又是语音交互的重要的研究方向， 可想而知语音情感交互的发展势必会伴随着移动互联网的浪潮迎来一个崭新的阶段。
[0006] 语音情感交互中，语音情感识别是基础，情感交互是关键。目前，语音情感识别的 研究已经取得一定进步，研究者大多关注语音特征提取、语音识别模型的构建等研究内容， 而语音情感交互方法的研究较少涉及。目前大部分社交产品和娱乐游戏中的人机交互界面 大多采用文本的方式，部分产品加入了语音输入功能，但也是淡出的录音传话，无法判断社 交对象的情感，更谈不上情感交互。因此，如何构建应用于不同应用场景的情感交互模型， 实现语音情感交互功能，是语音情感交互领域中一个亟待解决的重要问题。
【发明内容】
[0007] 本发明针对以上问题，提出一种基于有限自动机模型的语音情感交互装置、及基 于有限自动机模型的语音情感交互方法，本发明用于语音情感交互，能够较好地反映语音 情感的交互状态。
[0008] 本发明是通过以下技术方案实现的：一种基于有限状态自动机的语音情感交互装 置，其包括：语音采集模块，其用于设置录音源、采样率、音频通道、音频数据格式四个基本 参数，参数设置完成后向原始文件写入裸数据，生成文件A;语音情感识别模块，其用于对 文件A进行语音情感识别获得情感类型；语音情感交互模块，其用于通过情感的载体进行 情感的交互；
[0009] 其中：所述语音情感交互模块包括：有限状态自动机模型的构建模块，其用于采 用有限状态机描述语音情感状态及其转换过程；情感交互状态转换表的建立模块，其用于 有限状态自动机转换函数的定义和有限状态自动机转换函数的确定；转换矩阵模块，其用 于在有限状态自动机模型中，用状态转换矩阵描述状态转换函数。
[0010] 作为上述方案的进一步改进，针对构建模块，确定性的有限状态机Μ是一个五元 组，如式⑴所示：M= (Q，Σ，δ，q(]，F) (1);其中，Q是指有限状态集合，Q= {qi,q2，… ，qj;Σ是指系统能接收的所有事件的集合，Σ= { 〇i〇 2，…，〇 η} ;δ是指状态转移函数，δ:QXΣ-Q;q。是指初始状态，qQeQ;F是终止状态，FC：
[0011] 作为上述方案的进一步改进，针对建立模块，情感交互的过程如下：令状态机在时 间t的状态为qt，条件反馈状态为〇t，在离散时间内，情感交互模型下一时刻的状态为qt+1， 则有公式（2) :qt+1=δ(qt，qt) (2)，即情感交互模型下一时刻的状态取决于它当前的状 态和它所接收的状态。
[0012] 作为上述方案的进一步改进，针对转换矩阵模块，在有限状态自动机模型中，状态 转换函数用状态转换矩阵描述；令描述情感状态转移的矩阵有公式（3)的如下形式：
[0013]
(3)，其中0彡匕彡1表示从状态qi转移到 状态q_j的概率；f^取值根据情感库样本分析统计得到，fi_j=P(q_jIqi,。i)i= 1，2,…，η;j= 1，2,…，n〇
[0014] 本发明还提供一种基于有限状态自动机的语音情感交互方法，其包括以下步骤： (1)设置录音源、采样率、音频通道、音频数据格式四个基本参数，参数设置完成后向原始文 件写入裸数据，生成文件A; (2)对文件A进行语音情感识别获得情感类型；（3)通过情感的 载体进行情感的交互；
[0015] 其中：步骤（3)包括以下步骤：(3. 1)采用有限状态机描述语音情感状态及其转换 过程；（3. 2)有限状态自动机转换函数的定义和有限状态自动机转换函数的确定；(3. 3)在 有限状态自动机模型中，用状态转换矩阵描述状态转换函数。
[0016] 作为上述方案的进一步改进，在步骤（3. 1)中，确定性的有限状态机Μ是一个五元 组，如公式⑴所示：M= (Q，Σ，δ，qQ，F) (1);其中，Q是指有限状态集合，Q= {qi,q2，… ，qj;Σ是指系统能接收的所有事件的集合，Σ= { 〇i〇 2，…，〇 η} ;δ是指状态转移函数， δ:QXΣ-Q;q。是指初始状态，qQeQ;F是终止状态，FC.
[0017] 作为上述方案的进一步改进，在步骤（3. 2)中，情感交互的过程如下：令状态机在 时间t的状态为qt，条件反馈状态为〇t，在离散时间内，情感交互模型下一时刻的状态为 qt+1，则有公式（2) :qt+1=δ(qt，〇 t) (2)，即情感交互模型下一时刻的状态取决于它当前 的状态和它所接收的状态。
[0018] 作为上述方案的进一步改进，在步骤（3. 3)中，在有限状态自动机模型中，状态转 换函数用状态转换矩阵描述；令描述情感状态转移的矩阵有公式（3)的如下形式：
[0019]
(3 )，其中0彡匕彡1表示从状态qi转移 至1J状态q_j的概率；fu取值根据情感库样本分析统计得到，fi_j=P(q_jIqi, ?i)i= 1，V··，η;j= 1，2,…，n〇
[0020] 本发明提出情感交互的有限状态自动机模型，建立了情感交互模型，应用于人机 语音情感交互。与现有技术相比，本发明有益效果体现在：提出有限情感状态自动机模型， 应用于人机语音情感交互，该技术可以应用于智能家电、医学辅助治疗等方面，可以为人类 提供更为人性化、情感化的产品和服务。
【附图说明】
[0021] 图1本发明较佳实施例提供的基于有限状态自动机的语音情感交互装置的结构 框图。
[0022] 图2是图1中语音采集模块的流程图。
[0023] 图3是图1中语音情感识别模块的语音感情识别框图。
[0024]图4是图1中情感交互模块建立的情感交互模型图。
[0025]图5是图1中情感交互模块得到情感交互的状态转换图。
【具体实施方式】
[0026] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施实例，对本发 明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用 于限定本发明。
[0027] 本发明主要包括三个方面：语音采集、语音情感识别、语音情感交互。语音情感交 互是本发明的关键技术。如图1所示，基于有限状态自动机的语音情感交互装置包括语音 采集模块、语音情感识别模块以及语音情感交互模块。
[0028] 每个模块的【具体实施方式】如下。
[0029] (1)语音采集模块
[0030] 语音采集模块的流程图如图2所示。具体实施如下：在采集语音步骤中需要设置 四个基本参数：第一个参数是录音源，其在Android手机中主要有四种声音来源分别是麦 克风、通话、通话上行通道和通话下行通道，Android平板中能用到的组要有麦克风来源，此 方法默认采用麦克风源；第二个参数是采样率，44100Hz是目前可以运行在所有设备的通 用频率，当然也有其他的一些频率如22050Hz，16000Hz，11025Hz可以工作在某些设备上， 此方法默认采用44100Hz;第三个参数是音频通道，音频通道有单通道和立体声两种，其中 单通道可以运行在所有的Android设备上，此方法默认采用单声道；第四个参数是音频数 据格式，采样来的数据采用PCM编码，PCM通过抽样、量化、编码三个步骤将连续变化的模拟 信号转换为数字编码，采样大小16bit或者8bit，此方法采用16bit。参数设置完成后向文 件写入裸数据，生成文件A。
[0031] (2)语音情感识别模块
[0032] 如图3所示，本发明通过多特征融合方法提高语音情感识别结果。首先提取傅里 叶参数特征、小波包系数特征和梅尔倒谱频率特征，然后构建不同分类器模型。针对本发明 提取的不同特征参数，经过特征选择后找出每种特征参数的最优特征子集，构建情感识别 模型，然后采取相应策略构建多特征多模型融合的识别模型。将（1)采集的语音信号经过 语音情感识别模块进行识别，获得情感类型