一种基于多分类器主客观融合的生理信号情感识别方法与流程

本发明属于情感认知计算领域，涉及一种基于多分类器主客观融合的生理信号情感识别方法。

背景技术：

随着科学技术和计算机技术的快速发展，使得人类对计算机的依赖程度不断增强，人们对计算机的智能化能力要求越来越高。这种能力要求计算机能够像人一样思考，并且能够智能化的理解、表达人的情感,从而使计算机用户在一种和谐的人机交互环境中进行学习、工作和生活。

随着用户体验经济的到来，人们对于产品的关注重点不再仅仅是产品的功能性、稳定性与安全性，而根本更多的是用户在使用产品过程中的满足感，也就是所谓的良好的用户体验。用户体验在很大程度上受主观影响，在人机交互过程中不同的产品可以刺激出不同的情感体验，此时用户的情感状态最能代表其在产品使用过程中的真实感受。

情感分析包括主观分析法和客观分析法，客观分析主要是通过对生理指标、表情、语音特征等客观数据的分析来识别用户的情感特征。主观分析主要以自我报告或填写调查问卷的方式进行。目前，对于研究情感与能够反映其特征的客观数据的对应关系，我们大都选用单一的生理指标、语音信息、表情特征来进行分析，但却忽略了个体的主观感受这一重要因素，因此情感的识别率可能比较低。另外，人的生理信号主要是受人的自主神经系统和内分泌系统支配，而不受人的主观控制；个体的主观感受可以通过个体本人直接表达出来，融合客观和主观两方面的情感决策结果能更高效地识别出被试者当下的情感状态。

技术实现要素：

本发明的目的是提供一种基于多分类器主客观融合的生理信号情感识别方法，该方法能够有效识别用户在产品体验过程中的情感状态。与很多已研究出来的单一的情感识别相关方法不同，本方法是采用svm分类器分别对两种生理信号(心率、皮肤电)特征进行情感识别，在此基础上采用填写中文版的pad情绪量表问卷形式融合主观表达这一辅助因素，最后通过粒子群算法对这三类决策结果进行权重的寻优，并进行权重赋值，最终融合这三类决策结果得到最后的情感识别结果。使用本发明提出的新方法可以有效识别情感状态。

为实现上述目的，本发明采用的技术方案为一种基于多分类器主客观融合的生理信号情感识别方法,包含以下步骤：

步骤一：用户对产品进行使用感体验，并在体验完后根据自己体验过程中的情感状态填写一份中文版的pad情绪量表问卷；

步骤二：采集用户在产品体验过程中的心率和皮肤电信号，并对这两种客观的生理信号进行处理以及特征提取；

步骤三：将提取到的心率特征和皮电特征分别采用支持向量机分类器进行训练和识别，同时，将用户填写的中文版的pad情绪量表问卷所得到的三个维度的值也用于pad模型分类的训练；

步骤四：对步骤三中的每个分类器的识别结果采用目标类别的概率形式表示，并对每个分类器下每种目标类别的识别结果进行归一化处理；

步骤五：对每个分类器进行权重赋值，将权重看作粒子，采用粒子群算法对权重进行寻优；

步骤六：融合三个分类器对于不同情感类别的识别结果，将识别率最大的那一类情感作为最终的情感状态。

进一步，上述步骤四中，所述归一化处理的算法为ek(x)＝(pk(c1|x),pk(c2|x),...,pk(cm|x)),

其中，

k∈(1,2...k)；p(ct|x,ek)表示第k个分类器将生理信号或主观表达样本x识别为ct类情感的概率，其取值范围是[0,1]；表示m(m＝4)类情感类别,分别是高兴，悲伤，愤怒和恐惧；因此，可得到多分类器的决策矩阵为：

进一步，步骤五中，上述采用粒子群算法对权重进行寻优是指寻找到最优的权重值ω，使得j(ω)最大化，其中，ω＝(ω11,ω21,…,ωk1,…,ωkt,…ω1m,…,ωkm)，表示第i个训练样本的真实情感类别，表示分类器输出的第i个训练样本的情感预测类别，n表示训练样本个数，粒子群算法输入为决策矩阵训练样本的真实情感类别粒子的惯性权重α，学习因子β1，β2，粒子数目s，最大迭代次数q，识别率阈值η，粒子群算法的输出为最优权重系数ω，具体的步骤如下：

(1)初始化粒子：在d维空间中随机生成s个粒子组成粒子群，并且随机生成s个粒子的飞行速度

且记是第j个粒子搜索到的历史最优解，g＝(g11,g21,…,gk1,…,gkt,…,gkm)是整个粒子群搜索到的历史最优解；

(2)更新粒子：其中r1,r2是在[0,1]区间生成的随机数，用于增加搜索的随机性；

(3)对粒子进行归一化：对每个粒子根据不同情感类别分别归一化，其中1≤k≤k，1≤t≤m；

(4)对粒子进行全局寻优：以j(ω)作为适应度函数评价每个粒子的好坏，并且将其适应值与其经过的最好的位置作比较，更新各粒子的最优位置p^j(1≤j≤s)、粒子群的最优位置g并且更新当前的最佳识别率η′：

(5)终止条件：当迭代次数q＞q或η′＞η时结束，否则q←q+1转到步骤2。

作为优选，上述粒子的惯性权重α采用固定权重0.5，学习因子β1，β2的取值为β1＝β2＝2。

进一步，上述步骤六中，所述融合是指将多分类器的识别结果进行融合，具体为：

t∈(1,2...m)，其中，ωkt表示第k个分类器关于ct类情感的权重，样本的最终类别

与现有技术相比，本发明具有以下的有益效果：

(1)本发明提出的方法突破了单一情感指标与情感之间关系的研究局限，融合两种生理信号的情感识别结果，这两种生理信号在情感识别过程中可以优势互补，能够有效识别不同的情感状态；

(2)本发明提出的方法融合了客观和主观两方面的决策结果，心率和皮肤电信号都是伴随着情感变化而产生的客观数据，是用户的情感状态的客观反映，而用户的情感表达则是对情感状态的主观反映；

(3)本发明采用多分类器融合的方法来平衡主观、客观以及不同生理信号的决策结果，使得最终的识别结果更加准确、可靠。

附图说明

图1是本发明方法的流程示意图。

图2是粒子群算法权重寻优示意图。

具体实施方式

现结合附图对本发明做进一步详细的说明。

本发明提出的基于多分类器主客观融合的生理信号情感识别方法，关键点在于该方法融合了两种生理信号的识别结果，且将主观表达结果作为辅助识别因素融合到该情感识别模型中，突破了单一情感生理信号与情感之间关系以及仅考虑客观因素的研究局限。主要包括：用户对产品进行使用感体验，在体验完后根据自己当下的情感状态填写一份中文版的pad情绪量表问卷；同时，采集用户在产品体验过程中的心率和皮肤电信号，并对这两种客观的生理信号进行处理以及特征提取；将提取到的心率特征和皮电特征分别采用支持向量机(svm)分类器进行训练和识别，同时，将用户填写的中文版的pad情绪量表问卷所得到的三个维度的值也用于pad模型分类的训练；得到每个分类器对目标类别的识别概率，并进行归一化处理；再对每个分类器进行权重赋值，将权重看作粒子，采用粒子群算法对权重进行寻优；最后融合三个分类器对于不同情感类别的识别结果，将识别率最大的那一类情感作为最终的情感状态。

如图1所示，以用户体验产品a为例对本发明的具体实施方式进行说明：

步骤一：用户接触产品a(为确保效果，要求用户对产品a并不熟悉)，并亲身体验产品a的功能，在体验完后根据自己体验过程中的情感状态填写一份pad情绪量表问卷；

步骤二：在用户对产品a进行使用体验的过程中，采集用户在产品体验过程中的心率和皮肤电信号，并对这两种客观的生理信号进行处理以及特征提取；

步骤三：将提取到的心率特征和皮电特征分别采用支持向量机(svm)分类器进行训练和识别，同时，将用户填写的中文版的pad情绪量表问卷所得到的三个维度的值也用于pad模型分类的训练；

步骤四：对步骤三中的每个分类器的识别结果采用目标类别的概率形式表示，并对每个分类器下每种目标类别的识别结果进行归一化处理(方法1)：

将已知4种情感类别(高兴1，悲伤2，愤怒3和恐惧4)的训练样本x用于不同分类器ek,k∈(1,2,3)的识别训练，将分类器的识别结果以后验概率的形式表示，并进行归一化。有：ek(x)＝(pk(c1|x),pk(c2|x),pk(c3|x),pk(c4|x)),其中，p(ct|x,ek)表示第k个分类器将生理信号或主观表达样本x识别为ct类情感的概率，其取值范围是[0,1]；表示m(m＝4)类情感类别,分别是高兴1，悲伤2，愤怒3和恐惧4；因此，可得到多分类器的决策矩阵为：

步骤五：对每个分类器进行权重赋值，将权重看作粒子，采用粒子群算法对权重进行寻优(方法2)；

粒子群算法权重寻优(过程如图2)：针对本发明提出的方法，我们要寻找到最优的权重值ω，使得j(ω)最大化。

其中，ω＝(ω11,ω21,…,ωk1,…,ωkt,…ω1m,…,ωkm)，

表示第i个训练样本的真实情感类别，表示分类器输出的第i个训练样本的情感预测类别，n表示训练样本个数。

粒子群算法输入：决策矩阵训练样本的真实情感类别粒子的惯性权重α(采用固定权重0.5)，学习因子β1，β2(通常取值为β1＝β2＝2)，粒子数目s，最大迭代次数q，识别率阈值η。

粒子群算法输出：最优权重系数ω。

具体步骤如下：

(1)初始化粒子：在d维空间中随机生成s个粒子组成粒子群，并且随机生成s个粒子的飞行速度

且记是第j个粒子搜索到的历史最优解，g＝(g11,g21,g31,…,gkt,…,g34)是整个粒子群搜索到的历史最优解。

(2)更新粒子：其中r1,r2是在[0,1]区间生成的随机数，用于增加搜索的随机性。

(3)对粒子进行归一化：对每个粒子根据不同情感类别分别归一化。其中1≤k≤3，1≤t≤4。

(4)对粒子进行全局寻优：以j(ω)作为适应度函数评价每个粒子的好坏，并且将其适应值与其经过的最好的位置作比较，更新各粒子的最优位置p^j(1≤j≤s)、粒子群的最优位置g并且更新当前的最佳识别率η′：

(5)终止条件：当迭代次数q＞q或η′＞η(设为95％)时结束，否则q←q+1转步骤(2)。

步骤六：融合三个分类器对于不同情感类别的识别结果，将识别率最大的那一类情感作为最终的情感状态(方法3)：

针对不同的情感类别，将多分类器的识别结果进行融合：

t∈(1,2,3,4)，其中，ωkt表示第k个分类器关于ct类情感的权重。样本的最终类别