一种基于语音、表情与姿态的三模态情感识别方法与流程

技术特征：

1.一种基于语音、表情与姿态的三模态情感识别方法，其特征在于，包括如下步骤：

步骤1，获取不同情感分类的语音、表情与姿态三种模态的图像，并将各个模态的图像与各自的情感类别标签一一对应，建立三模态情感数据库，将库中不同情感分类各个模态的图像分为训练样本和测试样本；

步骤2，分别对各个模态的训练样本和测试样本进行情感特征提取，然后进行降维处理，构建各个模态训练样本和测试样本的特征矩阵；并对训练样本、测试样本各个模态的特征矩阵分别进行归一化；

步骤3，将训练样本、测试样本各个模态归一化后的特征矩阵相互融合起来，得到训练样本、测试样本融合后的特征矩阵；

步骤4，利用训练样本融合后的特征矩阵识别测试样本融合后的特征矩阵中各测试样本的类别，得到各测试样本的分类结果。

2.根据权利要求1所述基于语音、表情与姿态的三模态情感识别方法，其特征在于，步骤1所述不同情感分类包括：悲伤、高兴、厌恶、恐惧、惊吓、中性。

3.根据权利要求1所述基于语音、表情与姿态的三模态情感识别方法，其特征在于，步骤2所述对训练样本、测试样本各个模态的特征矩阵分别进行归一化，具体步骤如下：

以语音特征矩阵为例，降维处理后的训练样本和测试样本的语音特征矩阵分别记为V_tr(d₁行n列)和V_te(d₁行m列)，n、m分别为训练样本、测试样本的数目，d₁为语音情感特征降维后的维数；

在所有n个训练样本的d₁维特征向量中，求出每一维特征的最大值，即

${\mathrm{\λ}}_{j,max}=\underset{p}{max}\left(V_{trj,p}\right),j=1,2,...,d_1;p=1,2,...,n$

其中，λ_j,max表示V_tr中第j行的最大元素值，V_trj,p表示V_tr的第j行第p列元素；

用λ_j,max对特征矩阵V_tr的第j行作归一化处理，即

${\stackrel{\‾}{V}}_{trj,p}=\frac{V_{trj,p}}{{\mathrm{\λ}}_{j,\max }},j=1,2,...,d_1;p=1,2,...,n$

其中，表示归一化的特征矩阵V_tr的第j行第p列元素；

依据每一维特征的最大元素值，同样对测试样本的特征矩阵V_te的每一维特征作归一化处理，得到表示归一化的V_tej,q，V_tej,q表示V_te的第j行第q列元素；

对降维处理后的表情、姿态特征矩阵进行同样的处理，将归一化后的语音、表情和姿态对应的训练样本和测试样本的特征矩阵分别表示为和

4.根据权利要求1所述基于语音、表情与姿态的三模态情感识别方法，其特征在于，所述步骤3的具体步骤如下：

31、求解如下最优化问题，得到三个映射变换ω₁,ω₂,ω₃，使得经过映射后的特征矩阵中的类内相关性最大并且类间相关性最小；最优化问题为：

$\arg \underset{{\mathrm{\ω}}_1,{\mathrm{\ω}}_2,{\mathrm{\ω}}_3}{max}\mathrm{\ρ}=\frac{1}{3\·(3-1)}\underset{k\≠l}{\underset{k,l=1}{\overset{3}{\Σ}}}{\mathrm{\ω}}_k^T{C^{~}}_{X_k{X}_l}{\mathrm{\ω}}_l$

$\begin{array}{cc}s.t.& \underset{k=1}{\overset{3}{\Σ}}{\mathrm{\ω}}_k^T{C}_{X_k{X}_l}{\mathrm{\ω}}_k=3\end{array}$

其中，分别表示归一化后的语音、表情和姿态对应的训练样本的特征矩阵，C_w,C_b分别表示类内相关矩阵、类间相关矩阵，且

其中，I＝[1,1,…,1]^T，n_rc表示第r个模态中第c类表情的样本个数，s表示类别总数；

上述最优化问题的解表示为：

$\frac{1}{3-1}(C-D){\mathrm{\ω}}^{~}={\mathrm{\ρD\ω}}^{~}$

其中，

ω^～＝[ω₁^T,ω₂^T,ω₃^T]^T，上式求解得到的ρ值中选择最大的ρ值ρ_max所对应的ω^～；

32、将训练样本和测试样本经过归一化后的各个模态特征矩阵的特征向量首尾串接起来，用Fu_tr和Fu_te来表示，其中，

${\mathrm{Fu}}_{tr}=\left[\begin{array}{ccc}{{\stackrel{\‾}{V}}_{tr}}^T& {{\stackrel{\‾}{F}}_{tr}}^T& {{\stackrel{\‾}{E}}_{tr}}^T\end{array}\right],{\mathrm{Fu}}_{te}=\left[\begin{array}{ccc}{{\stackrel{\‾}{V}}_{te}}^T& {{\stackrel{\‾}{F}}_{te}}^T& {{\stackrel{\‾}{E}}_{te}}^T\end{array}\right]$

33、将训练样本融合后的特征矩阵表示为Fi_tr＝ω^～TFu_tr，同样的，测试样本融合后的特征矩阵表示为Fi_te。

5.根据权利要求1所述基于语音、表情与姿态的三模态情感识别方法，其特征在于，所述步骤4的具体步骤如下：

在得到训练样本融合后的特征矩阵Fi_tr后，利用训练样本的类别标签组成的列向量T＝[T₁,T₂,…,T_n]^T(T_p∈{1,2,…,s},p＝1,2,…,n)，求解下列优化问题：

$\arg \underset{{\mathrm{\ψ}}^c,b^c,{{\mathrm{\ξ}}_p}^c}{min}\frac{1}{2}{\left({\mathrm{\ψ}}^c\right)}^T{\mathrm{\ψ}}^c+\mathrm{\λ}\underset{p=1}{\overset{n}{\Σ}}{{\mathrm{\ξ}}_p}^c$

$s.t.\left\{\begin{array}{c}{\left({\mathrm{\ψ}}^c\right)}^T\mathrm{\φ}\left({\mathrm{Fi}}_{trp}\right)+b^c\≥1-{{\mathrm{\ξ}}_p}^c,(T_p=c)\\ {\left({\mathrm{\ψ}}^c\right)}^T\mathrm{\φ}\left({\mathrm{Fi}}_{trp}\right)+b^c\≤-1+{{\mathrm{\ξ}}_p}^c,(T_p\≠c)\\ {{\mathrm{\ξ}}_p}^c\≥0\end{array}\right.$

其中，c∈{1,2,…,s}，s表示类别总数，n为训练样本数目，为惩罚因子，Fi_{tr p}为Fi_tr的第p行的数据，φ(Fi_{tr p})表示将Fi_{tr p}向高维空间进行映射，解上述优化问题，得到s个不同的参数ψ和b，判定测试样本类别的判决函数为：

$identity\left({\mathrm{Fi}}_{teq}\right)=\arg \underset{c}{max}\left({\left({\mathrm{\ψ}}^c\right)}^T\mathrm{\φ}\right({\mathrm{Fi}}_{teq})+b^c)$

其中，Fi_teq为Fi_te的第q行的数据，q∈{1,2,…,m}，Fi_te为测试样本融合后的特征矩阵，φ(Fi_tep)表示将Fi_tep向高维空间进行映射，将判决函数的值最大的c所对应的类别作为测试样本的分类结果，用identity(Fi_teq)表示。