一种基于遗传算法的多模态情感特征融合方法
【专利摘要】本发明公开了一种基于遗传算法的多模态情感特征融合方法，属于信号处理与模式识别领域。包括以下内容：建立一个多模态情感数据库，然后对于所述数据库中的每个样本，提取多模态情感数据库样本的各模态情感特征，例如：面部表情特征、语音情感特征以及身体姿态特征等，构造多模态情感特征矩阵，将遗传算法用于多个模态的特征融合，包括基于遗传算法的特征选择、交叉以及重组，最后采用遗传算法对多模态情感特征进行F次迭代的特征选择和融合。本发明针对多模态情感分类识别，提出将遗传算法用于特征层融合，为基于特征层融合的多模态情感分类识别提供了一种新的有效途径。
【专利说明】
一种基于遗传算法的多模态情感特征融合方法
技术领域
[0001] 本发明属于信号处理与模式识别领域，更具体地，涉及一种基于遗传算法的多模 态情感特征融合方法。
【背景技术】
[0002] 1997年，麻省理工大学多媒体实验室Picard教授等人成立了世界上第一个从事情 感计算的研究团队，研究侧重于情感信号的获取与识别。卡内基梅隆大学研究开发基于情 感计算的可穿戴式计算机，致力于情感计算的实际应用研究。2004年我国国家自然科学基 金委将情感计算理论与方法的研究首次列入拟资助的重点项目中。2009年，首届全国认知 科学研讨会中，首次将"情感计算"列为认知科学领域当前重点关注的前沿课题之一。2010 年，为了促进"情感计算"这一主题的研究和发展，IEEE计算机协会新创办了一个以"情感计 算"命名的国际学术期刊《IEEE Transaction Affective Computing》。
[0003] 目前，在情感识别领域中，单模态情感识别已经做得非常成熟，在多模态情感识别 研究方面，最核心的部分就是多个模态的特征融合，融合的好坏直接影响到最后识别的效 果，现在已经有许多融合方法出现:主成分分析(PCA)、典型相关分析(CCA)、核典型相关分 析(KCCA)、核矩阵融合(KMF)等。经实验比对，使用上述融合方法得到的识别率均低于使用 本发明的基于遗传算法的多模态情感特征融合方法得到的识别率。
[0004] 在多模态情感识别方面，现有已公开专利文献中有一项授权号为CN102968643B、 名称为"一种基于李群论的多模态情感识别方法"的发明专利，该发明在分别获取人体、脸 部、手部三个不同模态的情感识别率的基础上，依据三种模态特征得到的概率对最终情感 状态进行加权决策，是一种决策层融合方法，但该方法并没有考虑不同模态特征数据之间 的联系。一般而言，对于同一个情感类别来说，不同模态之间一定是有联系的。
[0005] 遗传算法由美国的J.Holland教授于1975年首先提出，是一种基于自然遗传与种 群进化的自适应寻优方法，初始种群，也称父代，父代经过一个操作循环得到第一代子代种 群，这个操作循环由3个操作算子组成:选择算子、交叉算子、变异算子。选择算子是根据实 际问题需要，计算种群的适应度，筛选掉部分适应度值低的，留下适应度高的种群，这就相 当于多模态情感的特征选择，即选择了区分度高的特征进行实验;交叉算子是遗传算法的 核心部分，交叉算子将两个个体以交叉率口:重新组合，返回一个新的个体，交叉方法有许 多，例如:单点交叉、两点交叉以及多点交叉等。
[0006] 现有技术中，目前还没有发现将上述遗传算法运用于多模态情感特征融合的实践 尝试。
【发明内容】
[0007] 本发明要解决的技术问题是针对计算机与人进行情感交流的现有技术中识别率 的准确性较低的问题，为人机互话找到了 一条新途径。
[0008] 为此，本发明提出一种基于遗传算法的多模态情感特征融合方法，采用特征层融 合的方式，解决现有技术不能获得较准确识别率的问题，从而构造出友好的人机界面的需 求。具体的技术方案如下：
[0009] -种基于遗传算法的多模态情感特征融合方法，包含以下步骤：
[0010] -、建立一个多模态情感数据库，包含L类情感的样本，每类情感的样本数为η，总 样本数为N=nL;
[0011] 二、对于数据库中的每个样本，提取T种不同模态的情感特征，如语音特征、表情特 征、姿态特征等，其中第t种模态的情感特征用dt维特征向量表示，t=l, 2，···，T，则每个样 本的多模态情感特征向量维数为Μ=((1ι+(?2+···+(1τ);
[0012] 三、对于数据库中的N个样本，构造一个N*M大小的多模态情感特征矩阵A:
[0014]其中，矩阵元素 a^,k是属于第i类情感的第j个样本特征向量的第k维特征值，i = l，2，...，L，j = l，2，...，n，k=l，2, ···，]?;
[0015] 四、采用遗传算法对多模态情感特征进行F次迭代的特征选择和融合。
[0016] 进一步，上述步骤四包含以下子步骤：
[0017] (1)对于第k维特征，将属于第i类情感的η个样本的特征值进行组合，构成数组
计算这个数组的均值
和方差=
定义第P类情感与第q类情感的类内类间距离为RP,q,k:
[0019]定义遗传算法中使用的适应度函数为Rk:
[0021] 那么Μ维特征的适应度函数值可以分别表示为，R2，…，Rm ;
[0022] (2)定义多模态情感特征矩阵A中第s列特征被选择的概率为：
[0024]给定一个[0，1]区间的均匀随机数α，若ps^a，则多模态情感特征矩阵A中第s列特 征被选择，否则不被选择，假定经选择后的多模态情感特征矩阵B是一个N*m大小的矩阵，m <M；
[0025] (3)使用遗传算法的单点交叉算子对特征矩阵B进行交叉操作，具体内容如下：
[0026] 将矩阵B的奇偶列分离出来，分别构成矩阵Beven和矩阵Bodd，大小分别为N*nu和N* m2，其中m是矩阵B偶数列的列数，m2是矩阵B奇数列的列数，mdPm2的取值为：
[0028] 产生m个[0，1]区间的随机数，将这些随机数依次与事先设定的交叉 率?1比较，小于P1则返回逻辑值"Γ，否则返回逻辑值"0"，这样就得到了一个长度为m的逻 辑向量，用D.=从,d_ 2,.···., 表示；重新产生mi个[0，1 ]区间的随机数;Fi.nfe，通过 以下公式计算矩阵UP矩阵Bodd第r列的交叉点位置Sr(r = 1，2，…，mO :
[0029] Sr= ((N-l )*yr*dr+N-l) %N+1
[0030] 上式中，％是取余运算，对向量做取余运算是指对向量的每个元素均做取余运算； 依次将矩阵第r列的第Sr个元素之后的数据与矩阵Bodd第r列的第Sr个元素之后的数据 进行互换，得到V _"和以odd，将矩阵V odd的每一列依次插入矩阵V 的每两列之间，即构 成交叉后的特征矩阵Η(当m为奇数时，特征矩阵Η的最后一列与特征矩阵B的最后一列相 同），根据步骤(2.1)中的公式计算交叉后的特征的适应度函数值，m维特征的适应度函数值 可以分别表不为f 1,1^
[0031] (4)将初始的多模态情感特征矩阵A和交叉后的特征矩阵Η进行重组，具体内容如 下：
[0032]设定替换率ρ2,假定用特征矩阵Η中的γ列数据替换特征矩阵Α中的γ列数据，则 γ的数值为Ρ2与m相乘后再取整，构造数组Qi = (Ri，R2，…，Rm)和Q2 = (f 1，V 2，…，R\)，将Qi 和Q2的元素按照从大到小的顺序分别重新排序，排序后的位置信息分别用向量 φ = ((^，奶,…,^^)和向量0 = 来表示，即将数组Q冲第叫〇 =1,2,.. ,Λ?)个 元素排到第k位，将数组Q2中第i9w.(w = 1,2, 个元素排到第w位，例如:a= (3,5,9,7)， 从大到小排序为b = (9，7，5，3)，位置信息为c = (3，4，2，1)，即：将a中第3个元素排到第1位， 第4个元素排到第2位，第2个元素排到第3位，第1个元素排到第4位，得到排序后的b;将特征 矩阵Η中第~為|…Λ列的数据依次替换特征矩阵A中第你％…列的数据，得到重组 后的特征矩阵A'，大小为N*M;
[0033] (5)当迭代次数达到事先设定的F值时，停止循环，得到最终的融合特征，否则返回 步骤(1)进行下一次的迭代。
[0034] 进一步，上述步骤二中所述的情感特征包括语音特征、表情特征、姿态特征。
[0035] 有益效果:本发明对基于表情与语音的多模态情感分类识别进行了研究，将遗传 算法用于特征层融合，采用选择以及交叉算子。实验显示，基于遗传算法的特征层融合方法 在eNTERFACE和RML数据库上的识别率为87.2%和92.4%，比单一模态的识别率分别提高了 15 %和11 %，与核矩阵融合(KMF)、核典型相关分析(KCCA)方法进行比较，也有最高的识别 率，说明将遗传算法用于特征层融合是可行的且效果良好。
【附图说明】
[0036]图1是本发明基于遗传算法的多模态情感特征融合方法的流程图。
[0037]图2是eNTERFACE数据库中的部分表情图像。
【具体实施方式】
[0038]现结合附图对本发明的【具体实施方式】做进一步详细的说明。本发明的基于遗传算 法的多模态情感特征融合方法的实现，如图1所示，主要包含以下步骤：
[0039]第一步：获取eNTERFACE双模态情感数据库和RML双模态情感数据库，如图2所示， eNTERFACE数据库包含6种情绪：angry(愤怒），disgust(厌恶），fear(恐惧），happy(喜悦）， sad(悲伤），surprise(惊讶），44个实验者，由于其中2个实验者与其他实验者的样本个数不 一样，我们选取了其中42个实验者，对应于每种情绪有5个样本，一共是1260个样本。RML数 据库同样包含6种情绪，每类情绪有120个样本，一共720个样本。
[0040]第二步:对双模态数据库进行处理，对于数据库中的每个样本进行表情和语音的 特征提取：
[0041 ] (1)对视频提取关键帧，从关键帧中提取表情的gabor特征，得到N个cU维的表情特 征向量，N为总样本数，cU是每个样本关键帧对应的表情特征维数：
[0042] gabor函数如下：
[0044]其中（x，y)是像素点的位置坐标
是小波向量，
gabor滤波器的中心频率，:是最大频率，本文中设为0.25，λη是尺度因子，本文设
表示滤波器方向选择。本文选取的是有8个不同方向me{l，2,3,4,5,6， 7，8 }，5个不同尺度n e{l ,2,3,4,5}的gabor滤波器组，即含有40个gabor滤波器。
[0045 ]当我们提取一幅图像的gab or特征时，首先将输入的彩色图像I (X，y，z)灰度化得 至灯(1，7)，然后将11(1，7)与上面的滤波器组进行卷积，即6111,11(1，7)=1(1，7) >^111,11(1，7)，得 到某一个像素点的40个复数值，我们选择这40个复数的幅值作为该像素点的gabor特征； [0046] (2)对视频提取音频文件，用opensmi 1 e工具直接从音频文件中提取语音情感特征 emobase2010，得到N个d2维的语音特征向量，N为总样本数，d2是每个样本音频对应的语音特 征维数；
[0047]则每个样本的双模态情感特征向量维数为M= (cb+cb);
[0048]第三步，对于数据库中的N个样本，构造一个N*M大小的多模态情感特征矩阵A:
[0050] 其中，矩阵元素 au,k是属于第i类情感的第j个样本特征向量的第k维特征值，i = l，2，...，L，j = l，2，...，n，k=l，2, ···，]?;
[0051] 第四步，采用遗传算法对多模态情感特征进行F次迭代的特征选择和融合，此步骤 包括以下子步骤：
[0052] (4.1)对于第k维特征，将属于第i类情感的η个样本的特征值进行组合，构成数组
[0054]定义遗传算法中使用的适应度函数为Rk:
[0056] 那么Μ维特征的适应度函数值可以分别表示为，R2，…，Rm ;
[0057] (4.2)定义多模态情感特征矩阵A中第s列特征被选择的概率为：
[0059] 给定一个[0，1]区间的均匀随机数α，若ps^a，则多模态情感特征矩阵A中第s列特 征被选择，否则不被选择，假定经选择后的多模态情感特征矩阵B是一个N*m大小的矩阵，m <M；
[0060] (4.3)使用遗传算法的单点交叉算子对特征矩阵B进行交叉操作，具体内容如下： [0061 ] 将矩阵B的奇偶列分离出来，分别构成矩阵Beven和矩阵Bodd，大小分别为N*nu和N* m2，其中m是矩阵B偶数列的列数，m 2是矩阵B奇数列的列数，mdPm2的取值为：
[0063] 产生nu个[0，1 ]区间的随机数*1^:21… ，将这些随机数依次与事先设定的交叉 率?1比较，小于P1则返回逻辑值"Γ，否则返回逻辑值"0"，这样就得到了一个长度为m的逻 辑向量，用(^為.,…..,!^ j表示；重新产生mi个[0，1 ]区间的随机数通过 以下公式计算矩阵UP矩阵Bodd第r列的交叉点位置Sr(r = 1，2，…，mO :
[0064] Sr= ((N-l )*yr*dr+N-l) %N+1
[0065] 上式中，％是取余运算，对向量做取余运算是指对向量的每个元素均做取余运算； 依次将矩阵第r列的第Sr个元素之后的数据与矩阵Bodd第r列的第Sr个元素之后的数据 进行互换，得到V _"和以odd，将矩阵V odd的每一列依次插入矩阵V 的每两列之间，即构 成交叉后的特征矩阵Η(当m为奇数时，特征矩阵Η的最后一列与特征矩阵B的最后一列相 同），根据步骤4.1中的公式计算交叉后的特征的适应度函数值，m维特征的适应度函数值可 以分别表不为V 1,1^2，···，Ι^??;
[0066] (4.4)将初始的多模态情感特征矩阵Α和交叉后的特征矩阵Η进行重组，具体内容 如下：
[0067] 设定替换率Ρ2，假定用特征矩阵Η中的γ列数据替换特征矩阵Α中的γ列数据，则 γ的数值为Ρ2与m相乘后再取整，构造数组Q! = (R!，R2，…，Rm)和Q2 = (f 1，V 2，…，R\)，将Qi 和Q2的元素按照从大到小的顺序分别重新排序，排序后的位置信息分别用向量 Ψ = 〇1,妁,…,<Pm)和向量Θ二0V&，…,?)来表示，即将数组Qi中第=1,2,…,Λ?)个 元素排到第k位，将数组Q 2中第= 1,2,...,m)个元素排到第w位，得到排序后的b;将特 征矩阵Η中第％^ ···&列的数据依次替换特征矩阵A中第φι，#2, ··，列的数据，得到重 组后的特征矩阵A'，大小为N*M;
[0068] (4.5)当迭代次数达到事先设定的F值时，停止循环，得到最终的融合特征，否则返 回步骤4.1进行下一次的迭代；
[0069] 第五步，为了去除数据冗余，降低计算消耗，使用PCA方法对融合特征进行降维，在 降维前对融合数据进行归一化，将数据限定在0-1之间，本发明在eNTERFACE数据库上设定 PCA贡献率为0.99，在RML数据库上设定PCA贡献率为0.82;
[0070] 第六步，将降维后的数据输入SVM，得到分类识别结果。
[0071] 本发明未详细说明部分都属于领域技术人员公知常识，以上所述仅为本发明的一 个具体实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等 同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种基于遗传算法的多模态情感特征融合方法，其特征在于包含W下步骤： (1.1) 建立一个多模态情感数据库，包含L类情感的样本，每类情感的样本数为η，总样 本数为Ν=化； (1.2) 对于所述数据库中的每个样本，提取Τ种不同模态的情感特征，其中第t种模态的 情感特征用dt维特征向量表示，t = l，2, 一,1,则每个样本的多模态情感特征向量维数为Μ =(di+d2+...+dT); (1.3) 对于数据库中的N个样本，构造一个N*M大小的多模态情感特征矩阵A:其中，矩阵元素是属于第i类情感的第j个样本特征向量的第k维特征值，i = l， 2，-..，L，j = l，2，...，n，k=l，2，...，M; (1.4) 采用遗传算法对多模态情感特征进行F次迭代的特征选择和融合。2. 根据权利要求1所述的一种基于遗传算法的多模态情感特征融合方法，其特征在于 所述步骤1.4包含W下子步骤： (2.1) 对于第k维特征，将属于第i类情感的η个样本的特征值进行组合，构成数组化义第Ρ类情感与第q类情感的类内类间距离为Rp,q,k:定义遗传算法中使用的适应度函数为化：那么Μ维特征的适应度函数值可W分别表示为化，Κ2，···，Κμ; (2.2) 定义多模态情感特征矩阵A中第S列特征被选择的概率为：给定一个[〇，1]区间的均匀随机数α，若Ps>a，则多模态情感特征矩阵A中第s列特征被 选择，否则不被选择，假定经选择后的多模态情感特征矩阵B是一个N*m大小的矩阵，m<M; (2.3) 使用遗传算法的单点交叉算子对特征矩阵B进行交叉操作，具体内容如下： 将矩阵B的奇偶列分离出来，分别构成矩阵Beven和矩阵Bodd，大小分别为N*mi和N*m2，其 中mi是矩阵B偶数列的列数，m2是矩阵B奇数列的列数，虹和m2的取值为：产生mi个[0，1]区间的随机数％|而，…，Xmi，将运些随机数依次与事先设定的交叉率P1 比较，小于P1则返回逻辑值"Γ，否则返回逻辑值"0"，运样就得到了一个长度为mi的逻辑向 量，用0二侣，屯成ni)表示；重新产生mi个[〇，1]区间的随机数化'扔約^，通过W下 公式计算矩阵Beven和矩阵Bodd第r列的交叉点位置Sr(r= 1,2,mi): Sr = ((N-1) *yr*山+N-1) % N+1 上式中，％是取余运算，对向量做取余运算是指对向量的每个元素均做取余运算;依次 将矩阵Beven第r列的第Sr个元素之后的数据与矩阵Bodd第r列的第Sr个元素之后的数据进行 互换，得到B/even和B/ Ddd，将矩阵B/ Ddd的每一列依次插入矩阵B/ even的每两列之间，即构成交 叉后的特征矩阵Η(当m为奇数时，特征矩阵Η的最后一列与特征矩阵B的最后一列相同），根 据步骤2.1中的公式计算交叉后的特征的适应度函数值，m维特征的适应度函数值可W分别 表不为R' 1，R' 2, . . .，R'm; (2.4) 将初始的多模态情感特征矩阵A和交叉后的特征矩阵Η进行重组，具体内容如下： 设定替换率Ρ2,假定用特征矩阵Η中的γ列数据替换特征矩阵A中的γ列数据，则γ的数 值为Ρ2与m相乘后再取整，构造数组化=(Ri，化，…，Rm)和化=(R/1，R/ 2，. . .，R\)，将化和化的 元素按照从大到小的顺序分别重新排序，排序后的位置信息分别用向量 夺'=如1.,取2,·:.-,机?)和向量0 =彷1,巧2,..，,巧机)来表不，即将数组化中束机(k二…，城)个 元素排到第k位，将数组化中第= 1,2,...，m)个元素排到第W位，得到排序后的b;将特 征矩阵Η中第新為，…馬列的数据依次替换特征矩阵A中第化，恥，…，抑列的数据，得到重 组后的特征矩阵，大小为N*M; (2.5) 当迭代次数达到事先设定的F值时，停止循环，得到最终的融合特征，否则返回步 骤2.1进行下一次的迭代。3.根据权利要求1所述的一种基于遗传算法的多模态情感特征融合方法，其特征在于 步骤1.2中所述情感特征包括语音特征、表情特征、姿态特征。
【文档编号】G06K9/62GK106096641SQ201610397707
【公开日】2016年11月9日
【申请日】2016年6月7日
【发明人】程晓, 卢官明, 闫静杰
【申请人】南京邮电大学