一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法与流程

本发明涉及脑电识别领域，尤其涉及一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法。
背景技术：
：情绪(emotion)是人对客观事物是否满足自身需要而产生的综合状态。它作为人脑的高级功能，保证着有机体的生存和适应，不同程度上影响着人的学习、记忆与决策。在人们的日常工作和生活中，情绪的作用无处不在。负性情绪会影响我们的身心健康，降低工作质量与效率，也会造成严重的工作失误。有研究证明，负性情绪的长期积累，会损害免疫系统的功能，使人们更容易受到周围病毒的感染。所以，适时地发现负性情绪并给予适当的干预与调控十分必要，尤其是对司机，航天员等一些特殊工作者。另一方面，在人机交互系统里，如果系统能够捕捉到人的情绪状态，那么人机交互就会变得更加友好，自然与高效。情绪的分析与识别已经成为神经科学、心理学、认知科学、计算机科学和人工智能等领域学科交叉的一项重要的研究课题。随着神经生理学的发展和脑成像技术的兴起，脑电信号(Electroencephalography,EEG)因其时间分辨率高、不受人为因素控制、能够客观真实地反映人的情绪状态而受到研究人员的重视并被引入到情绪识别领域。而且新式理论方法的提出在一定程度上提高了基于脑电的情绪识别准确率。然而一旦走向实际应用，识别率大幅度下降，很难满足应用的需求，建立高精确度的情绪识别模型仍面临巨大的挑战。其中一个难点就是如何剔除或降低脑电信号的时间效应，进而提高情绪识别模型的时间普适性。众所周知，激素水平，外部环境(比如温度与湿度)，以及饮食与睡眠都能引起生理信号的差异，所以在不同的时间里即使在同一种情绪状态下的脑电信号也是有差异性的。而且在实际应用中，情绪识别模型的建立与情绪状态的识别势必会存在一定的时间间隔，而且测试数据不会参与情绪识别模型的建立，特别是在一些特殊的应用场景里，比如航天员情绪状态的识别，识别模型的建立发生在地面上的准备阶段，而情绪状态的识别发生在太空里的工作阶段。当天建立识别模型然后马上进入应用是不切实际的。综上所述，剔除或降低脑电信号的时间效应，进而提高情绪识别模型的时间鲁棒性是十分必要的。在现有的研究中，关于情绪分类器的时间普适性的研究寥寥无几。2001年，Picard等人[1]尝试去除时间效应对情绪识别模型的影响，采用其他情绪状态减去平静状态的方法，但是利用该方法就无法识别中性情绪，情绪类型会减少，而对中性情绪状态的识别也是非常重要且不可缺少的，中性情绪是情绪稳定性的一个重要指标。2012年，Chueh,Tung-Hung等人[2]利用多元方差分析的方法去除时间效应的影响，提高了分类器的性能。但是依然存在着一个问题，就是测试集中的数据不是独立的，依然与其他时间的数据混合在一起构建分类器，这在实际应用中也是不切实际的。技术实现要素：本发明提供了一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法，本发明可有效地提高情绪识别模型的时间鲁棒性和普适性，解决目前情绪识别中的瓶颈问题，将模型推向应用，并获得可观的社会效益和经济效益，详见下文描述：一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法，所述情绪脑电识别方法包括以下步骤：对采集到的64导脑电信号进行预处理，包括：变参考到双耳平均；降采样到500Hz；1-100Hz带通滤波；以及利用独立成分分析的算法去除眼电干扰；将预处理后的脑电信号采用可分频段自适应跟踪的算法找到每个用户的最佳可分性频段，分别计算每一导联的最佳可分频段的功率谱密度，构成情绪特征矩阵；利用主成分分析法对得到的情绪特征矩阵进行降维处理，作为最终的特征矩阵；使用支持向量机分类器对最终的特征矩阵中的特征进行识别，通过增加情绪模型训练集中样本的天数弱化时间特征，提高情绪模型的时间鲁棒性，将不同情绪状态区分开，建立情绪识别模型。所述方法还包括：采集不同时间段被试者在不同情绪状态下64导的脑电信号。所述将预处理后的脑电信号采用可分频段自适应跟踪的算法找到每个用户的最佳可分性频段的步骤具体为：1)使用短时傅里叶变换计算出每一导联的时频矩阵；2)计算fisher比率，用它来衡量类内和类间的能量差异；3)可分权重DW(f)可由Fisher比率求得；通过波段迭代选择法计算DFC，迭代次数等于需要获得的频段数；从获得的频段数中获取最佳可分性频段。所述从获得的频段数中获取最佳可分性频段具体为：当频率窗口沿着DW(f)的频率轴移动时，计算能量分布；根据最大能量分布α，在所有的频段数中选择最佳计算的相对变化δj；设一个门槛值δmin，比较δ2和δmin，如果δ2大于δmin，则接着比较δ3与δmin的大小，直到找到δj小于δmin，那么j-1的位置就是最佳可分性的频段。所述利用主成分分析法对得到的情绪特征矩阵进行降维处理，作为最终的特征矩阵的步骤具体为：1)对原始数据进行标准化处理，得到原始矩阵；然后求其协方差矩阵；对协方差矩阵进行特征根分解，得到特征根矩阵及特征向量；2)求原始矩阵在新的矢量空间中的投影，即主成分向量组；3)每个主成分的特征根大小代表其蕴含信息量的多少，求前k个主成分的累积贡献率；4)选定预设的累积贡献率，使前d个主成分FNi*d作为新的数据进行模式识别。所述使用支持向量机分类器对最终的特征矩阵中的特征进行识别，将不同情绪状态区分开，建立情绪识别模型的步骤具体为：对每一天的数据分别进行列归一化，归一化到[-1.1]，得到特征矩阵；利用SVM分类器建立情绪识别模型，建模过程中，将多天的数据放入训练集，以提高分类器的时间鲁棒性。本发明提供的技术方案的有益效果是：本发明的主旨是提出一种提高情绪识别模型时间鲁棒性的新方法，通过可分频段自适应跟踪法寻找到每个用户的最佳可分频段，通过提高训练集中样本的天数来弱化时间特异性特征，继而准确稳定实时地进行情绪识别。该项发明可有效地提高情绪识别模型的时间鲁棒性和准确性，可获得可观的社会效益和经济效益。最佳实施方案拟采用专利转让、技术合作或产品开发。附图说明图1为一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法的流程图；图2为60导EEG导联图；图3为被试实验时间安排表；图4为可分频段自适应跟踪计算流程图；图5为DFCs算法流程图；图6为不同训练天数下的识别正确率。具体实施方式为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。为了解决
背景技术：
中的问题，本发明实施例提出了一种新的提高情绪识别模型时间鲁棒性的情绪脑电识别方法，通过可分频段自适应跟踪算法找到每个用户的最佳可分性频段，分别计算每一导联的最佳可分频段的功率谱密度，构成情绪特征矩阵，利用主成分分析法对得到的特征矩阵进行降维处理，作为最终情绪识别的特征矩阵，使用支持向量机建立情绪识别模型，通过增加情绪模型训练集中样本的天数弱化时间特征，提高情绪模型的时间鲁棒性，从而准确、客观的进行情绪识别。该方法克服了上述的两个问题，既不会减少识别的情绪种类，测试集的数据又不会参与情绪识别模型的建立，满足实际应用中的要求。实施例1本发明实施例提供了一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法，参见图1，该情绪脑电识别方法包括以下步骤：101：数据采集阶段采集的是不同时间段被试者在不同情绪状态下(积极、中性、消极)64导的脑电信号；102：对采集到的64导脑电信号进行四个步骤的预处理。包括：变参考到双耳平均；降采样到500Hz；1-100Hz带通滤波；以及独立成分分析(independentcomponentanalysis，ICA)去眼电干扰；103：将预处理后的脑电信号采用可分频段自适应跟踪的算法找到每个用户的最佳可分性频段，分别计算每一导联的最佳可分频段的功率谱密度，构成情绪特征矩阵；104：利用主成分分析法对得到的情绪特征矩阵进行降维处理，作为最终的特征矩阵；105：使用支持向量机分类器对最终的特征矩阵中的特征进行识别，通过增加情绪模型训练集中样本的天数弱化时间特征，提高情绪模型的时间鲁棒性，将不同情绪状态区分开，建立情绪识别模型。为了提高情绪识别模型的时间鲁棒性，本发明实施例通过增加训练集中样本的天数来弱化时间特异性的特征。在特征识别之前，首先分别对每一天的数据进行归一化。综上所述，本发明实施例通过可分频段自适应跟踪算法找到每个用户的最佳可分性频段，分别计算每一导联的最佳可分频段的功率谱密度，构成情绪特征矩阵，利用主成分分析法对得到的特征矩阵进行降维处理，作为最终情绪识别的特征矩阵，使用支持向量机建立情绪识别模型，通过增加情绪模型训练集中样本的天数弱化时间特征，提高情绪模型的时间鲁棒性，从而准确、客观的进行情绪识别。该项发明可有效地提高情绪识别模型的时间鲁棒性和准确性。实施例2下面结合图2、图3、图4、图5对实施例1中的方案进行详细的介绍，详见下文描述：201：数据采集阶段；其中，脑电采集装置为Neuroscan公司的64导联放大器和Scan4.5采集系统，电极遵照国际脑电协会规定的标准10-20系统放置，去除眼电和参考电极外的60导电极的导联分布如图2所示。采集时以右侧乳突作为参考电极，脑部前额顶侧中央处接地，所有电极的阻抗均保持在5k欧以下，采样频率为1000Hz。每名被试者需在一个月内进行5次数据采集，每一次采集之间的时间间隔分别是一天、三天、一周和两周。图3是被试者实验时间安排表。每名被试者在该天的同一时间来到实验室进行数据采集，用视频诱发被试积极、中性、消极三种情绪状态。202：数据预处理；对采集到的64导脑电信号进行四个步骤的预处理。包括：变参考到双耳平均；降采样到500Hz：1-100Hz带通滤波以及ICA去眼电干扰。其中，采集时的参考电位在右耳乳突处，这导致右脑区导联的信号幅值偏低。因此首先进行参考电位转换，将参考电位变为位于两侧乳突部位的M1、M2导联处，便于后续数据处理。系统的采样频率是1000Hz，主要是为了满足脑电信号变化迅速的要求。但1000Hz的采样频率远远大于奈奎斯特定理的理论采样频率，并且采样频率过大会导致数据量过大使后续处理效率降低。因此，要对采集到的数据进行降采样，脑电信号的采样频率由1000Hz降为500Hz。本发明实施例进行1Hz～100Hz的带通滤波以去除直流干扰以及高频信号。由于采集到的脑电信号不可避免地会含有眼电(包括眼球的上下、左右移动，眨眼)及肌电信号带来的影响。其中眼电，尤其是眨眼的眼电信号特别强烈，受眼电影响最大的是前额区域的导联。对于脑电信号中掺杂的眼电信号及肌电信号产生的影响，本发明实施例通过独立分量分析(IndependentComponentAnalysis，ICA)滤波的方法予以滤除。其中，具体滤波的方法为本领域技术人员所公知，本发明实施例对此不做限制。203：可分频段的自适应跟踪法；因为不同用户会有不同的最佳可分性频段，因此本发明实施例利用可分频段自适应跟踪(adaptivetrackingofdiscriminativefrequencycomponents，ATDFCs)的方法找到可将不同情绪类型区分开的最佳频段，这对准确的提取特征、提高分类正确率是很重要的。DFC自适应跟踪法的计算过程如图4所示。1)使用短时傅里叶变换计算出每一导联的时频矩阵；因此，每一个导联都有一个离散时频矩阵In(f,t)。2)计算fisher比率，用它来衡量类内(同一模式内，在本发明实施例中是指同一情绪类型)和类间(不同模式之间，在本发明实施例中是指不同情绪类型之间)的能量差异。其计算方法如公式(1)、公式(2)、公式(3)所示。Sw(f,t)=Σk=1cΣn=1nk(In(f,t)-mk(f,t))(In(f,t)-mk(f,t))T---(1)]]>SB(f,t)=Σk=1Cnk(m(f,t)-mk(f,t))(m(f,t)-mk(f,t))T---(2)]]>FR(f,t)=SB(f,t)Sw(f,t)---(3)]]>其中，Sw(f,t)、SB(f,t)、mk(f,t)、m(f,t)以及FR(f,t)是二维矩阵。Sw(f,t)、SB(f,t)分别代表类内以及类间差异，FR(f,t)为fisher比率，mk(f,t)是第k类的平均时频密度，m(f,t)是所有类的平均时频密度，C代表类别数，本发明实施例中C＝3，nk是第k类中的样本数。3)可分权重DW(f)可由Fisher比率求得，其计算方法如公式(4)：DW(f)=Σt=1τFR(f,t)---(4)]]>其中，τ代表STFT计算时的时间段。4)获得DW(f)后，通过波段迭代选择法计算DFC，迭代次数等于需要获得的频段数。可以使用下面提到的Step1到Step5五个步骤来计算最具可分性的频段，如图5所示。然后将最具可分性频段下的权重DW(f)置为零，再计算可分性位于第二位的频段。例如，最具可分性的频段为9～14Hz，就将9、10、11、12和13Hz对应的DW(f)置为零，再计算第二可分频段；不断重复这个过程直到获得需要的频段数。Step1、首先确定需要被选择的频段为1～100Hz，滑动的频率窗口在3～7Hz间以步长1Hz变化(如图5所示)。因此，可以得到5个不同带宽参数记为BWj(j＝1,2,3,4,5)。Step2、当频率窗口沿着DW(f)的频率轴移动时，根据公式(5)计算能量分布α。α(Fi,BWj)=Σf=Fi-BWj2f=Fi+BWj2DW(f)---(5)]]>其中，Fi代表频率窗口沿着频率轴移动时第i个频段的中心频率。例如，当频率窗宽为3Hz时，则可获得97个频段，例如：1～4Hz、2～5Hz、3～6Hz、4～7Hz,…,97Hz～100Hz。Step3、根据最大能量分布α，在所有的Fi中选择最佳如公式(6)。Fjopt=argmaxFiα(Fi,BWj)---(6)]]>对每一个BWj都要求出一个因此，每一个j，都对应一个最佳中心频率以及最佳能量分布Step4、为了比较每个BWj的分辨能力，计算的相对变化，j＝(2,3,4,5)，利用公式(7)计算δj。δj=αjopt-αj-1optαjopt*100%---(7)]]>Step5、计算完δj之后，设一个门槛值δmin。实验证明，对于不同的门槛值，例如：10％,20％,30％,40％,…,，门槛值越小，该算法越趋近于选择频率窗为3Hz的频率段。比较δ2和δmin，如果δ2大于δmin，则接着比较δ3与δmin的大小，直到找到δj小于δmin。那么j-1的位置就是最具可分性的频段。本发明实施例选择每一导联的第一可分频段，第二可分频段和第三可分频段的功率谱值建立每一天的特征矩阵PNi*180。Ni为第i天的样本数量。60导联*3频段＝180维特征。PNi*180＝(P1,P2,…,P180)(8)204：主成分分析法降维；实际应用时，由于各个参数所含的信息之间具有一定的重叠性和相关性，若直接将它们用于模式识别，会造成模型参数的过度拟合而降低分类的准确性和可靠性，且会因为数据量过大而降低分类的速度。因此在模式分类之前，本发明实施例首先利用PCA对每一天得到的特征向量进行降维处理。PCA根据方差最大化原理，用一组线性无关且相互正交的新向量表征原来的数据矩阵的行(或列)，达到压缩变量个数，剔除冗余信息，最大化保存有效信息的目的。原始向量组为(P1,P2,…,P180)，主成分向量组记为(F1,F2,…,Fm)，通常m小于180。则主成分与原始向量组的关系为：F1=a1,1P1+a1,2P2+...+a1,180P180F2=a2,1P1+a2,2P2+...+a2,180P180...Fk=ak,1P1+ak,2P2+...+ak,180P180...Fm=am,1P1+am,2P2+...+am,180P180---(9)]]>其中，F1蕴含信息量最多，具有最大方差，称为第一主成分，F2，…，Fm依次递减，称为第二主成分、…、第m主成分。因此主成分分析的过程可以看作是确定权重系数αk,h(k＝1,…,m；h＝1,…180)的过程。在本发明实施例中，第i天得到的Ni个样本(i＝1,2,3,4,5)，可用下面的矩阵表示PNi*180=P1,1P1,2...P1,h...P1,180P2,1P2,2...P2,h...P2,180..................Pb,1Pb,2...Pb,h...Pb,180..................PNi,1PNi,2...PNi,h...PNi,180---(10)]]>其中，Pb,h为第b个样本的第h个特征。用PCA进行特征降维的求解过程如下：1)对原始数据PNi*180进行标准化处理，矩阵中的元素减去所在列的均值，然后除以所在列的标准差，使得每个变量的均值为0，方差为1，得到矩阵PNi*180*。PNi*180*＝[yb,h]Ni*180，b＝1,2,…,Ni；h＝1,2,…,180(11)yb,h=[Pb,h-Ph‾]/Sh---(12)]]>其中，2)然后求其协方差矩阵C180*180,PNi*180*中任两列之间可以计算两变量间的协方差，于是得到协方差矩阵：3)对协方差矩阵C180*180进行特征根分解，得到特征根矩阵Λ180*180及特征向量U180*180。C180*180＝U180*180Λ180*180U180*180(14)其中，特征向量U180*180作为主成分的坐标轴，构成新的矢量空间，其中，特征根λr(r＝1,2，…,180)的大小代表第r个主成分蕴含的信息量。U180*180′是U180*180的转置矩阵。4)求原始数据PNi*180在新的矢量空间中的投影，即主成分向量组FNi*180：FNi*180＝PNi*180U180*180(15)5)求累积贡献率。每个主成分的特征根大小代表其蕴含信息量的多少。求前k个主成分的累积贡献率(k＝1,…,180)。prek=Σi=1kλiΣi=1180λi---(16)]]>其中，λi是求出的第i个特征根。6)选定预设的累积贡献率，使前d个主成分FNi*d作为新的数据进行模式识别(d<180)。例如：一共得出7个主成分。第一个主成分F1的贡献率为48％，F2的贡献率为32％，F3的贡献率为15％，F4,F5,F6,F7总共的贡献率为5％(7个主成分的贡献率一共是100％)。那么前三个主成分(F1,F2,F3)的累积贡献率达到了95％，也就是说，前三个主成分蕴含了7个主成分95％的信息，那么，选择这三个主成分作为新的数据进行模式识别，在保证信息量的同时降低了特征矩阵的维数。205：情绪识别模型的建立；特征降维后，使用支持向量机(SupportVectorMachine，SVM)[3]建立情绪识别模型，识别用户当前的情绪状态。在模式识别阶段，一部分样本用来建立分类器，称为训练集，剩余的样本用来测试分类器，称为测试集。本发明实施例首先通过增加训练集中样本的天数来提高情绪识别模型的时间鲁棒性。所以在模式识别阶段，将四天的数据用于训练模型，剩余一天的样本归于测试集。这样有利于训练集提取与情绪相关的特征，而弱化时间特异性的特征。建立分类器之前，首先需要对每一天的数据分别进行列归一化，归一化到[-1.1]，得到特征矩阵PPNi*d,(d为降维后特征矩阵的维数)PPi,j＝(ymax-ymin)*(Fi,j-Fjmin)/(Fjmax-Fjmin)+ymin,其中，ymax＝1,ymin＝-1；为降维后的特征矩阵FNi*d的第j列的最小值，同理，为特征矩阵FNi*d的第j列的最大值。归一化后，利用SVM分类器建立情绪识别模型。综上所述，本发明实施例通过可分频段自适应跟踪法寻找到每个用户的最佳可分频段；通过主成分分析法对特征矩阵进行特征降维；通过提高训练集中样本的天数来弱化时间特异性特征，继而准确稳定实时地进行情绪识别。该项发明可有效地提高情绪识别模型的时间鲁棒性和准确性。实施例3下面结合图6对实施例1和2的方案进行可行性验证，详见下文描述：图6是9名被试不同训练样本天数下的识别正确率。横轴是训练集中样本的天数N(N＝1,2,3,4)，即N天的样本做训练，剩余的5-N天的样本做测试。纵轴是得到的N天条件下的平均识别正确率。由图6中可以看出，随着训练集中天数的增加，正确率提高，正确率与训练样本的天数呈正相关；4天的样本用于训练分类器相比于1天的样本做训练，其正确率提高了大约10％，且具有统计学差异(p<0.01)。这也验证了本发明提出的方法有效。本发明实施例通过可分频段自适应跟踪法找到每个用户的最佳可分频段，主成分分析法进行特征降维，并增加情绪识别模型中训练集中样本的天数强化了情绪相关的特征，弱化了时间特异性的特征，从而提高了情绪识别模型的时间鲁棒性。该图6说明了增加训练集中样本的天数可以显著提高分类器的时间鲁棒性。本发明可有效地提高情绪识别模型的时间鲁棒性和准备性，为情绪识别从实验室走向应用提供了技术支持。参考文献[1]PICARDRW,VYZASE,HEALEYJ.Towardmachineemotionalintelligence:Analysisofaffectivephysiologicalstate[J].PatternAnalysisandMachineIntelligence,IEEETransactionson,2001,23(10):1175-91.[2]CHUEHT-H,CHENT-B,LUHH-S,etal.StatisticalPredictionofEmotionalStatesbyPhysiologicalSignalswithManovaandMachineLearning[J].InternationalJournalofPatternRecognitionandArtificialIntelligence,2012,26(04):[3]HIDALGO-MUOZAR,LPEZMM,SANTOSIM,etal.ApplicationofSVM-RFEonEEGsignalsfordetectingthemostrelevantscalpregionslinkedtoaffectivevalenceprocessing[J].ExpertSystemswithApplications,2013,40(6):2102–8.本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。当前第1页1 2 3