一种跨诱发模式情绪脑电识别建模方法
【专利摘要】本发明公开了一种跨诱发模式情绪脑电识别建模方法，所述方法包括以下步骤：设计不同刺激模式的诱发实验；脑电数据采集及预处理；从预处理后的脑电数据中提取情绪脑电特征；将视频和图片诱发样本中的一部分作为训练集，将另一部分作为测试集，且训练集和测试集中的样本来自于不同的素材源，通过基于递归特征筛选的支持向量机分类器对训练集所对应的情绪脑电特征进行分类识别。本方法对不同诱发模式的情绪脑电样本均做了测试，更符合实际应用场景；这种客观、稳健的情绪识别方法可以为在轨航天员的情绪检测提供技术支持，或在人机交互领域计算机具备感知、识别和理解人类情绪的能力，从而对用户的情绪做出灵敏、友好的反应，营造真正智能、人性化的人机环境。
【专利说明】一种跨诱发模式情绪脑电识别建模方法
【技术领域】
[0001]本发明涉及人机情感交互领域、在轨航天领域用于宇航员的情绪监测领域，特别涉及一种跨诱发模式情绪脑电识别建模方法。
【背景技术】
[0002]情绪是人脑的高级功能，保证着有机体的生存和适应，对个体的学习、记忆、决策有着重要的影响。情绪也是个体差异的来源，是许多个性特征和心理病理的关键成分。随着社会的发展，各年龄、各领域人们的情绪困扰越来越多、越来越严重，对情绪的正确识别和调节对改善人类生活品质，保障身心健康具有重大意义。
[0003]目前国内外研究者通过表情、语音、姿势信号来识别人的情绪，运用多种模式的识别方法已经得到了一些效果，但由于信号的易控性及可伪装性，识别结果无法排除被试主观因素的影响，有时无法观测到潜在的、真实的情感状态。情绪是大脑皮层和皮层下神经过程协同活动的结果，且瞬变性强。脑电是自发的不受人为控制的放电活动，具有时间分辨率高、功能特异性强、简便易行的优势，而且在情绪识别方面正确率相对较高，因此基于脑电的情绪识别研究近年来备受研究关注并成为研究热点。
[0004]尽管情绪脑电识别已取得丰硕的成果，但该项研究还远未成熟。目前的研究基本上都是分析单一的、特定诱发模式(视觉、听觉、视听)下情绪脑电响应并提取特征，例如只对情绪图片诱发脑电进行识别，训练集和测试集均来自同一刺激模式下的样本。然而这种做法存在一个很大的局限:单一情绪诱发模式下建立的分类模型很可能考虑了一部分仅与刺激属性响应有关而与情绪无关的特征(既脑电特征可能仅与诱发模式有关，并未包含情绪特异性信息)，该分类模型无法保证对其他刺激模式诱发的情绪脑电样本具备良好的识别能力。而现实生活中人们的情绪可由多种不同的刺激源诱发(例视频、图片、音乐)，对实践应用的在线识别系统来说，最迫切需要的是一个可以对不同自然条件下得到的多类情绪数据集自动选择最重要特征并准确分类的模型。
【发明内容】
[0005]本发明提供了一种跨诱发模式情绪脑电识别建模方法，本发明通过对多种刺激模式下的情绪脑电进行分析和特征提取，在建模过程中对不同刺激模式下的特征进行融合，增强分类器的学习能力，来建立一种新的、稳定、可靠的情绪诱发脑电分类模型，详见下文描述:
[0006]一种跨诱发模式情绪脑电识别建模方法，所述方法包括以下步骤:
[0007](I)设计不同刺激模式的诱发实验；
[0008]( 2 )脑电数据采集及预处理；
[0009](3)从预处理后的脑电数据中提取情绪脑电特征；
[0010](4)将视频和图片诱发样本中的一部分作为训练集，将另一部分作为测试集，且训练集和测试集中的样本来自于不同的素材源，通过基于递归特征筛选的支持向量机分类器对训练集所对应的情绪脑电特征进行分类识别。
[0011]所述脑电数据采集及预处理的操作具体为:
[0012]对于视频诱发实验,使用KMPlayer播放视频,被试者佩戴Philips耳机观看,对于图片诱发实验，使用Eprime2.0编写刺激程序并呈现刺激，使用键盘录入被试者评分反应；
[0013]脑电采集仪器使用的是为Neuroscan公司的Neuroscan4.5系统，电极遵照国际脑电协会规定的标准10-20标准放置，左右耳两导为参考电极，前额顶侧中央处电极接地，共采集36导脑电，采样频率为1000Hz，电极阻抗保持在5K欧姆以下；采集到36导EEG数据后进行带通滤波、去除眼电、保留30导脑电并截取有效数据段处理。
[0014]所述从预处理后的脑电数据中提取情绪脑电特征的操作具体为:
[0015]对每个长度为1000个数据点的样本，分别计算30导脑电每一导6个频段的功率谱密度，将每个频段内的各个频率点对应的幅值相加，得到每一导联该频段的功率谱能量值，该特征维数为30*6=180维；
[0016]计算12对位置对称导联的各频段的不对称指数，不对称指数是将左侧导联的功率谱能量值除以左右对称导联的功率谱能量和。
[0017]所述6 个频段具体为:Θ (4 ~8Ηζ)、α (8 ~12Ηζ)、β I (13 ~18Hz)、β 2 (18 ~30Hz)、gamma I (30 ~36Hz)、Y 2 (36 ~44Ηζ)。
[0018]所述12对位置对称导联具体为:
[0019]FP1-FP2, F7-F8， F3-F4， FT7-FT8， FC3-FC4， Τ7-Τ8， C3-C4， ΤΡ7-ΤΡ8， CP3-CP4，Ρ3-Ρ4, Ρ7-Ρ8, 01-02。
[0020]本发明提供的技术方案的有益效果是:本方法考虑了不同的情绪诱发模式对情绪分类模型识别性能(应用扩展性)的影响，在建模过程中融合了多种诱发模式下的情绪脑电样本的特征，而且在对分类器的测试过程中，对不同诱发模式下全新的素材源对应的情绪脑电样本均做了测试，更符合实际应用场景。本发明建立了一种独立于情绪诱发模式、识别性能更加稳健、可靠的分类模型。这种客观、稳健的情绪识别方法可以为在轨航天员的情绪检测提供技术支持，或在人机交互领域帮助设计更加人性化、友好的交互界面。
【专利附图】
【附图说明】
[0021]图1为视频诱发任务的时间分布图；
[0022]图2为图片诱发任务的呈现形式；
[0023]图3电极导联的分布示意图；
[0024]图4为一种跨诱发模式情绪脑电识别建模方法的流程图。
【具体实施方式】
[0025]为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
[0026]针对目前存在的问题，本方法提出跨模式识别的方法，首先针对不同刺激模式(例如视频、图片刺激等)下的情绪诱发脑电进行特征提取和分析，在建模训练过程中，将刺激模式1、II下脑电样本的特征都拿来进行训练，在测试过程中用刺激模式1、II下全新的诱发素材对应的情绪脑电样本来测试，以检验建立的分类模型是否对全新的刺激内容下的情绪诱发脑电样本具备识别能力，从而寻找一种独立于诱发模式，符合实际应用的、稳定可靠且有效的情绪识别方法。
[0027]101:设计不同刺激模式的诱发实验；
[0028]1、视频诱发试验:
[0029]对于视频诱发实验，本发明选取约15个电影片段，高兴、平静、紧张、悲伤、厌恶主题的片段各有2~3个，每个片段平均长度约为3分钟，这些材料包括下文所述的图片诱发材料均在实验前由30多名志愿者进行过情绪评定，确保能够有效诱发出各类情绪。在预实验中发现，按照“平静一悲伤一紧张一高兴一厌恶”的顺序进行诱发，情绪诱发效果最好，因此本实验按该顺序进行诱发。每段视频的实验流程如图1所示:包括开始提示，视频播放，自我评定和休息 4部分。开始提示时间为2秒，提醒被试者集中注意力，视频即将播放。接着开始播放诱发视频，播放时间为视频片段时长。每个诱发视频播放结束后，会给被试者呈现一段风景片段(自然风光)，帮助被试者平复情绪。之后让被试者根据真实的情绪感受和情绪自我评定量表对刚看过的视频进行主观评估，反馈观看视频后的主要情绪感受、强度、纯度、愉悦度、唤醒度和所诱发情绪片段的起止时刻。在完成前三步后被试者有I~3分钟的休息时间，当他们恢复到平静状态之后下个影片的开始提示才会出现，整个实验过程大约需要75分钟。
[0030]由于个人经历和体验的角度不同，所以对同一实验材料，不同被试的感受与预期会有一定的差异。为使实验结果更具科学性和可靠性，实验中采用情绪主观评定量表做辅助，根据被试者的行为表现和主观感受判断被试是否诱发出了相应情绪。
[0031]2、图片诱发试验；
[0032]为减小图片诱发与视频诱发感受的差距，同时为了避免频繁的各类情绪图片切换，刺激图片以小节为单位，小节中为同类的情绪图片，每小节含2~5张图片(如图2所示)，为了避免大脑掌握一些跟实验初衷无关的规律，尽量减少与实验目的无关的影响，不同类的小节以随机顺序呈现。
[0033]每次实验开始前先采集I分钟的静息数据，静息期间受试者处于安静、不思考状态，这样可使被试者进入平静的状态，以利于后续的实验。实验分为3个test (分为3组)，每个test包含12小节共49张图片(即49次任务)，每张图片为I次任务，包括4部分内容:
I)提醒被试者集中注意力；2)接着在屏幕中央呈现情绪图片，持续5s，图片呈现期要求被试者集中精力观察和感受图片内容；3)进入情绪自我评估期，让被试者根据真实的情绪体验对图片分别进行愉悦度和唤醒度两个维度的7点评分，分数越接近7，代表愉悦程度或唤醒度越高。分数越接近I，代表愉悦程度或唤醒度越低。评分通过按键盘数字键录入，虽然不限制评分时间，但原则上要求被试者根据真实感受尽快评分；4)提示被试者休息，休息时间为4秒。每个test结束后让被试休息6分钟，然后进入下一组实验。
[0034]102:脑电数据采集及预处理；
[0035]十二名健康被试者(6名男性，6名女性，年龄19~24周岁)参加了本实验，所有被试者听力正常，视力或矫正视力正常，无精神病史或精神病家族史。有研究者发现，在晚上人们的情绪活动比较丰富，更容易被感染或诱发情绪。因此实验时间均在晚上7点开始，实验当天被试者精神状态良好，无任何情绪波动。
[0036]本实验的刺激平台主要分两种:对于视频诱发实验，使用KMPlayer播放视频,被试者佩戴Philips耳机观看。对于图片诱发实验，使用Eprime2.0编写刺激程序并呈现刺激，使用键盘录入被试者评分反应。计算机的显示器亮度、对比度和色彩均在实验前设置为统一标准。实验中被试者舒适地坐在距离PC机显示屏正前方Im处的扶手椅上，状态轻松自然。
[0037]其中，脑电采集仪器使用的是为Neuroscan公司的Neuroscan4.5系统，电极遵照国际脑电协会规定的标准10-20标准放置，左右耳两导为参考电极，前额顶侧中央处电极接地，共采集36导脑电，采样频率为1000Hz，电极阻抗保持在5K欧姆以下。采集到36导EEG数据后，要进行数据预处理。数据预处理流程主要包括带通滤波、去除眼电、保留30导脑电并截取有效数据段3个步骤。
[0038]本发明进行了 IHz~45Hz的带通滤波以去除直流干扰以及高频信号。此外，由于本发明设计的实验是通过视觉诱发，因此采集到的脑电信号不可避免地会含有眼电(包括眼球的上下、左右移动，眨眼)及肌电信号带来的影响。对于脑电信号中掺杂的眼电信号及肌电信号产生的影响，本发明通过独立分量分析滤波的方法予以滤除，接下来保留除去眼电和参考电极外的30导联数据，参见图3，根据被试者的主观评定结果截取有效的数据段，具体为:1)对于视频诱发脑电，根据情绪自我评定量表中被试者提供的情绪诱发的起止时亥IJ，保留脑电中对应时间段(即情绪诱发的起止时刻)的信号，并作为有效的数据段，供后续分析，一秒数据为一个情绪样本。2)对于图片诱发脑电，根据被试者反映，在图片呈现的5秒内，通常在第2秒他们的情绪感受最为强烈，充沛和稳定，因此本研究对每一名被试者，采用被有效诱发的图片呈现的第2秒数据作为有效数据段。
[0039]103:从预处理后的脑电数据中提取情绪脑电特征；
[0040]本发明在特征提取环节，主要提取了频域特征，频域特征是通过基于AR模型[1]的功率谱估计来计算，模型参数计算方法采用的是伯格(Burg)算法[2]，模型阶数选为8阶。对每个长度为1000个数据点的样本，分别计算30导脑电(参见图3)每一导6个频段的功率谱密度，6 个频段定义如下:Θ (4 ~8Hz)、α (8 ~12Ηζ)、β I (13 ~18Hz)、β 2(18 ~30Hz)、Y I (30~36Hz)、gamma2 (36~44Hz)。然后将每个频段内的各个频率点对应的幅值相加，得到每一导联该频段的功率谱能量值E，该特征维数为30*6=180维。
[0041]其次，计算了 12对位置对称导联的各频段的不对称指数，这12对导联组合为FP1-FP2, F7-F8, F3-F4，FT7-FT8，FC3-FC4，T7-T8，C3-C4，TP7-TP8，CP3-CP4，P3-P4，P7-P8，01-02 (相应的英文字符均表示导联名称)，不对称指数是将左侧导联的功率谱能量值除以左右对称导联的功率谱能量和，其定义如下:
[0042]
【权利要求】
1.一种跨诱发模式情绪脑电识别建模方法，其特征在于，所述方法包括以下步骤: (1)设计不同刺激模式的诱发实验； (2)脑电数据采集及预处理； (3)从预处理后的脑电数据中提取情绪脑电特征； (4)将视频和图片诱发样本中的一部分作为训练集，将另一部分作为测试集，且训练集和测试集中的样本来自于不同的素材源，通过基于递归特征筛选的支持向量机分类器对训练集所对应的情绪脑电特征进行分类识别。
2.根据权利要求1所述的一种跨诱发模式情绪脑电识别建模方法，其特征在于，所述脑电数据采集及预处理的操作具体为: 对于视频诱发实验，使用KMPlayer播放视频,被试者佩戴Philips耳机观看,对于图片诱发实验，使用Eprime2.0编写刺激程序并呈现刺激，使用键盘录入被试者评分反应； 脑电采集仪器使用的是为Neuroscan公司的Neuroscan4.5系统，电极遵照国际脑电协会规定的标准10-20标准放置，左右耳两导为参考电极，前额顶侧中央处电极接地，共采集36导脑电，采样频率为1000Hz，电极阻抗保持在5K欧姆以下；采集到36导EEG数据后进行带通滤波、去除眼电、保留30导脑电并截取有效数据段处理。
3.根据权利要求1所述的一种跨诱发模式情绪脑电识别建模方法，其特征在于，所述从预处理后的脑电数据中提取情绪脑电特征的操作具体为: 对每个长度为1000个数据点的样本，分别计算30导脑电每一导6个频段的功率谱密度，将每个频段内的各个频率`点对应的幅值相加，得到每一导联该频段的功率谱能量值，该特征维数为30*6=180维； 计算12对位置对称导联的各频段的不对称指数，不对称指数是将左侧导联的功率谱能量值除以左右对称导联的功率谱能量和。
4.根据权利要求3所述的一种跨诱发模式情绪脑电识别建模方法，其特征在于，所述6个频段具体为:Θ (4 ~8Ηζ)、α (8 ~12Ηζ)、β I (13 ~18Hz)、β 2 (18 ~30Hz)、Y I (30 ~36Hz)、y2(36 ~ 44Ηζ)。
5.根据权利要求3所述的一种跨诱发模式情绪脑电识别建模方法，其特征在于，所述12对位置对称导联具体为:
FP1-FP2, F7-F8, F3-F4，FT7-FT8，FC3-FC4，Τ7-Τ8，C3-C4，ΤΡ7-ΤΡ8，CP3-CP4，Ρ3-Ρ4，Ρ7-Ρ8, 01-02。
【文档编号】A61B5/0484GK103690165SQ201310689135
【公开日】2014年4月2日 申请日期:2013年12月12日 优先权日:2013年12月12日
【发明者】明东, 张迪, 刘爽, 陈龙, 柯余峰, 许敏鹏, 綦宏志, 张力新 申请人:天津大学