基于人脸识别脑电N170成分的情绪脑机接口系统的制作方法

本发明属于脑机交互领域，涉及一种基于人脸识别脑电n170成分的情绪脑机接口系统。

背景技术

脑机接口技术形成于上世纪70年代，经过近半个世纪的发展，如今已能实时捕捉大脑复杂神经信号，并用来直接控制外部设备，使得人和机械可以作为一个生命不同组成部分而共存。

人的大脑是一个高度复杂信息处理系统，它由数十亿的神经元通过相互连接来进行信息交流，以整体协调方式来完成各种各样的认知任务。在人类进化过程中，科学家发现，当人的大脑在进行思维活动、产生意识或受到外界的刺激(如视觉、听觉等)时，伴随其神经系统运行的会有一系列电活动，从而产生脑电信号。“脑机接口”技术就是通过采集大脑皮层神经系统活动产生的脑电信号，经过放大、滤波等方法，将其转化为可以被计算机识别的信号，从中辨别人的真实意图。其核心技术主要包括大脑神经生物信号采集技术、大脑神经生物信号处理技术、人机高效协同技术等。就是说，人脑想执行某个操作，不需要通过肢体动作，通过“脑机接口”技术，即可让外部设备读懂大脑神经信号，并将思维活动转换为指令信号，来实现人脑思维的操控。

目前较为常用的脑机接口系统主要有基于p300等事件相关脑电成分的系统(基于p300脑电电位的中文输入bci系统，发明专利，申请号：200710164418.6，公开号：cn101201696a)和基于视觉诱发脑电成分的系统(基于虚拟仪器稳态视觉诱发电位脑机接口系统及控制方法，发明专利，公开号：cn101576772)等。

1)基于p300诱发电位的脑机接口系统

p300电位属于由小概率事件诱发产生的事件相关电位,因对应于事件发生后约300毫秒处脑电信号中的一个正电位波形而得名。通过对p300电位的检测和分析后,我们得到被试关于事件任务的特定脑电模式,并以此作为交互手段,达到被试对计算机进行控制甚至于与外部环境进行交互的目的。经典的p300单个波可在oddball实验范式下出现，对同一感觉通路的一系列刺激由两种刺激组成，一种出现的概率性很大(85％)，称标准刺激，另一种出现的概率很小(15％)，称偏差刺激。两种刺激出现的顺序是随机的，对受试者来说偏差刺激具有偶然性。令受试者发现偏差刺激后尽快按键或记忆其数目，此时偏差刺激称为把刺激。在偏差刺激后约300毫秒可以观测到一个很大的正波，即为p300。基于p300诱发电位的脑机接口系统如图1所示，这套系统的实现方式是一个屏幕上按行或列随机闪烁一个6×6的字符矩阵，当使用者想要输入的字符所在的行或列发生闪烁时，就是小概率事情，就称为相关事件或靶刺激。其它行列闪烁则不会诱发脑电中的p300成分。通过特征提取和判别算法求出引起p300波幅最大的行和列，该行和列交点上的字符即为使用者想要输入的字符。(参见l.a.farwellande.donchin,talkingoffthetopofyourhead:towardamentalprosthesisutilizingevent-relatedbrainpotentials.electroencephclinneurophysiol.1988,70:510-523.)

上述的系统通过检测p300作为判别的依据，由于p300在事件发生后300毫秒，因此要求两次刺激的时间间隔较长，以保证p300能够产生并得到。这类系统的缺点是诱发p300的行和列容易受到周过行和列的干扰，从而引起误判，即影响该系统的判别准确率。这类系统的应用范围受到很大的限制。

2)基于稳态视觉诱发电位的脑机接口系统

稳态视觉诱发电位(steady-statevisualevokedpotential,ssvep)是大脑视觉皮层对处于视觉中心的闪烁刺激的一种生物反馈，研究证明，处于视觉中心的闪烁刺激能够对视觉皮层的神经元群在特定模式上的神经活动产生增强作用，从而对脑电信号特定频率成分的幅度进行调控，ssvep的响应频率一般与视觉刺激频率相同，通常认为，ssvep在视觉刺激频率处于4～6hz时产生。如图2为一种典型的稳态视觉诱发电位的脑机接口系统。

上述的系统利用的是脑电稳态诱发响应，通过检测诱发脑电的频率作为判别的依据。由于稳态视觉诱发电位需要的得到处于某一频率下的刺激，且要求使用者进行一定的训练，因此，该系统的实用性收到一定的影响，此外，由于稳态视觉诱发电位的诱发需要一定的时间，这样使用时很容易收到环境亮度的影响，长时间使用会造成视觉疲劳，影响系统的判别准确率。

但客观地评价，现有的各种脑机接口系统都存在明显的缺陷。脑电信号是一种非常微弱的电生理信号，因此，要想借助脑电信号实现某种控制是非常困难的，特别是要在控制中达到较高的正确率，并保证有实时控制的效果，这就更加不容易。上述系统在判断的正确率与实时的效果方面都存在或大或小的问题，用上述方法的判断正确率虽优于随机猜测的正确率，但离实际应用都有相当远的距离。

技术实现要素：

有鉴于此，本发明的目的在于提供一种基于人脸识别脑电n170成分的情绪脑机接口系统，相比于传统的p300脑机接口，n170作为早期的脑电信号处理成分，更有利于情绪脑机接口实时性研究。n170作为枕颞部位面孔识别时的较大的负波，之前的研究主要是用于区分面孔和非面孔的脑机接口研究，本发明将n170特异波成功用于情绪识别脑机接口。它不仅能达到很高的判断正确率，而且能保证在使用中的实时性。这套系统能够实现正负情绪分类的功能，这套系统并不需要对正负情绪刺激图片进行复杂的图像处理、而只需要以很快速度将图片呈现给用户。

为达到上述目的，本发明提供如下技术方案：

基于人脸识别脑电n170成分的情绪脑机接口系统，该系统包括：

(1)图片刺激器：通过人脸情绪图片刺激用户，即正负两种情绪刺激图片随机出现在显示屏上；

(2)头表脑电信号采集器：利用置于人体头表的电极，记录大脑在图片刺激后产生的脑电信号，并对其进行放大、模数转换，以数字形式存储在计算机中；

(3)人脸识别特异性波n170检测器：对采集得到的脑电信号进行预处理，从中提取与人脸正负情绪图片刺激相对应的特异性脑电成分n170；

(4)正负情绪分类器：对正情绪和负情绪特异性n170脑电信号进行分类，建立当前用户正负情绪模型，然后将其转化为控制命令，用于控制情绪音乐的播放；

(5)情绪音乐播放器：通过分类器的结果，将设备转化为控制命令，完成对正负情绪音乐的播放；

(6)情绪调节器：通过与用户的正负情绪模型相匹配，检测出当前用户情绪状态，对其进行相应的情绪调节；

其中，人脸识别特异性波n170检测器包括：

脑电信号预处理模块：对脑电信号进行基线校准、去噪和平滑滤波；

脑电信号特征提取模块：通过配对t检验(pairedt-test)提取出正负情绪差异明显的trail段以及电极，然后采用特征提取窗口提取出带有正负情绪的n170脑电信号；

脑电信号分类模块：采用支持向量机，对正负情绪的n170脑电信号进行分类。

进一步，所述图片刺激器每隔500毫秒，将正负两种情绪刺激图片随机出现显示屏上，每次图片呈现时间为500毫秒；要求用户在正性和负性人脸情绪图片刺激下做出相应的反应，即当人脸情绪图片为正性情绪时，要求用户按下1键，为负性情绪时按下3键。

进一步，所述头表脑电信号采集器包括：

64导neuroscan导联系统，采用的电极安装在n170枕颞部左右两侧；

脑电放大器：采集后的脑电信号经过两次放大，在采集电极端放大一次，随后再经过一次放大的脑电信号通过导线传输，在脑电放大器中进行二次放大。

进一步，所述情绪调节器将当前用户情绪脑电信号与分类器所建立的正负情绪模型进行匹配，检测出当前用户情绪状态，若检测出用户当前情绪较为沮丧，播放正情绪音乐，对其进行相应的情绪调节。

本发明的有益效果在于：本发明提供了一种基于人脸识别带有正负情绪的特异性波的方法，由于这种脑电特异性波的特征比较稳定，因此识别效果高，能够实现高可用性的脑机接口。本发明的潜在应用是为思维正常但有运动功能障碍的人提供一种新对外界环境进行交流与控制的途径，而不需要任何四肢及肌肉的配合与参与。同时还可以用于检测潜在情绪障碍患者，对情绪障碍患者的情绪调节以及对正常人的情绪进行调节。这种人脸情绪特异性波的分类系统巧妙利用了进过多年自然进化的人脑的人脸识别功能，真正实现了人机接合的思想。这套人脸正负情绪分类系统与完全的人工观测受试者相比速度更快且更为精确，能检测出受试者潜在的情绪状态，因为图片现后170毫秒处出现的快波成分比起人的肢体和语言系统出现更早。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为基于p300诱发电位的脑机接口系统构成示意图；

图2为基于稳态视觉诱发电位的脑机接口系统构成示意图；

图3为正负情绪人脸图片刺激的脑电信号n170成分特征；

图4为本发明的系统构成示意图；

图5为图片刺激器工作示意图；(a)为人脸图片刺激；(b)为刺激序列展示；

图6为脑电电极位置示意图；

图7为带有正负情绪的n170成分检测器的程序框图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

本发明基于情绪的人脸识别特异性波，这里所说的脑电特异性成分就是n170认知成分。认知神经科学及电生理的大量研究发现，当给人以人脸图片的刺激时，只要人的认知系统是无损的，就可以在人的枕部头皮上记录到特征明显的特异性脑电成分。这个成分出现在人看到人脸刺激后的170毫秒左右，表现为一个波幅较大的负峰值，且其峰值明显大于物体图片刺激，这个子波成分称为脑电中的n170成分，n表示负波(negtive)，170表示负波的峰值出现在刺激后170毫秒附近。图3显示了人在注视人脸正情绪和负情绪图片时脑电信号中的差异。

本发明所涉及的系统工作原理如下：将人脸正负情绪图片随机呈现给用户，并同时记录下用户的头皮脑电，通过提取带有正负情绪的脑电n170成分，采用支持向量机对正负情绪脑电信号进行分类，分别得到该用户的正情绪和负情绪模型，然后再转化为控制命令，用于控制正负情绪音乐的播放；另一方面，将某一时刻用户情绪脑电信号与分类器所建立的正负情绪模型进行模式匹配，检测出当前用户情绪状态，若检测出用户当前情绪较为沮丧，播放正情绪音乐，对其进行相应的情绪调节。

图4为基于人脸识别n170成分的情绪脑机接口系统示意图。

(1)图片刺激器

图片刺激器呈现出正负情绪的人脸图片，人脑的工作状态被头表脑电采集器采集，经n170检测器处理分析，再通过支持向量对正负情绪n170信号进行分类，转换为控制指令。系统中的图片刺激器如图5所示，随机呈现正中负情绪人脸图片刺激，每张图片呈现时间为500毫秒。(a)为人脸图片刺激；(b)为刺激序列展示；

(2)头表脑电信号采集器

头表脑电信号采集器的作用采集能反映用户大脑工作状态的脑电信号。电极能检测出头皮表面的电位，但在头皮不同位置，头皮电极采集的多通道脑电信号有较大的差异，为了在特定的头皮电极位置采集最为明显的n170脑电成分，需要合理在头皮上合理分布电极。由于基于人脸情绪刺激的n170成分在大脑枕颞叶部位电极最为明显，在系统实现中，采集电极位置p7、p5、p3、p8、p6、p4、po3、po5、po7、po8、po4的脑电信号作为脑电放大器的输入信号，电极分布如图6所示；

将观察不同情绪的图片刺激下的用户脑电信号记录下来，并将微弱的脑电信号放大，采集的脑电信号经过两次放大，在采集电极端即有一次放大，随后经过一次放大的脑电信号通过导线传输，经过再次放大；其进行模数转换，最终输入到计算机或其他信号处理装置。具体技术参数要求：电极与使用者头皮之间的接触电阻控制在50kω以下为宜，放大器增益要求达到3000倍以上，带宽为50赫兹以上，模数转换的数字化采样率一般设为250赫兹左右。

(3)人脸识别特异性波n170检测器

经过放大后的脑电信号被送入计算机后，进行n170检测器的处理分析。这个模块的功能是检测并提取出含有正负情绪脑电信号中的n170成分。人脸识别特异性波n170检测模块的主要包括：脑电信号预处理、情绪脑电信号n170特征检测与提取，如图7所示。

检测模块分析的脑电信号是图片刺激前50采样点到图片刺激出现后250采样点之间的共300采样点的脑电信号(采样率为250hz)。脑电信号预处理主要是克服头皮采集的脑电信号信噪比很低的问题，脑电信号非常微弱，通常在提取过程中会引入干扰，因此在进行分析前必须对其进行降噪声等预处理。基线校正的处理方法是将每个图片刺激诱发的脑电信号减去该图片刺激出现前50毫秒到图片刺激出现采集到的脑电信号均值。数字滤波采用filtfilt零相移数字滤波器，滤波器为0.1-40hz的带通滤波器。采用数字滤波技术，主要是去除的高频噪声以及50赫兹的工频干扰。

脑电信号特征提取首先采用的是配对t检验(pairedt-test)提取出正负情绪差异明显的trail段以及电极，然后采用特征提取窗口提取出带有正负情绪的n170脑电信号。

(4)正负情绪分类器。对正情绪和负情绪特异性n170脑电信号进行分类，“1”表示正情绪(阳性)，“-1”表示负情绪(阴性)，然后建立当前用户正负情绪模型；

(5)情绪音乐播放器，将用户情绪的主观意图，“1”表示正情绪(阳性)，“-1”表示负情绪(阴性)，与分类器所建立的正负情绪模型进行模式匹配，若与正情绪模型匹配度高一些，则完成的是对正情绪音乐的播放，反之则表示用户希望完成对负情绪的播放；

(6)情绪调节器，通过与分类器所建立的正负情绪模型进行模式匹配，检测出当前用户情绪状态，若检测出用户当前情绪较为沮丧，播放正情绪(欢乐、激昂等)音乐，对其进行相应的情绪调节。

如果被试想要播放欢乐的音乐，要求其回想一些美好的回忆，然后通过记录其eeg，进行模式识别匹配，转化为设备指令，完成对正情绪音乐的播放；反之，若要播放悲伤的音乐，被试回忆一些悲伤的画面，记录其eeg，进行模式识别匹配，转化为设备指令，完成对负情绪音乐的播放。

被试还可以进入情绪治疗模块：检测用户当前情绪状态，通过采集其脑电信号，进行情绪分类，识别出当前用户的情绪状态，对用户进行音乐情绪调节。

相比于传统的p300脑机接口，n170作为早期的脑电信号处理成分，更有利于情绪脑机接口实时性研究。n170作为枕颞部位面孔识别时的较大的负波，之前的研究主要是用于区分面孔和非面孔的脑机接口研究，本发明将n170特异波成功用于情绪识别脑机接口。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。