一种基于脑电信号的驾驶员辅助人车交互系统的制作方法
【专利摘要】本发明涉及一种利用脑电信号(EEG)进行控制的辅助驾驶员的人车交互系统及其相关计算方法。人-车辆系统中人的任务分为驾驶任务(车道保持及危险监控等)和非驾驶任务(与驾驶任务无直接关系的车载装置的开关等，比如空调的开关，音乐播放器的开关等)。本发明目的在于实现非驾驶任务当中驾驶员与车辆之间的一种新型交互模式。运用本发明的方法，驾驶员不再用肢体进行非驾驶任务，而是用大脑。驾驶员只需要按照自己的需求进行对应的任务，然后系统对相应的脑电信息进行处理分析，读取驾驶员的需求，进而实现非驾驶任务的执行，实现一种新型人车交互模式。本发明属于车辆设计领域、人机交互科学、认知神经科学和自动控制领域的综合应用。
【专利说明】一种基于脑电信号的驾驶员辅助人车交互系统
【技术领域】
[0001] 本发明涉及一种利用脑电信号进行控制的驾驶员辅助人车交互系统。具体的来 说，利用脑电信号采用并行模式进行非驾驶任务的检测与是否执行此任务的检测，然后由 车载装置执行非驾驶任务。具体的，利用在脑-机接口当中普遍应用的P300电位进行非驾 驶任务的检测，利用稳态视觉诱发电位（SSVEP)来进行是否执行此任务的检测。P300电位 涉及脑电信号的时域信息，稳态视觉诱发电位（SSVEP)涉及脑电信号当中的频域信息，故 而，进行并行处理是可行的。本发明提出的方法不需要驾驶员有任何与非驾驶任务相关的 肢体运动或语言，只需要驾驶员进行相应的脑-机接口任务，通过系统对对应脑电信号进 行分析，实现非驾驶任务当中人与车辆的新型交互模式。本发明属于车辆设计领域、人机交 互科学、认知神经科学和自动控制领域的综合应用。
【背景技术】
[0002] 在人-车辆系统当中，人的任务通常包含各种各样的驾驶任务和非驾驶任务。驾 驶任务主要是指车道的保持和道路危险的监控，非驾驶任务通常包括各种车载装置的使用 以及在车内环境当中出现的与驾驶任务无直接相关的任务。针对非驾驶任务，目前，人车交 互系统包括语音识别系统、姿势识别系统、眼动识别系统等。脑-机接口是一种在人脑和外 部设备之间建立直接联系的不依赖外围神经和肌肉组织的信息交流系统，人可以通过大脑 直接和外部设备进行信息的交流并且直接控制外部设备。脑-机接口技术为人车交互系统 提供一种新的交互模式可能。脑电信号是大脑神经系统中所有神经元的电活动的总和，是 脑-机接口技术中对人脑进行意向识别的载体和媒介。脑-机接口通过对脑电信号的提取、 处理和识别将脑电信号"翻译"成人的命令，实现人对外部设备的控制。目前，常用的脑电 信号有P300电位和稳态视觉诱发电位。
[0003] P300电位是事件相关电位的一个成分，是人受到与事件相关的刺激源的刺激而产 生"surprise"时，在之后约300ms的时间，脑电信号会出现一个正电位的波峰。如果能够 识别出这个正电位的波峰，那么就能够确定相应的刺激，进而获知人的意图。基于P300的 脑-机接口一个重要的优点是使用者无需经过复杂的训练，就能够获得较高的准确率。稳 态视觉诱发电位（SSVEP)是诱发电位（VEP)的一种，当人盯着以一定频率持续闪烁的刺激 时，大脑就会产生与刺激频率相同或成谐振关系的脑电信号，尤其是在大脑枕部和顶部。如 果能够识别出来具有此特征的脑电信号，那么就可以判断人是否盯了刺激界面，进而读取 人的意图。
[0004] 基于脑电信号的人机交互系统就是利用脑-机接口的相关技术，利用脑电信号读 取人的意图，从而实现对车载装置的控制。实现此种新型的人车交互模式，是本发明的主要 目的。
【发明内容】
[0005] 根据本发明要求，提供一种基于脑电信号的驾驶员辅助人车交互系统，包括刺激 显示子系统、脑电采集子系统、脑电信息处理子系统，结果输出子系统，车载装置子系统；其 中，刺激显示子系统应用LCD(或CRT/HUD)对驾驶员进行视觉刺激来诱发对应的脑电信息； 脑电采集子系统进行脑电信息的实时采集并且进行信号放大和模数转换，然后把脑电信息 传输给脑电信息处理子系统；脑电信息处理子系统接收脑电信息并且对其进行处理；结果 输出子系统按照脑电信息处理子系统的检测结果对驾驶员的意图进行判断并输出最终结 果；车载装置系统进行命令的接收并执行相应的非驾驶任务。
[0006] -种基于脑电信号的驾驶员辅助人车交互系统方法，所述方法包括：步骤1，将诱 发P300电位的视觉刺激和诱发SSVEP稳态视觉诱发电位的视觉刺激以LCD (或CRT/HUD等） 显示方式提供给驾驶员；步骤2,实时采集驾驶员脑电信息并且进行信号放大和模数转换； 步骤3,脑电信息处理子系统接收驾驶员脑电信息，并且对脑电信息进行处理，判断驾驶员 是否希望执行非驾驶任务，同时判断驾驶员进行的非驾驶任务；步骤4,结果输出子系统根 据脑电信息处理子系统判断的结果来确定最后的输出；步骤5,车载装置系统接受命令并 执行相应的非驾驶任务。
[0007] 所述，视觉刺激子系统包括诱发P300电位的刺激界面和诱发SSVEP稳态视觉诱发 电位的刺激界面。所述，诱发P300电位的刺激界面由3*2字符矩阵组成，矩阵中每一个字 符代表相应的非驾驶任务。所述诱发SSVEP稳态视觉诱发电位的刺激界面由左右两个举行 棋盘格组成，每个矩形由30*10个小方块（每个方块为20像素*20像素）组成。所述视觉 刺激子系统通过IXD (或CRT/HUD等）展示给驾驶员。
[0008] 所述，脑电采集子系统通过置于头皮上的脑电电极采集脑电信号，并通过脑电放 大器放大并输出待处理的脑电信号。
[0009] 所述，步骤3包括：步骤31，对采集到的原始脑电信息进行处理，判断驾驶员是否 注视SSVEP刺激界面，以此确定驾驶员是否愿意执行非驾驶任务；步骤32,对采集到的原始 脑电信息进行处理，判断驾驶员选择的是P300刺激界面中六个目标中的某一个，以此来确 定驾驶员执行了某一项非驾驶任务。
[0010] 所述，步骤4详细阐述为：如果脑电信息处理子系统判断的结果是驾驶员希望执 行非驾驶任务，那么输出驾驶员执行的非驾驶任务；如果脑电信息处理子系统判断的结果 是驾驶员不希望执行非驾驶任务，那么不输出驾驶员执行的非驾驶任务，车辆保持原来的 状态。
[0011] 所述，步骤31包括：步骤311，对脑电信号进行快速傅里叶变换，得到其功率谱信 息，提取以13Hz为中心的相对功率谱平均密度作为SSVEP特征；步骤312,利用离线选定的 阈值进行分类，从而获得SSVEP刺激界面下的驾驶员的意图，确定驾驶员是否愿意执行非 驾驶任务。
[0012] 所述，步骤32包括：步骤321，对原始脑电信号进行叠加以取出噪声，然后进行滤 波和主成分分析；步骤322,以信号叠加后的时域幅值作为P300电位特征，代入Fisher线 性判别模型进行分类，以判断驾驶员选择的P300刺激界面当中的某个刺激字符。
[0013] 本发明提出一种基于脑电信号的新型的人车交互系统。该系统可应用于与车辆相 关的人车交互设计。
【专利附图】
【附图说明】
[0014] 图1为本发明的工作系统框图；
[0015] 图2为本发明的刺激显示子系统的显示界面；
[0016] 图3为本发明所需要采集的脑电信号对应的通道位置；
[0017] 图4为本发明的脑电信号处理流程示意图；
[0018] 图5为使用者注视SSVEP刺激时脑电信号功率谱图；
[0019] 图6为使用者未注视SSVEP刺激时脑电信号功率谱图；
【具体实施方式】
[0020] 该发明所描述的基于脑电信号的人车交互系统的方法可以广泛应用于驾驶领域 的人车交互系统，同样，也可以根据该发明的基本设备和原理，进一步发展其他的新型的人 车交互系统。
[0021] 本发明的基本原理是当用户需要进行非驾驶任务的时候，不需要用肢体或者语音 等进行操作，而是用大脑。举例来说，如图2所示刺激界面，界面当中的A-F分别代表不同 的非驾驶任务，用来诱发P300电位，两边以固定频率闪烁的棋盘格用来诱发SSVEP视觉稳 态诱发电位。以C为例，例如C代表开启空调的任务，驾驶员要开启空调，那么就需要驾驶 员输出C命令。驾驶员就需要用眼睛盯着区域201，同时用余光，也就是要分配一部分注意 力到字符C上。C每加亮一次，驾驶员就需要在心里计数一次。如此计数两三次，SSVEP稳 态视觉诱发电位和P300电位就可以诱发出来。经脑电采集子系统采集之后，依次经过脑电 信息处理子系统、命令输出子系统的处理，最后开启空调。若是驾驶员需要输出F，那么驾 驶员则需要盯的区域为202。对于其他的非驾驶任务，输出相应的命令，驾驶员需要盯的区 域的确定方法和上文C、F的方法类似，目的是要同时诱发SSVEP稳态视觉诱发电位和P300 电位。
[0022] 下面结合附图和具体实施例对本发明提供的一种基于脑电信号的驾驶员辅助人 车交互系统进行详细描述。
[0023] 同时，在这里做以说明的是，为了使实施例更加详尽，下面的实施例为最佳、优选 实施例，对于一些公知技术本领域技术人员也可采用其他替代方式而进行实施；而且附图 部分仅是为了更具体的描述实施例，而并不旨在对本发明进行具体的限定。
[0024] 本发明涵盖任何在本发明的精髓和范围上做的替代、修改、等效方法以及方案。为 了使公众对本发明有彻底的了解，在以下本发明优选实施例中详细说明了具体的细节，而 对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。另外，为了避免对本 发明的实质造成不必要的混淆，并没有详细说明众所周知的方法、过程、流程、元件和电路 等。
[0025] 在本发明的实施例中，提出了一种基于脑电信号的驾驶员辅助人车交互系统，该 系统包括刺激显示子系统、脑电采集子系统、脑电信息处理子系统，结果输出子系统，车载 装置子系统，具体流程图参考图1。所述，刺激显示子系统包括诱发P300电位的视觉刺激和 诱发SSVEP视觉稳态诱发电位的视觉刺激两种刺激模式，它们以LCD (或CRT/HUD等）显示 方式提供给使用者。
[0026] 所述，刺激显示子系统的刺激界面如图2所示。诱发P300电位的视觉刺激包含了 6个目标刺激，每一个目标刺激代表一个非驾驶任务，诱发SSVEP视觉稳态诱发电位的视觉 刺激包含了 2个相同目标刺激。其中，根据现有的诱发P300电位技术，依据Oddball范式 设计了诱发P300电位的视觉刺激，采用3*2矩阵形式排列，包括了八4、(：、044六个闪烁 字母，每个字母分别对应一个非驾驶任务。根据现有的诱发SSVEP视觉稳态诱发电位技术， 设计诱发SSVEP视觉稳态诱发电位的视觉刺激包括左、右两个闪烁棋盘格（每个都包含了 30*10个小方块）。P300诱发电位视觉刺激分布在刺激界面的中部；SSVEP诱发电位视觉刺 激分布在刺激界面的左部和右部。
[0027] 其中，脑电采集子系统用于采集实时脑电信号并且进行放大和模数转换，之后传 输给脑电信息处理子系统进行处理。P300诱发电位主要产生在大脑的顶部区域，SSVEP诱 发电位主要产生在大脑的枕部区域，因此，根据"10-20国际标准导联"，将脑电采集电极放 置在使用者头部的Cz、Pz、Fz、0z、P3、P4、P7、P8、01、02位置，将参考电极放置在使用者耳 垂上的All、A12位置（各电极位置如图3所示），接地电极接地。
[0028] 所述，通过刺激显示子系统运行视觉诱发刺激，两类刺激会同时闪烁。使用者按照 需求来注视相应的区域。
[0029] 其中，P300诱发电位视觉刺激闪烁规律为：A-F六个字母在每一轮都随机逐个闪 烁，并保证在一轮中每个字母都只闪烁一次，每个字母闪烁持续90ms，两个字母闪烁间隔 10ms，每轮闪烁所需时间为600ms (= (90+10) X 6)。
[0030] 其中，SSVEP诱发电位视觉刺激闪烁规律为：左、右侧SSVEP诱发电位视觉刺激每 秒闪烁13次。
[0031] 所述，脑电信息处理子系统用于接收脑电信号，并且对脑电信号进行处理，判断驾 驶员的意图。对实时采集到的一段脑电信号同时进行两种处理，一种是驾驶员开启空调的 命令检测，一种是驾驶员是否执行开启空调命令的检测。
[0032] 所述，对脑电信息进行的处理包括与P300电位相关的处理和与SSVEP视觉稳态诱 发电位相关的处理，此两种处理并行进行。
[0033] 与P300电位相关的处理包括：步骤1、截取每个刺激发生时为起点，到刺激发生后 512ms时间段内相应通道的脑电数据作为对应该刺激的脑电信号，并进行脑电数据预处理， 包括叠加去噪、滤波和主成分分析；步骤2、预处理完毕之后，提取脑电信号在时域的幅值 叠加作为P300电位特征，代入Fisher线性判别模型进行分类，以判断驾驶员选择的刺激界 面上显示的六个P300目标中的某一个目标。
[0034] 与SSVEP视觉稳态诱发电位相关的处理包括：提取脑电信号，进行快速傅里叶变 换，得到其功率谱信息，然后提取以13Hz为中心的频带的相对功率谱密度作为SSVEP特征； 利用阈值进行分类识别，判断驾驶员注视SSVEP刺激还是没有注视SSVEP刺激。具体的流 程图见图4。
[0035] 其中，步骤1具体如下：
[0036] 1)叠加去噪
[0037] 脑电信号是一种十分微弱地电信号，为了消除随机噪声的影响，并且为了加强 P300电位，把每一个样本各轮对应的脑电信号进行叠加，然后求均值，就可以实现此目的。 P300电位经过很多次的叠加取均值，其值仍然不会有太大变化，而随机噪声，则会减弱很 多，从而，P300电位就会变得更加明显，利于识别。
[0038] 2)滤波去噪
[0039] 由于外界的噪声干扰，加上驾驶员本身的一些眼动干扰和动作干扰等等，脑电信 号进行滤波处理。每一个通道叠加后的脑电信号需要进行带通滤波，以消除低频动作干扰 和眼动干扰，截止频率为〇. 53-15HZ。
[0040] 3)特征提取
[0041] 脑电信号经过叠加去噪和滤波去噪的预处理之后，仍然会有大量的数据，大量的 数据会造成数据冗余，不利于计算和处理。因此，本发明中应用主成分分析方法对脑电信号 进行降维处理，以用尽量少的数据包含尽量多的原始的信息。
[0042] 所述，主成分分析方法的具体计算步骤如下：
[0043] i.标准化变换
【权利要求】
1. 一种基于脑电信号的驾驶员辅助人车交互系统，包括刺激显示子系统、脑电采集子 系统、脑电信息处理子系统，结果输出子系统，车载装置子系统；其中，刺激显示子系统应用 LCD(或CRT/HUD)对驾驶员进行视觉刺激来诱发对应的脑电信息；脑电采集子系统进行脑 电信息的实时采集并且进行信号放大和模数转换，然后把脑电信息传输给脑电信息处理子 系统；脑电信息处理子系统接收脑电信息并对其进行处理，对脑电信息进行的处理包括与 P300电位相关的处理和与SSVEP视觉稳态诱发电位相关的处理，此两种处理并行进行；结 果输出子系统按照脑电信息处理子系统的检测结果对驾驶员的意图进行判断并输出最终 结果；车载装置系统进行命令的接收并执行相应的非驾驶任务。
2. 根据权利要求1所述的基于脑电信号的驾驶员辅助人车交互系统，其中，刺激显示 子系统主要用于诱发脑电信息当中的P300电位和SSVEP稳态视觉诱发电位，其中，诱发 P300电位的视觉刺激和诱发SSVEP稳态视觉诱发电位的视觉刺激分别包含多个目标刺激； 进一步，诱发P300电位的视觉刺激包括分布在刺激界面中部的六个按照随机顺序闪烁的 分别代表六项非驾驶任务的字母；诱发SSVEP稳态视觉诱发电位的视觉刺激包括左、右两 个按照相同频率闪烁的棋盘格，闪烁频率设定为13Hz。
3. 根据权利要求1所述的基于脑电信号的驾驶员辅助人车交互系统，其中，脑电信 息处理子系统对P300电位和SSVEP稳态视觉诱发电位的检测，采用并行形式，即是，检测 SSVEP电位诱发与否的同时还判断驾驶员所选择的P300刺激当中的字符；其中，结果输出 子系统根据从脑电信息处理子系统接收到的两类命令对非驾驶任务的执行与否进行判断。
4. 一种基于脑电信号的驾驶员辅助人车交互系统方法，包括： 步骤1，将诱发P300电位的视觉刺激和诱发SSVEP稳态视觉诱发电位的视觉刺激W LCD (或CRT/HUD等）显示方式提供给驾驶员； 步骤2,实时采集驾驶员脑电信息并且进行信号放大和模数转换； 步骤3,脑电信息处理子系统接收驾驶员脑电信息，并且对脑电信息进行处理，判断驾 驶员是否希望执行非驾驶任务，同时判断驾驶员进行的非驾驶任务； 步骤4,结果输出子系统根据脑电信息处理子系统判断的结果来确定最后的输出； 步骤5,车载装置系统接受命令并执行相应的非驾驶任务。
5. 根据权利要求4所述的基于脑电信号的驾驶员辅助人车交互系统方法，其中，步骤3 包括： 步骤31，对采集到的原始脑电信息进行处理，判断驾驶员是否注视SSVEP刺激界面，W 此确定驾驶员是否愿意执行非驾驶任务； 步骤32,对采集到的原始脑电信息进行处理，判断驾驶员选择的是P300刺激界面中六 个目标中的某一个，W此来确定驾驶员执行了某一项非驾驶任务。
6. 根据权利要求4所述的基于脑电信号的驾驶员辅助人车交互系统方法，其中，步骤4 详细阐述为：如果脑电信息处理子系统判断的结果是驾驶员希望执行非驾驶任务，那么输 出驾驶员执行的非驾驶任务；如果脑电信息处理子系统判断的结果是驾驶员不希望执行非 驾驶任务，那么不输出驾驶员执行的非驾驶任务，车辆保持原来的状态。
7. 根据权利要求5所述的基于脑电信号的驾驶员辅助人车交互系统方法，其中，步骤 31中，该处理的步骤包括： 步骤311，对脑电信号进行快速傅里叶变换，得到其功率谱信息，提取W 13化为中也的 相对功率谱平均密度作为SSVEP特征； 步骤312,利用阔值进行分类，从而确定驾驶员是否愿意执行非驾驶任务。
8. 根据权利要求5所述的基于脑电信号的驾驶员辅助人车交互系统方法，其中，步骤 32进一步包括： 步骤321，对原始脑电信号进行叠加W取出噪声，然后进行滤波和主成分分析； 步骤322, W信号叠加后的时域幅值作为P300电位特征，代入Fisher线性判别模型进 行分类，W判断驾驶员选择的P300刺激界面当中的某个刺激字符。
9. 根据权利要求7所述的基于脑电信号的驾驶员辅助人车交互系统方法，其中： 步骤311中，采用Welch经典谱估计法，提取脑电信号的频谱特征，将频带
12.甜Z-13. 5化的功率谱幅值的平均值除W频带11. OHz-12. 5化和13. 5化-15. 0化的功率 谱幅值的平均值作为W 13Hz为中也的相对功率谱平均密度，W此为特征； 步骤312中，用来自驾驶员注视SSVEP刺激和不注视SSVEP刺激的样本来确定阔值，然 后用实时处理得到的相对功率谱平均密度和阔值比较大小，从而得到判定结果。
10. 根据权利要求8所述的基于脑电信号的驾驶员辅助人车交互系统，其中， 步骤321进一步包括；对包含P300信息的脑电信号进行叠加，然后进行带通滤波，之后 采用主成分分析的方法对样本进行降维处理； 步骤322进一步包括；将得到的样本应用Fisher线性判别方法建立P300判别模型，将 实时的脑电信息带入模型，得值最大的信号被认定为包含P300信息的脑电信号，从而判别 出驾驶员所选择的具体的P300刺激字符。
【文档编号】B60R16/02GK104461007SQ201410804459
【公开日】2015年3月25日 申请日期:2014年12月19日 优先权日:2014年12月19日
【发明者】毕路拯, 连金岭, 何腾欢, 滕腾 申请人:北京理工大学