视听双模态语义匹配和语义失配协同刺激脑机接口方法与流程

本发明涉及脑机接口(BCI)范式，具体讲,涉及基于视听双模态语义匹配与语义失配协同方法的脑机接口。

背景技术：

脑-机接口(BCI)是一种新型的交互方式，可以不通过肢体或者外围神经肌肉便可以实现人与电脑或者其他机器设备的交互，最终使“思想”变成“行动”。在目前BCI系统的研究和应用中，人们普遍认为基于事件相关电位(ERP)的BCI系统(ERP-BCI)是较为高效和稳定的。在ERP-BCI系统中，用户可以通过对视觉、听觉等刺激的选择性注意来实现对目标字符或任务的选择。

目前针对视听觉信息的ERP-BCI系统多是针对单一模态的研究，其研究方案有限，系统效率也很难再提高。视听多模态信息研究存在的问题是，基于视听信息的BCI系统无法体现视听双模态信息的优越性，且目前研究所得到的结论并不一致，同时缺乏脑机接口应用下合理的大脑响应机制。神经心理学的研究发现大脑对“视觉+听觉”双模态的刺激相较于单模态刺激(视觉或听觉)具有更强的响应特性，并且受试者对视觉刺激的反应要强于对听觉刺激的反应。然而，实际应用的BCI研究指出视觉相关的双模态刺激相较于单独的视觉刺激并不存在显著性差别。目前，BCI中视觉相关的双模态刺激与单独的视觉刺激所诱发产生的事件相关电位(Event-Related Potential，ERP)具有的差别也并不明显，相对于视、听单模态的刺激范式，视听双模态刺激的BCI系统并没有体现出优越性。如何在BCI系统的应用中体现视听觉双模态范式的优越性是亟待解决的问题。

优化基于视听双模态的BCI系统需要深入理解大脑对多模态信息的获取和处理的机制。视觉与听觉信息之间存在着协同关系。这种关系属于多感觉信息之间的整合，这种整合对于人类的感觉、认知和记忆都具有重要作用。协同关系是表示当视、听觉信息所代表含义相同，大脑对视听觉融合信息进行响应时的双模态信息之间的关系，这时候的大脑响应机制简称为“协同机制”。因此可以考虑多角度地来研究大脑对视听觉信息响应的协同机制，从而改善BCI系统的刺激范式，使得基于视听觉多模态信息的BCI系统取得重大突破。

技术实现要素：

为克服现有技术的不足，本发明旨在提出一种新的BCI视听觉双模态刺激范式，为研究在脑-机接口范式下大脑对视听觉协同关系的响应机制奠定基础。从而可以有助于更深层次理解大脑对视听刺激的反应机制及完善视听双模态脑-机接口系统，并有望获得可观的社会效益和经济效益。本发明采用的技术方案是，视听双模态语义匹配和语义失配协同刺激脑机接口方法，采集不同刺激范式下的行为学数据和脑电信号，通过对行为学数据分析、脑电信号特征的提取和分析、不同范式下目标刺激与非目标刺激的分类等实现脑控命令的输出。

视听双模态语义匹配和语义失配协同刺激范式中视觉刺激分为两种，一种是不同颜色的大写字母，称为“语音相关”刺激方式；另一种视觉刺激为不同颜色不同形状的几何图形呈现，称为“语音无关”刺激方式；听觉刺激拟统一选取对应的单音节语音刺激；

视觉刺激通过电脑显示器呈现在屏幕的中央位置，听觉刺激则通过耳机输出到左右双耳，被试需要同时注意视觉刺激与听觉刺激，数据的采集过程包括对行为学数据的采集和对脑电数据的采集。在不进行脑电采集的情况下需要对视觉和听觉目标刺激进行按键反应，以采集被试的分类正确率和反应时间等特征。脑电信号采集时通过64导脑电采集系统采集被试进行视听双模态各范式下的脑电信号；

行为学数据包括被试按键反应数据和被试任务相关量表主观打分，按键反应主要由Eprime软件采集，主观量表打分则以问卷形式提供。

1)行为学数据分析具体是：

行为学数据分析主要包括对被试反应正确率，反应时和量表评分的统计分析，其中包括对多名被试的叠加平均，方差分析，从而可以得出被试在不同的实验范式或者实验参数下的反应速度、反应精度、主观意愿；

2)脑电信号特征的提取和分析包括VAERP的时-空域特征提取，具体是：

在对视听双模态事件相关电位VAERP信号进行特征提取之前需对采集到的原始脑电信号进行预处理，其预处理过程主要包括：变参考电极，滤波，降维，去伪迹，数据分段，基线校正；

VAERP的时域特征是指在整个选取的时间段某一导联的波形特征，而VAERP空间域特征则指的是某一时刻VAERP信号在头皮各导联的分布情况，则待分析的数据为其中k是指第k个刺激呈现，M为导联的个数，T为采样点个数；为了减少特征的维度，选取几个特定时间间隔内的特征进行叠加平均，并以均值来代表这个时间段内的特征值，并将选定导联在这些时刻的均值总体作为待分类信号的总特征；

选定的导联组为集合C，选定的所有I段时间间隔为T＝<Tm>m＝1,…,I，其中Tm表示第m段时间间隔，用t代表选取的时间间隔内的采样点时刻，定义时-空特性为

在选定时间间隔时，使用的可分性算法为带符号的R²算法，逐一时刻的目标刺激与非目标刺激的相关系数r-value为：

带符号的R²定义为sgn R²：＝sign(r)·r²，其中μ1表示属于目标刺激样本数据的均值，μ2表示属于非目标刺激样本数据的均值，N1表示属于目标刺激的样本数，N2表示属于非目标刺激的样本数，σ表示所有样本的标准差；

将各导联各时段的可分性进行比较选取R²在某一范围内的数个时间段和导联组合，由于在选定的时间段内的数据将会平均而得到这一时段的平均值，在选取时间段时，应尽量选取空间模式相对稳定的时间段，从而得到降维的VAERP时-空域特征。

3)目标刺激与非目标刺激的分类包括基于VAERP特征的分类，具体是：

二分类的线性分类函数将输入数据即时空域特征X(C,T)简写为x，用对应的w^Tx+b的符号来作为分类标准，如下所示：

其中表示第一类均值的估计，表示第二类均值的估计，为两类之间的期望协方差矩阵的均值，即公共协方差矩阵的估计，为避免有限数据点的高维数据给这一估计带来的误差，利用收缩算法作为修正算法来补偿估计的协方差矩阵系统性偏差：

使为n个特征向量，d为特征空间的维度，且

其中和为均值和协方差矩阵的无偏估计量。为了抵消估计误差，由以下量来代替。

其中γ∈[0，1]为收缩参数,并且ν为矩阵在特征空间维度的特征值的平均值即其中d为特征空间的维度，用(xk)i和分别表示向量xk和的第i个元素，并用sij表示矩阵的第i行，第j列的数据，中间量zij可以表示为：

则收缩参数为：

根据特征提取阶段所获得的VAERP信号的时-空域特征利用改进的线性分类器算法训练分类器并对之后的输入特征进行分类，最终实现脑控命令的输出。

本发明的特点及有益效果是：

神经心理学的研究表明视听双模态刺激范式具有幅值高，响应大，反应速度快的特性，然而在脑机接口的应用中，视听双通道的刺激并未完全体现出上述优势。通过设计视听语义匹配与语义失配的视听协同刺激范式，可以研究语义匹配与失配对大脑响应特性及BCI系统性能的影响，从而研究大脑对视听双模态交互刺激的协同机制，对进一步设计合理的BCI范式并提高脑-机接口效率有重要的意义。

附图说明：

图1技术路线示意图。

图2视听双模态刺激语义匹配和失配协同机制示意图。

图3为本发明所用脑机接口范式实验结构示意图。

具体实施方式

本发明提出了一种基于视听双模态语义匹配与失配协同机制的脑机接口(BCI)范式。协同关系是表示当视、听觉信息所代表含义相同，大脑对视听觉融合信息进行响应时的双模态信息之间的关系，这时候的大脑响应机制简称为“协同机制”。本发明通过将传统的单一模态刺激方式转变成有视觉和听觉同时刺激的双模态刺激方式，从而诱发出相应的视听双模态事件相关电位信号(VAERP)，通过对VAERP特征的提取和分类可以实现脑控命令的输出。该设计有助于研究视听双模态在不同刺激范式下的协同机制。

本发明在充分考察分析国内外研究现状和发展动态以及在开展了相应前期预实验研究的基础上，提出了不同视听双模态的协同实验范式，从而为视听双模态认知信息的交互协同机制及未来基于视听觉信息的BCI系统的范式设计和参数设置提供理论基础。

本发明采用的技术方案为:设计视听双模态语义匹配和语义失配协同刺激范式，采集不同刺激范式下的行为学数据和脑电信号，通过对行为学数据分析、脑电信号特征的提取和分析、不同范式下目标刺激与非目标刺激的分类等实现脑控命令的输出。并为进一步构建大脑对视听双模态刺激的协同相应机制奠定基础。图1为本发明方法的技术方案示意图。

1.1实验范式设计

本设计中拟使用的视觉刺激分为两种，一种是四个不同颜色的大写字母，如：‘A’，‘B’，‘C’，‘D’，称为“语音相关”刺激方式；另一种视觉刺激为四种不同颜色不同形状的几何图形呈现如图所示，称为“语音无关”刺激方式。听觉刺激拟统一选取对应的单音节语音刺激即：‘ei’，‘bi’，‘ci’，‘di’的发音。

视觉、听觉刺激的呈现方式为成对呈现。每一类型的视觉刺激与听觉刺激一一对应，视觉目标刺激呈现时对应的听觉目标也相应呈现。项目首先通过视觉刺激的选取可以实现语义匹配和语义失配的实验范式，实现方式如图2所示。

1.2数据采集过程

图3为本发明所用脑机接口范式实验结构示意图。视觉刺激通过电脑显示器呈现在屏幕的中央位置，听觉刺激则通过耳机输出到左右双耳。被试需要同时注意视觉刺激与听觉刺激。数据的采集过程包括对行为学数据的采集和对脑电数据的采集。在不进行脑电采集的情况下需要对视觉和听觉目标刺激进行按键反应，以采集被试的分类正确率和反应时间等特征。另外，还需要被试填写与任务相关的主观量表。脑电信号采集时通过64导脑电采集系统，采集被试进行视听双模态各范式下的脑电信号。

行为学数据包括被试按键反应数据和被试任务相关量表主观打分。按键反应主要由Eprime软件采集，主观量表打分则以问卷形式提供。

本发明使用Neuroscan公司的Scan4.5数字采集系统采集64导联脑电数据。实验所用电极均为Ag/AgCl电极；以鼻尖作为参考电极，脑电采样频率为1000Hz，滤波通带为0.5～100Hz，并采用50Hz陷波器去除工频干扰。

1.3特征提取与分类

1)行为学数据分析

行为学数据分析主要包括对被试反应正确率，反应时和量表评分的统计分析。其中包括对多名被试的叠加平均，方差分析等，从而可以得出被试在不同的实验范式或者实验参数下的反应速度、反应精度、主观意愿等。

2)VAERP的时-空域特征提取

在对视听双模态事件相关电位(VAERP)信号进行特征提取之前需对采集到的原始脑电信号进行预处理。其预处理过程主要包括：变参考电极，滤波，降维，去伪迹，数据分段，基线校正。该部分的处理可以利用EEGLAB工具箱完成。

VAERP信号的特征主要包含时域特征与空间域特征。VAERP的时域特征是指在整个选取的时间段某一导联的波形特征，而空间域特征则指的是某一时刻VAERP信号在头皮各导联的分布情况。则待分析的数据为其中k是指第p个刺激呈现，M为导联的个数，N为采样点个数。为了减少特征的维度，本发明将选取几个特定时间间隔内的特征进行叠加平均，并以均值来代表这个时间段内的特征值，并将选定导联在这些时刻的均值总体作为待分类信号的总特征，从而可以达到减少特征维度的作用。

选定的导联组为集合C，选定的所有I段时间间隔为T＝<Tm>m＝1,…,I，其中Tm表示第m段时间间隔。用t代表选取的时间间隔内的采样点时刻。可以定义时-空特性为

在选定时间间隔时，使用的可分性算法为带符号的R²算法(signed-r²-value)。逐一时刻的目标刺激与非目标刺激的相关系数(r-value)为：

带符号的R²定义为sgn R²：＝sign(r)·r²。其中μ1表示属于目标刺激样本数据的均值，μ2表示属于非目标刺激样本数据的均值，N1表示属于目标刺激的样本数，N2表示属于非目标刺激的样本数，σ表示所有样本的标准差。将各导联各时段的可分性进行比较选取sgn R²在某一范围内的数个时间段，导联组作为选定的导联组合和时间段组合。由于在选定的时间段内的数据将会平均得到这一时段的平均值，在选取时间段时，应尽量选取空间模式相对稳定的时间段。从而可以得到降维的VAERP时-空域特征。

3)基于VAERP特征的分类

二分类的线性分类函数将输入数据(即时空域特征)X(C,T)简写为x，可以用对应的w^Tx+b的符号来作为分类标准。如下所示：

其中表示第一类均值的估计，表示第二类均值的估计，为两类之间的期望协方差矩阵的均值，即公共协方差矩阵的估计。为避免有限数据点的高维数据给这一估计带来的误差，通常利用收缩算法作为修正算法来补偿估计的协方差矩阵系统性偏差。

使为n个特征向量，d为特征空间的维度，且

其中和为均值和协方差矩阵的无偏估计量。为了抵消估计误差，由以下量来代替。

其中γ∈[0，1]为收缩参数,并且ν为矩阵在特征空间维度的特征值的平均值即其中d为特征空间的维度。用(xk)i和分别表示向量xk和的第i个元素，并用sij表示矩阵的第i行，第j列的数据。中间量zij可以表示为：

则收缩参数为：

根据特征提取阶段所获得的VAERP信号的时-空域特征利用改进的线性分类器算法(sLDA算法)训练分类器并对之后的输入特征进行分类，最终可以实现脑控命令的输出。

本发明提出了一种基于视听语义匹配与语义失配协同关系的双模态脑接机口(BCI)范式。该项发明可以用于充分利用视听双模态刺激的优势完善脑-机接口系统，并进一步用于康复医疗、航天航空、生活娱乐等领域，有望获得可观的社会效益和经济效益。