脑-机接口通信方法及装置、计算机可读存储介质和终端与流程

本发明涉及通讯技术领域，具体涉及脑-机接口通信方法及装置、计算机可读存储介质和终端。

背景技术：

脑-机接口(bci)技术是指不依靠传统的生理输出模式，直接通过测量脑电信号与外部世界进行通信的方式。在现有的脑-机接口技术中，存在多种不同的刺激方式，如屏幕刺激，led刺激等；用于分析的信号主要有：ssvep信号，erp信号(如p300信号)，运动想象信号等。

ssvep信号具有信噪比高，与刺激信号频率关联性强等特点，被广泛应用于脑-机接口研究与设计中。利用ssvep信号，已经实现控制机械臂，脑波打字等应用，为受运动障碍等疾病困扰的残疾人士提供了一种与外界交流的手段。但现阶段的研究中仍然存在目标的识别准确率不高，通信带宽窄、速率低等问题，需要进一步的深化研究，设计新的通信协议。

为了解决现有基于ssvep信号的脑-机接口存在的技术问题，亟需一种新的脑-机接口通信方法。

技术实现要素：

本发明所要解决的技术问题是现有基于ssvep信号的脑-机接口研究中存在的通信带宽窄，速率低等问题。

为了解决上述技术问题，本发明提供了一种脑-机接口通信方法，包括：

根据预设刺激程序显示闪烁刺激及设置于所述闪烁刺激上的空间目标；

采集观测所述空间目标产生的脑电信号，并对所述脑电信号进行频率解码和空间解码，以对观测到的特定闪烁刺激以及所述特定闪烁刺激上的特定空间目标进行判别；

其中，所述预设刺激程序根据频率编码和空间编码联合编制。

优选的是，根据预设刺激程序显示闪烁刺激及设置于所述闪烁刺激上的空间目标步骤包括：

根据频率编码将显示屏幕分为不少于两个的子窗口，每个所述子窗口显示一个以预设频率闪烁的图案，以提供相应频率的闪烁刺激；

根据空间编码在每个所述图案上标注不少于两个的空间目标。

优选的是，采集观测所述空间目标产生的脑电信号包括：

利用预设设备采集观测者观测所述特定闪烁刺激上的特定空间目标产生的脑电信号。

优选的是，对所述脑电信号进行频率解码和空间解码包括：

利用典型相关分析算法对所述脑电信号进行频率解码，确定所述测试者观测到的特定闪烁刺激；

利用典型相关分析算法和训练好的二次判别分析算法对所述脑电信号进行空间解码，确定所述观测者观测到的所述特定闪烁刺激上的特定空间目标。

优选的是，利用典型相关分析算法对所述脑电信号进行频率解码，确定所述测试者观测到的特定闪烁刺激步骤包括：

将多个频率的参考信号与所述脑电信号做典型相关分析得到相关系数组；

将所述相关系数组中最大的相关系数对应的频率作为目标频率；

根据所述目标频率确定所述测试者观测到的所述特定闪烁刺激。

优选的是，利用典型相关分析算法和训练好的二次判别分析算法对所述脑电信号进行空间解码，确定所述观测者观测到的所述特定闪烁刺激上的特定空间目标步骤包括：

将多个频率的参考信号与所述脑电信号做典型相关分析得到线形系数组；

利用训练好的二次判别分析算法对所述线形系数组进行识别，确定所述观测者观测到的所述特定闪烁刺激上的特定空间目标。

优选的是，所述训练好的二次判别分析算法根据如下步骤取得：

根据预设离线刺激程序显示闪烁刺激及设置于所述闪烁刺激上的空间目标；

采集观测根据预设离线刺激程序显示的空间目标产生的离线脑电信号；

将多个频率的参考信号与所述离线脑电信号做典型相关分析，得到离线线形系数组；

将所述离线线形系数组作为所述空间目标的特征构建特征集，将所述预设离线刺激程序对应显示的所有所述空间目标作为目标集，利用所述特征集和所述目标集对二次判别分析算法进行训练，得到训练好的二次判别分析算法。

优选的是，脑-机接口通信方法还包括：

计算确定所述特定闪烁刺激的精确度；

对所述特征集和所述目标集进行留一验证，计算确定所述特定闪烁刺激上的所述特定空间目标的精确度。

优选的是，脑-机接口通信方法还包括：

对判别出的所述特定闪烁刺激以及所述特定闪烁刺激上的所述特定空间目标进行正确性判断。

优选的是，相邻所述闪烁刺激的预设频率相邻的，该种相邻所述闪烁刺激的相位不同。

根据本发明的另一个方面，还提供了一种脑-机接口通信装置，包括相互连接的显示模块和解码模块；

显示模块，根据预设刺激程序显示闪烁刺激及设置于所述闪烁刺激上的空间目标，其中，所述预设刺激程序根据频率编码和空间编码联合编制；

解码模块，采集观测所述空间目标产生的脑电信号，并对所述脑电信号进行频率解码和空间解码，以对观测到的特定闪烁刺激以及所述特定闪烁刺激上的特定空间目标进行判别。

根据本发明的另一个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述脑-机接口通信方法。

根据本发明的另一个方面，还提供了一种终端，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述脑-机接口通信方法。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

应用本发明实施例提供的脑-机接口通信方法，提供了一种更高效的脑-机接口通信技术；具体通过将频率编码和空间编码相结合的新型编码方式，增加有限频率资源所能编码的最大目标个数，提高了通信速率。同时通过对采集到的脑电信号进行频率解码和空间解码，能够对编码的目标进行有效解码。与传统脑-机接口通信方法相比，本发明方法增加的空间目标引入了额外的调制维度，有效地拓宽了通信带宽，增加了通信速率。

本发明的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1示出了本发明实施例一脑-机接口通信方法的流程示意图；

图2示出了本发明实施例一脑-机接口通信方法的逻辑示意图；

图3示出了本发明实施例一脑-机接口通信方法中用于显示闪烁刺激的显示屏幕示意图；

图4示出了本发明实施例二脑-机接口通信装置的结构示意图；

图5示出了本发明实施例四终端的模块示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

实施例一

为解决现有技术中存在的技术问题，本发明实施例提供了一种脑-机接口通信方法。

图1示出了本发明实施例一脑-机接口通信方法的流程示意图；图2示出了本发明实施例一脑-机接口通信方法的逻辑示意图；参考图1和图2，本发明实施例提供了一种脑-机接口通信方法包括如下步骤。

步骤s101，根据预设刺激程序显示闪烁刺激及设置于闪烁刺激上的空间目标。

具体地，编写好预设刺激程序，显示屏根据预先编好的预设刺激程序显示闪烁刺激以及设置于闪烁刺激上的空间目标，以用于观测者进行观测。优选地，预设刺激程序是根据频率编码和空间编码联合编制而成的。更进一步地，根据频率编码将显示屏幕分不少于两个的子窗口，每个子窗口显示一个以预设频率闪烁的图案，以提供相应的闪烁刺激；同时根据空间编码在每个图案上标注不少于两个的目标，作为空间目标，以每个空间目标相对整体的位置提供相应的空间位置刺激。优选地，图案为圆盘状。优选地，相邻闪烁刺激的预设频率相邻的，相邻所述闪烁刺激的相位不同。图3示出了本发明实施例一脑-机接口通信方法中用于显示闪烁刺激的显示屏幕示意图。

需要说明的是，在每个单次实验中，受试者需要注视显示屏上特定图案的特定空间目标，以产生相应的脑电信号。由于不同空间目标相对整体刺激的位置不同，因而其在大脑视觉区域映射的相对位置不同，从而会使引起的脑电信号响应具有不同的空间分布。这种空间分布的不同能够表现在测得的不同脑电信号采集电极上的脑电信号与参考信号的相关程度不同。

步骤s102，采集观测空间目标产生的脑电信号，并对脑电信号进行频率解码和空间解码，以对观测到的特定闪烁刺激以及特定闪烁刺激上的特定空间目标进行判别。

具体地，观测者距离显示屏幕预设距离注视特定闪烁刺激上的特定空间目标，同时利用预设设备采集观测者观测特定闪烁刺激上的特定空间目标产生的脑电信号。更进一步地，预设距离为50cm-100cm，预设设备为脑电信号采集设备。脑电信号采集设备可采用neuroscan公司生产的设备，该设备由电极帽，放大器组成，可以实时采集大脑皮层的电位信号。优选地，脑电信号采集设备中电极的位置分布采用国际上通用的“10-20系统”。在本发明中使用到其中与视觉区紧密联系的21个电极。

预设设备采集到观测者观测空间目标产生的脑电信号后，需对脑电信号进行频率解码和空间解码，以对观测到的特定闪烁刺激以及特定闪烁刺激上的特定空间目标进行判别。具体地，对脑电信号进行频率解码包括：利用典型相关分析算法对脑电信号进行频率解码，确定测试者观测到的特定闪烁刺激。更进一步地，将多个频率的参考信号与脑电信号做典型相关分析得到相关系数组；将相关系数组中最大的相关系数对应的频率作为目标频率；根据目标频率确定测试者观测到的特定闪烁刺激。优选地，参考信号选取频率为对应刺激频率的正余弦信号及其相应的多次谐波。谐波阶数由对采集信号进行频谱分析获得。在本实例中，频谱中对应刺激频率的一到五次谐波均有明显分量，因此参考信号可由已知频率信号的基波到五次谐波组成。(其他实施中，如果所采集到的信号高次谐波分量更少或更多，也可以选择升高或降低参考信号中的谐波阶数)。

对脑电信号进行空间解码包括：将多个频率的参考信号与脑电信号做典型相关分析得到线形系数组；利用训练好的二次判别分析算法对线形系数组进行识别，确定观测者观测到的特定闪烁刺激上的特定空间目标。具体地，为了减少具体实施步骤，线形系数组也可在频率解码过程中获取。具体在频率解码中通过典型相关分析算法得到最大相关系数的同时，还可得到各个通道的线性系数，各个通道的线性系数反映的是各个通道采集到的信号和参考信号的相关程度，即线性系数的值越大，该通道与参考信号的相关性就越强。在本实施例中我们将各个通道的线性系数作为空间权重因子，对空间信息的解码依赖于权重因子完成。

训练好的二次判别分析算法是通过离线实验得来的，具体训练好的二次判别分析算法获取步骤包括：根据预设离线刺激程序显示闪烁刺激及设置于闪烁刺激上的空间目标；采集观测根据预设离线刺激程序显示的空间目标产生的离线脑电信号；

将多个频率的参考信号与离线脑电信号做典型相关分析，得到离线线形系数组；将离线线形系数组作为空间目标的特征构建特征集，将预设离线刺激程序对应显示的所有空间目标作为目标集，利用特征集和目标集对二次判别分析算法进行训练，得到训练好的二次判别分析算法。需要说明的是，预设离线刺激程序的编制过程同预设刺激程序编制过程相同。

需要说明的是，典型相关分析算法是一种分析两组随机变量最大相关程度的统计方法。具体做法是：假设a、b是两个多维随机变量，寻找两组线性系数ωa和ωb。使得u＝ωa^ta、v＝ωb^tb。通过优化ωa和ωb，使得u、v的相关系数最大，其中，u、v表示一维综合变量。则：u、v的相关系数ρ为：

公式(1)描述的问题可以通过拉格朗日乘子法进行求解，可以得到最大的相关系数ρ以及其对应的线性系数ωa和ωb。

步骤s103，对判别出的特定闪烁刺激以及特定闪烁刺激上的特定空间目标进行正确性判断。

具体地，判断观测者观测到的特定闪烁刺激及特定闪烁刺激上的特定空间目标是否为测试者所观测的目标，若是则判断判别正确，并继续进行下一个测试或结束测试，否则清空当前判别结果并重新进行实验。

步骤s104，计算确定特定闪烁刺激的精确度。

具体地，在离线实验中，将多个频率的参考信号与离线脑电信号做典型相关分析得到离线线形系数组的同时，也得到相关系数组；根据相关系数组确定测试者观测到的特定闪烁刺激，并根据得到的特定闪烁刺激直接判断判定的特定闪烁刺激是否正确，并通过多组实现计算确定特定闪烁刺激的精确度。

步骤s105，对特征集和目标集进行留一验证，计算确定特定闪烁刺激上的特定空间目标的精确度。

具体地，由上步骤可知，在离线实验中计算训练好的二次判别分析算法过程中已确定了特征集和目标集，对特征集和目标集进行留一验证，以计算特定闪烁刺激上的特定空间目标的精确度。

为了进一步对本实施例脑-机接口通信方法进行详细的说明，以下通过一个具体脑-机接口通信过程对本实施例方法进行说明。具体该通信方法包括离线实验和在线实验两部分，离线实验和在线实验在如下步骤中进行穿插说明，其中离线实验用于评估我们所提出通信系统的有效性，在线实验用于分析系统信号传输的速率。

步骤s1：根据频率编码方案和空间刺激方案联合编制预设刺激程序，根据预设刺激程序显示闪烁刺激及设置于闪烁刺激上的空间目标。

具体地，频率编码方案包括将显示屏幕分为四个大小相同的子窗口，每个子窗口显示一个圆盘，四个圆盘分别以15hz，16hz，17hz，18hz的频率闪烁。空间刺激方案包括将每个圆盘上上下左右四个位置作为空间目标，以“+”进行显示。本方案中，通过预设刺激程序将四个圆盘共16个空间目标同时呈现。

步骤s2：采集观测空间目标产生的脑电信号，并对脑电信号进行频率解码和空间解码，以对观测到的特定闪烁刺激以及特定闪烁刺激上的特定空间目标进行判别。

采集数据过程包括：观测者佩戴脑电信号采集设备，静坐在距离lcd屏幕前50cm到100cm处，显示屏幕上呈现用于提供刺激的图案，观测者自由选择希望输出的空间目标，并对其进行注视。利用脑电信号采集设备对观测者的脑电信号(ssvep)进行采集，超过1s后，对脑电信号进行频率解码和空间解码。

具体频率解码过程包括：将采集到的多维脑电信号x进行滤波，滤波后的数据记为x1。将x1与参考信号yi做典型相关分析。更进一步地，假设待识别的频率有k个，则

其中，fi表征待识别的频率，i＝1，2，3......k，nh为高次谐波的阶数。

进一步频率判别方程为：

其中，ρi为对应于不同参考信号ri的相关系数。

根据公式(3)输出识别频率fi，根据识别频率fi确定测试者观测到的特定闪烁刺激。

具体空间解码过程包括：在经过频率解码确定了测试者观测到的特定闪烁刺激后，空间解码的过程即为在特定闪烁刺激的基础上确定特定空间目标的过程。在频率解码过程中，根据公式(3)输出识别频率fi的同时，还可输出对应的线性系数wx1。wx1表征了各个电极(数据通道)采集到的实验数据和参考信号的相关程度。利用训练好的二次判别分析算法对线形系数组进行识别，确定观测者观测到的特定闪烁刺激上的特定空间目标。需要说明的是，wx1包含了不同空间位置刺激造成的ssvep信号差别，因此可以作为特征被提取出来进行空间目标的判断。利用训练好的二次判别分析算法对线形系数组进行识别，确定观测者观测到的特定闪烁刺激上的特定空间目标。

具体训练好的二次判别分析算法通过离线实验获取，离线实验包括如下步骤：

根据预设离线刺激程序显示闪烁刺激及设置于闪烁刺激上的空间目标，具体四个圆盘同时出现在屏幕上，红色“+”依此在16个空间位置上出现，观测者注视“+”字中心，进行数据采集。每个单次实验持续13s(包括3s提示，5s刺激和5s休息)，每个位置的实验重复60次，通过脑电信号采集设备获取对应的离线脑电信号。

将离线实验得到的每组离线脑电波信号数据x进行滤波，得到x1；同时分别产生15hz，16hz，17hz，18hz的参考信号，参考信号为y＝{y15hz，y16hz，y17hz，y18hz}；

将x1分别与y的分量利用典型相关分析，得到离线线形系数组；同时将离线线形系数组作为空间目标的特征构建特征集f，将预设离线刺激程序对应显示的所有空间目标作为目标集t。利用f和t进行留一验证对二次判别分析算法进行训练，得到训练后的二次判别分析算法。

具体假设特征集是p维的，共有k个分类目标，第i类目标的先验概率为πi，均值为μi，方差为vari，那么i类目标在特征空间中的分布为：

在观测数据为xob时，后验概率根据后验概率的大小可以对空间目标进行判断。根据后验概率得到的判别方程为：

则空间目标判断可以表达为：

需要说明的是，在离线实验过程中还可直接计算确定特定闪烁刺激的精确度和计算确定特定闪烁刺激上的特定空间目标的精确度。具体在将x1分别与y的分量利用典型相关分析过程中，在得到离线线形系数组的同时还可得到相关系数组，对相关系数组进行频率识别，以计算特定闪烁刺激的精确度。在得到特征集f和目标集t后，通过留一验证的方法计算确定特定闪烁刺激上的特定空间目标的精确度。

需要注意的是，留一验证中测试离线线性系数组数据需要替换为新的权重因子，新的权重因子按如下方式获得：对x1进行频率识别得到频率fi和参考信号y；将x1和y作典型相关分析，提取x1的线性系数：wx，new作为新的权重因子。

步骤s3，对判别出的特定闪烁刺激以及特定闪烁刺激上的特定空间目标进行正确性判断。

具体地，判断观测者观测到的特定闪烁刺激及特定闪烁刺激上的特定空间目标是否为测试者所观测的目标，若是则判断判别正确，并继续进行下一个测试或结束测试，否则清空当前判别结果并重新进行实验。

计算确定特定闪烁刺激的精确度和计算确定特定闪烁刺激上的特定空间目标的精确度过程在离线试验过程中已说明，在此不再对其进行赘述。

应用本发明实施例提供的脑-机接口通信方法，提供了一种更高效的脑-机接口通信技术；具体通过将频率编码和空间编码相结合的新型编码方式，增加有限频率资源所能编码的最大目标个数，提高了通信速率。同时通过对采集到的脑电信号进行频率解码和空间解码，能够对编码的目标进行有效解码。与传统脑-机接口通信方法相比，本发明方法增加的空间目标引入了额外的调制维度，有效地拓宽了通信带宽，增加了通信速率。

实施例二

为解决现有技术中存在的上述技术问题，本发明实施例还提供了一种脑-机接口通信装置。

图4示出了本发明实施例二脑-机接口通信装置的结构示意图；参考图4，本发明实施例提供了一种脑-机接口通信装置，包括相互连接的显示模块和解码模块。

显示模块根据预设刺激程序显示闪烁刺激及设置于闪烁刺激上的空间目标，其中，所述预设刺激程序根据频率编码和空间编码联合编制。

解码模块采集观测所述空间目标产生的脑电信号，并对脑电信号进行频率解码和空间解码，以对观测到的特定闪烁刺激以及特定闪烁刺激上的特定空间目标进行判别。

应用本发明实施例提供的脑-机接口通信装置，提供了一种更高效的脑-机接口通信技术；具体通过将频率编码和空间编码相结合的新型编码方式，增加有限频率资源所能编码的最大目标个数，提高了通信速率。同时通过对采集到的脑电信号进行频率解码和空间解码，能够对编码的目标进行有效解码。与传统脑-机接口通信方法相比，本发明方法增加的空间目标引入了额外的调制维度，有效地拓宽了通信带宽，增加了通信速率。

实施例三

为解决现有技术中存在的上述技术问题，本发明实施例还提供了一种可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时可实现实施例一中脑-机接口通信方法中的所有步骤。

脑-机接口通信方法的具体步骤以及应用本发明实施例提供的计算机可读存储介质获取的有益效果均与实施例一相同，在此不在对其进行赘述。

需要说明的是：存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

实施例四

为解决现有技术中存在的上述技术问题，本发明实施例还提供了一种终端。

图5示出了本发明实施例四终端的模块示意图，参考图5，本实施例终端包括相互连接的处理器及存储器；存储器用于存储计算机程序，处理器用于执行存储器存储的计算机程序，以使终端执行时可实现实施例一中脑-机接口通信方法中的所有步骤。

脑-机接口通信方法的具体步骤以及应用本发明实施例提供的计算机可读存储介质获取的有益效果均与实施例一相同，在此不在对其进行赘述。

需要说明的是，存储器可能包含随机存取存储器(randomaccessmemory，简称ram)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。同理处理器也可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessing，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现场可编程门阵列(fieldprogrammablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。