一种联合递归图和CNN的脑电信号识别方法及系统与流程

本发明属于医疗技术领域，尤其涉及一种联合递归图和cnn的脑电信号识别方法及系统。

背景技术：

目前，业内常用的现有技术是这样的：

脑-机接口(bci)系统通过研究人脑所发出的电流信号在大脑皮层的运作方式，实现人脑在没有外围神经系统支持的情况下，建立与外部环境的直接交互通道。实现这一技术的关键就在于，如何将大脑产生的各种脑电信号利用合理的信号处理算法进行有效识别并分类。

近年以来，人工智能的发展趋势也愈发高涨，比如ibmwaston认知计算，谷歌的alphago围棋机器人等一系列的重大事件，使得越来越多的人投身于人工智能领域，并努力挖掘着人工智能技术所带来的各种可能性。目前来看，人工智能虽然在搜索引擎、智能阅读、计算机视觉、图像分类、机器学习等领域发展迅猛，但是在医疗业方面还存在很大的成长空间。如果人工智能能在医疗健康领域发挥重大作用，那么将极大加快探究类似于癌症等现阶段无法治愈的疾病的过程。近几年来，基于人脑科学的人工智能研发取得了突飞猛进的进展，这将给予人类全新的角度去认识和改造世界。脑-机结合，即从人类的大脑的神经组织中挖掘出有用的信息，并利用这些信息建立一个能与外部环境进行人机交互的模型，而这个模型的建立，需要对人脑的运作有一个清晰的认识，这也是未来人工智能发展至关重要的阶段。

人脑是人类进行所有活动的发令者，理解人脑的功能、结构和作用，探究脑电信号与人类活动之间的联系，形成对人类本身的行为方式、思考方式、意识和语言表达能力等的深层次理解，将是人类认识和了解自身的重要挑战。与此同时，脑-机接口系统的研究和发展，也能极大推动现阶段ai技术和人机交互技术的发展进程。

脑-机接口系统涉及的领域较多，技术层面的难题复杂，问题的解决也有一定难度，但是近几年计算机硬件设备的改进和相关技术的发展，为脑-机接口系统的实现提供了良好的技术支持环境，使得越来越多的研究者和学者投身于脑-机接口系统的研究和开发。对于脑-机接口的研究已经持续多年，人们从各种研究中获得的有关脑-机接口的原理不断积累，使得现阶段对脑-机接口系统的研究不再那么困难。脑-机接口，即在对人类大脑的运作方式有足够理解的基础上，获取大脑所发出的脑电信号，进而使得大脑能够对外部设备进行控制。人脑在其中充当控制者的作用，获取到的脑电信号交由计算机进行处理和解释，以便完成脑-机信号之间的转换，从而实现人机交互。

现有bci系统通过研究大脑皮层的eeg信号在人体进行各种活动时产生的变化特征，实现了人脑对实体设备的直接交互，提升了对人脑的深层次理解。自脑-机接口系统提出以来，该领域在研究人员的探索和实验中获得了很快的发展，也取得了一系列重要研究成果。以某著名的物理学家为代表的脊髓侧索硬化症患者，以及因为事故导致伤残的患者等都是脑-机接口应用的重要对象。他们在一定程度上失去了对人体各个机能的控制，但bci系统有着仅靠人脑就能与实体设备进行直接交互的特点，因此bci系统可以帮助他们将自己脑中所想的信息表达出来或者与外界环境进行直接沟通。

二十世纪，pfurtscheller与guger研发了bci系统，并将bci系统投入实际运用。2015年，haggag与mohamed研制出可以更方便残疾人对假肢进行操作的单通道eeg信号控制设备。手部因意外无法正常活动的病人借助bci系统，直接对手部训练装置进行控制，实现了仅通过人脑控制实体设备就能完成日常活动的康复训练。

然而，现有脑电识别技术中也存在以下问题：

(1)脑电信号信噪比有待提高。

目前的脑-机接口系统研究中，在信号采集阶段，采集到的脑电信号中包含的噪声较多，不能有效保留真实信号，需要寻找更好的预处理技术和更优的去噪算法来提高eeg的信噪比，确保bci系统的可靠性。

(2)系统识别率有待提高。

分类的识别率直接影响着bci系统是否能够有效地回应用户的实时要求，分类准确率和速度越高，bci系统就越能正确地判断用户的实际意图，进而对外围设备发出指令，以达到对外围设备的有效控制。而提高系统的分类精确度，最重要的是在于预处理阶段和特征提取阶段。

(3)硬件技术有待提高。

对于脑电信号的采集，目前主要是采用非植入式进行信号采集，这种方式更容易受到噪声的影响，进而使整个bci系统的精确性有所下降。如果能在信号采集阶段对硬件技术进行改进和提升，进而取得干净的脑电信号，就能降低去噪的复杂度和难度。

(4)系统自适应问题。

系统自适应主要包含两类：一是bci系统是否能够识别不同主体所产生的差异性脑电信号，二是bci系统是否能够识别同一主体在不同时间和空间所产生的差异性脑电信号。bci系统需要提升这两方面的自适应性要求。

综上所述，现有技术存在的问题是：

现有脑电识别技术采集到的脑电信号中包含的噪声较多，不能有效保留真实信号，且系统识别率精度不够，硬件技术不够，且系统存在无法识别不同主体所产生的差异性脑电信号以及无法识别同一主体在不同时间和空间所产生的差异性脑电信号的自适应问题。

解决上述技术问题的难度：

(1)脑电信号的采集有两种方式，植入式与非植入式，植入式需要在大脑皮层植入电极，这种方法会对受试者造成伤害，所以现在主要是采用非植入式进行脑电信号采集，非植入式的采集方法将电极安放在受试者的头皮上进行信号记录，这种方法不会对受试者造成伤害但所采集到的信号容易受到噪声的影响，从而影响整个bci系统的精确性。如何在信号采集阶段对硬件技术如脑电帽、emotiv脑电信号采集仪等进行改进和提升，取得干净的脑电信号，是一个问题。

(2)在进行脑电信号采集时，除了外部因素的影响如周围存在噪声等、也可能会受到受试者本身产生的噪声影响如精神不集中、眨眼等会导致采集到的脑电信号存在伪迹，那么如何从原始信号中提取出能够表征脑电信号的向量，也是脑电信号识别的关键步骤。

(3)由于脑电信号具有非线性、非平稳、随机性的特点，如何对脑电信号进行有效地提取和分析也是影响最终结论的关键所在，目前常用的eeg特征提取方法有时域分析法、频域分析法、时频分析法、非线性分析法、共空间模式法和深度学习方法。

(4)最后是如何解决系统的自适应问题。使得bci系统能够识别不同主体所产生的差异脑电信号以及识别同一主体在不同时间和空间的差异脑电信号。

解决上述技术问题的意义：

(1)bci为人们提供了与外界进行交流和控制的另一种方式，人们可以不通过语言和动作来交流，而是直接通过脑电信号来表达思想、控制设备，这使得那些思维正常但肌肉萎缩的患者能够在一定程度上实现与外部的交流，bci还可以帮助特殊环境作业人员提供辅助控制，如医学手术或特殊环境下的一些特殊要求。

(2)降低噪声对脑电信号的影响，能够提高对于脑电信号分类的识别准确率，分类的识别率直接影响着bci系统是否能够有效地回应用户的实时要求，分类准确率和速度越高，bci系统就越能正确地判断用户的实际意图，进而对外围设备发出指令，以达到对外围设备的有效控制。

(3)提高系统的自适应性能够提高系统的泛化能力，使得系统真实有效地服务用户，并扩大服务的范围。本发明采用的近年兴起的深度学习模型可以在一定程度上提高系统的泛化能力。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种联合递归图和cnn的脑电信号识别方法及系统。

本发明是这样实现的，一种联合递归图和cnn的脑电信号识别方法，所述联合递归图和cnn的脑电信号识别方法具体包括：

将预处理后的脑电信号数据利用经验模态分解将运动想象脑电信号分解为不同尺度的固有模态函数，并计算各个尺度的固有模态分量的多尺度递归图，得到第1级特征。

将重构后的多尺度递归图视为左右手eeg信号的图像特征，并将多尺度递归图特征作为卷积神经网络的输入，利用卷积神经网络(cnn)对图像处理的优势，对递归图进行分类识别，从第1级特征中提取能够更好表述运动想象脑电信号的第2级特征。

进一步，所述联合递归图和cnn的脑电信号识别方法具体包括以下步骤：

步骤一：将采集到的数据集分为训练数据与测试数据，训练数据作为本识别方法的训练样本进行训练，并对数据进行预处理，随后将处理完成的eeg信号进行分类；测试数据将作为本识别方法识别正确率的最终测试，使用训练完成的分类器对测试用数据进行分类并记录结果。

步骤二，为了提高分类正确率，本发明进行了两次特征提取，一是需要对eeg信号进行多尺度滤波处理，利用多尺度递归图提供更简洁、有效的区分特征；二是需要从递归图中进一步提取区分度更高的识别特征。首先将预处理后的脑电信号数据利用经验模态分解将运动想象脑电信号分解为不同尺度的固有模态函数，并计算各个尺度的固有模态分量的多尺度递归图，得到第1级特征。

步骤三，然后将重构后的多尺度递归图视为左右手eeg信号的图像特征，并将多尺度递归图特征作为卷积神经网络的输入，利用卷积神经网络(cnn)对图像处理的优势，对递归图进行分类识别，从第1级特征中提取能够更好表述运动想象脑电信号的第2级特征，并调试卷积神经网络的各个参数，使得神经网络分类器的达到理想的精度。

步骤四，将训练完成的卷积神经网络应用于测试数据，对其进行分类识别；利用递归图法对测试脑电信号数据进行第一级特征提取，然后利用训练完成的卷积神经网络对其递归图进行再一次的特征提取，得出最终分类识别结果。

进一步，步骤一中，所述数据预处理具体包括：

训练数据：对训练脑电数据进行下采样截取，并利用互信息法选择合适的参数，使用ar-csp针对频域和空间域进行滤波处理，随后将处理完成的eeg信号进行分类。

测试数据：对测试脑电数据进行下采样截取，并利用互信息法选择合适的参数，使用ar-csp针对频域和空间域进行滤波处理，随后将处理完成的eeg信号进行分类；使用训练完成的分类器对测试用数据进行分类并记录结果。

进一步，步骤二中，所述经验模态分解具体包括：

(1)在原始信号x(t)上添加白噪声序列n(t)，得到带噪信号s(t)，即：

s(t)＝x(t)+n(t)

其中，n(t)为服从n(0，σ²)的高斯白噪声。

(2)带噪信号s(t)经经验模态分解成一组固有模态分量imf以及残量rc(t)，即：

其中，c为imf分量个数。

(3)步骤(1)和步骤(2)重复m次，且每次填充的白噪声序列幅值都不一样，即：

(4)将m次emd处理生成的imf按层分类后求平均，即为最终imf：

经验模态分解中加入的高斯白噪声公式应为：

式中，ε为高斯白噪声的幅值；n为添加高斯白噪声的次数；εn表示各阶的固有模态分量相加后与原始信号的误差。

进一步，步骤二中，所述利用互信息分析法和cao-liangyue法计算每个固有模态分量的合适的嵌入维数和延迟时间具体包括：

(1)互信息分析法确定延迟时间：

对于时间序列{si}，定义ps(si)为变量si出现的概率，系统的信息熵就是变量si的平均信息量，简称为熵，其定义式如下：

对两组信号{si,qj}，记ps,q(si,qj)为变量si和qj的联合概率分布，则其联合熵计算公式如下：

记[s,q]＝[x(t),x(t+τ)]，那么对于耦合系统(s,q)，若s已知为si，那么q的不确定性为：

其中，pq|s(qj|si)为条件概率。

如果在时刻t，已知x，则x在t+t时刻的不确定性为：

τ依次取不同的时间延迟，计算其互信息：

i(τ)＝h(x)+h(xτ)-h(x,xτ)

(2)cao-liangyue法确定嵌入维数：

若嵌入维数为m，重构相空间中的任意一个向量点i可表示为：

xi＝{x(i),x(i+τ),x(i+2τ),…,x(i+(m-1)τ)}

假设xi的最邻近相点为xj，两点间的欧式距离为：

当嵌入维数变为m+1时，两点的欧式距离为：

定义dm+1与dm的比值为a(i,m)，即：

定义：

进一步，步骤二中，所述递归图分析法具体包括：

假定原始时间序列为{x1,x2,…,xn}，根据takens的嵌入定理，相空间重构后的结果为：

xi＝{xi,xi+τ,…,xi+(m-1)τ}(i＝1,2,…,n)

其中的n＝n-(m-1)τ，τ为延迟时间，m为嵌入维数；则这些向量组中，任意两个向量的距离为：

dij＝‖xi-yj‖

选择阈值r后，根据公式：

rij＝heaviside(r-dij)

求得递归矩阵，其中heaviside函数表示如下：

按照上述公式，根据rij的结果在纵轴和横轴为时间序列个数的坐标平面上画点。

当rij＝1时，表示xi与xj两个向量之间的欧氏距离小于阈值r，系统处于递归状态，平面上对应的位置显示为一个黑点；rij＝0时，表示xi与xj两个向量之间的欧氏距离大于阈值r，系统处于非递归状态，平面上对应的位置显示为一个白点。

进一步，步骤三中，所述神经网络具体包括：

卷积神经网络包含输入层、3个卷积层、3个池化层、flatten层和输出层，且卷积操作后的激活函数为relu，池化操作选择最大池化法，分类器选择sigmoid。

本发明的另一目的在于提供一种联合递归图和cnn的脑电信号识别系统。

本发明的另一目的在于提供一种实现所述联合递归图和cnn的脑电信号识别方法的信息数据处理终端。

本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的联合递归图和cnn的脑电信号识别方法。

综上所述，本发明的优点及积极效果为：

本发明提出的结合多尺度递归图和卷积网络的两级特征提取方法对两类运动想象脑电信号的平均识别率为0.6045，相比于bci竞赛ⅳ中第一名的平均识别率提高了约3.35％，说明本发明的方法对两类运动想象脑电信号能够进行较为有效的分类识别。

本发明提出的基于多尺度递归图和卷积神经网络的两级特征提取法相较于单纯采用多尺度递归图分析法或神经网络法而言，对运动想象脑电信号的总体识别率有所提高，且分类结果与bci竞赛ⅳ中的第一名成绩提高约0.335，同时，对于每个受试者的单体识别率也呈现出略微优势，说明本发明识别率对比结果在一定程度上表明基于多尺度递归图和卷积神经网络的两级特征提取法具有较好的脑电信号识别性。

本发明采用互信息法确定延迟时间结果更为准确。本发明采用relu激活函数，当输入为正数时，不存在梯度饱和的问题，同时计算速度较快。

附图说明

图1是本发明实施例提供的联合递归图和cnn的脑电信号识别方法流程图。

图2是本发明实施例提供的集成经验模态分解算法流程图。

图3是本发明实施例提供的卷积神经网络结构示意图。

图4是本发明实施例提供的脑-机接口的基本组成示意图。

图5是本发明实施例提供的eeg信号采集示意图。

图6是本发明实施例提供的两类运动想象脑电信号分类识别方案示意图。

图7是本发明实施例提供的lenet-5卷积神经网络结构示意图。

图8是本发明实施例提供的权值共享结构图。

图9是本发明实施例提供的池化操作示意图。

图10是本发明实施例提供的各个imf分量的多尺度递归图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现有脑电识别技术采集到的脑电信号中包含的噪声较多，不能有效保留真实信号，且系统识别率精度不够，硬件技术不够，且系统存在无法识别不同主体所产生的差异性脑电信号以及无法识别同一主体在不同时间和空间所产生的差异性脑电信号的自适应问题。

为解决上述问题，下面结合附图对本发明的作详细说明。

本发明实施例提供的联合递归图和cnn的脑电信号识别方法具体包括：

将预处理后的脑电信号数据利用经验模态分解将运动想象脑电信号分解为不同尺度的固有模态函数，并计算各个尺度的固有模态分量的多尺度递归图，得到第1级特征。

将重构后的多尺度递归图视为左右手eeg信号的图像特征，并将多尺度递归图特征作为卷积神经网络的输入，利用卷积神经网络(cnn)对图像处理的优势，对递归图进行分类识别，从第1级特征中提取能够更好表述运动想象脑电信号的第2级特征。

如图1所示，本发明实施例提供的联合递归图和cnn的脑电信号识别方法具体包括以下步骤：

s101，将采集到的数据集分为训练数据与测试数据，并分别对数据进行预处理。

s102，对两类运动想象脑电信号即训练数据与测试数据分别进行经验模态分解，得到不同尺度的固有模态分量；同时利用互信息分析法和cao-liangyue法计算每个固有模态分量的合适的嵌入维数和延迟时间进行空间重构，得到每个固有模态分量的递归图，利用递归图分析法，进行特征提取，得到第1级特征。

s103，将训练数据集的第1级递归图特征作为卷积神经网络的输入进行训练，并调试卷积神经网络的各个参数。

s104，将训练完成的卷积神经网络应用于测试数据，对其进行分类识别；利用递归图法对测试脑电信号数据进行特征提取，利用训练完成的卷积神经网络对其递归图进行再一次的特征提取，得出分类识别结果。

步骤s101中，本发明实施例提供的数据预处理具体包括：

训练数据：对训练脑电数据进行下采样截取，并利用互信息法选择合适的参数，使用ar-csp针对频域和空间域进行滤波处理，随后将处理完成的eeg信号进行分类。

测试数据：对测试脑电数据进行下采样截取，并利用互信息法选择合适的参数，使用ar-csp针对频域和空间域进行滤波处理，随后将处理完成的eeg信号进行分类；使用训练完成的分类器对测试用数据进行分类并记录结果。

如图2所示，步骤s102中，本发明实施例提供的经验模态分解具体包括：

(1)在原始信号x(t)上添加白噪声序列n(t)，得到带噪信号s(t)，即：

s(t)＝x(t)+n(t)

其中，n(t)为服从n(0，σ²)的高斯白噪声。

(2)带噪信号s(t)经经验模态分解成一组固有模态分量imf以及残量rc(t)，即：

其中，c为imf分量个数。

(3)步骤(1)和步骤(2)重复m次，且每次填充的白噪声序列幅值都不一样，即：

(4)将m次emd处理生成的imf按层分类后求平均，即为最终imf：

经验模态分解中加入的高斯白噪声公式应为：

式中，ε为高斯白噪声的幅值；n为添加高斯白噪声的次数；εn表示各阶的固有模态分量相加后与原始信号的误差。

步骤s102中，本发明实施例提供的利用互信息分析法和cao-liangyue法计算每个固有模态分量的合适的嵌入维数和延迟时间具体包括：

(1)互信息分析法确定延迟时间：

对于时间序列{si}，定义ps(si)为变量si出现的概率，系统的信息熵就是变量si的平均信息量，简称为熵，其定义式如下：

对两组信号{si,qj}，记ps,q(si,qj)为变量si和qj的联合概率分布，则其联合熵计算公式如下：

记[s,q]＝[x(t),x(t+τ)]，那么对于耦合系统(s,q)，若s已知为si，那么q的不确定性为：

其中，pq|s(qj|si)为条件概率。

如果在时刻t，已知x，则x在t+t时刻的不确定性为：

τ依次取不同的时间延迟，计算其互信息：

i(τ)＝h(x)+h(xτ)-h(x,xτ)

(2)cao-liangyue法确定嵌入维数：

若嵌入维数为m，重构相空间中的任意一个向量点i可表示为：

xi＝{x(i),x(i+τ),x(i+2τ),…,x(i+(m-1)τ)}

假设xi的最邻近相点为xj，两点间的欧式距离为：

当嵌入维数变为m+1时，两点的欧式距离为：

定义dm+1与dm的比值为a(i,m)，即：

定义：

步骤s102中，本发明实施例提供的递归图分析法具体包括：

假定原始时间序列为{x1,x2,…,xn}，根据takens的嵌入定理，相空间重构后的结果为：

xi＝{xi,xi+τ,…,xi+(m-1)τ}(i＝1,2,…,n)

其中的n＝n-(m-1)τ，τ为延迟时间，m为嵌入维数；则这些向量组中，任意两个向量的距离为：

dij＝‖xi-yj‖

选择阈值r后，根据公式：

rij＝heaviside(r-dij)

求得递归矩阵，其中heaviside函数表示如下：

按照上述公式，根据rij的结果在纵轴和横轴为时间序列个数的坐标平面上画点。

当rij＝1时，表示xi与xj两个向量之间的欧氏距离小于阈值r，系统处于递归状态，平面上对应的位置显示为一个黑点；rij＝0时，表示xi与xj两个向量之间的欧氏距离大于阈值r，系统处于非递归状态，平面上对应的位置显示为一个白点。

如图3所示，步骤s103中，本发明实施例提供的神经网络具体包括：

卷积神经网络包含输入层、3个卷积层、3个池化层、flatten层和输出层，且卷积操作后的激活函数为relu，池化操作选择最大池化法，分类器选择sigmoid。

下面结合具体实施例对本发明作进一步说明。

实施例1：

1、脑-机系统。

1.1脑-机接口系统。

脑-机接口系统涉及的领域较多，技术层面的难题复杂，问题的解决也有一定难度，但是近几年计算机硬件设备的改进和相关技术的发展，为脑-机接口系统的实现提供了良好的技术支持环境，使得越来越多的研究者和学者投身于脑-机接口系统的研究和开发。

1.1.1脑-机接口。

“脑”一词并不仅仅是指人本身的意识或者思想，也代表着地球上所有生物的脑组织结构。而“机”则是表征着所有能够对信息进行计算的外部设备。正是由于两者之间存在某些关联性，即能否使用“机”的信息处理优势来建立与“脑”的直接连接，于是，脑-机接口系统的雏形也随之形成。对于脑-机接口的研究已经持续多年，人们从各种研究中获得的有关脑-机接口的原理不断积累，使得现阶段对脑-机接口系统的研究不再那么困难。脑-机接口，即在对人类大脑的运作方式有足够理解的基础上，获取大脑所发出的脑电信号，进而使得大脑能够对外部设备进行控制。人脑在其中充当控制者的作用，获取到的脑电信号交由计算机进行处理和解释，以便完成脑-机信号之间的转换，从而实现人机交互。

1.1.2脑-机接口的原理和组成。

分析表明，人体神经系统的电流活动会因受外界刺激或者当人脑产生运动意识时而发生变化。神经系统的电流变化在某种程度上表明着人体的肢体或思维变化，可用适当的方式捕捉不断改变的信号作为识别人体运动的特征信号，再根据每类信号不同显示方式的特点，使用计算机来实现将人脑的意识、想法或思维转变成能够驱动实体设备的指令，进而使人脑能够直接与外部设备进行直接交互，实现脑-机接口系统。

图4是脑-机的基本组成框图。脑-机接口系统通过识别大脑皮层中的信号特征，再经过特殊处理后将其转化为计算机能够识别的信号模式交付给计算机进行特征识别和处理。

(1)信号采集。

信号采集主要是从人体大脑皮层所发出的所有活动信号中，筛选出能够表明人脑意愿的特殊信号，并对其进行采集。目前的采集手段主要是电极植入式和非植入式。电极植入式在国际上已经获得较大进展，国外研究人员在很薄的塑料层上放置数根金属电极，并铺上灵敏度较高的电极丝质材料，以便使电极顺利到达大脑区域。这种方式能够很快地对人的大脑皮层所发出的活动信号进行捕捉，同时，也能将反馈信息及时传输给人脑，由于这种优势的存在，使得残疾病人能够以此方式操作各种辅助外部设备。在国内，主要研究的是非植入式，非植入式的特点就是使用头戴式的脑电信号扫描仪对大脑皮层的活动信号进行捕捉。非植入式信号采集法安全性高且操作简单，是bci研究人员所热衷的方法。

(2)信号处理。

1)预处理：主要是过滤噪声，减小噪声对后续脑电信号识别的影响。

2)特征提取：主要使从大脑皮层发出的各种eeg信号中，筛选出能够表征大脑意愿的信号特征，并对这些关键特征使用分类器进行分类识别。

3)特征分类：主要是修改分类器参数，提高分类器识别率，使脑-机接口系统能够分辨出表征各种大脑意愿的eeg信号，并将分辨结果以计算机命令的形式输出。

(3)外围控制设备。

根据计算机对eeg信号的处理结果，实现对外围设备的直接操作。

(4)反馈。

人脑在与实体设备进行交互时，实体设备需要将操控情况反馈给人脑，以便使人脑能够根据反馈的情况实时调节eeg，实现人脑对实体设备的直接交互。

2、运动想象实验数据及预处理。

2.1运动想象脑电实验数据集。

本发明采用的实验数据集来自由奥地利科技大学提供的2008年国际bci竞赛ⅳ中的data-sets2a数据集。该数据的9为实验人(a01～a09)分别进行两类不同的eeg信号运动想象任务，即左手和右手的运动想象任务。单个实验将运动想象任务划分为四个部分：第一个阶段为fixationcross阶段，在实验开始后的前2s中,受试者需保持安静，等待屏幕提示；第二阶段为cue阶段，在2s结束时，屏幕显示左右方向箭头,该箭头持续1s，受试者根据屏幕显示准备进行相应的运动想象任务；第三阶段为motorimagery阶段，第3s开始时，受试者需根据箭头提示进行运动想象任务，持续3s；第四阶段为break阶段，受试者停止运动想象任务，适当放松，同时为下一组实验做准备。每个时间段包含48次单次实验，每类进行12次。在整个实验过程中，系统不间断的对脑电信号进行采集和存储，并将多有数据分为288个训练样本和288个测试样本。

2.2两类运动想象脑电信号识别方案。

两类运动想象脑电信号识别方案如图6所示。

训练模式中，对脑电数据进行下采样截取，并利用互信息法选择合适的参数，之后使用ar-csp针对频域和空间域进行滤波处理，随后将处理完成的eeg信号进行分类，分类过程中，需要调试分类器各个参数，以使结果更具有参考性。

测试模式中，按照训练模式对脑电数据进行预处理，之后使用训练完成的分类器对测试用数据进行分类并记录结果。

3基于emd的脑电信号相空间重构递归图。

3.1经验模态分解原理。

经验模态分解算法的流程图如图2，具体步骤为：

(1)在原始信号x(t)上添加白噪声序列n(t)，得到带噪信号s(t)，即：

s(t)＝x(t)+n(t)#(3.1)

n(t)为服从n(0，σ²)的高斯白噪声。

(2)带噪信号s(t)经经验模态分解成一组固有模态分量imf以及残量rc(t)，即：

其中，c为imf分量个数。

(3)步骤(1)和步骤(2)重复m次，且每次填充的白噪声序列幅值都不一样，即：

(4)将m次emd处理生成的imf按层分类后求平均，即为最终imf：

经验模态分解中加入的高斯白噪声公式应为：

式中，ε为高斯白噪声的幅值；n为添加高斯白噪声的次数；εn表示各阶的固有模态分量相加后与原始信号的误差。当n取100～300时，且ε选择信号标准偏差的0.01～0.5倍时，白噪声误差会降到最低。

3.2相空间重构。

对于一般的时间序列，对其性质的考察主要集中在时域内，而对于一些具有混沌性质的时间序列，由于其运动具有无规则性和离散性，因此，对其性质的考察需要在多维空间中进行。相空间重构则是指建立一维或者多维的时间序列与相空间中的坐标点一一对应的连接，从而利用这些连接挖掘出以常规方法无法获取的特征。而混沌系统中的混沌时间序列是指由混沌系统产生的一维或多维时间序列。假设时间序列是,那么吸引子的结构特性就包含在这个时间序列之中。

20世纪80年代初，packard等人针对时间序列的相空间重构，提出了导数重构法和坐标延迟重构法。这两种方法为当时的相空间重构研究提供了较好的理论参考，使得当时有关相空间重构的理论层出不穷。其中，一些研究人员发现，导数重构法会因为噪声问题使得相空间重构结果不稳定，所以，在之后的研究进程中，很少实验会使用导数重构法。

坐标延迟法公式如下：

y(i)＝{x(i),…,x(i+(d-1)τ)},1≤i≤n-(d-1)τ#(3.6)

其中，d代表嵌入维度，τ代表时间延迟。从公式中可以看出，d维的相空间重构时，需要不断调整时间序列的延时，且时间序列维度需要保持在一定的范围之内。

20世纪80年代初期，takens提出嵌入定理：对于无限长，无噪声的d'维混沌吸引子的一维标量时间序列{x(i):i＝1,…,n}都可以在拓扑不变的意义下找到一个d维的嵌入相空间，只要维数d≥2d'+1即可。

从以上定理可以看出，相空间重构涉及到两个指标：即嵌入维数和延迟时间。而这两个指标都没有在实验中得到验证，且实际的应用当中时间序列都伴随着一定的噪声干扰，因此相空间重构的两个参数需要根据实际情况选取合适的数值。目前来说，对于如何确定这两个指标的说法大体分为两类：一是认为两者之间没有任何关联性，因此，他们选择先根据时间序列的特性确定好延迟时间，随后根据实际情况，选择合适的方法或理论来确定嵌入维数。二是认为两者之间是具有某种关联性的。因此，他们在对相空间进行重构时，会综合考虑延迟时间和嵌入维数，在确定好之后再进行下一步操作。

3.2.1延迟时间的确定。

一方面，如果延迟时间太小，则向量空间

y(i)＝{x(i),…,x(i+(d-1)τ)},1≤i≤n-(d-1)τ#(3.7)

上式中的两个坐标分量x(i+jτ)与x(i+(j+1)τ)会因为近似性而变得难以分辨，从而导致这两个坐标分量不能呈现出合理的独立性；另一方面，当延迟时间太大时，又会导致时间延迟前后两个状态的变化过大，两个坐标分量出现一种完全独立的情况，信息显得十分复杂，导致混沌吸引子表现为分离过度的情况。因此，确定合理的延迟时间，相空间轨道就能在合理的范围内进行分离。

(1)平均位移法

rosensteinmt、collinsjj、delucacj提出了平均位移法(averagedisplacement，ad)来确定时间延迟：

其中m＝n-(m-1)*τ,n为序列长度。

平均位移法由于其特性，会使得延迟时间的确定需要较多的实验数据作为支撑，且结果往往伴有较大误差，因此很少使用

(2)自相关函数法

对于混沌序列x(1),x(2),…,x(n),其自相关函数为：

其中，τ为时间间隔，r(τ)表示两个时刻的相关程度，自相关函数越大，则函数x(i)与延迟时间τ之后的相关性越强。当r(τ)下降到初始值r(0)的(1-e^-1)时，此时的时间τ则可认为使相空间重构的延迟时间。但是holzfussj和mayerkressg认为延迟时间应该取过零点的值。

自相关函数法由于其特性，使其不能有效的推广到高维数据，因此实际操作中也很少使用。

(3)互信息法。

20世纪80年代中期，fraser和swinney提出了互信息法(mutualinformationmethod)。对于时间序列{si}，定义ps(si)为变量si出现的概率，系统的信息熵就是变量si的平均信息量，简称为熵，其定义式如下：

对两组信号{si,qj}，记ps,q(si,qj)为变量si和qj的联合概率分布，则其联合熵计算公式如下：

记[s,q]＝[x(t),x(t+τ)]，那么对于耦合系统(s,q)，若s已知为si，那么q的不确定性为：

其中，pq|s(qj|si)为条件概率。

如果在时刻t，已知x，则x在t+t时刻的不确定性为：

τ依次取不同的时间延迟，计算其互信息：

i(τ)＝h(x)+h(xτ)-h(x,xτ)#(3.14)

互信息法是当前最常使用的方法，虽然此方法对于延迟时间的确定过程较为繁琐，但是将其应用于混沌时间序列上的结果更为准确。

3.2.2嵌入维数的确定。

(1)几何不变量法：

根据takens嵌入理论，在相空间重构中，一部分几何不变量会在相空间维数远大于最小的嵌入维数时，呈现出与嵌入维数完全无关联的特性。根据这个理论，在进行相空间重构时，可以选择能使这些几何不变量不再发生变化的嵌入维数作为重构的相空间维数。

(2)虚假临近点法。

虚假临近点法(falsenearestneighbors，fnn)由kennelmb，brownr，abarbanelhdi于1992年提出的。从几何的观点看，混沌时间序列是高维相空间混沌运动的轨迹在一维空间的投影，在这个投影的过程中，混沌运动的轨迹会被扭曲。高维相空间并不相邻的两个点投影到一维空间上时就会成为相邻的两点，也就是虚假临近点。相空间重构，实际上就是从混沌时间序列中恢复混沌运动的轨迹，随着嵌入维数的增大，混沌运动的轨道就会被打开，虚假临近点就会被逐渐剔除，从而整个混沌运动的轨迹得到恢复，这就是虚假临近点的原理。

若嵌入维数为m，重构相空间中的任意一个向量点i可表示为：

xi＝{x(i),x(i+τ),x(i+2τ),…,x(i+(m-1)τ)}#(3.15)

假设xi的最邻近相点为xj，两点间的欧式距离为：

当嵌入维数变为m+1时，两点的欧式距离为：

如果dm+1与dm差距较大，说明这两个点时虚假临近点。

(3)cao算法

为改进虚假临近点法，caoliangyue教授提出cao算法。cao算法在进行相空间重构的过程中，不需要考虑嵌入维数，具体计算过程如下：

定义dm+1与dm的比值为a(i,m)，即：

其中的dm+1与dm定义如式(3.17)和(3.16)。

定义：

3.3递归图分析。

3.3.1递归图方法。

20世纪40年代初，monk基于生态系统中普遍存在的递归性质理论，通过观察宇宙中的各种现象，挖掘出存在于宇宙各处的递归性。20世纪80年代末，eckmann等人首次提出一种能够将相空间的基本递归特性进行图表化的递归图分析法，该方法以独特的视角展示出了非线性时间序列的结构特性，使得当时对高维相空间的递归特性的研究获得重大突破。其实，对于一些特殊的系统，通常可以使用多维向量对其进行描述，其递归性则可由这些多维向量的距离进行确定，因为系统被多维向量化之后会与相空间中的每个坐标点进行一一对应。但是，这种整体性也使得递归图分析变得复杂。20世纪90年代初期，zbilut与webber提出了递归定量分析方法。该方法对噪声不敏感，而且只需要信号具有分段平稳性即可。

目前，有关递归图的理论已经有很多，这也推进了该方法在实际生活方面的应用进程。2006年，yan利用递归图方法来分析声音序列的动力学特性。chen和yang利用递归图实现对心肌梗塞疾病的识别分类。nguyen等人利用递归图分析婴儿的呼吸信号，实现对信号数据的相同步分析。上诉例子表明着递归图方法可以有效提高bci系统的发展进程。

3.3.2递归图。

假定原始时间序列为{x1,x2,…,xn}，根据takens的嵌入定理，相空间重构后的结果为：

xi＝{xi,xi+τ,…,xi+(m-1)τ}(i＝1,2,…,n)#(3.21)

其中的n＝n-(m-1)τ，τ为延迟时间，m为嵌入维数。则这些向量组中，任意两个向量的距离为：

dij＝‖xi-yj‖#(3.22)

选择阈值r后，根据公式：

rij＝heaviside(r-dij)#(3.23)

求得递归矩阵，其中heaviside函数表示如下：

按照上述公式，根据rij的结果在纵轴和横轴为时间序列个数的坐标平面上画点。rij＝1时，表示xi与xj两个向量之间的欧氏距离小于阈值r，系统处于递归状态，平面上对应的位置显示为一个黑点；rij＝0时，表示xi与xj两个向量之间的欧氏距离大于阈值r，系统处于非递归状态，平面上对应的位置显示为一个白点。其中阈值r的选择不宜过大或过小，过大会使原本不是递归状态的点显示为黑色，过小则会使处于递归状态的点无法显示。

4基于多尺度递归图和卷积神经网络的特征提取。

4.1卷积神经网络。

卷积神经网络是一种层次模型(hierarchicalmodel),它的输入可以是图像、音频或者视频等数据。卷积神经网络通过一组卷积(convolution)操作，非线性激活函数(non-linearactivationfunction)和池化(pooling)操作层层堆叠，逐渐从原始数据提取更加有效的特征。相比于bp神经网络、受限玻尔兹曼机、hopfiled神经网络和sofm网络等经典的人工神经网络，卷积神经网络对图像具有更好的识别效果，因此常被用于手写数字识别、人脸识别和门牌识别等领域之中。lenet-5是一个经典的卷积神经网络。lenet-5卷积神经网络的结构如图7所示，该网络结构除去输入层共包含7层，即两层卷积层、两层池化层、两层全连接层和一层输出层，其中，每层都设置了不同规模的权值。

如今流行的卷积网络在深度和规模上都有着很大的变化。比如2015年，微软团队所提出的残差神经网络达到了1000层以上的规模。

4.1.1卷积层。

卷积层的一个特点是局部连接。在之前较为经典的人工神经网络中，为使神经网络能够有效识别图像，科研人员将图像的每个像素点都作为特征来与神经元连接，从而使得层与层之间的参数过多导致神经网络的训练变得复杂，而在含有卷积层的卷积神经网络中，由于卷积操作，使得中间层只需要图像像素的一部分信息即可，这就相当于每个神经元只与对应图片的部分像素相连接，这样就可以大大减少权重的数量，加快训练效率。

卷积层的另一个特点就是权值共享。例如，将图像经过处理，并以数值矩阵的方式作为卷积层输入，此时，卷积核会根据人工设置的参数，对该图像的数值矩阵的不同区域进行卷积计算，以此提取图像中所包含的与之对应的特征。如图8所示，经过卷积层的权值共享处理，使得不同的权值仅有3组。

4.1.2激活函数。

根据神经学，神经元的激活需要与其连接的树突传递的信号权值大于阈值。所以，激活函数的作用就是为了判断神经网络中的每个神经元是否大于阈值。在卷积神经网络中，激活函数应当具有如下性质：

(1)非线性。

(2)连续可微。梯度下降法要求。

(3)范围不饱和。

(4)单调性。

(5)在原点处近似线性。

目前常用的激活函数都只拥有上述性质的一部分，以下介绍常用的一些激活函数：

1)sigmoid函数，其表达式为：

由于存在当输入稍微远离坐标原点时，函数的梯度会变得很小，不利于权重的优化和函数输出不以0为中心，使得权重更新效率降低等缺陷而很少应用。

(2)tanh函数，其表达式为：

tanh函数为双曲正切函数，输出区间在(-1,1)之间，函数图像以0为中心。

(3)relu函数，其表达式为：

f(x)＝max(0,x)#(4.3)

relu函数是目前应用较广的激活函数，相比于sigmoid和tanh函数，relu具有在输入为正数时，不存在梯度饱和的问题以及计算速度较快等优点。但是relu函数不是以0为中心的函数。

(4)prelu函数，其表达式为：

f(x)＝max(ax,x)#(4.4)

prelu函数时针对relu的一个改进型，即便输入为负数，prelu也可被激活。

(5)elu函数，其表达式为：

elu函数也是针对relu函数的一个改进型，相比于relu函数，在输入为负数时，同样能被激活，而且其输出还具有一定的抗干扰能力。

4.1.3池化层。

池化层的主要作用是对特征图进行特征映射。目前最常用的池化操作有两个：一个方法最大池化法，即取特征图子区域最大值作为特征映射结果，这也是目前卷积神经网络池化层经常选取的方法；另一个方法为平均池化法，即取特征图子区域平均值作为特征映射结果，由于平均池化法在实际表现中不佳，因此很少使用。

如图9所示，输入4*4的特征图，对其中的每个2*2的子区域进行池化操作，步长为2，以使得每个子区域不重叠。

4.1.4全连接层。

在卷积神经网络中，全连接层主要是建立前面隐藏层所提取到的局部特征于测试样本的联系，以达到对特征进行分类的作用。通常情况下，全连接层主要由卷积操作实现：当前层为卷积层，且结果表现为高度为h、宽度为w的卷积时，全连接层便将其转化为与之对应的全局卷积；当前层为全连接层时，则后层的全连接层便将其转化成卷积核为1*1的卷积。矩阵向量乘积是全连接的核心操作：

y＝wx#(4.6)

4.2基于多尺度递归图和卷积神经网络的两级特征提取方法

结合多尺度递归图和卷积神经网络的特点，对两类运动想象信号进行两级特征提取：首先，将预处理后的数据经过经验模态分解(emd)，并计算各个尺度的固有模态分量imf的递归图；随后，将各个尺度的递归图作为卷积神经网络的输入，利用卷积神经网络对递归图进行分类识别。两类运动想象任务的运动想象脑电信号特征提取和分类步骤如下：

(1)选择合适的嵌入维数和延迟时间，利用递归图分析法，对预处理后的脑电信号数据进行特征提取。首先，对两类运动想象脑电信号分别进行emd分解，求得imf，对每个imf计算递归图，从而得到第1级特征。

(2)将训练数据集的第1级递归图特征作为cnn的输入进行训练,并调试cnn网络的各个参数以使得网络精度有所保证，其中的卷积神经网络包含输入层、3个卷积层、3个池化层、flatten层和输出层，且卷积操作后的激活函数维relu，最后的分类器选择sigmoid。

(3)将训练完成的卷积神经网络应用于测试数据，并对其进行分类识别。按照(1)的方式对测试脑电信号数据进行特征提取，然后利用训练完成的卷积神经网络对其递归图进行又一次的特征提取，得出分类识别结果。

5实验及结果分析。

5.1参数选取。

第1级特征特取中，对每个固有模态分量imf选择合适的嵌入维数和延迟时间，可以有效提高运动想象信号的特征提取精度。根据3.3内容，按照互信息分析法和cao-liangyue法求得每个imf的延迟时间和嵌入维数如下：

表1各个imf分量所对应的嵌入维数和延迟时间

第2级特征提取时，需要选取适当的卷积层和池化层层数，以及激活函数，以防止在训练网络时出现过拟合的现象。本次进行第2级特征提取的卷积神经网络结构如图3所示。该卷积神经网络包含3层卷积层和3层池化层，激活函数选择目前应用较广的relu函数，池化操作选择最大池化法，最后的分类器选择sigmoid分类器。

5.2基于emd分解的脑电信号递归图构造。

运动想象脑电信号经经验模态分解后，会得到一组具有不同尺度的imf，对每一个imf进行相空间重构，并计算其递归图，则可得到eeg信号的多尺度递归图。以2008年国际bci竞赛ⅳ中的data-sets2a数据集为例，选取编号为a01的测试人员的左手和编号为a02的测试人员的右手两类运动想象脑电信号各一组，按照互信息分析法和cao-liangyue法求得每个imf的延迟时间和嵌入维数，然后计算各个imf的多尺度递归图，结果如图10所示。图10直观地呈现了不同运动想象脑电信号的运行状态，但是，排序递归图信息量较大，不便直接用于分类，将此图像作为卷积神经网络的输入，通过有监督的训练提取运动想象脑电信号的二次特征。

其中：图10aimf1的递归图，从左到右依次是左手、右手的脑电信号。图10bimf2的递归图，从左到右依次是左手、右手的脑电信号。图10cimf3的递归图，从左到右依次是左手、右手的脑电信号。图10dimf4的递归图，从左到右依次是左手、右手的脑电信号。

5.3结果分析。

以data-sets2a数据集作为eeg信号分类对象，测试基于多尺度递归图和卷积神经网络的两级特征提取方法的分类识别结果。表2是分类识别率对比表格，表格中的前三行是2008年国际bci竞赛ⅳ的data-sets2a数据集中取得前三名的测试结果。

表2分类识别率对比表

其中竞赛第1名采用ovr方式将改进的滤波器组csp扩展到多类，使用的分类器为朴素贝叶斯parzen窗分类器。竞赛第2名采用ovo-csp提取特征后再用lda方法进一步降维，使用贝叶斯分类器进行分类。竞赛第3名采用csp进行特征提取，利用svm作为分类器构建了三组两层二叉树多类分类器进行分类。

从表2可以看出，本发明方法得到的全部受试者总体识别率均值为0.6045，比竞赛成绩第1名提高约3.35％，比第2名提高约8.8％。

本发明提出的基于多尺度递归图和卷积神经网络的两级特征提取法相较于单纯采用多尺度递归图分析法或神经网络法而言，对运动想象脑电信号的总体识别率有所提高，且分类结果与bci竞赛ⅳ中的第一名成绩提高约0.335，同时，对于每个受试者的单体识别率也呈现出略微优势，说明表2中的识别率对比结果在一定程度上表明基于多尺度递归图和卷积神经网络的两级特征提取法具有较好的脑电信号识别性。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。