一种上肢运动方向神经解码方法和装置

本发明属于神经科学技术领域，特别是涉及一种基于黎曼度量的上肢运动方向神经解码方法和装置。

背景技术：

运动意图解析是人机协同领域的一个重要研究内容。通过检测和解析人的运动意图，尤其是上肢的运动方向意图，可以使人机交互系统更好地协同辅助人类。在康复医疗领域，运动意图的解析可以使得康复设备能够主动对康复病人提供正向反馈，从而更有效的辅助其进行运动康复训练；在工业生产领域，运动意图的解析可以使得工业机器人能够理解工人的意图，从而与工人协同完成任务，降低工人的工作负荷和疲劳；在智能车辆领域，运动意图的解析可以使得驾驶辅助系统更精确辅助驾驶员的控制指令，降低系统的虚警率，从而提高辅助系统的可用性。由于大脑是人体的高级神经中枢，也是人体产生运动意图的起点，基于脑电皮层信号(eeg信号)解析人的运动意图具有速度快、可靠性高的优点。同时，通过eeg信号解析运动方向意图，有助于对大脑神经科学的进一步探索，帮助认识大脑活动与实际运动的神经联系。

目前，有很多基于eeg信号的运动意图解码的研究。2008年，hammon等人使用脑电信号的功率谱特征实现了对左手运动方向的识别，在两分类条件下达到了75％的识别准确率，在三分类条件下达到了62％的识别准确率，在四分类条件下达到了57％的识别准确率。2013年，kim等人使用脑电信号的时域特征实现了在空间坐标系下对运动意图的解码，在对x、y、z三个方向上的解码分别达到了相关系数0.3、0.3、0.15的水平。2017年，等人对主动和被动的运动意图进行解码，发现在脑电信号的低频成分与主动运动更相关。

然而在目前的运动意图解码的研究中，大都是聚焦于人执行运动这一单项任务情况下的运动意图的解码，并未考虑到多任务的情况，未考虑到在运动任务上注意力集中状态对解码结果的影响。在实际的人机交互系统中，人在执行的指定运动任务时，势必会受到外界因素或者是其他任务的分神干扰，从而导致注意力的分散，这将会影响运动任务的完成，从而对运动意图的解码会产生影响。所以，需要寻找一种能够在注意集中和注意分心状态下都能稳定识别运动意图的神经解析方法。

综上所述，寻找一种能够在注意集中和注意分心状态下都能稳定识别运动意图的神经解析方法成为研究人员关注的问题。

技术实现要素：

为了解决上述技术问题，本发明提供一种基于黎曼度量的上肢运动方向神经解码方法和装置，对脑电信号预处理后，将脑电信号从欧式空间转换到黎曼空间。然后在黎曼空间下提取基于黎曼度量的脑电信号特征信息。接下来利用基于黎曼度量的脑电信号特征信息建立上肢运动意图的解析模型，进而识别上肢的运动意图。通过基于黎曼度量的脑电信号特征信息建立上肢运动意图解析模型，从而使得解析模型能够在认知集中和认知分心状态下获得稳定的运动意图解析性能，这对构建一个可靠的bci系统十分必要且关键。同时为上肢运动解码的研究提供了新的思路，为人机协同交互的进一步研究提供了基础。

为实现上述目的，本发明的技术方案为：

一种上肢运动方向神经解码方法，包括以下步骤：

s1、通过黎曼度量从运动任务过程中上肢运动方向的神经信号中提取脑电信号特征信息；

s2、利用所述脑电信号特征信息对上肢运动方向进行识别。

作为优选，所述步骤s1具体为：

s11、采集人脑指定电极位置的脑电信号；

s12、将所述脑电信号进行预处理；

s13、将预处理后的脑电信号从欧式空间转换到黎曼空间；

s14、从脑电信号中提取基于黎曼度量的脑电信号特征信息。

作为优选，所述步骤s2具体为：

s21、利用所述脑电信号特征信息建立上肢运动意图解析模型；

s22、根据上肢运动意图解析模型识别上肢运动方向。

作为优选，s12所述预处理包括滤波、基线修正、共平均参考和独立成分分析。

作为优选，s13所述采用正定对称矩阵的形式将欧式空间的脑电信号转换到黎曼空间。

作为优选，所述步骤s14具体为：

提取所述脑电信号在黎曼空间下的黎曼中心；将脑电信号映射到黎曼中心所在的黎曼流形上，并利用黎曼度量计算在黎曼空间下脑电信号到黎曼中心的距离；从上述黎曼空间下脑电信号到黎曼中心的距离中提取脑电信号特征信息。

作为优选，s21所述解析模型建立方法采用线性判别分析lda。

本发明还提供一种上肢运动方向神经解码装置，包括：

提取模块，用于通过黎曼度量从运动任务过程中上肢运动方向的神经信号中提取脑电信号特征信息；

解码模块，用于利用所述脑电信号特征信息对上肢运动方向进行识别。

作为优选，所述提取模块包括：

采集单元，用于采集人脑指定电极位置的脑电信号；

预处理单元，用于将所述脑电信号进行预处理；

转换单元，用于将预处理后的脑电信号从欧式空间转换到黎曼空间；

提取单元，用于从脑电信号中提取基于黎曼度量的脑电信号特征信息。

作为优选，所述解码模块包括：

构建模块，用于利用所述脑电信号特征信息建立上肢运动意图解析模型；

识别模块，用于根据上肢运动意图解析模型识别上肢运动方向。

本发明的有益效果在于：

本发明通过基于黎曼度量的脑电信号特征信息建立上肢运动意图解析模型，从而使得解析模型能够在认知集中和认知分心状态下获得稳定的运动意图解析性能，这对构建一个可靠的bci系统十分必要且关键。同时为上肢运动解码的研究提供了新的思路，为人机协同交互的进一步研究提供了基础。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明上肢运动方向神经解码方法流程图；

图2为本发明上肢运动方向神经解码装置结构图；

图3为本发明实施例两种试验模拟图；

图4为本发明实施例受试者脑头皮指定电极位置图；

图5为本发明实施例两种注意力集中状态下的运动相关皮层电位mrcp信号曲线图；

图6为本发明实施例两种试验的运动方向意图识别样本提取图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1所示，本发明提供一种基于黎曼度量的上肢运动方向神经解码方法，对脑电信号预处理后，首先将脑电信号从欧式空间转换到黎曼空间。然后在黎曼空间下提取基于黎曼度量的脑电信号特征信息。接下来利用基于黎曼度量的脑电信号特征信息建立上肢运动意图的解析模型，进而识别上肢的运动意图。

具体步骤如下：

步骤一、通过黎曼度量从运动任务过程中上肢运动方向的神经信号中提取脑电信号特征信息；

s1、数据采集：采集人脑指定电极位置的脑电信号作为原始脑电信号。

s2、预处理：首先将原始脑电信号进行预处理，主要包括带通滤波、基线修正、共平均参考和独立成分分析。其中，基线修正用于去除零点漂移，共平均参考用于滤除各个通道的共同噪音，独立成分分析用于滤除眼电伪迹。

s3、空间转换：由于黎曼度量具有仿射不变性，因此本发明将欧式空间下的脑电信号转换到黎曼空间下，用于提取脑电信号特征信息。

同时黎曼空间是一种矢量空间，它满足空间中存在度规张量，使临近两点的距离由正定二次型决定，因此本发明采用正定对称矩阵的形式将欧式空间下的脑电信号转换到黎曼空间下，其表达式为：

其中，t为脑电信号的长度，xi为脑电信号，其形式为：

s4、提取基于黎曼度量的脑电信号特征：

首先采用迭代的方式获取在黎曼空间下脑电信号的黎曼中心。迭代的方式为：

1)采用脑电信号的基于欧式度量的几何中心初始化一个黎曼中心pg：

其中，n为脑电信号的总数

2)采用黎曼度量重复迭代更新黎曼中心pg，其形式为：

3)直到阈值的frobenius范数足够小结束迭代，阈值的形式为：

获得黎曼中心后，将脑电信号投影到黎曼中心所在的黎曼流形m上，并获得脑电信号到黎曼中心的黎曼距离，其形式为：

获得的脑电信号到黎曼中心的黎曼距离为正定对称矩阵，将其展开后，取其下三角矩阵作为脑电信号的特征信息。为了抑制冗余以及加快计算速度，采用主成分分析对所述特征值进行降维，得到脑电信号特征信息。

主成分分析，是统计多个变量间相关性一种多元统计方法，目的是通过少数几个主成分来揭示多个变量间的关系，使它们尽可能多地保留原始变量的信息，且彼此间互不相关。

主成分分析方法的具体计算步骤如下：

a.计算相关系数矩阵r：

其中，rij(i,j＝1,2,…,p)为变量指标xi与xj的相关系数，其计算公式为:

其中，xki为第k个样本的第i个变量值，xkj为第k个样本的第j个变量值,为第i个变量在所有样本上的均值，为第i个变量在所有样本上的均值,n为样本个数。由于r是实对称矩阵(即rij＝rji)，故只需计算其上三角元素即可。

b.计算特征值与特征向量:

先求解特征方程：

|λi-r|＝0

其中，i为单位矩阵，r为上述得到的相关系数矩阵，求得一系列特征值λi(i＝1,2,…,p)，并将特征值由大至小排列，即λ1≥λ2≥…≥λp≥0；然后求出每个特征值的特征向量ei(i＝1,2,…,p)。

c.求出每个主成分的贡献率与累计贡献率，主成分zi贡献率：

其中，λi为第i个特征值，为前k个主成分的特征值之和。累计贡献率：

其中，为前m个主成分的特征值之和；通常选择累计贡献率达85-95％的特征值λ1,λ2,…,λm对应的第1，第2，……，第m(m≤p)个主成分。本发明通过计算各主成分的累计贡献率，选择累计贡献率达95％的主城分作为样本的特征。

步骤二、利用基于黎曼度量的脑电特征对上肢运动方向进行识别。

在步骤一已经得到受试者在执行上肢运动任务时候的基于黎曼度量的脑电信号特征信息，接下来利用上述特征建立解码模型，来进行运动方向意图的识别。

本发明通过线性判别分析(lineardiscriminantanalysis，lda)方法建立以基于黎曼度量的脑电特征为输入、运动方向意图为输出的解析模型。

其中，使用lda建立注意力状态解析模型的进行具体步骤为：

将基于黎曼度量的脑电特征按照不同的运动方向标定。利用线性判别分析算法(lineardiscriminantanalysis，lda)确定最佳投影方向w，lda的思想是通过将所有样本投影到一条直线上，观察样本的投影位置，使得同类别样本尽量集中，不同类样本尽量分离。所述线性判别分析算法的原始模型如下：

f(x)＝w^tx+w0

其中，x＝[x1,x2,...,xn]是特征向量，w＝[w1,w2,...,wn]代表所述线性判别分析算法的原始模型的投影方向，w0代表所述线性判别分析算法的原始模型的阈值。确定最佳投影方向的准则是使原样本在该方向上类内样本的投影尽量聚集，类间样本的投影尽量分离。利用计算得到的最佳投影方向w将所有训练样本进行投影，得到投影后的样本点；将所述样本点的最大值与最小值之间的范围作为阈值选取范围，在所述阈值选取范围内通过迭代的方法选取对训练样本分类精度最高的阈值为w0；将所述最佳投影方向与所述对训练样本分类精度最高的阈值代入所述原始模型，得到线性解析模型。

综上，本发明通过基于黎曼度量的脑电信号特征信息建立上肢运动意图解析模型，从而使得解析模型能够在认知集中和认知分心状态下获得稳定的运动意图解析性能，这对构建一个可靠的bci系统十分必要且关键。同时为上肢运动解码的研究提供了新的思路，为人机协同交互的进一步研究提供了基础。

如图2所示，本发明还提供一种上肢运动方向神经解码装置，包括：

提取模块，用于通过黎曼度量从运动任务过程中上肢运动方向的神经信号中提取脑电信号特征信息；

解码模块，用于利用所述脑电信号特征信息对上肢运动方向进行识别。

作为优选，所述提取模块包括：

采集单元，用于采集人脑指定电极位置的脑电信号；

预处理单元，用于将所述脑电信号进行预处理；

转换单元，用于将预处理后的脑电信号从欧式空间转换到黎曼空间；

提取单元，用于从脑电信号中提取基于黎曼度量的脑电信号特征信息。

作为优选，所述解码模块包括：

构建模块，用于利用所述脑电信号特征信息建立上肢运动意图解析模型；

识别模块，用于根据上肢运动意图解析模型识别上肢运动方向

为了验证本发明的实验效果，本发明采取了两组不同的试验方式，对实验效果进行了证实，具体实验内容如下：

为了诱发两种不同的注意力集中状态，参加实验的受试者被要求完成两种类型的实验任务，分别是单一任务实验和双重任务实验。在本发明的实验中，所有的受试者都是右利手，因此把右手向指定方向的运动作为本发明中的上肢运动任务。手的运动被限制在与桌面平行的水平面上。

实验范式参照图3所示，在运动任务注意力集中的状态范式下，受试者需要完成单一的一项任务，即右手在水平方向上的移动，方向为向左、右、前、后。实验开始前，受试者有3s的时间休息，在这段时间里，屏幕上有一个空心的正方形代表运动起始时刻的位置。3s过后，在指定的方向处出现了一个实心块，这是实验即将开始的提示。第6s时，实心块变成空心块，这是提示受试者要准备开始上肢运动。为了避免视觉刺激的干扰，受试者通常被要求在实心块变空心块的改变完成后等待两到三秒钟再移动他们的右手，即在图上的“运动开始”时刻开始运动。在注意力集中的范式中，被试被要求将上肢移动到指定的空心块的位置。在此过程中，要求受试者完全集中注意力在运动任务上，确保运动轨迹尽可能水平，并准确到达指定的目的地。整个过程在16s内完成，听到计算机提示音后，方可结束实验。

在运动受到认知分心干扰的实验范式中，受试者需要完成一个多任务实验。即除了完成和上述相同的运动任务外，还必须完成一个逆向的计数任务，来作为认知分心任务干扰受试者在运动任务上的注意力。当显示运动开始的空心方块出现时，受试者需要从99开始每隔3倒数，倒计数任务的结束时刻为计算机的提示音响，提示实验停止。在实验结束时，受试者需要向实验员报告实验结束时自己倒计数停止的数字。同时，受试者被要求完成一份主观注意力等级评测问卷，以显示他们对运动任务的专注程度。注意力被分为1到7级，数字越大，表明受试者在运动任务上的注意力越高。

在实验过程中，受试者被要求始终紧盯屏幕，以避免眼球运动。实验共分为2个阶段，注意力集中的运动任务和认知分心的运动任务。每个阶段包含4组，分别是向左、向右、向前、向后这四个方向。每组实验包含50次重复实验。每次实验间有1分钟的休息，每组实验间有2分钟的休息时间，两个阶段实验间，受试者有5分钟的时间休息。除了受试者8的实验在两天完成外，其余7位受试者的实验均在一天内完成。

通过脑电采集系统采集受试者脑头皮指定电极位置的脑电信号，并通过脑电放大器放大并输出所采集到的受试者原始脑电信号。

脑电采集仪用于实时采集脑电信号并且进行放大和模数转换，通过数据线与处理器进行数据传输。其中，考虑到大脑控制手部运动，主要涉及运动和认知任务，因此本发明根据“10-20国际标准导联”，将脑电采集电极放置在使用者头部的cz、c1、c2、c3、c4、c5、c6、t7、t8、fz、f1、f2、f3、f4、f5、f6、f7、f8、fcz、fc3、fc4、cp3、cp4、oz、o1、o2、poz、pz、p3、p4、p5、p6、p7、p8位置，将参考电极放置在cpz位置，接地电极放置在afz位置，各电极位置参照图4所示。此外，为了记录手部运动位置与状态，将一个位置追踪传感器(fastrack)固定在右手虎口的位置，实时跟踪手的运动。

脑电表征：脑电神经表征是指从信号幅值变化、脑活动能量变化等角度对大脑活跃状态变化进行一种基础性的表征，有利于帮助理解人体运动下的神经活动。为了表征不同注意力集中程度下对应的大脑信号与能量的变化状态，本发明从运动相关皮层电位(mrcp)对注意力集中的运动和有认知分心的运动下的大脑活动以及两者之间活动差异进行了神经表征。

使用傅里叶滤波器对注意力集中运动的脑电信号和有认知分心的脑电信号进行滤波至0.01-4hz。对cz电极使用加权平均滤波器(wavg)去除空间公共背景噪声。wavg计算按式：

其中，ei(t)为第i个通道的脑电信号，ej(t)为与i通道相邻的第j个通道的脑电信号，k为最近邻通道的个数。

为了排除受试者差异和方向差异的影响，将所有受试者所有方向上的所有次实验上的多个滤波信号叠加平均，得到两种注意力集中状态下的运动相关皮层电位(mrcp)信号曲线，并绘制在一张图中。

mrcps结果参照图5所示。基于mrcp的运动表征为后续的运动方向意图解码进行了基础性探究，该部分表征结果展示了不同注意力集中状态下上肢运动的大脑信号变化规律，也进一步不同注意力集中状态下对应的神经信号活动规律有所不同(mrcp负向偏移幅值不同)，这种差异会影响上肢运动方向意图的解析。

采集每位受试者的原始脑电信号，然后对进行预处理，作用后续分析所截取的脑电信号，参照图6所示。每位受试者每个运动方向共得到100个样本，每个样本窗的长度为1s，其中运动任务注意力集中的样本50个，有认知分心的运动任务50个。

然后将欧氏空间下的脑电信号转换到黎曼空间下，使用基于黎曼度量的脑电信号特征作为后续建模分类的特征。为了避免特征的冗余和过长的计算时间，使用主成分分析法特征压缩，主成分分析(pca)的成分贡献率为0.95。

最后对运动方向意图的识别分类：使用线性判别分析(lda)分别在两种注意力状态下(运动任务注意力集中和有认知分心)建立运动方向意图的识别模型。

本发明使用5折交叉验证方法分别得到所有受试者的平均识别准确率。实验结果显示，基于黎曼度量的上肢运动方向神经解码方法在注意集中状态下能够达到77％的识别准确率，在注意分心状态下能够打到79％的识别准确率。可以看出，在注意集中和注意分心两种不同的注意力状态下，基于黎曼度量的上肢运动方向神经解码方法能够得到稳定的解码性能和较好的解码效果。

本发明研究了基于黎曼度量的上肢运动方向神经解码方法。提出了一种在注意集中和注意分心状态下能够稳定识别上肢运动意图的解码模型。在注意力集中和有认知分心的运动这两类情况下，运动相关皮质电位有显著差异。同时由于认知分心的影响，theta和alpha频带的脑电信号也存在差异。使用黎曼度量提取在黎曼空间下脑电信号的特征信息。使用基于黎曼度量的脑电信号特征信息建立lda分类识别模型。在注意集中状态下，所有受试者运动方向意图识别的平均准确率为：77％，在注意分心状态下，所有受试者运动方向意图识别的平均准确率为：79％。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。