基于行为测试的运动想象神经响应能力检测装置

1.本发明涉及运动想象神经响应领域，尤其涉及一种基于行为测试的运动想象神经响应能力检测装置。


背景技术：

2.脑
‑
机接口(brain computer interface，bci)构建了大脑与外部设备的直接交流通道
1.。相比于其他人体输出通路，例如手势、语音
2.等，它是一种更加高效的人机交互方式。bci通过检测和解析神经活动信息，实现对大脑意图的表达或生理状态的监测。根据传感方式的不同，可将其分为基于fmri
3.、nirs
4.、eeg
5.等多种类型的bci，其优势以及适用场景各有不同。其中，基于脑电的eeg
‑
bci因具有时间分辨率高和设备便携等优点，有望用于日常作业中对外部设备的主动控制
6.。
3.eeg
‑
bci的技术原理是以蕴含神经响应信息的脑电数据为特征，采用机器学习等算法实现模式识别并输出控制指令。常用的脑电特征如感觉运动节律(运动想象)、诱发电位(ssvep、p300)、慢皮层节律等
7.。然而，“bci文盲”问题严重限制了eeg
‑
bci的大范围推广，它是指部分用户在使用脑
‑
机接口过程中，无法诱发出相应的神经响应，导致bci系统难以正确识别指令
8.。目前，大量研究正在积极尝试提升bci的适用性，然而尚未出现一种bci可以适用于所有个体。研究证明
9.约有10
‑
30％的bci用户存在文盲现象，且与bci的类型密切相关。也就是说，一个用户可能是某一类bci的文盲，但可以正常使用其他类型的bci。这种特异性为筛选某一类型bci的使用者带来了较大困难。
4.运动想象脑
‑
机接口(motor imagery brain computer interface,mi
‑
bci)作为一种无需外部刺激的主动式bci，在航天、军事、医疗等各个领域都具有极强的应用潜力。系统的控制信号源是使用者在想象肢体运动过程中，大脑运动皮层在alpha和beta频带的能量衰减/升高特征，即事件相关去同步/同步(event
‑
related desynchronization，erd/ers)现象。毫无疑问，文盲现象同样存在于mi
‑
bci中。研究表明，仅是2指令的mi
‑
bci系统，就有约6.7％的被试表现欠佳，识别正确率低于59％(随机水平为50％)。
5.目前，只有让用户实际完成mi脑电实验，才能检验其是否可以诱发erd/ers特征。该方法成本极高，涉及经济、人力、时间三个方面。一般而言，脑电实验需要硬件设备和软件系统的共同支持。硬件设备包括：多通道电极帽、脑电放大器、用于数据采集和分析的电脑等。软件系统主要是采集和数据分析软件。整套系统的价格通常在二十万元以上。人力成本方面，整个实验需要至少一名主试人员全程指导实施，且必须具备丰富的脑电采集经验、数据处理知识和工程实践能力。实验还需要投入大量的时间成本，包括：主试调试设备和软件、被试在实验前后清洁头皮或头发、实验前佩戴电极帽以及涂抹导电膏等准备时间，一次完整的脑电实验通常需要花费1.5小时以上。显然，这种传统方法并不适用于在大量潜在用户中快速筛选合格使用者。随着mi
‑
bci技术的日益成熟，应用场景的持续增加，如何在庞大人群中高效、规范、低成本地筛选使用者是一项重大挑战，也是mi
‑
bci进入大规模应用之前必须解决的一项技术难题。
6.近年来，伴随mi
‑
bci技术的日益成熟，其在军事、医疗等多种应用场景下的实用性逐渐提升。但bci文盲现象使得mi
‑
bci无法适用于所有人。通过传统脑电实验的方法对潜在使用者进行筛选耗时耗力。
7.参考文献
8.[1]yin e,zhou z,jiang j,chenf,liu y and hu d 2013a novel hybrid bci speller based on the incorporation of ssvep into the p300 paradigm j.neural eng.10
[0009]
[2]karpov a a and yusupov r m 2018multimodal interfaces of human
–
computer interaction her.russ.acad.sci.88 67
–
74
[0010]
[3]sokunbi m o,linden d e j,habes i,johnston s and ihssen n 2014real
‑
time fmri brain
‑
computer interface:development of a
‘
motivational feedback
‘
subsystem for the regulation of visual cue reactivity front.behav.neurosci.8 1
–
10
[0011]
[4]naseer n and hong k s 2015fnirs
‑
based brain
‑
computer interfaces:areview front.hum.neurosci.9 1
–
15
[0012]
[5]abiri r,borhani s,sellers e w,jiang y and zhao x 2019a comprehensive review of eeg
‑
based brain
‑
computer interface paradigms j.neural eng.16 1
–
43
[0013]
[6]luu t p,nakagome s,he y and contreras
‑
vidal j l 2017real
‑
time eeg
‑
based brain
‑
computer interface to a virtual avatar enhances cortical involvement in human treadmill walking sci.rep.7 1
–
12
[0014]
[7]mcfarland d j and wolpaw j r 2011brain
‑
computer interfaces for communication and control commun.acm 54 60
–6[0015]
[8]volosyak i,valbuena d,l
ü
th t,malechka t anda 2011bci demographics ii:how many(and what kinds of)people can use a high
‑
frequency ssvep bci？ieee trans.neural syst.rehabil.eng.19 232
–9[0016]
[9]ahn m,cho h,ahn s and jun s c 2013high theta and low alpha powers may be indicative of bci
‑
illiteracy in motor imagery plos one 8
[0017]
[10]gu b,xu m,xu l,chen l,ke y,wang k,tang j and ming d 2021optimization of task allocation for collaborative brain
–
computer interface based on motor imagery front.neurosci.15 1
–
11


技术实现要素：

[0018]
本发明提供了一种基于行为测试的运动想象神经响应能力检测装置，本发明通过实施包含运动行为和认知行为的综合测试方案，匹配多元回归模型，实现对用户执行运动想象过程中所诱发的神经特征强度进行预测，进而从大规模潜在用户中快速筛选mi
‑
bci的合格使用者，避免传统脑电筛查的高经济、人力、时间成本的缺陷，为mi
‑
bci的推广应用提供技术保障，有望获得可观的社会效益和经济效益，详见下文描述：
[0019]
一种基于行为测试的运动想象神经响应能力检测装置，所述装置包括：
[0020]
测试模块，用于检测运动想象神经响应能力，将运动行为测试和认知行为测试相结合；
[0021]
多元线性回归分析模块，计算面向alpha和beta典型频带的运动想象神经响应特征强度预测值，实现快速检测的实施目标。
[0022]
其中，所述测试模块包括：
[0023]
运动行为测试单元，用于普渡钉板精细运动测试，用户完成左、右手两个单手测试，且休息间隔固定为30s，一组完整测试耗时90s。
[0024]
进一步地，所述测试模块还包括：
[0025]
想象动作任务测试单元，用于测试者运用动觉想象和视觉想象方式完成，其中，视觉想象不区分第一人称视觉想象和第三人称视觉想象，测试者根据想象习惯，选择其中一种完成测试。
[0026]
在一种实施方式中，所述视觉想象包括：
[0027]
最大角度的提膝抬腿动作；原地站位起跳动作；平行移动非利手臂动作，要求从体侧水平移至体前；站位体前屈动作，要求用指尖触碰脚趾。
[0028]
优选地，mi测试为8组，测试顺序由单一的kl
‑
j
‑
am
‑
wb改为：
[0029]
kl
‑
j
‑
am
‑
wb
‑
j
‑
kl
‑
wb
‑
am，设置每组动作的测试持续时间为15s，测试者在此期间完成不低于2轮次的想象动作；组间间隔设定为15s，总时长为225s。
[0030]
优选地，所述运动想象神经响应特征计算模块涉及的主要脑电通道为fc3、c5、c3、c1、cp3、fc4、c2、c4、c6、cp4。
[0031]
其中，所述多元线性回归分析模块的线性回归方程为：
[0032]
y1＝1.2715
‑
0.0012
×
x1‑
0.0657
×
x2‑
0.0266
×
x4[0033]
y2＝
‑
0.1476
‑
0.0105
×
x1+0.019
×
x3‑
0.013
×
x4[0034]
其中，采用y1和y2表示运动想象任务下感兴趣区域在典型频带的预测值rerd
alpha
和rerd
beta
值，采用x1,x2,x3,x4表示ppt
‑
rh、ppt
‑
lh、v
‑
miq、k
‑
miq这四个测试评分的均值。
[0035]
本发明提供的技术方案的有益效果是：
[0036]
1、本发明设计了用于检测运动想象神经响应特征的行为测试方案，将测试所得评分代入相应的回归分析模型，得到可以表征运动想象神经响应强度的相对erd值，根据此值对用户是否为合格的mi
‑
bci使用者进行判断和筛选；
[0037]
2、本发明以短时间低成本的行为测试为基础，通过将测试评分的结果代入多元回归模型中，获取可以表征运动想象响应强度的神经特征值，克服了传统脑电实验筛选bci文盲的高成本缺陷，有望在大规模人群中实现mi
‑
bci合格使用者的快速筛查，为其进入大范围技术应用奠定基础。
附图说明
[0038]
图1为用于检测运动想象神经响应能力的行为测试方案图；
[0039]
图2为普渡钉板实物图；
[0040]
图3为想象动作评分量表测试方案图；
[0041]
其中，(a)为4种运动测试任务示意图；(b)为测试流程示意图；(c)为测试评分准则示意图。
[0042]
图4为想象动作脑电实验设计图；
[0043]
其中，(a)为单次运动想象试验流程图；(b)为腕关节和踝关节背屈运动示意图。
[0044]
图5为国际10
‑
20系统64通道脑电极分布图。
具体实施方式
[0045]
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
[0046]
为了解决背景技术中存在的问题，本发明实施例设计了新型行为测试方案以及检测分析模型，旨在高效、规范、低成本地筛选mi
‑
bci使用者。
[0047]
本发明实施的技术方案分为两部分，用于检测运动想象神经响应能力的行为测试和基于行为测试结果的神经响应特征值检测，行为测试方案设计如图1所示，主要包括：用于讲解测试流程以及注意事项的测试说明；3组普渡钉板精细运动测试和3组想象动作评价量表测试，两类测试交叉进行，各自用时分别为90s和225s；测试间歇的休息时间分为长时休息(长休，图中以
◇
表示)和短时休息(短休，图中以
·
表示)两种，整体测试方案所用时间为1530s(25.5min)。随后计算两类测试中三组得分的平均值，分别代入alpha和beta两个典型频带的多元线性回归方程，求得运动想象神经响应特征强度，从而实现快速检测的实施目标。
[0048]
下面将重点介绍两类测试的详细流程，以及计算基于20名被试测试结果的运动想象神经响应强度预测值，通过分析其与对应脑电实验中实际值的差异，说明本发明的技术优势。
[0049]
一、普渡钉板精细运动测试
[0050]
本发明实施例使用的普渡钉板精细运动测试是对普渡钉板测试的简化。普渡钉板测试(purdue pegboard test，ppt)是一种用来测量单手/双手手指灵活性的物理测试。该测试是由1948年普渡大学所发明，设计初衷是对流水线作业工作进行技能评定，从而筛选合适的工人完成作业，之后也被广泛用于神经心理学评估、辅助定位脑损伤等。普渡钉板测试共包括四个子项目，分别为右手测试(30s)，左手测试(30s)，双手测试(30s)以及组装测试(60s)。
[0051]
本发明实施例只要求测试用户完成普渡钉板测试中的左、右手两个单手测试即可，且休息间隔固定为30s，一组完整测试耗时90s。本发明实施例使用的钉板型号为lafayetteq model 32020a，如图3所示。钉板包括两列平行的钉孔，每列25个。配套的钉子、垫圈、和项圈分别放置于钉板上方的四个凹槽中，最左边和最右边的凹槽各放25个相同的钉子，20个项圈和40个垫圈位于中间的两个凹槽中。单手测试要求被试从同侧的凹槽中取出钉子并插入钉孔，按照从上至下的顺序，在限定时间内尽可能多地完成。根据单手插入钉子的数量进行计数评分，对方案中的3组测试评分进行平均得到最终评分结果，记录为ppt
‑
rh(右手测试得分)、ppt
‑
lh(左手测试得分)。
[0052]
二、想象动作评价量表测试
[0053]
想象动作评分量表测试是对movement imagery questionnaire
‑
3(miq
‑
3)进行改进后的一种想象动作能力自我评价问卷。与原有测试不同，本发明实施例要求测试者分别运用动觉想象(kinaesthetic imagery,k
‑
mi)和视觉想象(visual imagery,v
‑
mi)两种方
式完成想象动作任务。对于v
‑
mi而言，并不区分第一人称视觉想象和第三人称视觉想象，测试者根据想象习惯，选择其中一种完成测试即可，本发明实施例的测试表现出更强的适应性。四类想象动作的测试任务与miq
‑
3保持一致，如图4(a)所示，分别为(1)最大角度的提膝抬腿动作；(2)原地站位起跳动作；(3)平行移动非利手臂动作，要求从体侧水平移至体前；(4)站位体前屈动作，要求尽力用指尖触碰脚趾。
[0054]
单次测试中测试任务的数量、顺序和测试要求在原有miq
‑
3基础上进行了针对性地优化。单次测试流程如图4(b)所示，mi测试由原来的12组改为8组。测试顺序由单一的kl
‑
j
‑
am
‑
wb改为kl
‑
j
‑
am
‑
wb
‑
j
‑
kl
‑
wb
‑
am，使得各测试动作之间的平衡性和稳定性更强。此外，本测试也对每个m测试任务进行了详细的要求，设置每组动作的测试持续时间为15s，需要测试者在此期间完成不低于2轮次的想象动作。为保证测试连贯性，组间间隔也设定为15s，总时长为225s(15*15)。受试者根据想象的难易程度评分，评分准则参见图4(c)，分为视觉想象和动觉想象两个类型，从低至高，共有7个分数等级。通过对两类想象方式下四种动作的评分进行叠加平均后，即可得本组测试的相应评分结果。对方案中的3组测试评分进行平均得到最终评分结果，记录为v
‑
miq(视觉想象得分)和k
‑
miq(动觉想象得分)。
[0055]
三、运动想象脑电验证实验
[0056]
现有mi
‑
bci系统的信号源通常为手部或者足部执行运动想象而诱发的响应特征。因此，选择右手左足(right hand&left feet，rhlf)和左手右足(left hand&right feet，lhrf)两种运动想象作为脑电实验的运动任务。实验共包括6个blocks，每个block包含28个试次，两类运动任务交叉进行，即实验结束后每类运动可获取84个试次的脑电数据。
[0057]
单试次的实验流程如图5(a)，首先在lcd屏幕中央呈现持续1s的十字箭头，用以提示被试即将开始运动想象任务；随后，显示用来提示运动想象任务的箭头符号，
↗
表示rhlf，
↖
表示lhrf，此阶段共持续4s，受试者执行相应的手部腕关节和足部踝关节背屈mi，如图5(b)；最后，提示休息2s的“rest”字符。
[0058]
实验开始前，告知受试者整体实验流程以及相关注意事项，要求所有实验相关人员关闭手机，安排受试者端坐于实验椅上，调节显示器位置与受试者视线水平，受试者的头部距离显示器约45cm，受试者双手前臂放松并置于椅子两侧的扶手上，头部佩戴脑电电极帽，与相应设备连接。实验过程中，要求受试者目光注视屏幕中央，注意力集中，按照实验要求完成全部实验，期间尽量减少与任务无关的肢体动作。
[0059]
实验共采集20名被试执行两类运动想象的同步脑电实验数据，采集装置为neuroscan synamps2 64导脑电放大器和配套的scan4.5采集软件。采样率设置为1000hz，阻抗保持在15kω以下，0.5～80hz带通滤波，50hz陷波滤波。数据预处理主要是将原始“.cnt”数据通过matlab eeglab工具箱转化为“.mat”格式，采用降采样算法降至200hz。采用四阶巴特沃斯带通滤波对降采样后数据进行5～33hz滤波处理，从而去除脑电信号中的极高/低频干扰。
[0060]
四、运动想象神经响应特征计算
[0061]
事件相关去同步现象(event
‑
related desynchronization，erd)是运动想象诱发的主要脑电生理特征，通常表现为alpha(8
‑
13hz)和beta(14
‑
28hz)频带下感觉运动皮层的能量衰减，是目前解码肢体运动意图的核心特征。这里首先计算两个典型频带的事件相关谱扰动(ersp)，得到mi准备期(单试次0～1s)和mi任务期(单试次1～5s)的绝对能量值，并
基于此计算相对erd能量值，作为表征运动想象神经响应的关键性特征。
[0062]
事件相关谱扰动(event
‑
related spectral perturbation,ersp)是一种基于短时傅里叶变换(short
‑
time fourier transform,stft)的经典时频分析方法，被广泛应用于观测与事件相关的脑电信号在频域的能量变化。经过数据预处理之后，脑电数据可按照运动想象事件进行分段，即可进行ersp的计算，公式如下：
[0063][0064]
其中n是事件相关的试验总次数，f
k
(f,t)表示第k个试次(trial)在频率f和时间t的能量谱估计。选定感兴趣的时间和频带进行叠加，即可得到某一频带某一时段内的绝对能量值p。
[0065]
随后，根据多试次(n trial)的绝对erd能量(p
n
)，计算相对erd能量(relative erd power,rerd)，定义公式如下：
[0066][0067][0068][0069]
式中，t
relax
和t
task
分别为实验中准备期和任务期eeg样本的数量，其对应的平均能量为p
relax
和p
task
。
[0070]
如前所述，运动想象的erd现象主要分布于大脑双侧感觉运动皮层，依据国际10
‑
20标准导联设置，如图6所示，可以发现双侧感觉运动涉及的主要脑电通道为fc3、c5、c3、c1、cp3、fc4、c2、c4、c6、cp4，选定上述十个导联作为感兴趣区域，计算两个典型频带下平均相对erd值，即rerd
alpha
和rerd
beta
。
[0071]
五、多元线性回归分析
[0072]
本发明实例的一项主要创新点是通过大量的前期研究分析，提出了基于上述两类测试评分的相对erd值多元回归预测方程。采用y1和y2表示运动想象任务下感兴趣区域在典型频带的相对erd值rerd
alpha
和rerd
beta
。采用x1,x2,x3,x4表示ppt
‑
rh、ppt
‑
lh、v
‑
miq、k
‑
miq这四个测试评分的均值。
[0073]
因此，针对相对erd值的多元线性回归分析方程可表示为：
[0074]
y1＝1.2715
‑
0.0012
×
x1‑
0.0657
×
x2‑
0.0266
×
x4ꢀꢀ
(5)
[0075]
y2＝
‑
0.1476
‑
0.0105
×
x1+0.019
×
x3‑
0.013
×
x4ꢀꢀ
(6)
[0076]
通过上述方程可以计算出预测估计值和并求得用于评估模型预测效果的关键性指标——拟合优度r2，其定义为：
[0077][0078]
其中，y
i
表示第i个rerd实际值，表示第i个rerd预测值，表示rerd实际值的均值。
[0079]
此外，为印证回归方程中rerd与各测试评分的关系，分别计算了二者的皮尔森相关性，得到相关系数与显著性水平，上述结果均见表1。
[0080]
表1皮尔森相关与多元回归分析
[0081][0082]
其中，*p<0.05，**p<0.01，***p<0.005
[0083]
由表可知，不同频带的相对erd值与测试评分之间的相关性存在差异，rerd
alpha
主要和ppt
‑
lh、ppt
‑
rh、k
‑
miq存在高度相关，rerd
beta
则与ppt
‑
lh、v
‑
miq、k
‑
miq存在显著相关。此外，由于rerd表征能量衰减，取负值，结合相关系数可以发现，只有rerd
beta
与v
‑
miq是负相关，其他均是正相关，上述相关性初步证明了多元回归模型的合理性。最后，根据表中回归分析方程的拟合优度r2，可以看到预测的拟合效果良好，预测值与真实值之间差异较小，实现了对运动想象神经响应特征强度的有效检测。
[0084]
综上，本发明所提供的技术方案依托单人行为测试(测试时长小于30min)，无需任何高价设备，结合多元线性回归预测模型，即可快速检测手、足肢体运动想象的神经响应特征强度，为高效、低成本地筛选适合运动想象脑
‑
机接口的使用者提供了切实可行的技术方法。
[0085]
本发明设计了一种基于行为测试的运动想象神经响应能力快速检测装置。该项发明可以拓展运动想象脑
‑
机接口在残疾人康复、电子娱乐、工业控制等领域中的应用适应性，节省大量经济、人力和时间成本，有望获得可观的社会效益和经济效益。
[0086]
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，
只要能完成上述功能的器件均可。
[0087]
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0088]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。