一种混合脑机接口的目标呈现方法及装置

1.本公开涉及脑机接口技术领域，尤其涉及一种混合脑机接口的目标呈现方法及装置。


背景技术：

2.脑机接口是一种将大脑神经活动解码为特定指令，实现大脑与外部设备交互的通信或控制系统。无创脑机接口以非侵入性的神经成像技术采集大脑信号，如功能性磁共振成像，功能性近红外成像，脑磁图，脑电图等。脑电图因其高时间分辨率，便携和低成本的特点在脑机接口研究中得到广泛应用。
3.稳态视觉诱发电位脑机接口和运动想象脑机接口是两种经典的基于脑电的单模态脑机接口。稳态视觉诱发电位脑机接口依赖于用户注视按一定频率周期变化的视觉刺激时所诱发的包含刺激频率及其高次谐波成分的周期性响应，即稳态视觉诱发电位。这类脑机接口信噪比高，可编码目标数量多，常用于高通讯速率脑机接口系统的构建。运动想象脑机接口则采用用户进行身体不同部位运动的心理模拟时自发的脑电模式来表征用户主观意图。自发脑电相比于稳态视觉诱发电位信噪比较低，可用于分类的脑电模式较少，运动想象脑机接口的脑机接口盲的比例在几种经典脑机接口中较高；但这类脑入信号或模态的固有缺点，在性能和适用人群方面受到一定制约，因此近年来多种信号融合所构建的多模态脑机接口，或称混合脑机接口，得到了蓬勃发展。混合脑机接口通过多种信号的组合扩展了现有的控制能力，提高了系统的实用性，鲁棒性和普适性。例如，同步结合运动想象和稳态视觉诱发电位的混合脑机接口通过增加可分类特征，有效改善了运动想象脑机接口盲现象。
4.其中，公开号为cn 102866775a的“基于多模式融合的脑机接口控制系统及方法”中，用户通过凝视闪烁的发光二极管，并同时根据声音提示进行运动想象的方法执行混合任务；公开号为cn 103699216 b 的“一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法”以及公开号为cn 103699217 a的“一种基于运动想象和稳态视觉诱发电位的二维光标运动控制系统及方法”中，用户均需要在凝视计算机屏幕上闪烁的刺激键的同时进行运动想象的方法执行混合任务。
5.现有的上述方案中，为了诱发稳定的稳态视觉诱发电位，用于进行闪烁的刺激键均使用如方块或箭头等部件，观察者需要将视觉上的注意力集中在这类部件进行闪烁所带来的刺激上，同时还需要对如上述方块或箭头等部件进行运动想象的任务，这些方式所执行的两种任务相关性很差，容易出现忘记运动想象或者专注想象而减少视觉上的注意力的情况。


技术实现要素：

6.本公开提供一种混合脑机接口的目标呈现方法及装置，以至少解决现有技术中存在的以上技术问题。
7.本公开一方面提供一种方法，包括采集目标图片，所述目标图片的内容为身体部位；所述身体部位对应第一运动状态和第二运动状态，所述目标图片包括对应所述第一运动状态的第一状态子图片和对应所述第二运动状态的第二状态子图片；确定所述目标图片的切换频率和闪烁频率；呈现所述目标图片，以在用户凝视所述目标图片时引导所述用户执行运动想象任务，所述呈现的目标图片中，所述第一状态子图片和所述第二状态子图片之间以所述切换频率进行切换，所述第一状态子图片和所述第二状态子图片均以所述闪烁频率进行闪烁。
8.在一可实施方式中，所述呈现所述目标图片，该方法还包括：同时呈现多组所述目标图片，以使用户凝视任一组所述目标图片，并通过被凝视的所述目标图片引导用户执行运动想象任务。
9.在一可实施方式中，所述采集目标图片后，该方法还包括：按照所述身体部位对所述目标图片进行分类，得到与所述身体部位对应的集合，每个集合中包括至少一组目标图片。
10.在一可实施方式中，所述确定所述目标图片的闪烁频率和切换频率，包括：确定所述目标图片的闪烁频率和切换频率，以使用户执行凝视时产生特定频率的稳态视觉诱发电位，且使同一所述集合中的多组目标图片中每组目标图片对应的所述特定频率均不同；所述特定频率根据所述闪烁频率和切换频率得到。
11.在一可实施方式中，所述特定频率根据所述闪烁频率和切换频率得到，包括：将所述闪烁频率与第一变量相乘得到第一子频率，将所述切换频率与第二变量相乘得到第二子频率；所述第一变量和所述第二变量为正整数；将所述第一子频率与所述第二子频率相加或相减，得到所述特定频率。
12.在一可实施方式中，所述确定所述目标图片的闪烁频率和切换频率，包括：确定同一所述集合的、以及不同所述集合的所述目标图片的闪烁频率一致，以引导用户关注于运动想象；确定不同所述集合的所述目标图片对应的所述特定频率不同，以引导用户关注于对身体部位的控制。
13.在一可实施方式中，所述闪烁频率大于等于30。
14.在一可实施方式中，所述切换频率大于等于0.5小于等于1.5。
15.本公开另一方面提供一种装置，包括：采集模块，用于采集目标图片，所述目标图片的内容为身体部位；所述身体部位对应第一运动状态和第二运动状态，所述目标图片包括对应所述第一运动状态的第一状态子图片和对应所述第二运动状态的第二状态子图片；处理模块，用于确定所述目标图片的切换频率和闪烁频率；呈现模块，用于呈现所述目标图片，以在用户凝视所述目标图片引导所述用户执行运动想象任务，所述呈现的目标图片中，第一状态子图片和所述第二运动状态之间以所述切换频率进行切换，所述第一状态子图片和所述第二状态子图片均以所述闪烁频率进行闪烁。
16.在一可实施方式中，所述呈现模块，还用于同时呈现多组所述目标图片，以使用户凝视任一组所述目标图片，并通过被凝视的所述目标图片引导用户执行运动想象任务。
17.基于上述方案，本公开通过引入展示身体部位的目标图片，确定目标图片中身体部位运动状态的切换频率，即第一状态子图片和第二状态子图片的切换频率，在用户执行凝视任务接收视觉刺激的同时，展现身体部位的第一运动状态和第二运动状态，加强用户执行运动想象任务时的画面感，降低现有两种任务混合执行的难度，提高用户同时执行凝视和运动想象两种任务的相关性。
附图说明
18.图1所示为本公开一实施例提供的混合脑机接口的目标呈现方法的流程示意图；图2所示为本公开一另实施例提供的混合脑机接口的目标呈现方法的流程示意图；图3所示为本公开一实施例提供的混合脑机接口的目标呈现装置的结构示意图。
具体实施方式
19.为使本公开的目的、特征、优点能够更加的明显和易懂，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而非全部实施例。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
20.为了提高用户执行凝视和运动想象任务的相关性，如图1所示，本公开一实施例提供了一种混合脑机接口的目标呈现方法，包括：步骤101，采集目标图片，所述目标图片的内容为身体部位；所述身体部位对应第一运动状态和第二运动状态，所述目标图片包括对应所述第一运动状态的第一状态子图片和对应所述第二运动状态的第二状态子图片；在一示例中，身体部位包括左手、右手、双脚和舌头等，左手和右手对应的第一运动状态为张开，对应的第二运动状态为闭合；双脚对应的第一运动状态为抬起，对应的第二运动状态为落下；舌头对应的第一运动状态可为抬起或翘起，对应的第二运动状态可为落下或下压，由于舌头的运动状态以及运动时的频率不够直观，本示例中不再多加描述。
21.因此，当目标图片的内容所展示的身体部位为右手时，目标图片包括右手呈现张开的第一状态子图片和右手呈现闭合的第二状态子图片；当目标图片的内容所展示的身体部位为左手时，目标图片包括左手呈现张开的第一状态子图片和左手呈现闭合的第二状态子图片；当目标图片的内容所展示的身体部位为双脚时，目标图片包括双脚呈现抬起的第一状态子图片和双脚呈现落下的第二状态子图片；应该理解的是，目标图片的内容所展示的身体部位不局限于上面列举的几种，此处仅为举例，在此不做具体限定。
22.步骤102，确定所述目标图片的切换频率和闪烁频率；为了同步结合用户的运动想象和稳态视觉诱发电位，采集用户的混合脑电信号，需要采取对视觉的刺激和对运动状态想象的刺激。
23.用户需要同时执行凝视任务和身体部位的运动想象任务，为此需要对目标图片的闪烁频率和切换频率进行确定。
24.步骤103，呈现所述目标图片，以在用户凝视所述目标图片时引导所述用户执行运动想象任务，所述呈现的目标图片中，所述第一状态子图片和所述第二状态子图片之间以所述切换频率进行切换，所述第一状态子图片和所述第二状态子图片均以所述闪烁频率进行闪烁；由于一组目标图片只有一个闪烁频率，而一组目标图片包括第一状态子图片和第二状态子图片，因此第一状态子图片和第二状态子图片以同一个闪烁频率进行闪烁。
25.为了使用户在凝视目标图片的同时更好的执行运动想象任务，以增强用户进行对运动想象的画面感，需要对第一状态子图片和第二状态子图片进行来回切换，这个切换的频率则为目标图片的切换频率，则切换频率可表征对应的身体部位的运动频率。
26.例如，目标图片的内容所展示的身体部位为右手，第一状态子图片为右手张开，第二状态子图片为右手闭合，假设以一秒一次的频率对第一状态子图片和第二状态子图片进行切换，在用户凝视该目标图片时，看到的便是一秒内完成右手张开再右手闭合，下一秒右手张开再右手闭合，再一秒如此重复。
27.再例如，由于目标图片还同时以闪烁频率进行闪烁，假设以一秒四次的频率进行闪烁，结合上述以目标图片的内容展示为右手、一秒一次的切换频率来说，用户凝视该目标图片时，看到的便是一秒内完成右手张开再右手闭合，同时右手张开闪烁两次，右手闭合闪烁两次，下一秒时继续右手张开再右手闭合，同时右手张开闪烁两次，右手闭合闪烁两次，再一秒如此重复。
28.需要强调的是，此处的闪烁频率和运动频率仅为举例以进行说明，并非实际的频率数值，具体的闪烁频率和运动频率的确定，应根据具体实验要求调整，在此不做具体限定。
29.在一示例中，目标图片可以有多组。目标图片根据其内容的身体部位构成对应的集合，同种身体部位对应的集合包括多组目标图片；例如，身体部位有左手、右手和双脚，即便每种身体部位以一组目标图片的方式展示，也至少存在三组目标图片，分别展示了左手、右手和双脚。
30.此外，每种身体部位也可通过多组目标图片的方式展示，以展示的身体部位为右手为例，可以呈现多组目标图片用于展示右手，此种情况下，右手对应的集合中，应包括了多组展示的身体部位为右手的目标图片。
31.为了扩大目标数量以得到更多的采集结果，对于左手、右手和双脚，即对应每种身体部位的集合都采集多组目标图片。
32.在一示例中，同一集合中的多组目标图片，其内容展示为相同身体部位，确定这些目标图片的闪烁频率和切换频率，以使用户在凝视目标图片时产生特定频率的稳态视觉诱发电位，且使同一集合中的多组目标图片中每组目标图片对应的特定频率均不同；可以理解的是，此处的特定频率为稳态视觉诱发电位的特定频率。因此，至少需要用户在看到目标图片并执行混合任务时，引发的稳态视觉诱发电位有所区别，而要达到这个效果，则至少保证展示同一身体部位的目标图片对应的稳态视觉诱发电位的特定频率互不相同。
33.特定频率通过闪烁频率和切换频率共同作用得到，因此需要确定闪烁频率和切换频率，即配置合适的闪烁频率和切换频率。
34.在一示例中，可按如下公式得到特定频率：
m、n和j为正整数，i为身体部位对应的标识，j为第i个身体部位对应集合内的第j组目标图片，f为闪烁频率，f为切换频率。
35.即将闪烁频率与第一变量相乘得到第一子频率，将切换频率与第二变量相乘得到第二子频率；第一变量和所述第二变量为正整数；将第一子频率与第二子频率相加或相减，得到特定频率。
36.例如，身体部位包括左手、右手和双脚，左手对应的标识为1，右手对应的标识为2，双脚对应的标识为3，每个身体部位对应的集合内都具有三组目标图片。则左手对应的集合内，目标图片的闪烁频率分别为、、，目标图片的切换频率分别为、、; 右手对应的集合内，目标图片的闪烁频率分别为、、，目标图片的切换频率分别为、、；双脚对应的集合内，目标图片的闪烁频率分别为、、，目标图片的切换频率分别为、、。
37.再例如，在一示例中，》》,类似于一种载波，将较为低频的及其谐波频率调制到较高的及其谐波频率上，由于在稳态视觉诱发电位中三次谐波的频率成分相对微弱，在获取特定频率的时候通常只检测二次谐波，因此，利用上述公式得到特定频率时，m取1或2，n取1或2即可，如此，通过m和n取值的全部组合，上述公式便可得到8个特定频率。
38.确定对应左手的集合中的第一组目标图片的闪烁频率为30，切换频率为1，取m为1或2，n为1或2，即存在m=1,n=1、m=1,n=2、m=2,n=1以及m=2,n=2四种取值组合，根据上述公式中的加减操作，可以得到8个特定频率，分别为：28，29，31，32，58，59，61，62。
39.确定对应左手的集合中的第二组目标图片的闪烁频率为30，切换频率为2，取m为1或2，n为1或2，即存在m=1,n=1、m=1,n=2、m=2,n=1以及m=2,n=2四种取值组合，根据上述公式中的加减操作，可以得到8个特定频率，分别为：26，28，32，34，56，58，62，64。其中，特定频率28、32、58和62与第一组目标的特定频率有相同部分，因此需要重新确定闪烁频率和切换频率，如重新确定第二组目标图片的切换频率为1.5，闪烁频率为30不变，取m为1或2，n为1或2，根据上述公式，可以得到8个特定频率，分别为：27，28.5，31.5，33，57，58.5，61.5，63。此时，第二组目标图片的特定频率与第一组目标图片的特定频率没有相同部分，因此，可确定闪烁频率为30，切换频率为1.5作为第二组目标图片的编码频率。
40.因此，用户在凝视通过不同编码频率的目标图像所带来的视觉刺激时，能够产生可区分的稳态视觉诱发电位脑电信号。
41.在一示例中，同时呈现多组目标图片，以使用户凝视任一组目标图片，通过被凝视的目标图片引导用户执行运动想象任务。其中，多组目标图片属于不同集合，因此呈现的多组图片既包括展示不同身体部位的目标图片，也包括展示同一部位的目标图片，但同一部位的目标图片对应的特定频率不同。
42.在一示例中，本方法在确定目标图片的闪烁频率和切换频率时，可以结合不同的应用场景，在上述方案的基础上，针对性的进行调整。
43.例如，若重点在于关注用户的运动想象能力，如应用于脑卒中患者的运动康复场景，可以减少目标图片的总数，令同一集合的、以及不同集合的目标图片的闪烁频率一致，即==。此外，在此基础上，还可令同一集合的、以及不同集合的目标图片的切换频率均不同，即，此处仅为举例，并非代表存在9组目标图片以供调整切换频率，具体应在选取要求的基础上根据实际情况进行适应性调整，在此不做具体限定。因此，可以进一步保证用户更多的关注身体部位的类型和身体部位运动速度的差异。
44.再例如，若重点关注用户对身体部位的控制，增加与身体部位相关的控制指令的数量，则合理选择目标图片的闪烁频率和切换频率，不必限制闪烁频率一致，相对于更关注用户运动想象带来的目标图片数量的局限上，进一步扩大目标图片的数量，在同一集合内多组目标图片之间的特定频率不同的基础上，确定不同集合的多组目标图片之间的特定频率也区别设置。应该理解的是，本方案是基于不同集合的多组目标图片之间的特定频率可以相同也可以不同，再进一步限定的。打个比方，右手对应集合内的多组目标图片对应的特定频率各不相同，左手、右手和双脚对应的不同集合内的多组目标图片之间对应的特定频率也各不相同。将左手、右手和双脚对应的不同集合之间的特定频率设置不同，可以进一步扩大目标图片之间的呈现差异。
45.在一示例中，由于运动想象脑电信号的特定频率在8-30之间，如果目标图片的闪烁频率也在这一频率范围内，则可能会干扰后续对运动想象脑电信号的特征提取。因此，本方案确定闪烁频率大于等于30。在进行后续的处理时，影响运动想象脑电信号的部分稳态视觉诱发电位脑电信号会被滤除，避开执行运动想象任务时能量变化明显的特征频率范围，保证了凝视任务和运动想象混合执行的精度。同时，目标图片采用30以上的闪烁频率，可降低因闪烁带来的视觉疲劳，进一步的提升了用户执行凝视和运动想象任务时的舒适性。
46.在一示例中，通过设置切换频率大于等于0.5小于等于1.5，以引导用户在合适的感知范围内执行运动想象任务。
47.本公开通过引入展示身体部位的目标图片，确定目标图片中身体部位运动状态的切换频率，即第一子状态图片和第二子状态图片的切换频率，在用户执行凝视任务接收视觉刺激的同时，展现身体部位的第一运动状态和第二运动状态，加强用户执行运动想象任务时的画面感，降低现有两种任务混合执行的难度，提高用户同时执行凝视和运动想象两种任务的相关性。
48.此外，目标图片所直观展示的身体部位，对应的切换频率即身体部位的运动频率，既可以用来诱发稳态视觉诱发电位，又可以作为视觉提示，避免用户凝视单纯的led组件或亮度均匀的闪烁目标时空想身体部位的运动，降低混合任务执行的难度。
49.在一示例中，如图2所示，本公开还提供了一种利用上述方法进行混合脑机接口的目标呈现的具体实施例，如下所述：201，确定三种身体部位，每个身体部位对应三组目标图片；本方案中一共采集9组目标图片，分别为左手对应的集合内的目标图片，闪烁频率
分别为、、，切换频率分别为、、; 右手对应的集合内的目标图片，闪烁频率分别为、、，切换频率分别为、、；双脚对应的集合内的目标图片，闪烁频率分别为、、，切换频率分别为、、。
50.202，选用屏幕刷新率为120的显示器，为步骤201中的各组目标图片确定对应的闪烁频率和切换频率；其中，确定，，，j=1,2,3；由于闪烁频率35 hz非屏幕刷新率120 hz的整数分频，因此目标的闪烁刺激均采用正弦编码方法，即通过调整每帧亮度值，使其按照正弦波规律变化，从而实现所需的刺激频率。为每种身体部位对应的集合内的多组目标图片分别赋予不同的切换频率，，，，i=1,2,3,即显示器分别以每100帧，75帧和60帧切换一次身体部位的运动状态。
51.以为例，通过120除以0.6，得到200帧，则表明在200帧内需要完成左手在张开和闭合的状态展示，因此每100帧则进行一次左手张开和闭合的切换。
52.203，将9组目标图片呈现在显示器上，以使用户凝视任一组目标图片，并同时执行凝视和运动想象任务；用户在凝视通过不同编码频率的目标图像所带来的视觉刺激时，产生可区分的稳态视觉诱发电位脑电信号；用户在想象不同类型的身体部位进行运动时，产生可区分的运动想象脑电信号；通过不同的稳态视觉诱发电位脑电信号和运动想象脑电信号组合产生可区分的混合脑电信号。
53.因此，通过采集用户执行203步骤所产生的混合脑电信号，即可提取稳态视觉诱发电位脑电信号和运动想象脑电信号的特征。
54.本公开一实施例还提供了一种混合脑机接口的目标呈现装置，如图3所示，该装置包括：采集模块10，用于采集目标图片，所述目标图片的内容为身体部位；所述身体部位对应第一运动状态和第二运动状态，所述目标图片包括对应所述第一运动状态的第一状态子图片和对应所述第二运动状态的第二状态子图片；处理模块20，用于确定所述目标图片的切换频率和闪烁频率；呈现模块30，用于呈现所述目标图片，以在用户凝视所述目标图片时引导所述用户执行运动想象任务，所述呈现的目标图片中，所述第一状态子图片和所述第二状态子图片之间以所述切换频率进行切换，所述第一状态子图片和所述第二状态子图片均以所述闪烁频率进行闪烁。
55.所述呈现模块30，还用于同时呈现多组所述目标图片，以使用户凝视任一组所述目标图片，并通过被凝视的所述目标图片引导用户执行运动想象任务。
56.所述采集模块10，还用于按照所述身体部位对所述目标图片进行分类，得到与所述身体部位对应的集合，每个集合中包括至少一组目标图片。
57.除了上述方法和装置以外，本技术的实施例还可以是计算机程序产品，其包括计
算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的方法中的步骤。
58.所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
59.此外，本技术的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的方法中的步骤。
60.所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、光纤、便携式紧凑盘只读存储器（cd-rom）、光存储器件、磁存储器件、或者上述的任意合适的组合。
61.以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
62.本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“如但不限于”，且可与其互换使用。
63.还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
64.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
65.为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。