一种基于情感脑机的行走意图诱发方法、装置及存储介质

1.本发明涉及脑电信号处理领域，尤其是涉及一种基于情感脑机的行走意图诱发方法、装置及存储介质。


背景技术：

2.脑-机接口(brain-computer interface，bci)技术是人在无外周神经系统和肌肉组织参与的条件下，通过计算机等电子设备输出控制信号，与外界环境进行交流的一种新型人机交互手段。情感脑机是通过bci技术对人脑的特定情感进行识别和调控的一种方式。对传统bci任务而言，由于大脑中数百亿神经元的功能和机制并没有被足够的理解和挖掘，这使得bci系统对于大脑信号的正确识别受到了制约。而且，脑信号受到来自环境和自身生理信号的多重干扰，更加使任务相关的信号难以被有效获取。
3.人体运动意图识别是脑机接口的重要应用，一般的方法是通过运动想象获取数据。运动准备是大脑对有关动作的预先思维准备，主要利用运动开始前的脑电数据检测其动作意图。与运动想象相比，运动准备诱发脑电响应快，信号反应时窗短，变化明显。因此通过检测运动准备诱发脑电特征，可大幅提升基于运动意图识别的脑机交互效率。基于运动想象脑电的运动意图识别中，测试者被要求不能运动，而是去想象运动的过程，这一过程称为运动想象范式。在此之后，采集的脑电信号将会在预处理后输入到多种机器学习模型中进行不同形式的分类。
4.脑电识别需要大量高质量的数据，在数据采集设备业已成熟的情况下，脑电数据的质量至关重要。
5.专利cn 110025452 b公开了发明公开了一种基于脑机接口的触觉反馈踝关节功能训练系统，包括用于被试者训练使用的训练椅；被试者界面模块，包括显示屏和主机，能够提供基于稳态视觉诱发的动画供被试者观看。该发明采用脑机接口的方式提取被试者脑电信号行触觉训练，实现主动意图训练；基于稳态视觉诱导技术的训练，模拟行走过程中步态周期，有助于被试者的本体感觉和异常步态训练。然而，运动意图识别的应用过程中仍存在一些问题，比如采集数据噪声明显，不同测试者的数据特征差异大，数据采集范式不统一导致的识别准确低等问题。由于运动想象过程的范式不同，导致分类模型的泛用性低，分类的结果可靠性不高。在一些行走意图的识别任务当中，采取了脑电信号之外的数据源，如大脑皮层血氧浓度和人体肌源电信号等。改变信号源的办法也未能从根本上解决脑信号受到来自环境和人脑意识主观的影响。


技术实现要素：

6.本发明的目的就是为了提供一种基于情感脑机的行走意图诱发方法、装置及存储介质，以提供一种标准化的行走意图脑电数据获取方法，提高脑机行走意图识别中的脑电信号质量和信噪比。
7.本发明的目的可以通过以下技术方案来实现：
8.一种基于情感脑机的行走意图诱发方法，包括以下步骤：
9.配置实验环境：根据脑机数据采集的要求配置实验环境，保证被试者处于安静的室内环境，远离大功率电器，尽可能营造专注的氛围，同时要求无头部或肢体晃动等动作，以避免发生与任务无关的肌肉收缩所造成的脑电信号变化；
10.创建虚拟行走环境，把真实世界中被试者的行为映射到虚拟行走场景中：根据需要诱发的脑机任务(行走意图)，创建虚拟行走场景，头戴式显示器会展示当前的虚拟场景，将当前映射的虚拟行走行为反馈给被试者；
11.根据情感刺激诱发过程在虚拟行走场景中设置行走路径和积分奖励策略；
12.基于不同的行走场景情感类型设定情感刺激任务；
13.实时检测运行的情感刺激任务，在情感刺激诱发过程中采集被试者的脑电信号并分段得到脑电信号片段；
14.对脑电信号片段进行预处理；
15.基于不同的行走场景情感类型对预处理后的脑电信号片段按照时间戳匹配对应的标签，输出带标签的脑电信号数据。
16.所述虚拟行走场景包括：
17.虚拟行走环境，包含一条清晰的行走路径和目的地；
18.虚拟行走角色，用于模拟行走，显示器实时反馈给被试者的画面来自跟随所述虚拟行走角色的摄像机。
19.所述行走场景情感类型包括行走、停止。
20.所述情感刺激任务包括：引导虚拟行走角色沿行走路径移动并行走至目的地，引导虚拟角色在距离目的地距离小于预配置的阈值时停止行走。
21.所述积分奖励策略为每完成一次情感刺激任务获得预配置分数的积分奖励。
22.所述脑电信号的采集采用32通道的bciduino设备，采样频率为1000hz。
23.所述对脑电信号片段进行预处理为采用5阶butterworth带通滤波器对脑电信号片段进行滤波，滤波范围为10-12hz和20-24hz。
24.所述标签与行走场景情感类型一一对应，包括行走、停止。
25.一种基于情感脑机的行走意图诱发装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述所述的方法。
26.一种存储介质，其上存储有程序，所述程序被执行时实现如上述所述的方法。
27.与现有技术相比，本发明具有以下有益效果：
28.(1)本发明通过创建虚拟的行走环境作为引导，模拟加入奖惩机制作为情感刺激，将真实世界中被试者的行为映射到虚拟现实环境中去，可以获得不带主观的、具有标准化的行走意图脑电数据。
29.(2)本发明采集的标准化行走意图脑电数据可以应用于脑机行走意图识别问题中，从一定程度上解决脑电信号质量低、信噪比低的问题。
附图说明
30.图1为本发明的方法流程图；
31.图2为情感刺激诱发过程；
32.图3为虚拟行走场景示意图；
33.图4为脑部导联通道示意图。
具体实施方式
34.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
35.一种基于情感脑机的行走意图诱发方法，如图1所示，包括以下步骤：
36.1)配置实验环境；
37.本实施例的实施环境要求整个测试过程在安静的室内环境完成，同时为保证实验电磁环境与信号采集质量，要求远离手机、笔记本电脑等通讯设备。被试者坐在距离显示器1m的扶手椅上，双手放置于扶手，并要求保持肌肉放松状态，无头部或肢体晃动等动作，以避免发生与任务无关的肌肉收缩所造成的脑电信号变化。
38.2)创建虚拟行走环境，把真实世界中被试者的行为映射到虚拟行走场景中；
39.根据需要诱发的脑机任务(行走意图)，创建虚拟行走场景，头戴式显示器会展示当前的虚拟场景，将当前映射的虚拟行走行为反馈给被试者。虚拟场景则会根据本次脑机接口数据采集任务，进一步推进场景发生变化。
40.3)根据情感刺激诱发过程在虚拟行走场景中设置行走路径和积分奖励策略；
41.本实施例采用unity3d引擎创建虚拟行走场景，如图3所示，包括：
42.虚拟行走环境，包含一条清晰的行走路径和目的地；
43.虚拟行走角色，用于模拟行走，显示器实时反馈给被试者的画面来自跟随所述虚拟行走角色的摄像机。
44.积分奖励策略为每完成一次情感刺激任务获得预配置分数的积分奖励。
45.4)基于不同的行走场景情感类型设定情感刺激任务；
46.行走场景情感类型包括行走、停止、左转弯、右转弯、快速行走等。本实施例中，对行走和停止这两个类型进行测试。
47.根据行走场景情感类型设定情感刺激任务：
48.任务一(行走前进任务)：引导虚拟行走角色沿行走路径移动并行走至目的地；
49.与之匹配的积分奖励政策为积分初始为0，每次抵达目的地积分加1；
50.任务二(停止任务)：引导虚拟角色在距离目的地距离小于预配置的阈值时停止行走；
51.与之匹配的积分奖励政策为在合适的位置正确停止行走积分加1。
52.通过完成积分任务和处理情境，使被试者在情感上趋于满足，在精神上趋于专注，进而改善行走想象问题中，脑电信号质量低，信噪比低等问题。
53.5)实时检测运行的情感刺激任务，在情感刺激诱发过程中采集被试者的脑电信号并分段得到脑电信号片段；
54.本实施例中，测试共分为10组，一组情感刺激周期80秒，每组包括行走前进任务、停止任务各1次，其过程如图2所示。
55.其中，一组虚拟行走步骤设置如下：
56.1)第0至20s，测试前提供虚拟场景的完整演示。向被试者发布任务，并安排被试者放松身体，调整呼吸。发布初始积分和需要达到的积分。即告知被试将会有1轮行走，包括要达到2m的积分。此任务为播放性质，不受被试者的控制，但无需向被试说明这一点。
57.2)第20至30s，给出虚拟任务提示，说明场景中与任务相关的物体。
58.3)第30至60s，开始虚拟行走播放，任务为沿道路走近房屋，引导被试依据虚拟场景当前的画面进行行走的想象。同时，采集第30s、36s、42s、48s、54s处时长为2s的脑电信号数据片段。
59.4)第60至70s，提示被试者已完成接近房屋的虚拟任务，即将进入下一任务。
60.5)第70至80s，虚拟行走播放进入收尾阶段，虚拟角色距房屋越来越近，最终在第80s处停下，引导被试者依据虚拟场景当前的画面进行停止行走的想象。同时，采集第70s、72s、74s、76s、78s处时长为2s的脑电信号数据片段。
61.测试时保持被试周围有一个安静的环境，被试每执行完一次虚拟步行任务后都需要进行时长为20秒的休息，并重置虚拟行走场景。
62.本实施例中，采用32通道的bciduino设备来获取脑电数据，采样频率为1000hz，电极帽采用国际10/20系统电极放置法，采集的10个电极通道分别为f1、f2、fc1、fc2、fc3、fc4、c1、c2、c3、c4，参考电极为cz，如图4所示。
63.脑电采集方式可以为脑电帽或其他，脑电采集通道对应运动感觉区即可，采集方式和采集通道的改变并不改变脑电诱发过程，亦能带来同样的效果。
64.6)对脑电信号片段进行预处理；
65.针对bci的研究主要集中于识别不同状态下脑电信号的变化，将外部信息与脑电关联，最终使脑电能够直接作为控制外部设备，从而实现人脑与外部设备的交互。典型的bci系统组成包含脑电信号采集、信号处理(包含信号预处理、特征提取和识别分类三部分)。由于外部因素的影响，采集到的原始脑电数据中包含了不相关的元素，例如频率为50hz不可避免的工频干扰。脑电信号预处理是将采集的信号中与行走意图相关的片段分离出来的手段。本实施例采用5阶butterworth带通滤波器对脑电片段进行滤波，滤波范围为mu(10-12hz)和beta(20-24hz)，对应大脑的运动感觉区。
66.7)基于不同的行走场景情感类型对预处理后的脑电信号片段按照时间戳匹配对应的标签，输出带标签的脑电信号数据。
67.运动意图识别中，一般采用共同空间模式(common spatial pattern,csp)和独立成分分析(independent component analysis,ica)对脑电信号进行特征提取。此问题下常用的机器学习方法包括支持向量机(support vector machine,svm)、线性判别分析(linear discriminant analysis,lda)、反向传播神经网络(backpropagation neural network,bpnn)和深度学习(deep learning,dl)，这些机器学习方法都需要带标签的脑电数据信号片段。本实施例中实时检测运行时的情感刺激任务，基于不同的行走场景情感类型，对每个被试者的脑电信号片段同时打上对应的标签，标签与行走场景情感类型一一对应，在本实施例中，标签包括行走、停止。标签还可以包括左转向、右转向、快速行走、慢速行走等。
68.上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说
对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
69.以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依据本发明的构思在现有技术的基础上通过逻辑分析、推理、或者有限的实验可以得到的技术方案，皆应在权利要求书所确定的保护范围内。