一种运动方向的预测方法、装置、设备和存储介质与流程

本发明实施例涉及人机交互领域，尤其涉及一种运动方向的预测方法、装置、设备和存储介质。

背景技术：

随着人工智能技术的快速发展，脑机接口(braincomputerinterface，bci)技术已经广泛的应用成人们的日常生活中；bci技术是指通过获取生物大脑中的脑电信号，将脑电信号对应转换为外部设备的控制信号，以控制该外部设备进行相应运动。

现有的bci技术大多应用于康复机器人领域，通过脑电信号控制机器人运动；此时参与者需要在较强的视觉或听觉刺激调制下，保持高度的注意力来持续想象当前需要进行的运动，从而使参与者的脑电信号出现明显的波动，并通过分析脑电信号的波动状况控制机器人进行相应运动。

现有方案需要参与者时刻保持高度的注意力，且大脑被动想象上肢运动方向的时间较长，此时参与者易疲劳，无法时刻应用bci技术，降低使用体验；同时不同参与者的个体差异较大，存在一定的人体上肢运动预测误差，降低了运动预测的准确性。

技术实现要素：

本发明实施例提供了一种运动方向的预测方法、装置、设备和存储介质，无需人为控制脑电信号产生明显波动，提高运动方向预测的准确性。

第一方面，本发明实施例提供了一种运动方向的预测方法，该方法包括：

根据待测对象的脑电数据以及脑电分布位置，确定对应的脑电图像；

将所述脑电图像输入预先构建的方向预测模型中，得到所述待测对象的运动方向。

第二方面，本发明实施例提供了一种运动方向的预测装置，该装置包括：

脑电图像确定模块，用于根据待测对象的脑电数据以及脑电分布位置，确定对应的脑电图像；

运动方向预测模块，用于将所述脑电图像输入预先构建的方向预测模型中，得到所述待测对象的运动方向。

第三方面，本发明实施例提供了一种设备，该设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的运动方向的预测方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的运动方向的预测方法。

本发明实施例提供的一种运动方向的预测方法、装置、设备和介质，通过待测对象的脑电数据以及脑电分布位置，确定对应的脑电图像，也就是将分布在头皮不同空间位置下的脑电数据相应转换到对应脑电图像的不同图像特征区域内，同时将脑电图像输入到预先构建的方向预测模型中，直接得到待测对象的运动方向，本方案利用脑电数据的空间分辨性，根据脑电分布位置将脑电数据转换为脑电图像，进而通过方向预测模型对脑电图像进行分析，实现待测对象在自然状态下的运动方向预测，提高了运动方向预测的准确性，同时无需要求待测对象人为控制脑电信号产生明显波动，避免待测对象个体差异大导致预测可靠性差的问题，扩展了运动方向预测的适用范围。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1a为本发明实施例一提供的一种运动方向的预测方法的流程图；

图1b为本发明实施例一提供的方法中方向预测网络模型的示意图；

图2a为本发明实施例二提供的一种运动方向的预测方法的流程图；

图2b为本发明实施例二提供的运动方向的预测过程的原理示意图；

图3为本发明实施例三提供的一种运动方向的预测方法的流程图；

图4为本发明实施例四提供的一种运动方向的预测装置的结构示意图；

图5为本发明实施例五提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1a为本发明实施例一提供的一种运动方向的预测方法的流程图，本实施例可适用于任一种通过bci技术预测用户运动方向的情况中。本实施例提供的一种运动方向的预测方法可以由本发明实施例提供的运动方向的预测装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的设备中，该设备可以是具备数据处理能力的服务器。

具体的，参考图1a，该方法可以包括如下步骤：

s110，根据待测对象的脑电数据以及脑电分布位置，确定对应的脑电图像。

具体的，由于现有的利用bci技术来分析大脑皮层各区域神经元的活动，来判断用户的运动意图时，大多依赖于刺激式运动引导，使用户长时间保持较高的专注力来被动想象当前需进行的运动，此时极大增加了大脑的思维负担和精神压力，例如在应用于康复机器人领域时，患者在运动时需要时刻想象下一步的运动状态，激发特定区域的放电，以便通过分析脑电的波动状态确定患者的运动意图，从而控制康复机器人执行对应的康复训练，此时对于患者大脑的精神力要求较高，无法时刻采用bci技术；因此本实施例通过对分布在大脑皮层不同区域的神经元活动统一进行分析，此时可以获取具有较高空间分辨率的脑电数据，从而对不同区域的脑电数据进行分析，无需用户保持较高专注力来持续被动想象下一步的运动，在自然思维状态下便可实现大脑运动意图的确定。其中，本实施例中的脑电数据是指待测对象在自然思维状态下，通过某一脑电采集设备采集的大脑皮层各区域神经元的活动状况；脑电分布位置是指脑电采集设备通过与头皮之间进行电接触而采集脑电数据时电极接触所在的位置。

可选的，脑电采集设备上具有多个电极触角，用于检测大脑皮层神经元的活动状态，在采集脑电数据前，可以将电极与待测对象头皮的不同位置对应接触，以便检测大脑皮层不同位置的神经元活动，此时本实施例可以获取到待测对象的脑电数据，以及脑电数据采集时在头皮对应的脑电分布位置，此时该脑电分布位置属于三维空间下的位置分布，为了提高不同脑电分布位置对应的脑电数据的分析准确性，本实施例可以根据一定规则将三维空间下的脑电分布位置转换至二维平面下的像素坐标，使得不同的脑电分布位置与平面中的像素坐标点一一对应，并根据各个脑电分布位置对应的脑电数据的电波特征确定二维平面中对应像素坐标点处的图像特征，从而得到对应的脑电图像。

示例性的，本实施例中待测对象可以通过佩戴脑电帽来采集脑电数据，其中脑电帽中预先设置固定的电极空间位置，进而在采集脑电数据时，也可以对应的脑电分布位置。

s120，将脑电图像输入预先构建的方向预测模型中，得到待测对象的运动方向。

具体的，方向预测模型是预先通过大量历史脑电数据对应的历史脑电图像以及为该历史脑电数据对应标注的运动方向标签进行训练生成的神经网络模型，能够根据任一脑电图像实现运动方向的预测。本实施例在根据待测对象的脑电数据以及脑电分布位置确定对应的脑电图像后，可以将该脑电图像输入到预先构建的方向预测模型中，方向预测模型通过训练后各个网络参数和对应权重参数对该脑电图像进行分析，进而确定待测对象的运动方向。

可选的，本实施例中的方向预测模型由两层卷积层和两层全连接层组成，在根据待测对象的脑电数据以及脑电分布位置，确定对应的脑电图像之前，首先需要对该方向预测模型进行训练，此时需要获得对应的训练样本；因此本实施例中还可以包括：根据至少一个受试对象在不同任务运动引导下的历史脑电数据以及对应的运动方向标签，构建对应的脑电样本库。

其中，受试对象是指构建脑电样本库时所选用的任一用户，本实施例中受试对象可以在佩戴相应的脑电采集设备后，可以利用eprime软件对受试对象进行任务运动引导，也就是指示受试对象进行下一步的运动，其中eprime软件是一套用于计算机化行为研究的实验生成系统，具有高等的图形设计环境，涵盖从实验生成到毫秒精度的数据收集与初步分析等功能，提供革命性的新工具，以加速实验发展。具体的，受试对象在eprime软件的引导下执行对应运动，此时利用脑电采集设备采集受试对象的脑电数据以及对应的运动方向，并为受试对象的脑电数据标注对应的运动方向标签，此时将受试对象的脑电数据作为历史脑电数据，通过历史脑电数据和对应的运动方向标签构建对应的脑电样本库；此外，为了保证方向预测模型的准确性，本实施例可以选用不同类型的受试对象，使脑电样本库中包含不同类型的受试对象的历史脑电数据，以便后续根据脑电样本库训练方向预测模型时，提高方向预测模型在预测个体差异大的不同待测对象的运动方向时的结果可靠性。

此外，本实施例中的方向预测模型为通过脑电样本库预先训练的深度强化学习(deepq-learningnetwork，dqn)网络。在训练时首先从脑电样本库中选择一个受试对象在初始状态下的历史脑电数据，并根据历史脑电数据和对应的脑电分布位置确定历史脑电图像，作为训练过程中的初始状态值，本实施例在模型训练中输入的状态值为当前时刻的历史脑电图像，进而通过dqn网络得到预测的运动方向，并且在训练过程中引入预测奖励r以及整体期望q，其中r表示在当前状态下执行预测动作后的当前收益，q表示在当前状态下执行预测动作后的整体收益，与下一时刻的状态值相关；此时将初始状态值s，也就是受试对象初始时刻的历史脑电图像，如图1b所示，输入到预先构建的卷积神经网络(convolutionalneuralnetworks，cnn)中，该cnn网络在各个卷积层和全连接层具有初始的网络权重参数，以此对初始状态值s进行前向分析，并根据初始状态值s对应的运动方向标签确定各个运动方向对应的r值和q值，此时为了保证训练的准确性，可以采用ε-greedy策略或者根据r值和q值确定对应的运动方向，由于q值与下一时刻下的状态值相关，因此本实施例中还可以获取下一状态值s’，也就是受试对象在下一时刻的历史脑电图像，将下一状态值s’输入cnn网络中，继续确定下一状态值s’在各个运动方向对应的q’值，计算在不同运动方向对应的最大q’值，同时将最大q’值与奖励r的和设置为目标收益，同时以目标收益与当前状态值对应的q值的平方差作为cnn网络的损失函数进行训练优化，并反向传播更新cnn网络中各层的网络权重参数，并获取新的历史脑电图像继续训练，直至训练过程中对应的损失低于预先设定的损失阈值，此时保证cnn网络具备准确预测运动方向的能力，将训练后的cnn网络作为本实施例中的方向预测模型。

本实施例提供的技术方案，通过待测对象的脑电数据以及脑电分布位置，确定对应的脑电图像，也就是将分布在头皮不同空间位置下的脑电数据相应转换到对应脑电图像的不同图像特征区域内，同时将脑电图像输入到预先构建的方向预测模型中，直接得到待测对象的运动方向，本方案利用脑电数据的空间分辨性，根据脑电分布位置将脑电数据转换为脑电图像，进而通过方向预测模型对脑电图像进行分析，实现待测对象在自然状态下的运动方向预测，提高了运动方向预测的准确性，同时无需要求待测对象人为控制脑电信号产生明显波动，避免待测对象个体差异大导致预测可靠性差的问题，扩展了运动方向预测的适用范围。

实施例二

图2a为本发明实施例二提供的一种运动方向的预测方法的流程图，图2b为本发明实施例二提供的运动方向的预测过程的原理示意图。本实施例是在上述实施例的基础上进行优化。具体的，本实施例主要对待测对象的脑电数据与脑电图像之间的转换过程进行详细的解释说明。

可选的，如图2a所示，本实施例中可以包括如下步骤：

s210，获取待测对象的脑电数据以及脑电分布位置。

具体的，本实施例在预测待测对象在下一时刻的运动方向时，首先需要待测对象佩戴某一脑电采集设备，以实时采集待测对象的脑电数据，以及脑电数据在采集时所对应的脑电分布位置，从而从脑电采集设备中获取待测对象的脑电数据以及脑电分布位置。

s220，将待测对象的脑电分布位置转换为对应的图像像素坐标。

可选的，由于脑电采集设备通常会将设置的电极与待测对象的头皮接触，以采集大脑皮层不同区域对应的脑电数据，此时待测对象的脑电分布位置属于三维空间下的位置分布；为了将脑电数据转换为对应的脑电图像，此时需要将三维空间下的脑电分布位置对应转换到二维平面中，如图2b所示，本实施例可以通过等距投影的方式依次将脑电分布位置投影为对应的图像像素坐标，此时不同的脑电分布位置在图像像素坐标中存在匹配的像素点，以便后续将各个脑电分布位置对应的脑电数据与图像像素坐标中对应的像素点关联，进而得到对应的脑电图像。例如，脑电采集设备为脑电帽时，可以将国际10-20标准导联的脑电帽中的采集电极空间位置按照方位等距投影的方式转换到二维坐标中。

s230，根据脑电数据在不同目标波段下的检测参数，确定图像像素坐标中各像素点的图像颜色分量，得到对应的脑电图像。

具体的，由于脑电波中与大脑活动最相关的波段分别为α波、β波和θ波，其中α波对应的频率为8-13hz，β波对应的频率为13-30hz，θ波对应的频率为4-8hz，因此将α波、β波和θ波作为本实施例中的目标波段，不考虑其他波段，提高脑电图像的转换效率。可选的，本实施例在将脑电分布位置转换为对应的图像像素坐标，将不同脑电分布位置与图像像素点关联后，可以确定图像像素坐标中每一像素点对应的脑电数据，也就是与该像素点匹配的脑电分布位置处的脑电数据，进而在每一像素点对应的脑电数据中提取出对应的α波、β波和θ波，并确定α波、β波和θ波中对应的检测参数；由于本实施例中预先设定检测参数与图像颜色分量之间的匹配关系，其中颜色分量通过rgb色彩模式中的三原色：红(r)、绿(g)和蓝(b)来表示，因此根据每一像素点对应的脑电数据中的α波、β波和θ波中的检测参数，可以确定该像素点的图像颜色分量，进而得到对应的脑电图像。

示例性的，本实施例中的检测参数可以是脑电数据中α波、β波和θ波对应的功率，同时可以通过rgb色彩模式中的三原色来判断脑电图像中各像素点的颜色，通过对红(r)、绿(g)和蓝(b)三个颜色通道的变化以及相互叠加来得到对应的图像颜色。本实施例中可以将α波、β波和θ波的功率与r、g和b三个颜色分量一一对应，设定α波的不同功率与r分量的匹配关系，设定β波的不同功率与g分量的匹配关系，设定θ波的不同功率与b分量的匹配关系；此时从图像像素坐标中每一像素点对应的脑电数据中提取出α波、β波和θ波后，可以分别对α波、β波和θ波进行傅里叶变换，计算出α波、β波和θ波的频率，并求解出在当前时段内α波、β波和θ波的功率，从而根据α波、β波和θ波的功率确定该像素点对应的r、g和b分量值，进而确定该像素点的图像颜色分量，按照相同的方式确定图像像素坐标中每一像素点对应的图像颜色分量，从而将脑电数据转换为对应的脑电图像。

s240，将脑电图像输入预先构建的方向预测模型中，得到待测对象的运动方向。

本实施例提供的技术方案，通过将待测对象的脑电分布位置转换为对应的二维图像像素坐标，并根据每一像素点对应的脑电数据在不同目标波段下的检测参数，确定该像素点的图像颜色分量，得到对应的脑电图像，同时将脑电图像输入到预先构建的方向预测模型中，直接得到待测对象的运动方向，本方案利用脑电数据的空间分辨性，根据脑电分布位置将脑电数据转换为脑电图像，进而通过方向预测模型对脑电图像进行分析，实现待测对象在自然状态下的运动方向预测，提高了运动方向预测的准确性，同时无需要求待测对象人为控制脑电信号产生明显波动，避免待测对象个体差异大导致预测可靠性差的问题，扩展了运动方向预测的适用范围。

实施例三

图3为本发明实施例三提供的一种运动方向的预测方法的流程图。本实施例是在上述实施例的基础上进行优化。具体的，如图3所示，本实施例中主要对于待测对象的脑电数据的获取过程进行详细的解释说明。

可选的，参展图3，本实施例中可以包括如下步骤：

s310，获取待测对象的原始检测数据。

可选的，由于脑电数据较为敏感，在待测对象通过佩戴的脑电采集设备采集对应信号时，待测对象的面部肌肉或者眼皮等轻微跳动，会引起采集信号包含除脑电数据之外的其他数据，因此本实施例通过脑电采集设备获取待测对象的原始检测数据，后续对该原始检测数据进行一系列处理，以便分解出对应的脑电数据。

s320，基于最大熵的独立成分分析ica算法对原始检测数据进行分解，得到不同信源类型的独立检测数据，并在不同信源类型的独立检测数据中筛选出脑电数据。

具体的，由于原始检测数据中包含有多种位于大脑不同区域的信号，也就是多种信源类型的信号，因此本实施例中需要对原始检测数据中的成分进行分析，本实施例采用现有的基于最大熵的独立成分分析(independentcomponentanalysis，ica)算法对原始检测数据进行分解，进而得到不同信源类型下的独立检测数据；示例性的，对于原始检测数据x＝[x1(t),x2(t),···,xq(t)]^t，可以根据统计独立的原则利用概率密度函数的泛函作为目标函数对x进行逆向求解，从而得到对应的独立检测数据s＝[s1(t),s2(t),···,sq(t)]^t，s中各分量之间相互独立。

此外，由于原始检测数据在采集过程中会因为环境因素存在一定的噪声干扰，因此在基于最大熵的独立成分分析ica算法对原始检测数据进行分解之前，还可以包括：利用自适应滤波器去除原始检测数据中的噪声干扰。此时通过自适应滤波器采用自适应算法过滤原始检测数据中掺杂的非特征频段的噪声，去除噪声干扰，提高原始检测数据的准确性。

进一步的，在原始检测信号中分解出多种不同信源类型的独立检测数据后，本实施例可以根据信源类型对眼电、肌电和心电等伪迹数据进行去除，从而筛选出对应的脑电数据。

s330，根据待测对象的脑电数据以及脑电分布位置，确定对应的脑电图像。

s340，将脑电图像输入预先构建的方向预测模型中，得到待测对象的运动方向。

本实施例提供的技术方案，通过去除原始检测数据中的噪声干扰，并基于最大熵的ica算法对原始检测数据进行分解，在多种信源类型的独立检测数据中筛选出脑电数据，提高脑电数据的准确性，同时利用脑电数据的空间分辨性，根据脑电分布位置将脑电数据转换为脑电图像，进而通过方向预测模型对脑电图像进行分析，实现待测对象在自然状态下的运动方向预测，提高了运动方向预测的准确性，同时无需要求待测对象人为控制脑电信号产生明显波动，避免待测对象个体差异大导致预测可靠性差的问题，扩展了运动方向预测的适用范围。

实施例四

图4为本发明实施例四提供的一种运动方向的预测装置的结构示意图，具体的，如图4所示，该装置可以包括：

脑电图像确定模块410，用于根据待测对象的脑电数据以及脑电分布位置，确定对应的脑电图像；

运动方向预测模块420，用于将脑电图像输入预先构建的方向预测模型中，得到待测对象的运动方向。

本实施例提供的技术方案，通过待测对象的脑电数据以及脑电分布位置，确定对应的脑电图像，也就是将分布在头皮不同空间位置下的脑电数据相应转换到对应脑电图像的不同图像特征区域内，同时将脑电图像输入到预先构建的方向预测模型中，直接得到待测对象的运动方向，本方案利用脑电数据的空间分辨性，根据脑电分布位置将脑电数据转换为脑电图像，进而通过方向预测模型对脑电图像进行分析，实现待测对象在自然状态下的运动方向预测，提高了运动方向预测的准确性，同时无需要求待测对象人为控制脑电信号产生明显波动，避免待测对象个体差异大导致预测可靠性差的问题，扩展了运动方向预测的适用范围。

进一步的，上述脑电图像确定模块410，可以包括：

像素坐标转换单元，用于将待测对象的脑电分布位置转换为对应的图像像素坐标；

脑电图像确定单元，用于根据脑电数据在不同目标波段下的检测参数，确定图像像素坐标中各像素点的图像颜色分量，得到对应的脑电图像。

进一步的，上述运动方向的预测装置，还可以包括：

样本库构建模块，用于根据至少一个受试对象在不同任务运动引导下的历史脑电数据以及对应的运动方向标签，构建对应的脑电样本库。

进一步的，上述方向预测模型为通过脑电样本库预先训练的dqn网络。

进一步的，上述运动方向的预测装置，还可以包括：

原始数据获取模块，用于获取待测对象的原始检测数据；

独立数据确定模块，用于基于最大熵的ica算法对原始检测数据进行分解，得到不同信源类型的独立检测数据；

脑电数据筛选模块，用于在不同信源类型的独立检测数据中筛选出脑电数据。

进一步的，上述运动方向的预测装置，还可以包括：

噪声去除模块，用于在基于最大熵的独立成分分析ica算法对所述原始检测数据进行分解之前，利用自适应滤波器去除原始检测数据中的噪声干扰。

本实施例提供的运动方向的预测装置可适用于上述任意实施例提供的运动方向的预测方法，具备相应的功能和有益效果。

实施例五

图5为本发明实施例五提供的一种设备的结构示意图，如图5所示，该设备包括处理器50、存储装置51和通信装置52；设备中处理器50的数量可以是一个或多个，图5中以一个处理器50为例；设备中的处理器50、存储装置51和通信装置52可以通过总线或其他方式连接，图5中以通过总线连接为例。

存储装置51作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中提供的运动方向的预测方法对应的程序指令/模块。处理器50通过运行存储在存储装置51中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述运动方向的预测方法。

存储装置51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置51可进一步包括相对于处理器50远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信装置52可用于实现设备间的网络连接或者移动数据连接。

本实施例提供的一种设备可用于执行上述任意实施例提供的运动方向的预测方法，具备相应的功能和有益效果。

实施例六

本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现上述任意实施例中的运动方向的预测方法。

该方法具体可以包括：

根据待测对象的脑电数据以及脑电分布位置，确定对应的脑电图像；

将脑电图像输入预先构建的方向预测模型中，得到待测对象的运动方向。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的运动方向的预测方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述运动方向的预测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。