一种基于注意力机制的时频信息动态融合解码方法及装置与流程

1.本发明涉及运动神经信号解码技术领域，尤其涉及一种基于注意力机制的时频信息动态融合解码方法及装置。


背景技术：

2.侵入式脑机接口可以通过神经活动与外部设备直接通信，这在运动功能恢复和神经假体等临床应用中显示出巨大潜力。在侵入式脑机接口的临床应用中，如何解决脑信号中存在的时间漂移和噪声严重问题，从而实现准确且鲁棒的解码结果至关重要。从侵入式脑机接口的数据来源角度来看，典型的神经信号包括动作电位（锋电位）和局部场电位（场电位）。这两种类型的信号对与运动相关的信息进行不同的编码。对于锋电位来说，运动信息由单个神经元放电活动的时间和频率编码，该信号包含更准确和高精度的运动信息，但容易受到噪声的影响，稳定性较差；对于场电位来说，该信号反映了大量神经元的集群活动，其频域信息包含了可用于运动解码的丰富信息，虽然在时间和空间上都表现出较低的分辨率，但是数据模式稳定。因此，双方的融合可以潜在地提高神经解码的准确性和鲁棒性。
3.近年来，已经有许多学者基于锋电位和场电位的融合解码得到了更加准确且鲁棒的性能。这些研究证明了锋电位和场电位融合的有效性和必要性，但它们大多直接连接两个信号而忽略了它们之间的相互作用。特别是，锋电位信号和场电位信号中的时谱连接在不同的任务和条件下显示出动态变化的特性，而现有方法使用锋电位和场电位之间的固定组合，导致性能欠佳。因此，如何根据样本的数据特点动态调整锋电位和场电位的连接，从而实现信号间的动态融合，实现稳定且鲁棒的解码性能，是当前运动神经解码领域仍待解决的重要问题。


技术实现要素：

4.针对现有技术中存在的问题，本发明实施例提供一种基于注意力机制的时频信息动态融合解码方法及装置。
5.本发明实施例提供一种基于注意力机制的时频信息动态融合解码方法，包括：接收目标用户基于动作行为产生的神经信号，对所述神经信号进行预处理，获取所述神经信号中的锋电位信号和场电位信号，并基于所述锋电位信号提取不同时间步内的时域特征，基于所述场电位信号提取不同频段内的频域特征；基于不同时间步内的时域特征，通过线性转换得到不同时间步对应的表征因子，结合自注意力机制建模，通过模型确定不同时间步的关联性，并通过所述关联性动态增强所述时域特征；基于不同频段内的频域特征，通过线性转换得到不同频段对应的表征因子，结合自注意力机制建模，通过模型确定不同频段的关联性，并通过所述关联性动态增强所述频域特征；
基于动态增强后的时域特征及频域特征，通过线性转换得到动态增强后不同时间步对应的表征因子及不同频段对应的表征因子，结合交叉注意力机制建模，通过模型确定时域特征和频域特征之间的关联性，并基于所述关联性动态融合得到时频特征；根据所述动态融合后的时频特征，结合时域分类变量及频域分类变量，计算与所述时频特征对应的时域特征及频域特征，并通过所述时频特征对应的时域特征及频域特征计算解码结果。
6.在其中一个实施例中，所述表征因子，包括：查询表征、键表征和值表征。
7.在其中一个实施例中，所述方法还包括：基于不同时间步内的时域特征，结合所述查询表征、键表征和值表征对应的线性转换矩阵，结合对应的时间步，计算得到不同时间步对应的查询表征、键表征和值表征；通过每个时间步的查询表征计算与其余时间步的键表征之间的连接强度，并基于所述连接强度定义对应时间步的值表征加权的权重值，通过所述连接强度及权重值计算得到不同时间步对应的时域特征，并应用残差连接和带有层归一化的全连接前馈层进行所述时域特征的动态增强。
8.在其中一个实施例中，所述方法还包括：基于不同频段内的时域特征，结合所述查询表征、键表征和值表征对应的线性转换矩阵，结合对应的频段，计算得到不同频段对应的查询表征、键表征和值表征；通过每个频段的查询表征计算与其余频段的键表征之间的连接强度，并基于所述连接强度定义对应频段的值表征加权的权重值，通过所述连接强度及权重值计算得到不同频段对应的频域特征，并应用残差连接和带有层归一化的全连接前馈层进行所述频域特征的动态增强。
9.在其中一个实施例中，所述方法还包括：基于动态增强后的时域特征，学习得到对应的查询表征、键表征和值表征对应的线性转换矩阵，结合对应的时域特征，计算得到不同时间步对应的查询表征、键表征和值表征；基于动态增强后的频域特征，学习得到对应的查询表征、键表征和值表征对应的线性转换矩阵，结合对应的频域特征，计算得到不同频段对应的查询表征、键表征和值表征；通过每个时间步的查询表征计算与每个频段的键表征之间的连接强度，并基于所述连接强度定义对应频段的值表征加权的权重值，通过所述连接强度及权重值计算得到以时域特征为查询基的频域特征；通过每个频段的查询表征计算与每个时间步的键表征之间的连接强度，并基于所述连接强度定义对应时间步的值表征加权的权重值，通过所述连接强度及权重值计算得到以频域特征为查询基的时域特征；将所述以时域特征为查询基的频域特征、以频域特征为查询基的时域特征进行动态融合，得到对应的时频特征。
10.在其中一个实施例中，所述方法还包括：基于所述时频特征对应的时域特征及频域特征，结合所述动作行为的对应特征，
通过多层感知器计算所述解码结果的损失率。
11.在其中一个实施例中，所述方法还包括：将所述时域特征、频域特征的数据分为训练集数据、验证集数据和测试集数据；所述解码结果包括：训练集数据解码结果；所述通过所述时频特征对应的时域特征及频域特征计算解码结果之后，还包括：通过验证集数据对所述交叉注意力机制建模的对应模型拟合程度进行评估，选出评估结果中的最优模型，并结合所述测试集数据评估所述最优模型的模型性能。
12.本发明实施例提供一种基于注意力机制的时频信息动态融合解码装置，包括：接收模块，用于接收目标用户基于动作行为产生的神经信号，对所述神经信号进行预处理，获取所述神经信号中的锋电位信号和场电位信号，并基于所述锋电位信号提取不同时间步内的时域特征，基于所述场电位信号提取不同频段内的频域特征；第一建模模块，用于基于不同时间步内的时域特征，通过线性转换得到不同时间步对应的表征因子，结合自注意力机制建模，通过模型确定不同时间步的关联性，并通过所述关联性动态增强所述时域特征；第二建模模块，用于基于不同频段内的频域特征，通过线性转换得到不同频段对应的表征因子，结合自注意力机制建模，通过模型确定不同频段的关联性，并通过所述关联性动态增强所述频域特征；交叉建模模块，用于基于动态增强后的时域特征及频域特征，通过线性转换得到动态增强后不同时间步对应的表征因子及不同频段对应的表征因子，结合交叉注意力机制建模，通过模型确定时域特征和频域特征之间的关联性，并基于所述关联性动态融合得到时频特征；计算模块，用于根据所述动态融合后的时频特征，结合时域分类变量及频域分类变量，计算与所述时频特征对应的时域特征及频域特征，并通过所述时频特征对应的时域特征及频域特征计算解码结果。
13.本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于注意力机制的时频信息动态融合解码方法的步骤。
14.本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述基于注意力机制的时频信息动态融合解码方法的步骤。
15.本发明实施例提供的一种基于注意力机制的时频信息动态融合解码方法及装置，接收目标用户基于动作行为产生的神经信号，对神经信号进行预处理，获取神经信号中的锋电位信号和场电位信号，并基于锋电位信号提取不同时间步内的时域特征，基于场电位信号提取不同频段内的频域特征；基于不同时间步内的时域特征，通过线性转换得到不同时间步对应的表征因子，结合自注意力机制建模，通过模型确定不同时间步的关联性，并通过关联性动态增强时域特征；基于不同频段内的频域特征，通过线性转换得到不同频段对应的表征因子，结合自注意力机制建模，通过模型确定不同频段的关联性，并通过关联性动态增强频域特征；基于动态增强后的时域特征及频域特征，通过线性转换得到动态增强后
不同时间步对应的表征因子及不同频段对应的表征因子，结合交叉注意力机制建模，通过模型确定时域特征和频域特征之间的关联性，并基于关联性动态融合得到时频特征；根据动态融合后的时频特征，结合时域分类变量及频域分类变量，计算与时频特征对应的时域特征及频域特征，并通过时频特征对应的时域特征及频域特征计算解码结果。这样能够动态调整两种信号的融合方式，降低信号的变化对解码性能的影响，提高了神经解码对时间变化和噪声的鲁棒性，实现了更准确且鲁棒的神经解码。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明实施例中一种基于注意力机制的时频信息动态融合解码方法的流程图；图2为本发明实施例中一种数据集实验范式时序图；图3为本发明实施例中一种基于注意力机制的时频信息动态融合解码装置的结构图；图4为本发明实施例中电子设备结构示意图。
具体实施方式
18.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.图1为本发明实施例提供的一种基于注意力机制的时频信息动态融合解码方法的流程示意图，如图1所示，本发明实施例提供了一种基于注意力机制的时频信息动态融合解码方法，包括：步骤s101，接收目标用户基于动作行为产生的神经信号，对所述神经信号进行预处理，获取所述神经信号中的锋电位信号和场电位信号，并基于所述锋电位信号提取不同时间步内的时域特征，基于所述场电位信号提取不同频段内的频域特征。
20.具体地，对于目标用户下达动作指示后，目标用户产生动作行为，然后基于动作行为产生对应的神经信号，接收到神经信号后，对神经信号的预处理包括：信号的分类、去噪等等，即获取硬件记录的原始侵入式神经信号，预处理原始神经信号获取锋电位信号和场电位信号；基于锋电位信号，提取不同时间窗口下的发放率获取时域特征，基于场电位，提取不同频段的频带能量获取频域特征。
21.步骤s102，基于不同时间步内的时域特征，通过线性转换得到不同时间步对应的表征因子，结合自注意力机制建模，通过模型确定不同时间步的关联性，并通过所述关联性动态增强所述时域特征。
22.具体地，神经信号的时间相邻时间步的发放率之间的相互作用包含丰富的信息，
可用于准确的运动解码，本实施例利用自注意力机制对锋电位不同时间步之间的连接进行建模，基于连接关系动态增强时间序列中具有显著解码效果的时间步特征，以捕获锋电位时域上的动态关系模式，具体的计算方式可以包括：首先，将锋电位的时域特征到经过三种线性转换得到查询表征，键表征和值表征，其中，通过查询表征及键表征可以确定不同时间步之间的连接强度（关联性），通过值表征能够基于时间步之间的连接强度对不同时间步进行对应的权重分配，计算方式如下：其中，表示锋电位的时域特征，表示第个时间步的特征，共有个时间步；表示学习得到的查询表征，键表征和值表征的线性转换矩阵；表示从锋电位的时域特征学习得到的三种不同的表征；然后，基于自注意力机制对锋电位不同时间步特征的交互进行建模，具体地，通过值表征的加权和来定义自注意力注意特征，其中权重由自注意力的连接强度表征，自注意力的连接强度由和的点积相似度定义，具体通过每个时间步的查询表征计算与其余时间步的键表征确定。计算方式如下：其中，表示锋电位的时域特征经过自注意力机制学习后得到的表征，表示第个时间步的表征，共有个时间步。
23.最后，为了稳定训练，在自注意力特征后应用残差连接和带有层归一化的全连接前馈层进行时域特征的动态增强。
24.步骤s103，基于不同频段内的频域特征，通过线性转换得到不同频段对应的表征因子，结合自注意力机制建模，通过模型确定不同频段的关联性，并通过所述关联性动态增强所述频域特征。
25.具体地，由于场电位信号在各种频段中编码运动信息，且不同的任务范式中显著有效的频段特征不同，因此对不同频段信息之间的相互作用进行建模有利于有效的频域特征学习，与步骤s102的建模类似，本实施例利用自注意力机制对场电位不同频段之间的连接进行建模，基于连接关系动态增强频域中具有显著解码效果的频段特征，具体的计算方式可以包括：首先，将场电位的频域特征经过三种线性转换得到查询表征，键表征和值表征，计算方式如下：其中，
表示场电位的频域特征，表示第个频段的特征，共有个不同频段；表示学习得到的查询表征，键表征和值表征的线性转换矩阵；表示从场电位的频域特征学习得到的查询表征，键表征和值表征；然后，基于自注意力机制对场电位不同频段特征的交互进行建模，具体地，通过值表征的加权和来定义自注意力注意特征，其中权重由自注意力的连接强度表征，自注意力的连接强度由和的点积相似度定义，具体通过每个频段的查询表征计算与其余频段的键表征确定，计算方式如下：其中，表示场电位的频域特征经过自注意力机制学习后得到的表征，表示第个频段的表征，共有个不同频段。
26.最后，为了稳定训练，在自注意力特征后应用残差连接和带有层归一化的全连接前馈层进行频域特征的动态增强。
27.步骤s104，基于动态增强后的时域特征及频域特征，通过线性转换得到动态增强后不同时间步对应的表征因子及不同频段对应的表征因子，结合交叉注意力机制建模，通过模型确定时域特征和频域特征之间的关联性，并基于所述关联性动态融合得到时频特征。
28.具体地，由于大脑发出的信号是时刻动态变化的，故锋电位和场电位的连接关系和有效成分也随之动态变化，为了得到准确且鲁棒解码性能，基于交叉注意力机制，建模锋电位的时域特征和场电位的频域特征之间的连接强弱，以动态调整两种信号的融合方式，降低信号的变化对解码性能的影响，计算方式如下：首先，将锋电位的增强时域特征和场电位的增强频域特征经过线性转换得到的查询表征，键表征和值表征，计算方式如下：询表征，键表征和值表征，计算方式如下：其中，表示从锋电位的增强时域特征学习得到的查询表征，键表征和值表征，表示从场电位的增强频域特征学习得到的查询表征，键表征和值表征；表示从锋电位的增强时域特征()学习得到查询表征，键表征和值表征的线性转换矩阵，表示从场电位的增强频域特征()学习得到查询表征，键表征和值表征的线性转换矩阵；
然后，基于交叉注意力机制对锋电位的时域特征和场电位的频域特征之间的连接强弱进行建模，具体来说，交叉注意力的连接强度由和的点积相似度定义，频域特征到时域特征的交叉注意力的连接强度由和的点积相似度定义，计算方式如下：的点积相似度定义，计算方式如下：其中，表示以时域表征为查询基，经过交叉注意力机制，学习得到的频域表征； 表示以频域表征为查询基，经过交叉注意力机制，学习得到的时域表征；将以时域特征为查询基的频域特征、以频域特征为查询基的时域特征进行动态融合，得到对应的时频特征，为了稳定训练，在两层交叉注意力特征后应用残差连接和带有层归一化的全连接前馈层。
29.步骤s105，根据所述动态融合后的时频特征，结合时域分类变量及频域分类变量，计算与所述时频特征对应的时域特征及频域特征，并通过所述时频特征对应的时域特征及频域特征计算解码结果。
30.具体地，为了得到充分融合时频域的表征，本实施例在实时过程中包括两个可学习的时域和频域分类变量（），拼接在原始的锋电位时域特征和场电位频域特征前，作为模型的输入，然后计算得到对应的输出（）作为最终的任务表征，计算方式如下：下：其中，表示用于模型输入的锋电位的时域特征和场电位的频域特征，时域和频域分类变量包含丰富的信号时频信息，结合时频特征对应的时域特征及频域特征计算解码结果，计算过程不做限定，比如可以通过时域特征及频域特征两者相加得到最终的融合表示，然后将相加的结果使用多层感知器作为分类器得到最终的解码结果。
31.另外，基于多层感知器作为分类器得到最终的解码结果，还可以进一步的计算解码结果的损失率，计算方式如下：码结果的损失率，计算方式如下：其中，表示充分融合了频域信息的时域表征，表示充分融合了时域信息的频域表征；表示模型预测得到的标签；表示数据的真实标签；
表示分类损失函数。
32.另外，在接收到神经信号并提取到时域特征及频域特征后，将时域特征、频域特征的数据分为训练集数据、验证集数据和测试集数据，训练集数据、验证集数据和测试集数据的数据数量比例可以由工作人员自行设定。
33.另外，在本实施例中，上述步骤中基于注意力机制的时频信息动态融合解码方法的框架图具体包括上述步骤中的接收神经信号、锋电位预处理、场电位预处理、时域自注意力建模、频域自注意力建模、时域特征动态增强、频域特征动态增强、时频交叉注意力建模、时频域特征动态融合，以及最后的将相加的结果使用多层感知器作为分类器得到最终的解码结果。
34.在上述步骤中处理对象为训练集数据，得到的解码结果为训练集数据解码结果，并在得到训练集数据解码结果，通过验证集数据对交叉注意力机制建模的对应模型拟合程度进行评估，选出评估结果中拟合程度最好的最优模型，并结合测试集数据评估最优模型的模型性能，模型性能的评估可以通过与动作行为进行对比，判断对比结果是否准确，通过统计准确判断的比例确定最优模型的模型性能。
35.本发明实施例提供的一种基于注意力机制的时频信息动态融合解码方法，接收目标用户基于动作行为产生的神经信号，对神经信号进行预处理，获取神经信号中的锋电位信号和场电位信号，并基于锋电位信号提取不同时间步内的时域特征，基于场电位信号提取不同频段内的频域特征；基于不同时间步内的时域特征，通过线性转换得到不同时间步对应的表征因子，结合自注意力机制建模，通过模型确定不同时间步的关联性，并通过关联性动态增强时域特征；基于不同频段内的频域特征，通过线性转换得到不同频段对应的表征因子，结合自注意力机制建模，通过模型确定不同频段的关联性，并通过关联性动态增强频域特征；基于动态增强后的时域特征及频域特征，通过线性转换得到动态增强后不同时间步对应的表征因子及不同频段对应的表征因子，结合交叉注意力机制建模，通过模型确定时域特征和频域特征之间的关联性，并基于关联性动态融合得到时频特征；根据动态融合后的时频特征，结合时域分类变量及频域分类变量，计算与时频特征对应的时域特征及频域特征，并通过时频特征对应的时域特征及频域特征计算解码结果。这样能够动态调整两种信号的融合方式，降低信号的变化对解码性能的影响，提高了神经解码对时间变化和噪声的鲁棒性，实现了更准确且鲁棒的神经解码。
36.在另一实施例中，一种基于注意力机制的时频信息动态融合解码方法还可以包括：在本实施例中，设定具体的实例模型，实例模型的基于如下背景实施：目标用户是一名72岁的男性，车祸导致c4级颈椎外伤，四肢瘫痪，只能移动自己脖子以上的部位，具有正常的语言沟通能力和任务的理解能力。目标用户的左侧初级运动皮层中植入了两个96通道的utah皮质内微电极阵列（blackrock microsystems，盐湖城，美国犹他州），以记录神经信号。目标用户在每个工作日进行脑机接口训练任务，周末休息。每天的训练时间大约3个小时，包括准备信号记录，阻抗测试，锋电位分类和范式任务。
37.在本实施例中，对于数据采集的实验范式如图2所示，具体来说：在开始后的前2s中，目标用户坐在屏幕前方，屏幕显示“准备”符号；在2s结束时屏幕会出现对应十种不同动作任务的视频提示，目标用户需要根据出现的提示做相应的运动任务，动作任务的时间为
4s，十种运动任务分别为：提眉，张嘴，抬头、右转头、右抬臂、右屈肘、右翻腕、右手五指张开、右脚踮起、右提膝。目标用户可以实际执行前四个动作并想象后六个动作；每个动作完成后会进行一段时间的休息为下一组实验做准备。每个动作每天重复10次，目标用户的实验数据采集在5天内完成。
38.在接收到目标用户的神经信号后，对于锋电位，使用central软件包（blackrock microsystem）将每个经过高通滤波（250hz截止频率）的电极的神经动作电位检测的阈值分别设置为-6.5rms到-5.5rms。使用长度为 400 ms 的非重叠滑动窗口进行时间分割，故获得 10 个 时间步，因此可以得到每个锋电位样本的时域特征为（其中96为通道数）。
39.对于场电位，首先对场电位采用2阶巴特沃兹带通滤波器滤波去除伪迹，去除伪迹后获得的有效频段频率为0~400hz，然后计算不同频段的对数功率谱作为场电位信号的频域特征，我们使用从0-300 hz的10个连续30 hz频段的对数功率作为频域特征（其中96为通道数）然后，将数据按照合理比例分成训练集、验证集和测试集，按照10折交叉验证的方式，按照8:1:1的方式将数据划分为训练集、验证集和测试集。在训练集得到标准化的均值和方差后，对数据进行标准化。
40.在本实施例中，实例模型学习的主要参数如下：批次大小设置为5；使用adam算法优化参数，学习率设为0.001，权重衰减设为1e-4；采用早停法以减轻过拟合问题；损失函数设置为交叉熵损失；查询表征和键值表征的维度在[4,8,16]和[32,64,128]中根据模型在验证集选取最优的。
[0041]
并对实例模型5天的实验数据进行性能分析，可以得到如下结论：1）融合解码相较于单信号源解码，能显著提升解码性能。与单独使用锋电位相比，融合解码最大提高了6%的运动分类准确率。与单独使用场电位相比，融合解码最大提高了14%的分类准确率。融合解码的平均分类准确率为 85.40%，明显高于单独使用锋电位（82.00%）和场电位（78.00%）。2）本发明提出的融合算法分类性能优于其他融合算法。时频动态融合方法的平均准确率为85.4%，分别比支持向量机（svm）、多层感知机（mlp）、长短期记忆网络(lstm)提升了2.9%、2.4%、2.2%。与基于典型相关分析的方法相比，本实施例中的方法较于传统典型相关分析提升了5.6%，较于深度典型相关分析提升了4.4%。
[0042]
图3为本发明实施例提供的一种基于注意力机制的时频信息动态融合解码装置，包括：接收模块s201、第一建模模块s202、第二建模模块s203、交叉建模模块s204、计算模块s205，其中：接收模块s201，用于接收目标用户基于动作行为产生的神经信号，对所述神经信号进行预处理，获取所述神经信号中的锋电位信号和场电位信号，并基于所述锋电位信号提取不同时间步内的时域特征，基于所述场电位信号提取不同频段内的频域特征。
[0043]
第一建模模块s202，用于基于不同时间步内的时域特征，通过线性转换得到不同时间步对应的表征因子，结合自注意力机制建模，通过模型确定不同时间步的关联性，并通过所述关联性动态增强所述时域特征。
[0044]
第二建模模块s203，用于基于不同频段内的频域特征，通过线性转换得到不同频段对应的表征因子，结合自注意力机制建模，通过模型确定不同频段的关联性，并通过所述
关联性动态增强所述频域特征。
[0045]
交叉建模模块s204，用于基于动态增强后的时域特征及频域特征，通过线性转换得到动态增强后不同时间步对应的表征因子及不同频段对应的表征因子，结合交叉注意力机制建模，通过模型确定时域特征和频域特征之间的关联性，并基于所述关联性动态融合得到时频特征。
[0046]
计算模块s205，用于根据所述动态融合后的时频特征，结合时域分类变量及频域分类变量，计算与所述时频特征对应的时域特征及频域特征，并通过所述时频特征对应的时域特征及频域特征计算解码结果。
[0047]
在一个实施例中，装置还可以包括：第二仿真实验模块，用于基于所述参数范围对落点目标及落点目标的同类型目标进行仿真实验，根据仿真实验结果，确定所述参数范围对所述落点目标及同类型目标的检测概率及虚警概率，并结合预设的概率要求，选择最符合所述概率要求的参数范围作为最佳参数范围。
[0048]
关于基于注意力机制的时频信息动态融合解码装置的具体限定可以参见上文中对于基于注意力机制的时频信息动态融合解码方法的限定，在此不再赘述。上述基于注意力机制的时频信息动态融合解码装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0049]
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)301、存储器(memory)302、通信接口(communications interface)303和通信总线304，其中，处理器301，存储器302，通信接口303通过通信总线304完成相互间的通信。处理器301可以调用存储器302中的逻辑指令，以执行如下方法：接收目标用户基于动作行为产生的神经信号，对神经信号进行预处理，获取神经信号中的锋电位信号和场电位信号，并基于锋电位信号提取不同时间步内的时域特征，基于场电位信号提取不同频段内的频域特征；基于不同时间步内的时域特征，通过线性转换得到不同时间步对应的表征因子，结合自注意力机制建模，通过模型确定不同时间步的关联性，并通过关联性动态增强时域特征；基于不同频段内的频域特征，通过线性转换得到不同频段对应的表征因子，结合自注意力机制建模，通过模型确定不同频段的关联性，并通过关联性动态增强频域特征；基于动态增强后的时域特征及频域特征，通过线性转换得到动态增强后不同时间步对应的表征因子及不同频段对应的表征因子，结合交叉注意力机制建模，通过模型确定时域特征和频域特征之间的关联性，并基于关联性动态融合得到时频特征；根据动态融合后的时频特征，结合时域分类变量及频域分类变量，计算与时频特征对应的时域特征及频域特征，并通过时频特征对应的时域特征及频域特征计算解码结果。
[0050]
此外，上述的存储器302中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施
例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
[0051]
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：接收目标用户基于动作行为产生的神经信号，对神经信号进行预处理，获取神经信号中的锋电位信号和场电位信号，并基于锋电位信号提取不同时间步内的时域特征，基于场电位信号提取不同频段内的频域特征；基于不同时间步内的时域特征，通过线性转换得到不同时间步对应的表征因子，结合自注意力机制建模，通过模型确定不同时间步的关联性，并通过关联性动态增强时域特征；基于不同频段内的频域特征，通过线性转换得到不同频段对应的表征因子，结合自注意力机制建模，通过模型确定不同频段的关联性，并通过关联性动态增强频域特征；基于动态增强后的时域特征及频域特征，通过线性转换得到动态增强后不同时间步对应的表征因子及不同频段对应的表征因子，结合交叉注意力机制建模，通过模型确定时域特征和频域特征之间的关联性，并基于关联性动态融合得到时频特征；根据动态融合后的时频特征，结合时域分类变量及频域分类变量，计算与时频特征对应的时域特征及频域特征，并通过时频特征对应的时域特征及频域特征计算解码结果。
[0052]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0053]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
[0054]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。