一种基于注意力引导张量网络的想象语音分类方法及系统

发明领域本发明属于脑机接口领域，涉及一种基于注意力引导张量网络的想象语音分类方法及系统，具体是一种基于数据增强以及注意力机制的分类标识位引导的张量网络技术，对想象语音脑电数据进行数据增强，特征提取，从而判断想象语音类别的方法。

背景技术：

1、人们希望在未来，bci能够解码人们直观的想象，并将其输出到现实环境中。一旦想象的单词或对话被bci系统解码，它就可以被用作神经命令，通过语音合成输出用户想象的单词，或基于单词控制机器人和设备。因此，想象语音解码的有效性和实用性是不可忽视的重要的问题。为了实现这些类型的bci，研究提取想象语音范式的相关特征，可以提高捕获与语音相关的大脑活动的有效性。最近，研究人员研究了各种方法，特别是深度学习方法，它随着自然语言处理技术的发展而发展，可以精确地从大脑信号中捕获音素级语音。

2、想象语音可以成为开发用户易于操作的直观系统的关键范例。识别用户的直观意向并将其转化为外部世界的命令是bci的关键功能之一。使用想象的语音范式，使bci的交流可以显著改善，因为它可以通过想象的语音或单词本身直接传达用户的意图，而不是通过单个字母的拼写。同时，该技术可以将这种解码后的结果应用于控制外部设备。想象言语是一种新兴范式，可以将用户的意图转移到外部设备。与传统的bci范式(例如mi)相比，想象语音范式可以提供至关重要的优势。例如，mi中增加类的数量依赖于身体部位的运动，当需要许多类时，身体部位的运动可能会自然重叠，相反，不同类的语音属性可以允许类之间有更多的变化，而不会有重叠的概念。此外，解码的想象语音可以直接匹配现实环境中用户意图和设备反馈之间的交互。最终，想象语音范式的这一特征可能有助于开发更加实用的bci系统，为用户提供高度的自由度。因此，bci更倾向于一种解码人类直观意向的技术。然而，与传统的bci范式(如mi或erp)相比，想象语音的多类分类性能仍处于相对较低的水平。对想象语音进行有效的特征选择或分类方法可能有助于提高解码性能。将想象语音的多类分类性能提高到常规bci范式的水平，从而实现通过内部语音进行简单的通信或对外部环境的控制。

技术实现思路

1、本发明的目的是针对现有技术所存在的一些不足，想象语音的多分类性能任处于相对较低的水平，提出了一种基于注意力引导张量网络的想象语音分类方法及系统。利用数据增强技术给模型引入了先验知识，使得模型学习到更加鲁棒的特征解决现有数据集样本较少等问题。使用多头注意力机制来有效的提取数据在时间维度上的特征信息。使用张量网络解决数据集小样本问题并提高模型的分类性能。

2、第一方面，本发明提供一种基于注意力引导张量网络的想象语音分类方法，包括如下步骤：

3、步骤s1：获取意念想象语音脑电数据，以及其对应的标签label；

4、步骤s2：当模型训练时对上述意念想象语音脑电数据进行数据增强，构建训练数据集；

5、步骤s3：构建注意力引导张量网络，利用数据集中的数据增强后训练集进行训练，并采用数据集中未增强的测试集进行测试；

6、步骤s4：利用训练并验证好的注意力引导张量网络实现脑电的想象语音分类。

7、第二方面，本发明提供一种想象语音分类系统，包括训练并验证好的注意力引导张量网络。

8、本发明的有益效果如下：

9、本发明利用多头自注意机制可以同时关注到eeg信号中不同时间步和不同通道的信息，从而可以更好地捕捉eeg信号中的时序和空间相关性。然后将这些相关性作为权重来计算每个时间步和通道的重要性。这样可以帮助模型自动学习eeg信号中的重要特征，从而提高模型的性能。也可以通过多头自注意机制学习到不同的特征表示，并将这些特征表示组合起来形成最终的表示。这可以帮助模型更好地处理不同的eeg信号，从而提高模型的泛化能力。

10、深度学习的一个潜在问题是大量的参数。因此，拟合需要大量的样本，训练模型需要花费大量的时间，而eeg样本通常是不足的。本发明引入在张量学习网络中将全连接层的权值矩阵转换为张量格式，使参数数量大大减少，同时保留了层的表达能力。

11、综上，本发明提出了一种基于注意力引导张量网络的想象语音分类方法，将数据增强以及注意力机制的分类标识位引导的张量网络技术结合起来，该网络包括了获取数据模块，数据增强模块，多头注意力模块和分类模块，分别用于数据增强，特征获取，以及分类结果。同时，网络采用随机位置编码，增加分类标识位，张量网络以实现高精度的想象语音脑电分类性能。

技术特征：

1.一种基于注意力引导张量网络的想象语音分类方法，其特征在于所述方法包括以下步骤：

2.根据权利要求1所述方法，其特征在于步骤s2所述数据增强具体为：

3.根据权利要求1所述方法，其特征在于步骤s3中，所述级联多头注意力机制的特征提取模块中所述的嵌入层，通过全连接层将脑电数据的通道维度进行上采样，以实现增加数据维度，提取更加细粒度信息得到795*1024大小的数据；

4.根据权利要求1或3所述方法，其特征在于步骤s3中，多头自注意力层的表达式如下式(3)：

5.根据权利要求4所述方法，其特征在于步骤s3中，所述第一残差连接层对所述的多头自注意力机制层输出进行残差连接，以提升了网络对于想象语音数据的表征能力；

6.根据权利要求5所述方法，其特征在于步骤s3中，每层前馈网络的表达式如下式(5)：

7.根据权利要求1所述方法，其特征在于步骤s3中，所述张量网络具体是：

8.根据权利要求1或7所述方法，其特征在于所述激活层使用relu激活函数。

9.根据权利要求1所述方法，其特征在于注意力引导张量网络的损失函数采用交叉熵损失函数，具体公式如下所示：

10.实现权利要求1-9任一项所述方法的分类系统，其特征在于包括训练并验证好的注意力引导张量网络。

技术总结
本发明公开一种基于注意力引导张量网络的想象语音分类方法及系统。获取意念想象语音脑电数据，以及其对应的标签label；对上述意念想象语音脑电数据进行数据增强，构建训练数据集；构建注意力引导张量网络，利用数据集中的数据增强后训练集进行训练，并采用数据集中未增强的测试集进行测试；利用训练并验证好的注意力引导张量网络实现脑电的想象语音分类。本发明方法将数据增强以及注意力机制的分类标识位引导的张量网络技术结合起来，实现高精度的想象语音脑电分类性能。

技术研发人员：孔万增,李昌盛,周文晖,王宇涵,莫良言,金宣妤
受保护的技术使用者：杭州电子科技大学
技术研发日：
技术公布日：2024/1/14