一种会话脑电联合学习的学习者协作状态分类方法及系统

本发明涉及脑机接口，尤其涉及一种会话脑电联合学习的学习者协作状态分类方法及系统。

背景技术：

1、随着数字技术对教育的影响逐渐加深，以及社会对人才的素质要求越来越高，协作学习已经成为教育领域广泛采用的一种学习方式。协作状态是指学习者在协作学习中展现的认知、情感和行为等方面的状态，例如任务理解、计划、目标设置、监控和评估、使用策略以及任务执行等。随着智能设备的不断发展，协作学习过程中采集和分析学习者多模态数据变得可行。这些数据主要包括学习者的行为数据和生理数据。行为数据是通过观察和记录学习者的外部行为、言语和表现等来获取的，其中以会话文本为主要形式。生理数据则是通过可穿戴设备或生理传感器测量的学习者的生理信号，例如脑电信号、皮肤电反应和心率等，生理数据可以用来反映学习者的认知状态和情绪变化。分析和识别学习者的协作状态一直以来是学习科学领域的一个主要挑战，传统的学习者协作状态分析以人工观察分析为主，存在主观性强、效率低与分析维度单一等问题，因此需要结合多种模态数据，通过智能化的方法提升学习者协作状态分析的准确性和及时性。

2、联合学习是指融合多个不同模态的数据进行学习和决策。联合学习可以通过处理不同类型的数据建立数据间的关联，挖掘数据的潜在共享信息，最终实现不同模态之间的语义统一，获得较传统方法更好的学习效果。联合学习模型是指建立可以完成多模态学习任务的神经网络模型，从而互补不同模态的信息，相比于单模态学习模型，联合学习模型获取的信息更丰富全面。由于多模态数据的信息来源不同，而且不同的应用场景下各种模态的贡献程度不同，联合学习模型在表征、融合等方面仍面临一些挑战，其中最具挑战性的是如何将多模态数据转换为紧凑且模态不变的表征，以及在融合过程中如何整合不同模态独特的和共享的信息。

3、因此，提供一种有效融合多种模态信息的学习者协作状态分析方法是需要解决的问题。

技术实现思路

1、本发明提供一种会话脑电联合学习的学习者协作状态分类方法及系统，用以解决现有技术中存在的缺陷。

2、第一方面，本发明提供一种会话脑电联合学习的学习者协作状态分类方法，包括：

3、采集学习者协作学习的会话文本数据和脑电信号数据；

4、分别对所述会话文本数据和所述脑电信号数据进行预处理，得到预处理会话文本数据和预处理脑电信号数据；

5、将所述预处理会话文本数据和所述预处理脑电信号数据进行对齐，提取对齐后预处理会话文本数据中的会话文本特征，以及对齐后预处理脑电信号数据中的脑电信号特征；

6、将所述会话文本特征和所述脑电信号特征输入会话脑电联合学习的学习者协作状态分类初始模型中进行训练，构建损失函数对模型进行优化，得到学习者协作状态分类模型；

7、将待检测会话文本数据和待检测脑电信号数据输入所述学习者协作状态分类模型，输出学习者协作状态分类结果。

8、根据本发明提供的一种会话脑电联合学习的学习者协作状态分类方法，采集学习者协作学习的会话文本数据和脑电信号数据，包括：

9、确定所述会话文本数据为csv格式，所述脑电信号数据为set格式。

10、根据本发明提供的一种会话脑电联合学习的学习者协作状态分类方法，分别对所述会话文本数据和所述脑电信号数据进行预处理，得到预处理会话文本数据和预处理脑电信号数据，包括：

11、将所述会话文本数据切分为不等长度的多个文本段，基于协作状态类别对所述多个文本段进行编码得到编码会话文本，按照预设记录格式将所述编码会话文本记录于csv文件中，得到所述预处理会话文本数据，其中，所述预设记录格式包括文本内容、开始时间、结束时间和编码类别；

12、采用脑电信号eeglab工具箱对所述脑电信号数据进行通道定位、去除无用电极、滤波、降采样、去坏段和去伪迹操作，按照所述会话文本数据中的开始时间和结束时间将所述脑电信号数据切分成多个信号段，得到所述预处理脑电信号数据。

13、根据本发明提供的一种会话脑电联合学习的学习者协作状态分类方法，将所述预处理会话文本数据和所述预处理脑电信号数据进行对齐，提取对齐后预处理会话文本数据中的会话文本特征，以及对齐后预处理脑电信号数据中的脑电信号特征，包括：

14、按照时间顺序将所述预处理会话文本数据和所述预处理脑电信号数据进行对齐，得到所述对齐后预处理会话文本数据和所述对齐后预处理脑电信号数据；

15、将所述对齐后预处理会话文本数据输入中文预训练模型bert获取词向量特征，作为所述会话文本特征；

16、提取所述对齐后预处理脑电信号数据中每两个脑电信号相位锁定值plv的融合特征，作为所述脑电信号特征。

17、根据本发明提供的一种会话脑电联合学习的学习者协作状态分类方法，将所述会话文本特征和所述脑电信号特征输入会话脑电联合学习的学习者协作状态分类初始模型中进行训练，构建损失函数对模型进行优化，得到学习者协作状态分类模型，包括：

18、确定所述学习者协作状态分类初始模型包括会话文本与脑电信号联合建模子模型和学习者协作状态分类子模型，所述会话文本与脑电信号联合建模子模型包括两个编码器和两个解码器组成的多模态变分自编码器，所述学习者协作状态分类子模型包括支持向量机分类器；

19、将所述会话文本特征和所述脑电信号特征输入所述会话文本与脑电信号联合建模子模型，通过text-brain推理得到会话文本潜向量，通过brain-text推理得到脑电信号潜向量；

20、将所述会话文本潜向量和所述脑电信号潜向量进行拼接得到会话文本及脑电信号联合表征，将所述会话文本及脑电信号联合表征输入所述学习者协作状态分类子模型，得到学习者协作状态类别；

21、确定所述损失函数包括text-brain变分自编码器损失函数、跨模态脑电信号数据重构损失函数、brain-text变分自编码器损失函数和跨模态会话文本数据重构损失函数。

22、根据本发明提供的一种会话脑电联合学习的学习者协作状态分类方法，通过text-brain推理得到会话文本潜向量，包括：

23、将所述会话文本特征输入编码器textencoder得到会话文本特征潜向量，将所述脑电信号特征输入编码器brainencoder得到脑电信号特征潜向量；

24、以所述会话文本特征潜向量为近似后验分布参数，所述脑电信号特征潜向量为先验分布参数，通过最小化所述近似后验分布参数与所述先验分布参数的相对熵kl散度，得到所述会话文本潜向量；

25、将所述会话文本潜向量输入解码器textdecoder得到会话文本重构数据，将所述会话文本潜向量输入解码器braindecoder得到跨模态脑电信号重构数据；

26、对应地，所述text-brain变分自编码器损失函数由对会话文本重构特征向量的极大似然估计值减去会话文本编码器推理生成的近似后验分布与脑电信号编码器推理生成的先验分布的kl散度约束所得到；

27、所述跨模态脑电信号数据重构损失函数由脑电信号数据特征向量减去跨模态脑电信号重构数据之差的l1范数所得到。

28、根据本发明提供的一种会话脑电联合学习的学习者协作状态分类方法，通过brain-text推理得到脑电信号潜向量，包括：

29、将所述脑电信号特征输入编码器brainencoder得到脑电信号特征潜向量，将所述会话文本特征输入编码器textencoder得到会话文本特征潜向量；

30、以所述脑电信号特征潜向量为近似后验分布参数，所述会话文本特征潜向量为先验分布参数，通过最小化所述近似后验分布参数与所述先验分布参数的kl散度，得到所述脑电信号潜向量；

31、将所述脑电信号潜向量输入解码器braindecoder得到脑电信号重构数据，将所述脑电信号潜向量输入解码器textdecoder得到跨模态会话文本重构数据；

32、对应地，所述brain-text变分自编码器损失函数由对脑电信号重构特征向量的极大似然估计值减去脑电信号编码器推理生成的近似后验分布与会话文本编码器推理生成的先验分布的kl散度约束所得到；

33、所述跨模态会话文本数据重构损失函数由会话文本数据特征向量减去跨模态的会话文本重构数据之差的l1范数所得到。

34、第二方面，本发明还提供一种会话脑电联合学习的学习者协作状态分类系统，包括：

35、采集模块，用于采集学习者协作学习的会话文本数据和脑电信号数据；

36、预处理模块，用于分别对所述会话文本数据和所述脑电信号数据进行预处理，得到预处理会话文本数据和预处理脑电信号数据；

37、对齐提取模块，用于将所述预处理会话文本数据和所述预处理脑电信号数据进行对齐，提取对齐后预处理会话文本数据中的会话文本特征，以及对齐后预处理脑电信号数据中的脑电信号特征；

38、训练模块，用于将所述会话文本特征和所述脑电信号特征输入会话脑电联合学习的学习者协作状态分类初始模型中进行训练，构建损失函数对模型进行优化，得到学习者协作状态分类模型；

39、处理模块，用于将待检测会话文本数据和待检测脑电信号数据输入所述学习者协作状态分类模型，输出学习者协作状态分类结果。

40、第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述会话脑电联合学习的学习者协作状态分类方法。

41、第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述会话脑电联合学习的学习者协作状态分类方法。

42、本发明提供的会话脑电联合学习的学习者协作状态分类方法及系统，通过采用会话文本和脑电信号联合学习的方式，通过多模态变分自编码器融合不同模态的数据，使得信息能够在不同模态之间双向流动，能更全面地捕捉学习者的认知状态和行为特征；针对不同模态间的数据特点，进行特征提取和选择适当的表征方式，考虑了学习者之间的协同活动信息指标，优化了不同模态数据的共享特征表示；改进损失函数优化模型参数，增强不同模态数据的联合建模和生成能力，提升了学习者协作状态分类的准确率。