一种融合脑电和功能近红外的情感识别方法、系统及介质

本发明涉及情感识别，特别是涉及一种融合脑电和功能近红外的情感识别方法、系统及介质。

背景技术：

1、情感是人与人交流中非常重要的部分，而随着人工智能技术的发展，情感识别在人机交互领域同样拥有了广阔的应用前景。情感的外在表现主要包括面部表情、身体姿态和语音语调，但它们易受人的主观意识控制，当人的内心感受与外在表现不一致时，人机交互系统就会做出错误判断。与上述外在表现相比，人的生理信号主要受神经系统控制，更能客观反映人的情感状态。已有研究发现，情感是大脑皮层和皮层下神经协同活动的结果，而常用的易采集的与大脑神经活动相关的生理信号主要有脑电(electroencephalogram，eeg)、功能近红外(functional near-infrared spectroscopy，fnirs)等。

2、其中，eeg信号时间分辨率高，fnirs信号空间分辨率高，并且二者同时具有无创采集、使用便捷、成本较低的优点。因此，将eeg和fnirs技术相结合，可以利用二者时间和空间分辨率的互补优势，当前已有相关人员将eeg和fnirs结合用于进行大脑的认知研究。研究表明，双模态eeg和fnirs比单模态能反映更多的脑活动信息，进行特征融合之后能够取得更高的识别率。

3、卷积神经网络(convolutional neural networks，cnn)是目前流行的深度学习模型之一，但是由于cnn采用的池化层操作是以标量的形式存储特征，丢失大量有价值的空间信息，无法完整保留特征之间的空间关系从而影响识别效果。为了解决上述问题，研究者提出了胶囊网络。然而，相较于通过cnn根据eeg信号和fnirs信号进行情感识别，cnn在提取eeg信号特征和fnirs信号特征并进行处理时，会丢失eeg信号特征和fnirs信号特征之间空间信息，进而影响情感识别效果；另外如果通过将囊网络模块进行情感识别，由于采用了eeg信号和fnirs两种信号，会生成数量较多且存在重复的胶囊，增加后续动态路由机制的处理时间，进而会导致情感识别时间较长。因此，将胶囊网络用于基于eeg-fnirs的情感识别，仍面临着如何提取质量更高的胶囊，以及去除重复胶囊、减少胶囊数量，缩短后续动态路由机制的处理时间的问题。

技术实现思路

1、本发明的目的是提供一种融合脑电和功能近红外的情感识别方法、系统及介质，能够提取不丢失脑电信号和功能近红外信号之间空间信息高质量胶囊，而且能够去除重复胶囊、减少胶囊数量，缩短情感识别的时间。

2、为实现上述目的，本发明提供了如下方案：

3、一种融合脑电和功能近红外的情感识别方法，包括：

4、采集受试者的脑电信号和功能近红外光信号；

5、对受试者的脑电信号和所述功能近红外光信号进行特征提取，得到受试者的脑电特征数据和功能近红外光特征数据；

6、将受试者脑电特征数据和所述功能近红外光特征数据输入到情感识别模型中，得到受试者的情感类型；

7、其中，所述情感识别模型是基于训练者的脑电信号和功能近红外光信号，对胶囊网络模型进行训练得到的；所述胶囊网络模型，包括：依次连接的多脑区注意力机制模块、卷积模块、初级胶囊模块、胶囊融合模块和分类胶囊模块；

8、所述多脑区注意力机制模块用于根据图卷积方法和全局最大池化方法对输入的脑电特征数据和功能近红外光特征数据进行融合，确定脑区特征向量，并根据所述脑区特征向量确定注意力机制权重系数，根据所述注意力机制权重系数和所述脑区特征向量确定卷积输入数据；所述脑区特征向量，包括：额叶区特征向量、左颞叶区特征向量、右颞叶区特征向量、中央区特征向量、顶叶区特征向量和枕叶区特征向量；

9、所述卷积模块用于对所述卷积输入数据采用两个不同尺寸的卷积核提取视野特征，得到第一特征图和第二特征图；

10、所述初级胶囊模块用于对所述第一特征图和所述第二特征图进行深层特征提取并拼接得到拼接特征图，根据第一卷积核处理所述拼接特征图，得到特征输出图；

11、所述胶囊融合模块用于切分所述特征输出图得到第一胶囊，并对所述第一胶囊进行最大池化和融合拼接，进行分割处理后得到融合胶囊；

12、所述分类胶囊模块用于将所述融合胶囊通过动态路由机制生成分类胶囊，根据所述分类胶囊确定相应的情感类型。

13、可选地，所述多脑区注意力机制模块，包括：融合子模块和转换子模块；

14、所述融合子模块用于根据大脑功能将所述脑电特征数据和所述功能近红外光特征数据划分为六个脑区，根据图卷积方法和全局最大池化方法对各个脑区的所述脑电特征数据和所述功能近红外光特征数据进行融合，得到脑区特征向量；

15、所述转换子模块用于对所述脑区特征向量进行拼接，转换得到特征向量概率值，根据所述特征向量概率值确定注意力机制权重系数，然后根据所述注意力机制权重系数和所述脑区特征向量确定卷积输入数据。

16、进一步地，所述融合子模块，包括：节点特征确定单元、邻接矩阵构建单元、图卷积单元和最大池化单元；

17、所述节点特征确定单元和所述邻接矩阵构建单元并联后与所述图卷积单元连接；所述图卷积单元与所述最大池化单元连接；

18、所述节点特征确定单元用于抽取脑电特征数据的通道特征向量和功能近红外光特征数据的通道特征向量，确定节点特征；

19、所述邻接矩阵构建单元用于计算脑电特征数据和功能近红外光特征数据之间的皮尔森相关系数，并构建邻接矩阵；

20、所述图卷积单元用于将所述节点特征和所述邻接矩阵进行融合处理，确定卷积输出数据；

21、所述最大池化单元用于所述卷积输出数据中电极通道维的最大值，生成脑区特征向量；

22、进一步地，所述转换子模块，包括：依次连接的特征拼接层、reshape函数层、第一全连阶层、relu函数层、第二全连阶层、sigmoid函数层和数据输出层；

23、所述特征拼接层用于根据所述脑区特征向量进行拼接，确定二维矩阵；

24、所述reshape函数层用于根据所述二维矩阵确定一维向量；

25、所述第一全连阶层用于根据所述一维向量确定第一输出矩阵；

26、所述relu函数层用于根据所述第一输出矩阵确定第二输出矩阵；

27、所述第二全连阶层用于根据所述第二输出矩阵确定第三输出矩阵；

28、所述sigmoid函数层用于根据所述第三输出矩阵确定一维向量概率；所述一维向量概率，包括：六个所述脑区的相应的概率值，且和为1；

29、所述数据输出层用于根据所述一维向量概率确定注意力机制权重系数，并根据所述注意力机制权重系数和所述脑区特征向量确定卷积输入数据。

30、可选地，所述卷积模块，包括：第一卷积层和第二卷积层；所述第一卷积层和所述第二卷积层并联；

31、所述第一卷积层根据所述卷积输入数据采用第一卷积核提取视野特征得到第一特征图；所述第一卷积核的尺寸为3×3×128；

32、所述第二卷积层根据所述卷积输入数据采用第二卷积核提取视野特征得到第二特征图；所述第二卷积核的尺寸为5×5×128。

33、进一步地，所述初级胶囊模块，包括：第一特征提取层、第二特征提取层、拼接层和分割层；

34、所述第一特征提取层和所述第二特征提取层并联后与所述拼接层连接；所述拼接层和所述分割层依次连接；所述拼接层还与所述第一卷积层和所述第二卷积层连接；

35、所述第一特征提取层用于根据所述第一卷积核对所述第一特征图进行深层特征提取，得到与所述第一特征图尺寸相同的第一深层特征图；

36、所述第二特征提取层根据所述第二卷积核对所述第二特征图进行深层特征提取，得到与所述第二特征图尺寸相同的第二深层特征图；

37、所述拼接层用于将所述第一特征图、所述第二特征图、所述第一深层特征图和所述第二深层特征图拼接，得到拼接特征图；

38、所述分割层用于通过第一卷积核处理所述拼接特征图，得到特征输出图。

39、可选地，所述胶囊融合模块，包括：依次连接的第一切分层、胶囊最大池化层、胶囊函数层和第二切分层；

40、所述第一切分层用于根据输出通道数和胶囊维度对所述特征输出图进行切分，确认第一胶囊；

41、所述胶囊最大池化层用于对所述第一胶囊进行最大池化确定所述第一胶囊中各个胶囊的维度最大值，并对各个胶囊的维度最大值进行拼接融合，确定第二胶囊；

42、所述胶囊函数层用于根据relu函数和tanh函数依次对所述第二胶囊进行函数提取处理，得到第三胶囊；

43、所述第二切分层用于分割所述第三胶囊，得到融合胶囊。

44、可选地，所述分类胶囊模块，包括：依次连接的预测向量计算层、耦合系数计算层、预测胶囊计算层、分类胶囊确定层、情感概率确认层和情感类型确定层；

45、所述预测向量计算层用于根据转换矩阵计算所述融合胶囊的情感预测向量；

46、所述耦合系数计算层用于确定所述融合胶囊的耦合系数；

47、所述预测胶囊计算层用于根据所述情感预测向量和所述耦合系数确定预测胶囊；

48、所述分类胶囊确定层用于根据所述预测胶囊计算得到分类胶囊；

49、所述情感概率确定层用于将所述分类胶囊输入损失函数，确定情感概率；

50、所述情感类型确定层用于根据所述情感概率确定相应的情感类型。

51、可选地，为实现上述目的，本发明还提供了如下方案：

52、一种融合脑电和功能近红外的情感识别系统，包括：

53、信号采集单元，用于采集受试者的脑电信号和功能近红外光信号；

54、特征提取单元，用于对受试者的脑电信号和所述功能近红外光信号进行特征提取，得到受试者的脑电特征数据和功能近红外光特征数据；

55、情感确定单元，用于将受试者脑电特征数据和所述功能近红外光特征数据输入到情感识别模型中，得到受试者的情感类型；

56、其中，所述情感识别模型是基于训练者的脑电信号和功能近红外光信号，对胶囊网络模型进行训练得到的；所述胶囊网络模型，包括：依次连接的多脑区注意力机制模块、卷积模块、初级胶囊模块、胶囊融合模块和分类胶囊模块；

57、所述多脑区注意力机制模块用于根据图卷积方法和全局最大池化方法对输入的脑电特征数据和功能近红外光特征数据进行融合，确定脑区特征向量，并根据所述脑区特征向量确定注意力机制权重系数，根据所述注意力机制权重系数和所述脑区特征向量确定卷积输入数据；所述脑区特征向量，包括：额叶区特征向量、左颞叶区特征向量、右颞叶区特征向量、中央区特征向量、顶叶区特征向量和枕叶区特征向量；

58、所述卷积模块用于对所述卷积输入数据采用两个不同尺寸的卷积核提取视野特征，得到第一特征图和第二特征图；

59、所述初级胶囊模块用于对所述第一特征图和所述第二特征图进行深层特征提取并拼接得到拼接特征图，根据第一卷积核处理所述拼接特征图，得到特征输出图；

60、所述胶囊融合模块用于切分所述特征输出图得到第一胶囊，并对所述第一胶囊进行最大池化和融合拼接，进行分割处理后得到融合胶囊；

61、所述分类胶囊模块用于将所述融合胶囊通过动态路由机制生成分类胶囊，根据所述分类胶囊确定相应的情感类型。

62、进一步地，为实现上述目的，本发明还提供了如下方案：

63、一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述的融合脑电和功能近红外的情感识别方法。

64、根据本发明提供的具体实施例，本发明公开了以下技术效果：

65、本发明公开一种融合脑电和功能近红外的情感识别方法、系统及介质，本发明提出将基于多脑区注意力机制的胶囊网络模型用于情感识别，所述胶囊网络模型训练后得到情感识别模型，通过将受试者脑电特征数据和功能近红外光特征数据输入到情感识别模型中，得到受试者的情感类型。通过训练胶囊网络模型用于情感识别，本发明一方面考虑到了不同的情绪是与不同脑区相关联的，通过根据多脑区注意力机制给予不同脑区不同的权重，将脑电特征数据和功能近红外光特征数据融合后用于情感识别，能够提高受试者情感识别的准确率；另一方面，本发明通过情感识别模型能够减少了进入动态路由机制的重复胶囊的数量，进而减少了模型的参数运算量和运行时间，提高了情感识别效率。