一种基于脑电和眼动的识别方法及识别系统与流程

本发明实施例涉及脑机接口的智能识别，尤其涉及一种基于脑电和眼动的识别方法及识别系统。

背景技术：

1、情绪是人类日常生活中的基本因素，影响决策、感知、人际互动和人类智力。情绪识别有助于更好地理解人机交互环境下的语言处理和非言语交际，近来的研究表明，情绪状态可以从生物医学信号中预测。

2、目前情绪识别技术主要分为三类：(1)面部表情和声音；(2)外在生理信号；(3)中枢神经系统产生的大脑信号。在这些测量中，解释面部表情和声音的基于视听的检测器实现了对情绪的非接触式识别，但它们不能总是返回可靠的结果，因为人们可能很容易伪装他们的情绪没有被注意到。相比，生理信号显示出相对较高的识别精度，因为用户无法控制它。从心电图(electrocardiogram，ecg)、皮肤电导(subcutaneous,sc)和脉搏等外周生理信号中提取的特征可以为识别情绪状态提供详细而复杂的信息。与外在生理信号相比，从中枢神经系统捕获的脑电图(electroencephalogram，eeg)信号可以直接反映大脑的活动，并与人类的情绪状态有着内在的联系。

技术实现思路

1、鉴于此，为解决上述情绪识别率低的技术问题，本发明实施例提供一种基于脑电和眼动的识别方法及识别系统。

2、第一方面，本发明实施例提供一种基于脑电和眼动的识别方法，包括：

3、创建脑电信号和眼动信号的采集范式，以及根据所述采集范式采集所述脑电信号和眼动信号；

4、创建基于注意力机制的特征融合网络模型；

5、将采集到的所述脑电信号和所述眼动信号输入所述特征融合网络模型中进行特征提取以及分类处理，得到所述脑电信号和所述眼动信号对应的心理状态的识别结果。

6、在一个可能的实施方式中，所述创建脑电信号和眼动信号的采集范式，以及根据所述采集范式采集所述脑电信号和眼动信号，包括：

7、根据设定实验范式创建脑电信号和眼动信号的采集范式，所述采集范式包含目标刺激和干扰刺激；

8、基于所述目标刺激采集目标脑电信号和目标眼动信号；

9、基于所述干扰刺激采集干扰脑电信号和干扰眼动信号。

10、在一个可能的实施方式中，所述创建基于注意力机制的特征融合网络模型，包括：

11、创建深度时序卷积层网络、多频谱卷积层网络和特征融合分类层网络；

12、基于所述深度时序卷积层网络、多频谱卷积层网络和特征融合分类层网络进行注意力机制处理，创建对应的特征融合网络模型。

13、在一个可能的实施方式中，所述将采集到的所述脑电信号和所述眼动信号输入所述特征融合网络模型中进行特征提取以及分类处理，得到所述脑电信号和所述眼动信号对应的心理状态的识别结果，包括：

14、将采集到的所述脑电信号输入所述特征融合网络模型中对应的深度时序卷积层网络进行时序卷积处理，得到所述脑电信号对应的高维时序表征；

15、将采集到的眼动信号输入到所述特征融合网络模型中对应的多频谱卷积层网络进行小波卷积处理，得到所述眼动信号对应的多频谱特征；

16、将所述高维时序表征和所述多频谱特征输入所述特征融合分类层网络进行融合处理，以及对融合后的特征进行分类处理，得到所述脑电信号和所述眼动信号对应的心理状态的识别结果。

17、在一个可能的实施方式中，所述将所述高维时序表征和所述多频谱特征输入所述特征融合分类层网络进行融合处理，以及对融合后的特征进行分类处理，得到所述脑电信号和所述眼动信号对应的心理状态的识别结果，包括：

18、将所述高维时序表征和所述多频谱特征输入特征融合分类层网络进行全局平均池化处理，得到维度统计特征；

19、对所述维度统计特征进行第一全连接处理、非线性处理、第二全连接处理，得到融合特征向量；

20、对所述融合特征向量进行基于softmax函数的分类处理，得到预先设定的心理状态的识别结果。

21、在一个可能的实施方式中，所述心理状态包含积极情绪状态和消极情绪状态。

22、第一方面，本发明实施例提供一种应用第一方面所述的脑电和眼动的识别方法的识别系统，包括：

23、同步采集信号模块、数据管理模块、状态在线检测模块和展示模块；

24、所述同步采集信号模块用于对脑电信号和眼动信号进行实时同步采集；

25、所述数据管理模块用于对脑电信号和眼动信号对应的多模态数据进行存储；

26、所述状态在线检测模块用于对采集到的脑电信号和眼动信号进行在线分类检测以及分析处理，确定所述脑电信号和所述眼动信号对应的心理状态和分析结果；

27、所述展示模块用于展示在线检测得到的心理状态和分析结果。

28、在一个可能的实施方式中，所述数据管理模块还用于对所述脑电信号和眼动信号对应的多模态数据进行质量分析处理，并对所述多模态数据进行筛选，已使所述数据管理模块内的原始数据库和特征数据库进行反馈更新。

29、在一个可能的实施方式中，所述状态在线检测模块还用于对在线多模态数据进行预处理，得到在线多模态信息；基于所述在线多模态信息进行融合分类处理，确定所述在线多模态数据的在线心理状态和在线分析结果。

30、在一个可能的实施方式中，所述识别系统，还包括离线检测模块；

31、所述离线检测模块用于对原始多模态数据进行预处理，得到离线多模态信息；

32、基于所述离线多模态信息进行融合分类处理，确定所述离线多模态数据的离线心理状态和离线分析结果。

33、本发明实施例提供的基于脑电和眼动的识别方案，通过创建脑电信号和眼动信号的采集范式，以及根据所述采集范式采集所述脑电信号和眼动信号；创建基于注意力机制的特征融合网络模型；将采集到的所述脑电信号和所述眼动信号输入所述特征融合网络模型中进行特征提取以及分类处理，得到所述脑电信号和所述眼动信号对应的心理状态的识别结果。通过设置的信号采集范式采集脑电信号和眼动信号，并将采集到的信号输入创建的特征融合网络模型进行特征提取得到特征信号，并对特征信号进一步进行分类处理，得到对应的识别结果，达到通过采集两种识别信号进行识别处理，由本方案，可以实现相应情绪状态的识别处理，提高情绪识别率的技术效果。

技术特征：

1.一种基于脑电和眼动的识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述创建脑电信号和眼动信号的采集范式，以及根据所述采集范式采集所述脑电信号和眼动信号，包括：

3.根据权利要求2所述的方法，其特征在于，所述创建基于注意力机制的特征融合网络模型，包括：

4.根据权利要求3所述的方法，其特征在于，所述将采集到的所述脑电信号和所述眼动信号输入所述特征融合网络模型中进行特征提取以及分类处理，得到所述脑电信号和所述眼动信号对应的心理状态的识别结果，包括：

5.根据权利要求4所述的方法，其特征在于，所述将所述高维时序表征和所述多频谱特征输入所述特征融合分类层网络进行融合处理，以及对融合后的特征进行分类处理，得到所述脑电信号和所述眼动信号对应的心理状态的识别结果，包括：

6.根据权利要求1所述的方法，其特征在于，所述心理状态包含积极情绪状态和消极情绪状态。

7.一种应用权利要求1所述的脑电和眼动的识别方法的识别系统，其特征在于，包括：

8.根据权利要求7所述的识别系统，其特征在于，所述数据管理模块还用于对所述脑电信号和眼动信号对应的多模态数据进行质量分析处理，并对所述多模态数据进行筛选，已使所述数据管理模块内的原始数据库和特征数据库进行反馈更新。

9.根据权利要求7所述的识别系统，其特征在于，所述状态在线检测模块还用于对在线多模态数据进行预处理，得到在线多模态信息；基于所述在线多模态信息进行融合分类处理，确定所述在线多模态数据的在线心理状态和在线分析结果。

10.根据权利要求7所述的识别系统，其特征在于，所述识别系统，还包括离线检测模块；

技术总结
本发明实施例涉及一种基于脑电和眼动的识别方法及识别系统，所述方法包括：创建脑电信号和眼动信号的采集范式，以及根据所述采集范式采集所述脑电信号和眼动信号；创建基于注意力机制的特征融合网络模型；将采集到的所述脑电信号和所述眼动信号输入所述特征融合网络模型中进行特征提取以及分类处理，得到所述脑电信号和所述眼动信号对应的心理状态的识别结果。通过设置的信号采集范式采集脑电信号和眼动信号，并将采集到的信号输入创建的特征融合网络模型进行特征提取得到特征信号，并对特征信号进一步进行分类处理，得到对应的识别结果，达到通过采集两种识别信号进行识别处理，由此，可以实现相应情绪状态的识别处理，提高情绪识别率的技术效果。

技术研发人员：于淑月,张忠海,周林
受保护的技术使用者：北京航天测控技术有限公司
技术研发日：
技术公布日：2024/1/13