基于脑电信号的表情神经解码方法

本发明涉及神经解码领域和计算机视觉领域，尤其是涉及一种基于脑电信号的表情神经解码方法。

背景技术：

1、植物人是一个常常被遗忘的特殊群体，他们虽然活着，却如同在沉睡。植物人生活完全不能自理，需要专人照顾。意识障碍疾病包括持续性植物状态(植物人)和微意识状态。植物人运动功能的缺失会给患者的生活带来极大的不便，连基本的情感表达也丧失更是使其心理承受巨大的压力与痛苦。我国目前约有因脑卒中、脑外伤、中毒等导致的慢性意识障碍患者30万名～50万名，每年新增7万名～10万名，在这数据背后显现的是一个个家庭与亲人“生离”的灾难。因此，为植物人寻求有效的方法使其缺损的运动得以重建，进而恢复一定的情感表达能力，有利于缓解其心理压力，具有社会意义。

2、神经解码(neuraldecoding)是近几年的研究热点，是通过大脑分析人类行为的重要方法，而大脑作为植物人为数不多健全的部位，成为其恢复沟情感表达能力的希望。

3、stylegan作为计算机图形学近几年的里程碑之一，其有非常强大的人脸编辑能力，只需要量化的情绪参数，就可以将原始人脸表情编辑成目标表情，而神经解码领域中，情绪的解码已经非常发达，当两者有机结合，上面提到的很多社会问题都有了解决的希望，但是目前来说，并没有人将两者结合起来，这便是本发明的初衷——利用脑电生成表情。

技术实现思路

1、本发明的目的在于针对现有技术存在的表情生成不真实问题，提供一种基于脑电信号的表情神经解码方法。

2、本发明包括以下步骤：

3、1)从人脑神经数据中提取人脸表情信息，建立符合实际的人脸生成模型；

4、2)利用deap数据集，锁定人脑神经数据的对应脑区与神经波段；

5、3)通过lstm模型连接脑电与人脸数据，并利用cnn模型量化出被试者的情感参数作为lstm的初始化参数；

6、4)利用stylegan网络将情感参数在原始人脸的基础上进行编辑，获得非常接近原始人脸表情的生成图片。

7、在步骤1)中，所述从人脑神经数据中提取人脸表情信息，建立符合实际的人脸生成模型的具体步骤可为：

8、(1)将神经信号分解为多个频带，包括δ频段(1～3hz)，θ频段(4～7hz)，α频段(8～13hz)，β频段(14～30hz)和γ频带(31～50hz)；

9、(2)从每个频段中提取特征，其中提取的特征为差异不对称(differentialasymmetry)；

10、(3)同时利用时间和频域信息来体现神经信号的性质，特征的提取方法为小波变换(wavelet transform)。

11、在步骤2)中，所述锁定人脑神经数据的对应脑区与神经波段的子步骤为：

12、(1)根据相关论文确定触发人类情绪的脑区与波段；

13、(2)利用mne工具对deap数据集的脑区活动进行可视化展现；

14、(3)将实际脑区活动剧烈的部分与论文确定的脑区取交集，以此锁定脑区。

15、在步骤3)中，所述量化出被试者的情感参数的子步骤为：

16、(1)取fer2013的配套表情识别cnn模型，去掉最后的分类头，取其直接的输出；

17、(2)将输出作为量化情感的标准参数,并以此数去初始化两层lstm的中间数值。

18、在步骤4)中，所述利用stylegan网络将情感参数在原始人脸的基础上进行编辑的子步骤为：

19、(1)以人脸相度似损失函数为基础，调用stylegan模型生成与真实人脸相似的图片

20、(2)记录下生成相似图片时，stylegan的具体参数，作为lstm模型的最终输出样本

21、(3)以脑电为输入，以stylegan参数为输出，进行一轮lstm的训练，从而输出控制stlyegan生成真实人脸的参数，最终得到真实人脸。

22、本发明与现有技术相比具有以下优点和技术结果：

23、1、目前无论是语音、眼动还是肌电这类时序信号，都只能够生成144个坐标点组成的“人脸”，与真实人脸相去甚远，而本发明可以生成以假乱真的真实人脸，在可视化层面上跨上一步台阶，实现本发明目的。

24、2、当前神经解码领域内，只有利用神经信号进行情绪分类的方法，近几年随着计算机视觉的发展，情绪到表情的桥梁逐渐构建，本方法实现从神经信号直接解码表情特征的创新一步。

25、3、本方法给出从预处理到应用的全套过程，较好地利用了脑科学与计算机科学交叉的优势，优化数据端的信噪比。

技术特征：

1.基于脑电信号的表情神经解码方法，其特征在于包括以下步骤：

2.如权利要求1所述基于脑电信号的表情神经解码方法，其特征在于在步骤1)中，所述从人脑神经数据中提取人脸表情信息，建立符合实际的人脸生成模型的具体步骤为：

3.如权利要求1所述基于脑电信号的表情神经解码方法，其特征在于在步骤2)中，所述锁定人脑神经数据的对应脑区与神经波段的子步骤为：

4.如权利要求1所述基于脑电信号的表情神经解码方法，其特征在于在步骤3)中，所述量化出被试者的情感参数的子步骤为：

5.如权利要求1所述基于脑电信号的表情神经解码方法，其特征在于在步骤4)中，所述利用stylegan网络将情感参数在原始人脸的基础上进行编辑的子步骤为：

技术总结
基于脑电信号的表情神经解码方法，涉及神经解码领域和计算机视觉领域。包括步骤：1)从人脑神经数据中提取人脸表情信息，建立符合实际的人脸生成模型；2)利用DEAP数据集，锁定人脑神经数据的对应脑区与神经波段；3)通过LSTM模型连接脑电与人脸数据，并利用CNN模型量化出被试者的情感参数作为LSTM的初始化参数；4)利用StyleGan网络将情感参数在原始人脸的基础上进行编辑，获得非常接近原始人脸表情的生成图片。可以生成以假乱真的真实人脸，在可视化层面上跨上一步台阶。实现从神经信号直接解码表情特征的创新一步。给出从预处理到应用的全套过程，较好地利用脑科学与计算机科学交叉的优势，优化数据端的信噪比。

技术研发人员：张俊松,柳栋怀
受保护的技术使用者：厦门大学
技术研发日：
技术公布日：2024/1/12