一种基于多域残差神经网络的脑电意识疲劳监测方法

本发明涉及脑电与深度学习结合开发，尤其涉及一种基于多域残差神经网络的脑电意识疲劳监测方法。

背景技术：

1、目前，疲劳是造成海上人为交通事故的主要影响因素，由此，船员的疲劳问题受到广泛重视。在疲劳对大脑影响的研究中，发现脑电图可以反映大脑活动，通过人体的脑电图与计算机之间的通信成为提取信息的重要方法。

2、现有技术中，脑电分类方法一般通过短间隔傅立叶变换(stft)将原始信号转换为时频图，然后将两个通道的图像组合作为输入来训练神经网络。虽然eeg信号的频率特征可以将信号转换为时频图像，但时频图像的二维信息会失去eeg信号在时间和空间上的特征，仅能提取脑电的频域特征，忽略了脑电的时域特征。

3、另外，研究指出，脑电信息处理得到的脑电图双频指数(bis)可以反映活动状态下镇静度，其数值不受肌肉放松、肌电图等活动水平的影响，可以对意识水平进行客观、连续的监测。虽然近年来，深度学习技术应用越来越广泛，但仍缺少基于脑电活动状态bis监测的神经网络模型和训练方法。

技术实现思路

1、本发明的目的是提供一种基于多域残差神经网络的脑电意识疲劳监测方法，利用时域和频域多域特征提高了脑电识别的性能，生成的数据可以有效提高bis识别精度，能够有效监测人脑的疲劳状态。

2、为实现上述目的，本发明提供了一种基于多域残差神经网络的脑电意识疲劳监测方法，步骤如下：

3、s1、采集个体的脑电图，并提取bis值中数据；

4、s2、构建残差神经网络bis预测模型；

5、s3、将步骤s1获得的bis值中数据输入到步骤s2构建的残差神经网络bis预测模型中，并输出结果；

6、将输出的时域残差子网络和频域残差子网络的结果通过concatenate函数融合，然后在全连接层通过dense函数将融合数据输出一个数值。

7、进一步地，步骤s1中，提取的bis值数据包括时域数据和频域数据，时域数据为一维图像的波形点，频域数据为二维图像的像素点。

8、进一步地，步骤s2中，残差神经网络bis预测模型包括时域残差子网络、频域残差子网络和全连接层；

9、所述时域残差子网络包括：时域输入层、时域残差网络层、池化层一和输出层一；

10、所述频域残差子网络包括：频域输入层、频域残差网络层、池化层二和输出层二。

11、进一步地，时域残差网络层包括五层，并分别为第一层残差网络层、第二层残差网络层、第三层残差网络层、第四层残差网络层、第五层残差网络层，所述池化层一位于第一层残差网络层、第二层残差网络层。

12、在本实施例中，第一层残差网络层有1个卷积网络层；第二层残差网络层有3个残差网络块，包含9个卷积网络层；第三层残差网络层有4个残差网络块，包含12个卷积网络层；第四层残差网络层有6个残差网络块，包含18个卷积网络层；第五层残差网络层有3个残差网络块，包含9个卷积网络层。

13、进一步地，频域残差网络层包括五层，并分别为第一层残差网络层、第二层残差网络层、第三层残差网络层、第四层残差网络层、第五层残差网络层，所述池化层二位于第一层残差网络层、第二层残差网络层。

14、在本实施例中，第一层残差网络层有1个卷积网络层，第二层残差网络层有3个残差网络块，包含9个卷积网络层；第三层残差网络层有4个残差网络块，包含12个卷积网络层；第四层残差网络层有6个残差网络块，包含18个卷积网络层；第五层残差网络层有3个残差网络块，包含9个卷积网络层；第一层和第二层之间有池化层为1个。

15、在本实施例中，时域残差子网络、频域残差子网络中的第一残差网络层有一层64个卷积特征图，第二残差网络层有三层64个卷积特征图，第三残差网络层有四层128个卷积特征图，第四残差网络层有六层256卷积特征图，第五残差网络层有三层512个卷积特征图。全连接层设置为512节点，输出层设置为1个节点。

16、进一步地，步骤s3中，具体过程如下：

17、s31、将时域数据输入到残差神经网络bis预测模型的时域残差子网络、频域数据输入到频域残差子网络，在时域残差子网络和频域残差子网络中的每一卷积层中训练如下：

18、

19、

20、其中，hin是第一层或者上一层卷积核通道数，hout是经过计算后，卷积核通道数；win是输入卷积核组数，wout输出的卷积核组数；kernelsize表示卷积核的大小，stride表示卷积核滑动的步长，padding表示由输入层、输出层计算得到的值；dilation即核内元素间距；

21、s32、将输出层的值导入concatenate函数对时域残差子网络和频域残差子网络的输出结果融合，解决维度问题后，在全连接层通过dense函数将数据融合为一个数值，即可。

22、因此，本发明采用上述一种基于多域残差神经网络的脑电意识疲劳监测方法，识别bis监测在不同大脑活动状态下的时域和频域多领域的特征，利用深度学习提取多域信息而不是单域信息，实现脑电信号的高精度特征识别，将更复杂的网络模型与不同领域的数据训练相结合，提高了脑电识别的性能。

23、实验结果表明，首先，该回归模型对bis值的预测精度更高，并且比单独使用时域或频域信号的resnets具有更高的预测精度。更重要的是，实验清楚地发现并证明，频域特征的时域融合可以提高bis回归预测的性能。

技术特征：

1.一种基于多域残差神经网络的脑电意识疲劳监测方法，其特征在于，步骤如下：

2.根据权利要求1所述的一种基于多域残差神经网络的脑电意识疲劳监测方法，其特征在于：步骤s1中，提取的bis值数据包括时域数据和频域数据，时域数据为一维图像的波形点，频域数据为二维图像的像素点。

3.根据权利要求2所述的一种基于多域残差神经网络的脑电意识疲劳监测方法，其特征在于：步骤s2中，残差神经网络bis预测模型包括时域残差子网络、频域残差子网络和全连接层；

4.根据权利要求3所述的一种基于多域残差神经网络的脑电意识疲劳监测方法，其特征在于：时域残差网络层包括五层，并分别为第一层残差网络层、第二层残差网络层、第三层残差网络层、第四层残差网络层、第五层残差网络层，所述池化层一位于第一层残差网络层、第二层残差网络层。

5.根据权利要求3所述的一种基于多域残差神经网络的脑电意识疲劳监测方法，其特征在于：频域残差网络层包括五层，并分别为第一层残差网络层、第二层残差网络层、第三层残差网络层、第四层残差网络层、第五层残差网络层，所述池化层二位于第一层残差网络层、第二层残差网络层。

6.根据权利要求3所述的一种基于多域残差神经网络的脑电意识疲劳监测方法，其特征在于，步骤s3中，具体过程如下：

技术总结
本发明涉及脑电与深度学习结合开发技术领域，具体公开了一种基于多域残差神经网络的脑电意识疲劳监测方法，步骤如下：S1、采集个体的脑电图，并提取BIS值中数据；S2、构建残差神经网络BIS预测模型；S3、将步骤S1获得的BIS值中数据输入到步骤S2构建的残差神经网络BIS预测模型中，并输出结果；将输出的时域残差子网络和频域残差子网络的结果通过concatenate函数融合，然后在全连接层通过dense函数将融合数据输出一个数值，保留了脑电信号的时域和频域特征，提高了脑电识别的性能，生成的数据有效提高了BIS识别精度，有效监测人脑的疲劳状态。

技术研发人员：李荭娜,李昱函,陈玥,周靖杰
受保护的技术使用者：天津理工大学
技术研发日：
技术公布日：2024/1/15