基于多模态时空谱融合的觉醒自动识别方法及系统

本发明涉及觉醒识别，特别涉及一种基于多模态时空谱融合的觉醒自动识别方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。

2、睡眠对人来说是一种生物学上的必需过程，具有重要的生理和心理意义。睡眠不足或低质量的睡眠可能会增加患心血管疾病和肥胖等健康问题的风险；而充足的睡眠有助于恢复体力和能量，改善认知和记忆功能，提升情绪和心理健康等。随着社会的发展，高质量的生活方式日益受到重视，而睡眠质量作为衡量生活质量的重要指标，也越来越受到关注。但如今许多人在睡眠方面存在着一些问题，生活方式的不规律、环境因素的干扰和心理健康状态的不佳等原因都会影响睡眠质量。认识和理解这些影响因素，并采取适当的措施来改善睡眠环境和生活方式，对于提高睡眠质量和生活质量具有积极的意义。

3、觉醒对于评估睡眠质量、诊断和治疗睡眠障碍具有重要的指导作用。觉醒可以提供关于睡眠中断和睡眠质量的客观指标，帮助医生和研究人员更好地了解个体的睡眠状态，识别潜在的睡眠问题。对于普通人群，研究觉醒可以帮助了解日常生活中的睡眠质量状况，以便采取措施改善睡眠习惯和提高生活质量；此外，觉醒的研究还有助于深入了解睡眠的生理机制和调控过程，对于睡眠研究领域的科学研究和临床实践都具有重要的意义。

4、发明人发现，现有的觉醒识别大多采用对采集到的信号进行时频分析，但是噪声的能量在时频平面内是随机分布的，容易受到时频平面内不相关分量的干扰，导致整体识别的鲁棒性较差。

技术实现思路

1、为了解决现有技术的不足，本发明提供了一种基于多模态时空谱融合的觉醒自动识别方法及系统，利用全局时频脊线向量提取的方法，减小了噪声，降低了时频平面内不相关分量的干扰，提高觉醒识别的鲁棒性。

2、为了实现上述目的，本发明采用如下技术方案：

3、本发明第一方面提供了一种基于多模态时空谱融合的觉醒自动识别方法。

4、一种基于多模态时空谱融合的觉醒自动识别方法，包括以下过程：

5、对待识别人员的睡眠相关数据进行预处理，并对预处理后的数据进行全局时频脊线向量提取；

6、根据全局时频脊线向量进行时空谱融合，得到时频谱矩阵；采用能量映射的方法，将时空谱矩阵映射为二维图像；

7、根据时空谱矩阵映射得到的二维图像与预训练的觉醒识别模型，得到觉醒识别结果。

8、作为本发明第一方面进一步的限定，睡眠相关数据至少包括eeg信号、eog信号、emg信号、ecg信号、呼吸气流信号、胸部呼吸努力信号、腹部呼吸努力信号和血氧饱和度信号。

9、作为本发明第一方面进一步的限定，所述预处理包括对睡眠相关数据进行滤波和标准化处理。

10、作为本发明第一方面进一步的限定，对预处理后的数据进行全局时频脊线向量提取，包括：

11、使用全局脊线指数融合各通道数据，假设x矩阵为m行n列的矩阵，m表示数据的通道数，n表示该通道数据的采样点数；

12、对x进行分段，假设长度为l的窗口，且窗口编号为k＝1,2,…,(n/l)，创建一个分段后的时域矩阵sk；

13、对于sk的每一行(r＝1,2,…,m)使用功率谱分析计算sk的时频矩阵表示，假设时频矩阵表示具有q行对应于频率区间数量，p列对应于时间步长，则时频矩阵表示为

14、更新时频矩阵表示中每个元素的值，得到最新的矩阵形式；

15、从最新的矩阵形式最后一列开始，找到最小值元素，作为脊线路径的起始点，然后，通过沿着当前频率点到上一个时间点的源频率点进行回溯，记录脊线路径的索引，捕捉到信号在时频域中能量最强的频率成分的传播路径，并形成一条连续的脊线路径，从该矩阵中移除第一条脊线，并重复上述过程，提取具有最高能量的三条时频脊线矩阵并记为

16、对中提取的三条脊线的功率谱密度进行求和，并形成综合的脊线向量记为

17、重复上述过程r＝1,2,…,m次，形成时频矩阵，然后将其进行归一化记为

18、对中的矩阵每个时间点上的时频脊线进行拼接，形成全局时频脊线向量并记为

19、作为本发明第一方面更进一步的限定，对任一中的元素进行更新，包括：

20、基于任一元素与它前一列其他行元素的距离，考虑惩罚项ρ，并计算各虑惩罚项的距离值，其中，惩罚项是频率点之间距离平方的两倍；

21、找到各惩罚项的距离值的最小值，将所述最小值与原元素值相加，便得到更新后的元素值。

22、作为本发明第一方面进一步的限定，根据全局时频脊线向量进行时空谱融合，得到时频谱矩阵，采用能量映射的方法，将时空谱矩阵映射为二维图像，包括：

23、利用小波变换将全局时频脊线向量分解为不同尺度和方向的小波系数，提取出信号的不同特征，在每个尺度上，对相应的时频子带进行融合，融合权重采用基于能量的自适应权重，阈值采用基于全局标准差的自适应阈值，将融合后的时频子带进行逆小波变换，再将其合并为一个整体的时空谱矩阵；

24、采用能量映射的方法，将时空谱矩阵映射为二维图像，包括：将时空谱矩阵的元素归一化，选择对数函数作为映射函数，然后将归一化的元素映射到图像的像素值范围内，进而生成所需要的二维图像。

25、作为本发明第一方面进一步的限定，觉醒识别模型包括：依次连接的卷积层、densenet模块和自注意力机制模块，densenet模块中，每一个层产生的特征图数量通常由输入和超参数k共同决定，其中，超参数k为增长率，第m层具有(k0+k×(m-1))个输出特征图，k0为上一层的输入；

26、自注意力机制模块的输入是densenet模块提取到的高级特征图，首先通过position embedding对该特征图中的每个位置进行编码，并将获得的位置特征与原始特征求和获得新的特征向量，新的特征向量同时包含位置信息与原始的特征；

27、新的特征向量进入multi-head attention进行特征提取，最后通过对h个头部获得的结果进行特征拼接，将得到的注意力向量作为输出，feed forward是对多头注意力机制层的输出结果进行两次线性变化和一次gelu激活操作，multi-head attention和feedforward层都包含一个残差连接结构，然后再做一个规范化操作，将本过程的操作重复多次，最后通过全局平均池化对每个维度进行处理，得到输出特征列。

28、本发明第二方面提供了一种基于多模态时空谱融合的觉醒自动识别系统。

29、一种基于多模态时空谱融合的觉醒自动识别系统，包括：

30、全局时频脊线向量提取模块，被配置为：对待识别人员的睡眠相关数据进行预处理，并对预处理后的数据进行全局时频脊线向量提取；

31、时空谱融合模块，被配置为：根据全局时频脊线向量进行时空谱融合，得到时频谱矩阵；采用能量映射的方法，将时空谱矩阵映射为二维图像；

32、觉醒识别模块，被配置为：根据时空谱矩阵映射得到的二维图像与预训练的觉醒识别模型，得到觉醒识别结果。

33、本发明第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的基于多模态时空谱融合的觉醒自动识别方法中的步骤。

34、本发明第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的基于多模态时空谱融合的觉醒自动识别方法中的步骤。

35、与现有技术相比，本发明的有益效果是：

36、1、本发明创新性的提出了一种基于多模态时空谱融合的觉醒自动识别方法及系统，利用全局时频脊线向量提取的方法，减小了噪声，降低了时频平面内不相关分量的干扰，提高觉醒识别的鲁棒性。

37、2、本发明创新性的提出了觉醒识别模型，其中densenet可以从时空谱矩阵映射得到的二维图像中提取关键时频特征，自注意力机制网络使用自注意力机制集中关注最相关的特征，二者相结合可以有效地提高觉醒识别的准确性和效率。

38、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。