梦境情绪识别方法、装置、电子设备和存储介质与流程

1.本技术属于新一代信息技术领域，特别涉及一种梦境情绪识别方法、装置、电子设备和存储介质。


背景技术：

2.情绪是人对外界事物产生的心理和生理反应。准确地识别情绪在人机交互研究中占据着重要位置。由于脑电信号具有客观，不易伪装等特点，其在清醒态情绪识别领域的应用广受关注。由于梦发生时间的不确定性，梦境脑电信号及对应情绪状态的采集具有较高的难度，针对其的相关研究相对较少。
3.在对梦境情绪检测时，通常采用侧面推断或问卷等形式来进行反应，这大大降低了对梦境情绪进行分析的可靠性。


技术实现要素：

4.为了至少解决上述问题中存在的对梦境情绪进行分析可靠性低的问题，本技术提供了一种梦境情绪识别方法、装置、电子设备、存储介质和系统。
5.第一方面，本技术提供了一种梦境情绪识别方法，其包括：
6.获取用户睡眠时的多导联脑电信号；
7.对多导联脑电信号进行预处理，得到多导联预处理信号；
8.对多导联预处理信号进行经验模态分解，得到多导联多阶本征模态函数；
9.依据多导联多阶本征模态函数对多导联脑电信号进行睡眠分期，得到睡眠分期结果；
10.依据睡眠分期结果确定快速眼动rem期信号；
11.对rem期信号进行识别，得到梦境情绪识别结果。
12.第二方面，本技术提供了一种梦境情绪识别装置，其包括：
13.脑电信号获取模块，用于获取用户睡眠时的多导联脑电信号；
14.信号预处理模块，用于对多导联脑电信号进行预处理，得到多导联预处理信号；
15.模态函数得到模块，用于对多导联预处理信号进行经验模态分解，得到多导联多阶本征模态函数；
16.睡眠分期得到模块，用于依据多导联多阶本征模态函数对多导联脑电信号进行睡眠分期，得到睡眠分期结果；
17.rem期信号确定模块，用于依据睡眠分期结果确定快速眼动rem期信号；梦境情绪识别模块，用于对rem期信号进行识别，得到梦境情绪识别结果。
18.第三方面，本技术提供了一种电子设备，其包括：
19.存储器和处理器；处理器与存储器连接，被配置为基于存储在存储器中的指令，执行上述梦境情绪识别方法。
20.第四方面，本技术提供了一种计算机可读存储介质，其上存储有至少一条指令、至
少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述的梦境情绪识别方法。
21.本技术提供的技术方案带来的有益效果是：
22.通过获取用户睡眠时的多导联脑电信号，对脑电信号进行预处理，得到预处理信号，对预处理信号进行经验模态分解，得到多阶本征模态函数，依据各导联多阶本征模态函数对多导联脑电信号进行睡眠分期，得到睡眠分期结果，依据睡眠分期结果确定rem期信号，对rem期信号进行识别，得到梦境情绪识别结果。rem期的梦境有丰富的情感信息，因此采用rem期信号对梦境情绪进行识别，提到了梦境情绪识别的可靠性。在分析rem期时，通过将多导联多阶本征模态函数作为判断信号，而不是使用原始脑电信号，进一步提取出了与rem期强相关的信号，能提到rem期识别的准确率，从而提高梦境情绪识别的可靠性。
附图说明
23.图1为本技术实施例提供的一种梦境情绪识别方法的流程示意图；
24.图2为本技术实施例提供的一种经验模态分解的结果示意图；
25.图3为本技术实施例提供的一种梦境情绪识别装置的结构示意图；
26.图4为本技术实施例提供的一种梦境情绪识别系统的结构示意图。
具体实施方式
27.下面将参考附图并结合实施例来详细说明本技术。
28.参见图1，本技术实施例提供了一种梦境情绪识别方法，其包括以下步骤：
29.步骤101，获取用户睡眠时的多导联脑电信号。
30.脑电信号(eeg，electroencephalogram)是脑神经细胞电生理活动在大脑皮层或头皮表面的总体反映，其包含了大量的生理与疾病信息，因此可以通过对脑电信号的研究分析，得到一些诊断结果，该诊断结果可以应用于治疗监督辅助，例如睡眠障碍人群或精神疾病类人群的治疗监督辅助。用户在睡眠时，通常经历两个睡眠期：nrem(not rapid eyes movement，非快速眼动)期和rem(rapid eyes movement，快速眼动)期。nrem期可以分为三个阶段，分别是n1睡眠阶段、n2睡眠阶段和n3睡眠阶段。不同的睡眠阶段，人的大脑会有不同的反应。
31.脑电信号通过佩戴脑机来获取。脑机的使用方式可以是贴覆式，还可以是头戴式，本实施例对此不进行限定。脑机是多通道的，此时采集到的脑电信号可以称为多导联脑电信号。
32.下面以某配置为例，对脑机的配置进行详细说明：
33.1)采用金杯电极，阻抗大小调节为小于20千欧，金杯电极采用穿戴式设计。
34.2)电极的分布涉及多个点位，即脑电信号对应的采集位置为多个，具体为额叶、额颞叶、颞叶，参考电极为左右侧耳后乳突。采样电极为f3、f4、ft7、ft8、t7、t8，其中，f代表额叶部位，t代表颞叶部位，ft代表额颞叶相邻部位。电极点位参照国际标准导联10-20系统(10-20electrode system)64通道，采样率为200hz。每个电极对应一个通道，此时脑电信号共有6个通道(采集位置)，采用6个通道，可以使得用于实现对rem期信号进行识别得到梦境情绪识别结果的分类器在识别计算时复杂度降低。
35.3)采集时间优选为整晚睡眠时间，即用于处于睡眠状态时，用户静止平躺，保持头部和身体不晃动，处于闭眼状态，保持环境温度和噪声在正常适宜水平。
36.4)采集时的相关参数设置可以如下：头皮eeg频率范围0hz到50hz，伏值为0.5uv到100uv。
37.电极位置分布为额叶、额颞叶、颞叶，采集到的脑电信号能集中反映rem期情绪脑电活动，满足了对左、右半球脑电信号的精确刻画，并能一定程度上检测睡眠过程中海马体的神经活动情况。
38.步骤102，对多导联脑电信号进行预处理，得到多导联预处理信号。
39.在采集信号的过程中，会遇到很多干扰信号，为了降低干扰信号的影响，因此对采集的信号进行预处理。预处理包括：降采样、放大、滤波、编码、独立成分分析(independent components analysis，ica)，标准化中的一种操作或几种操作，在其他的实施例中，还可以包括：剔除坏段等操作，本实施例对此不进行限定。在处理过程中，可以对各导联脑电信号进行预处理，得到各导联预处理信号，所有导联预处理信号合称为多导联预处理信号。
40.步骤103，对多导联预处理信号进行经验模态分解，得到多导联多阶本征模态函数。
41.依据信号自身时间尺度特征进行经验模态分解(emd，empirical mode decomposition)，将信号分解为有限个本征模态函数(imf，intrinsic mode function)，其停止分解的标准可以是连续两次的筛分结果数据点的标准差小于0.05，如图3所示，图中示意出了预处理信号、参考信号和四阶本征模态函数，imf1、imf2、imf3和imf4，imfm表示第m阶本征模态函数。在处理过程中，可以对各导联预处理信号进行经验模态分解，得到各导联多阶本征模态函数，所有导联多阶本征模态函数合称为多导联多阶本征模态函数。
42.步骤104，依据多导联多阶本征模态函数对多导联脑电信号进行睡眠分期，得到睡眠分期结果。
43.确定多阶本征模态函数中的第m阶本征模态函数为睡眠分期信号，m为自然数，然后对睡眠分期信号进行功率谱密度分析，得到功率谱密度，对各导联的多阶本征模态函数分别进行上述操作，得到各导联功率谱密度，所有导联功率谱密度合称为多导联功率谱密度，功率谱密度特征集中含有各导联功率谱密度，利用预构建的分类器对功率谱密度特征集进行分类，得到睡眠分期结果。
44.为了更好地区分rem期与nrem期，提高对rem期的识别准确率，选用第4阶本征模态函数作为睡眠分期识别的基信号，即作为睡眠分期信号。
45.功率谱密度的分析方法可以选用welch法，例如：使用256长度的hamming窗对信号进行分解得到频域信号，相关参数可以设置为overlap＝0.5、fs＝200、nfft＝512。对分解后的频域信号进行10*log10(x)运算，然后将运算结果变换为db/hz单位形式，从而求得功率谱密度。应用中，可以取前n个采样点数据作为该通道的特征，这n个采样点数据能反应信号跟情绪识别有关的频率的成分，减少计算量。n为自然数，例如20。对每个导联睡眠分期信号进行功率谱密度分析，得到各导联功率谱密度。将各导联功率谱密度作为功率谱特征集的元素，即功率谱特征集包括各导联功率谱密度。若通道数为6，则功率谱特征集中有6个特征。
46.预构建的分类器可以是gbdt分类器，在其他的实施例中，还可以是基于卷积神经
网络构建的分类器，又可以是高斯分类器、支持向量机等，本实施例对分类器分类的原理和种类不进行限定。使用分类器前，通常需要训练，将标记的脑电信号输入至分类器中，根据预测结果与标记结果进行迭代训练，直至模型收敛，得到训练完成的分类器。标记的脑电信号具有已知的与该脑电信号对应的睡眠分期结果。
47.具体地，将打完标签的rem期与nrem期的eeg数据6通道的特征进行压缩编码，按照4：1的方式划分训练集与测试集，构建gbdt分类器。使用朴素贝叶斯优化的方法对gbdt的各项参数('learning_rate'，'n_estimators'，max_depth’，'max_features')进行优化调整，使得其对rem识别的loss达到最小。gbdt是使用boosting方法构建的一种集成学习算法。其主要思想是迭代训练一系列的弱分类器，使用梯度提升树来累加每一次的拟合残差，弱分类器为cart回归树。
48.步骤105，依据睡眠分期结果确定快速眼动rem期信号。
49.通常大多数梦发生于rem期且该阶段的梦境有着更为丰富的情感信息，因此为了更好对梦境情绪识别，需要对rem期对应的脑电信号(简称rem期信号)进行提取，提取出的信号用于梦境情绪识别。通过上述步骤实现了对多导联脑电信号进行rem期提取，得到rem期信号。
50.当睡眠分期结果是rem期时，将与rem期对应的脑电信号确定为rem信号。rem期出现时，通常会持续一段时间，例如1min，或者更长。在该段时间内，有可能出现识别错误，即将本是rem期的睡眠分期结果识别为nrem期。由于睡眠分期结果是nrem期，则该nrem期的脑电信号不作为后续情绪识别的脑电信号，因此会对情绪识别结果产生影响，为了降低因识别错误而对情绪识别结果产生的影响，本步骤在实现时包括以下子步骤：若预设时段内，睡眠分期结果为rem期的次数大于预设的次数阈值，则确定用户在预设时段内进入rem期，依据用户进入rem期的预设时段对多导联脑电信号进行信号提取，得到rem期信号。
51.沿预设时长对预设时段进行划分，可以得到多个睡眠分期结果所对应的脑电信号时长。对每个预设时长的脑电信号进行睡眠分期，得到睡眠分期结果，然后对各睡眠分期结果进行汇总统计，若统计结果中rem期出现的次数等于预设次数阈值，则确定用户在该预设时段内进入rem期，从而可以对与该预设时段对应的脑电信号进行信号提取，得到rem期信号。若统计结果中rem期出现的次数小于预设次数阈值，则确定用户在该预设时段内未进入rem期，从而不对与该预设时段对应的脑电信号进行信号提取。
52.为了进一步降低因rem期识别错误对情绪识别结果产生的影响，该步骤依据用户进入rem期的预设时段对多导联脑电信号进行信号提取，得到rem期信号的实现方式可以为：确定用户进入rem期的预设时段内，首次rem期所对应的多导联脑电信号的开始时间点，确定用户进入rem期的预设时段的结束时间点，根据开始时间点和结束时间点对预设时段内的多导联脑电信号进行信号提取，得到rem期信号。首次rem期即为预设时段内，分期结果中第一次出现的rem期。
53.确定rem期信号的开始时间点后，将预设时段的结束时间点作为rem期信号的结束时间点，然后依据该开始时间点和结束时间点对预设时段进行信号提取，得到rem期信号。
54.以预设时段为1min，睡眠分期结果所对应的脑电信号时长为10s为例进行说明，对过去1min内连续6次的睡眠分期结果进行汇总统计，在统计结果中若出现3次以上的rem期，则判断过去1min出现了rem期，rem期信号的开始时间点为首次识别到rem期时该首次rem期
所对应的脑电信号的开始时间点，将预设时段1min所对应的脑电信号的结束时间点作为rem信号的结束时间点，然后将提取的rem期的原始脑电信号传输至下一步骤。本实施例中，次数阈值设置为3，在其他的实施例中，还可以为其他数值，本实施例对其不进行限定。
55.步骤106，对rem期信号进行识别，得到梦境情绪识别结果。
56.在对梦境情绪识别时，用到的信号为rem期所对应的脑电信号。识别的方法可以采用分类器，例如卷积神经网络模型，支持向量机，本实施例对此不进行限定。
57.在得到梦境情绪识别结果后，将梦境情绪信号的识别结果用于生成梦境报告。通常是将该结果发送至客户端，由客户端生成梦境报告，如此便于用户根据自己的需求查阅梦境报告。在其他的实施例中，在得到梦境情绪识别结果后，本实施例提供的方法还包括：确定rem期的开始时间点和持续时长，将脑电信号转换为波形图，依据梦境情绪识别结果以及rem期的开始时间点、持续时长、波形图中至少一项，生成针对用户的报告相关信息，以对报告相关信息进行输出处理，例如该报告相关信息用于使用户的客户端生成梦境报告，从而便于用户更全面充分的了解梦境相关信息。
58.通过获取用户睡眠时的多导联脑电信号，对脑电信号进行预处理，得到预处理信号，对预处理信号进行经验模态分解，得到多阶本征模态函数，依据各导联多阶本征模态函数对多导联脑电信号进行睡眠分期，得到睡眠分期结果，依据睡眠分期结果确定rem期信号，对rem期信号进行识别，得到梦境情绪识别结果。rem期的梦境有丰富的情感信息，因此采用rem期信号对梦境情绪进行识别，提到了梦境情绪识别的可靠性。在分析rem期时，通过将多导联多阶本征模态函数作为判断信号，而不是使用原始脑电信号，进一步提取出了与rem期强相关的信号，能提到rem期识别的准确率，从而提高梦境情绪识别的可靠性。
59.在一些实施例中，步骤106的实现方式可以是：
60.采用通过时间自注意力机制与通道自注意力机制构建的transformer模型对rem期信号进行识别，得到基于时间自注意力机制与通道自注意力机制的梦境情绪识别结果。
61.由于采样点之间的相关性反应了时间eeg的相互关系，因此，考虑eeg时域的长期依赖性，使用自注意力机制对eeg的时域信息进行编码。eeg中的不同通道代表头皮上不同位置的电极，通过考虑不同通道之间的依赖性，可以计算出不同脑区之间的功能连通性，因此，考虑使用注意机制来建模不同通道之间的空间信息。即在对梦境情绪进行识别时，构建了一种识别模型，其是基于时间自注意力机制和通道自注意力机制构建的，识别时不需要用到额外eeg的情绪特征，只使用原始的eeg即可，如此能充分利用时域信息的相关性与脑电通道的相关性，提升情绪识别的准确率。梦境情绪识别结果的状态可以分为4类：无梦产生、积极情绪、中性情绪和消极情绪，在其他的实施例中，还可以分为2类：积极情绪和消极情绪，本实施例对梦境情绪识别结果状态的种类不进行限定。
62.该模型包括：编码器和解码器。其中，编码器是基于两个自注意力机制：时间自注意力机制和通道自注意力机制组成的。利用时间自注意力机制来计算脑电信号中不同采样点之间的相关性，利用通道自注意力机制计算不同通道信号之间的相关性(或称耦合关系)。相应地，编码器分为基于时间自注意力机制构建的时域编码器和基于通道自注意力机制构建的空域编码器。该识别模型对于现有的transformer模型来说，只使用了transformer模型中的编码器(encoder)部分，即经过编码器处理后，直接采用一个mlp层进行分类，也可理解为mlp(multi-layer perceptron，多层感知机)层作为解码器(decoder)，
将作为解码器的多层感知机称为第二多层感知机。
63.具体地，在实现该步骤时，所使用的方法包括：
64.对多导联脑电信号添加基于通道的位置编码，得到融合编码，利用时域编码器对融合编码进行编码，得到时域编码，利用空域编码器对时域编码进行编码，得到空域编码，利用解码器对空域编码进行解码，得到梦境情绪识别结果。
65.脑电信号为联系的时间信号且具有较强的通道信息相关性，因此在样本识别中对脑电信号进行位置编码，并添加到脑电信号中。位置编码的方法可以是三角函数位置编码方法，在其他的实施例中，还可以采用其他编码方法，本实施例对此不进行限定。
66.当位置编码的方法是三角函数位置编码时，三角函数编码涉及到的公式(1)如下：
[0067][0068]
式中，p(t)反映了输入数据(多导联脑电信号)的每个通道的位置信息，t代表了位置，在本实施例中取值1-6(6个通道)，w1，w2
……
代表了每个通道的数据维度，d为输入样本的采样点数，对于输入数据中的奇数位赋sin运算，偶数位赋cos运算，在本实施例中d可以为360。
[0069]
时域编码器包括：mha(multi-head attention，多头注意力机制)和mlp(多层感知机)，为了便于区分，将时域编码器中的mlp称为第一多层感知机，将作为解码器的mlp称为第一多层感知机。在时域编码器中，先计算所包含的多头注意力机制中各头的头输出结果，使用的公式(2)和公式(3)如下：
[0070]hl
＝ln(mha(z
l-1
)+z
l-1
)(2)
[0071]zl
＝ln(mlp(h
l
)+h
l
):l＝1,2,3
……
l(3)
[0072]
式中，mha表示多头注意力机制，mlp表示第一多层感知机，ln表示层归一化，l表示多头注意力机制中头的个数，h
l
表示当前头l的隐藏状态，z
l
表示当前头l的头输出结果，z0表示对应地经添加位置编码处理后的多导联脑电信号。为了提高训练速度和模型的鲁棒性，各部分均采用残差连接和层归一化。
[0073]
然后对所有头的头输出结果进行拼接，得到的结果作为时域编码器的输出结果，即时域编码。
[0074]
其中，mha(z0)计算所使用的公式(4)如下：
[0075][0076]
式中，q、k、v都是由经添加位置编码处理后的多导联脑电信号的线性投影得到的矩阵，分别称为域查询线性变换矩阵、时域键值线性变换矩阵和时域值线性变换矩阵，dk为标量因子。softmax为回归函数。
[0077]
空域编码器也包括：mha(multi-head attention，多头注意力机制)和mlp(多层感知机)。空域编码器的多头注意力机制和多层感知机的处理过程与时域编码器的多头注意力机制和多层感知机的处理过程是一样的，区别在于空域编码器的输入是时域编码，而时域编码器的输入是融合编码，此处不再一一赘述。
[0078]
在计算时，通常采用矩阵进行计算，样本矩阵由通道和采样点构成，当通道数为6，采样点数为360时，样本矩阵为6*360。在输入上计算多头自注意力机制，如此可以避免单个自注意力机制的误差。
[0079]
在使用模型前，通常需要先对模型进行训练。选用已标注好情绪特征的rem期eeg数据按照比例(如4：1)划分为训练集与测试集，设置训练参数对模型进行训练，其中自注意力机制中引入relu函数作为层激活函数，并且在时域、空间域的编码中设置dropout＝0.2，避免过拟合。根据预测的梦境情绪识别结果与标记的梦境情绪识别结果迭代训练，直至模型收敛，得到训练完成的模型，然后通过测试集测试模型的准确率。若符合要求，则训练完成，否则继续训练。
[0080]
获取用户睡眠时的多导联脑电信号；对多导联脑电信号进行rem期提取，得到rem期信号；采用通过时间自主注意力机制与通道自注意力机制构建的transformer模型对rem期信号进行识别，得到基于时间自注意力机制与通道自注意力机制的梦境情绪识别结果。由于eeg时间上具有连续性以及通道间具有功能相关性，利用transformer模型的时间自注意力机制计算样本中不同采样点之间的相关性，利用transformer模型的通道自注意力机制计算不同通道信号之间的耦合关系，且识别时不需要额外eeg的情绪特征，只使用原始的eeg用于识别任务，从而提高了梦境情绪识别的准确度和时效性。
[0081]
参见图3，本技术实施例提供了一种梦境情绪识别装置，其用于执行上述实施例中的梦境情绪识别方法。该梦境情绪识别装置包括：脑电信号获取模块301、信号预处理模块302、模态函数得到模块303，睡眠分期得到模块304、rem期信号确定模块305和梦境情绪识别模块306。
[0082]
其中，脑电信号获取模块301用于获取用户睡眠时的多导联脑电信号。信号预处理模块302用于对多导联脑电信号进行预处理，得到多导联预处理信号。模态函数得到模块303用于对多导联预处理信号进行经验模态分解，得到多导联多阶本征模态函数。睡眠分期得到模块304用于依据多导联多阶本征模态函数对多导联脑电信号进行睡眠分期，得到睡眠分期结果。rem期信号确定模块305用于依据睡眠分期结果确定rem期信号。梦境情绪识别模块306用于对rem期信号进行识别，得到梦境情绪识别结果。
[0083]
可选地，模态函数得到模块303包括：分期信号确定单元、功率谱密度得到单元、密度特征集得到单元和睡眠分期得到单元。分期信号确定单元用于确定多阶本征模态函数中的第m阶本征模态函数为睡眠分期信号。功率谱密度得到单元用于对各导联睡眠分期信号进行功率谱密度分析，得到各导联功率谱密度。密度特征集得到单元用于依据各导联功率谱密度，确定与多导联脑电信号对应的功率谱密度特征集。睡眠分期得到单元用于利用预构建的分类器对功率谱密度特征集进行分类，得到睡眠分期结果。
[0084]
可选地，rem期信号确定模块305包括：rem期确定单元和信号提取单元。rem期确定单元用于若预设时段内，睡眠分期结果为rem期的次数大于预设的次数阈值，则确定用户在预设时段内进入rem期。信号提取单元用于依据用户进入rem期的预设时段对多导联脑电信
号进行信号提取，得到rem期信号。
[0085]
可选地，信号提取单元包括：开始时间确定子单元、结束时间确定子单元和rem期信号提取子单元。开始时间确定子单元用于确定用户进入rem期的预设时段内，首次rem期所对应的多导联脑电信号的开始时间点。结束时间确定子单元用于确定用户进入rem期的预设时段的结束时间点。rem期信号提取子单元用于根据开始时间点和结束时间点对预设时段内的多导联脑电信号进行信号提取，得到rem期信号。
[0086]
可选地，还包括相关信息生成模块，用于确定与rem期信号对应的rem期的开始时间点和持续时长；将多导联脑电信号转换为波形图；依据梦境情绪识别结果以及rem期的开始时间点、持续时长、波形图中至少一项，生成针对用户的报告相关信息，以对报告相关信息进行输出处理，例如该报告相关信息用于使用户的客户端生成梦境报告。
[0087]
可选地，梦境情绪识别模块306用于采用通过时间自主注意力机制与通道自注意力机制构建的transformer模型对rem期信号进行识别，得到基于时间自注意力机制与通道自注意力机制的梦境情绪识别结果。
[0088]
可选地，梦境情绪识别模块306包括transformer模型和融合编码单元，transformer模型包括基于时间自注意力机制构建的时域编码器、基于通道自注意力机制构建的空域编码器和解码器，融合编码单元用于对多导联脑电信号添加基于通道的位置编码，得到融合编码。时域编码器对融合编码进行编码，得到时域编码。空域编码器对时域编码进行编码，得到空域编码。解码器对空域编码进行解码，得到梦境情绪识别结果。
[0089]
可选地，时域编码器和空域编码器均包括多头注意力机制和第一多层感知机；时域编码器的多头注意力机制对融合编码进行计算，得到第一头时域自注意力输出结果，对第一头时域自注意力输出结果依次进行残差连接和层归一化，得到第一头时域隐藏状态，利用时域编码器的第一多层感知机对第一头时域隐藏状态进行计算，得到第一头时域感知输出结果，对第一头时域感知输出结果依次进行残差连接和层归一化，得到第一头时域输出结果，依次循环，得到时域编码器的所有头的时域输出结果，根据该所有头的时域输出结果得到时域编码；利用空域编码器的多头注意力机制对时域编码进行计算，得到第一头空域自注意力输出结果，对第一头空域自注意力输出结果依次进行残差连接和层归一化，得到第一头空域隐藏状态，利用空域编码器的第一多层感知机对第一头空域隐藏状态进行计算，得到第一头空域感知输出结果，对第一头空域感知输出结果依次进行残差连接和层归一化，得到第一头空域输出结果，依次循环，得到空域编码器的所有头的空域输出结果，根据该所有头的空域输出结果得到空域编码。
[0090]
可选地，解码器为第二多层感知机。
[0091]
可选地，时域编码器中，对融合编码分别进行线性投影，得到时域查询线性变换矩阵、时域键值线性变换矩阵和时域值线性变换矩阵；根据时域查询线性变换矩阵、时域键值线性变换矩阵和时域值线性变换矩阵得到第一头时域自注意力输出结果；空域编码器中，对时域编码分别进行线性投影，得到空域查询线性变换矩阵、空域键值线性变换矩阵和空域值线性变换矩阵；根据空域查询线性变换矩阵、空域键值线性变换矩阵和空域值线性变换矩阵得到第一头空域自注意力输出结果。
[0092]
实际应用中，可将梦境情绪识别装置集成至现有的睡眠监测系统中，若已有睡眠监测系统存在睡眠分期功能，则可只兼容完成梦境情绪分析的功能；若其无睡眠分期功能，
则可兼容完成先对其进行rem识别后再进行情绪识别的功能。
[0093]
需要说明的是：上述实施例提供的梦境情绪识别装置在梦境情绪识别时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的梦境情绪识别装置与梦境情绪识别方法实施例属于同一构思，其具体实现过程详见方法实施例，此处不再一一赘述。
[0094]
本技术一实施例提供了一种电子设备，其包括：存储器和处理器。处理器与存储器连接，被配置为基于存储在存储器中的指令，执行上述梦境情绪识别方法。处理器的数量可以为一个或多个，处理器可以是单核或多核。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一个存储芯片。存储器可以是下述的计算机可读介质的示例。
[0095]
本技术一实施例提供了一种计算机可读存储介质，其上存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述梦境情绪识别方法。计算机可读存储介质包括：永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘-只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带、磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
[0096]
本技术一实施例提供了一种梦境情绪识别系统，基于上述一实施例的梦境情绪识别装置，该梦境情绪识别系统包括：采集装置401、梦境情绪识别装置402、上位机403和客户端404。
[0097]
采集装置401用于采集脑电信号，关于采集装置的具体内容可参见上述实施例中步骤101的相关描述内容。参见图4，梦境情绪识别装置402可以与采集装置401集成在一起(可称为bci设备)，实现实时采集，实时分析。此时，采集装置401优选采用穿戴式设计，能支持家庭环境监测，能够长程多夜监测记录，客观评估rem期情绪状况，大容量内置存储及长程电量设计，避免首夜效应的影响，客观评估失眠状况。还可以与采集装置401为分离式设计，即梦境情绪识别装置402部署于上位机403侧。梦境情绪识别装置402完成分类识别后，将结果传输至上位机403并储存，供用户查看。上位机403根据判别的梦境状况，自动绘制生成报告并向用户输出，报告包括：梦境有无、梦境的情绪类型、睡眠时长、rem期的开始、结束及持续时间中的一种或几种。上位机403对梦境情绪进行连续监督，支持连续多夜睡眠监测，并具有提供受试者数据管理功能，可以提供多种报告模板设计。还用于接收并显示eeg信号的时域波形。在其他的实施例中，还可以基于用户的需求，开发相关的用户操作系统。上位机403还具有病人及数据管理系统，方便有效筛选患者数据，有效评估失眠患者长期疗效，并对长期处于负向梦境情绪的受试者进行提醒，及时进行身体检查或心理咨询，避免进一步的身体变化。上位机403接收梦境情绪识别结果的方式可以是有线方式，还可以是无线
方式，本实施例对此不进行限定。根据上位机403的操作机制，客户端404的方式可以是手机端app，如此便于用户的查看。基于以上机制，将各模块集成至便携式bci(brain computer interface，脑机接口技术))设备以及上位机403中，bci设备与上位机403之间的数据传输可采用有线或无线传输，使用bci设备实现数据采集，在上位机403完成数据处理与分析，实现rem期的情绪识别。
[0098]
由技术常识可知，本技术可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本技术范围内或在等同于本技术的范围内的改变均被本技术包含。