基于多模态数据的梦境检测方法、装置及电子设备与流程

本公开涉及人工智能领域，尤其涉及基于多模态数据的梦境检测。

背景技术：

1、梦境检测对研究睡眠等具有重要意义。现阶段的梦境检测主要包括两种：一种是基于睡眠快速眼动器的检测来实现的，即如果检测到用户处于快速眼动周期，则认为用户处于梦境；另一种是基于机器学习的方法，对用户的脑电信号数据进行分析，确定用户是否处于梦境。

2、然而，现阶段的第一种梦境检测检测方法，存在一个天然的缺点，即快速眼动期并不是一定处于梦境中，这就导致梦境检测结果其实是睡眠阶段检测结果；对于第二种方法，脑电信号数据是通过多导睡眠仪得到的，其佩戴方式是利用导电膏将电极贴到头皮上，人在睡梦中的无意识动作会对脑电信号数据结果产生很大影响。如何提升梦境检测的准确性成为了一个问题。

技术实现思路

1、本公开提供了一种基于多模态数据的梦境检测方法、装置及电子设备，用于提升梦境检测的准确性。

2、本公开的第一方面，提供了一种基于多模态数据的梦境检测方法，其特征在于，该方法包括：

3、获取目标对象睡眠状态时的心电数据、脑电信号数据、imu信号数据、呼吸信号数据；

4、基于获取的心电数据、脑电信号数据、imu信号数据、呼吸信号数据，通过各数据对应的预训练的神经网络模型，分别确定各数据对应的目标对象的初步梦境检测结果；

5、基于分别确定的各数据对应的目标对象的初步梦境检测结果，确定目标对象的最终梦境检测结果。

6、可选地，所述最终梦境检测结果包括所述目标对象是否处于梦境，以及若目标对象处于梦境，所处梦境是积极、消极还是中性。

7、可选地，所述预训练的神经网络模型的训练样本包括：通过快速眼动期范式确定的用户是否处于梦境的标签数据，以及若用户处于梦境，所述梦境是消极、积极还是中性的标签数据；以及对应的采集的用户的心电数据、脑电信号数据、imu信号数据、呼吸信号数据。

8、可选地，该方法还包括：

9、如果所述最终梦境检测结果为所述目标对象处于梦境且所述梦境为消极，则对目标对象的脑电活动进行调节。

10、可选地，其中，针对所述imu信号数据、呼吸信号数据，预训练的神经网络模型为基于门控循环单元网络的神经网络模型：

11、针对所述脑电信号数据，预训练的神经网络模型为基于transformer网络的神经网络模型；

12、针对所述心电数据，预训练的神经网络模型为基于长短期记忆网络的神经网络模型。

13、可选地，基于分别确定的各数据对应的目标对象的初步梦境检测结果，确定目标对象的最终梦境检测结果，包括：

14、基于各个所述初步梦境检测结果，以及各个数据对应的预训练神经网络模型的权重值，确定目标对象的最终梦境检测结果，各个数据对应的预训练神经网络模型的权重值通过多任务训练得到。

15、可选地，该方法还包括：

16、检测所述目标对象是否处于睡眠状态；

17、如果所述目标对象处于睡眠状态，则采集目标对象的的心电数据、脑电信号数据、imu信号数据、呼吸信号数据。

18、根据本公开的第二方面，提供了一种基于多模态数据的梦境检测装置，其特征在于，该装置包括：

19、获取模块，用于获取目标对象睡眠状态时的心电数据、脑电信号数据、imu信号数据、呼吸信号数据；

20、第一确定模块，用于基于获取的所述心电数据、脑电信号数据、imu信号数据、呼吸信号数据，通过各数据对应的预训练的神经网络模型，分别确定各数据对应的目标对象的初步梦境检测结果；

21、第二确定模块，用于基于分别确定的各数据对应的目标对象的初步梦境检测结果，确定目标对象的最终梦境检测结果。

22、可选地，其中，所述最终梦境检测结果包括所述目标对象是否处于梦境，以及若目标对象处于梦境，所处梦境是积极、消极还是中性。

23、可选地，其中，所述预训练的神经网络模型的训练样本包括：通过快速眼动期范式确定的用户是否处于梦境的标签数据，以及若用户处于梦境，所述梦境是消极、积极还是中性的标签数据；以及对应的采集的用户的心电数据、脑电信号数据、imu信号数据、呼吸信号数据。

24、可选地，该装置还包括：

25、调解模块，用于如果所述最终梦境检测结果为所述目标对象处于梦境且所述梦境为消极，则对目标对象的脑电活动进行调节。

26、可选地，其中，针对所述imu信号数据、呼吸信号数据，预训练的神经网络模型为基于门控循环单元网络的神经网络模型：

27、针对所述脑电信号数据，预训练的神经网络模型为基于transformer网络的神经网络模型；

28、针对所述心电数据，预训练的神经网络模型为基于长短期记忆网络的神经网络模型。

29、其中，第二确定模块，具体用于基于各个所述初步梦境检测结果，以及各个数据对应的预训练神经网络模型的权重值，确定目标对象的最终梦境检测结果，各个数据对应的预训练神经网络模型的权重值通过多任务训练得到。

30、可选地，该装置还包括：

31、检测模块，用于检测所述目标对象是否处于睡眠状态；

32、采集模块，用于如果所述目标对象处于睡眠状态，则采集目标对象的的心电数据、脑电信号数据、imu信号数据、呼吸信号数据。

33、根据本公开的第三方面，提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如本公开的第一方面所示的方法。

34、根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如本公开的第一方面所示的方法。

35、根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如本公开的第一方面所示的方法。

36、本公开提供了一种基于多模态数据的梦境检测方法，包括：获取目标对象睡眠状态时的心电数据、脑电信号数据、imu信号数据、呼吸信号数据；基于获取的所述心电数据、脑电信号数据、imu信号数据、呼吸信号数据，通过各数据对应的预训练的神经网络模型，分别确定各数据对应的目标对象的初步梦境检测结果；基于分别确定的各数据对应的目标对象的初步梦境检测结果，确定目标对象的最终梦境检测结果。也即是说，基于与梦境相关的包括心电数据、脑电信号数据、imu信号数据、呼吸信号数据的多模态数据进行梦境检测，能够提升梦境检测结果的准确性，能够解决基于快速眼动周期的梦境检测方法将非梦境状态的快速眼动周期识别为梦境的问题，以及避免仅根据脑电信号数据进行梦境检测，而用户梦境或睡眠状态下的无意识动作带来的采集的脑电信号不准确，进而导致梦境检测的不准确的问题。

37、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。