睡眠分析方法、系统、计算机设备及存储介质与流程

本发明涉及计算机技术领域，尤其涉及一种睡眠分析方法、系统、计算机设备及存储介质。

背景技术：

每一个人都需要睡眠，睡眠将会占人一生的四分之一到三分之一的时间，所以睡眠质量的优劣对于人的生活有相当的影响力。

现有技术中，睡眠分析一般都需要采集用户在睡眠时的相关数据来进行，例如心跳、呼吸频率、体表温度、动作信息等，其相关数据的采集依靠传感器来进行，例如加速度传感器、心跳传感器等，但是这些传感器在用户正常睡眠时是不需要的，这就会导致用户在使用这些传感器时感觉不适，而传感器的线束也会影响用户的正常动作。

总得来说，就是这些传感器的使用会影响用户的正常睡眠，造成所获取数据的不准确，影响睡眠分析的结果。

技术实现要素：

本发明实施例的目的在于提供一种睡眠分析方法、系统、计算机设备及存储介质，旨在解决背景技术中确定的现有技术存在的技术问题。

本发明实施例是这样实现的，一种睡眠分析方法，包括以下步骤：

获取用户在睡眠时间段内的视频数据和雷达回波序列，所述视频数据和雷达回波序列中还包括有时间序列；

根据所述视频数据得到用户在时间序列内的多个姿态变化量；

根据所述雷达回波序列得到用户在时间序列内的呼吸速率和心率；

以用户在时间序列内的姿态变化量、呼吸速率和心率作为样本，输入到预先设置好的卷积神经网络模型中，得到用户在睡眠时间段内的睡眠状态序列。

作为本发明进一步的方案：所述获取用户在睡眠时间段内的视频数据和雷达回波序列，所述视频数据和雷达回波序列中还包括有时间序列的步骤，具体包括：

同步红外夜视摄像头、雷达发射机和雷达接收机的系统时间，根据用户的睡眠时间段为所述红外夜视摄像头、雷达发射机和雷达接收机设置启停时间；

红外夜视摄像头和雷达接收机分别采集用户在睡眠时间段内的视频数据和雷达回波信号；

对所述雷达回波信号进行处理，得到用户在睡眠时间段内的雷达回波序列。

作为本发明再进一步的方案：所述根据所述视频数据得到用户在时间序列内的多个姿态变化量的步骤，具体包括：

输入用户在睡眠时间段内的视频数据；

将所述视频数据转化为与时间序列对应的多帧图像；

计算相邻两帧图像中的像素差值的绝对值，以所述像素差值的绝对值作为姿态变化量，得到对应时间序列的多个姿态变化量。

作为本发明再进一步的方案：所述将所述视频数据转化为与时间序列对应的多帧图像的步骤，具体包括：将视频数据转化为多帧彩色图像，再将所述彩色图像转化为灰度图像，每帧所述灰度图像的尺寸和分辨率均相同。

作为本发明再进一步的方案：所述根据所述雷达回波序列得到用户在时间序列内的呼吸速率和心率的步骤，具体包括：

对雷达回波序列中的信号进行增强和平滑；

对经过增强和平滑的信号进行降噪和离散傅里叶变换；

筛选处于呼吸区间和心率区间的呼吸特征信号和心率特征信号，作为呼吸速率和心率。

作为本发明再进一步的方案：所述以用户在时间序列内姿态变化序列、呼吸速率和心率作为样本，输入到预先设置好的卷积神经网络模型中，得到用户在睡眠时间段内的睡眠状态序列的步骤，具体包括：

获取用户在时间序列内的多个姿态变化量、呼吸速率和心率数据；

根据时间序列内的每个时间节点，得到与所述时间节点对应的姿态变化量、呼吸速率和心率数据，得到格式为{a，b，c}的多个样本，其中a表示姿态变化量，b表示呼吸速率，c表示心率数据；

将所述样本输入至卷积神经网络模型中，将输出结果按照时间节点的顺序排列得到睡眠状态序列。

作为本发明再进一步的方案：每个所述样本均与对应的时间节点相关联。

本发明实施例的另一目的在于提供一种睡眠分析系统，包括：

数据获取模块，用于获取用户在睡眠时间段内的视频数据和雷达回波序列，所述视频数据和雷达回波序列中还包括有时间序列；

姿态变化量生成模块，用于根据所述视频数据得到用户在时间序列内的多个姿态变化量；

生理特征生成模块，用于根据所述雷达回波序列得到用户在时间序列内的呼吸速率和心率；以及

结果输出模块，用于以用户在时间序列内的姿态变化量、呼吸速率和心率作为样本，输入到预先设置好的卷积神经网络模型中，得到用户在睡眠时间段内的睡眠状态序列。

本发明实施例的另一目的在于提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述睡眠分析方法的步骤。

本发明实施例的另一目的在于提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述睡眠分析方法的步骤。

与现有技术相比，本发明的有益效果是：通过录像的方式来获取用户在睡眠时间段内的图像信息，作为睡眠分析的判定依据，以雷达回波序列来获取用户的呼吸速率和心率，相较于现有技术在用户身上增加各种传感器的方式来获取数据，用户在正常睡眠时不会受到线束等的束缚，其对用户的影响较小，分析结果也更加精准。

附图说明

图1为一种睡眠分析方法的流程图。

图2为一种睡眠分析方法中获取视频数据和雷达回波序列的流程图。

图3为一种睡眠分析方法中获取用户姿态变化量的流程图。

图4为一种睡眠分析方法中获取用户呼吸速率和心率的流程图。

图5为一种睡眠分析方法中获取用户睡眠状态序列的流程图。

图6为一种睡眠分析系统的结构示意图。

图7为一种计算机设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述。

如图1所示，为本发明一个实施例提供的一种睡眠分析方法的流程图，包括以下步骤：

s200，获取用户在睡眠时间段内的视频数据和雷达回波序列，所述视频数据和雷达回波序列中还包括有时间序列。

本发明实施例中，通过录像的方式来获取用户在睡眠时间段内的图像信息，更具体的来说，其可以获取用户在睡眠的姿态变化信息，例如翻身、蹬腿等，可以依此作为睡眠分析的判定依据，同理可以以雷达波的方式来获取雷达回波序列，通过雷达回波序列也可以获取用户在睡眠的姿态变化信息，更具体的，本实施例中，以雷达波来获取用户的雷达回波序列。相较于现有技术，在用户身上增加各种传感器的方式来获取数据，用户在正常睡眠时不会受到线束等的束缚，其对用户的影响较小，分析结果也更加精准。

s400，根据所述视频数据得到用户在时间序列内的多个姿态变化量。

本发明实施例中，由于用户在睡眠时间段内，姿态会发生多种或者多数量的变化，因此此处基于视频数据可以获取其姿态变化量。

s600，根据所述雷达回波序列得到用户在时间序列内的呼吸速率和心率。

本发明实施例中，由于人体或者物体可以可以反射电磁波，因此通过回波信号的频率或相位的变化，提取和计算得到体表的微动信息；人体体表微动信息可反映人体的某些生理活动，如检测胸壁的振动可得到呼吸、心跳等心肺活动相关信息；正常人体的心搏运动能够引起的体表机械振动幅度为0.6mm左右；由呼吸作用产生的幅度在(4～12)mm左右；如果使用10ghz频段的生物雷达来检测胸壁运动，每1mm的胸壁位移将会引起最大25.2°的相位偏移，因而理论上，虽然胸壁振动幅度很小，反映在雷达基带的相位偏移量在载频足够高时仍然能够被分辨出来，因此，基于雷达回波序列可以得到用户在时间序列内的呼吸速率和心率。

s800，以用户在时间序列内的姿态变化量、呼吸速率和心率作为样本，输入到预先设置好的卷积神经网络模型中，得到用户在睡眠时间段内的睡眠状态序列。

本发明实施例中，当得到用户在时间序列内的姿态变化量、呼吸速率和心率时，以其作为样本，通过卷积神经网络模型，可以得到对应姿态变化量、呼吸速率和心率的睡眠质量或者睡眠评级。

有必要进行说明的是，本实施例中的s400和s600两个步骤的顺序可以互调，即先后进行姿态变化量或者呼吸速率和心率的获取均可，本实施例在此不进行具体的限定。

如图2所示，作为本发明一个优选的实施例，所述获取用户在睡眠时间段内的视频数据和雷达回波序列，所述视频数据和雷达回波序列中还包括有时间序列的步骤，具体包括：

s201，同步红外夜视摄像头、雷达发射机和雷达接收机的系统时间，根据用户的睡眠时间段为所述红外夜视摄像头、雷达发射机和雷达接收机设置启停时间。

本发明实施例中，同步红外夜视摄像头、雷达发射机和雷达接收机系统时间的目的在于保证两者能同步启动和同步停止，以保证时间序列的一致性。

s203，红外夜视摄像头和雷达接收机分别采集用户在睡眠时间段内的视频数据和雷达回波信号。

本发明实施例中，红外夜视摄像头用于获取用户在睡眠时间段内的视频数据，而雷达发射机则用于发出雷达波，雷达接收机用于接收被用户反射回来的雷达波。

s205，对所述雷达回波信号进行处理，得到用户在睡眠时间段内的雷达回波序列。

本发明实施例中，对雷达回波信号的处理可以为对回波信号的距离维信息进行傅里叶变换，然后进行极大值搜索，之后通过提取极大值附近数据，得到针对用户的雷达回波序列，由于其属于现有技术，本实施例在此不对其进行具体的说明。

如图3所示，作为本发明另一个优选的实施例，所述根据所述视频数据得到用户在时间序列内的多个姿态变化量的步骤，具体包括：

s401，输入用户在睡眠时间段内的视频数据。

本发明实施例中，视频流数据可以通过有线或者无线方式进行输入，本实施例在此不进行具体的限定。

s403，将所述视频数据转化为与时间序列对应的多帧图像。

本发明实施例中，视频实际上就是连续的多帧图像组合起来得到的，而通过对视频数据的处理，可以获取连续的多帧图像，对应的，多帧图像之间的时间差应该保持固定，例如每间隔0.1秒对视频数据进行截图，以获取多帧图像。

s405，计算相邻两帧图像中的像素差值的绝对值，以所述像素差值的绝对值作为姿态变化量，得到对应时间序列的多个姿态变化量。

本发明实施例中，由于用户在睡眠时间段内的姿态变化是连续的，以翻身为例，对应翻身过程的连续多帧图像可以反映翻身动作的大小、持续时间等，对于相邻的两帧图像之间，可以通过像素差值的绝对值来反映动作大小、持续时间等，而现有技术中也有此类技术，但是其通过分析当前图像与背景图来反映姿态变化，当翻身动作是连续的多个时，当前图像与背景图的对比无法反映姿态变化的大小，所以其并不准确，本实施例以相邻的两帧图像的像素差值的绝对值作为姿态变化量，能有效的反应用户在睡眠时的姿态变化。

具体的，以像素差值的绝对值的计算方式可以为，将两帧图像重合，以差异处(或非重合部)作为像素差值的绝对值，其主要反应的是用户有无动作变化或者动作变化量的大小，实际上其计算方式可以根据需求进行选择，本实施例在此不进行具体的限定。

作为本发明另一个优选的实施例，所述将所述视频数据转化为与时间序列对应的多帧图像的步骤，具体包括：将视频数据转化为多帧彩色图像，再将所述彩色图像转化为灰度图像，每帧所述灰度图像的尺寸和分辨率均相同。

本发明实施例中，采用红外夜视摄像头获得的视频数据转化而得的图像是彩色的，因此需要将其转化为灰度图像，但是最终结果只需要每帧所述灰度图像的尺寸和分辨率均相同，这样方便将两帧图像重合，来对比获取差异。

如图4所示，作为本发明另一个优选的实施例，所述根据所述雷达回波序列得到用户在时间序列内的呼吸速率和心率的步骤，具体包括：

s601，对雷达回波序列中的信号进行增强和平滑。

本发明实施例中，对雷达回波信号可以通过归一化方法对信号进行增强或者放大，以便于后续的处理，信号的平滑优选使用汉宁窗进行平滑，本实施例在此不进行具体的限定。

s603，对经过增强和平滑的信号进行降噪和离散傅里叶变换。

s605，筛选处于呼吸区间和心率区间的呼吸特征信号和心率特征信号，作为呼吸速率和心率。

本发明实施例中，对信号的降噪、离散傅里叶变换和筛选，实际上均属于现有技术，本发明实施例在此不对其进行多余的说明。

如图5所示，作为本发明另一个优选的实施例，所述以用户在时间序列内姿态变化序列、呼吸速率和心率作为样本，输入到预先设置好的卷积神经网络模型中，得到用户在睡眠时间段内的睡眠状态序列的步骤，具体包括：

s801，获取用户在时间序列内的多个姿态变化量、呼吸速率和心率数据。

本发明实施例中，姿态变化量、呼吸速率和心率数据由前述的或者步骤得到，本发明实施例在此不进行多余说明。

s803，根据时间序列内的每个时间节点，得到与所述时间节点对应的姿态变化量、呼吸速率和心率数据，得到格式为{a，b，c}的多个样本，其中a表示姿态变化量，b表示呼吸速率，c表示心率数据。

本发明实施例中，由于视频数据和雷达回波序列均是基于同一个时间序列，那么在时间序列确定的情况下，得到的姿态变化量、呼吸速率和心率数据是呈严格的对应关系的，他们的数量应该相等的，并且与时间序列内的时间节点也是严格对应的，因此，可以得到格式为{a，b，c}的多个样本，其中a表示姿态变化量，b表示呼吸速率，c表示心率数据，作为优选的，每个所述样本均与其对应的时间节点相关联。

s805，将所述样本输入至卷积神经网络模型中，将输出结果按照时间节点的顺序排列得到睡眠状态序列。

本发明实施例中，每个样本被输入到卷积神经网络模型内时，均可以得到对应的睡眠状态，例如：深度睡眠、前度睡眠或者清醒状态等，上述睡眠状态按照时间节点的顺序或者实现序列来进行排列的话，即可得到睡眠状态序列，所述睡眠状态序列即反应用户在睡眠时间段内的睡眠状况。

如图6所示，本发明实施例还提供了一种睡眠分析系统，包括数据获取模块100、姿态变化量生成模块200、生理特征生成模块300和结果输出模块400，所述数据获取模块100用于获取用户在睡眠时间段内的视频数据和雷达回波序列，所述视频数据和雷达回波序列中还包括有时间序列；所述姿态变化量生成模块200用于根据所述视频数据得到用户在时间序列内的多个姿态变化量；所述生理特征生成模块300用于根据所述雷达回波序列得到用户在时间序列内的呼吸速率和心率；所述结果输出模块400用于以用户在时间序列内的姿态变化量、呼吸速率和心率作为样本，输入到预先设置好的卷积神经网络模型中，得到用户在睡眠时间段内的睡眠状态序列。

本发明实施例中，通过录像的方式来获取用户在睡眠时间段内的图像信息，更具体的来说，其可以获取用户在睡眠的姿态变化信息，例如翻身、蹬腿等，可以依此作为睡眠分析的判定依据，同理可以以雷达波的方式来获取雷达回波序列，通过雷达回波序列也可以获取用户在睡眠的姿态变化信息，更具体的，本实施例中，以雷达回波序列来获取用户的雷达回波序列。相较于现有技术，在用户身上增加各种传感器的方式来获取数据，用户在正常睡眠时不会受到线束等的束缚，其对用户的影响较小，分析结果也更加精准。由于用户在睡眠时间段内，姿态会发生多种或者多数量的变化，因此此处基于视频数据可以获取其姿态变化量，本发明实施例中，由于人体或者物体可以可以反射电磁波，因此通过回波信号的频率或相位的变化，提取和计算得到体表的微动信息，因此，基于雷达回波序列可以得到用户在时间序列内的呼吸速率和心率。当得到用户在时间序列内的姿态变化量、呼吸速率和心率时，以其作为样本，通过卷积神经网络模型，可以得到对应姿态变化量、呼吸速率和心率的睡眠质量或者睡眠评级。

如图7所示，本发明实施例还提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行：

s200，获取用户在睡眠时间段内的视频数据和雷达回波序列，所述视频数据和雷达回波序列中还包括有时间序列。

s400，根据所述视频数据得到用户在时间序列内的多个姿态变化量。

s600，根据所述雷达回波序列得到用户在时间序列内的呼吸速率和心率。

s800，以用户在时间序列内的姿态变化量、呼吸速率和心率作为样本，输入到预先设置好的卷积神经网络模型中，得到用户在睡眠时间段内的睡眠状态序列。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行：

s200，获取用户在睡眠时间段内的视频数据和雷达回波序列，所述视频数据和雷达回波序列中还包括有时间序列。

s400，根据所述视频数据得到用户在时间序列内的多个姿态变化量。

s600，根据所述雷达回波序列得到用户在时间序列内的呼吸速率和心率。

s800，以用户在时间序列内的姿态变化量、呼吸速率和心率作为样本，输入到预先设置好的卷积神经网络模型中，得到用户在睡眠时间段内的睡眠状态序列。

应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

本领域技术人员在考虑说明书及实施例处的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。