婴幼儿睡眠状态检测方法、装置及计算机可读存储介质与流程

本发明涉及婴幼儿监控技术领域，特别涉及一种基于可见光视频的婴幼儿睡眠状态检测方法、装置及计算机可读存储介质。

背景技术：

婴幼儿在睡觉时经常会翻身、踢被子等，这就有可能出现衣物压迫口鼻情况、未盖被子、越过安全区域以致掉下床等现象，影响婴幼儿的睡眠质量，甚至危害婴幼儿的身体健康，而婴儿的大量时间又处于睡眠状态，因此，一种用于检测婴儿睡眠状态的设备应运而生。

现有的检测婴儿睡眠状态的设备通常是基于传统的测温传感器，且大多安装在被子中，通过测量被子是否温度下降来达到判断小孩是否踢被子的目的，但此类产品具有如下缺点：a、只能测量局部被子温度，如果测量点没盖在身上，而被子的其他地方盖在身上，则会误判；b、有些产品需要放在被子里面，不方便使用；c、有些产品是放在小孩的身上，容易被小孩拿去玩耍，有一定误食的风险，安全性差；d、有些产品在被子一提掉就报警，而不管婴幼儿的冷热状态，报警太频繁，影响小孩睡觉，用户体验差。

技术实现要素：

本发明解决的技术问题是，提供一种监控准确，使用方便及安全性高的婴幼儿睡眠状态检测方法。

为实现上述目的，本发明提供了一种婴幼儿睡眠状态检测方法，其包括：

获取婴幼儿睡眠状态的基于可见光的视频图像；

判断所述视频图像中是否存在人体目标；

若所述视频图像中存在人体目标，则判断人体目标是否有躯干，否则检测是否存在人脸目标；

若所述人体目标有躯干，则将异常信息发送至移动终端，否则检测是否存在人脸目标；

若不存在人脸目标，则将异常信息发送至所述移动终端。

优选地，所述婴幼儿睡眠状态检测方法还包括：

将所述视频图像显示在所述移动终端上；

获取用户在所述移动终端上输入的安全休息区；

根据所述视频图像，判断所述人体目标与所述安全休息区的边界距离是否小于预设值；

当所述人体目标与所述安全休息区的边界距离小于预设值时，则发出风险提示信息。

优选地，所述获取用户在所述移动终端上输入的安全休息区具体包括：

获取用户通过手指在所述移动终端的所述视频图像上圈画的安全休息区。

优选地，所述获取用户在所述移动终端上输入的安全休息区具体包括：

获取用户通过语音在所述移动终端输入的安全休息区。

优选地，所述检测是否存在人脸目标是通过卷积神经网络算法对所述视频图像处理实现。

优选地，所述卷积神经网络算法包括如下步骤：

通过第一卷积神经网络对所述视频图像处理快速产生候选窗体；

通过第二卷积神经网络精炼所述候选窗体，丢弃至少部分重叠窗体，其中，所述第二卷积神经网络的卷积层数大于所述第一卷积神经网络的卷积层数；

通过第三卷积神经网络精炼所述候选窗体，同时显示预设数量的面部特征点位置，其中，所述第三卷积神经网络的卷积层数大于所述第二卷积神经网络的卷积层数。

优选地，所述通过第一卷积神经网络快速产生候选窗体包括：采用全卷积神经网络对所述视频图像处理，以获得候选窗体和边界回归向量，同时，候选窗体根据边界框进行校准，然后利用非极大值抑制法去除重叠窗体。

优选地，所述通过第二卷积神经网络精炼所述候选窗体，丢弃至少部分重叠窗体包括：将包含所述候选窗体的图片在第三卷积神经网络精炼，该网络选用全连接的方式进行训练，利用边界框向量微调候选窗体，再利用非极大值抑制法去除重叠窗体。

本发明另一方面还提供一种婴幼儿睡眠状态检测装置，包括：

图像获取模块，用于获取婴幼儿睡眠状态的基于可见光的视频图像；

第一判断模块，用于判断所述视频图像中是否存在人体目标；

第二判断模块，用于在若所述视频图像中存在人体目标，则判断人体目标是否有躯干，否则检测是否存在人脸目标；

第一处理模块，用于在若所述人体目标有躯干，则将异常信息发送至移动终端，否则检测是否存在人脸目标；

第二处理模块，用于在若不存在人脸目标，则将异常信息发送至所述移动终端。

本发明另一方面还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述任一所述的婴幼儿睡眠状态检测方法的各个步骤。

本发明的婴幼儿睡眠状态检测方法、装置及计算机可读存储介质具有如下有益效果：由于所述方法包括，获取婴幼儿睡眠状态的基于可见光的视频图像；判断所述视频图像中是否存在人体目标；若所述视频图像中存在人体目标，则判断人体目标是否有躯干，否则检测是否存在人脸目标；若所述人体目标有躯干，则将异常信息发送至移动终端，否则检测是否存在人脸目标；若不存在人脸目标，则将异常信息发送至所述移动终端。也就是说，通过可见光视频的方式获取婴幼儿睡眠状态，无需与婴幼儿的身体产生接触，能够实时地监控婴幼儿的睡眠状态，因而，不仅用户体验好，而且监控准确，使用方便及安全性高。

附图说明

图1为本发明婴幼儿睡眠状态检测方法优选实施例的流程图；

图2为本发明婴幼儿睡眠状态检测方法的卷积神经网络算法流程图；

图3为本发明婴幼儿睡眠状态检测装置的原理框图

具体实施方式

下面结合附图和实施例对发明进行详细说明。需要说明的是，如果不冲突，发明实施例以及实施例中的各个特征可以相互结合，均在发明的保护范围之内。

实施例1

请参阅图1及图2，本发明提供了一种婴幼儿睡眠状态检测方法，其包括如下步骤：

s100、获取婴幼儿睡眠状态的基于可见光的视频图像；

通过ccd摄像头等基于可见光的摄像装置对婴儿进行拍摄，以获取婴幼儿睡眠状态。为了画面更全，提高检测的准确率，所述摄像装置正对婴儿身高方向进行拍摄。

s200、判断所述视频图像中是否存在人体目标；

可根据拍摄到的视频图像与预设图像对比，以判断所述视频图像中是否存在人体目标。较佳地，在本实施例中，采用基于深度学习的人体骨骼检测方法来判断视频图像中是否有人体目标，并根据检测到的人体目标的部位或者比例来判断睡眠状态：在视频图像中检测到躯干目标，说明躯干未被遮挡，可判断该目标未正常盖被子；若未在视频图像中检测到躯干目标，说明躯干被遮挡，可判断有被子盖在该目标上。

本实施例的深度学习网络采用视角几何预训练网络(vggpre-trainnetwork)作为骨架，有两个分支分别回归l(p)和s(p)。每一个阶段(stage)算一次损耗(loss)，之后把l和s以及原始输入数据，继续下一个阶段的训练。随着迭代次数的增加，s能够一定程度上区分结构的左右。损耗(loss)用的l2范数，s和l的参考标准(ground-truth)需要从标注的关键点生成，如果某个关键点在标注中有缺失则不计算该点。

对于s，每一类关键点有一个通道(channel)，生成参考标准(ground-truth)的时候是按照多个高斯分布取最大值(max)的方法来保留各个点的响应峰值。对于l则复杂一点，先看准确定义，对于第k个person的第c个肢干上的pafs(partaffinityfields)：

xj，k表示第k个person第j个关键点的位置。而像素点p是否落在limb(肢干)则设了一个阈值范围：

其中lc,k和σl分别表示limb长度和宽度。最后也会对所有person相同类别肢干进行平均，使得l的输出的通道(channel)与肢干种数相等：

知道pafs(partaffinityfields)和关键点位置dj之后，需要评估这俩关键点的相关性。然后这两个关键点连线上各像素点paf向量与连线向量的点积的积分：

在得到关键节点以及边权之后，计算姿态骨架已经完全转化成了一个图问题。然后，利用匈牙利算法对相邻节点进行了最优匹配(比如一堆左手腕节点和一堆左手肘节点，利用小臂的paf计算边权，再进行最优匹配)，最后获得整个的人形姿态骨架。本实施例根据检测到的人体目标的部位或比例来判断睡眠状态，具有检测速度快，效率高及准确率高的优点。

s300、若所述视频图像中存在人体目标，则判断人体目标是否有躯干，否则检测是否存在人脸目标；

在本实施例中，所述躯干是指人体除头、颈和四肢外的躯体部分。

s400、若所述人体目标有躯干，则将异常信息发送至移动终端，否则检测是否存在人脸目标；

所述移动终端可以是手机、笔记本电脑或智能手表等，在此不做具体限定。所述移动终端上安装有用于收发信息的应用程序(app)，用户可通过所述移动终端了解婴幼儿的睡眠状况，因而使用较方便。

s500、若不存在人脸目标，则将异常信息发送至所述移动终端。

在本发明优选的实施方式中，所述婴幼儿睡眠状态检测方法还包括：

将所述视频图像显示在所述移动终端上；

用户可以通过远程的移动终端观看视频图像，从而可实时的了解婴幼儿的睡眠状态。

获取用户在所述移动终端上输入的安全休息区；

用户在看到所述视频图像后，可在移动终端上输入安全休息区，以设定安全区域。也就是说，所述安全休息区可随时在移动终端上进行设置，因而可提高安全性，避免了固定设置时婴儿床椅的某个区域由于脱落或损坏导致安全隐患的问题。

根据所述视频图像，判断所述人体目标与所述安全休息区的边界距离是否小于预设值；

所述预设值可根据需要进行设置，其可以是10厘米、15厘米或20厘米等，在此不做具体限定。例如，在没有护栏或者护栏较低的床时，则所述预设值较大，否则所述预设值较小，从而保证安全性。

当所述人体目标与所述安全休息区的边界距离小于预设值时，则发出风险提示信息。

通过实时地将风险提示信息发送给用户的移动终端，因而安全性较高，用户体验好。可以理解的是，所述风险提示信息可以是文字或声音等提示信息，在此不做具体限定。

在本发明优选的实施方式中，所述获取用户在所述移动终端上输入的安全休息区具体包括：获取用户通过手指在所述移动终端的所述视频图像上圈画的安全休息区。

也就是说用户通过在手机的显示屏显示的视频图像上通过触摸的方式圈画一个区域，将该区域定义为安全休息区。其中，所述显示屏为触摸屏。该种输入安全休息区的方式较便于用户使用，用户体验好，监控效率高。

在本发明优选的实施方式中，所述获取用户在所述移动终端上输入的安全休息区具体包括：获取用户通过语音在所述移动终端输入的安全休息区。

也就是说用户通过语音的方式进行输入，例如，可以输入“距离护栏大于厘米的区域为安全休息区”，则手机等移动终端便自动根据获取的语音信号进行设置所述安全休息区。此种方式较好地避免误触发，以致错发指令的问题。

在本发明优选的实施方式中，所述检测是否存在人脸目标是通过卷积神经网络算法对所述视频图像处理实现。通过卷积神经网络算法对所述视频图像处理，因而较好地避免由于姿势、光照或遮挡等原因导致识别准确性差的问题。

在本发明优选的实施方式中，所述卷积神经网络算法包括如下步骤：

s101、通过第一卷积神经网络对所述视频图像处理快速产生候选窗体；

在本发明优选的实施方式中，所述通过第一卷积神经网络快速产生候选窗体包括：采用全卷积神经网络对所述视频图像处理，以获得候选窗体和边界回归向量，同时，候选窗体根据边界框进行校准，然后利用非极大值抑制法去除重叠窗体。

s102、通过第二卷积神经网络精炼所述候选窗体，丢弃至少部分重叠窗体，其中，所述第二卷积神经网络的卷积层数大于所述第一卷积神经网络的卷积层数；

在本发明优选的实施方式中，所述通过第二卷积神经网络精炼所述候选窗体，丢弃至少部分重叠窗体包括：将包含所述候选窗体的图片在第三卷积神经网络精炼，该网络选用全连接的方式进行训练，利用边界框向量微调候选窗体，再利用非极大值抑制法去除重叠窗体。

s103、通过第三卷积神经网络精炼所述候选窗体，同时显示预设数量的面部特征点位置，其中，所述第三卷积神经网络的卷积层数大于所述第二卷积神经网络的卷积层数。

具体地，在本实施例中，原始待检测图像经过改变大小后，生成不同尺寸的图像，并构建图像金字塔作为网络的输入。构建的图像金字塔，其层数由两个因素决定，第一个是设置的最小人脸minsize，第二个是缩放因子factor，最小人脸表示min(w,h)，在本实施例中，最小人脸不能小于12，缩放因子为0.709，可以根据公式计算图像金字塔的层数：

minl＝org_l*(12/minsize)*factor^(n)，n＝{0,1,2,3,...,n}；

其中n就是金字塔的层数，org_l是输入原始图像的最小边min(w,h)，minisize是人为根据应用场景设定，在保证minl大于12的情况下，所有的n就构成金字塔的层。所以minsize的值越小，n的取值范围就越大，计算量就相应地增加，能够检测到的人脸越小。

第一阶段通过浅层的卷积神经网络快速生成候选窗口，该网络全部由卷积层实现，获取到候选人脸窗和人脸窗的回归向量，基于人脸窗的回归向量对人脸窗进行校正，然后对所有人脸窗进行非极大值抑制(nms)，合并高度重叠的人脸窗。其具体过程就是通过图像金字塔生成的各种尺寸大小的图片，每一张图都进行一次前向传播，在每个图上得到的结果之后利用设置的阈值去掉一部分，剩下的根据缩放尺度还原到原图上的坐标，将所有的坐标信息汇总，然后进行非极大值抑制去除一部分冗余。

第二阶段再通过一个更复杂的卷积神经网络来处理第一阶段中被误认为人脸的“人脸窗”从而精细化人脸窗，第一阶段的输出作为第二阶段的输入，第一阶段最后产生了大量的边界框，将这些边界框根据缩放因子回推到原图上之后，将他们全部修改尺寸到24x24大小，作为第二阶段的输入。第二阶段经过网络之后同样产生大量的边界框，同样的根据阈值去掉一部分，再利用非极大值抑制法去掉一部分。

最后使用第二阶段中最后留下来的边界框，还原到原来的图片上之后，全部修改尺寸到48x48大小，然后输入到第三阶段，通过第三阶段的卷积神经网络进一步精细化结果并输出人脸上的5个特征点。即通过三阶的级联卷积神经网络对任务进行从粗到细的处理，最终输出人脸框位置和五个特征点位置，其利用检测和校准之间固有的相关性在深度级联的多任务框架下来提升它们的性能，具有精度高和实时性良好的优点。

由上可知，由于所述方法包括，获取婴幼儿睡眠状态的基于可见光的视频图像；判断所述视频图像中是否存在人体目标；若所述视频图像中存在人体目标，则判断人体目标是否有躯干，否则检测是否存在人脸目标；若所述人体目标有躯干，则将异常信息发送至移动终端，否则检测是否存在人脸目标；若不存在人脸目标，则将异常信息发送至所述移动终端。也就是说，通过可见光视频的方式获取婴幼儿睡眠状态，无需与婴幼儿的身体产生接触，能够实时地监控婴幼儿的睡眠状态，因而，不仅用户体验好，而且监控准确，使用方便及安全性高。

在一个变形实施例中，本发明的婴幼儿睡眠状态检测方法，先检测有无人体目标，当被子盖住或者衣服遮住时未检测到人体时则继续找寻，防止因而被被子盖住影响呼吸。当检测到人后检测确定是否为婴儿，这个可以通过图像比对来确定。当确定为婴儿后，检测婴儿头部，若婴儿头部在外面，则说明无被子等遮挡物影响婴儿呼吸，然后检测婴儿的躯干，检测到婴儿躯干时，进一步检测婴儿的睡姿是否准确，结合人脸判断出婴儿睡姿。这样可以较好地监控婴儿的睡眠状态。

实施例2

请参阅图3，本发明还提供一种婴幼儿睡眠状态检测装置，包括：

图像获取模块1，用于获取婴幼儿睡眠状态的基于可见光的视频图像；

第一判断模块2，用于判断所述视频图像中是否存在人体目标；

第二判断模块3，用于在若所述视频图像中存在人体目标，则判断人体目标是否有躯干，否则检测是否存在人脸目标；

第一处理模块4，用于在若所述人体目标有躯干，则将异常信息发送至移动终端，否则检测是否存在人脸目标；

第二处理模块5，用于在若不存在人脸目标，则将异常信息发送至所述移动终端。

由于所述婴幼儿睡眠状态检测装置的检测方法包括，获取婴幼儿睡眠状态的基于可见光的视频图像；判断所述视频图像中是否存在人体目标；若所述视频图像中存在人体目标，则判断人体目标是否有躯干，否则检测是否存在人脸目标；若所述人体目标有躯干，则将异常信息发送至移动终端，否则检测是否存在人脸目标；若不存在人脸目标，则将异常信息发送至所述移动终端。也就是说，通过可见光视频的方式获取婴幼儿睡眠状态，无需与婴幼儿的身体产生接触，能够实时地监控婴幼儿的睡眠状态，因而，不仅用户体验好，而且监控准确，使用方便及安全性高。

实施例3

本发明另一方面还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现以下步骤：

获取婴幼儿睡眠状态的基于可见光的视频图像；

判断所述视频图像中是否存在人体目标；

若所述视频图像中存在人体目标，则判断人体目标是否有躯干，否则检测是否存在人脸目标；

若所述人体目标有躯干，则将异常信息发送至移动终端，否则检测是否存在人脸目标；

若不存在人脸目标，则将异常信息发送至所述移动终端。

在一种优选的实施方式中，所述一个或者多个程序可被一个或者多个处理器执行，以实现以下步骤：

将所述视频图像显示在所述移动终端上；

获取用户在所述移动终端上输入的安全休息区；

根据所述视频图像，判断所述人体目标与所述安全休息区的边界距离是否小于预设值；

当所述人体目标与所述安全休息区的边界距离小于预设值时，则发出风险提示信息。

在一种优选的实施方式中，所述获取用户在所述移动终端上输入的安全休息区步骤中，所述一个或者多个程序可被一个或者多个处理器执行，以实现以下步骤：

获取用户通过手指在所述移动终端的所述视频图像上圈画的安全休息区。

在一种优选的实施方式中，所述获取用户在所述移动终端上输入的安全休息区步骤中，所述一个或者多个程序可被一个或者多个处理器执行，以实现以下步骤：

获取用户通过语音在所述移动终端输入的安全休息区。

在一种优选的实施方式中，所述检测是否存在人脸目标的步骤中是通过卷积神经网络算法对所述视频图像处理实现。

在一种优选的实施方式中，所述卷积神经网络算法步骤中，所述一个或者多个程序可被一个或者多个处理器执行，以实现以下步骤：

通过第一卷积神经网络对所述视频图像处理快速产生候选窗体；

通过第二卷积神经网络精炼所述候选窗体，丢弃至少部分重叠窗体，其中，所述第二预卷积层大于所述第一预设卷积层；

通过第三卷积神经网络精炼所述候选窗体，同时显示预设数量的面部特征点位置，其中，所述第三预设卷积层大于所述第二预设卷积层。

在一种优选的实施方式中，所述通过第一卷积神经网络快速产生候选窗体步骤中，所述一个或者多个程序可被一个或者多个处理器执行，以实现以下步骤：采用全卷积神经网络对所述视频图像处理，以获得候选窗体和边界回归向量，同时，候选窗体根据边界框进行校准，然后利用非极大值抑制法去除重叠窗体。

在一种优选的实施方式中，所述通过第二卷积神经网络精炼所述候选窗体，丢弃至少部分重叠窗体步骤中，所述一个或者多个程序可被一个或者多个处理器执行，以实现以下步骤：将包含所述候选窗体的图片在第三卷积神经网络精炼，该网络选用全连接的方式进行训练，利用边界框向量微调候选窗体，再利用非极大值抑制法去除重叠窗体。

以上对发明所提供的婴幼儿睡眠状态检测方法、装置及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容仅为发明的实施方式，并非因此限制发明的专利范围，凡是利用发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在发明的专利保护范围内，不应理解为对发明的限制。