本发明涉及计算机视觉领域，特别涉及一种基于人眼识别的智能睡眠检测方法及系统。
背景技术
随着社会物质水平的提高，汽车、家用电器等早已成为人们日常生活中不可缺少的工具。汽车为人们的生活带来了极大的舒适与便利，但交通安全也是一个重大的社会问题，据我国公安部提供的一份资料显示，67％的重大交通事故是由司机疲劳驾驶造成的。在行车过程中，驾驶员大约90％的信息是通过“看”获得的，一旦驾驶员处于疲劳状态，注意力就会不集中，应变能力下降，易引发交通事故，若能采用睡眠检测的方法监测驾驶员的疲劳程度，当驾驶员疲劳程度超过安全驾驶阈值时，向驾驶员发出提醒，会很大程度上改善交通安全问题。在日常生活中，我们享受着电视机、空调等带来的惬意，但当人们进入睡眠，无法及时关掉这些家用电器时，会造成资源的浪费。若利用睡眠检测技术，当人们进入睡眠状态，无需使用某些电器时，自动使其断电，这不仅可以节约能源，还可以提高人们的睡眠质量，保护人的健康。
人眼识别是在人脸识别基础上，确定人脸区域，进而对人眼进行定位和状态识别。当人进入睡眠状态后，眼睛会长时间处于闭合状态；当人处于疲劳状态时，每次眨眼周期，眼睛闭合时间比例会增长。通过人眼识别，检测眼睛状态或通过与智能手环结合的方法判断人是否进入睡眠或疲劳状态，可应用于驾驶员疲劳驾驶提醒以改善交通安全问题，也可用于电器智能断电系统以达到节能减排的目的，具有很高实用价值。
技术实现要素：
有鉴于此，本发明提供了一种基于人眼识别的智能睡眠检测方法及系统，应用主要体现在两方面：一是在人因无意识进入睡眠后，对空调、电视等电器进行智能断电，提高人的睡眠质量及保护人的健康，同时节约能源；二是在司机疲劳驾驶时，对司机进行提醒，防止司机在长时间驾驶时出现事故，保护驾车及乘车人员的安全。
一种基于人眼识别的智能睡眠检测方法，包括如下步骤：
步骤s1：首先是对人眼状态识别的卷积神经网络进行训练，具体步骤如下：
a)：通过视觉传感器采集不同环境下的含有人脸的图像，该图像包含睁眼和闭眼两类样本，并通过神经网络模型提取出人眼区域图像；
b)：对于得到的两类睁眼和闭眼的图像，制作训练标签；然后将两类人眼区域图像和训练标签送入卷积神经网络中进行训练，得到训练好的人眼状态识别神经网络模型；
步骤s2：测出图像中人眼的状态，具体步骤如下：
a)：在设定时间内由视觉传感器连续采集含有人脸的图像，并分别截取出人眼区域的图像；
b)：将人眼区域的图像输入给训练好的人眼状态识别神经网络模型，输出眼睛的睁眼或闭眼的状态；分别统计所述设定时间内睁眼和闭眼的次数；
步骤s3：当用户需要进行电器的自动断电控制时：根据所述设定时间内睁眼和闭眼的次数得到用户的睡眠状态，并依此对电器的断电与否进行控制；
当需要进行司机疲劳驾驶提醒时：根据所述设定时间内睁眼和闭眼的次数，将司机疲劳程度分类到低、中、高三种程度中一种，根据疲劳程度对司机进行不同程度的提醒。
较佳的，所述人眼状态识别的卷积神经网络采用vgg-net卷积神经网络。
进一步的，当用户需要进行电器的自动断电控制时，对至少一个电器进行断电控制；断电时间和次序由用户设定。
一种基于人眼识别的智能睡眠检测系统包括视觉传感器、图像处理模块、无线通讯模块、控制器以及执行装置。
所述视觉传感器用于采集人脸图像；
所述图像处理模块对视觉传感器采集的人脸图像进行处理，得到人眼区域图像；并采用神经网络对睁眼和闭眼两类图像进行训练，建立神经网络模型；最后，利用神经网络模型对输入的人眼区域进行识别，得到设定时间内睁眼和闭眼的次数并获得睡眠状态；最后将睡眠状态通过无线通信模块发送给所述控制器；
所述控制器根据所述睡眠状态控制所述执行模块进行断电或者进行疲劳驾驶提醒。
较佳的，所述图像处理模块采用nvidiajetsontx2开发板。
较佳的，所述控制器采用意法半导体公司的stm32f103单片机。
较佳的，当需要断电的电器不止一个时，所述控制器对需要断电的电器进行动作前的时间分配，并按时间分配向执行装置发送控制指令。
较佳的，在设定时间内，根据司机睁眼和闭眼的次数统计分析出司机的疲劳程度，并进行不同疲劳程度的提醒。
较佳的，所述执行装置为继电器、扬声器或指示灯。
较佳的，所述视觉传感器安装在床前、沙发前或者驾驶室。
本发明具有如下有益效果：
本发明提出的基于人眼识别的智能睡眠检测方法及系统，在人因无意识进入睡眠后，可对空调、电视等电器进行智能断电，提高人的睡眠质量及保护人的健康，同时节约能源，若想要控制更多的电器只需增加继电器的数目，对所有的电器，根据用户的意向，都可以进行相应的断电控制；
本发明提出的基于人眼识别的智能睡眠检测方法及系统，在司机疲劳驾驶时，对司机进行提醒，可预防因司机疲劳驾驶引发交通事故，保护驾车及乘车人员的安全。
附图说明
图1为本发明的方法流程图；
图2为本发明的系统框图。
具体实施方式
为了更好地说明本发明的目的和优点，下面结合附图和实施例对本发明内容做进一步说明。
本发明的一种基于人眼识别的智能睡眠检测方法，具体包括如下步骤：
步骤s1：首先是对人眼状态识别的卷积神经网络进行训练，达到可用来对单帧的人眼状态进行识别的目的，具体步骤如下：
a)：通过视觉传感器采集一定数量的不同环境下的含有人脸的图像，该部分图像应含有睁眼和闭眼两类样本，并通过图像处理模块提取出人眼区域。
b)：对于得到的两类睁眼和闭眼的图像，制作训练标签，标签中对睁眼和闭眼进行标注说明，在训练时计算机可以对两类图像进行区分。将两类人眼图像和制作的训练标签送入卷积神经网络中进行训练，完成后可对人眼的睁、闭状态进行识别。
c)：调整卷积神经网络的层数，在网络文件设置学习率、迭代次数等训练参数，将两类人眼图像和制作的训练标签送入卷积神经网络中进行训练。每次训练时，调整样本的数量和网络参数，直到训练好的网络模型可以对人眼的状态进行准确识别，训练过程结束。
步骤s2：在床前、沙发前或者驾驶室安装睡眠检测装置，睡眠检测装置如图2所示，进行系统初始化，此过程中使用者可根据自己的使用习惯设置相应电器的断电时间和次序。
步骤s3：由图像处理模块检测出图像中人眼的状态，并对检测结果进行统计分析，得到使用者的睡眠情况，处理流程如图1所示，具体步骤如下：
a)：由摄像头采集一张图像，将该图像输入到人脸识别卷积神经网络中，输出图像中的人脸区域及人眼位置，根据人脸识别卷积神经网络输出的人眼位置，使用opencv库函数rectangle截取出人眼区域的图像。
b)：将人眼区域的图像输入给训练好的人眼状态识别卷积神经网络，输出用户眼睛的睁、闭状态，统计连续时间内一定数量的眼睛睁、闭结果，得到用户的睡眠情况。
c)：将检测到的用户睡眠情况编码，通过zigbee无线串口通信模块发送给执行装置中的控制器。
步骤s3：将根据用户使用场景的不同，使用不同的执行装置，下面将从用户因进入睡眠后对空调、电视等电器进行智能断电和司机疲劳驾驶时对司机进行提醒两方面说明：
1、控制器将从串口接收到的睡眠情况信息解码，给需要断电的电器发送控制信号，用户可根据自己的习惯制定相应电器的断电时间和断电次序，电器1、电器2、电器3…，时间和次序均可调；控制器设置好断电的时间和次序后，将控制信号发送到单片机的管脚，进而控制相应的继电器，使其关闭，达到断电的目的。本发明还包括一个远程电路恢复装置，该装置由按键、控制器、无线通讯模块组成，用户可根据自己的需要对相应的电器恢复供电。
2、控制器将从串口接收到的睡眠情况信息解码，依据睁眼、闭眼的次数或比例，将司机疲劳程度分类到低、中、高三种程度中的一种，控制器将控制信号同时发送给连接扬声器的管脚和相应的疲劳程度指示灯的管脚，司机可以根据该装置提醒的疲劳程度，制定不同的休息计划，在保证安全的情况下，可以提供时间利用效率。
本发明的一种基于人眼识别的智能睡眠检测系统，包括视觉传感器、图像处理模块、无线通讯模块、控制器、执行装置等部分，其中视觉传感器负责采集图像，图像处理模块对视觉传感器采集的图像进行处理，对人眼的状态进行判断并分析睡眠情况。控制器根据图像处理模块判断睡眠情况的结果发送控制信号给执行装置，进行智能断电或睡眠提醒。无线通讯模块用于图像处理模块和控制器之间的信息通讯。
1、所述图像处理模块可采用nvidiajetsontx2开发板，主要用于读取视觉传感器采集的图像，对图像中的人脸位置进行判断，并提取出人眼区域部分，利用卷积神经网络分别对用户的人眼状态进行识别，根据长时间的人眼状态计算得到用户的睡眠结果，并通过无线通讯模块发送给控制器。
2、所述控制器为意法半导体公司生产的stm32f103单片机，单片机将串口接收到的用户睡眠结果信息进行解码，一是对需要断电的电器进行动作前的智能时间分配，通过电平信号控制执行模块对电器进行智能断电，二是直接通过电平信号控制执行模块对司机进行疲劳驾驶提醒。
3、所述执行模块为继电器、扬声器和指示灯，分别用于智能断电和疲劳提醒，继电器采用贴片光耦隔离，驱动能力强，性能稳定，可以通过弱电信号控制强电电路的通断，扬声器中的振动装置和谐振装置在控制信号的作用下可以发声，起到疲劳提醒的作用，指示灯可以显示用户的疲劳程度。
4、所述通讯模块为zigbee无线串口通信模块cc2530，发送通信距离可达50米，满足普通环境的需求，此外，模块采用按键配置模块信道与波特率，操作方便。采用无线通讯方式，可以方便整个设备的安装，使用时更加人性化。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。