一种嵌入式疲劳状态检测系统及方法与流程
本发明属于疲劳状态检测领域，具体涉及一种基于卷积神经网络的嵌入式学习疲劳状态检测系统及方法。
背景技术：
随着信息技术日新月异的发展，越来越多的学习者能够利用网络资源进行线上学习以及搜集资料利用工具自主学习，而在此环境下由于缺乏对于学习状态的监督可能降低效率以至于更容易疲劳。疲劳状态能有效反映学习者对于当前内容的兴趣与理解深度，因此检测学习疲劳状态对于提醒学习者集中注意力调整状态具有很大价值和意义。
目前对于疲劳检测方法主要有利用生理传感器检测脑电、心电、心率、呼吸等生理变化指标；以及通过生成学习状态图片，分析被检测者面部特征，对比人为定义有效表征信息(眼睛轮廓、张嘴距离等)来判定是否疲劳。生理指标检测需要安装生理信号传感器并大多与学习者身体相连，对于学习场景的适用性较差。而面部特征检测中通过人为定义相关参数算法复杂、系统结构繁琐；而对于要检测的图片受外部环境例如摄像头偏移角度、眼镜、头发、光线亮度等因素的干扰不具备较好的稳定性，对于特征提取与对比增加难度，同时极大影响了判定精度。因此改进升级判别方法与技术具有实际意义。
技术实现要素：
针对现有疲劳状态检测方法中人工定义状态特征难度较大，算法繁琐以致系统复杂、识别精度低以及应用场景适用性低等问题，本发明提供一种基于深度学习技术的嵌入式学习疲劳状态检测系统及方法，识别方法中引入卷积神经网络对检测对象面部特征进行学习和分类判断，结合perclos和fom判定法则实现疲劳状态检测。
本发明第一方面，提出一种嵌入式疲劳状态检测系统，所述系统包括以下内容：
图像获取模块：用于通过摄像头动态捕捉学习者视频，将所述视频按预设帧间隔转换成桢图像，并进行归一化处理；
数据处理模块：用于从所述帧图像中定位人脸，再定位并截取眼部和嘴部图像；通过训练好的卷积神经网络分别对眼部和嘴部的张开与闭合状态进行识别；采用parclos和fom法则对卷积神经网络中闭眼和哈欠的帧数频率进行计算并与预设联合判定阈值比较，判断目标是否疲劳；
输出决策模块：用于根据数据处理模块的判断结果控制扬声器及显示屏显示。
可选的，所述数据处理模块具体包括：
人脸检测单元：采用基于方向梯度直方图hog算法从所述帧图像中提取人脸图像；
特征提取单元：采用面部标志估算算法检测人脸特征点并对齐人脸，ert算法检测出脸部图像中的关键点，对齐人脸，并根据关键点序号定位出眼部、嘴部区域，分割出眼部和嘴部图像；
模型训练单元：设计卷积神经网络结构，通过眼部数据库celeba以及所述特征提取单元获取的眼部和嘴部图像组成的数据集对卷积神经网络进行训练；
分类识别单元：通过所述训练好的卷积神经网络识别所述获取的眼部和嘴部图像，得到眼部、嘴部的张开与闭合两种状态，并保存到固定长度的队列中；
联合判定单元：预设联合判定阈值，实时检测所述队列中各值的分布情况，采用parclos和fom法则分别计算单位时间内眼部闭合和嘴部张开的帧数频率，若眼部闭合或嘴部张开的帧数频率超过所述联合判定的阈值时则判定疲劳，并将判定结果发送给所述输出决策模块。
可选的，所述分类识别单元中，所述卷积神经网络的全连接层使用softmax分类器，softmax定义为：
其中，j＝0,1；而pj表示输出结果为第j类的概率；y’k与y’j＝∑ihiwi,j+bj表示卷积神经网络的全连接层最后一层输出；i＝0,1，hi是上一层输出；wi,j和bj分别为最后一层的权重和偏置。
可选的，所述联合判定单元中，所述采用parclos和fom法则分别计算单位时间内眼部闭合和嘴部张开的帧数频率具体为：
设fper为眼部闭合帧数频率，其表示的是单位时间内眼部闭合帧数和总帧数之间的比值，即：
其中，n表示单位时间内闭眼帧数，n表示单位时间内所述摄像头采集到的视频总帧数；
设ffom为嘴部张开的帧数频率，其表示的是单位时间内嘴部张开的帧数和单位时间内总帧数之间的比值，即：
n′表示单位时间内嘴部张开的帧数，n表示单位时间内所述摄像头采集到的视频总帧数。
可选的，所述联合判定单元中，联合判定阈值设置及判定法则为：当fper＞0.4或ffom＞0.4时判定为疲劳；当fper＞0.25且ffom＞0.25时同样判定为疲劳，其余不疲劳。
可选的，所述输出决策模块在判定目标疲劳时，控制所示扬声器发出振铃，提醒学习者注意状态，所示显示屏记录疲劳次数和学习时长，若学习时长到达设定学习时长则扬声器振铃提醒学习者注意休息。
本发明第二方面，提出一种嵌入式疲劳状态检测方法，所述方法包括：
s1、摄像头动态捕捉学习者在学习时活动视频，将所述视频按预设帧间隔转成桢图像；
s2、采用基于方向梯度直方图hog算法从所述帧图像中提取出人脸图像；
s3、采用回归树集合ert算法检测出所述人脸图像中的关键点，对齐人脸，并根据关键点序号定位并截取出眼部、嘴部图像；
s4、设计卷积神经网络结构，通过眼部数据库celeba以及所述截取出的眼部和嘴部图像组成的数据集对卷积神经网络进行训练；
s5、通过所述训练好的卷积神经网络识别所述获取的眼部和嘴部图像，得到眼部、嘴部的张开与闭合两种状态，并保存到固定长度的队列中；
s6、实时检测所述队列中各值的分布情况，预设联合判定阈值，采用parclos和fom法则分别计算单位时间内眼部闭合和嘴部张开的帧数频率，若眼部闭合或嘴部张开的帧数频率超过所述联合判定的阈值时则判定学习者疲劳。
可选的，所述步骤s6之后还包括：
s7、若判定学习者疲劳，通过扬声器发出振铃提醒，并通过显示屏记录疲劳次数和学习时长，若学习时长超过设定学习时长，同样振铃提醒。
可选的，所述步骤s6中，所述采用parclos和fom法则分别计算单位时间内眼部闭合和嘴部张开的帧数频率具体为：
设fper为眼部闭合帧数频率，其表示的是单位时间内眼部闭合帧数和总帧数之间的比值，即：
其中，n表示单位时间内闭眼帧数，n表示单位时间内所述摄像头采集到的视频总帧数；
设ffom为嘴部张开的帧数频率，其表示的是单位时间内嘴部张开的帧数和单位时间总帧数之间的比值，即：
n′表示单位时间内嘴部张开的帧数，n表示单位时间内所述摄像头采集到的视频总帧数。
可选的，所述步骤s6中，所述预设联合判定阈值及判定法则为：当fper＞0.4或ffom＞0.4时判定为疲劳；当fper＞0.25且ffom＞0.25时同样判定为疲劳，其余不疲劳。
本发明采用卷积神经网络来识别特征，可在训练中自主学习各类特征，不依赖人工参与，能达到实际可用的泛化性能，且更具鲁棒性。结合parclos和fom法则对眼睛和嘴巴两种特征进行联合设置阈值，对比现有单特征识别方法其多信息的融合具有更好的表征能力和准确性。易于将整个检测系统、方法移植到嵌入式平台，结构简单、泛用性好，有利于产品转化。
附图说明
为了更清楚地说明本发明的技术方案，下面将对本发明技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的疲劳检测系统结构示意图；
图2为本发明实施例提供的系统所使用的疲劳检测设备结构示意图；
图3为本发明实施例提供的疲劳检测方法流程示意图；
图4为本发明实施例提供的卷集神经网络结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参见图1，本发明提出的一种嵌入式疲劳状态检测系统，所述系统包括：
图像获取模块110：包括视频采集单元1101，用于通过摄像头动态捕捉学习者视频；还包括图像转换单元1102，用于将所述视频按预设帧间隔转换成桢图像，并进行归一化处理；
数据处理模块120：用于从所述帧图像中定位人脸，再定位并截取眼部和嘴部图像；通过训练好的卷积神经网络分别对眼部和嘴部的张开与闭合状态进行识别；采用parclos和fom法则对卷积神经网络中闭眼和哈欠的帧数频率进行计算并与预设联合判定阈值比较，判断目标是否疲劳；
输出决策模块130：包括扬声器控制单元1301和显示屏显示单元1302，用于根据数据处理模块的判断结果控制扬声器及显示屏显示。
优选的，所述数据处理模块120可具体包括：
人脸检测单元1201：采用基于方向梯度直方图hog算法从所述帧图像中提取人脸图像；
特征提取单元1202：采用面部标志估算算法检测人脸特征点并对齐人脸，ert算法检测出脸部图像中的关键点，对齐人脸，并根据关键点序号定位出眼部、嘴部区域，分割出眼部和嘴部图像；
模型训练单元1203：设计卷积神经网络结构，通过眼部数据库celeba以及所述特征提取单元获取的眼部和嘴部图像组成的数据集对卷积神经网络进行训练；
分类识别单元1204：通过所述训练好的卷积神经网络识别所述获取的眼部和嘴部图像，得到眼部、嘴部的张开与闭合两种状态，并保存到固定长度的队列中；所述卷积神经网络的全连接层使用softmax分类器，softmax定义为：
其中，j＝0,1；而pj表示输出结果为第j类的概率；y’k与y’j＝∑ihiwi,j+bj表示卷积神经网络的全连接层最后一层输出；i＝0,1，hi是上一层输出；wi,j和bj分别为最后一层的权重和偏置。
联合判定单元1205：预设联合判定阈值，实时检测所述队列中各值的分布情况，采用parclos和fom法则分别计算单位时间内眼部闭合和嘴部张开的帧数频率，若眼部闭合或嘴部张开的帧数频率超过所述联合判定的阈值时则判定疲劳，并将判定结果发送给所述输出决策模块。
所述联合判定单元1205中，设fper为眼部闭合帧数频率，其表示的是单位时间内眼部闭合帧数和总帧数之间的比值，即：
所述联合判定单元1205中，联合判定阈值设置及判定法则为：当fper＞0.4或ffom＞0.4时判定为疲劳；当fper＞0.25且ffom＞0.25时同样判定为疲劳，其余不疲劳。
图2为所述疲劳状态检测系统所使用的疲劳检测设备结构示意图，该疲劳检测设备仅是该疲劳状态检测系统的一个实施例，所述疲劳检测设备包括arm处理器2，以及分别与所述arm处理器2通信连接的摄像头1、嵌入式gpu3、显示屏4，扬声器5，所述摄像头1用于获取被检测者的学习状态活动视频，嵌入式arm处理器2用于接受、处理系统相关信息，嵌入式gpu3用于图形处理与分类识别。显示屏4用于记录和显示学习时长以及疲劳次数，扬声器5用于发出振铃。将所述系统中的不同功能模块植入所述疲劳检测设备即可实现学习者疲劳状态检测，具体为：
图像获取单元110包括图2中所示摄像头1，采集学习者视频。
所示数据处理单元包含一系列视频、图片的处理以及卷积神经网络的部署和运作，其实现方法设置和处理算法等嵌入于所述arm处理器2和gpu3中，执行视频转换、图片处理与识别、控制程序运行等。利用嵌入式gpu3运行卷积神经网络算法，识别眼部、嘴部区域的张开与闭合状态，arm处理器2眼部、嘴部区域的张开与闭合状态综合判断疲劳状态。
输出决策单元包括所述显示屏4和扬声器5，用于接收arm处理器2的信号并作出相应回应。
本发明还提出一种嵌入式疲劳状态检测方法，请参阅图3，图3为疲劳状态检测方法流程示意图，所述方法包括：
s1、摄像头动态捕捉学习者在学习时活动视频，将所述视频按预设帧间隔转成桢图像；
具体的，开启上述疲劳检测系统后，首先通过摄像头采集学习者在学习时活动视频，采集到的视频存储于arm处理器中，根据需要通过设计程序将视频转成桢图像存储在指定目录作为检测输入数据。由于对学习的疲劳检测实时性要求不高，帧间隔可依据实际情况取值。
系统开启时记录运行时长并在图2所示显示屏上显示，设定与课堂时长匹配的学习时长，当记录的学习时间超过设定学习时长后系统控制扬声器发出振铃提示学习者适当休息。
s2、采用基于方向梯度直方图hog算法从所述帧图像中提取出人脸图像；
具体的，由于人脸只占全图的一部分，获取帧图像后，需要使用人脸检测快速把人脸图像从原图提取出来。采用基于方向梯度直方图hog算法进行人脸图像的提取，其基本步骤包括：①颜色空间归一化②梯度计算③梯度方向直方图计算④直方图归一化。
s3、采用回归树集合ert算法检测出所述人脸图像中的关键点，对齐人脸，并根据关键点序号定位并截取出眼部、嘴部图像；
具体的，获取了人脸图像后需要继续得到作为判断疲劳依据的眼睛和嘴部图片，本发明采用面部标志估算算法检测人脸特征点并对齐人脸。首先选取人脸的68个特殊标志点模型，从眉毛外沿至下颌底部，包括眼睛轮廓和嘴部轮廓等。然后利用该算法提出的基于梯度增强(radientboosting)的框架，通过优化损失函数和误差的总和来学习回归树集合(ensembleofregressiontrees,ert)，检测出人脸图像中的68个关键点，最后对齐人脸，并根据关键点序号定位出所需要的眼部、嘴部区域，定位眼部和嘴部区域后分割出眼部和嘴部特征图片。
s4、设计卷积神经网络结构，通过眼部数据库celeba以及所述截取出的眼部和嘴部图像组成的数据集对卷积神经网络进行训练；
请参见图4，图4为本发明所设计的特征识别卷积神经网络，该卷积神经网络包括2个卷积层、2个池化层、1个全连接层，所述卷积层用于将输入的数据进行特征提取，池化层用于将输入的特征图进行压缩，使特征图变小，简化网络计算复杂度，同时进行特征压缩，提取主要特征，全连接层用于连接所有的特征并输出。将一个大小为36×28的图片输入卷积神经网络，经过多次卷积池化操作后，全连接层通过softmax分类器识别眼部和嘴部图像，判断睁眼、闭眼或张嘴、闭嘴状态。
请结合图3，卷积神经网络的训练过程为：将步骤s1获得的帧图片作为实验者样本，经步骤s2、s3的人脸检测、特征分割后得到的眼部、嘴部特征图片集，在训练卷积神经网络模型时，将所述眼部、嘴部特征图片集作为训练集的一部分，与眼部数据库celeba中的数据集结合，共同组成卷积神经网络的训练集，然后载入设计好的卷积神经网络结构，训练卷积神经网络模型，最终生成识别模型。通过训练集对该卷积神经网络模型不断训练，生成眼部嘴部状态识别模型。
s5、通过所述训练好的卷积神经网络识别所述获取的眼部和嘴部图像，得到眼部、嘴部的张开与闭合两种状态，并保存到固定长度的队列中；
所述卷积神经网络全连接层中使用softmax分类器，softmax定义为：
其中，j＝0,1；而pj表示输出结果为第j类的概率；y’k与y’j＝∑ihiwi,j+bj表示卷积神经网络的全连接层最后一层输出；i＝0,1，hi是上一层输出；wi,j和bj分别为最后一层的权重和偏置。
s6、实时检测所述队列中各值的分布情况，预设联合判定阈值，采用parclos和fom法则分别计算单位时间内眼部闭合和嘴部张开的帧数频率，若眼部闭合或嘴部张开的帧数频率超过所述联合判定的阈值时则判定学习者疲劳。
所述采用parclos和fom法则分别计算单位时间内眼部闭合和嘴部张开的帧数频率具体为：设fper为眼部闭合帧数频率，其表示的是单位时间内眼部闭合帧数和总帧数之间的比值，即：
所述步骤s6中，所述预设联合判定阈值及判定法则为：当fper＞0.4或ffom＞0.4时判定为疲劳；当fper＞0.25且ffom＞0.25时同样判定为疲劳，其余不疲劳。
s7、若判定学习者疲劳，通过扬声器发出振铃提醒，并通过显示屏记录疲劳次数和学习时长，若学习时长超过设定学习时长，同样振铃提醒。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
- 还没有人留言评论。精彩留言会获得点赞！