一种实时疲劳提示的方法及装置制造方法
【专利摘要】本发明公开了一种实时疲劳提示的方法及装置。该方法包括：实时监测用户面部状态视频信息；发送视频信息到处理单元；判断用户是否处于疲劳状态；记录下用户每个时刻的状态，若用户在一分钟内疲劳状态次数超过阀值则发出声音或者其它提示。一种实时疲劳提示装置，该装置包括：监测单元、存储单元、输出单元、视频处理单元及接口总成，监测单元，存储单元及输出单元通过接口总成与视频处理单元相连接。本发明的优点是：通过非接触方式连续监测用户的面部状态，在用户处于疲劳状态下提醒用户注意休息并提供长期的用户状态历史信息，帮助用户提高学习或工作效率，同时利于用户避免过度疲劳，保持健康工作习惯。
【专利说明】一种实时疲劳提示的方法及装置
【技术领域】
[0001]本发明涉及电子产品领域，尤其涉及一种实时疲劳提示的方法及装置。
【背景技术】
[0002]疲劳是一种生理、心理异常状态，其表现是:大脑反应迟钝，头麻木或者疼痛，注意力分散，思维滞缓，长期在疲劳状态下工作、学习效率低下，对用户十分不利。
[0003]基于图像的疲劳检测算法主要是通过定位并跟踪眼睛及嘴巴。判断眼睛睁开、闭合状态以及嘴巴的张开程度进行判断。但是眼睛瞳孔的精确定位存在困难容易受光照等环境的影响，对嘴巴状态的判断也存在相似的困难。
[0004]为了定位眼睛及嘴巴，还需要首先定位人脸。需要一种简单快速的人脸识别方法，因为表情识别阶段需要进 行大量计算，因此在人脸定位阶段应当尽量节省计算时间。
[0005]本发明从摄像头捕捉的图像，使用基于整数运算的BM_LBP描述符搜索人脸，该方法快速有效，可以节省计算资源用于进行疲劳状态的判断。本发明把整个面部表情作为整体进行疲劳表情判断，并且依据整体的统计信息而非依据眼球、嘴巴的几何形状，因此简化了判断过程并且提高了对光照等外部条件变化下判断用户疲劳的鲁棒性。
【发明内容】
[0006]本发明从监测单元捕捉的图像实时检测出用户的疲劳状态，采用基于整数运算的BM_LBP描述符搜索人脸，该方法快速有效并且可以节省计算资源用于进行疲劳状态的判断。
[0007]本发明把整个面部表情作为整体进行疲劳表情判断，并且依据整体的统计信息而非依据眼球、嘴巴的几何形状，因此简化了判断过程并且提高了对光照等外部条件变化下判断用户疲劳的鲁棒性。
[0008]为解决现有技术问题，设计了一种实时疲劳提示的方法，该方法包括以下步骤:
[0009]I)实时采集用户面部状态视频信息；
[0010]2)发送视频信息到视频处理单元；
[0011]3)判断用户是否处于疲劳状态；
[0012]4)提示用户注意休息。
[0013]进一步地，判断用户是否处于疲劳状态包括如下步骤:
[0014]3-1)使用级联分类器识别出视频信息里的用户面部；
[0015]3-2)将用户面部图像尺寸归一化，然后使用主成分分析法(PCA)提取面部主成分特征；
[0016]3-3)根据面部主成分信息，采用基于Fisher线性判别的方法(LDA)判断当前用户是否处于疲劳状态；
[0017]3-4)连续记录用户的状态，若用户在设定时间内出现的疲劳状态次数超过设定的疲劳次数提示阀值η则进行提醒。[0018]进一步地，使用级联分类器识别出视频信息里的用户面部的步骤如下:
[0019]3-1-1)采用多区块局部二值模式(MB_LBP)算子作为特征描述符；
[0020]3-1-2)读取在计算机上离线训练的瀑布型级联分类器；
[0021]3-1-3)以24X24的窗口在监视画面进行滑动扫描，在每一个窗口均使用级联分类器判断该窗口位置是否是人脸，若是人脸则标记出人脸位置；
[0022]3-1-4)将窗口放大1.2倍重复上述扫描检测，标记较大的人脸位置，重复5次将搜索到的人脸位置进行合并；
[0023]进一步地，将用户面部图像尺寸归一化，然后使用主成分分析法(PCA)提取面部主成分特征的步骤如下:
[0024]3-2-1)对搜索到的人脸进行尺度归一化为56X56像素；
[0025]3-2-2)对归一化后的人脸图像进行直方均衡化等预处理；
[0026]3-2-3)将图像矩阵按行拉直成为3136维的列向量gamma ；
[0027]3-2-4)对拉直后的列向量进行投影:y = W/ ( gamma -Ψ)其中W1为PCA投影矩阵，Ψ为平均脸，投影后I降低到20维； [0028]3-2-5)使用PCA法离线计算W1及Ψ ;
[0029]进一步地，根据面部主成分信息，采用基于Fisher线性判别的方法(LDA)判断当前用户是否处于疲劳状态的步骤如下:
[0030]3-3-1)对主主成分y进行投影z = W2Ty，其中W2是仅有一列的矩阵，ζ为标量；
[0031]3-3-2)ζ>0即可认为是疲劳状态，增加一个阀值Θ给用户设置以满足不同需求，阀值Θ越高则误判越少更加准确，阀值Θ越低则漏判越少更加敏感。ζ> Θ判断处于疲劳状态；
[0032]3-3-3)使用标记有非疲劳状态(第一类)及疲劳状态(第二类)的人脸图片根据线性判别的方法离线训练，以得到投影矩阵W2。
[0033]进一步地，该方法还包括以下步骤:在存储单元存储用户状态信息，保存用户每次学习或工作状态的历史记录，帮助用户改善学习或工作计划。
[0034]一种实时疲劳提示的装置，该装置包括:监测单元，负责实时采集用户面部状态视频信息并发送视频信息到视频处理单元；视频处理单元，负责通过图像算法处理判断用户是否处于疲劳状态，若用户在设定时间内出现的疲劳状态次数超过设定的疲劳次数提示阀值η则进行提醒；输出单元，负责声音及图像的输出包括发出声音提示用户及显示相关信息；存储单元负责保存记录用户历史信息；接口总成，负责视频处理单元与外部设备的连接及通讯。
[0035]进一步地，所述视频处理单元为ARM处理器及DSP数字信号处理器。
[0036]进一步地，所述输出单元为IXD显示器及扬声器。
[0037]进一步地，所述装置还包括:存储单元，所述存储单元为内置闪存及外部数字存储卡。
[0038]上述判断用户是否处于疲劳状态的方法步骤3-1)所述级联分类器需要通过Adaboost离线训练；步骤3-2)所述PCA提取面部主成分需要离线进行PCA训练；3_3)所述LDA判断当前用户是否处于疲劳状态需要离线进行LDA训练。
[0039]Adaboost训练用以检测人脸。使用人脸图片(正样本)及背景图片(负样本)通过Adaboost算法得到级联分类器。使用MB_LBP编码作为Adaboost算法中的弱分类器的输入，使用CART算法生成的二叉树作为弱分类器，也就是说，在Adaboost训练中使用分类与回归树(CART)作为弱分类器，该弱分类器以MB_LBP特征的bit位进行分类。
[0040]MB-LBP根据3X3个相连接的共9个连续矩形区域，按中心区灰度值之和与8个相邻矩形区灰度值之和的比较，采用和局部二值模式(LBP)相似的方法得到编码。MB_LBP编码的数值大小没有意义而是表示总共256种不同状态中的一种。
[0041 ] 使用CART树对样本分类得到弱分类器fm (X) e -1,1使正样本映射为I，负样本映射为-1。CART树的构建根据Gini指标，MB_LBP编码8个二进制位中使得整个CART树Gini指标降低量最大的二进制位作为分裂点选取依据。
[0042]PCA训练根据大量人脸图片样本计算平均脸Ψ及投影矩阵Wp投影矩阵W1由样本协方差矩阵C前20个最大特征值对应的特征向量组成。用以从人脸图像提取主成分并降维。 [0043]LDA训练将人脸图片样本分为两类，即非疲劳状态(第一类样本)和疲劳状态(第二类样本)。根据PCA训练的结果将人脸提取主成分y = W/ ( gamma -Ψ)，对样本主成分y进行训练。根据样本的分类，计算类间散射矩阵Sb和类内散射矩阵Sw。矩阵S/SB最大特征值对应的特征向量组成投影矩阵W2。投影矩阵W2用以进行分类投影，z = W2Ty实现类间分布最大化，而类内分布最小化。
[0044]该方法实时检测包括以下步骤:
[0045]从CCD采集用户视频流的一帧到缓存，提取亮度信息得到灰度图像；
[0046]用24X24的窗口在灰度图像中进行滑动扫描搜索人脸，窗口连续放大5次以检测不同尺度的人脸，检测完后合并人脸位置；
[0047]根据人脸位置提取用户面部图像，并将尺度缩放到56X56像素。对面部图像进行直方均衡化处理然后提取主成分y = W11 ( gamma - Ψ);
[0048]将主成分投影到一维得到疲劳值z = ff2Ty ；
[0049]连续记录用户疲劳值z，若在一分钟内ζ > Θ的次数达到一定数量则发出声音提醒。在本发明中，我们设定的疲劳监测时间范围以I分钟为一个时间区间，如果用户在在一分钟内疲劳状态出现的次数超过60秒*20帧每秒*15%这个范围,使用该方法的疲劳提示装置就会发出提示。
[0050]本发明的有益效果是:通过从摄像头捕捉的图像，使用基于整数运算的BM_LBP描述符搜索人脸，可以节省计算资源用于进行疲劳状态的判断，另外，本发明把整个面部表情作为整体进行疲劳表情判断，并且依据整体的统计信息而非依据眼球、嘴巴的几何形状，因此简化了判断过程并且提高了对光照等外部条件变化下判断用户疲劳的鲁棒性。
[0051]本发明里，PCA(Principal Component Analysis)是主成分分析的简称；LDA (Linear Discriminant Analysis)是线性判别分析的简称；CART (Classification AndRegression Tree)是分类及回归树的简称；LBP(Local Binary Patterns)是局部二值模式简称；MB_LBP(Mult1-scale Block Local Binary Patterns)是多区块局部二值模式的简称。
【专利附图】
【附图说明】[0052]图1为本发明的一种实时疲劳提示的方法及装置结构示意图；
[0053]图2为本发明MB_LBP编码提取方法示意图及改变矩形区域产生不同MB_LBP特征示意图；
[0054]图3为本发明的以MB_LBP编码为特征，以CART树为弱分类器构成的级联型分类器结构示意图；
[0055]图4为本发明的矩阵拉直方方法示意图及用PCA离线训练得到的前24个特征脸示意图；
[0056]图5为LDA投影实现类间分布最大化，类内分布最小化示意图及LDA离线训练以实现疲劳检测示意图。
【具体实施方式】
[0057]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0058]图1是本发明实施例中一种实时疲劳提示的装置的结构示意图。根据该结构图，所述一种实时疲劳提示的装置包括:监测单元101，接口总成102，视频处理单元103，输出单元104及存储单元105。各单元之间具体的工作过程如下，监测单元101把采集到的视频信息通过接口总成102传送到视频处理单元103，视频处理单元完成对视频信号的实时处理，把用户的学习或工作状态信息保存到存储单元105，同时视频处理单元把当前图像和提示语言通过接口总成发送到输出单元105。其中，所述监测单元101可为CXD摄像机或微型摄像头，可通过数据线与视频处理单元相连接，也可集成在该装置的硬件结构上。该装置可以是手机、平板、台式电脑、笔记本电脑、儿童平板、电子书、车载设备、导航设备等。
[0059]图2为本发明的MB_LBP编码提取方法示意图及改变矩形区域产生不同MB_LBP特
征示意图。MB-LBP根据3 X 3个相连接的共9个连续矩形区域，按中心区灰度值之和与8个
相邻矩形区灰度值之和的比较得到编码。201、202及203所示为改变小方块的尺寸或者位
置示意图，这三种不同的选取将产生三种不同的MB_LBP编码。204、205及206所示为提取
MB_LBP 编码示意图:
【权利要求】
1.一种实时疲劳提示的方法，其特征在于，该方法包括以下步骤: 实时采集用户面部状态视频信息； 发送视频信息到视频处理单元； 判断用户是否处于疲劳状态； 提示用户注意休息。
2.根据权利要求1的一种实时疲劳提示的方法，其特征在于，判断用户是否处于疲劳状态包括如下步骤: 使用级联分类器识别出视频信息里的用户面部； 将用户面部图像尺寸归一化，然后使用主成分分析法(PCA)提取面部主成分特征；根据面部主成分信息，采用基于Fisher线性判别的方法(LDA)判断当前用户是否处于疲劳状态； 在存储单元连续记录用户的状态信息，若用户在设定时间内出现的疲劳状态次数超过设定的疲劳次数提示阀值η则进行提醒。
3.根据权利要求1或2之一所述的一种实时疲劳提示的方法，其特征在于，使用级联分类器识别出视频信息里的用户面部的步骤如下: 采用多区块局部二值模式(MB_LBP)算子作为特征描述符； 读取在计算机上离线训练的瀑布型级联分类器。 以24X24的窗口在监视画面进行滑动扫描，在每一个窗口均使用级联分类器判断该窗口位置是否是人脸，若是人脸则标记出人脸位置； 将窗口放大1.2倍重复上述扫描检测，标记较大的人脸位置，重复5次。将搜索到的人脸位置进行合并。
4.根据权利要求1或2之一所述的一种实时疲劳提示的方法，其特征在于:将用户面部图像尺寸归一化，然后使用主成分分析法提取面部主成分特征的步骤如下: 对搜索到的人脸进行尺度归一化为56X56像素； 对归一化后的人脸图像进行直方均衡化等预处理； 将图像矩阵按行拉直成为3136维的列向量gamma ； 对拉直后的列向量进行投影:y = Ιt(GAMMA-Ψ)其中W1为PCA投影矩阵，Ψ为平均脸，投影后I降低到20维； 使用PCA法离线训练W1及Ψ。
5.根据权利要求1或2之一所述的一种实时监视用户学习或工作状态的方法，其特征在于:根据面部主成分信息，采用LDA方法判断当前用户是否处于疲劳状态的步骤如下: 对主成分I进行投影ζ = W2Ty，其中W2是仅有一列的矩阵，z为标量；z > O即可认为是疲劳状态，增加一个状态阀值Θ以提高灵活性，ζ > Θ判断处于疲劳状态； 使用标记有非疲劳状态(第一类)及疲劳状态(第二类)的人脸图片根据线性判别的方法离线训练得到投影矩阵W2。
6.根据权利要求1的一种实时疲劳提示的方法，其特征在于，该方法还包括以下步骤:在存储单元存储用户状态信息。
7.一种实时疲劳提示的装置，该装置包括:监测单元，负责实时采集用户面部状态视频信息并发送视频信息到视频处理单元；视频处理单元，负责处理图像，判断用户是否处于疲劳状态；输出单元，负责声音及图像的输出包括发出声音提示用户及显示相关信息；存储单元负责保存记录用户历史信息；接口总成，负责视频处理单元与外部设备的连接及通τΗ ο
8.根据权利要求7所述的一种实时疲劳提示的装置，其特征在于，所述视频处理单元为ARM处理器及DSP数字信号处理器。
9.根据权利要求7所述的一种实时疲劳提示的装置，其特征在于，所述输出单元为LCD显不器及扬声器。
10.根据权利要求7所述的一种实时疲劳提示的装置，其特征在于，所述存储单元为内置闪存及外部数字存储卡。
【文档编号】A61B5/16GK103976749SQ201310228156
【公开日】2014年8月13日 申请日期:2013年6月9日 优先权日:2013年6月9日
【发明者】刘 东 申请人:湖南纽思曼导航定位科技有限公司