一种基于回归的人眼状态判断方法
【专利摘要】本发明涉及一种基于回归的人眼状态判断方法。本发明首先对样本中人眼的眼睑位置进行标注；并生成归一化的人眼样本x。其次将人眼样本x，及由上下眼睑距离l计算得到的开合度d作为训练数据(x,d)，输入给统计回归算法进行训练，得到回归模型Μ。然后对于新的人眼图像，归一化为标准输入xi给回归模型Μ，得到输出开合度di。最后根据不同的应用需要，场景和不同的使用者，选择阈值Τ。检测闭眼，如果di≤Τc，则表示闭眼，Τc为闭眼阈值。如果di≥Τo，则表示开眼，Τo为开眼阈值。本发明在不需要精确检测眼睑的情况下，利用统计学习技术自动得到连续的人眼睁闭开合度。该方法易于实现，鲁棒性好，应用灵活。
【专利说明】一种基于回归的人眼状态判断方法
【技术领域】
[0001] 本发明属于视频分析【技术领域】，涉及一种基于回归的人眼状态判断方法。
【背景技术】
[0002] 在疲劳检测等人脸图像分析应用中，需要自动检测人眼闭合状态。已有方法可分 为两类。一类是通过边缘分析、主动形状模型（ASM)、纹理模型（AAM)等图像分析手段，精确 检测出眼睑轮廓线，通过两个眼睑之间的距离，直接判断出眼睛是否闭合；另一类是通过统 计学习的方法，利用大量的开眼和闭眼样本，训练出分类器，对人眼状态进行开、合分类。第 一类方法直接，而且可以给出眼睛的开合度。但是要准确的检测出眼睑轮廓线，技术要求非 常高，且实际应用准确度不高。第二类方法通过特征描述和分类技术对眼睛图像进行分类， 技术实现相对成熟。但是应该认识到，人眼的睁闭状态并非是离散的，只有开、合两种状态， 而是连续的。特别是驾驶过程中，眼睑的距离是变化的。再加上，即便都是在开眼状态下， 不同人眼睛的开合度也有差异。因此，简单用分类器对眼睛状态进行分类并不合理。
【发明内容】
[0003] 本发明采用统计学习中的回归技术，对人眼的状态判断输出连续值。在疲劳检测 等实际应用中，可以设定不同的阈值，来获得不同灵敏度和对不同人的适用性。
[0004] 本发明方法具体是： 步骤一：对样本中人眼的眼睑位置进行标注；所述样本至少包含10000张以上的人脸 图像，且应该包含不同睁闭状态。
[0005] 步骤二：生成归一化的人眼样本X。
[0006] 步骤三：将人眼样本X，及由上下眼睑距离1计算得到的开合度d作为训练数据 (X，d)，输入给统计回归算法进行训练，得到回归模型Μ。
[0007] 步骤四：对于新的人眼图像，采用与步骤二相同方法归一化为标准输入Xi给回归 模型M，得到输出开合度屯。
[0008] 步骤五：根据不同的应用需要，场景和不同的使用者，选择阈值T。检测闭眼，如 果φ彡T。，则表示闭眼，T。为闭眼阈值。如果屯彡T。，则表示开眼，T。为开眼阈值。
[0009] 进一步说，在步骤一中至少标注上眼睑的最低点和下眼睑的最高点。
[0010] 进一步说，步骤二具体是： 首先以双眼中心为基准，将所有的人脸进行相似变换，使它们的双眼中心位置对齐。这 样所有人脸图像的双眼中心距离一样，用Deye _t表示，眼睛中心点为两个眼角中线和上下 眼睑中线的交点。
[0011] 然后，以眼睛中心点为中心，切取固定大小区域作为归一化人眼样本，这里区域宽 度 W = 0· 6 Deye-cent，商度 Η = 0· 3Deye-cent。
[0012] 进一步说，步骤三中的训练过程中将开合度作为训练标签，标签按照开合度范围 划分为(Γ26个等级，训练至样本图像对应预测值为样本标签，则训练结束。
[0013] 进一步说，步骤三中的统计回归算法采用基于回归算法原理的梯度提升树。
[0014] 本发明的有益效果：在不需要精确检测眼睑的情况下，利用统计学习技术自动得 到连续的人眼睁闭开合度。该方法易于实现，鲁棒性好，应用灵活。
【专利附图】
【附图说明】
[0015] 图1为人眼样本的选取方式； 图2为根据人眼样本闭合度标签，迭代训练过程。
【具体实施方式】
[0016] 下面结合附图对本发明作进一步描述。
[0017] 步骤一：对样本中人眼的眼睑位置进行标注。所述样本至少包含10000张以上的 人脸图像，且应该包含不同睁闭状态；人眼标注上眼睑的最低点和下眼睑的最高点，人眼左 右两个眼角。
[0018] 步骤二：生成归一化的人眼样本X。如图1，首先以双眼中心为基准，将所有的人 脸进行相似变换，使它们的双眼中心位置对齐。这样所有人脸图像的双眼中心距离一样，用 D^ _t表示，眼睛中心点为两个眼角中线和上下眼睑中线的交点； 然后，以眼睛中心点为中心，切取固定大小区域作为归一化人眼样本，这里区域宽度W =0· 6 Deye-cent，商度 Η = 0· 3Deye-cent。
[0019] 步骤三：将人眼样本x，及由上下眼睑距离1计算得到的开合度d作为训练数据 (X，d)，训练过程中将开合度作为训练标签，标签按照开合度范围划分为(Γ26个等级，其中 〇表示完全眼睛完全闭合，26表示人眼上下眼睑距离为左右眼角距离的0. 5倍。假设实际 过程中，上下眼睑大于左右眼角的0. 5倍，则该人眼样本的类别属于第26个等级。使用这 27个等级作为回归算法训练的收敛目标，如图2,举例10000个人眼样本中，闭合度为14、 16、24、26的样本训练过程，在流程图第一阶段，闭合度为14、16的样本预测值为15,闭合度 24、26的样本预测值为25。可见闭合度为14、16、24和26的样本离目标结果差1,称之为目 标残差。将目标残差作为第二轮训练的收敛目标，直至训练残差为〇,则训练结束。最终得 到回归模型M。
[0020] 步骤四：对于新的人眼图像，采用与步骤二相同方法归一化为标准输入Xi给回归 模型M，得到输出开合度屯。
[0021] 步骤五：根据不同的应用需要，场景和不同的使用者，选择阈值τ。检测闭眼，如 果屯彡T。，则表示闭眼，T。为闭眼阈值。如果屯彡T。，则表示开眼，T。为开眼阈值。
【权利要求】
1. 一种基于回归的人眼状态判断方法，其特征在于该方法的具体步骤如下： 步骤一：对样本中人眼的眼睑位置进行标注；所述样本至少包含10000张以上的人脸 图像，且应该包含不同睁闭状态； 步骤二：生成归一化的人眼样本X ; 步骤三：将人眼样本X，及由上下眼睑距离1计算得到的开合度d作为训练数据（X，d)， 输入给统计回归算法进行训练，得到回归模型Μ ; 步骤四：对于新的人眼图像，采用与步骤二相同方法归一化为标准输入Xi给回归模型 Μ，得到输出开合度φ; 步骤五：根据不同的应用需要，场景和不同的使用者，选择阈值Τ ;检测闭眼，如果 屯彡Τ。，则表示闭眼，Τ。为闭眼阈值；如果屯彡Τ。，则表示开眼，Τ。为开眼阈值。
2. 根据权利要求1所述的一种基于回归的人眼状态判断方法，其特征在于：在步骤一 中至少标注上眼睑的最低点和下眼睑的最高点。
3. 根据权利要求1所述的一种基于回归的人眼状态判断方法，其特征在于：步骤二具 体是： 首先以双眼中心为基准，将所有的人脸进行相似变换，使它们的双眼中心位置对齐；这 样所有人脸图像的双眼中心距离一样，用Deye _t表示，眼睛中心点为两个眼角中线和上下 眼睑中线的交点； 然后，以眼睛中心点为中心，切取固定大小区域作为归一化人眼样本，这里区域宽度W =0· 6 Deye-cent，商度 Η = 0· 3Deye-cent。
4. 根据权利要求1所述的一种基于回归的人眼状态判断方法，其特征在于：步骤三中 的训练过程中将开合度作为训练标签，标签按照开合度范围划分为(Γ26个等级，训练至样 本图像对应预测值为样本标签，则训练结束。
5. 根据权利要求1所述的一种基于回归的人眼状态判断方法，其特征在于：步骤三中 的统计回归算法采用基于回归算法原理的梯度提升树。
【文档编号】G06K9/66GK104091150SQ201410300198
【公开日】2014年10月8日 申请日期:2014年6月26日 优先权日:2014年6月26日
【发明者】尚凌辉, 蒋宗杰, 高勇, 于晓静 申请人:浙江捷尚视觉科技股份有限公司