眼睛开闭状态检测装置和方法
【技术领域】
[0001] 本申请涉及一种眼睛开闭状态检测装置和方法。更具体地讲，涉及一种通过确定 检测眼睛开闭状态来检测眨眼的检测装置和方法。
【背景技术】
[0002] 眼睛是人类获取外部世界信息的主要窗口，它接受的信息占到大脑接受全部信息 的80 %~90 %。人眼视线跟踪技术的研究在认知科学、心理学、人机交互等领域意义深远。
[0003] 眨眼检测技术是指通过对人眼运动过程中一些特性的图像检测，估计目前眼睛处 于闭眼还是睁开的状态，以及眼睛睁开的程度。随着视频处理与视频监控技术的普及发展， 眨眼检测成为眼睛图像分析过程中不可缺少的重要部分。例如，在视线估计系统中，需要实 时对眼睛图像进行眨眼检测，过滤掉闭眼和微睁的图像，避免视线估计焦点出现较大噪声 和波动；在驾驶监控中，对司机进行眨眼检测以及眨眼频率统计分析，对疲劳驾驶情况及时 报警；在人机交互过程中，通过眨眼完成触发事件，实现更加简易人性化的交互体验。
[0004] 目前基于视觉的眨眼检测方法主要分为：
[0005] 1)模板匹配法：选择正常睁开的眼睛图像的原始图像信息或者提取的边缘等特 征作为模板，和其他视频帧匹配并计算相关性。睁开状态的眼睛图像相关性高，闭眼状态的 相关性比较低，因此可通过设置阈值将眼睛状态分为睁眼状态、闭眼状态和中间状态。然 而，该方法缺点在于需要手动选取正常睁开的眼睛图像。
[0006] 2)眼皮检测法：通过辅助光源或者在自然光下利用上下眼皮区域图像灰度均匀 的特性，以及眨眼过程中眼皮上下运动等特征直接检测上下眼皮，根据上下眼皮边缘的距 离判断眼睛闭眼程度。在该方法中，辅助光源的利用会对使用场景产生限制，另一方面，由 于眼皮的分割定位比较困难，通常需要在序列帧图像中统计上下运动的区域最终确定眼 皮，造成计算复杂度增加。
[0007] 因此，需要一种能够准确且快速地确定眼睛开闭状态的装置及方法。
【发明内容】
[0008] 另外的方面和/或优点将在以下描述中被部分阐述，还有部分从描述中将是清楚 的，或者可通过本发明的实施而被获知。
[0009] 根据本发明的一方面，提供了一种眼睛开闭状态检测装置，包括：眼部区域检测单 元，从目标图像中检测包含眼睛的眼部区域；眼睛分割单元，对检测到的眼部区域进行分 害I]，以提取眼睛图像；状态确定单元，基于眼睛图像中的灰度变化来确定眼睛是处于睁开状 态还是闭眼状态。
[0010] 所述眼部区域可以是包含眼睛的矩形区域。
[0011] 当确定所述矩形眼部区域中的眼睛相对于所述矩形眼部区域处于非水平状态时， 眼部区域检测单元可基于眼睛倾斜的角度旋转目标图像，并可从旋转后的目标图像再次检 测包含眼睛的眼部区域。
[0012] 当确定所述矩形眼部区域中的眼睛相对于所述矩形眼部区域处于非水平状态时， 眼部区域检测单元可对所述矩形眼部区域进行校正，使得经过校正的矩形眼部区域中的眼 睛相对于校正后的矩形眼部区域处于水平状态。
[0013] 可使用机器学习算法来训练所述眼部区域检测单元，使得当眼部区域检测单元对 目标图像进行处理时，可从目标图像中检测出眼部区域。
[0014] 所述眼睛分割单元可通过使用高斯肤色模型来确定眼部区域中的每个像素点是 否属于皮肤区域，并可将眼部区域中皮肤区域以外区域的图像提取为眼睛图像。
[0015] 可从眼部区域的四个角点位置中的至少一个位置选择预定大小的区域作为高斯 肤色模型的皮肤样本来训练高斯肤色模型。
[0016] 可从所述眼部区域的上部或下部选择预定大小的区域作为高斯肤色模型的皮肤 样本来训练高斯肤色模型。
[0017] 所述状态确定单元可通过检测眼睛图像中的所有像素的灰度值的分布来确定眼 睛是处于睁开状态还是闭眼状态。
[0018] 所述状态确定单元可计算眼睛图像的所有像素的灰度值的均方差，当计算的均方 差大于或等于预设阈值时，所述状态确定单元确定眼睛处于睁开状态，当计算的均方差小 于所述预设阈值时，所述状态确定单元确定眼睛处于闭眼状态。
[0019] 所述状态确定单元可对眼睛图像进行水平轴投影，计算眼睛图像中沿与眼睛垂直 的方向上的每列像素的列平均灰度以形成列平均灰度曲线，并基于形成的列平均灰度曲线 的变化程度确定眼睛是处于睁开状态还是闭眼状态。
[0020] 当所述列平均灰度曲线的变化程度超过预定阈值时，所述状态确定单元可确定眼 睛处于睁开状态，当所述列平均灰度曲线的变化程度低于所述预定阈值时，所述状态确定 单元可确定眼睛处于闭眼状态。
[0021] 所述状态确定单元还可将列平均灰度曲线的平均灰度行向量与边缘检测模板函 数进行卷积，并基于卷积获得的曲线确定眼睛是处于睁开状态还是闭眼状态。当所述卷 积曲线中的波峰和波谷的振幅超过预定幅度时，所述状态确定单元可确定眼睛处于睁开状 态；当所述卷积曲线中的波峰和波谷的振幅低于所述预定幅度时，所述状态确定单元可确 定眼睛处于闭眼状态。
[0022] 根据本发明的另一个方面，提供了一种眼睛开闭状态检测方法，包括：从目标图像 中检测包含眼睛的眼部区域；对检测到的眼部区域进行分割，以提取眼睛图像；基于眼睛 图像中的灰度变化来确定眼睛是处于睁开状态还是闭眼状态。
[0023] 所述眼部区域可以是包含眼睛的矩形区域。
[0024] 检测眼部区域的步骤还可包括：当确定所述矩形眼部区域中的眼睛相对于所述矩 形眼部区域处于非水平状态时，基于眼睛倾斜的角度旋转目标图像，并从旋转后的目标图 像再次检测包含眼睛的眼部区域。
[0025] 检测眼部区域的步骤还可包括：当确定所述矩形眼部区域中的眼睛相对于所述矩 形眼部区域处于非水平状态时，对所述矩形眼部区域进行校正，使得经过校正的矩形眼部 区域中的眼睛相对于所述矩形眼部区域处于水平状态。
[0026] 检测眼部区域的步骤可使用机器学习算法来从目标图像中检测眼部区域。
[0027] 提取眼睛图像的步骤可通过使用高斯肤色模型来确定眼部区域中的每个像素点 是否属于皮肤区域，并将眼部区域中皮肤区域以外区域的图像提取为眼睛图像。
[0028] 可从所述眼部区域的四个角点位置中的至少一个位置选择预定大小的区域作为 高斯肤色模型的皮肤样本来训练高斯肤色模型。
[0029] 可从所述眼部区域的上部或下部选择预定大小的区域作为高斯肤色模型的皮肤 样本来训练高斯肤色模型。
[0030] 确定眼睛是处于睁开状态还是闭眼状态的步骤可包括：通过检测眼睛图像中的所 有像素的灰度值的分布来确定眼睛是处于睁开状态还是闭眼状态。
[0031] 确定眼睛是处于睁开状态还是闭眼状态的步骤可包括：计算眼睛图像的所有像素 的灰度值的均方差，当计算的均方差大于或等于预设阈值时，确定眼睛处于睁开状态，当计 算的均方差小于所述预设阈值时，确定眼睛处于闭眼状态。
[0032] 确定眼睛是处于睁开状态还是闭眼状态的步骤可包括：对眼睛图像进行水平轴投 影，计算眼睛图像中沿与眼睛垂直的方向上的每列像素的列平均灰度以形成列平均灰度曲 线，并基于形成的列平均灰度曲线的变化程度确定眼睛是处于睁开状态还是闭眼状态。
[0033] 当所述列平均灰度曲线的变化程度超过预定阈值时，可确定眼睛处于睁开状态， 当所述列平均灰度曲线的变化程度低于所述预定阈值时，可确定眼睛处于闭眼状态。
[0034] 确定眼睛状态的步骤还可将列平均灰度曲线的平均灰度行向量与边缘检测模板 函数进行卷积，并基于卷积获得的曲线确定眼睛是处于睁开状态还是闭眼状态。当所述卷 积曲线中的波峰和波谷的振幅超过预定幅度时，可确定眼睛处于睁开状态；当所述卷积曲 线中的波峰和波谷的振幅低于所述预定幅度时，可确定眼睛处于闭眼状态。
[0035] 有益效果
[0036] 基于本发明的眼睛开闭状态检测装置和方法，不需要人工选定睁眼模板来确定眼 睛的开闭状态，也避免了现有技术中确定眼睛开闭状态时眼皮分割的困难，因此能够准确 且快速地确定眼睛开闭状态，尤其适合于单帧图像检测
【附图说明】
[0037] 通过下面结合附图对示例性实施例进行的详细描述，本发明的上述和其他目的和 特点将会变得更加清楚，其中：
[0038] 图1是示出根据本发明的示例性实施例的眼睛开闭状态检测装置的配置的框图；
[0039] 图2是示出根据本发明的示例性实施例的眼睛分割单元提取眼睛图像的构思的 不意图；
[0040] 图3是示出根据本发明的示例性实施例的眼部区域调整单元的调整眼部区域的 不意图；
[0041] 图4是示出根据本发明的示例性实施例的状态确定单元确定眼睛开闭状态的示 意性示图；
[0042] 图5是示出使用根据本发明的实施例的检测眼睛开/闭状态的仿真结果图。
[0043] 图6是示出根据本发明的另一示例性实施例的状态确定单元确定眼睛开/闭状态 的示意性示图。
[0044] 图7是示出根