睑检测装置及其程序的制作方法

专利名称：睑检测装置及其程序的制作方法
技术领域：
本发明涉及一种睑检测装置及其程序。
技术背景已知从包含人的面部的图像中检测人的面部和眼睛的位置的技术。例 如，在专利文献l中提出了一种面部检测装置，其将输入图像分割成小的 区域，根据各小区域的亮度特征检测出眼睛的候选区域和眼睛之间的候选 区域，根据眼睛的候选区域和眼睛之间的候选区域的位置关系确定眼睛之 间的区域，从而按照包含眼睛之间的区域的方式确定眼睛和面部的区域。但是，在专利文献l的面部检测装置中，由于从广大的区域中检测眼 睛之间的局部区域，因此图像处理负担大。还有，由于根据上下左右相邻 小区域的浓度直方图和边缘信息来判断有无眼镜，也考虑会受到眼镜的边 框设计形状的影响，基于在这种条件下检测出的眼睛之间的区域，来确定 左右眼睛的位置，因此不能否定出现误检结果的可能性。还有，在专利文献2中，公开了一种检测正在驾驶车辆等移动体的驾 驶员的眼睛的开闭状态的开闭状态检测装置。专利文献2所公开的开闭状 态检测装置拍摄对象者的面部图像且检测所获得的面部图像中的上睑(的 图像)。接着，所检测的上睑由多次曲线进行逼近(approximation),并计 算出逼近的多次曲线的曲率且将所计算出的曲率作为上睑的曲率，从而基 于曲率的大小来判断眼睛的开闭。上述开闭检测技术中，在对面部图像中的上睑进行检测时，有可能由 于外部乱光进入的影响或眼镜等而造成上睑的误检测。还有，在检测上睑 时，要进行多次曲线逼近并计算所逼近的多次曲线的曲率，因此需要进行 庞大量的运算处理。专利文献l:日本特开2001-216515号公报 专利文献1:日本特开2004-220080号公报本发明是鉴于上述问题而作成的，其目的在于提供能够高精度且高速 地判断睑(眼睛)的位置的睑检测装置。还有，本发明的其他目的在于提供能够正确检测睑的睑检测装置。另 外，本发明的其他目的在于提供能够利用少的运算来检测睑的睑检测装 置。发明内容为实现上述目的，与本发明的第l观点有关的睑检测装置，其特征在于，具有存储在不同时刻获得的对象者的面部的多个图像的面部图像存储单元；对存储在上述面部图像存储单元的多个图像进行处理且检测由眨眼 引起的图像的变化的变化检测单元；和基于上述变化检测单元所检测到的变化来检测对象者的睑的位置的 睑检测单元。也可以进一步具备例如，对存储在上述面部图像存储单元中的图像进行处理且提取相当于图像区域的边界的边缘线的边缘线提取单元；和从上述边缘线提取单元提取的边缘线中提取由与上睑对应的边缘线 和与下睑对应的边缘线的候选组合构成的边缘线对的候选睑提取单元，上述睑检测单元还可以具有将上述候选睑提取单元所提取的边缘线 中的、构成对的候选上睑的边缘线的代表点沿规定方向移动之对判断为与 上述对象者的上睑和下睑相对应的边缘线对的睑判断单元。例如，也可以进一步具备检测被包含于上述面部图像存储单元所存 储的图像中的上述对象者的面部轮廓的中心线的中心线检测单元，上述候选睑检测单元从上述边缘线提取单元所提取的边缘线对中的、 以上述检测单元检测的中心线为轴呈线对称的边缘线对所存在的边缘线 之对内、提取与上述对象者的上睑对应的边缘线和与下睑对应的边缘线的候选组合的边缘线对。其特征还可以为，例如，上述变化检测单元还具有对于上述候选睑 提取单元所提取的复数对的边缘线，计算表示与上睑对应的边缘线的代表 点和与下睑对应的边缘线的代表点之间的距离发生变化的状态的参数的 参数计算单元；和基于上述参数计算单元所计算的参数来计算用于表示上述边缘线是 上述对象者的睑的准确度的可靠度(可靠性)的可靠度计算单元，上述睑判断单元，在上述候选睑提取单元所提取的边缘线之对内，检 测上述可靠度计算单元所计算的可靠度满足规定值的边缘线之对，并判断 为上述对象者的睑。其特征还可以为，例如，上述参数为上述距离变化的振幅和/或周期。其特征还可以为，例如，具有检测被包含于上述面部图像存储单元 所存储的图像中的上述对象者的面部轮廓的中心线的中心线检测单元，上述变化检测单元具有计算表示与上述候选睑提取单元所提取的上睑对应的边缘线的代表 点和与下睑对应的边缘线的代表点之间的距离发生变化的状态的参数的 参数计算单元；和基于上述参数计算单元所计算的参数来计算边缘线用于表示边缘线 之对是与上述对象者的上睑和下睑相对应的边缘线对的准确度的可靠度 的可靠度计算单元，上述睑判断单元，从上述候选睑提取单元所提取的边缘线之对内、以 上述检测单元检测的中心线为轴呈线对称的边缘线之对所存在的边缘线 之对中，检测出上述可靠度计算单元所计算的可靠度满足规定值的边缘线 对，并判断为上述对象者的上睑和下睑的边缘线对。还可以在对面部图像的浓度(梯度)或尺寸(纵橫)、颜色等进行归 一化(正规化)后再进行处理。例如，上述变化检测单元还可以进一步具有从存储在上述面部图像 存储单元中的多个图像中检测面部区域的面部区域检测单元；对上述面部区域检测单元检测的面部区域按照规定的尺寸进行归一化处理而生成面部区域图像的归一化单元；存储有上述归一化单元生成的多个面部区域图像的归一化图像存储单元；求出存储在上述归一化图像存储单元中的、最新的面部区域图像与其 它多个面部区域图像之间的差分，生成多个差分图像的差分图像生成单 元；禾口从上述差分图像生成单元生成的多个差分图像中，将具有规定的阈值 以上的浓度值的区域检测为动区域的动区域检测单元， 上述睑检测单元还具有从上述多个差分图像中选择上述动区域检测单元检测的最大的一个 动区域的差分图像选择单元；和从上述差分图像选择单元选择的差分图像的动区域中确定眼睛区域 的眼睛区域确定单元。例如，上述眼睛区域确定单元也可以基于眼睛的左右对称性来确定眼 睛区域。例如，上述归一化图像存储单元也可以存储与人的闭眼所花费时间相 对应的时间、各面部区域图像。与本发明的第2观点有关的睑检测装置，其特征在于，具有存储对象者的面部图像的面部图像存储单元；从存储在上述面部图像存储单元的图像的规定区域基于图像的灰度 提取边缘线的边缘线提取单元；从上述边缘线提取单元提取的边缘线中提取由对象者的上睑的边缘 线和下睑的边缘线的候选组合构成的边缘线对的候选睑提取单元；检测被包含于上述面部图像存储单元所存储中的图像中的面部轮廓 的中心线的中心线检测单元；和在上述候选睑提取单元所提取的边缘线对内检测以上述检测单元检 测的中心线为轴呈线对称的边缘线所存在的边缘线之对，从其中判断相当 于与上述对象者的上睑和下睑对应的边缘线的睑判断单元。与本发明的第3观点有关的程序，其特征在于，使计算机具有如下单元的功能；存储在不同时刻获得的对象者的多个面部图像的面部图像存储单元；对存储在上述面部图像存储单元中的图像进行处理、提取相当于图像 区域的边界的边缘线的边缘线提取单元；从上述边缘线提取单元提取的边缘线中、提取由与上睑对应的边缘线 和与下睑对应的边缘线的候选组合构成的边缘线对的候选睑提取单元；和将上述候选睑提取单元所提取的边缘线中的、构成对的候选上睑的边 缘线的代表点沿规定方向移动之对判断为与上述对象者的上睑和下睑相 对应的边缘线对的睑判断单元。与本发明的第4观点有关的程序，其特征在于，使计算机具有如下单元的功能； 存储对象者的面部图像的面部图像存储单元；从上述面部图像存储单元存储的图像的规定区域基于图像的灰度提 取边缘线的边缘线提取单元；从上述边缘线提取单元提取的边缘线中提取由对象者的上睑的边缘 线和下睑的边缘线的候选组合构成的边缘线对的候选睑提取单元；检测被包含于上述面部图像存储单元所存储的图像中的面部轮廓的 中心线的中心线检测单元；和在上述候选睑提取单元所提取的边缘线之对内检测出以上述检测单 元检测的中心线为轴呈线对称的边缘线所存在的边缘线之对，从其中判断 相当于与上述对象者的上睑和下睑对应的边缘线的睑判断单元。与本发明的第5观点有关的程序，其特征在于，使计算机具有如下单元的功能存储包含对象者的面部的图像的图像存储单元；从存储在上述图像存储单元的多个图像中检测出面部区域的面部区 域检测单元、对上述面部区域检测单元检测的面部区域按照规定的尺寸进行归一 化处理而生成面部区域图像的归一化单元；存储有上述归一化单元生成的多个面部区域图像的面部图像存储单元；求出在上述面部图像存储单元中存储的、最新的面部区域图像与其它 多个面部区域图像之间的差分而生成多个差分图像的差分图像生成单元；从上述差分图像生成单元生成的多个差分图像中将具有浓度值为规 定的阈值以上的区域检测为动区域的的动区域检测单元；从上述多个差分图像中选择上述动区域检测单元检测的最大的一个 动区域的差分图像选择单元；和从上述差分图像选择单元选择的差分图像的动区域中确定眼睛区域 的眼睛区域确定单元。利用本发明，可以提供一种能够用少的运算来正确检测睑的睑检测装 置和程序。


图1是表示本发明的第1实施形态有关的睑检测装置的框图。图2是表示图1所示的计算机的结构的框图。 图3是说明存放在ROM或RAM中的各种数据的图。 图4是说明本发明的第1实施形态有关的处理的概要的图。 图5是说明第1实施形态的睑检测处理的流程图。 图6是表示本发明的第2实施形态有关的睑检测装置的累积处理的动 作的流程图。图7是表示图6所示的面部区域检测处理的动作的流程图。 图8是表示本发明的第2实施形态有关的睑检测装置的眼睛区域检测 处理的动作的流程图。图9是表示图8所示的差分图像生成处理的动作的流程图。图IO是表示图8所示的动区域检测处理的动作的流程图。图11是表示图8所示的差分图像生成处理的动作的流程图。图12是表示图8所示的眼睛区域确定处理的动作的流程图。图13是表示面部图像检测的具体例的图。图14是表示差分图像生成的具体例的图。图15是表示眼睛区域检测的具体例的图。图16是说明本发明的第3实施形态有关的处理的概要的图。图17是说明第3实施形态的睑检测处理的流程图。图18是说明本发明的第4实施形态有关的处理的概要的图。图19是说明本发明的第4实施形态有关的处理的概要的图。图20是说明第4实施形态的睑检测处理的流程图。 图中IO—摄像机，12—照明光源，14一计算机，16—显示装置，21 一A/D变换器，22—图像存储器(面部图像存储单元)，23—ROM， 24— CPU(边缘线提取单元、候选睑提取单元、睑判断单元、中心线检测单元)， 25—RAM， 26—显示控制装置，28—设定存储器，29—操作装置，50—睑 检测装置实施方式(第1实施形态)以下，说明与本发明的第1实施形态有关的睑检测装置。睑检测装置 50从驾驶员的几个面部图像中检测出由眨眼引起的变化，并根据该变化所 在部分来检测睑的位置。尤其，第1实施形态有关的睑检测装置50，基于 图像的灰度提取边缘线从而提取候选睑，并且从该候选中将边缘线的代表 点(该实施形态中为重心)沿规定方向移动之对判断为睑。如图1所示，本实施形态的睑检测装置50具有拍摄驾驶员的面部并 生成面部图像的摄像机10、对驾驶员的面部进行照明的照明光源12、检 测驾驶员的面部中心位置的计算机14、和与计算机IO连接的显示装置16 而构成。摄像机10利用例如CCD摄像机等，按照一定周期(例如，1/30秒) 获得驾驶员的面部的灰度图像并进行输出。从摄像机10依次输出的面部 图像不仅包括驾驶员的面部(的图像)，还包括其背景(的图像)等。显示装置16由LCD (Liquid Crytal Display)或CRT (Cathode Ray Tube)等构成，显示从摄像机10拍摄的面部图像所生成的2值化图像等。 另外，显示装置16不是必须设备，也可以不装备。计算机14对由摄像机10获取的面部动画像进行处理来检测其睑的位 置。如图2所示，计算机14由A/D变换器21、图像存储器22、 ROM (Read Only Memory) 23 、 CPU (Central Processing Unit) 24、 RAM (Random Access Memory) 25、显示控制装置26、光源控制装置27、设定存储器28、和操 作装置29构成。A/D (模拟/数字)变换器21将由摄像机IO所拍摄的模拟图像信号转 换为数字信号。图像存储器22中存放由摄像机10生成并由A/D变换器进行数字化后 的图像数据。ROM23存储用于控制CPU的动作的程序。还有，ROM23存储用于 进行后述的图像处理的各种固定数据。CPU24对计算机14整体进行控制。还有，CPU24通过运行存放在 ROM23中的程序，对由摄像机10获得的一系列面部图像进行处理，由此 检测出睑。RAM25起着CPU24的工作区域的作用。显示控制装置26在CPU的控制的基础上，将影像数据等变换为显示 装置16能够输出的数据形式，并输出到显示装置16。光源控制装置27对照明光源12的点灯 灭灯进行控制。设定存储器28中存放与CPU24处理面部动画像而检测出睑的处理设 定有关的信息(以下，称为设定信息)。操作装置29接收来自用户的操作信息，将操作所对应的操作信号输 出至廿CPU24。接着，参照图3对存放在ROM23中的固定数据的例子进行说明。首 先，ROM23中存放如图3 (a)所示那样的横边缘检测用索贝尔(Sobel) 滤波器的算子(operator)。横边缘检测用索贝尔滤波算子是用于强调如图 3 (b)所示的横方向的浓淡差的算子。设定存储器28预先存放如图3 (c)所示那样的表示在RAM25存放 的面部图像中被假定为眼睛和眉毛存在的区域的设定信息。例如，在图3 (c)中，假定为眼睛和眉毛存在的区域被设定在"yl《y《y2"的范围。 下面，将被假定为眼睛和眉毛存在的区域称为设定区域。下面，说明具有上述结构的第1实施形态有关的睑检测装置50的动作。首先，参照图4，说明睑检测装置50检测面部图像中的睑的动作的概要。摄像机10按照一定周期(例如，1/30秒周期)拍摄如图3 (c)所示的对象者的面部图像，并输出面部图像。所输出的面部图像依次存放在图 像存储器22中。接着，CPU24依次读出存放在图像存储器22中的面部图像，进行如 下处理。首先，CPU24获取存放在设定存储器28中的设定信息所表示的设定 区域，在描绘的面部动画像的各自的图像的设定区域中，利用图3 (a)所 示的横边缘检测用索贝尔滤波器，进行提取图像内的横边缘线的处理。其 结果，如图4 (a)所示，将y轴方向上从亮像素转变为暗像素的边缘线表 示为负边缘，将y轴方向上从光度暗的像素转变为亮像素的边缘线表示为 正边缘。另外，在图上，由虚线表示负边缘，由实线表示正边缘。接着，CPU24从所求出的负边缘和正边缘中，提取满足下面3个公式 的负边缘和正边缘的组合。Lp — Lm<Lth… (1)这里，Lp为表示正边缘的长度的值，Lm为表示负边缘的长度的值， Lth为阈值。满足公式(1)的负边缘和正边缘的长度在Lth的范围近似。 Cxp — Cxm<Cxth… (2)这里，Cxp为表示正边缘的重心(代表点)的x座标，Cxm为表示 负边缘的重心(代表点)的x座标，Cxth为阈值。满足公式(2)的负边 缘和正边缘的重心的x座标在Cxth的范围近似。Dg < Dth… (3)这里，Dg为负边缘的重心与正边缘的重心之间的距离，Dth为阈值。 满足公式(3)的负边缘和正边缘的重心之间距离在阈值Dth以内。CPU24利用上述3个公式，在所提取的负边缘和正边缘的组合内，将 负边缘作为候选上睑，将正边缘作为候选下睑。艮口，满足公式(1) (3)的负边缘和正边缘的组合为在某种程度上、 长度相等、位置相近、重心的x座标一致的负边缘和正边缘的组合。图4 (b)表示基于公式(1) (3)的负边缘和正边缘的组合的一个 例子。正边缘102与负边缘103的组合、正边缘105与负边缘106的组合、 正边缘107与负边缘108的组合、和正边缘109与负边缘110的组合都是 对象者的候选睑。CPU24对上述候选睑内不同时刻所获得的多个面部图像进行分析，将 如图4 (c)所示那样正边缘的重心沿y轴方向和反方向移动而与其相对负 边缘的重心不移动的组合，判断为睑。这里，边缘线的代表点设为重心， 但代表点也可以不是重心。例如，代表点也可以设为"对边缘强度进行加 权计算后的点"、"边缘强度的极大点"、"边缘强度的极小点"、"图像上 下方向的边缘线的顶点"、"图像上下方向的边缘线的下端点"等。这里，参照图5，详细说明本发明的第1实施形态有关的睑检测装置 50进行的睑检测处理。CPU24周期性地(例如，每隔1/30秒)开始图5的处理。CPU24经 由A/D变换器21获取摄像机10拍摄的对象者的面部图像，并存放在图像 存储器22中(步骤SIOI)。CPU24提取在图像存储器22中存放的面部图像的各图像中的、基于 存放在设定存储器28中的设定信息的设定区域的部分(步骤S102)。CPU24对面部动画像的各图像的设定区域的部分，利用存放在 ROM23中的横边缘检测用索贝尔滤波器，进行提取横边缘线的处理(步 骤S103)。CPU24从所提取的边缘线中，提取满足上述公式(1) (3)的负边 缘和正边缘的组合(步骤S104)。CPU24针对所提取的负边缘和正边缘的组合求出其重心。CPU24还 求出与针对过去的面部图像所求出的正边缘和负边缘之对有关的各边缘 的重心位置，并求出从一系列图像提取的各边缘线的重心的履历。这样， CPU24判断是否存在如图4 (c)所示那样重心沿y轴方向或其反方向移 动的正边缘与重心(几乎)不移动的负边缘之组合(步骤S105)。在不存在重心沿y轴方向或其反方向移动的正边缘与重心不移动的负 边缘之组合的情况下(步骤S105: NO), CPU24变更存放在设定存储器 28中的设定信息，变更或扩大设定区域(步骤S107)。然后，返回到步骤 S102的处理。在存在重心沿y轴方向或其反方向移动的正边缘与重心不移动的负边 缘之组合的情况下(步骤S105: YES)， CPU24将该负边缘和正边缘之组 合判断为对象者的睑(步骤S106)，然后结束处理。这样，本发明的第1实施形态有关的睑检测装置50能够用少的运算 正确检测出睑。即，能够检测出眼睛(的位置)。另外，基于这样确定的上睑和下睑的位置，在此之后，可用于确定驾 驶员的注视方向、或判断驾驶员是否处于清醒状态。例如，求出睑的位置 所对应的瞳孔的位置，进一步求出面部的朝向，由此可以判断驾驶员的视 线的朝向，并且利用所判断的视线的朝向进行车辆的各种控制。还有，在 上睑与下睑的距离小于基准的状态维持一定时间以上的情况下，可以判断 驾驶员正在打瞌睡，从而也可进行规定的控制。(第2实施形态)在第1实施形态中，睑检测装置50从所提取的负边缘和正边缘的组 合中，将其重心沿规定方向移动的组合判断为对象者的睑。在第2实施形态中，获取多个图像的差分，提取存在变化的部分。然 后，从存在变化的部分中检测出睑。即，通过检测驾驶员的眨眼动作，来 检测睑的位置(眼睛的区域)。接着，说明睑检测装置50检测面部图像中的眼睛的区域的动作。图6是表示CPU24运行的累积处理的动作的流程图。累计处理为 CPU24从摄像机10所拍摄的图像中将面部区域提取并进行归一化且累积 到图像存储器22的处理。CPU24按照规定的帧周期(例如，33毫秒)，进行累积处理。首先， CPU24控制摄像机10，拍摄图像(步骤S210)。接着，CPU24进行面部区域检测处理(步骤S220)。面部区域检测处 理为从摄像机10所拍摄的包含面部图像的原图像中检测出面部图像的区 域且提取该面部区域的处理。图7是表示面部区域检测处理(步骤S220)的动作的流程图。首先， CPU24获得摄像机IO拍摄的图像(步骤S221)。然后，CPU24对拍摄的 图像的亮度进行横方向的微分(步骤S222)，从所获得的图像中提取纵边 缘图像(步骤S223)。还有，为了明确所得到的纵边缘部分，将所得到的 纵边缘图像二值化(步骤S224)。接着，将二值化后的图像以纵方向的长 度加权后进行投影(步骤S225)，生成直方图(步骤S226)。具体来说， 通过利用边缘部分的纵方向的长度的2次方的值进行加权，可以对纵向长的边缘部分进行强调且进行投影。由此，确定纵向长的面部的纵边缘(步骤S227)。通过在纵方向循环进行同样处理，可以获得横边缘(步骤S221-S227)。利用步骤S221-S227的处理，获得纵边缘和横边缘，从而将由该两边 缘包围的部分提取为面部区域(步骤S228)。如上所述，利用面部区域检测处理可以检测并提取面部区域。另外， 从图像中检测面部区域的方法并不局限于该例所示的方法。例如，也可以 与第1实施形态一样利用索贝尔滤波器，将拍摄的图像累计并进行时间微 分(获得差分)且从该图像中获取直方图，从而提取面部区域。还有，也 可以将该方法与前述方法组合在一起。另外，也可以利用预先登录的样板 进行匹配，从而提取面部区域。接着，CPU24将面部区域图像归一化(步骤S230)。这里，将在面部 区域检测处理(步骤S220)提取的面部区域按照规定的尺寸进行归一化。 通过面部区域检测处理提取的面部区域，由于驾驶员的姿势等就会使其尺 寸和形状始终变化。在该处理中，由于进行各面部区域图像的帧间差分处 理，因此按照可共同处理的方式将图像尺寸进行归一化。具体来说，对由 面部区域检测处理(步骤S220)提取的面部图像进行线性归一化，以成为 纵IOO像素X横IOO像素的图像。还有，CPU24将用于归一化处理的参数 存储在RAM25中，以将从归一化处理后的图像中获得的眼睛区域变换为 原图像的座标值(步骤S230)。另外，也可以进行浓度的归一化。然后，CPU24将在步骤S230归一化处理后的面部图像存储在图像存 储器22中(步骤S240)。这里，由于只累积归一化后的面部区域图像，因 此可以节约图像存储器22的存储器空间。另外，为了进行帧间差分，需 要累积多个归一化处理后的面部区域图像。这里，基于统计调查的人闭眼 所需时间(50-150毫秒)，在150毫秒间(相当于4帧以上的时间)进行 累积。具体来说，在步骤S210，假定拍摄了如图13 (a)所示的包括驾驶员 的面部的图像(原图像)。在面部区域检测处理(步骤S220)，如图13 (b) 所示那样检测面部区域。然后，在步骤S230，如图13 (c)所示，面部图像被归一化。接着，说明眼睛区域检测处理。眼睛区域检测处理为从累积在图像存 储器22中的面部图像中检测出眼睛区域的处理。图8是说明眼睛区域检 测处理的动作的流程图。在眼睛区域检测处理中，首先，CPU24进行差分图像生成处理(步骤 S250)。差分图像生成处理是获取累积在图像存储器22中的最新图像与其 它的全图像之间的差分、生成差分图像的处理。其详细动作后面再叙述。然后，CPU24进行动区域检测处理(步骤S260)。动区域检测处理是 基于由差分图像生成处理(步骤S250)生成的差分图像、检测具有运动的 区域(动区域)的处理。其详细动作后面再叙述。接着，CPU24进行差分图像选择处理(步骤S270)。差分图像选择处 理是从差分图像生成处理(步骤S250)生成的、并在动区域检测处理(步 骤S260)检测出动区域的多个差分图像中，选择用于检测眼睛区域的差分 图像的处理。其详细动作后面再叙述。然后，CPU24进行眼睛区域确定处理(步骤S280)。眼睛区域确定处 理是从差分图像选择处理(步骤S270)所选择的差分图像的动区域中确定 眼睛区域的处理。其详细动作后面再叙述。接着，说明眼睛区域检测处理的各处理的详细动作。图9是表示差分 图像生成处理(步骤S250)的动作的流程图。在差分图像生成处理中，首 先，CPU24获得累积在图像存储器22中的多个面部图像(步骤S251)。 然后，从其中确定最新的图像(步骤S252)。接着，CPU24获取最新图像 与其它图像之间的差分，生成多个差分图像(步骤S253)。将该差分图像 保存到RAM25中(步骤S254)。具体来说，如图14所示，生成最新的归一化图像(a)与66毫秒前 的归一化图像(b)之间的差分图像(e)、最新的归一化图像与99毫秒前 的归一化图像(c)之间的差分图像(f)、最新的归一化图像与132毫秒前 的归一化图像(d)之间的差分图像(g)。另外，也可以利用统计等解析方法，获得与预先准备好的图像之间的 差分，从而生成差分图像。图IO是表示动区域检测处理(步骤S260)的动作的流程图。在动区 域检测处理中，首先，CPU24在差分图像生成处理(步骤S250),获取生成的差分图像(步骤S261)。然后，从所获取的差分图像中，提取浓度值为规定值以上的像素(例如，浓度值为50以上的像素)(步骤S262)。然 后，CPU24对在步骤S262提取的像素中的、附近的像素进行分组(步骤 S263)。这里，将附近3个像素之内的像素分在同一组。然后，将分组后 的区域作为动区域图像保存在RAM中(步骤S264)。通过对于所有的差 分图像循环进行这些处理，可以检测所有的差分图像的动区域。另外，也可以在该处理使用的条件中追加解像度、浓度梯度等。还有， 分组时，除了像素的位置信息外，也可以追加浓度信息。图11是表示差分图像选择处理(步骤S270)的动作的流程图。在差 分图像选择处理中，首先，CPU24获得由动区域检测处理(步骤S260) 检测出动区域的多个差分图像(动区域图像)(步骤S271)。然后，比较多 个差分图像的动区域的像素合计值(动区域面积)(步骤S272)。根据比较 结果，选择像素合计值最大的差分图像(步骤S273)，将其保存到RAM25 (步骤S274)。具体来说，从图14 (a) - (g)的差分图像中，选择动区域面积最大 的图14 (f)。如上所述，可以选择用于眼睛区域检测的差分图像。由于选择差分图 像中动区域最大的，因此可以选择驾驶员眨眼以前和以后的差分图像。图12是眼睛区域确定处理(步骤S280)的动作的流程图。在眼睛区 域确定处理中，利用眼睛区域的左右对称性来确定眼睛区域。在眼睛区域 确定处理中，首先，CPU24获得由差分图像生成处理(步骤S270)选择 的差分图像(步骤S281)。然后，在分组后的动区域中，搜索左右方向存 在的动区域(步骤S282)。然后，对于所检测的动区域，判断重心和面积 (像素数)是否在规定的阈值内(步骤S283)。如果不在规定的阈值内(步 骤S283: No)，则再次回到步骤S282的处理，搜索动区域。如果步骤S283 中为规定的阈值内(步骤S283: Yes)，则将该区域确定为眼睛区域(步骤 S284)，保存到RAM25 (步骤S285)。即，在步骤S282、 S283的处理中， 将重心和面积不符合为眼睛区域的区域(左右平衡不好、太小、左右对称 性不合适)排除出去。具体来说，从图15 (a)所示的图像中，排除没有对称性的部分，如图15 (b)所示确定眼睛区域。如上所述，可以确定眼睛区域。另外，在眼睛区域确定处理中，为了 更正确地评价左右对称性，也可以将浓度值的平均值高的区域、区域中具 有浓度差峰值的区域确定为眼睛区域。另外，也可以作为条件追加与从原 图像提取的边缘部分之间的位置关系。另外，基于归一化时采用的参数，将确定为眼睛区域的图像变换为原 图像的尺寸。所变换的图像用于确定驾驶员的注视方向、和判断驾驶员是 否清醒。例如，也可以从判断为眼睛区域的区域中检测出第1实施形态中所示 的边缘对，将该边缘对作为与上睑对应的边缘、与下睑对应的边缘进行处 理。此时，也可以检査与上睑对应的边缘的重心的移动，从而判断为真正 的上睑，也可以省略判断。还有，也可以利用任意方法，从判断为眼睛区域的区域中提取眼睛的 参数，用于其它控制中。如上说明，通过获取帧间差分，从图像中提取眼睛出现的眨眼动作。 然后，利用眼睛具有的图像特征对眼睛进行检测，从而能够防止错误地检 测面部图像内存在的眉毛、胡须、眼镜框架等。还有，由于只要利用图像 特征的眼镜区域的检测在面部图像这样限定的区域内进行即可，因此能够 使处理速度高速化。这样，能够高速且高精度地检测眼睛的位置。另外，归一化的对象可以不限制于面部尺寸，也可以对图像的浓度(灰 度)、颜色等进行归一化处理。例如，对浓度进行归一化处理时，为了使 处理对象的各图像的平均亮度相同，可以求出各图像的平均亮度，将该平 均亮度与基准亮度之比值"基准亮度/平均亮度"乘以各图像内的全像素， 来对各像素进行修正后，进行处理。另外，基准亮度为多个图像的共同的基准值。(第3实施形态)在第1实施形态中，睑检测装置50从所提取的负边缘和正边缘的组 合中，将其重心沿规定方向移动的组合判断为对象者的睑。在第3实施形 态中，还检测出对象者的面部轮廓的中心线，将负边缘和正边缘的组合、 并相对于中心线为线对称的其它的负边缘和正边缘的组合判断为对象者的睑。另外，第3实施形态的结构与第1实施形态相同。接着，参照图16 (a)、 (b)，说明睑检测装置50检测面部动画像中的睑的动作的概要。首先，睑检测装置50进行与第1实施形态相同的处理，从图16 (a) 的面部图像中，求出面部轮廓的中心线200。接着，从图16 (a)所示图像中，提取y座标在yl-y2范围内的设定 领域。接着，对所提取的图像进行索贝尔滤波处理，如图16 (b)所示，提 取图16 (b)所示那样的负边缘和正边缘的组合。这里，正边缘301和负 边缘302的组合作为候选1，正边缘305和负边缘306的组合作为候选2， 正边缘303和负边缘304的组合作为候选3，正边缘307和负边缘308的 组合作为候选4，正边缘309和负边缘310的组合作为候选5。接着，睑检测装置50将面部的中心线200作为基准，从候选中排除 不存在相对于中心线200为线对称的边缘线之对(边缘线对)的那些候选。 由此，排除了由正边缘309和负边缘310的组合构成的候选5。接着，从 剩下的候选区域中，将相当于上睑的边缘线的重心发生移动的组合、即候 选3和4判断为睑的边缘线对。参照图17，详细说明与本发明的第3实施形态有关的睑检测装置50 进行的睑检测处理。CPU24周期性地开始图17的处理。首先，经由A/D变换器21获取 摄像机10拍摄的对象者的面部动画像，并存放在图像存储器22中(步骤 S301)。CPU24检测出本次获取的面部图像中的各图像的面部轮廓的中心线 (步骤S302)。CPU24提取在图像存储器22中存放的面部图像的各图像中的、基于 存放在设定存储器28中的设定信息的设定区域的部分(步骤S303)。CPU24对面部图像的设定区域的部分，利用存放在ROM23中的横边 缘检测用索贝尔滤波器，进行提取横边缘线的处理(步骤S304)。CPU24从所求出的边缘线中，提取满足第1实施形态中使用的公式 (1) (3)的负边缘和正边缘的组合(步骤S305)。CPU24从步骤S305所提取的负边缘和正边缘的组合中，排除不相对 于中心线为线对称之对的那些组合(步骤S306)。CPU24在剩下的负边缘和正边缘的组合中，判断是否存在中心线方向 上重心移动的正边缘和重心不移动的负边缘的组合(步骤S307)。当不存在中心线方向上重心移动的正边缘和重心不移动的负边缘的 组合(步骤S307: NO)的情况下，CPU24变更存放在设定存储器28中 的设定信息，变更或扩大设定区域(步骤S310)。然后，返回步骤S303 的处理。在存在中心线方向上重心移动的正边缘和重心(几乎)不移动的负边 缘的组合(步骤S307: YES)的情况下，CPU24提取该负边缘和正边缘 的组合(步骤S308)。CPU24将负边缘和正边缘的组合中的、中心线方向上重心移动、存在 相对于中心线为线对称之对的负边缘和正边缘的组合判断为对象者的睑 (步骤S309)。这样，与本发明的第3实施形态有关的睑检测装置50即使在设定区 域中包含有对象者的嘴巴等情况下，也能够用少的运算来正确检测出睑。另外，虽然与第1实施形态相对应而表示了检测睑的例子，但也可以 利用第2实施形态的图12的步骤S282-S284适用于确定眼睛区域的情况。 (第4实施形态)在第1实施形态中，睑检测装置50从所提取的负边缘和正边缘的组 合中，将其重心沿规定方向移动的组合判断为对象者的睑。在第4实施形 态中，进一步判别负边缘和正边缘的重心沿规定方向移动是否是由眨眼所 引起的，并将判别为由眨眼所引起的负边缘和正边缘的组合判断为对象者 的睑。另外，第4实施形态的结构与第1实施形态相同。接着，参照图18、 19，说明睑检测装置50检测面部动画像中的睑的 动作的概要。首先，睑检测装置50进行与第1实施形态相同的处理，提取图18所 示那样的负边缘和正边缘的组合。这里，正边缘301和负边缘302的组合 作为候选l，正边缘305和负边缘306的组合作为候选2，正边缘303和 负边缘304的组合作为候选3，正边缘307和负边缘308的组合作为候选4，正边缘309和负边缘310的组合作为候选5。然后，睑检测装置50针对候选1 5，检测负边缘的重心与正边缘的 重心之间的距离Dg相对于时间轴的变化。图19 (a) - (e)所示的图表示 候选1 5的相对于时间轴的负边缘与正边缘的重心间距离Dg的变化。例如，就候选1而言，如图19 (a)所示，距离Dg相对于时间轴基 本上没有变化。还有，如图19 (b)所示，候选2的距离Dg相对于时间 轴也基本上没有变化。例如，如图19 (c) (e)所示，候选3 5的距 离Dg相对于时间轴在图中具有极小值401-410。睑检测装置50从重心间距离Dg的极小点位置的周期、和/或极小点 和极大点的距离(即振幅)中，计算出表示候选是对象者的睑的可能性的 可靠度，将满足规定条件的可靠度的候选判断为对象者的睑。作为可靠度，可以采用例如振幅的差量(dispersion)与周期的差量之 和的倒数等。像眼睛眨眼那样，在相对的振幅固定、周期固定的情况下， 可靠度高。另一方面，对于其它运动情况，通常振幅和周期具有离散偏差， 由此，差量大而使可靠度降低。这里，参照图20，详细说明与第4实施形态有关的睑检测装置50的 CPU24进行的睑检测处理。CPU24周期性地开始图20的处理，经由A/D变换器21获取摄像机 IO拍摄的对象者的面部图像，并存放在图像存储器22中(步骤S401)。CPU24提取在存储器22中存放的面部图像的各图像中的、基于存放 在设定存储器28中的设定信息的设定区域的部分(步骤S402)。CPU24对面部图像的设定区域的部分，利用存放在ROM23中的横边 缘检测用索贝尔滤波器，进行提取横边缘线的处理(步骤S403)。CPU24从所求出的边缘线中，提取满足第1实施形态中使用的公式 (1) (3)的负边缘和正边缘的组合(步骤S404)。CPU24针对所提取的负边缘和正边缘的组合求出其重心。CPU24还 求出与针对过去的面部图像所求出的正边缘和负边缘之对有关的各边缘 的重心位置，并求出从一系列图像提取的各边缘线的重心的履历。这样， CPU24判断是否存在重心沿y轴方向或其反方向移动的正边缘与重心(几 乎)不移动的负边缘之组合(步骤S405)。在不存在重心沿y轴方向或其反方向移动的正边缘与重心不移动的负 边缘的组合的情况下(步骤S405: NO)， CPU24变更存放在设定存储器 28中的设定信息，变更或扩大设定区域(步骤S410)。然后，返回步骤 S402的处理。在存在重心沿y轴方向或其反方向移动的正边缘与重心不移动的负边 缘之组合的情况下(步骤S405: YES)， CPU24提取该负边缘和正边缘的 组合(步骤S406)。如上例所示，CPU24计算出在步骤S406提取的负边缘和正边缘的组 合的可靠度(步骤S407)。CPU24判断是否存在可靠度为规定值以上的负边缘和正边缘的组合 (步骤S408)。在判断不存在可靠度为规定值以上的负边缘和正边缘的组合的情况 下(步骤S408: NO)， CPU24变更存放在设定存储器28中的设定信息， 变更或扩大设定区域(步骤S410)。然后，返回步骤S402的处理。在判断存在可靠度为规定值以上的负边缘和正边缘的组合的情况下 (步骤S408: YES)， CPU24将可靠度为规定值以上的负边缘和正边缘的 组合判断为对象者的睑(步骤S409)，然后结束处理。这样，与本发明的第4实施形态有关的睑检测装置50与第3实施形 态一样，即使在设定区域中包含有对象者的嘴巴等情况下，也能够用少的 运算来正确检测出睑。例如，在图18、图19所示例中，将正边缘303和 负边缘304的组合的候选3、正边缘307和负边缘308的组合的候选4检 测为睑。另外，本发明并不局限于上述实施形态，可以进行各种变形和应用。 在第3实施形态中，睑检测装置50提取负边缘和正边缘的组合，从 相对于面部轮廓的中心线为线对称的负边缘和正边缘的组合中，将有运动 的组合之对判断为睑。在第4实施形态中，睑检测装置50提取有运动的 负边缘和正边缘的组合，并对负边缘的重心和正边缘的重心的运动进行评 价而计算出可靠度，将可靠度为规定值以上的负边缘和正边缘的组合判断 为睑。作为第2和第3实施形态的应用例，睑检测装置50也可以提取负 边缘和正边缘的组合，提取相对于面部轮廓的中心线为线对称的负边缘和正边缘的组合，并对负边缘的重心和正边缘的重心的运动进行评价来计算 可靠度，且将可靠度为规定值以上的负边缘和正边缘的组合判断为睑。还有，睑检测装置50也可以单纯地提取作为候选的上睑与下睑的组 合的边缘线，并将所提取的边缘线内相对于面部轮廓的中心线为线对称的 边缘线之对判断为对象者的左右睑。还有，在第l-4实施形态中，计算机14对于摄像机10所拍摄的对象 者的面部动画像进行睑检测处理，但也可以从摄像机10以外的外部装置 获得对象者的面部的动画像，并存放在图像存储器22中，然后对该动画 像进行睑检测处理。还有，也可以对多个面部的图像进行睑检测处理。
权利要求
1.一种睑检测装置，其特征在于，具备面部图像存储单元，存储在不同时刻获得的对象者的面部的多个图像；变化检测单元，对存储在上述面部图像存储单元的多个图像进行处理且检测由眨眼引起的图像的变化；和睑检测单元，基于上述变化检测单元所检测出的变化来检测对象者的睑的位置。
2. 根据权利要求1所述的睑检测装置，其特征在于，还具备 边缘线提取单元，对存储在上述面部图像存储单元中的图像进行处理且提取相当于图像区域的边界的边缘线；和候选睑提取单元，从上述边缘线提取单元提取的边缘线中提取上睑对 应的边缘线和下睑对应的边缘线的组合候选的边缘线之对，上述睑检测单元还具有睑判断单元，其将上述候选睑提取单元所提取的边缘线中的、构成对 的候选上睑的边缘线的代表点沿规定方向移动之对判断为与上述对象者 的上睑和下睑相对应的边缘线之对。
3. 根据权利要求2所述的睑检测装置，其特征在于，还具有 中心线检测单元，检测被包含于上述面部图像存储单元所存储的图像中的上述对象者的面部轮廓的中心线，上述候选睑检测单元，从上述边缘线提取单元所提取的边缘线之对中 的、以上述中心线检测单元检测的中心线为轴呈线对称的边缘线之对所存 在的边缘线之对内，提取与上述对象者的上睑对应的边缘线和与下睑对应 的边缘线的组合候选的边缘线之对。
4. 根据权利要求2所述的睑检测装置，其特征在于 上述变化检测单元还具有参数计算单元，对于上述候选睑提取单元所提取的复数对的边缘线， 计算表示与上睑对应的边缘线的代表点和与下睑对应的边缘线的代表点 之间的距离发生变化的状态的参数；和可靠度计算单元，基于上述参数计算单元所计算的参数来计算用于表 示上述边缘线是上述对象者的睑的准确度的可靠度，上述睑判断单元，在上述候选睑提取单元所提取的边缘线之对内，检 测出上述可靠度计算单元所计算的可靠度满足规定值的边缘线之对，并判 断为上述对象者的睑。
5. 根据权利要求4所述的睑检测装置，其特征在于 上述参数为上述距离变化的振幅和/或周期。
6. 根据权利要求2所述的睑检测装置，其特征在于，还具备.-检测单元，检测被包含于上述面部图像存储单元所存储的图像中的上 述对象者的面部轮廓的中心线，上述变化检测单元具有参数计算单元，计算表示与上述候选睑提取单元所提取的上睑对应的 边缘线的代表点和与下睑对应的边缘线的代表点之间的距离发生变化的 状态的参数；和可靠度计算单元，基于上述参数计算单元所计算的参数来计算用于表 示边缘线之对是与上述对象者的上睑和下睑相对应的边缘线之对的准确 度的可靠度，上述睑判断单元，从上述边缘线提取单元所提取的边缘线之对内、以 上述检测单元检测的中心线为轴呈线对称之对所存在的边缘线之对中，检 测出上述可靠度计算单元所计算的可靠度满足规定值的边缘线之对，并判 断为上述对象者的上睑和下睑的边缘线之对。
7. 根据权利要求2所述的睑检测装置，其特征在于，还具有归一化单元，对存储在上述面部图像存储单元中的多个面部图像的尺 寸和/或浓度进行归一化处理。
8. 根据权利要求1所述的睑检测装置，其特征在于，上述变化检测单元还具有面部区域检测单元，从存储在上述面部图像存储单元中的多个图像中 检测面部区域；归一化单元，对上述面部区域检测单元检测出的面部区域按照规定的尺寸进行归一化处理而生成面部区域图像；归一化图像存储单元，存储有上述归一化单元生成的多个面部区域图像；差分图像生成单元，求出存储在上述归一化图像存储单元中的、最新 的面部区域图像与其它多个面部区域图像之间的差分，生成多个差分图 像；禾口动区域检测单元，从上述差分图像生成单元生成的多个差分图像中， 将具有规定阈值以上的浓度值的区域检测为动区域， 上述睑检测单元还具有差分图像选择单元，从上述多个差分图像中选择上述动区域检测单元检测的最大的一个动区域；和眼睛区域确定单元，从上述差分图像选择单元选择的差分图像的动区 域中确定眼睛区域。
9. 根据权利要求8所述的睑检测装置，其特征在于， 上述眼睛区域确定单元基于动区域的左右对称性来确定眼睛区域。
10. 根据权利要求8所述的睑检测装置，其特征在于 上述归一化图像存储单元存储与人的闭眼所花费时间相对应的时间、各面部区域图像。
11. 一种睑检测装置，其特征在于，具备面部图像存储单元，存储对象者的面部图像；边缘线提取单元，从存储在上述面部图像存储单元的图像的规定区域 基于图像的灰度提取边缘线；候选睑提取单元，从上述边缘线提取单元提取的边缘线中提取对象者 的上睑的边缘线和下睑的边缘线的组合候选的边缘线之对；中心线检测单元，检测被包含于上述面部图像存储单元所存储的图像 中的面部轮廓的中心线；和睑判断单元，在上述候选睑提取单元所提取的边缘线之对内检测以上 述检测单元检测的中心线为轴呈线对称的边缘线所存在的边缘线之对，从 其中判断相当于与上述对象者的上睑和下睑对应的边缘线的边缘线之对。
12. —种程序，其特征在于， 使计算机具有如下单元的功能-存储在不同时刻获得的对象者的多个面部图像的面部图像存储单元； 对存储在上述面部图像存储单元中的图像进行处理、提取相当于图像区域的边界的边缘线的边缘线提取单元；从上述边缘线提取单元提取的边缘线中、提取由与上睑对应的边缘线和与下睑对应的边缘线的候选组合构成的边缘线之对的候选睑提取单元；禾口将上述候选睑提取单元所提取的边缘线中的、构成对的候选上睑的边 缘线的代表点沿规定方向移动之对判断为与上述对象者的上睑和下睑相 对应的边缘线之对的睑判断单元。
13. 根据权利要求12所述的程序，其特征在于， 上述边缘线提取单元基于灰度提取边缘线； 使计算机还具有如下单元的功能检测被包含于面部图像存储单元所存储的图像中的面部轮廓的中心线的中心线检测单元；和在上述候选睑提取单元所提取的边缘线之对内检测出以上述检测单元检测的中心线为轴呈线对称的边缘线所存在的边缘线之对，从其中判断 相当于与上述对象者的上睑和下睑对应的边缘线的睑判断单元。
14. 一种程序，其特征在于， 使计算机具有如下单元的功能 存储包含对象者的面部的图像的图像存储单元；从存储在上述图像存储单元的多个图像中检测出面部区域的面部区 域检测单元；对上述面部区域检测单元检测的面部区域按照规定的尺寸进行归一 化处理而生成面部区域图像的归一化单元；存储有上述归一化单元生成的多个面部区域图像的面部图像存储单元；求出在上述面部图像存储单元中储存的、最新的面部区域图像与其它 多个面部区域图像之间的差分而生成多个差分图像的差分图像生成单元；从上述差分图像生成单元生成的多个差分图像中将具有浓度值为规 定的阈值以上的的区域检测为动区域的的动区域检测单元；从上述多个差分图像中选择由上述动区域检测单元所检测出的最大 的一个动区域的差分图像选择单元；和从上述差分图像选择单元选择的差分图像的动区域中确定眼睛区域 的眼睛区域确定单元。
全文摘要
本发明提供一种能够用少的运算正确地检测出睑的睑检测装置。摄像机(10)拍摄对象者的面部，计算机(14)的CPU(24)获取该动画像，并存储到图像存储器(22)。CPU(24)从存放在图像存储器(22)中的动图象的规定区域中提取由对象者的候选上睑和下睑的候选组合构成的边缘线。CPU(24)将所提取的边缘线内候选上睑的重心沿上下方向移动而候选下睑的重心不移动的边缘线判断为对象者的睑。
文档编号G06K9/00GK101241548SQ20081000581
公开日2008年8月13日 申请日期2008年2月5日 优先权日2007年2月8日
发明者中西悟, 吉永敬彦, 大上健一, 小岛真一, 小川谦一, 平槙崇, 足立淳, 铃木智晴, 高桥健太郎, 鱼住重康 申请人:爱信精机株式会社;丰田自动车株式会社