专利名称：睁闭眼判定装置、睁眼度推定装置及程序的制作方法
技术领域：
本发明涉及应用于推定驾驶员的觉醒状态并根据需要发出警报的瞌睡警报装置 等中的睁闭眼判定装置、睁眼度推定装置及程序。
背景技术：
已提出了瞌睡检测装置，该瞌睡检测装置为了提高汽车等的安全性，检测出驾驶 员的瞌睡状态并发出警报。已公开的这样的装置例如有睁闭眼监测装置，该睁闭眼监测装 置根据拍摄驾驶员的脸部得到的图像数据来计算上下眼睑的位置，并基于其值来计算开度 及睁闭眼的阈值(例如，参照专利文献1)。具体地讲，根据开度的时间序列数据来计算开 度的极小值，并将这些值按大小排序得到的序列之间的差变为最大的点，作为睁眼候补组 和闭眼候补组的识别基准。然后，基于各组的标准偏差值来决定睁眼、闭眼的阈值，以此计 算判断睁闭眼。在极小值的变化幅度并不那么大的情况下，该睁闭眼监测装置能正常工作。 这是因为，在睁眼幅度的频度分布为如图7所示的接近双峰分布的分布的情况下，能够恰 当地设定睁闭眼的阈值。专利文献1 日本特开2004-41485号公报
发明内容
发明要解决的问题检测出图像识别装置所获取的眼后图像的边缘，并根据其上下端点来计算出睁眼 幅度。然而，如图8所示，在脸部的位置因驾驶员的姿势变化等而远离照相机的情况下，所 计算出的睁眼幅度变小。此外，在专利文献1的睁闭眼监测装置中，如图9所示，如果在通 常的情况下闭眼时的睁眼幅度变得与在脸部远离照相机的情况下睁眼时的睁眼幅度等同， 那么睁眼幅度的频度分布不会是双峰分布。这是因以睁眼幅度的绝对值为基准规定分布而 产生的现象，会导致作为基准的值(与脸部的距离)变化时无法正确工作的问题。本发明是为了解决上述问题而做出的，其目的在于，提供一种不受拍摄条件及与 脸部的距离的影响就能够高精度地判定睁闭眼的睁闭眼判定装置、睁眼度推定装置及程 序。用于解决问题的手段(1)为了达成上述目的，本发明的睁闭眼判定装置具有拍摄单元，其对包括被测 定者的眼睛的区域进行拍摄；睁眼幅度计测单元，其从所述拍摄单元拍摄得到的图像检测 出所述被测定者的上下眼睑，并计测出该上下眼睑的边缘之间的睁眼幅度；滤波单元，其对 所述睁眼幅度计测单元计测出的睁眼幅度实施滤波处理；睁闭眼判定单元，其在从所述滤 波单元所得到的睁眼幅度减去所述睁眼幅度计测单元计测出的睁眼幅度而得的差值大于 阈值的情况下，判定为闭眼，在所述差值为阈值以下的情况下，判定为睁眼。若采用上述(1)所述的发明，则在不受拍摄条件及被测定者的脸部移动(活动) 的影响的情况下，能够以高精度判定睁闭眼。
(2)在上述(1)的睁闭眼判定装置中，所述滤波单元是低通滤波器，用于使频率低 于眨眼频率的数据通过。若采用上述(2)所述的发明，则在排除掉因被测定者的眨眼所引起的睁眼幅度的 变化的情况下，基于因睡意等脸部的活动所引起的睁眼幅度的变化，能够以高精度判定睁 闭眼。(3)本发明的睁眼度推定装置具有上述(1)或(2)所述的睁闭眼判定装置；阈值 计算单元，其在所述睁闭眼判定单元判定为闭眼的情况下，基于所述睁眼幅度计测单元计 测出的睁眼幅度来计算出闭眼阈值，在所述睁闭眼判定单元判定为睁眼的情况下，基于所 述滤波单元所得到的睁眼幅度来计算出睁眼阈值；睁眼度推定单元，其基于所述闭眼阈值， 所述睁眼阈值，以及所述睁眼幅度计测单元计测出的睁眼幅度或所述滤波单元所得到的睁 眼幅度，计算出睁眼度推定值。若采用上述(3)所述的发明，则能够基于在不受拍摄条件及被测定者的脸部的移 动等的影响的情况下所判定的睁闭眼，来推定睁眼度。(4)在上述(3)所述的睁眼度推定装置中，所述睁眼度推定值是第一数值除以第 二数值得到的值，其中，所述第一数值是指，从所述睁眼幅度计测单元计测出的睁眼幅度或 者所述滤波单元所得到的睁眼幅度减去所述闭眼阈值而得的值，所述第二数值是指，从所 述睁眼阈值减去所述闭眼阈值而得的值。(5)在上述(4)所述的睁眼度推定装置中，所述闭眼阈值是基于第一特定睁眼幅 度计算出来的，其中，所述第一特定睁眼幅度是指，到求出所述睁眼度推定值的时刻为止所 累积的在判定为闭眼时的睁眼幅度；所述睁眼阈值是基于第二特定睁眼幅度计算出来的， 其中，所述第二特定睁眼幅度是指，到求出所述睁眼度推定值的时刻为止所累积的在判断 为睁眼时的睁眼幅度。(6)在上述(3)至上述(5)中任一项所述的睁眼度推定装置的特征在于，具有警报 单元，该警报单元基于所述睁眼度推定值对驾驶员发出警报。(7)本发明是一种程序，用于使计算机发挥睁眼幅度计测单元、滤波单元及睁闭眼 判定单元的功能，所述睁眼幅度计测单元从拍摄单元拍摄得到的图像检测出所述被测定者 的上下眼睑，并计测出该上下眼睑的边缘之间的睁眼幅度，其中，所述拍摄单元对包括被测 定者的眼睛的区域进行拍摄；所述滤波单元对所述睁眼幅度计测单元计测出的睁眼幅度实 施滤波处理；所述睁闭眼判定单元在从所述滤波单元所得到的睁眼幅度减去所述睁眼幅度 计测单元计测出的睁眼幅度而得的差值大于阈值的情况下判定为闭眼，在所述差值为阈值 以下的情况下判定为睁眼。发明效果如上所说明，若采用本发明，则能够得到如下效果在不受拍摄条件及与脸部的距 离的影响的情况下，能够以高精度判定睁闭眼，并且基于睁闭眼的判定结果来推定睁眼度。
图1是示出了本实施方式的瞌睡警报装置的主要结构的框图。图2是示出了睁眼幅度的计测值和滤波器的输出值的图。图3是示出了低通滤波器的特性的图。
图4是示出了本实施方式的瞌睡警报装置的动作流程的流程图。图5是示出了睁眼度推定处理流程的流程图。图6是示出了睁闭眼的判定方法的图。图7是示出了睁眼幅度的分布的图。图8是示出了脸部的位置和睁眼幅度的图。图9是示出了脸部的位置和睁眼幅度的随时间变化的图。
具体实施例方式下面，参照附图，详细说明本发明的实施方式。在本实施方式中，示出了将本发明 的睁闭眼判定装置及睁眼度推定装置利用与驾驶员的瞌睡警报装置中的情况。图1是示出了本实施方式的瞌睡警报装置的主要结构的框图。如该图所示，瞌睡 警报装置具有拍摄部11、睁眼幅度计测部12、滤波部13、睁闭眼判定部14、睁眼度推定部 15、瞌睡判定部16及警报部17。拍摄部11由CCD照相机等构成，并设置成能够从大致正面拍摄驾驶员。拍摄部11 拍摄驾驶员的至少包括眼睛的区域。睁眼幅度计测部12从拍摄部11拍摄得到的照相机图像检测出驾驶员的上下眼 睑，并基于两眼睑的边缘之间的像素数来计测驾驶员的睁眼幅度。滤波部13对睁眼幅度计测单元计测出的睁眼幅度的随时间变化趋势进行跟踪。 图2示出了滤波部13的输出例。以实线h示出的值是睁眼幅度计测部12的实测值，以虚 线f示出的值是滤波部13的输出值。在本实施方式中，滤波部13使用低通滤波器。如图3 所示，将低通滤波器的滤波特性设定为仅使频率比眨眼的频率25低的信号通过。由此，能 够防止将通常的眨眼判定为闭眼。睁闭眼判定部14基于滤波部13所得到的睁眼幅度和睁眼幅度计测部12计测出 的睁眼幅度之差，判定睁眼还是闭眼。此外，睁闭眼判定部14在内部包括睁眼缓存器及闭 眼缓存器(均未图示)。在睁眼缓存器中存储判定为睁眼时的睁眼幅度，而在闭眼缓存器中 存储判定为闭眼时的睁眼幅度。睁眼度推定部15在判定为闭眼的情况下，基于睁眼幅度计测部12计测出的睁眼 幅度来计算睁眼阈值，在判定为睁眼的情况下，基于滤波部13所得到的睁眼幅度来计算睁 眼阈值。然后，基于闭眼阈值，睁眼阈值，以及睁眼幅度计测部12计测出的睁眼幅度或滤波 部13所得到的睁眼幅度，计算睁眼度推定值。此外，睁眼度推定部14包括用于存储计算出 的睁眼度推定值的睁眼度缓存器(未图示)。瞌睡判定部16根据存储在睁眼度缓存器中的睁眼度，计算出单位时间内的睁眼 率，并对计算出的睁眼率和阈值进行比较来判定驾驶员是否处于瞌睡状态。在瞌睡判定部16判定为处于瞌睡状态的情况下，警报部17通过警报音、语音、向 显示装置(未图示)输出文字等方式来促使驾驶员注意。下面，根据图4所示的流程图，说明本实施方式的瞌睡警报装置的动作流程。首先，在步骤100及步骤110中，睁闭眼判定部14对睁眼缓存器及闭眼缓存器进 行初始化处理。这些缓存器都是FIFO (First In First Out :先进先出)型缓存器，在初始 化处理中，将睁眼时及闭眼时的睁眼幅度存储于缓存器中。
在步骤120中，睁眼幅度计测部12根据拍摄部11拍摄得到的照相机图像的图像 识别结果来计测驾驶员的睁眼幅度，并将计测出的睁眼幅度代入至变量h。在步骤130中，滤波部13在使计测出的睁眼幅度的时间序列数据通过低通滤波器 (LPF)来得到的值中，将在与变量h相对应的时刻的值代入至变量f。在步骤140中，睁眼度推定部15根据上述变量h和变量f来计算睁眼度的推定值 并代入至变量r。关于睁眼度推定值的计算方法，以后再叙述。在步骤150中，睁眼度推定部15将变量r存储到睁眼度缓存器中。睁眼度缓存器 是FIFO型缓存器，用于存储单位时间内的r。在步骤160中，睁眼度推定部15基于存储在睁眼度缓存器中的r的值来计算单位 时间内的睁眼率，并将该睁眼率代入至变量pc。因为在睁眼度缓存器中存储有单位时间内 的r，所以能够通过累加所存储的所有的值来求出单位时间内的睁眼率。在步骤170中，瞌睡判定部16对单位时间内的睁眼率pc和预先设定的阈值进行 比较。在pc为阈值以上的情况下，判定为未处于瞌睡状态并返回到步骤120，重复进行步 骤120以后的处理。另一方面，在pc比阈值小的情况下，判定为处于瞌睡状态并进入步骤 180。在步骤180中，警报部17通过警报音、语音等来促使驾驶员醒过来或休息。然后， 返回到步骤120，重复进行步骤120以后的处理。接着，根据图5所示流程图，对步骤140中的睁眼度推定值的计算方法进行说明。首先，在步骤200及步骤210中，睁闭眼判定部14每时刻都判定是睁眼状态还是 闭眼状态。图9示出了该睁闭眼判定方法。在步骤200中，睁闭眼判定部14将从滤波部13在需判定睁闭眼的时刻t的输出 值f减去睁眼幅度计测部12的计测值h而得出的值，代入至变量d。在步骤210中，睁闭眼判定部14对变量d和预先设定的阈值thr进行比较，在d 比thr大的情况下，判定为处于闭眼状态并进入步骤220。另一方面，在d为thr以下的情 况下，判定为处于睁眼状态并进入步骤M0。在判定为闭眼时的步骤220中，睁闭眼判定部14将h存储到闭眼缓存器中，并在 步骤230中，将睁眼幅度计测部12的计测值h代入至变量C。在判定为睁眼时的步骤MO中，睁闭眼判定部14将h存储到睁眼缓存器中，并在 步骤250中，将滤波部13的输出值f代入至变量C。在步骤沈0中，睁眼度推定部15求出睁眼缓存器内的值的平均值，并将该平均值 代入至睁眼阈值co，然后在步骤270中，睁眼度推定部15求出闭眼缓存器内的值的平均值， 并将该平均值代入至闭眼阈值cc。在本实施方式中，将存储在睁眼缓存器及闭眼缓存器中 的、到当前时刻为止的睁眼幅度的平均值，分别作为睁眼阈值及闭眼阈值，但也可以将在当 前时刻睁眼幅度计测部12计测出的睁眼幅度h作为睁眼阈值及闭眼阈值。在步骤280及步骤四0中，睁眼度推定部15将上述c与睁眼阈值co及闭眼阈值 CC进行比较。其结果，在c比co大的情况下，进入步骤300，将睁眼度推定值r设定为1.0。在 c比cc小的情况下，进入步骤310，将睁眼度推定值r设定为0.0。此外，在c是cc以上且 CO以下的情况下，进入步骤320，按照公式(1)，将C减去闭眼阈值CC的值，利用睁眼阈值Co和闭眼阈值之差来进行标准化(normalization)，并将所得到的值作为睁眼度推定值r。r = (c-cc)/(co-cc) (1)通过如上所述的方法来求出当前时刻的睁眼度推定值r，然后返回到图4的流程 中来进行步骤150以后的处理。如上所述，在本实施的方式中，在不受拍摄条件及与脸部的距離的影响的情况下， 能够以高精度判定睁闭眼。此外，基于单位时间内的睁眼率来判定驾驶员是否处于瞌睡状 态，在处于瞌睡状态的情况下，能够通过恰当的方式促使驾驶员注意。另外，本发明的范围并不仅限于上述实施方式，而也包括在不脱离本发明的宗旨 的范围内所进行的设计上的变更。另外，也可以提供存储有本发明的程序的⑶ROM等记录介质。附图标记的说明11拍摄部12睁眼幅度计测部13滤波部14睁闭眼判定部15睁眼度推定部16瞌睡判定部17警报部
权利要求
1.一种睁闭眼判定装置，其特征在于，具有 拍摄单元，其对包括被测定者的眼睛的区域进行拍摄；睁眼幅度计测单元，其从所述拍摄单元拍摄得到的图像检测出所述被测定者的上下眼 睑，并计测出该上下眼睑的边缘之间的睁眼幅度；滤波单元，其对所述睁眼幅度计测单元计测出的睁眼幅度实施滤波处理； 睁闭眼判定单元，其在从所述滤波单元所得到的睁眼幅度减去所述睁眼幅度计测单元 计测出的睁眼幅度而得的差值大于阈值的情况下，判定为闭眼，在所述差值为阈值以下的 情况下，判定为睁眼。
2.根据权利要求1记载的睁闭眼判定装置，其特征在于，所述滤波单元是低通滤波器， 用于使频率低于眨眼频率的数据通过。
3.—种睁眼度推定装置，其特征在于，具有权利要求1或权利要求2记载的睁闭眼判定装置；阈值计算单元，其在所述睁闭眼判定单元判定为闭眼的情况下，基于所述睁眼幅度计 测单元计测出的睁眼幅度来计算出闭眼阈值，在所述睁闭眼判定单元判定为睁眼的情况 下，基于所述滤波单元所得到的睁眼幅度来计算出睁眼阈值；睁眼度推定单元，其基于所述闭眼阈值，所述睁眼阈值，以及所述睁眼幅度计测单元计 测出的睁眼幅度或所述滤波单元所得到的睁眼幅度，计算出睁眼度推定值。
4.根据权利要求3记载的睁眼度推定装置，其特征在于，所述睁眼度推定值是第一数 值除以第二数值得到的值，其中，所述第一数值是指，从所述睁眼幅度计测单元计测出的睁 眼幅度或者所述滤波单元所得到的睁眼幅度减去所述闭眼阈值而得的值，所述第二数值是 指，从所述睁眼阈值减去所述闭眼阈值而得的值。
5.根据权利要求4记载的睁眼度推定装置，其特征在于，所述闭眼阈值是基于第一特定睁眼幅度计算出来的，其中，所述第一特定睁眼幅度是 指，到求出所述睁眼度推定值的时刻为止所累积的在判定为闭眼时的睁眼幅度；所述睁眼阈值是基于第二特定睁眼幅度计算出来的，其中，所述第二特定睁眼幅度是 指，到求出所述睁眼度推定值的时刻为止所累积的在判断为睁眼时的睁眼幅度。
6.根据权利要求3至5中任一项记载的睁眼度推定装置，其特征在于，还具有警报单 元，该警报单元基于所述睁眼度推定值对驾驶员发出警报。
7.一种程序，其特征在于，用于使计算机发挥睁眼幅度计测单元、滤波单元及睁闭眼判定单元的功能， 所述睁眼幅度计测单元从拍摄单元拍摄得到的图像检测出所述被测定者的上下眼睑， 并计测出该上下眼睑的边缘之间的睁眼幅度，其中，所述拍摄单元对包括被测定者的眼睛 的区域进行拍摄；所述滤波单元对所述睁眼幅度计测单元计测出的睁眼幅度实施滤波处理； 所述睁闭眼判定单元在从所述滤波单元所得到的睁眼幅度减去所述睁眼幅度计测单 元计测出的睁眼幅度而得的差值大于阈值的情况下判定为闭眼，在所述差值为阈值以下的 情况下判定为睁眼。
全文摘要
睁闭眼判定装置具有拍摄部11，其对包括被测定者的眼睛的区域进行拍摄；睁眼幅度计测部12，其从所述拍摄部11拍摄得到的图像检测出所述被测定者的上下眼睑，并计测出该上下眼睑的边缘之间的睁眼幅度；滤波部13，其对所述睁眼幅度计测部12计测出的睁眼幅度实施滤波处理；睁闭眼判定部14，其在从所述滤波部13所得到的睁眼幅度减去所述睁眼幅度计测部计测出的睁眼幅度而得的差值大于阈值的情况下，判定为闭眼，在所述差值为阈值以下的情况下，判定为睁眼。若采用该睁闭眼判定装置，则在不受拍摄条件及与脸部的距离的影响的情况下，能够以高精度判定睁闭眼。
文档编号G08B21/06GK102150189SQ20098013509
公开日2011年8月10日 申请日期2009年9月8日 优先权日2008年9月12日
发明者依田拓, 大见拓宽, 寺岛立太, 永井史也, 津田太司, 肋田敏裕 申请人:爱信精机株式会社