专利名称：信息处理装置、眼睛开/合度确定方法及图像传感装置的制作方法
技术领域：
本发明涉及一种信息处理装置、眼睛开/合度确定方法及图像传感装置,
背景技术：
从包含静态图像及动态图像的图像中检测面部的技术通常已为人们所
知(Mitarai, Y" Mori, K.， Matsugu， M. "Robust Face Detection System Based on
用模块选择性激活的巻积神经网络的稳健面部检测系统)"，FIT (Forum of Information Technology,信息技术论坛)，Ll-013, 2003)。另外，已提出多 种用于在被检测面部中确定眼睛开/合度的技术。
在这方面，日本专利特开平第09-044685号公报提出一种技术，其将眉 毛与瞳孔间的距离或者眉毛与瞳孔的面积比与预定的参考值进行比较，并 计算距离的改变量，从而确定出眼睛开/合度。
日本专利特开平第ll-242744号公报提出一种技术，其将眼睛区域分为 白色区域和黑色(瞳孔)区域，当黑色区域改变时，便确定目标眨动。
日本专利特开第2004-192551号公报提出一种技术，其准备多个处理来 确定眼睛开/合度，以便将闭眼前瞬间的眼睛状态与诸如微笑等的表情改变 时的眼睛状态区别开来，并基于利用各个确定结果的逻辑乘的结果来确定 眼睛开/合度。
在眼睛完全睁开时的无表情状态下，眼睛尺寸(例如，上眼睑与下眼 睑间的距离或瞳孔的外观)存在个体差异。例如，在眼睛完全睁开时的无 表情状态(状态l)下，图19中所示的人A的瞳孔被全部看到。与此对比， 在眼睛完全睁开时的无表情状态(状态4)下，图19中所示的人B的瞳孔被
部分隐藏。
在这种方式下，无表情状态下的眼睛尺寸存在个体差异。如果只从一 个图像中确定眼睛开/合度，则图19中所示的人A的状态2与图19中所示的人B的状态4被确定为具有相同的眼睛开/合度。例如，当图19中所示的人A的 状态2被确定为图像传感装置在拍摄时的拍摄失败时，图19中所示的人B的 状态4也被确定为拍摄失败。
当利用多个图像间的改变量来确定眼睛开/合度时，图19中所示的人A 从状态1到状态2的改变量，等于图19中所示的人B从状态4到状态5的改变 量。确定出人A的状态2与人B的状态5是相同的。例如，当图19中所示的人 A的状态2被确定为图像传感装置在拍摄时的拍摄成功时，图19中所示的人B 的状态5也被确定为拍摄成功。
确定由图像传感装置所拍摄的图像是失败还是成功，是依图像传感装 置的用户而变化的。有必要在不考虑眼睛尺寸的个体差异的情况下，以高 精度检测眼睛开/合度。例如，在日本专利特开第2004-192551号公报中所公 开的上述技术通过利用眼睛开/合度确定结果的组合，来确定眼睛开/合度。 然而，各个眼睛开/合度确定结果是表示眼睛睁开或闭合的二进制输出。由 于这一原因，即使是这种技术也无法在不考虑眼睛尺寸的个体差异的情况 下，以高精度检测眼睛开/合度。
后面将考査通过利用一个图像的方法来确定眼睛开/合度的情况，以及 通过利用多个图像间的改变量的方法来确定眼睛开/合度的情况。以下将举 例说明在眼睛开/合度从图20中所示的状态l改变到状态2时确定眼睛开/合 度的情况，以及在眼睛开/合度从图20中所示的状态4改变到状态5时确定眼 睛开/合度的情况。
当眼睛从图20中所示的状态1 (黑色眼睛面积IO)改变到状态2 (黑色 眼睛面积5)时，黑色眼睛面积的改变量是5，并且在状态2中黑色眼睛面积 的绝对量是5。当将用于确定眼睛闭合的绝对量阈值设置为6 (当绝对量小 于6时确定眼睛是闭合的)并将用于确定眼睛闭合的改变量阈值设置为4 (当 改变量大于4时确定眼睛是闭合的)时，基于绝对量的确定结果和基于改变 量的确定结果都表示眼睛是闭合的。当眼睛从图20中所示的状态4 (黑色眼 睛面积5)改变到状态5 (黑色眼睛面积O)并进行与以上所述相同的确定时， 获得相同的结果，并且基于绝对量的确定结果和基于改变量的确定结果都 表示眼睛是闭合的。以这种方式，根据通常提出的眼睛开/合度确定方法，图20中所示的状态2与状态5被确定为具有相同的眼睛开/合度。
发明内容
本发明能够提供一种不用考虑眼睛尺寸的个体差异而以高精度检测眼 睛开/合度的信息处理装置、眼睛开/合度确定方法及图像传感装置。
根据本发明的第一方面，提供一种信息处理装置，该信息处理装置包
括
输入单元，用于输入图像；
面部检测单元，用于从所述输入设备输入的所述图像中检测人的面部; 第一计算单元，用于根据由所述面部检测单元检测到的所述面部，来
计算与眼睛开/合状态相关联的特征量；
第二计算单元，用于计算由所述第一计算单元计算出的所述特征量与 根据从在预定时间之前输入的图像中检测到的面部计算出的特征量之差， 作为特征改变量；以及
第三计算单元，用于基于所述特征量与所述特征改变量来计算由所述
面部检测单元检测到的所述面部的眼睛的眼睛开/合度。
根据本发明的第二方面，提供一种眼睛开/合度确定方法，该方法包括-输入图像；
从在上述图像输入中输入的所述图像中检测人的面部； 根据在上述面部检测中检测到的所述面部，来计算与眼睛开/合状态相 关联的特征量；
计算在上述特征量计算中计算出的所述特征量与根据从在预定时间之 前输入的图像中检测到的面部计算出的特征量之差，作为特征改变量；以 及
基于所述特征量和所述特征改变量来计算在上述面部检测中检测到的 所述面部的眼睛的眼睛开/合度。
根据本发明的第三方面，提供一种图像传感装置，该图像传感装置包
括
输入单元，用于输入图像；面部检测单元，用于从所述输入单元输入的所述图像中检测人的面部;
第一计算单元，用于根据由所述面部检测单元检测到的所述面部，来 计算与眼睛开/合状态相关联的特征量；
第二计算单元，用于计算由所述第一计算单元计算出的所述特征量与 根据从在预定时间之前输入的图像中检测到的面部计算出的特征量之差， 作为特征改变量；
第三计算单元，用于基于所述特征量和所述特征改变量来计算由所述 面部检测单元检测到的所述面部的眼睛的眼睛开/合度；
确定单元，用于通过对由所述第三计算单元计算出的该眼睛开/合度进 行阈值处理，来进行眼睛开/合确定；以及
图像传感单元，用于基于所述确定单元的眼睛开/合度确定的结果来进 行拍摄。
通过下面参照附图对示例性实施例的描述，本发明的其他特征将变得 更加清楚。
图1是示出根据本发明的实施例的图像传感装置100的结构的示例的框
图2A及图2B是示出图1中所示的图像传感装置100中的处理序列的示例 的流程图3是示出在图2B中所示的步骤S113中的眼睛开/合度确定的序列的示 例的流程图4是示出图像标准化的概况的示例的图5是示出在设置要经历瞳孔特征检测的区域时处理的概况的示例的
图6是示出瞳孔特征检测结果的示例的图7是示出利用预定函数func,计算出的眼睛开/合度值的分布的示例的 坐标图8是示出利用预定函数fimc2计算出的眼睛开/合度值的分布的示例的
8坐标图9是用于说明第一实施例的效果的示例的第一图。 图10是用于说明第一实施例的效果的示例的第二图。
图ll是示出根据第二实施例的眼睛开/合度确定的序列的示例的流程
图12是示出瞳孔特征量在预定时间内的改变的示例的坐标图； 图13是用于说明第二实施例的效果的示例的第一图。 图14A和图14B是示出根据第三实施例的图像传感装置100中的处理序 列的示例的流程图15是示出在图14B中所示的步骤S416中的眼睛开/合度确定的序列的
示例的流程图16是示出在图15中所示的步骤S502中的权重确定的序列的示例的流 程图17是用于说明第三实施例的效果的示例的第一图。 图18是用于说明第三实施例的效果的示例的第二图。 图19是用于说明现存问题的第一图；以及 图20是用于说明现存问题的第二图。
具体实施例方式
现在将参照附图来详细描述本发明的优选实施例。应当注意，除非另 外具体说明，否则在这些实施例中提出的各组件的相对布置、数字表示及 数值并不限定本发明的范围。 (第一实施例)
图1是示出根据本发明的实施例的图像传感装置100的结构的示例的框
图。第一实施例将举例说明图像传感装置ioo是电子数码相机的情况。
图像传感装置100包括图像传感透镜单元101和具有光闹及快门的光量 调节装置102。图像传感器103是例如CCD (电荷耦合器件)或CMOS (互补 金属氧化物半导体)传感器，用于将穿过图像传感透镜单元的对象图像的 光束转换为电信号。模拟信号处理电路104对从图像传感器103输出的模拟信号进行箝位(damp)和增益等。A/D转换器105将来自模拟信号处理电路 104的输出转换为数字信号。
数字信号处理电路107对来自A/D转换器105的数据或来自存储器控制 电路106的数据，进行预定的像素插值和色彩转换等。数字信号处理电路107 还利用感测到图像数据进行预定的计算，以及基于所获得的计算结果进行 TTLAWB (自动白平衡)处理。另夕卜，数字信号处理电路107对感测到的图 像数据执行特定对象面部检测及眼睛开/合度确定。特定对象面部检测及眼 睛开/合度确定使用存储在存储器(后面要描述的存储器108)中的数据。
系统控制电路112基于上述计算结果进行TTL (通过镜头)AF (自动聚 焦)、AE (自动曝光)及EF (预电子闪光)，以控制曝光控制电路113及聚 焦控制电路114。
存储器控制电路106控制模拟信号处理电路104、 A/D转换器105、数字 信号处理电路107、存储器108及数字/模拟(以下称为D/A)转换器109。由 A/D转换器105进行A/D转换的数据经由数字信号处理电路107及存储器控 制电路106被写入在存储器108中。由A/D转换器105进行A/D转换的数据有 时直接经由存储器控制电路106被写入在存储器108中。
存储器108存储例如要显示在显示装置110上的数据。存储在存储器108 中的数据经由D/A转换器109被输出到诸如TFT或LCD等的显示装置110中， 并被显示在其上。存储器108存储包括感测到的静态图像及动态图像的图 像。存储器108具有足以存储预定数量的静态图像及预定时间的动态图像的 容量。即使在连续拍摄或相继拍摄多个静态图像的全景拍摄中，也能够以 高速度将许多图像写入在存储器108中。存储器108也可以用作系统控制电 路112的工作区。通过利用接口 (I/F) 111，也可以将感测到的静态图像及 动态图像写入在诸如CD-ROM、软盘⑧、硬盘、磁带、磁光盘或非易失性存 储卡等的存储介质中。
显示装置110能够依次显示感测到的图像数据，并且在这种情况下充当 电子取景器。显示装置110能够根据来自系统控制电路112的指示任意地开 关显示器。当显示器关闭时，图像传感装置100的电力消耗比显示器打幵时 的电力消耗降低很多。显示装置110根据系统控制电路112中的程序的执行，利用文本和图像等来显示操作状态和消息等。
I/F 111将图像传感装置100与诸如存储卡或硬盘等的存储介质相连接。 通过利用I/F 111，图像传感装置100能够与另一计算机或诸如打印机等的外 围设备交换图像数据及附属于该图像数据的管理信息。当I/F lll符合 PCMCIA卡或CF (紧凑式闪存⑧)卡等的标准时，I/F lll在连接各种通信卡 时充当通信接口 。这些通信卡包括LAN卡、调制解调器卡、USB卡、IEEE1394 卡、P1284卡、SCSI卡及PHS通信卡。
系统控制电路112控制图像传感装置100的整体操作。系统控制电路112 中的存储器存储用于操作系统控制电路112或者识别特定对象的面部及眼 睛开/合度的常量、变量和程序等。利用CD-ROM、软盘⑧、硬盘、磁带、 磁光盘或非易失性存储卡等，能够改变存储在系统控制电路112的内部存储 器中的常量、变量和程序等。
曝光控制电路113控制光量调节设备102的光阑及快门。聚焦控制电路 114控制图像传感透镜单元101的聚焦及变焦。曝光控制电路113及聚焦控制 电路114由TTL进行控制。系统控制电路112基于由数字信号处理电路107对 感测到的图像数据执行计算的结果来控制曝光控制电路113及聚焦控制电 路114。
以下将参照图2A及图2B，来说明图1中所示的图像传感装置100中的处 理序列的示例。用于执行这一处理的程序被存储在例如系统控制电路112的 内部存储器中，并且该程序在系统控制电路112的控制下被执行。
这一处理在开机等时开始。当处理开始时，系统控制电路112对内部存 储器中的各种标志和控制变量等进行初始化(步骤SIOO)。然后，系统控制 电路112检测图像传感装置100的模式设置状态。模式的示例有防闭眼拍摄 模式。
如果系统控制电路112检测到拍摄模式以外的模式(步骤S101中的另一 模式)，则图像传感装置100执行与所选模式相对应的处理(步骤S102)，然 后处理返回至步骤SIOI。如果系统控制电路112检测到诸如防闭眼拍摄模式 的拍摄模式(步骤S101中的拍摄模式)，则其确定在剩余的电池电量或操作 状态下是否出现了错误。如果出现了错误(步骤S103中"否")，则系统控制电路112利用显示装置110以图像或声音发出预定警告(步骤S104)，然后 处理返回至步骤SIOI。如果未出现错误(步骤S103中"是")，则系统控制 电路112确定存储介质操作状态是否不适合于图像传感装置100的操作，特 别是对存储介质的图像数据记录/重放操作。
如果存储介质操作状态不适合(步骤S105中"否")，则与上述警告相 类似地，系统控制电路112利用显示装置110以图像或声音发出预定警告(步 骤S104)，然后处理返回至步骤SIOI。如果存储介质是适合的(步骤S105 中"是")，则系统控制电路U2利用显示装置110，以图像或声音来显示表 示图像传感装置100的各种设置状态的用户界面(以下称作UI)(步骤S106)。 当显示装置110的图像显示器处于打开(ON)状态时，也可以利用显示装 置IIO，以图像或声音来显示表示图像传感装置100的各种设置状态的UI。 以这种方式，用户进行各种设置。
系统控制电路112将显示装置110的图像显示器设置为打开(步骤 S107)。系统控制电路112设置透视显示(through display)状态，以依次显 示感测到的图像数据(步骤S108)。在透视显示状态下，显示装置110依次 显示写入在存储器108中的数据，从而实现了电子取景器的功能。
之后，图像传感装置100确定用户(例如摄影师)是否已按下快门开关。 如果用户尚未按下快门开关(步骤S109中"否")，则处理返回至步骤SIOI。 如果用户己按下快门开关(步骤S109中"是")，则系统控制电路112执行面 部检测(步骤SllO)。在面部检测中，将从图像传感器103输入的图像数据 压缩至低分辨率，并从压縮后的图像数据中检测人的面部。更具体地说， 通过执行淡化(thinning)等将图像数据压縮至例如640 x 480像素的低分辨 率，然后对面部进行检测。面部检测方法的己知示例是巻积神经网络(CNN)， 其从诸如边缘等的低阶特征中分层检测诸如眼睛和嘴等的高阶特征，并最 终检测面部的重心(Mitarai, Y.， Mori, K.， Matsugu, M. "Robust Face Detection System Based on Convolutional Neural Networks Using Selective Activation of Modules (基于利用模块选择性激活的巻积神经网络的稳健面部检测系 统)"，FIT( Forum of Information Technology,信息技术论坛)，Ll-013,2003 )。 通过利用CNN，可以获得眼睛或嘴的重心。在以此种方式检测人的面部之后，系统控制电路112对所检测的人的面 部执行预定的AE/AF控制(步骤Slll)，并透视显示感测到的图像(步骤 S112)。此时，系统控制电路112通过利用在步骤S110中检测到的眼睛/面部 位置，来确定每个人的眼睛开/合度(步骤S113)。眼睛开/合度确定的细节 将在后面予以说明。
系统控制电路112基于眼睛开/合度确定的结果，确定是否由图像传感装 置100进行拍摄。更具体地说，如果系统控制电路112确定眼睛是闭合的， 则其不促使图像传感装置100进行拍摄(步骤S114中"否")，并确定是否强 行终止拍摄。如果系统控制电路112确定强行终止拍摄(步骤S119中"是")， 则处理结束。如果系统控制电路112确定不强行终止拍摄(步骤S119中 "否")，则其再次进行面部检测(步骤S118)，并且处理返回至步骤S112。
如果系统控制电路112确定眼睛是睁开的，则其促使图像传感装置IOO 进行拍摄(步骤S114中"是"之后的步骤S115)。进行拍摄之后，系统控制 电路112显示感测到的图像的快速浏览(步骤S116)，对感测到的高分辨率 图像进行编码，并将编码图像记录在诸如闪存等的存储介质上(步骤S117)。 也就是说，通过淡化等压縮的低分辨率图像用于面部检测，而高分辨率图 像用于记录。
将参照图3对图2B中所示的步骤S113中的眼睛开/合度确定的细节进行 说明。
当该处理开始时，系统控制电路112利用在步骤S110中检测到的眼睛或 面部位置来执行图像标准化(步骤S200)。在标准化中，将被压縮至低分辨 率的输入图像300中的各个面部的取向校准为直立，如图4所示。然后，进 行仿射变换及提取，以将两眼间的宽度改变为预定像素数(例如，50像素)， 并将所提取的图像的宽度及高度改变为预定像素数(例如，120x 120像素)。 在图4中所示的示例中，作为对输入图像300进行标准化的结果，获得面部 图像301及面部图像302。
之后，系统控制电路112在标准化的图像中设置如图5中所示的眼睛区 域(步骤S201)。在图5中所示的示例中，眼睛区域303的左上角的坐标点被 设置为(l, 10)，眼睛区域303的右下角的坐标点被设置为(120,60)。
13在对眼睛区域进行设置之后，系统控制电路112对眼睛区域进行图像校 正(例如，亮度校正)(步骤S202)。在亮度校正中，建立眼睛区域的亮度 直方图并对该亮度直方图进行扩展以改变各像素的亮度值。
在亮度校正之后，系统控制电路112从亮度校正后的图像的眼睛区域中 检测瞳孔特征(步骤S203)。与面部检测相类似，利用预先知道的、用以检 测瞳孔的瞳孔检测CNN来检测瞳孔特征。瞳孔检测CNN假定瞳孔区域作为 正确答案，瞳孔区域以外的区域作为错误答案，并知道只在瞳孔存在的区 域中从CNN的各神经元中输出大的数值。例如，如果将已在步骤S202中经 历亮度校正的图像输入到瞳孔检测CNN中，则获得如图6中所示的神经元输 出值。
然后，系统控制电路112利用瞳孔特征检测量计算瞳孔特征量(步骤 S204)。第一实施例中的瞳孔特征量用在时间t[s]时变为等于或大于预定阈值 Ith的输出值Counter(t)来表示
如果I(x,y) 2 Ith =^ Counter(t)+ =1 …(l) 也可以使用与上、下眼睑相对应的边缘间的距离，替代瞳孔特征量。 从要经历眼睛开/合度确定的一个图像中提取的瞳孔特征量，用Featurel(t)
来表示
Feature 1 (t) = Counter(t) ... (2)
在特征量计算之后，系统控制电路112计算所算出的瞳孔特征量 Featurel(t)的特征改变量Feature2(t)(步骤S205)。通过计算瞳孔特征量 Featurel(t)与预定特征量(在这种情况下，是先前计算出的瞳孔特征量 Feature 1 (tn))之差来计算特征改变量Feature2(t):
Feature2(t) = I Counter(tn) - Counter(t) I …(3)
先前计算出的瞳孔特征量Featurel(X)是在计算瞳孔特征量Featoel(t)之 前的预定时间(例如，500 ms)计算的瞳孔特征量。在公式(3)中，n是人无 意识地眨眼时的平均时间。例如，当人闭上睁开的眼睛时的平均时间是500 ms时，设置n^500ms。
在特征改变量计算之后，系统控制电路112分别针对所计算出的瞳孔特 征量Featurel(t)和特征改变量Feature2(t)，计算眼睛开/合度(步骤S206及步骤S207)。在第一实施例中，眼睛开/合度将用眼睛闭合度BlinkDegree(t)来说 明。不过，眼睛开/合度还可以用眼睛睁开度来表示。
基于瞳孔特征量Featurel(t)的眼睛开/合度BlinkDegreel(t)，是通过将瞳 孔特征量Featurel(t)代入预定函数ftmd来计算的
BlinkDegree 1 (t) = fiinc! (Feature 1 (t》 …(4)
基于特征改变量Feature2(t)的眼睛开/合度BlinkDegree2(t),是通过将特 征改变量Feature2(t)代入预定函数ftinc2来计算的
BlinkDegree2(t) - ftinc2(Feature2(t)) ...(5)
如公式(6)所表示的，系统控制电路112将权重w,和权重W2添加到眼睛开 /合度BlinkDegreel(t)和眼睛开/合度BlinkDegree2(t)上，然后将加权后的眼睛 开/合度BlinkDegreel(t)与加权后的眼睛开/合度BlinkDegree2(t)相加(步骤 S208)，从而计算出最终的眼睛开/合度BlinkDegree(t)(步骤S209):
BlinkDegree(t)
=w, x BlinkDegree l(t) + w2 x BlinkDegree2(t) …(6) 其中，该实施例中的权重w,及权重W2是l:l。
图7示出了利用预定函数func,计算的眼睛开/合度值的分布。如图7中所 示，当从要经历眼睛开/合度确定的一个图像中计算出的瞳孔特征量 Featurel(t)变大时，眼睛开/合度BlinkDegreel(t)变小。也就是说，随着瞳孔 特征量Featurel(t)变大，确定眼睛睁开的可能性变大。
图8示出了利用预定函数func2计算的眼睛开/合度值的分布。如图8中所 示，当特征改变量Feature2(t)变大时，眼睛开/合度BlinkDegree2(t)变大。也 就是说，随着特征改变量Feature2(t)变大，确定眼睛保持闭合或正在睁开或 闭合的可能性变大。
再参照图3，在执行最终的眼睛开/合度计算之后，系统控制电路112进 行眼睛是闭合还是睁开的二进制确定。该确定通过对眼睛开/合度 BlinkDegree(t)执行阈值处理来实现(步骤S210)。系统控制电路112基于 BlinkDegree(t)与阈值间的关系(等于、大于或小于阈值)而发送回确定结 果"眼睛睁开"或"眼睛闭合"(步骤S211)。然后，处理结束。
图9及图10是用于说明在确定眼睛开/合状态时利用从要经历眼睛开/合度确定的图像中计算出的瞳孔特征量Featurel(t)以及相应的特征改变量 Feature2(t)而获得的效果的图。
图9是示出在具有大的眼睛开/合宽度的人A的各个状态下以及在具有 小的眼睛开/合宽度的人B的各个状态下计算眼睛开/合度的结果的图。如上 所述，眼睛开/合度BlinkDegreel(t)是基于要经历眼睛开/合度确定的图像的 瞳孔特征量Featurel(t)来计算的。眼睛开/合度BlinkDegree2(t)是基于表示瞳 孔特征量Featurel(t)与先前计算出的瞳孔特征量Featurel(O之差的特征改变 量Feature2(t)来计算的。BlinkDegree(t)表示通过将加权后的BlinkDegreel(t) 与加权后的BlinkDegree2(t)相加而计算出的最终眼睛开/合度。
下面将考查人A的眼睛从状态1 (眼睛睁开状态)改变到状态l'(眼睛 睁开状态)的情况。在这种情况下，瞳孔在状态l'(眼睛睁开状态)中被清 楚地看到，因此瞳孔特征量Featurel(t)取大值。因而，眼睛开/合度 BlinkDegreel(t)取小值。当人A的眼睛从状态1 (眼睛睁开状态)改变到状态 1'(眼睛睁开状态)时，瞳孔特征量Featurel(t)几乎没有改变。因此，基于 瞳孔特征量Featurel(t)与先前计算出的瞳孔特征量Featurel(U之间的特征改 变量Feature2(t)计算的眼睛开/合度BlinkDegree2(t)也取小值。结果，在添加 权重4:l之后最终计算出的眼睛开/合度BlinkDegree(t)变为"0.0"。
下面将考查人A的眼睛从状态1 (眼睛睁开状态)改变到状态2 (眼睛半 睁状态)的情况。在这种情况下，瞳孔区域在状态2 (眼睛半睁状态)中被 部分看到，因此瞳孔特征量Featurel(t)取中间值(例如，0到1之间的值)。 因而，眼睛开/合度BlinkDegreel(t)也取中间值。当人A的眼睛从状态1 (眼 睛睁开状态)改变到状态2 (眼睛半睁状态)时，瞳孔特征量Featurel(t)略 有改变。因此，基于瞳孔特征量Featurel(t)与先前计算出的瞳孔特征量 Featurel (g之间的特征改变量Feature2(t)计算的眼睛开/合度BlinkDegree2(t) 也取个中间值。在添加权重=l:l之后最终计算出的眼睛开/合度 BlinkDegree(t)变为"1.0"。
类似地，下面将考查人A的眼睛从状态1 (眼睛睁开状态)改变到状态3 (眼睛闭合状态)的情况。在这种情况下，基于瞳孔特征量Featurel(t)计算 的眼睛开/合度BlinkDegreel(t)取大值。另外，基于特征改变量Feature2(t)计算的眼睛开/合度BlinkDegree2(t)也取大值。在添加权重=1:1之后最终计算出 的眼睛开/合度BlinkDegree(t)变为"2.0"。
作为对比，下面将考查人B的眼睛从状态4 (眼睛睁开状态)改变到状 态4'(眼睛睁开状态)的情况。在这种情况下，基于瞳孔特征量Featurel(t) 计算的眼睛开/合度BlinkDegreel(t)取中间值。基于特征改变量Feature2(t)计 算的眼睛开/合度BlinkDegree2(t)取小值。在添加权重-l:l之后最终计算出的 眼睛开/合度BlinkDegree(t)变为"0.5"。
下面将考查人B的眼睛从状态4 (眼睛睁开状态)改变到状态5 (眼睛闭 合状态)的情况。在这种情况下，基于瞳孔特征量Featurel(t)计算的眼睛开 /合度BlinkDegreel(t)取大值。基于特征改变量Feature2(t)计算的眼睛开/合度 BlinkDegree2(t)取中间值。在添加权重=1:1之后最终计算出的眼睛开/合度 BlinkDegree(t)变为"1.5"。
图10示出了所计算出的眼睛开/合度BlinkDegree(t)的分布。如图10所示， 在人A及人B的各个状态下计算出的眼睛开/合度取不同的值。换句话说，能 够不用考虑眼睛尺寸的个体差异而以高精度检测眼睛开/合度。
如上所述，根据第一实施例，对基于从要确定的图像中获得的瞳孔特 征量计算出的眼睛开/合度以及表示瞳孔特征量与先前计算出的瞳孔特征量 之差的特征改变量进行加权和相加，以计算最终眼睛开/合度。结果，能够 不用考虑眼睛尺寸的个体差异而以高精度检测眼睛开/合状态。
在上述第一实施例中，最终眼睛开/合度是在加权之后计算出的。然而， 加权并非必不可少的，最终眼睛开/合度也可以在不进行加权的情况下计算 出来。
(第二实施例)
现在将说明第二实施例。第二实施例中的装置结构及整体操作序列与 在第一实施例中描述的图1及图2中的情形相同，以下将省略有关它们的描 述，并且只说明与第一实施例的不同之处。第二实施例与第一实施例的不 同在于参照图3描述的眼睛开/合度确定。
根据第二实施例的眼睛开/合度确定的序列将参照图ll来进行说明。在 第二实施例中，为了避免重复描述，将省略在第一实施例中描述的详细处
17理(例如，检测及计算瞳孔特征量的方法)的描述，并且只说明表示不同 之处的大体序列。
当该处理开始时，系统控制电路112估算在步骤S110 (图2A)中检测到 的面部的眼睛睁开的状态。更具体地说，系统控制电路112估算眼睛睁开的 状态，并检查该眼睛状态是否与预定的眼睛状态(第二实施例中的窄眼睛) 相对应。即使当具有窄眼睛的人正常地睁开他的眼睛时，瞳孔区域的大部 分也是被隐藏的。
为了估算眼睛睁幵时的眼睛状态，系统控制电路112利用与第一实施例 中相同的方法，来计算瞳孔特征量Featurel(t)(步骤S300)。瞳孔特征量 Featurel(t)被重复计算，直到预定时间经过(步骤S301中"否")。也就是说， 系统控制电路112从在预定时间内依次输入的各帧图像中计算瞳孔特征量 Featurel(t)。预定时间是眨眼花费的平均时间。其满足在预定时间内始终眨 眼(例如，5秒)。
在预定时间经过时(步骤S301中"是")，系统控制电路112基于在步骤 S300中从多帧图像中计算出的瞳孔特征量Featurel(t)来估算眼睛状态(步骤 S302)。更具体地说，系统控制电路112通过参考在预定时间(时间t-ti[s] 至时间t二t^[s])内计算出的瞳孔特征量Featurel(t,)、……、Featurel(tnl)，
来估算眼睛睁开状态。
图12是示出从时间t = t, [s]至时间t = tnl [s]所计算出的瞳孔特征量 Featurel(ti)、 ......、 Feature 1 (tnl)的坐标图。
基于从时间t^i [s]至时间t-tm [s]所计算出的瞳孔特征量Featurel(t)的 宽度L (= FeaturelMax - FeaturelMin)，来确定眼睛是否与预定眼睛状态(窄 眼睛)相对应。更具体地说，如果瞳孔特征量Featurel(t)的宽度L大于预定 阈值Lth，则确定当眼睛睁开时瞳孔区域的大部分没被隐藏。如果瞳孔特征 量Featurel(t)的宽度L等于或小于预定阈值Lth，则确定当眼睛睁开时瞳孔区 域的大部分被隐藏。
如果眼睛未处于预定的眼睛状态(步骤S303中"否")，则系统控制电 路112只利用在时间t = tnI [s]时从一个图像中计算出的瞳孔特征量 Featurel(U)来计算BlinkDegree(tm)(步骤S304 )。只利用瞳孔特征量Featurel(tM)来计算眼睛开/合度BlinkDegree(t^)相当于将权重W2设置为0。 如果系统控制电路112确定眼睛处于预定的眼睛状态，即眼睛是窄的 (步骤S303中"是")，则系统控制电路112以与第一实施例中相同的方法， 通过利用瞳孔特征量及特征改变量两者，来计算眼睛开/合度(步骤S305)。 更具体地说，系统控制电路112通过利用在时间1 = ^ [s]时从一个图像中计 算出的瞳孔特征量Featurel(W及特征改变量Feature2(tn,),来计算眼睛开/合 度BlinkDegree(tnO。特征改变量Feature2(tnO表示瞳孔特征量Featurel(t^)与从 先前输入的图像中计算出的瞳孔特征量Featurel(W.一 (l^ni.<ni)之差。 在这种情况下，权重w,及权重W2被设置为l:l。
之后，系统控制电路112通过对计算出的眼睛开/合度BlinkDegree(t。,)执 行阈值处理来确定眼睛开/合度状态，并发送回确定结果(眼睛闭合或眼睛 睁开)(步骤S306)。然后，处理结束。
如上所述，根据第二实施例，如果人的眼睛像图13中所示的人A—样， 未处于预定的眼睛状态，即不是窄的，则只利用从一个图像中获得的特征 量计算眼睛开/合度BlinkDegree(t一。如果人的眼睛像图13中所示的人B—
样，处于预定眼睛状态，即是窄的，则利用从一个图像中获得的特征量及 特征改变量计算眼睛开/合度BlinkDegree(tm)。通过基于眼睛状态来变换眼
睛开/合度计算方法，能够不用考虑眼睛尺寸的个体差异而以高精度确定眼 睛开/合度。从而，能够以最低的处理成本实现眼睛幵/合度的高精度检测。 (第三实施例)
下面将说明第三实施例。第三实施例中的装置的结构与在第一实施例 中描述的图l中的结构相同，下面将省略有关它的描述，并且只说明与第一 实施例的不同之处。
图14A及图14B示出了根据第三个实施例的图像传感装置100中的处理 序列的示例。步骤S400至步骤S408中的处理与第一实施例的图2A中的步骤 S100至步骤S108中的处理相同，因此有关它们的描述将被省略。
如果在步骤S409中用户按下第一开关(聚焦开关)(步骤S409中"是")， 则与第一实施相类似地，执行面部检测、AE/AF控制及透视显示(步骤S410 至步骤S412)。在透视显示之后，在预定时间内计算瞳孔特征量(步骤S413)。更具体地说，利用与第二实施例中相同的方法，在预定时间(时间t-t2[S] 至时间t-t。2 [S])内从依次输入的多帧图像中计算瞳孔特征量。
如果用户按下第二开关(拍摄开关)(步骤S414中"是")，则进行拍摄
(步骤S415)。在这种情况下，不用考虑眼睛开/合状态进行拍摄。此时，感 测到的图像被暂时地存储在图1中所示的存储器108中。除感测到的高分辨 率图像之外，存储器108还存储有为在眼睛开/合确定中使用而压縮的低分辨 率图像。
如果在步骤S414中用户未按下第二开关(步骤S414中"否")，则再次 执行面部检测(步骤S420)及透视显示(步骤S421)。然后，处理返回至步 骤S413。
如果在步骤S415中进行了拍摄，则系统控制电路112利用压縮的低分辨 率图像来执行眼睛开/合确定(步骤S416)。眼睛开/合度确定的细节将在后 面予以说明。
系统控制电路112在图像传感装置100上显示快速浏览(步骤S417)。此 时，如果在眼睛开/合度确定中确定眼睛是闭合的，则显示诸如"您希望再 次拍摄？"的消息，以提示用户再次拍摄。也可以在不进行提示用户再次 拍摄的任何显示的情况下强制用户拍摄。
如果用户不希望再次拍摄(步骤S418中"否")，则系统控制电路112将 存储在存储器108中的高分辨率感测图像记录在闪存等中(步骤S419)。然 后，处理结束。如果用户希望再次拍摄(步骤S418中"是")，则系统控制 电路112针对下一帧图像进行面部检测(步骤S420)，并进行透视显示(步 骤S421)。之后，处理返回至步骤S413。
图14B中所示的步骤S416中的眼睛开/合度确定的细节将参照图15来进 行说明。在第三实施例中，为了避免重复描述，将省略第一实施例及第二 实施例中描述的具体处理(例如，检测及计算瞳孔特征量的方法)的描述， 并且只说明表示不同之处的大体序列。
当该处理开始时，系统控制电路112参考在步骤S413 (图14B)中从时 间t = t2 [s]到时间t = tn2 [s]计算出的瞳孔特征量Featurel(t2)、……、 Featurel(tn2)。系统控制电路l 12估算在步骤S410 (图14A)或步骤S420 (图14B)中检测到的面部的眼睛的睁开的状态(步骤S500)。与第二实施例相 类似，通过将预定时间内的瞳孔特征量Featurel(t)的最大值与最小值之间的 宽度L，与预定阈值Lth进行比较，来确定眼睛是否处于预定眼睛状态。请注 意，如上所述，从时间t = t2 [s]至时间t = tn2 [s]的瞳孔特征量 Featurel(t2)、 、 Featurel(tn2)被存储在图l中的存储器108中。
如果系统控制电路112确定眼睛处于预定眼睛状态，即是窄的(步骤 S501中"是")，则系统控制电路112执行权重确定(步骤S502)。权重确定 的细节将在后面进行描述。在权重确定之后，与第一实施例相类似，系统 控制电路112进行诸如加权的处理，然后计算最终眼睛开/合度 BlinkDegree(tn2)(步骤S503)。也就是说，系统控制电路112利用瞳孔特征量 及特征改变量两者来计算眼睛开/合度。
如果眼睛未处于预定眼睛状态，即不是窄的(步骤S501中"否")，则 与第一实施例相类似，系统控制电路112进行诸如加权的处理，然后计算最 终眼睛开/合度BlinkDegree(tn2)(步骤S503)。另外，在这种情况下，系统控 制电路112利用瞳孔特征量及特征改变量两者来计算眼睛开/合度。
之后，系统控制电路112通过对计算出的眼睛开/合度BlinkDegree(tn2)执 行阈值处理来确定眼睛开/合状态，并发送回确定结果(眼睛闭合或眼睛睁 开)(步骤S504)。然后，处理结束。
图15中所示的步骤S502中的权重确定的细节将参照图16进行说明。在 下面的描述中，利用满足关系"Lthl > Lth2"的阈值来确定权重。请注意， 权重是利用预先准备好的表格来确定的。
当该处理开始时，系统控制电路112确定步骤S413 (图14B)中在预定 时间内计算出的瞳孔特征量Featurel(t)的宽度L是否满足L > Lthl。如果L > Lthl (步骤S600中"是")，则权重w,及权重W2被确定为l : 1 (步骤S601)， 然后处理结束。
如果L5U,(步骤S600中"否")，则系统控制电路112确定U^L〉Lth2 是否保持。如果Lth,^L〉Lth2 (步骤S602中"是")，则权重w!及权重W2被确 定为1:2 (步骤S603)，然后处理结束。如果L^Lth2 (步骤S602中"否")， 则权重w,及权重W2被确定为l :5 (步骤S604)，然后处理结束。也就是说，当在预定时间内瞳孔特征量Featurel(t)的最大值与最小值之间的宽度L变小 时，眼睛开/合度BlinkDegree2(t。2)的权重W2被设置得更大。
参照图15及图16描述的处理只在眼睛对应于预定眼睛状态(窄眼睛) 时才改变设置的权重，但是本发明并不局限于此。例如，当人的眼睛未处 于预定眼睛状态(例如眼睛是大的)时，也可以将权重W,设置得比权重W2 大。
图17及图18是用于说明在检测预定眼睛状态时通过设置基于特征改变 量Feature2(tn2)计算的眼睛开/合度BlinkDegree2(tn2)的权重W2所获得的效果 的图。
对于眼睛未处于预定眼睛状态(即眼睛不是窄的)的人A，如图17所示， BlinkDegreel(tn2)的权重Wi和眼睛开/合度BlinkDegree2(tn2)的权重W2被设置 为l:l。
作为对比，对于眼睛处于预定眼睛状态(即眼睛是窄的)的人，像图 17中所示的人B， BlinkDegreel(tn2)的权重w!和眼睛开/合度BlinkDegree2(tn2) 的权重W2被设置为1:2。也就是说，权重W2被设置得更大。使用该设置，人 A的状态2与人B的状态4'可以相互区别开来。另外，能够确定眼睛不是窄眼 睛的人A的状态3与眼睛是窄眼睛的人B的状态5具有相同的眼睛开/合度。
对于眼睛非常窄的人，像图18中所示的人B，基于特征改变量 Feature2(tn2)计算的眼睛开/合度BlinkDegree2(tn2)的权重W2被设置得非常大。 使用该设置，能够不用考虑眼睛尺寸的个体差异确定眼睛开/合度。
如上所述，根据第三实施例，根据在预定时间内瞳孔特征量的改变， 来确定要经历眼睛开/合状态确定的人的眼睛尺寸是否处于预定眼睛状态 (窄眼睛)。基于确定结果来改变权重，然后确定眼睛开/合度。结果，能够 不用考虑眼睛尺寸而以高精度检测眼睛状态。
以上描述了本发明的多个典型实施例。然而，本发明并不局限于上述 实施例及附图中所示的实施例，可以在不偏离所附权利要求的范围的情况 下对本发明进行适当修改。
例如，在第二实施例及第三实施例中，将眼睛是窄眼睛的状态确定为 预定眼睛状态。然而，本发明并不局限于此，也可以将眼睛是大眼睛的状态确定为预定眼睛状态。另外，在这种情况下，可以采用与上面所述相同 的处理。
在第二实施例及第三实施例中，通过将在预定时间内瞳孔特征量
Featurel(t)的最大值与最小值之间的宽度L与预定阈值Lth进行比较，来估算 预定眼睛状态。然而，本发明并不局限于此。例如，也可以通过将在预定 时间内瞳孔特征量Featurel(t)的平均值与预定阈值进行比较，来估算预定眼 睛状态。
也可以对在第一实施例至第三实施例中描述的一些或全部处理进行组 合。例如，也可以将在第二实施例中描述的、用于变换确定眼睛开/合度的 方法的处理与第三实施例中描述的权重确定组合起来执行。
本发明还包括如下情况将软件程序直接或从远程地点提供给系统或装 置，并通过并入系统或装置的计算机来读出并执行所提供的程序代码，来实 现上述实施例的功能。在这种情况下，所提供的程序是与实施例中的附图中 所示的流程图相对应的计算机程序。
因此，安装在计算机中的、用以通过计算机实现本发明的功能处理的程 序代码也实现本发明。也就是说，本发明还包括用于实现本发明的功能处理 的计算机程序。在这种情况下，程序可以采取目标代码、由解释器执行的程 序或提供给OS (操作系统)的脚本数据的形式，只要程序的功能能够被提 供即可。
各种类型的计算机可读存储介质可用于提供计算机程序。 也可以通过将本发明的计算机程序从互联网主页下载到诸如硬盘的存 储介质来提供程序中。也可以通过如下方式提供程序将构成本发明的
程序的程序代码分组为多个文件，并从不同的主页上下载这些文件。
另外，基于所述程序的指令与在计算机上运行的os等协作也实现上述
实施例的功能。
虽然参照示例性实施例对本发明进行了描述，然而应理解，本发明并 不局限于所公开的示例性实施例。应对所附权利要求的范围给予最宽泛的 解释，以使其涵盖所有的这种变型例及等同结构和功能。
2权利要求
1. 一种信息处理装置，该信息处理装置包括输入单元(112、S109、S110)，用于输入图像；面部检测单元(112、S110)，用于从所述输入单元输入的所述图像中检测人的面部；第一计算单元(112、S204)，用于根据由所述面部检测单元检测到的所述面部，来计算与眼睛开/合状态相关联的特征量；第二计算单元(112、S205)，用于计算由所述第一计算单元计算出的所述特征量与根据从在预定时间之前输入的图像中检测到的面部而计算出的特征量之差，作为特征改变量；以及第三计算单元(112、S206、S207、S209、S210)，用于基于所述特征量和所述特征改变量，来计算由所述面部检测单元检测到的所述面部的眼睛的眼睛开/合度。
2. 根据权利要求l所述的信息处理装置，该信息处理装置还包括加权单元(U2、 S208)，用于为由所述第一计算单元计算出的所述特征量和由所述第二计算单元计算出的所述特征改变量设置权重，其中，所述第三计算单元基于经所述加权单元设置了所述权重的所述特征量和所述特征改变量，来计算由所述面部检测单元检测到的所述面部的眼睛的所述眼睛开/合度。
3. 根据权利要求2所述的信息处理装置，其中所述第一计算单元根据在预定时间内从所述输入单元输入的多个图像中检测到的人的面部，来计算与所述人的眼睛开/合状态相关联的特征量，并且当由所述第一计算单元根据所述多个图像而计算出的多个特征量中的最大值与最小值之差与预设阈值具有预定关系时，所述第三计算单元仅基于加权后的特征量，来计算由所述面部检测单元检测到的所述面部的眼睛的所述眼睛开/合度。
4. 根据权利要求2所述的信息处理装置，其中所述第一计算单元在预定时间内根据从所述输入单元输入的多个图像中检测到的人的面部，来计算与所述人的眼睛开/合状态相关联的特征量，并且所述加权单元基于由所述第一计算单元根据所述多个图像而计算出的多个特征量，来改变为所述特征量和所述特征改变量设置的所述权重。
5. 根据权利要求4所述的信息处理装置，其中所述第一计算单元计算瞳孔特征量作为与所述眼睛开/合状态相关联的所述特征量，并且当由所述第一计算单元根据所述多个图像而计算出的多个特征量中的最大值与最小值之差小于预定阈值时，所述加权单元将用于所述特征改变量的所述权重设置为大于为所述特征量设置的所述权重。
6. 根据权利要求4所述的信息处理装置，其中所述第一计算单元计算瞳孔特征量作为与所述眼睛开/合状态相关联的所述特征量，并且当由所述第一计算单元根据所述多个图像而计算出的多个特征量中的最大值与最小值之差大于预定阈值时，所述加权单元将用于所述特征量的所述权重设置为大于为所述特征改变量设置的所述权重。
7. 根据权利要求l所述的信息处理装置，该信息处理装置还包括确定单元(112、 S210、 S211)，用于通过对由所述第三计算单元计算出的所述眼睛开/合度进行阈值处理，来进行眼睛开/合确定。
8. —种眼睛开/合度确定方法，该方法包括如下步骤输入图像(S109、 S110);从在上述输入图像的步骤中输入的所述图像中检测人的面部(S110);根据在上述检测面部的步骤中检测到的所述面部，来计算与眼睛开/合状态相关联的特征量CS204);计算在上述计算特征量的步骤中计算出的所述特征量与根据从在预定时间之前输入的图像中检测到的面部而计算出的特征量之差，作为特征改变量(S205);以及基于所述特征量和所述特征改变量来计算在上述检测面部的步骤中检测到的所述面部的眼睛的眼睛开/合度(S206、 S207、 S209、 S210)。
9. 一种图像传感装置(100)，该图像传感装置包括 输入单元(U2、 S109、 SllO)，用于输入图像；面部检测单元(112、 SllO)，用于从所述输入单元输入的所述图像中检 测人的面部；第一计算单元(112、 S204)，用于根据由所述面部检测单元检测到的所 述面部，来计算与眼睛开/合状态相关联的特征量；第二计算单元(112、 S205)，用于计算由所述第一计算单元计算出的所 述特征量与根据从在预定时间之前输入的图像中检测到的面部而计算出的 特征量之差，作为特征改变量；第三计算单元(112、 S206、 S207、 S209、 S210)，用于基于所述特征量 和所述特征改变量，来计算由所述面部检测单元检测到的所述面部的眼睛 的眼睛开/合度；确定单元(112、 S210、 S211)，用于通过对由所述第三计算单元计算出 的所述眼睛开/合度进行阈值处理，来进行眼睛开/合确定；以及图像传感单元(IOI、 102、 103、 112、 S114、 S115)，用于基于所述确定 单元的眼睛开/合度确定的结果来进行拍摄。
全文摘要
本发明提供一种信息处理装置、眼睛开/合度确定方法及图像传感装置。该信息处理装置输入图像，从所输入的图像中检测人的面部，并计算与所检测到的面部的眼睛的开/合状态相关联的特征量。此外，该信息处理装置计算所计算出的特征量与预定特征量之差作为特征改变量，并基于该特征量和该特征改变量来计算所检测到的面部的眼睛的眼睛开/合度。
文档编号H04N5/30GK101520842SQ20091011865
公开日2009年9月2日 申请日期2009年2月27日 优先权日2008年2月29日
发明者真继优和, 金田雄司 申请人:佳能株式会社