专利名称：：瞳孔检测装置及瞳孔检测方法
技术领域：
：本发明涉及瞳孔检测装置和瞳孔检测方法。
背景技术：
：在如夜间或隧道内等无法充分地确保照度的环境中从脸图像进行视线检测或表情检测的情况下，为了确保照度，有时使用投光器。在使用了投光器的情况下，在眼球上观测到因投光器映入到眼球的角膜上而产生的角膜反射像。在该角膜反射像的图像(下面，有时称为“角膜反射图像”)和瞳孔图像重叠的情况下，有时角膜反射图像遮掩瞳孔图像。在这种情况下，根据以往的以完全看到瞳孔图像为前提的瞳孔检测的手法，难以检测瞳孔图像。作为对应这种问题的第一方法，有专利文献1中公开的方法。根据该第一方法，在眼区域内计算亮度的微分，基于该计算结果，搜索负的边缘(edge)和与其对应的正的边缘。由此，即使在瞳孔图像内出现角膜反射图像的情况下，也能够进行瞳孔检测。另外，作为第二方法，有专利文献2中公开的方法。根据该第二方法，在投光器中使用SLD(superluminescentdiode，超级发光双极管)。由此，能够缩小映入到眼镜或角膜上的投光器的反射像的面积，从而能够实现瞳孔检测的稳定化。进而，作为第三方法，有非专利文献1中公开的方法。根据该第三方法，从瞳孔区域的边缘产生多个平行四边形，并对于各个平行四边形的中心进行投票。然后，检测被最多地投票的坐标作为瞳孔中心。进而，从自检测出的瞳孔中心相等距离的边缘检测瞳孔轮廓。现有技术文献专利文献专利文献1日本专利申请特开平2-213322号公报专利文献2日本专利申请特开平7-M8216号公报非专利文献非专利文献1「高速楕円検出(二基3<眼球回旋運動O計測(MeasurementofCycloductionMovementBasedonFastEllipseDetection)」，坂下祐輔,藤吉弘亘,平田豊，高丸尚教，深谷直樹，SSII2006論文集
发明内容发明要解决的问题可是，在上述的第一方法中进行如下尝试，S卩在瞳孔轮廓上重叠了角膜反射像的情况下，改变投光器的位置而形成瞳孔轮廓和角膜反射像不重叠的状况。然而，在难以使用多个投光器或者改变投光器的位置的情况下，难以避免在瞳孔轮廓上重叠了角膜反射像的状况，其结果难以进行瞳孔检测。另外，在上述的第二方法中，通过缩小角膜反射像的物理大小，缩小角膜反射像遮掩瞳孔的区域。然而，在无法确保足够的图像的分辨率的情况下，不管角膜反射像的物理大小如何，角膜反射像和瞳孔图像的大小大致相同。例如，在数字图像的原理上，图像上的角膜反射图像的直径为1像素以上，但是在分辨率低的情况下，瞳孔直径最小也会缩小到1像素左右。因此，在角膜反射像和瞳孔重叠的情况下，瞳孔图像被角膜反射图像遮掩的“被遮掩面积”在图像上变大，其结果难以进行瞳孔检测。另外，在上述的第三方法中，通过从作为瞳孔轮廓候补的边缘像素中每次提取4点来生成多个平行四边形，并将成为平行四边形的中心的状况最多的像素作为瞳孔中心。然而，在未观测到位于相对瞳孔中心对称的位置的边缘的情况下，平行四边形的中心很少位于瞳孔中心部分。因此，在角膜反射像遮掩了瞳孔的一半以上的情况下，难以进行瞳孔检测。本发明是鉴于这些方面而完成，其目的在于提供瞳孔检测装置和瞳孔检测方法，即使在瞳孔的大部分被角膜反射像遮掩的情况下，也能够稳定地检测瞳孔。解决问题的方案本发明的瞳孔检测装置为检测眼区域图像内的瞳孔图像的瞳孔检测装置，包括第一检测单元，检测所述眼区域图像的高亮度图像区域即角膜反射图像；评价值计算单元，设定以所述角膜反射图像内的基准点为一端且具有规定的长度的多个线段，并基于各个线段中的各个像素的亮度和基准亮度，计算亮度评价值；确定单元，基于所述亮度评价值，从所述多个线段中确定通过所述瞳孔图像的中心的瞳孔中心直线；以及第二检测单元，基于所述瞳孔中心直线的周边的亮度状态，或者所述瞳孔中心直线上的亮度状态，检测所述瞳孔图像。本发明的瞳孔检测方法为检测眼区域图像内的瞳孔图像的瞳孔检测方法，包括以下步骤检测所述眼区域图像的高亮度图像区域即角膜反射图像；设定以所述角膜反射图像内的基准点为一端且具有规定的长度的多个线段；基于各个线段中的各个像素的亮度和基准亮度，计算亮度评价值；基于所述亮度评价值，从所述多个线段中确定通过所述瞳孔图像的中心的瞳孔中心直线；以及基于所述瞳孔中心直线的周边的亮度状态，或者所述瞳孔中心直线上的亮度状态，检测所述瞳孔图像。发明的效果根据本发明，能够提供瞳孔检测装置和瞳孔检测方法，即使在瞳孔的大部分被角膜反射像遮掩的情况下，通过主动地利用角膜反射像的信息，也能够稳定地检测瞳孔。图1是表示本发明实施方式1的瞳孔检测装置的结构的方框图。图2是表示眼区域检测单元的结构的方框图。图3是用于说明瞳孔检测装置的动作的流程图。图4是表示目标图像即脸图像的图。图5是用于说明角膜反射图像检测处理和亮度评价值计算处理的图。图6是表示一例亮度评价值和计算出该亮度评价值的辐射方向与基准方向形成的角度之间的对应关系的图。图7是用于说明亮度评价值计算处理的图。图8是用于说明瞳孔搜索处理的图。图9是表示本发明实施方式2的瞳孔检测装置的结构的方框图。图10是用于说明瞳孔检测装置的动作的流程图。图11是表示本发明实施方式3的瞳孔检测装置的结构的方框图。图12是用于说明瞳孔检测装置的动作的流程图。图13是表示本发明实施方式4的瞳孔检测装置的结构的方框图。图14是表示本发明实施方式5的瞳孔检测装置的结构的方框图。图15是用于说明瞳孔中心直线计算单元的动作的图。图16是表示本发明实施方式6的瞳孔检测装置的结构的方框图。图17是用于说明瞳孔搜索单元的动作的图。图18是表示本发明实施方式7的瞳孔检测装置的结构的方框图。图19是用于说明瞳孔搜索单元的动作的图。标号说明100、600、800、1000、1100、1300、1400瞳孔检测装置101眼区域图像获取单元102角膜反射像检测单元103瞳孔状态预测单元104瞳孔状态存储单元105、601周边状态评价单元106、1001、1101瞳孔中心直线计算单元107、804、1301、1401瞳孔搜索单元111图像输入单元112眼区域检测单元121脸检测单元122脸器官检测单元123眼区域决定单元602巩膜平均亮度计算单元603巩膜平均亮度存储单元801照度测定单元802照明状态存储单元803照明状态估计单元具体实施例方式以下，参照附图详细说明本发明的实施方式。另外，在实施方式中，对相同的结构要素附加相同的标号，由于重复而省略其说明。实施方式1[瞳孔检测装置100的结构]图1是表示本发明的实施方式1的瞳孔检测装置100的结构的方框图。瞳孔检测装置100例如设置在汽车的车内，与视线检测装置连接而使用。该视线检测装置基于瞳孔检测装置100的检测结果决定瞳孔位置，并检测驾驶员的视线方向。下面，特别对将瞳孔检测装置100应用于视线检测装置的情况进行说明。在图1中，瞳孔检测装置100包括眼区域图像获取单元101、角膜反射像检测单元102、瞳孔状态预测单元103、瞳孔状态存储单元104、周边状态评价单元105、瞳孔中心直线计算单元106以及瞳孔搜索单元107。眼区域图像获取单元101获取眼区域图像，并将其输出到角膜反射像检测单元102。具体来说，眼区域图像获取单元101具备图像输入单元111和眼区域检测单元112。图像输入单元111对拍摄目标(即，在此是人物)进行拍摄。该目标图像数据被输出到眼区域检测单元112。图像输入单元111例如设置于车的方向盘上、或者仪表盘上等驾驶席的正面。由此，通过图像输入单元111拍摄驾驶中的驾驶者的脸。眼区域检测单元112从自图像输入单元111接受的目标图像中，检测眼区域图像。具体来说，如图2所示，眼区域检测单元112具有脸检测单元121、脸器官检测单元122和眼区域决定单元123。脸检测单元121从自图像输入单元111接受的目标图像中检测脸图像，并将脸图像数据输出到脸器官检测单元122。脸器官检测单元122从自脸检测单元121接受的脸图像中检测脸器官群(即，外眼角、内眼角等)，并将各脸器官的位置坐标向眼区域决定单元123输出。眼区域决定单元123基于从脸器官检测单元122接受的各脸器官的位置坐标，决定眼区域图像的位置和大小。该眼区域图像的位置和大小作为眼区域图像检测结果，与从图像输入单元111输出的目标图像一起被输出到角膜反射像检测单元102。此外，对左眼和右眼分别计算眼区域图像的位置和大小。返回到图1，角膜反射像检测单元102从自眼区域图像获取单元101接受的目标图像数据中检测角膜反射图像，并将有关检测出的角膜反射图像的信息输出到周边状态评价单元105。该有关角膜反射图像的信息中包含角膜反射图像区域的中心的坐标。周边状态评价单元105计算以角膜反射图像为基准的、反射方向的“亮度评价值”。也就是说，周边状态评价单元105计算亮度评价值与计算出该亮度评价值的辐射方向和基准方向形成的角度之间的对应关系。具体来说，周边状态评价单元105在由角膜反射像检测单元102检测出的角膜反射图像内设定基准点，并设定以该基准点为一端且具有规定的长度的多个线段。通过从基准方向开始每次旋转规定角度，依次设定该多个线段。由于这里以角膜反射图像和瞳孔图像重叠的情况为前提，所以线段的规定的长度为估计的瞳孔图像的直径(以下，有时被称为“估计瞳孔直径”)。估计瞳孔直径由瞳孔状态预测单元103进行估计。另外，在还包含角膜反射图像和瞳孔图像未重复的情况而进行处理的情况下，将线段的长度设定为长于估计瞳孔直径的长度即可。然后，周边状态评价单元105基于各个线段中的各个像素的亮度和基准亮度，计算亮度评价值。详细而言，周边状态评价单元105将各个线段中的各个像素的亮度和基准亮度进行比较，提取具有亮度比基准亮度低的像素，并计算提取出的所有像素的亮度和基准亮度之差的总和作为亮度评价值。也就是说，使用下式(1)求亮度评价值。ν=Υ(Β<55-Β:0)…(1)L其中，V为亮度评价值，S为作为基准亮度使用的巩膜平均亮度，B为线段上的各个像素的亮度，L为线段。瞳孔中心直线计算单元106基于由周边状态评价单元105计算出的亮度评价值，确定通过瞳孔图像的中心的线段(以下，有时被称为“瞳孔中心直线”)。具体来说，瞳孔中心直线计算单元106将由周边状态评价单元105计算出的亮度评价值最大的线段确定为瞳孔中心直线。瞳孔搜索单元107基于瞳孔中心直线周边的亮度状态，搜索瞳孔图像。具体来说，瞳孔搜索单元107基于由瞳孔中心直线计算单元106所确定的瞳孔中心直线和包含上述的估计瞳孔直径的直径候补群，依次设定瞳孔图像区域候补，并基于瞳孔图像区域候补内的亮度状态，从瞳孔图像区域候补群中检测瞳孔图像区域(即，瞳孔图像区域的可能性最大的区域)，从而搜索瞳孔图像区域。具体来说，瞳孔搜索单元107将在瞳孔中心直线上存在中心、且以直径候补群内的一个直径候补作为直径的圆设定为瞳孔图像区域候补，并计算该瞳孔图像区域候补内的亮度状态指标。作为该亮度状态指标，这里使用在所设定的瞳孔图像区域候补内的像素群中，亮度比基准亮度低的像素群的平均亮度。也就是说，使用下式(求亮度状态指标。^(B<S1B:0)X=^--…(2)P其中，X为瞳孔图像区域候补的亮度状态指标，P为瞳孔图像区域候补，即为在瞳孔中心直线上存在中心、且以直径候补群内的一个直径候补作为直径的圆。也就是说，在式(2)的分母中将在瞳孔图像区域候补内的、亮度比基准亮度低的像素的数进行计数，而在分子中，求在瞳孔图像区域候补内的、亮度比基准亮度低的像素的亮度的总和。对于各个瞳孔图像区域候补(即，中心位置和直径候补的组合不同的各个瞳孔图像区域候补)求该亮度状态指标，并将在瞳孔图像区域候补群内的、亮度状态指标最小的瞳孔图像区域候补确定为瞳孔图像区域。有关如上所确定的瞳孔图像区域的信息(即，有关中心位置和直径的信息)被存储在瞳孔状态存储单元104，同时被用于后级的功能单元即视线检测单元(未图示)中的视线检测处理。另外，这里虽然准备了多个直径候补，但是也可以仅使用估计瞳孔直径。由此，在瞳孔直径的变动较少的拍摄环境中，也能够维持瞳孔检测的精度并降低处理量。瞳孔状态存储单元104将有关由瞳孔搜索单元107检测出的瞳孔图像区域的信息(即，有关中心位置和直径的信息)与在瞳孔图像区域的检测中使用的目标图像的拍摄时刻关联地存储。瞳孔状态预测单元103根据在瞳孔状态存储单元104中所存储的过去的检测瞳孔直径(即，瞳孔图像区域的直径)，对当前的瞳孔的直径进行估计。该估计瞳孔直径被输出到周边状态评价单元105和瞳孔搜索单元107。[瞳孔检测装置100的动作]说明具有以上的结构的瞳孔检测装置100的动作。图3是用于说明瞳孔检测装置100的动作的流程图。在图3的流程图中，还包含上述的视线检测装置中的处理流程。图3所示的处理流程与拍摄作业同时开始。拍摄作业即可以通过用户的操作来开始，也可以将外部的某个信号作为触发而开始。<图像获取处理>在步骤S201中，图像输入单元111对拍摄目标(即，在此是人物)进行拍摄。由此，获取目标图像。作为图像输入单元111，例如假想为具备CMOS图像传感器和镜头的数码摄像机。因此，由图像输入单元111拍摄的PPM(PortablePixMapfileformat，可移植的象素映射位图文件格式)格式的图像等暂时被存储到图像输入单元111所包含的未图示的图像存储单元(例如，PC的存储器空间)中之后，仍以PPM格式输出到眼区域检测单元112。〈脸图像检测处理〉在步骤S202中，脸检测单元121从自图像输入单元111接受的目标图像中，检测脸图像。图4是表示目标图像即脸图像的图。此外，在所拍摄的脸图像中，例如将图像横向设为X轴、且将图像纵向设为Y轴，1像素为1坐标点。在脸区域检测处理中，例如，从输入图像中提取成为特征的图像的候补(即，特征图像候补)，通过比较所提取的特征图像候补和表示预先准备的脸区域的特征图像，检测出类似度高的特征图像候补。例如，将预先获取的平均脸的伽柏(Gabor)特征量和通过扫描输入图像而提取的伽柏特征量进行对照，求两者差分的绝对值的倒数作为类似度。在该情况下，脸检测单元121与预先准备的模板进行比较，将在图4的图像400中相关度最高的区域确定为脸图像401。此外，脸区域检测处理即可以通过从图像中检测肤色区域(即，肤色区域检测)进行，也可以通过检测椭圆部分(即，椭圆检测)进行，也可以通过采用统计学的模式识别方法进行。此外，只要是能够进行上述脸检测的技术，可以采用任何方法。<脸器官检测处理>在步骤S203中，脸器官检测单元122从自脸检测单元121接受的脸图像中检测脸器官群(即，嘴角、外眼角、内眼角等)，并将各脸器官的位置坐标输出到眼区域决定单元123。脸器官群的搜索区域是在步骤S202中所确定的脸区域401。在图4中，分别示出脸器官群402。在脸器官群检测处理中，例如利用分离度过滤器检测嘴角、外眼角、内眼角等脸器官的端点或鼻孔等的二维坐标。此外，即可以是，预先使学习器学习多个脸图像和与脸图像对应的脸器官的位置之间的对应关系，脸器官检测单元122在输入了脸图像401时，将与该对应关系似然最高的部位作为脸器官来检测。或者，也可以是，脸器官检测单元122利用标准的脸器官的模板，从脸图像401中搜索脸器官。〈眼区域决定处理〉在步骤S204中，眼区域决定单元123从自脸检测单元121接受的脸图像和自脸器官检测单元122接受的脸器官群中，决定眼区域。在眼区域决定处理中，例如在左、右各个眼中，将包含外眼角、内眼角的矩形区域403决定为眼区域，获取矩形的左上端点坐标和右下端点坐标作为眼区域信息。<角膜反射图像检测处理>在步骤S205中，角膜反射像检测单元102从自脸检测单元121接受的脸图像和自眼区域决定单元123接受的眼区域信息中，检测角膜反射图像。具体来说，如图5所示，角膜反射像检测单元102在眼区域403内检测角膜反射图像501的中心坐标。例如，角膜反射像检测单元102在眼区域403内生成亮度分布，使用所生成的亮度分布，将规定的亮度以上且区域的大小在规定的大小范围内的区域检测为角膜反射图像，并将该区域的重心作为角膜反射图像的中心。<估计瞳孔直径计算处理>在步骤S206中，瞳孔状态预测单元103根据在瞳孔状态存储单元104中所存储的过去的检测瞳孔直径，计算估计瞳孔直径作为当前的瞳孔直径。对于估计瞳孔直径而言，例如，根据过去的检测瞳孔直径的历史计算瞳孔直径的变化速度，并将维持了该瞳孔直径变化速度时的瞳孔直径作为估计瞳孔直径。但是，估计瞳孔直径的计算并不限于上述方法，例如，也可以在瞳孔直径向变小的方向变化时总是使用人的平均最大缩瞳速度，而在向变大的方向时使用最大扩瞳速度。或者，也可以通过使用卡尔曼滤波器(Kalmanfilter)等的状态预测来求估计瞳孔直径。<亮度评价值计算处理>在步骤S207中，周边状态评价单元105从包含由角膜反射像检测单元102生成的角膜反射图像的图像区域的亮度分布，将亮度评价值与计算出该亮度评价值的辐射方向和基准方向形成的角度之间的对应关系进行计算。图6表示一例亮度评价值与计算出该亮度评价值的辐射方向和基准方向形成的角度之间的对应关系。具体来说，首先，周边状态评价单元105计算在眼区域内距角膜反射图像的中心离开了平均的角膜半径(例如为5mm)以上的区域的平均亮度作为巩膜平均亮度。作为上述的基准亮度使用该巩膜平均亮度。其次，如图5所示，周边状态评价单元105在由角膜反射像检测单元102检测出的角膜反射图像内设定基准点(在此为角膜反射图像区域的中心)，并设定以该基准点为一端且具有估计瞳孔直径的长度的线段502。然后，周边状态评价单元105基于各个线段502的各个像素的亮度和基准亮度，计算亮度评价值。通过提取具有亮度比基准亮度低的像素，并求有关所提取的所有像素的亮度和基准亮度之差的总和，作为该亮度估计值。如图7所示，对于通过从基准方向开始每次旋转规定角度而依次设定的多个线段502的每一个，进行该计算处理。这里，对于与角膜对应的图像，或者，外光映射到眼镜或角膜上的图像区域而言，其亮度比与瞳孔对应的图像的亮度高。因此，通过以与巩膜对应的图像区域的亮度为基准，仅提取亮度低于该基准亮度的像素，能够排除不是与瞳孔对应的图像区域的可能性高的像素的影响。而且，仅以与瞳孔对应的图像区域的可能性高的低亮度的像素为对象来计算亮度评价值，能够获取使瞳孔中心直线的检测精度提高的评价值。〈瞳孔中心直线检测处理〉在步骤S208中，瞳孔中心直线计算单元106基于由周边状态评价单元105计算出的亮度评价值，确定瞳孔中心直线。具体来说，瞳孔中心直线计算单元106将由周边状态评价单元105计算出的亮度评价值最大的线段确定为瞳孔中心直线。另外，也可以通过计算规定的角度范围内的亮度评价值的总和最高的范围的加权平均，检测瞳孔中心直线相对基准方向的角度。此时，将通过角膜反射图像区域的中心、且在检测角度方向伸延的直线作为瞳孔中心直线。〈瞳孔搜索处理〉在步骤S209中，如图8所示，瞳孔搜索单元107基于由瞳孔中心直线计算单元106所确定的瞳孔中心直线和包含上述的估计瞳孔直径的直径候补群，依次设定瞳孔图像区域候补，并基于瞳孔图像区域候补内的亮度状态，从瞳孔图像区域候补群中检测瞳孔图像区域(即，瞳孔图像区域的可能性最大的区域)，从而搜索瞳孔图像区域。另外，在图8中，仅示出了估计瞳孔直径的瞳孔图像区域候补群。具体来说，瞳孔搜索单元107将在瞳孔中心直线上存在中心、且以直径候补群内的一个直径候补作为直径的圆设定为瞳孔图像区域候补，并计算该瞳孔图像区域候补内的亮度状态指标。在该亮度状态指标上，这里使用在所设定的瞳孔图像区域候补内的像素群中，亮度比基准亮度低的像素群的平均亮度。<瞳孔图像区域信息的保存方法>在步骤S210中，瞳孔状态存储单元104将有关由瞳孔搜索单元107所检测的瞳孔图像区域的信息(即，有关中心位置和直径的信息)与瞳孔图像区域的检测中所使用的目标图像的拍摄时刻关联地存储。〈视线检测处理〉在步骤S211中，视线检测单元(未图示)检测视线。视线检测，例如根据脸朝向矢量和视线方向矢量计算，该脸朝向矢量表示根据脸器官群402的坐标计算出的脸的正面方向的朝向，该视线方向矢量为与根据外眼角、内眼角、瞳孔中心的坐标计算出的脸的正面方向相对的矢量。脸朝向矢量例如按下面的顺序计算。首先，通过将预先获取的驾驶者的脸器官群的三维坐标旋转及平移而进行变换。然后，将变换的三维坐标投影到瞳孔检测中使用的目标图像上。之后，计算与在步骤S203中检测的脸器官群最一致的旋转及平移参数。此时，在预先获取了驾驶者的脸器官群的三维坐标时，表示驾驶者的脸朝着的方向的矢量和按照所决定的旋转参数旋转的矢量的组合，就是脸朝向矢量。此外，视线方向矢量例如按下面的顺序计算。首先，预先存储在脸朝着规定的方向的情况下，观察与脸朝向相同的方向时的驾驶者的脸器官群和瞳孔中心的三维坐标。瞳孔中心的检测，例如通过在眼区域内获取规定的亮度以下的像素的重心来进行。接着，计算从所检测出的瞳孔的三维坐标向视线方向的相反侧移动了规定的距离的位置，作为眼球中心位置。此时，作为上述规定的距离，一般的成人眼球的半径即12mm左右较适当，但并不限于上述值，也可以采用任意的值。接着，使用在脸朝向矢量计算时获取的脸的旋转及平移参数，求检测时的眼球中心的三维坐标。接着，假设瞳孔位于以眼球中心为中心、半径为上述规定的距离的球上，并搜索所检测的瞳孔中心位于上述球上的哪个位置。最后，计算将眼球中心和所搜索的球上的点连接起来的矢量，作为视线方向。〈结束判定处理〉在步骤S212中，进行结束判定。结束判定既可以通过由人工输入结束命令来进行，也可以以外部的某种信号为触发而由瞳孔检测装置100进行。在步骤S212中判定为结束的情况下，结束图3的处理。如上所述，根据本实施方式，在瞳孔检测装置100中，周边状态评价单元105设定以角膜反射图像内的基准点为一端且具有规定的长度的多个线段，基于各个线段中的各个像素的亮度和基准亮度计算亮度评价值，瞳孔中心直线计算单元106基于亮度评价值，从多个线段中确定通过瞳孔图像的中心的瞳孔中心直线，瞳孔搜索单元107基于瞳孔中心直线的周边的亮度状态，检测瞳孔图像。这样，在基于以角膜反射图像为基准设定的线段中的亮度评价值确定了瞳孔中心直线之后，基于该瞳孔中心直线的周边的亮度状态检测瞳孔图像，所以能够主动地利用角膜反射像的信息且能够实现稳定的瞳孔检测。另外，周边状态评价单元105对于各个线段，将各个像素的亮度和所述基准亮度进行比较，提取具有亮度比基准亮度低的像素，并计算所提取的所有像素的亮度和基准亮度之差的总和作为亮度评价值。另外，瞳孔中心直线计算单元106将亮度评价值最大的线段确定为瞳孔中心直线。另外，作为所设定的线段的规定的长度，使用由瞳孔状态预测单元103根据过去的检测瞳孔直径估计出的估计瞳孔直径。但是，作为该规定的长度，也可以使用预先决定的规定值。另外，作为基准亮度，使用巩膜平均亮度。实施方式2在实施方式2中，使用基于检测瞳孔图像刚计算出的巩膜平均亮度作为基准亮度。图9是表示本发明的实施方式2的瞳孔检测装置600的结构的方框图。在图9中，瞳孔检测装置600包括周边状态评价单元601、巩膜平均亮度计算单元602、以及巩膜平均亮度存储单元603。与周边状态评价单元105同样，周边状态评价单元601计算亮度评价值与计算出该亮度评价值的辐射方向和基准方向形成的角度之间的对应关系。但是，这里，周边状态评价单元601使用由从巩膜平均亮度存储单元603接受的、基于检测瞳孔图像刚计算出的巩膜平均亮度作为基准亮度。巩膜平均亮度计算单元602使用由瞳孔搜索单元107所检测的瞳孔中心的坐标计算巩膜平均亮度，并将其输出到巩膜平均亮度存储单元603。巩膜平均亮度存储单元603将由巩膜平均亮度计算单元602计算出的巩膜平均亮度与在该巩膜平均亮度的计算中所使用的目标图像的拍摄时刻关联地存储。下面说明具有以上的结构的瞳孔检测装置600的动作。图10是用于说明瞳孔检测装置600的动作的流程图。在步骤S701中，周边状态评价单元601使用基于检测瞳孔图像刚计算出的巩膜平均亮度作为基准亮度，计算亮度评价值与计算出该亮度评价值的辐射方向和基准方向形成的角度之间的对应关系。在步骤S702中，巩膜平均亮度计算单元602根据目标图像、在步骤S205中计算出的角膜反射图像、以及在步骤S209中计算出的瞳孔中心和检测瞳孔直径，计算目标图像上的巩膜平均亮度。具体来说，在眼区域内，将排除了具有角膜反射图像以上的亮度的像素和属于以瞳孔中心为中心且以检测瞳孔直径为直径的圆内的像素之后的像素的平均亮度，作为巩膜平均亮度。在步骤S703中，巩膜平均亮度存储单元603将在步骤S702中计算出的巩膜平均亮度与在该巩膜平均亮度的计算中所使用的目标图像的拍摄时刻关联地存储。如上所述，根据本实施方式2，在瞳孔检测装置600中，周边状态评价单元601将基于检测瞳孔图像刚计算出的巩膜平均亮度作为基准亮度，计算亮度评价值。由此，能够提高瞳孔检测精度。实施方式3在实施方式3中，根据照度来调整在瞳孔搜索处理中所设定的直径候补。图11是表示本发明的实施方式3的瞳孔检测装置800的结构的方框图。在图11中，瞳孔检测装置800包括照度测定单元801、照明状态存储单元802、照明状态估计单元803、以及瞳孔搜索单元804。照度测定单元801测定目标图像拍摄时的照度，并将其输出到照明状态存储单元802和照明状态估计单元803。照明状态存储单元802将从照度测定单元801接受的照度与拍摄时刻关联地存储。照明状态估计单元803将从照度测定单元801接受的第一照度和在照明状态存储单元802中所存储的紧靠第一照度之前测定出的第二照度进行比较，并将比较结果输出到瞳孔搜索单元804。与实施方式1的瞳孔搜索单元107同样，瞳孔搜索单元804基于由瞳孔中心直线计算单元106确定出的瞳孔中心直线和包含上述的估计瞳孔直径的直径候补群，依次设定瞳孔图像区域候补，并基于瞳孔图像区域候补内的亮度状态，从瞳孔图像区域候补群中检测瞳孔图像区域(即，瞳孔图像区域的可能性最大的区域)，从而搜索瞳孔图像区域。但是，瞳孔搜索单元804基于从照明状态估计单元803接受的有关比较结果的信息，调整上述的直径候补。具体来说，瞳孔搜索单元804，在第一照度低于第二照度的情况下(即，本次的照度低于上次的照度的情况下)，使直径候补变大，而在相反的情况下，使直径候补变小。下面说明具有以上的结构的瞳孔检测装置800的动作。图12是用于说明瞳孔检测装置800的动作的流程图。在步骤S901中，照度测定单元801测定拍摄环境的照度。在步骤S902中，照明状态存储单元802将在步骤S901中测定出的照度与目标图像的拍摄时刻关联地存储。在步骤S903中，瞳孔搜索单元804基于从照明状态估计单元803接受的有关比较结果的信息调整直径候补，基于由瞳孔中心直线计算单元106所确定的瞳孔中心直线和调整过的直径候补，依次设定瞳孔图像区域候补，并基于瞳孔图像区域候补内的亮度状态，从瞳孔图像区域候补群中检测瞳孔图像区域，从而搜索瞳孔图像区域。如上所述，根据本实施方式，在瞳孔检测装置800中，瞳孔搜索单元804基于目标图像的拍摄时的照度来调整直径候补。由此，能够设定反映了目标图像的拍摄时的瞳孔状态的直径候补，所以能够缩短用于瞳孔检测的时间。实施方式4实施方式4涉及从亮度评价值与计算出该亮度评价值的辐射方向和基准方向形成的角度之间的对应关系，确定瞳孔中心直线的方法的变形。图13是表示本发明的实施方式4的瞳孔检测装置1000的结构的方框图。在图13中，瞳孔检测装置1000具有瞳孔中心直线计算单元1001。瞳孔中心直线计算单元1001基于由周边状态评价单元105计算出的亮度评价值，确定瞳孔中心直线。具体来说，瞳孔中心直线计算单元1001—边移位基准角度一边依次设定具有规定的角度范围的平均计算范围，并对于属于各个平均计算范围内的角度，计算以上述的对应关系关联的亮度评价值的平均值。这里，例如，平均计算范围是以基准角度为中心的士3度左右。然后，瞳孔中心直线计算单元1001将与平均值为最大的平均计算范围的基准角度对应的线段确定成为瞳孔中心直线。这样，通过在具有规定的角度范围的平均计算范围计算亮度评价值的平均值，能够获取不仅考虑了基准角度、还考虑了其周边范围的状况的评价值。实施方式5与实施方式4同样地，实施方式5涉及从亮度评价值与计算出该亮度评价值的辐射方向和基准方向形成的角度之间的对应关系，确定瞳孔中心直线的方法的变形。图14是表示本发明的实施方式4的瞳孔检测装置1100的结构的方框图。在图14中，瞳孔检测装置1100具有瞳孔中心直线计算单元1101。瞳孔中心直线计算单元1101基于由周边状态评价单元105计算出的亮度评价值，确定瞳孔中心直线。具体来说，瞳孔中心直线计算单元1101将与如下的角度范围的中心角度对应的线段确定为瞳孔中心直线，即，在以上述的对应关系中的任意的角度为中心且具有规定的角宽度的角度范围内的、亮度评价值作为中心基准而对称的多个角度范围内的、其中心的亮度评价值为最大的角度范围的中心角度。也就是说，瞳孔中心直线计算单元1101将与亮度评价值的分布在周边呈对称的多个角度中的、亮度评价值为最大的角度对应的线段，确定为瞳孔中心直线。详细而言，瞳孔中心直线计算单元1101对表示上述的对应关系的曲线以角度进行微分，并提取微分值的正负调换的角度。然后，瞳孔中心直线计算单元1101将与在所提取的角度群内的、具有最大的亮度评价值的角度对应的线段，确定为瞳孔中心直线。根据如上的瞳孔中心直线的确定方法，图15中的峰值P1201被排除，而峰值P1202被选择。这里，由于瞳孔为略圆形，所以相对于通过瞳孔中心的直线呈线对称的形状。因此，亮度评价值也呈以瞳孔中心直线为中心对称的分布。如上所述，通过利用该特性确定瞳孔中心直线，能够减轻通过瞳孔中心的直线的角度以外的角度因图像噪声或睫毛等误检测要素而具有最大的亮度评价值所造成的误检测。实施方式6实施方式6涉及瞳孔搜索处理的变形。图16是表示本发明的实施方式6的瞳孔检测装置1300的结构的方框图。在图16中，瞳孔检测装置1300具有瞳孔搜索单元1301。瞳孔搜索单元1301基于瞳孔中心直线上的亮度状态，搜索瞳孔图像。具体来说，瞳孔搜索单元1301从由角膜反射像检测单元102生成的图像区域的亮度分布，计算在瞳孔中心直线上的各个点的亮度梯度(在离开角膜反射图像的中心的方向上的亮度梯度)，并选择亮度梯度最大的点作为瞳孔的轮廓上的点(即，瞳孔轮廓点)。然后，瞳孔搜索单元1301在瞳孔中心直线上检测如下的点作为瞳孔中心，S卩，从瞳孔轮廓点朝向角膜反射图像的中心、距瞳孔轮廓点离开了估计瞳孔直径的一半(即，估计瞳孔半径)的点。也就是说，对于亮度而言，按角膜反射图像、角膜图像、瞳孔图像的顺序降低。因此，如果计算在离开角膜反射图像的中心的方向上的亮度梯度，如图17所示，则在角膜反射图像和瞳孔图像的边界处亮度梯度变低(即，亮度梯度为负)，而在瞳孔图像和角膜(角膜反射图像部分除外)的边界处亮度梯度最高。因此，如上所述，通过选择亮度梯度最大的点，能够确定瞳孔轮廓点，而且能够根据该瞳孔轮廓点确定瞳孔中心。实施方式7与实施方式6同样，实施方式7涉及瞳孔搜索处理的变形。在实施方式7中，在瞳孔搜索处理中使用分离度滤波器。图18是表示本发明的实施方式7的瞳孔检测装置1400的结构的方框图。在图18中，瞳孔检测装置1400具有瞳孔搜索单元1401。瞳孔搜索单元1401基于瞳孔中心直线周边的亮度状态，搜索瞳孔图像。具体来说，瞳孔搜索单元1401在将分离度滤波器的基准点设置在瞳孔中心直线上的状态下依次移动分离度滤波器，并在基准点所在的各个点计算分离度η，并检测分离度η最大的点作为瞳孔中心。这里，如图19所示，分离度滤波器由以估计瞳孔直径为直径的圆形的区域1和其周边区域即区域2构成。另外，由以下式(3)表示分离度滤波器。权利要求1.检测眼区域图像内的瞳孔图像的瞳孔检测装置，包括第一检测单元，检测所述眼区域图像的高亮度图像区域即角膜反射图像；评价值计算单元，设定以所述角膜反射图像内的基准点为一端且具有规定的长度的多个线段，并基于各个线段中的各个像素的亮度和基准亮度，计算亮度评价值；确定单元，基于所述亮度评价值，从所述多个线段中确定通过所述瞳孔图像的中心的瞳孔中心直线；以及第二检测单元，基于所述瞳孔中心直线的周边的亮度状态，或者所述瞳孔中心直线上的亮度状态，检测所述瞳孔图像。2.如权利要求1所述的瞳孔检测装置，所述评价值计算单元对于所述各个线段，将所述各个像素的亮度和所述基准亮度进行比较，提取具有低于所述基准亮度的亮度的像素，并计算提取出的所有像素的亮度和所述基准亮度之差的总和作为所述亮度评价值。3.如权利要求2所述的瞳孔检测装置，所述确定单元将所述亮度评价值最大的线段确定为所述瞳孔中心直线。4.如权利要求1所述的瞳孔检测装置，所述第二检测单元依次设定在所述瞳孔中心直线上存在中心的瞳孔图像区域候补，并基于在所设定的各个瞳孔图像区域候补内的像素群中亮度比所述基准亮度低的像素群的平均亮度，检测所述瞳孔图像。5.如权利要求1所述的瞳孔检测装置，还包括基于由所述第二检测单元检测出的所述瞳孔图像的直径，计算在所述瞳孔图像外存在的巩膜的亮度的巩膜亮度计算单元，所述评价值计算单元将由所述巩膜亮度计算单元刚计算出的所述巩膜的亮度作为所述基准亮度。6.如权利要求4所述的瞳孔检测装置，所述第二检测单元根据照度来调整所述设定的瞳孔图像区域候补的直径。7.如权利要求2所述的瞳孔检测装置，所述确定单元每次移位具有规定的角度范围的平均计算范围，并基于在各个计算范围计算出的亮度评价值的平均值，确定所述瞳孔中心直线。8.如权利要求2所述的瞳孔检测装置，所述确定单元将在有关各个线段计算出的亮度评价值与基准方向和各个线段形成的角度之间的对应关系中，在亮度评价值的分布在周边呈对称的多个角度内的、亮度评价值最大的角度对应的线段，确定为所述瞳孔中心直线。9.如权利要求1所述的瞳孔检测装置，所述第二检测单元基于所述瞳孔中心直线上的亮度梯度检测所述瞳孔图像的轮廓点，并检测距所述轮廓点离开了瞳孔半径的点作为所述瞳孔图像的中心。10.如权利要求1所述的瞳孔检测装置，所述第二检测单元对所述瞳孔中心直线上的多个点设定分离度滤波器，并基于在各个点计算出的分离度，检测所述瞳孔图像。11.检测眼区域图像内的瞳孔图像的瞳孔检测方法，包括以下步骤检测所述眼区域图像的高亮度图像区域即角膜反射图像；设定以所述角膜反射图像内的基准点为一端且具有规定的长度的多个线段；基于各个线段中的各个像素的亮度和基准亮度，计算亮度评价值；基于所述亮度评价值，从所述多个线段中确定通过所述瞳孔图像的中心的瞳孔中心直线；以及基于所述瞳孔中心直线的周边的亮度状态，或者所述瞳孔中心直线上的亮度状态，检测所述瞳孔图像。全文摘要本发明公开了瞳孔检测装置和瞳孔检测方法，即使在瞳孔的大部分被角膜反射像遮掩的情况下，通过主动地利用角膜反射像的信息，也能够稳定地检测瞳孔。在瞳孔检测装置(100)中，周边状态评价单元(105)设定以角膜反射图像内的基准点为一端且具有规定的长度的多个线段，基于各个线段中的各个像素的亮度和基准亮度计算亮度评价值，瞳孔中心直线计算单元(106)基于亮度评价值，从多个线段中确定通过瞳孔图像的中心的瞳孔中心直线，瞳孔搜索单元(107)基于瞳孔中心直线的周边的亮度状态，检测瞳孔图像。文档编号G06T1/00GK102510734SQ20118000389公开日2012年6月20日申请日期2011年6月15日优先权日2010年7月20日发明者冈兼司,筑泽宗太郎申请人:松下电器产业株式会社