视线检测装置的制作方法

本发明涉及能够检测车的驾驶员及其他的对象者的视线方向的视线检测装置。

背景技术：

专利文献1所记载的注视点检测方法，使用2台以上的摄影机及在这些摄影机的开口部外侧所设置的光源，将对象者的面部图像生成为明瞳孔图像及暗瞳孔图像，基于这些图像，计算与将摄影机和瞳孔连结的基准线垂直的平面上的从对象者的角膜反射点到瞳孔的矢量，基于该矢量，使用规定的函数计算对象者的视线相对于各摄影机的基准线的方向。并且，对上述函数进行校正以使得对应于各摄影机而计算出的视线的方向接近，使用校正过的函数计算视线的方向并求出视线在规定的平面上的交点，由此能够检测对象者在规定平面上的注视点。

在专利文献1所记载的注视点检测方法中，作为上述光源，设置有输出互不相同的波长的光的发光元件，通过使这些发光元件交替地发光，在通过一方的发光元件对对象者的眼睛照射了照明光时生成明瞳孔像，在通过另一方的发光元件照射了照明光时生成暗瞳孔像。

在先技术文献

专利文献

专利文献1：国际公开2012/020760号公报

技术实现要素：

发明解决的课题

然而，在专利文献1所记载的注视点检测方法中，为了生成明瞳孔像和暗瞳孔像，需要2次的照明光的照射，因此瞳孔像的取得需要时间，进而使得使用这些瞳孔像进行的注视点、视线的检测处理的高速化变得困难。

因此，本发明的目的在于，提供能够通过1次的检测光照射取得明瞳孔像和暗瞳孔像的生成所用的图像，能够实现视线检测的处理的高速化的视线检测装置。

用于解决课题的手段

为了解决上述课题，本发明的视线检测装置，具有：第1摄影机以及第2摄影机，分离配置，各自取得至少包含眼睛的区域的图像；第1光源，与上述第1摄影机接近而配置；第2光源，与上述第2摄影机接近而配置；以及瞳孔图像提取部，从由各个摄影机取得的明瞳孔图像和暗瞳孔图像中提取瞳孔图像，

上述视线检测装置的特征在于，上述视线检测装置进行第1图像取得和第2图像取得，在上述第1图像取得中，使上述第1光源点亮，通过上述第1摄影机取得明瞳孔图像并通过上述第2摄影机取得暗瞳孔图像，在上述第2图像取得中，使上述第2光源点亮，通过上述第2摄影机取得明瞳孔图像并通过上述第1摄影机取得暗瞳孔图像。

本发明的视线检测装置可以为，具有：角膜反射光中心检测部，根据上述暗瞳孔图像检测角膜反射光；及视线方向计算部，根据上述瞳孔图像和上述角膜反射光，计算上述对象者的视线方向。

本发明的视线检测装置，能够在第1光源和第2光源中的一方发光时取得明瞳孔图像和暗瞳孔图像，能够高速地进行视线检测处理。

在本发明的视线检测装置中，优选的是，在上述第1光源点亮时，上述第1摄影机和上述第2摄影机同时取得图像，在上述第2光源点亮时，上述第1摄影机和上述第2摄影机同时取得图像。

通过使用于提取明瞳孔图像的图像的取得和用于提取暗瞳孔图像的图像的取得同时进行，能够缩短用2个摄影机取得明瞳孔图像和暗瞳孔图像所用的周期，能够更高速地进行视线检测处理。

另外，在本发明中，也可以是，在第1光源点亮期间，以不重复的方式交替地进行基于第1摄影机的图像取得和基于第2摄影机的图像取得，在第2光源点亮期间，以不重复的方式交替地进行基于第1摄影机的图像取得和基于第2摄影机的图像取得。

本发明优选的是，第1图像取得和第2图像取得交替地进行。

在此情况下，优选的是，设置有监视在上述第1图像取得中获得的图像的明亮度、并在其下一次的第1图像取得中基于上述监视结果对通过摄影机取得图像所用的曝光条件进行控制的曝光控制部。

另外，优选的是，设置有监视在上述第2图像取得中获得的图像的明亮度、并在其下一次的第2图像取得中基于上述监视结果对通过摄影机取得图像所用的曝光条件进行控制的曝光控制部。

例如，本发明的视线检测装置，设置有：图像比较部，对在第1图像取得中获得的图像的明亮度和在第2图像取得中获得的图像的明亮度进行比较；以及相应于上述图像比较部的比较结果在第1图像取得和第2图像取得中的至少一个图像取得中控制上述曝光条件的上述曝光控制部。

在此情况下，在上述图像比较部中，对在第1图像取得中获得的作为明瞳孔图像的图像的明亮度、和在上述第2图像取得中获得的作为暗瞳孔图像的图像的明亮度进行比较。

另外，在上述图像比较部中，对在第1图像取得中获得的作为暗瞳孔图像的图像的明亮度、和在上述第2图像取得中获得的作为明瞳孔图像的图像的明亮度进行比较。

或者，在上述图像比较部中，对在上述第1图像取得或在上述第2图像取得中获得的图像和目标值进行比较。

通过上述发明，能够抑制由多个光源的亮度等的差异引起的取得图像的明亮度的偏差，因此能够取得恒定的画质的明瞳孔图像和暗瞳孔图像，由此能够进行高精度的视线检测。

本发明的视线检测装置，优选的是，上述曝光条件，是上述光源的发光时间及发光强度、以及上述摄影机的图像取得时间、增益中的至少一个。

在本发明的视线检测装置中，优选的是，上述曝光条件包含上述摄影机的图像取得时间，在第1图像取得和第2图像取得中的至少一个图像取得中，相应于基于上述第1摄影机的图像取得时间和基于上述第2摄影机的图像取得时间中的较长一方的时间，控制光源的发光时间。

由此，就明瞳孔图像和暗瞳孔图像所用的图像的取得而言，不需要复杂的控制。

发明的效果

根据本发明，在将第1光源和第2光源中的一方点亮期间，能够取得生成明瞳孔像和暗瞳孔像所用的图像，因此能够实现视线检测的处理的高速化。

另外，根据本发明，能够抑制由光源的亮度的变动等引起的、取得图像的明亮度的偏差，因此能够获得恒定的画质的明瞳孔图像和暗瞳孔图像，由此能够进行高精度的视线检测。

附图说明

图1是表示本发明的实施方式所涉及的视线检测装置的构成的主视图。

图2是表示本发明的实施方式所涉及的视线检测装置的构成的框图。

图3是表示人的眼睛的视线的朝向与摄影机的关系的俯视图。

图4是根据瞳孔中心和角膜反射光的中心计算视线的朝向所用的说明图。

图5是表示本发明的实施方式的视线检测装置中的图像取得的定时的时序图。

图6是表示光源的发光和摄影机的图像取得的定时的时序图。

具体实施方式

以下，关于本发明的实施方式所涉及的视线检测装置，参照附图来详细地说明。

＜视线检测装置的构造＞

图1是表示本实施方式的视线检测装置的构成的主视图，图2是表示本实施方式的视线检测装置的构成的框图，图3是表示人的眼睛的视线的朝向与摄影机的关系的俯视图，图4是根据瞳孔中心和角膜反射光的中心计算视线的朝向所用的说明图。

本实施方式的视线检测装置，如图2所示，具备2个显像装置10、20及运算控制部CC，在汽车的车厢内的、例如仪表板、风窗的上部等，被设置为朝向作为对象者的驾驶员的面部。

如图1和图3所示，2个显像装置10、20隔开规定距离L10而配置，各自具备的摄影机12、22的光轴13C、23C朝向驾驶员等的眼睛50。摄影机12、22具有CMOS(互补金属氧化物膜半导体)、CCD(电荷耦合元件)等摄像元件，取得驾驶员的包含眼睛的面部的图像。在摄像元件中，用二维地排列的多个像素检测光。

如图1和图2所示，显像装置10具备第1光源11和第1摄影机12，第1光源11包括12个LED(发光二极管)光源111。这些LED光源111，在第1摄影机12的透镜12L的外侧被配置为，它们的光轴111C与第1摄影机12的光轴12C相隔距离L11且成为圆状。显像装置20具备第2光源21和第2摄影机22，第2光源21包括12个LED光源211。这些LED光源211在第2摄影机22的透镜22L的外侧被配置为，它们的光轴211C与第2摄影机22的光轴22C相隔距离L21且成为圆状。

优选的是，在第1摄影机12和第2摄影机22中，配置与光源11、21射出的检测光的波长相应的带通滤波器。由此，能够抑制检测光以外的波长的光的入射，因此能够高精度地进行图像比较部33中的图像的明亮度的比较、瞳孔图像提取部40中的瞳孔图像的提取、及视线方向计算部45中的视线方向的计算。

第1光源11的LED光源111及第2光源21的LED光源211，射出例如波长为850nm的红外光(近红外光)作为检测光，并被配置为能够将该检测光提供给对象者的眼睛。这里，850nm是人的眼睛的眼球内、光吸收率低的波长，该波长的光容易被眼球的里侧的视网膜反射。

第1摄影机12与LED光源111的光轴间距离L11，考虑视线检测装置与作为对象者的驾驶员的距离时，相对于第1摄影机12与第2摄影机22的光轴间距离L10十分短，因此能够视为第1光源11相对于第1摄影机12而言彼此的光轴为大致同轴。同样地，第2摄影机22与LED光源211的光轴间距离L21，相对于第1摄影机12与第2摄影机22的光轴间距离L10十分短，因此能够视为第2光源21相对于第2摄影机22而言彼此的光轴为大致同轴。另外，光轴间距离L10被设定为与例如人的两眼睛的间隔几乎一致的尺寸。

与此相对，第1摄影机12与第2摄影机22的光轴间距离L10十分长，因此第1光源11及第1摄影机12的各光轴、与第2光源21及第2摄影机22的各光轴，彼此不是同轴。在以下的说明中，关于上述状态，有时表现为2个部件是大致同轴等，有时表现为2个部件是非同轴等。

运算控制部CC用计算机的CPU、存储器构成，图2所示的各框的功能，通过执行预先安装的软件来进行运算。

在图2所示的运算控制部CC中，设置有光源控制部31、32、图像比较部33、图像取得部34、35、曝光控制部36、瞳孔图像提取部40、瞳孔中心计算部43、角膜反射光中心检测部44、及视线方向计算部45。

光源控制部31及光源控制部32，按照来自曝光控制部36的指示信号，分别控制第1光源11及第2光源21的点亮·非点亮。通过摄影机12、22取得的图像，按每帧分别被图像取得部34、35取得。

图像比较部33对于通过图像取得部34、35取得的图像、即提取明瞳孔图像或暗瞳孔图像所用的图像，将在第1图像取得中取得的图像的明亮度和在第2图像取得中取得的图像的明亮度互相比较。

这里，所谓的第1图像取得，意味着，在从第1光源11赋予检测光时从第1摄影机12及第2摄影机22同时或大致同时分别取得图像的过程，所谓的第2图像取得，意味着，在从第2光源21赋予检测光时从第1摄影机12及第2摄影机22同时或大致同时地分别取得图像的过程。另外，在从第2光源赋予检测光时也可以是第1图像取得，在从第1光源赋予检测光时也可以是第2图像取得。

在图像比较部33中，对在第1图像取得中为了获得明瞳孔图像而通过第1摄影机12取得的图像、和在第2图像取得中为了获得暗瞳孔图像而通过第1摄影机12取得的图像的明亮度进行比较。另外，对在第1图像取得中为了获得暗瞳孔图像而通过第2摄影机22取得的图像、和在第2图像取得中为了获得明瞳孔图像而通过第2摄影机22取得的图像的明亮度进行比较。通过将该比较结果提供给曝光控制部36，在第1图像取得和第2图像取得中，能够使通过第1摄影机12获得的明瞳孔图像与暗瞳孔图像的明亮度的差(瞳孔部以外的面部图像的明亮度的差)消除或减少，而且能够使通过第2摄影机22获得的暗瞳孔图像与明瞳孔图像的明亮度的差(瞳孔部以外的面部图像的明亮度的差)消除或减少。

另外，作为其他的实施的方式中的图像比较部33的动作，也可以是，对于在第1图像取得中通过第1摄影机12取得的用于获得明瞳孔图像的图像、和在下一次的第1图像取得中通过第1摄影机12取得的用于获得明瞳孔图像的图像，比较明亮度，对于在第1图像取得中通过第2摄影机22取得的用于获得暗瞳孔图像的图像、和在下一次的第1图像取得中通过第2摄影机22取得的用于获得暗瞳孔图像的图像，比较明亮度。

同样地，也可以是，对于第2图像取得和其下一次的第2图像取得，在用于获得明瞳孔图像的图像彼此间比较明亮度，并对于第2图像取得和其下一次的第2图像取得，在用于获得暗瞳孔图像的图像彼此间比较明亮度。通过将该比较结果提供给曝光控制部36，在第1图像取得和第2图像取得中，能够获得明亮度的偏差少的明瞳孔图像和暗瞳孔图像。

或者，预先将图像的明亮度的基准确定为目标值。在图像比较部33中，也可以是，对在第1图像取得中通过第1摄影机12取得的用于获得明瞳孔图像的图像的明亮度、和明瞳孔图像用的目标值进行比较，而且对通过第2摄影机22取得的用于获得暗瞳孔图像的图像的明亮度、和暗瞳孔图像用的目标值进行比较，并将该比较结果提供给曝光控制部36。在该控制中，为了使先进行的第1图像取得中的图像的明亮度最优化，变更下一次的第1图像取得中的曝光条件。这对于第2图像取得也是同样的。

图像彼此的明亮度的比较或者图像的明亮度与目标值的比较，例如是通过图像取得部34、35取得的图像整体的亮度值的平均值的比较或者合计值的比较。或者，既可以是亮度的最大值与最小值的差的比较，也可以将亮度值的标准偏差互相比较。

曝光控制部36，根据图像比较部33的比较结果，控制摄像所用的曝光条件，以使得在第1图像取得和第2图像取得中取得的、应当比较的图像间的明亮度的差收于规定范围内。

通过曝光控制部36控制的曝光条件，例如对第1光源11和第2光源21的发光时间及发光强度、以及第1摄影机12和第2摄影机22的图像取得时间(摄影机的曝光时间)、传感器增益中的至少一个进行控制。与该控制对应的信号，从曝光控制部36被输出至光源控制部31、32、第1摄影机12及第2摄影机22，在光源控制部31、32中，按照控制信号，设定第1光源11和第2光源21的发光时间及发光强度，在第1摄影机12及第2摄影机22中，按照控制信号，设定与快门的开口时间对应的图像取得时间、以及传感器增益。

通过图像取得部34、35取得的图像，按每帧被读入瞳孔图像提取部40。瞳孔图像提取部40具备明瞳孔图像检测部41和暗瞳孔图像检测部42。

＜明瞳孔图像和暗瞳孔图像＞

图3是示意地表示对象者的眼睛50的视线的朝向与摄影机的关系的俯视图。图4是根据瞳孔中心和角膜反射光的中心计算视线的朝向所用的说明图。在图3的(A)和图4的(A)中，对象者的视线方向VL朝向显像装置10与显像装置20的中间，在图3的(B)和图4的(B)中，视线方向VL朝向摄影机的光轴13C的方向。

关于眼睛50，在前方具有角膜51，瞳孔52和晶状体53位于其后方。并且在最后部存在视网膜54。

从第1光源11和第2光源21发出的波长850nm的红外光，在眼球内的吸收率低，该光容易被视网膜54反射。因此，在第1光源11点亮时，在通过与第1光源11大致同轴的第1摄影机12取得的图像中，被视网膜54反射后的红外光通过瞳孔52后被检测到，瞳孔52看起来明亮。该图像作为明瞳孔图像被明瞳孔图像检测部41提取。这对于第2光源21点亮时通过与其大致同轴的第2摄影机22取得的图像也是同样的。

与此相对，在将第1光源11点亮了时通过与第1光源11非同轴的第2摄影机22取得图像的情况下，被视网膜54反射后的红外光不易被第2摄影机22检测，因此瞳孔52看起来暗。因此，该图像作为暗瞳孔图像，被暗瞳孔图像检测部42提取。这对于第2光源21点亮了时通过与其非同轴的第1摄影机12取得的图像也是同样的。

在图2所示的瞳孔图像提取部40中，从通过明瞳孔图像检测部41检测到的明瞳孔图像减去通过暗瞳孔图像检测部42检测到的暗瞳孔图像，优选的是瞳孔52以外的图像被抵消，生成瞳孔52的形状变得明亮的瞳孔图像信号。该瞳孔图像信号被提供给瞳孔中心计算部43。在瞳孔中心计算部43，瞳孔图像信号被图像处理后被二值化，计算出与瞳孔52的形状和面积对应的部分的区域图像。并且，提取包含该区域图像的椭圆，椭圆的长轴与短轴的交点被计算为瞳孔52的中心位置。或者，根据瞳孔图像的亮度分布，求出瞳孔52的中心。

另外，通过暗瞳孔图像检测部42检测到的暗瞳孔图像信号，被提供给角膜反射光中心检测部44。暗瞳孔图像信号中包含有图3和图4所示的、基于从角膜51的反射点55反射后的反射光的亮度信号。

如图3的(A)所示，在任一个光源点亮时，来自该光源的光在角膜51的表面被反射，该光被第1摄影机12和第2摄影机22这两者取得，并被明瞳孔图像检测部41和暗瞳孔图像检测部42检测到。尤其是，在暗瞳孔图像检测部42，瞳孔52的图像比较暗，因此从角膜51的反射点55反射后的反射光明亮地被检测为点图像。

来自角膜51的反射点55的反射光是成像浦肯野像的光，如图4所示，在摄影机12、22的摄像元件中，取得非常小的面积的点图像。在角膜反射光中心检测部44中，对点图像进行图像处理，求出来自角膜51的反射点55的反射光的中心。

通过瞳孔中心计算部43计算出的瞳孔中心计算值和通过角膜反射光中心检测部44计算出的角膜反射光中心计算值，被提供给视线方向计算部45。在视线方向计算部45中，根据瞳孔中心计算值和角膜反射光中心计算值，检测视线的朝向。

在图3的(A)所示的情况下，人的眼睛50的视线方向VL朝向2个显像装置10、20的中间。此时，如图4的(A)所示，来自角膜51的反射点55的中心与瞳孔52的中心一致。与此相对，在图3的(B)所示的情况下，人的眼睛50的视线方向VL朝向稍左方向，因此如图4的(B)所示那样，瞳孔52的中心与来自角膜51的反射点55的中心发生位置偏差。

在视线方向计算部45中，计算瞳孔52的中心与来自角膜51的反射点55的中心的直线距离α(图4的(B))。另外，设定以瞳孔52的中心为原点的X－Y坐标，计算将瞳孔52的中心与反射点55的中心连结的线与X轴的倾斜角度β。并且，根据上述直线距离α和上述倾斜角度β，计算视线方向VL。

上述的瞳孔图像提取、角膜反射光中心的检测及利用了这些的视线方向VL的计算，是基于通过2个摄影机12、22获得的立体图像进行的，因此能够使视线方向VL的检测成为三维地求出。

＜摄像以及检测动作＞

在视线检测装置中，在第1图像取得中，使第1光源11发光，在此期间，通过第1摄影机12和第2摄影机22同时或大致同时地取得图像。在第2图像取得中，使第2光源发光，在此期间，通过第1摄影机12和第2摄影机22同时或大致同时地取得图像。

第1图像取得以及第2图像取得、与明瞳孔图像以及暗瞳孔图像的检测的关系如下。

(A)第1图像取得：第1光源11点亮，

(A－1)通过第1摄影机12，取得用于获得明瞳孔图像的图像。

(A－2)通过第2摄影机22，取得用于获得暗瞳孔图像的图像。

(B)第2图像取得：第2光源21点亮，

(B－1)通过第2摄影机22，取得用于获得明瞳孔图像的图像。

(B－2)通过第1摄影机12，取得用于获得暗瞳孔图像的图像。

上述(A)第1图像取得和(B)第2图像取得，基本上交替地进行。

在第1图像取得和第2图像取得各进行了1次后，图像比较部33每当进行图像取得、都在即将进行之前对在第1图像取得和第2图像取得中取得的图像的明亮度进行互相比较，并将比较结果送出至曝光控制部36。收到比较结果的曝光控制部36，相应于该比较结果，生成控制信号，该控制信号用于控制光源的曝光条件，以使得在今后的图像取得中取得的图像的明亮度收于规定范围内。该控制信号被送出至与在下一次的图像取得中使用的光源对应的光源控制部31、32及图像取得部34、35，例如针对光源调整发光时间或发光强度，针对摄影机调整曝光时间、增益。

另外，在该实施的方式中，在第1图像取得中，通过第1摄影机取得明瞳孔图像并通过第2摄影机取得暗瞳孔图像，在该时刻，能够从明瞳孔图像和暗瞳孔图像获得瞳孔图像，进而获得角膜反射光，并计算视线方向。同样地，在第2图像取得中也是，通过第1摄影机取得暗瞳孔图像并通过第2摄影机取得明瞳孔图像，因此在该时刻，能够根据瞳孔图像和角膜反射光计算视线方向。

这样，在第1图像取得和第2图像取得的各自的时刻能够计算视线方向，因此能够使视线检测动作高速化。

以下，参照图5，更具体地进行说明。图5是表示本实施方式的视线检测装置中的图像取得的定时的时序图。图5的(a)～(d－4)分别表示以下的信号等的定时。

(a)：第1光源11的发光定时

(b－1)：指示第1摄影机12的曝光开始的触发信号(TE1，TE2，TE3，TE4，TE5，...)

(b－2)：指示从第1摄影机12向图像取得部34的图像取得的开始的触发信号(TD1，TD2，TD3，TD4，TD5，...)

(b－3)：第1摄影机12中的图像取得(曝光)

(b－4)：从第1摄影机12向图像取得部34的数据转送

(c)：第2光源21的发光定时

(d－1)：指示第2摄影机22的曝光开始的触发信号

(d－2)：指示从第2摄影机22向图像取得部35的图像取得的开始的触发信号

(d－3)：第2摄影机22中的图像取得(曝光)

(d－4)：从第2摄影机22向图像取得部35的数据转送

这里，(b－1)和(d－1)的触发信号的定时是相同的，由此，从第1摄影机12和第2摄影机22同时取得图像。另外，在图5所示的例子中，每次图像取得的、(a)或(c)的发光时间、(b－3)和(d－3)的曝光时间设为相同的长度。

在图5所示的例子中，作为第1图像取得，与第1光源11的发光L1相应地，同时进行第1摄影机12中的曝光E11及第2摄影机22中的曝光E12。通过与第1光源11大致同轴的第1摄影机12取得的图像是明瞳孔图像提取所用的图像，通过与第1光源11非同轴的第2摄影机22取得的图像是暗瞳孔图像提取所用的图像。

发光L1一结束，曝光E11、E12同时结束，与曝光的结束同时地，从第1摄影机12及第2摄影机22向图像取得部34、35的数据转送D11、D12(详细而言是数据转送和向帧的展开)分别开始。数据转送D11、D12的时间TG，无论光源11、21的曝光时间如何，在各区间都是相同的。

接下来，作为第2图像取得，与第2光源21的发光L2相应地，第1摄影机12中的曝光E21及第2摄影机22中的曝光E22同时进行。通过与第2光源21大致同轴的第2摄影机22取得的图像是明瞳孔图像提取所用的图像，通过与第2光源21非同轴的第1摄影机12取得的图像是暗瞳孔图像提取所用的图像。发光L2一结束，曝光E21、E22同时结束，与曝光的结束同时地，从第1摄影机12及第2摄影机22向图像取得部34、35的数据转送D21、D22分别开始。此前的发光L1、L2的时间及曝光E11、E12、E21、E22的时间，是预先设定的相同的时间。

这里，图像比较部33，对在先进行的第1图像取得和第2图像取得中获得的图像的明亮度进行互相比较，将比较结果送出至曝光控制部36。在该比较中，对在第1图像取得中获得的用于明瞳孔图像的图像的明亮度、和在第2图像取得中获得的用于暗瞳孔图像的图像的明亮度进行比较。另外，对在第1图像取得中获得的用于暗瞳孔图像的图像的明亮度、和在第2图像取得中获得的用于明瞳孔图像的图像的明亮度进行比较。

图5示出了基于第1光源11的发光L1的在第1图像取得中获得的图像的明亮度、低于基于第2光源21的发光L2的在第2图像取得中获得的图像的明亮度的例子。因此，在曝光控制部36中，在下一期间的第1图像取得中，将第1光源11的发光L3中的曝光条件提高(例如使摄影机的图像取得时间(曝光)延长)，来提高受光量。因此，在第1光源11发光L3的第2次的第1图像取得中，取得比先前的第1图像取得明亮的图像。

并且，在图5所示的例子中，对基于第2光源21的发光L2的第2图像取得、和基于第1光源11的发光L3的第2次的第1图像取得进行比较的结果，在第2光源21发光L4的第2次的第2图像取得中，图像取得的曝光条件被校正为延长。

另外，如前所述，也可以是，对在第1图像取得中获得的图像的明亮度彼此进行比较，根据该比较结果，使后面的第1图像取得中的曝光条件变化，对在第2图像取得中获得的图像的明亮度彼此进行比较，根据该比较结果，在后面的第2图像取得中使曝光条件变化。

或者，也可以是，将在先前的第1图像取得中获得的图像(明瞳孔图像、暗瞳孔图像)与规定的目标值(阈值)进行比较，作为该比较的结果，在下一次的第1图像取得中变更曝光状态。这对于第2图像取得也是同样的。

接下来，在图6中，(a)表示光源11或21的发光LA的定时，(b)表示第1摄影机12中的曝光EA1的定时，(c)表示第2摄影机22中的曝光EA2的定时。

在图6所示的例子中，考虑2个显像装置10、20的位置关系、摄影机12、22的受光性能的差异、对于提取明瞳孔图像和暗瞳孔图像而言适合的图像的明亮度的差异等，在光源发光LA的图像取得中，使第1摄影机12中的图像取得时间(曝光时间)EA1、与第2摄影机22中的图像取得时间(曝光时间)EA2不同。

在此情况下，使光源的发光LA的长度与时间长的曝光EA21的结束相应。由此，就明瞳孔图像和暗瞳孔图像所用的图像的取得而言，不需要复杂的控制。

另外，在上述的实施方式中，将来自第1光源11的检测光和来自第2光源21的检测光的波长设为850nm，但如果是在眼球内的吸收率为相同程度，也可以是这以外的波长。

由于是如以上那样构成，所以根据上述实施方式，起到下面的效果。

(1)作为第1图像取得或第2图像取得，在从第1光源11和第2光源21中的一方赋予了检测光时，通过与光源大致同轴的摄影机取得用于提取明瞳孔图像的图像，并通过与光源非同轴的摄影机取得用于提取暗瞳孔图像的图像，由此能够高速地进行视线检测处理。另外，通过使用于提取明瞳孔图像的图像的取得和用于提取暗瞳孔图像的图像的取得同时进行，能够缩短来自多个光源的检测光射出的周期，因此能够更高速地进行视线检测处理。通过使用通过交替地进行第1图像取得和第2图像取得而获得的、用于提取瞳孔图像的多个图像，能够以较高的精度实现视线检测。

(2)通过具备对在第1图像取得中取得的2枚图像的明亮度和在第2图像取得中取得的2枚图像的明亮度进行比较的图像比较部、及相应于图像比较部的比较结果控制光源的曝光条件以使得在第1图像取得和第2图像取得中取得的图像的明亮度收于规定范围内的曝光控制部，能够抑制由多个光源各自的亮度等的差异引起的、取得图像的明亮度的偏差，因此能够取得恒定的画质的明瞳孔图像和暗瞳孔图像，由此能够进行高精度的视线检测。

参照上述实施方式对本发明进行了说明，但本发明并不限定于上述实施方式，在改良的目的或本发明的思想的范围内能够进行改良或变更。

工业上的可用性

如以上那样，本发明的视线检测装置，在如配置在车辆的车厢内对驾驶员的视线进行检测的情况那样、要求高精度且高速地进行检测的情况下是有用的。

符号说明

10、20：显像装置

11：第1光源

12：第1摄影机

12C：光轴

21：第2光源

22：第2摄影机

22C：光轴

33：图像比较部

34、35：图像取得部

36：曝光控制部

40：瞳孔图像提取部

41：明瞳孔图像检测部

42：暗瞳孔图像检测部

43：瞳孔中心计算部

44：角膜反射光中心检测部

45：视线方向检测部

50：眼睛

权利要求书(按照条约第19条的修改)

1.(修改后)一种视线检测装置，具有：

第1摄影机以及第2摄影机，分离配置，各自取得至少包含眼睛的区域的图像；

第1光源，与上述第1摄影机接近而配置；

第2光源，与上述第2摄影机接近而配置；以及

瞳孔图像提取部，从由各个摄影机取得的明瞳孔图像和暗瞳孔图像中提取瞳孔图像，

上述视线检测装置的特征在于，

上述视线检测装置进行第1图像取得和第2图像取得，

在上述第1图像取得中，使上述第1光源点亮，通过上述第1摄影机取得明瞳孔图像并通过上述第2摄影机取得暗瞳孔图像，在上述第2图像取得中，使上述第2光源点亮，通过上述第2摄影机取得明瞳孔图像并通过上述第1摄影机取得暗瞳孔图像，

从上述第1光源和上述第2光源发出的光为相同波长。

2.根据权利要求1记载的视线检测装置，其中，具有：

角膜反射光中心检测部，根据上述暗瞳孔图像检测角膜反射光；以及

视线方向计算部，根据上述瞳孔图像和上述角膜反射光，计算上述对象者的视线方向。

3.根据权利要求1或2记载的视线检测装置，其中，

在上述第1光源点亮时，上述第1摄影机和上述第2摄影机同时取得图像，在上述第2光源点亮时，上述第1摄影机和上述第2摄影机同时取得图像。

4.根据权利要求1至3任一项所记载的视线检测装置，其中，

第1图像取得和第2图像取得交替地进行。

5.根据权利要求1至4任一项所记载的视线检测装置，其中，

设置有监视在上述第1图像取得中获得的图像的明亮度、并在其下一次的第1图像取得中基于上述监视结果对通过摄影机取得图像所用的曝光条件进行控制的曝光控制部。

6.根据权利要求1至5任一项所记载的视线检测装置，其中，

设置有监视在上述第2图像取得中获得的图像的明亮度、并在其下一次的第2图像取得中基于上述监视结果对通过摄影机取得图像所用的曝光条件进行控制的曝光控制部。

7.根据权利要求1至5任一项所记载的视线检测装置，其中，设置有：

图像比较部，对在第1图像取得中获得的图像的明亮度和在第2图像取得中获得的图像的明亮度进行比较；以及

相应于上述图像比较部的比较结果，在第1图像取得和第2图像取得中的至少一个图像取得中控制上述曝光条件的上述曝光控制部。

8.根据权利要求7记载的视线检测装置，其中，

在上述图像比较部中，对在第1图像取得中获得的作为明瞳孔图像的图像的明亮度、和在上述第2图像取得中获得的作为暗瞳孔图像的图像的明亮度进行比较。

9.根据权利要求7或8记载的视线检测装置，其中，

在上述图像比较部中，对在第1图像取得中获得的作为暗瞳孔图像的图像的明亮度、和在上述第2图像取得中获得的作为明瞳孔图像的图像的明亮度进行比较。

10.根据权利要求7记载的视线检测装置，其中，

在上述图像比较部中，对在上述第1图像取得或在上述第2图像取得中获得的图像和目标值进行比较。

11.根据权利要求5至10任一项所记载的视线检测装置，其中，

上述曝光条件是上述光源的发光时间及发光强度、以及上述摄影机的图像取得时间、增益中的至少一个。

12.根据权利要求8记载的视线检测装置，其中，

上述曝光条件包含上述摄影机的图像取得时间，在第1图像取得和第2图像取得中的至少一个图像取得中，相应于上述第1摄影机的图像取得时间和上述第2摄影机的图像取得时间中的较长一方的时间，控制光源的发光时间。