眨眼测量方法、眨眼测量装置及眨眼测量程序与流程

本发明的一个方面涉及测量对象者的眨眼的眨眼测量方法、眨眼测量装置以及眨眼测量程序。

背景技术：

以往，为了检测司机的困倦等，开发出了使用摄像机检测眨眼来将困倦定量化的装置。例如在下述专利文献1所记载的装置中，从利用CCD相机得到的脸图像检索眼区域并特定提取位置，根据所特定的提取位置，将包括眼的小区域图像作为眼图像提取，根据该眼图像测定眼睑的开度。

专利文献1：日本特开平7-313459号公报

然而，根据上述专利文献1所记载的装置，在连续获取多个脸图像时，需要连续进行眼区域的提取，因此进行高速的检测处理上存在限制。因此，难以实时地高精度地获得与对象者的眨眼的动作相关的评价值。

技术实现要素：

因此，本发明是鉴于上述课题而作出的，其目的在于提供能够高速且高精度地获得与对象者的眨眼的动作相关的评价值的眨眼测量方法和眨眼测量装置。

为了解决上述课题，本发明的一个方式所涉及的眨眼测量方法包括：使用光检测器，检测来自包括对象者的眼睑和眼球的部位的光，并输出该光的检测信号的步骤；根据检测信号，计算出部位上的眼球所产生的角膜反射光的位置和部位上的眼睑的位置的步骤；根据角膜反射光的位置修正眼睑的位置的步骤；和根据该修正后的眼睑的位置的时间变化，计算出关于眨眼的特征量的步骤。

或者，本发明的另一个方式所涉及的眨眼测量装置包括：检测来自包括对象者的眼睑和眼球的部位的光，并输出该光的检测信号的光检测器；根据检测信号，计算出部位上的眼球所产生的角膜反射光的位置和部位上的眼睑的位置的位置计算部；根据角膜反射光的位置修正眼睑的位置的位置修正部；和根据该修正后的眼睑的位置的时间变化，计算出关于眨眼的特征量的特征量计算部。

或者，本发明的又一个方式所涉及的眨眼测量程序使使用包括对象者的眼睑和眼球的部位的图像，测量对象者的眨眼的眨眼测量装置所具备的处理器作为如下构件而发挥功能：根据图像，计算出部位上的眼球所产生的角膜反射光的位置和部位上的眼睑的位置的位置计算部；根据角膜反射光的位置修正眼睑的位置的位置修正部；以及根据该修正后的眼睑的位置的时间变化，计算出关于眨眼的特征量的特征量计算部。

根据上述方式的眨眼测量方法、眨眼测量装置以及眨眼测量程序，生成来自包括对象者的眼睑和眼球的部位的光的检测信号(图像)，根据该检测信号(图像)，计算出该部位上的角膜反射光的位置和眼睑的位置后，根据角膜反射光的位置修正该眼睑的位置，从该修正后的眼睑的位置的时间变化，计算出关于眨眼的特征量。由此，即使在对象者的眼球相对于装置的相对位置变化的情况下，也能够以简单的计算计算出与眼睑本身的运动对应的眼睑位置的时间变化。其结果，能够从对象者的眼睑的位置的时间变化高速且高精度地得到关于眨眼的特征量。

附图说明

图1是表示本发明的优选的一个实施方式所涉及的眨眼测量系统1的概略构成的框图。

图2是表示由图1的位置计算部11计算的上眼睑的位置的计算影像的图。

图3是表示利用图1的位置计算部11计算出的眼睑的位置的时间变化、以及利用图1的移动量计算部13计算出的角膜反射光的位置的时间变化的一例的曲线图。

图4是表示在与图3所示的时刻T1、T2、T3对应的时刻取得的图像信号的影像的图。

图5是表示利用图1的位置修正部15计算出的眼睑的位置的时间变化的一例的曲线图。

图6是表示利用图1的眨眼测量系统1进行的眨眼特征量的计算动作的顺序的流程图。

具体实施方式

以下，参照附图，对本发明所涉及的眨眼测量装置、眨眼测量方法以及眨眼测量程序的优选的实施方式进行详细的说明。此外，在附图的说明中对相同或相当部分标注相同符号，省略重复的说明。

图1是表示本发明的优选的一个实施方式所涉及的眨眼测量系统1的概略构成的框图。图1所示的眨眼测量系统1构成为，以规定的帧率在时间上连续地检测来自被测者(对象者)的眼球E的光，将与被测者的眼睛的眨眼相关的评价值定量化并输出。该眨眼测量系统1具备：相对于对象者的眼球E照射照明光的光源3、控制光源3的照明控制装置5、检测来自眼球E的光的光检测器7、和处理从光检测器7输出的检测信号的处理器9。其中，眨眼测量系统1可以构成为能够同时测量被测者的左右的2只眼睛，也可以构成为能够分别测量被测者的左右的2只眼睛。在同时测量左右眼的构成的情况下，可以为了各个眼睛的检测用而具备2个光检测器7，也可以将同时检测2只眼睛的光检测器7设为1个，在处理器9中将检测信号分成对应2只眼睛的信号进行处理。

光源3是对被测者的眼球E包括上眼睑和下眼睑并包括其周边地进行照射的照明单元，例如由产生红外光的LED适合地构成。通过光源3对眼球E及其周边照射红外光，在眼球E及其周边红外光反射而产生光图像。另外，能够通过光源3的照射在眼球E也产生角膜反射光。光源3既能够分别照射包括眼球E及其周边的眼部照明用的照明光和角膜反射光生成用的照明光，也能够同时照射。分别照射的构成能够通过调整角膜反射光生成用照明光来调整角膜反射光的照度、形状和大小，因此优选。此时，通过后述的照明控制装置5，调整为在被测者的眼睑的运动的测量前或测量中，角膜反射光的亮度分布接近高斯分布，其照度成为收敛于光检测器7的动态范围的宽度的范围，且其最大亮度不超过光检测器7的动态范围。另外，在采用分别照射的构成的情况下，通过照明控制装置5，以眼部照明用的照明光和角膜反射光生成用的照明光交替点亮的方式控制，显示其点亮时机的信号被输出到处理器9，在处理器9中从光检测器7输出的2个照明光的点亮时机的检测信号分别被处理。相对于此，在同时照射的构成中，适合使其能够以不同的波长照射眼部照明用的照明光和角膜反射生成用的照明光。此时，光检测器7的光的检测时或者处理器9的检测信号的解析时，根据波长，将由两者的照明光得到的反射光区分而对应于各自的反射光的检测信号被分别处理。为了能够不受下眼睑的睫毛或者上眼睑的影响来观测角膜反射光，该光源3配置于能够从被测者的下侧照射的位置。由此，由于所生成的角膜反射光的位置在瞳孔区域为下侧，所以能够延长眨眼时的角膜反射光的观测时间，即使对患有眼睑下垂等症状的被测者也能够稳定测量角膜反射光。

此外，作为光源3，不限于红外光LED也能够使用其他种类的光源。例如，可以是发出近红外光的光源，也可以是在灯光源组合使红外光或者近红外光通过的薄膜的构成，还可以是利用满足安全标准的激光作为直接光或者间接光的构成。另外，作为用于实现适当的照度的构成，除了并用多个照明的构成以外，还可以构成为：通过在发光部中组合透镜的构成，抑制照明光的散射，高效地对所希望的区域进行照明。另外，也可以采用利用空间调制装置将激光的能量调整成所希望的照明形状，进行有效的眼部照明的构成。

照明控制装置5为以规定的亮度照射被测者的眼球E的方式控制光源3的光量的控制单元。再有，照明控制装置5为了获得适于被测者的眼球E的眼睑位置检测或者角膜反射光检测的光量、照明光波长、反射光形状，调整并控制光源3的光量和发光波长。此外，照明控制装置5与处理器9电连接，通过由处理器9进行的同步控制，控制对被测者的眼球E的发光时机。另外，为了能够通过处理器9或者光检测器7判定被测者的眼球E收敛于光检测器7的测量范围内，或者为了实现通过处理器9或者光检测器7得到的被测者的眼球E的位置对准的功能，照明控制装置5也可以将光源3的照明光控制为在测量开始前闪烁。

光检测器7是以规定的帧率检测来自包括上眼睑和下眼睑的眼球E的部位的反射光并生成和输出二维的图像信号(检测信号)的摄像装置。作为这样的摄像装置，可以列举具有进行图像的获取到图像处理的视觉芯片的视觉相机(Vision camera)。该光检测器7具有对于被测者的眼睑的动作的检测最适合的规格或设定(例如、波长灵敏度、光量灵敏度、透镜的视角、透镜的倍率和帧率等)。例如，光检测器7优选为能够以比通常的摄像机更高速的帧率进行摄影的构成。由于眨眼时的眼睑动作进行约200msec左右，所以如果帧率为10Hz左右就能够捕捉粗略的眼睑动作的行为，但为了能够检测出微小的眼睑动作、或者闭眼时的不规则的动作，使用60Hz以上的帧率的光检测器。另外，作为透镜的视角，设定为捕捉小于1mm的眼睑运动。例如，视角参考光检测器7的像素数、从曝光时间、动态范围、照明光的照度及透镜的亮度等复合要素判断的眼部的亮度和由这些参数计算出的图像信号的数据的保存区域的尺寸，设定为在图像信号的画面的纵向上收纳眼部整体。另外，在作为光检测器7使用具有高分辨率的相机的情况下，可以将视角设为广角，在光检测器7或者处理器9中仅切出必要的区域进行保存或者解析。

其中，作为光检测器7，可以使用摄像机或视觉相机以外的仪器。例如，作为光检测器7，除了轮廓传感器等的检测亮点的位置并输出位置信息的传感器以外，也可以使用光电二极管、光检测器、线性影像传感器、轮廓传感器、或者区域传感器等更为简易的传感器。在将眨眼作为检测内容时且作为光检测器7使用摄像机的情况下，进行利用边缘提取、霍夫变换、二值化等的图像处理技术的眼睑位置提取处理或者由图像信号计算得到的亮度轮廓求出眼睑位置的处理等。也可以代替其，而作为光检测器7，采用包括将虚线状、线状、带状或者与其类似的形状的标记物照射、投影到眼部的照明部(例如激光阵列、LED阵列等)；和通过不捕捉皮肤上的散射光而捕捉在眼球表面上的反射来提取眼睑位置的检测部(例如、轮廓传感器、光电二极管、光检测器、线性影像传感器、区域影像传感器等)的构成。

处理器9为内置处理从光检测器7输出的图像信号的CPU和RAM及ROM等的内存的图像处理处理器，由以个人电脑、或智能手机、平板型电脑为代表的便携终端等构成。该处理器9作为功能性的构成要素，包括位置计算部11、移动量计算部(位置计算部)13、位置修正部15及特征量计算部17。这些位置计算部11、移动量计算部13、位置修正部15及特征量计算部17可以由处理器9内的硬件实现，也可以由在处理器9内存储的软件(眨眼测量程序)实现。另外，光检测器7内可以具备这些功能部的一部分或者全部。另外，位置计算部11、移动量计算部13、位置修正部15及特征量计算部17的功能可以由同一处理器实现，也可以由不同的处理器实现。作为使处理器9发挥作为位置计算部11、移动量计算部13、位置修正部15及特征量计算部17的功能的程序可以存储在处理器9内的存储装置(存储介质)中，也可以存储在与处理器9电连接的存储介质中。

处理器9的位置计算部11根据从光检测器7输出的图像信号，计算出被测者的眼球E的上眼睑和下眼睑的位置。位置计算部11通过以从光检测器7以规定的帧率输出的多个图像信号为对象进行处理，计算出上眼睑和下眼睑的位置的时间变化。上眼睑和下眼睑的位置通过以图像信号为对象的边缘提取、霍夫变换等图像处理或者由图像信号计算得到的亮度轮廓求出眼睑位置的处理(参照日本特开2012-085691号公报)而计算出。图2表示利用位置计算部11的上眼睑的位置的计算影像，(a)表示处理对象的图像信号的例子，(b)表示以(a)的图像信号为对象计算出的亮度轮廓的例子，(c)表示以(a)的图像信号为对象计算出的上眼睑的位置。这样，位置计算部11，以在每个与横向的位置对应的X坐标以及每个与纵向的位置对应的Y坐标具有二维排列的像素的图像信号(图2(a))为对象，对各个Y坐标，累计图像信号内的X坐标的像素来计算出亮度轮廓(图2(b))。然后，位置计算部11计算出亮度轮廓中的累计亮度值达到阈值Vth以上的Y坐标上的纵向位置作为上眼睑的位置。该阈值Vth由亮度值的总和适应性将值自动调整，此外，也可以从由图像处理检测出的上眼睑位置坐标的亮度值设定。另外，位置计算部11同样地计算下眼睑的位置。

处理器9的移动量计算部13根据从光检测器7输出的图像信号，计算出在被测者的眼球E上产生的角膜反射光的位置。利用角膜反射光比从皮肤表面的散射光得到的皮肤图像或皱纹图像更亮、角膜反射光的信号强度的波动也小的性质，移动量计算部13通过以图像信号为对象的重心运算计算出图像信号内的2维坐标(X坐标和Y坐标)中的角膜反射光的位置。此外，移动量计算部13通过以从光检测器7以规定的帧率输出的多个图像信号为对象进行处理，计算出角膜反射光的位置的时间变化，取得该角膜反射光的位置的时间变化作为被测者的眼部相对于光检测器7的位置的移动量。

其中，移动量计算部13在角膜反射光由于被测者的眨眼动作而消失的状况下，如下进行处理。具体而言，以作为角膜反射光检测出的区域为对象，计算长轴与短轴之比、力矩值等的椭圆特征量，通过该椭圆特征量是否在阈值以上，判断检测出的角膜反射光的真伪。此外，可以根据角膜反射光的区域的光量是否变化到阈值以上，根据图像信号上的阈值以上的亮点的总数或其增减，判断角膜反射光的真伪，也可以根据相邻的亮点的集合的面积判断其真伪。由此，不仅对于在眨眼动作中由于眼睑覆盖角膜造成的角膜反射光的消失，而且对于由于皮肤或化妆造成的乱反射，都能够提高角膜反射光的检出位置的准确度。

处理器9的位置修正部15根据由移动量计算部13计算出的眼部位置的移动量修正由位置计算部11计算出的眼睑的位置。具体而言，以眼睑的位置的时间变化为对象，以对于各个时刻中的眼睑的位置，减去与该时刻对应的眼部位置的移动量部分的方式进行修正。通过这样操作，由于能够相对于计算出的眼睑的位置的变化部分消除被测者的眼部的动作的部分，所以能够求出反映眼睑本身的动作的眼睑的位置的时间变化。其中，位置修正部15在没有得到真的角膜反射光的位置的时机，也可以由眼球位置等其他的眼部的特征量的位置变化修正眼睑的位置。

图3是表示通过位置计算部11计算出的眼睑的纵向位置的时间变化以及通过移动量计算部13计算出的角膜反射光的纵向位置的时间变化的一例的曲线图。眼睑的位置的时间变化以实线表示，角膜反射光的位置的时间变化以虚线表示。另外，在图4(a)、(b)、(c)分别表示与图3所示的时刻T1、T2、T3对应的时机取得的图像信号的影像。另外，图5是表示根据图3所示的数据通过位置修正部15修正后的眼睑的纵向位置的时间变化的曲线图。如这些图所示，从时刻T1到时刻T2，眼部向上方移动，之后到时刻T3，眼部恢复初始的位置的样子以图像信号被检测出，与其对应也计算出了角膜反射光的位置的变化(图3的虚线)。另一方面，在计算出的眼睑的位置中，在时刻T3反映出约1mm幅度的眼睑运动，并且也反映出了伴随眼部动作的变化(图3的实线)。时刻T2的眼睑位置的移动和时刻T3的眼睑位置的移动均作为眼睑位置的变化被检测出，但实际上被测者进行的眼睑的动作仅为时刻T3的动作。不具有眼睑位置的修正功能的系统的情况下，难以区分振幅、期间以及速度不同的各种模式的被测者的身体的动作与振幅、期间以及速度各式各样的眨眼动作，其结果，存在作为噪声成分包含不是眨眼动作的信号的倾向。对此，根据位置修正部15，能够得到反映去除了由被测者的身体的动作等引起的眼部的动作的影响之后的眼睑本身的动作的眼睑位置(图5的实线)。此外，时刻T3的角膜反射光的位置相上方移动(图3的虚线)。这是由眨眼中的视线方向变化引起的。不能由角膜反射光的位置的变化将视线方向的变化和身体的移动分离，但由于因视线的移动造成的角膜反射光的位置变化微小，所以即使从眼睑的位置的时间变化减去角膜反射光的位置变化，对位置精度的影响也少。在想要将对于精度的影响降低到最小限度的情况下，位置修正部15从修正后的眼睑的位置的经时变化中提取眨眼动作期间，在该期间以不适用根据角膜反射光的位置的时间变化的修正的方式进行再计算。在修正的实施期间与修正的未实施期间之间的分界线产生的不连续性通过在求取眼睑位置的经时变化时，以对速度的时间变化以及位置的时间差分量进行积分的方式进行处理来消除。

这里，由于身的动作为缓慢的动作，所以也可以考虑从计算出的眼睑位置的时间变化中利用旁路滤波器等将该动作的影响除去。图5的虚线的曲线图表示利用这样的方法修正后的眼睑位置的时间变化。如果这样来做，检测通常的眨眼这样的约10mm的幅度的眼睑运动就没有问题，但1mm幅度左右的小的眼睑运动的检测精度会降低。即，通过利用旁路滤波器，不仅发生原本小的眼睑运动的振幅变小的问题，而且由于身体动作的影响的不完全除去仅利用数值解析无法实现与剩余的动作的分离的问题。对此，根据利用位置修正部15的修正方法，能够有效地获得去除了由眼部的移动造成的影响后的位置信息。

此外，位置修正部15在计算眼睑的位置时，也可以修正固视微动的影响。一般固视微动包括：作为100Hz前后频率的1μm左右(20～40角秒)的振幅的微细动作的震颤、作为逐渐缓慢错开的动作的漂移、作为漂移后发生的0.04角度～2角分的脉冲性的眼球运动(跳跃运动)的微小跳跃(也称为微跳视。)。位置修正部15根据图像信号检测被测者的眼球的动作的速度的时间变化，基于其，提取作为眼球的急剧的动作的微小跳跃的期间，在该期间中眼球速度超过规定的阈值的时机，以抵消由微小跳跃引起的影响的方式修正眼睑的位置。另外，位置修正部15为了去除漂移运动的影响，也可以使用频率滤波器处理眼睑位置的时间变化。

处理器9的特征量计算部17根据从位置修正部15输出的眼睑的位置的时间变化，计算出关于被测者的眨眼的特征量后，输出该特征量。例如，作为计算出的特征量，计算出包括闭睑时的平均速度(闭睑平均速度)、最大速度(闭睑最大速度)、闭睑距离、上眼睑移动距离、以及下眼睑移动距离、闭睑率、闭睑动作时的所需时间(闭睑期间)、闭眼期间、开睑时的平均速度(开睑平均速度)、最大速度(开睑最大速度)、开睑动作时的所需时间(开睑期间)、开睑距离、上眼睑移动距离、下眼睑移动距离、眨眼频度、眨眼与眨眼的时间间隔、进行不规则动作的眨眼的频度、特定的眼睑运动的频度中的任意一种的眨眼特征量。然后，特征量计算部17将根据这些特征量得到的解析结果经由网络输出到外部装置。作为解析眨眼特征量时的参数，为眨眼特征量的平均、分散、标准偏差、尖度、歪度等的统计量或中央值、四分位点、最大值、最小值、最频值、最大值和最小值等。另外，特征量计算部17也可以在处理器9直接连接的显示装置、内存等的输出单元中直接输出解析结果。作为解析结果，除了特征量本身以外，也可以输出与内部的数据库比较的结果、与经由网络连接的外部的数据库比较的结果，还可以一并输出显示眼睑的位置的时间变化的数据、显示眼睑的速度的时间变化的数据、表示处理对象的图像信号的数据。

接下来，对于通过眨眼测量系统1进行的眨眼特征量的计算动作的详细程序进行说明，并且对于本实施方式的眨眼测量方法进行详述。图6是表示通过眨眼测量系统1进行的眨眼特征量的计算动作的程序的流程图。

首先，参照图6，如果开始测量动作，则利用光检测器7在时间上连续取得包括眼睑的眼球E的部位的图像信号(步骤S01)。然后，利用移动量计算部13，根据图像信号，计算出被测者的眼球E的角膜上的角膜反射光的位置的时间变化(步骤S02)。从该结果，利用移动量计算部13，计算出被测者的眼部的移动量的时间变化(步骤S03)。之后，利用位置计算部11，计算出被测者的眼睑的位置的时间变化(步骤S04)。接着，利用位置修正部15，根据眼部的移动量的时间变化修正眼睑的位置的时间变化(步骤S05)。然后，利用特征量计算部17，根据修正后的眼睑的位置的时间变化，计算出并输出眨眼特征量(步骤S06)。其中，步骤S02的角膜反射光的位置的计算出到步骤S05中的修正为止的处理可以在利用光检测器7的测量中实时地进行，也可以在测量后进行该处理的一部分或者全部。另外，S01的眼部周边部位的图像取得后的3个步骤S02、S03、S04可以分别独立进行，也可以并列同时进行。

根据以上说明的眨眼测量系统1，生成来自包括被测者的眼睑及眼球E的部位的反射光的图像信号，根据该图像信号，计算出该部位上的角膜反射光的位置和眼睑的位置后，根据角膜反射光的位置修正其眼睑的位置，由该修正后的眼睑的位置的时间变化，计算出关于眨眼的特征量。由此，即使在被测者的眼球E相对于装置的相对位置变化的情况下，也能够以简易计算计算出与眼睑本身的动作对应的眼睑位置的时间变化。其结果，能够从被测者的眼睑的位置的时间变化高速且高精度地得到关于眨眼的特征量。

如果作为眨眼特征量为眨眼的频度或眨眼的期间这样的特征量时，也能够从由摄像机取得的图像的差分图像计算。然而，难以稳定取得闭睑时最大速度或开睑时最大速度等的特征量、将闭睑动作暂时停止后以数msec再开始闭睑或转移至开睑动作这样的不规则的动作、开睑时的不规则的动作、或者微小的眼睑运动等的眼睑动作的过程数值化的特征量。这样的问题是：关系到眼睑位置的误检出、眨眼动作的误检出，会使眨眼动作的定量解析的可靠性降低，决定帕金森病患者中观察到的1mm左右的微小的眼睑运动的检测精度的问题。根据本实施方式，即使对于这样的特征量也能够稳定地以高精度取得。

另外，如果被测者的视线变动、例如在测量中视线向上方移动，则位于覆盖眼球的位置的眼睑的形状变化，存在其作为微小眼睑运动被误检出的倾向。另外，如果被测者的头部变动，则通过相机的检测范围内的眼部或皮肤部的位置变化，眼睑位置被误检出，其结果，存在眨眼动作也被误检出的倾向。根据本实施方式的眨眼测量系统1，可以防止那样的误检出。

此外，本发明不限于上述的实施方式。

上述的眨眼测量系统1作为用于得到修正后的眼睑位置的检测结果的构成，可以采用如下的构成。

例如，可以根据由处理器9计算出的被测者的眼部的移动量，修正从光检测器7输出的图像信号的摄像范围。这样的修正通过光检测器7的摄影视角的修正、图像信号的读取位置的修正、透镜的聚焦调整、光检测器7与被测者的相对位置的调整等来进行。光检测器7与被测者的相对位置的调整通过将光检测器7由相机主体和光学系单元以同一单元构成，使该单元移动的构成来实现。另外，可以采用使包括透镜的光学系单元驱动的构成，也可以使用配置在相机的前面的MEMS镜或与其类似的设备，采用能够调整入射到相机的图像的位置的构成。由此，能够不进行利用图像处理的修正而调整光检测器7侧，来得到与眼睑的动作对应的眼睑位置。

另外，也可以根据由处理器9计算出的被测者的眼部的移动量，在处理器9中修正图像信号中的眼睑位置的计算出对象区域。例如，在处理器9中，通过以从光检测器7输出的图像信号为对象实施包括位置修正及放大、缩小处理的图像处理，来修正眼睑位置的计算对象区域。由此，通过利用不调整光检测器7侧而调整图像信号中的范围后得到的计算对象区域，能够得到与眼睑的动作对应的眼睑位置。

在上述实施方式中，优选特征量包括与眨眼时的眼睑的速度相关的特征量。以这样的特征量为处理对象，能够高速且高精度地得到与对象者的眼睑的速度相关的特征量。