专利名称：：视线方向判定装置及视线方向判定方法
技术领域：
：本发明涉及判定被拍摄者的视线方向为规定方向的视线方向判定装置及视线方向判定方法。
背景技术：
：在判定人物的视线方向的视线方向判定装置中，需要以外界的坐标系表示检测出的方向。在专利文献1中，公开了事先检测观看特定方向时的眼球的状态，从其结果判定是否正在观看特定方向的视线检测装置。专利文献1记载的装置注视取景器内的指标，并补偿此时的视轴与眼球轴之间的偏差。在专利文献2中，公开了在较长时间观测驾驶中的视线方向，从其分布规定视线的基准方向的驾驶状态检测装置。专利文献2记载的装置从时间序列数据估计视线的基准位置。这样，在现有技术的视线方向判定中存在两种系统的方法。一种是指示或检测注视对象，并检测注视状态(例如，专利文献1记载的装置例子)；另一种从较长时间的视线的分布规定视线方向的中心(例如，专利文献2记载的装置例子)。现有技术文献专利文献专利文献1日本专利申请特开平4力似630号公报专利文献2日本专利申请特开2005-66023号公报
发明内容发明要解决的问题然而，这种现有技术的视线方向判定装置中存在如下问题。(1)在专利文献1记载的装置中，需要指示注视对象而成为繁琐的工作。在自动判定中，难以判定是否真的正在观看。总之需要事先的测量工作，因而无法提高方便性。(2)在专利文献2记载的装置中，无法保证较长时间测量时的视线分布真的是正面方向。另外，若非较长时间测量后，则无法补偿。除需要较长时间的观测外，还存在以下的课题无法保证测量出的统计结果恒定而不存在个人差别，所以难以在刚开始测量后进行判定，以及难以保证精度。本发明是鉴于上述问题点而完成的。本发明的目的在于提供无需注视对象的指示和事先的调整作业而从刚开始测量就能够进行判定，能够高精度且准确地判定视线方向的视线方向判定装置及视线方向判定方法。解决问题的方案本发明的视线方向判定装置所采用的结构包括摄像单元，拍摄包含两眼的脸图像；照射单元，通过光源照射所述两眼的角膜；瞳孔检测单元，从所述脸图像检测作为所述两眼中的一侧的眼的瞳孔的中心坐标的第1坐标，以及作为另一侧的眼的瞳孔的中心坐标的第2坐标；角膜反射图像检测单元，从所述脸图像检测所述一侧的眼的角膜中的作为所述光源的角膜反射图像的中心坐标的第3坐标，以及所述另一侧的眼的角膜中的作为所述光源的角膜反射图像的中心坐标的第4坐标；线对称位置计算单元，计算连结所述第1坐标和所述第2坐标的第1线段的垂直二等分线，并计算作为对于所述垂直二等分线和所述第3坐标线对称的位置坐标的线对称位置坐标；以及视线方向判定单元，计算所述第4坐标和所述线对称位置坐标之间的坐标距离，并基于所述坐标距离与规定的阈值的比较，判定所述两眼的视线方向。本发明的视线方向判定方法包括以下步骤拍摄包含两眼的脸图像；通过光源照射所述两眼的角膜；从所述脸图像检测作为所述两眼中的一侧的眼的瞳孔的中心坐标的第1坐标，以及作为另一侧的眼的瞳孔的中心坐标的第2坐标；从所述脸图像检测所述一侧的眼的角膜中的作为所述光源的角膜反射图像的中心坐标的第3坐标，以及所述另一侧的眼的角膜中的作为所述光源的角膜反射图像的中心坐标的第4坐标；计算连结所述第1坐标和所述第2坐标的第1线段的垂直二等分线，并计算作为对于所述垂直二等分线和所述第3坐标线对称的位置坐标的线对称位置坐标；以及计算所述第4坐标和所述线对称位置坐标之间的坐标距离，并基于所述坐标距离与规定的阈值的比较，判定所述两眼的视线方向。发明的效果根据本发明，判定上述左眼或右眼的角膜反射图像对于左右眼的瞳孔的中心线处于线对称的位置，从该判定结果判定特定位置的视线方向，从而能够在视线方向判定时不需要注视对象的指示和事先的调整作业，提高方便性。另外，由于利用人的共有的特征，所以能够实现判定结果的可靠性高、与进行统计处理的方法等相比更高精度的视线方向的判定。基于同样的理由，能够保证判定出的视线方向为准确的视线方向，所以不需要像现有技术例子那样进行较长时间测定。进而，能够从拍摄图像直接进行判定，所以能够在测量开始后，立即进行判定。除以上的效果外，还具有以下的效果。即使不看特定的注视对象，也能够自动地校正检测出的视线方向的偏差。另外，由于不需要注视，所以能够简化处理，能够防止错误判定。这使得能够进行补偿的机会增多。进而，只要观看照相机方向即便一帧即可，所以具有能够以高可靠性进行补偿的效果。图1是表示本发明的实施方式1的视线方向判定装置的结构的方框图。图2A、图2B是说明上述实施方式1的视线方向判定装置的视线方向判定方法的图。图3是说明上述实施方式1的视线方向判定装置的视线方向判定方法的图。图4A、图4B是说明上述实施方式1的视线方向判定装置的视线方向判定方法的图。图5A、图5B是说明上述实施方式1的视线方向判定装置的视线方向判定算法的图。图6是表示上述实施方式1的视线方向判定装置的视线方向判定处理的流程图。图7是表示输入到上述实施方式1的视线方向判定装置的输入图像的例子的图。图8A、图8B是表示在上述实施方式1的视线方向判定装置中使用的图像特征的例子的图。图9是表示本发明的实施方式2的视线方向判定装置的结构的方框图。图10是表示上述实施方式2的视线方向判定装置的视线方向判定处理的流程图。图11是表示本发明的实施方式3的带自动校正功能的视线方向判定装置的结构的方框图。图12是表示上述实施方式3的带自动校正功能的视线方向检测装置的动作的流程图。图13A、图1是说明上述实施方式3的带自动校正功能的视线方向判定装置能够自动地补偿视线方向的偏移的图。图14是表示本发明的实施方式4的视线方向判定装置的结构的方框图。图15A、图15B、图15C是表示上述实施方式4的视线方向判定装置的照射单元与摄像单元的位置关系的图。图16A、图16B是表示上述实施方式4的视线方向判定装置的角膜反射图像与角膜投影图像的位置关系的图。图17是上述实施方式4的具有警报装置单元的视线方向判定装置的结构方框图。标号说明100、500、1400、1700视线方向判定装置110图像输入单元111摄像单元112照射单元113同步单元120脸检测单元130脸器官检测单元140图像特征检测单元141瞳孔检测单元142角膜反射图像检测单元150线对称位置计算单元160评价值计算单元170视线方向判定单元501脸方向计算单元502脸视线方向判定单元600带自动校正功能的视线方向检测装置610视线方向计算单元620视线检测校正单元630校正参数存储单元640输出单元1400视线方向判定装置1401摄像单元1402瞳孔检测单元1403角膜反射图像检测单元1404线对称位置计算单元1405视线方向判定单元1501右眼的瞳孔1502左眼的瞳孔1503右眼的眼球1504左眼的眼球1505连结右眼的瞳孔的中心与左眼的瞳孔的中心的线段1506平面1507垂线1508垂线1509垂直二等分线1510垂线的垂足1511垂线的垂足1600脸图像1601右眼1602左眼1603右眼的角膜1604左眼的角膜1605右眼的瞳孔1606左眼的瞳孔1607右眼的角膜反射图像1608左眼的角膜反射图像1609线段1610垂直二等分线1611角膜投影图像1700视线方向判定装置1701警报装置单元具体实施例方式以下，参照附图详细说明本发明的实施方式。(实施方式1)本发明涉及以下的视线方向判定装置，即从由具有照明单元的摄像装置获得到的脸图像，检测瞳或瞳孔的中心、以及照明的角膜反射图像，从它们的线对称性判定受验者的视线方向。这里，所谓视线方向判定，表示判定受验者的视线是否朝向特定的方向。但是，特定方向并非必须是一个，也可以是多个方向。本发明的实施方式1中记载以下的视线方向判定装置，S卩从由具有照明单元的7摄像装置获得到的脸图像，检测瞳或瞳孔的中心、以及照明的角膜反射图像，从它们的线对称性判定受验者的视线方向。图1是表示本发明的实施方式1的视线方向判定装置的结构的方框图。本实施方式是对于以下的警报装置适用了本发明的视线方向判定装置的例子，即其设置在汽车的车厢内，检测驾驶者的视线方向，并在较长时间未朝向正面时进行警告。如图1所示，视线方向判定装置100例如能适用于汽车导航系统(CarNavigationSystem)、电视、扬声器等信息提示设备；驾驶者支援照相机、监视照相机等安全状态监视设备；静态照相机、摄像机等视频记录设备；机器人(Robot)等生活辅助设备等这些需要掌握操作者、被拍摄者正在观看哪里的信息的设备。视线方向判定装置100具有图像输入单元110、脸检测单元120、脸器官检测单元130、图像特征检测单元140、线对称位置计算单元150、评价值计算单元160、以及视线方向判定单元170。图像输入单元110将由摄像单元111拍摄的图像输出到后述的脸检测单元120。图像输入单元110具有设置在车的方向盘的上方或仪表盘上等驾驶席的正面，且设置在能够拍摄驾驶者的位置的摄像单元111；照射驾驶者的脸的照射单元112；以及使摄像单元111与照射单元112取得同步的同步单元113。摄像单元111具有CCD(ChargeCoupledDevices,电荷耦合器)、CMOS(ComplementaryMetalOxidekmiconductor，互补性金属氧化物半导体)等图像传感器，根据从同步单元113输入的同步信号，取得图像。另外，以下，以图像横方向为X轴，图像纵方向为Y轴，1像素为1坐标点，说明所拍摄的脸图像。照射单元112具有不可视而在摄像单元111中具有感光度的近红外线LED，根据来自同步单元113的同步信号进行发光。同步单元113在相当于从摄像单元111的曝光开始到结束为止的期间，将同步信号输出到摄像单元111和照射单元112。脸检测单元120从由图像输入单元110输入的图像检测作为人物的脸的图像的脸图像，并将脸图像输出到脸器官检测单元130。脸器官检测单元130从由脸检测单元120输入的脸图像，检测外眼角、内眼角、瞳中心、鼻孔、嘴角、眉的两端等脸器官，并将形成各个脸器官的轮廓的多个点的坐标输出到图像特征检测单元140。图像特征检测单元140具有从脸图像检测瞳孔的瞳孔检测单元141；以及从脸图像检测角膜上的照射单元112的反射图像的角膜反射图像检测单元142。所谓角膜反射图像表示被称为普尔钦图像(Purkinjeimage)的、角膜表面的反射图像。瞳孔检测单元141从由图像输入单元110输入的脸图像以及从脸器官检测单元130输入的脸器官坐标检测左右眼的瞳孔，将左右瞳孔的中心坐标输出到线对称位置计算单元150。角膜反射图像检测单元142从由图像输入单元110输入的脸图像以及由脸器官检测单元130输入的脸器官坐标，检测左右眼的、照射单元112的角膜反射图像，将左右角膜反射图像的中心坐标输出到线对称位置计算单元150。线对称位置计算单元150从由图像特征检测单元140输入的左右眼的瞳孔中心坐标以及角膜反射图像中心坐标，计算左右眼中一侧的眼的角膜反射图像中心的线对称位置，将线对称位置坐标和另一侧的眼的角膜反射图像坐标分别输出到评价值计算单元160。所谓线对称是指对于以左右瞳孔中心为端点的线段的垂直二等分线呈线对称。评价值计算单元160从由线对称位置计算单元150输入的投影坐标以及由图像特征检测单元140输入的角膜反射图像中心坐标和线对称位置坐标，计算评价角膜反射图像的线对称性的线对称性评价值，并将其输出到视线方向判定单元170。视线方向判定单元170从由评价值计算单元160输入的线对称性评价值，判断左右角膜反射图像的线对称性，在具有线对称性时，判定为受验者的视线方向正朝向照相机方向；而在不具有线对称性时，判定为未朝向照相机方向，并将判定结果输出到未图示的警报装置。未图示的警报装置根据判定结果，在较长时间未朝向照相机方向时，发出警报。该警报为包含警告消息(message)的显示、由语音合成LSI产生的语音消息、LED发光、由扬声器等的发声、或它们的组合。上述各个单元的功能，由微计算机执行控制程序而实现。也就是说，视线方向判定装置100具有作为控制单元的CPU、记录了控制程序的ROM及执行程序用的RAM等、作为摄像装置的照相机、作为显示和警报装置的显示单元，该控制单元控制视线方向判定装置100的各个单元的动作。图1的各个单元明确表示为进行控制单元所执行的视线方向判定处理的功能块。以下，说明如上构成的视线方向判定装置100的动作。首先，说明本视线方向判定方法的基本想法。图2至图4是说明视线方向判定装置100的视线方向判定方法的图。如图2A所示，投光器(projector)201(在图1中为照射单元112)照射脸202的眼球203。照相机206(在图1中为摄像单元111)获取反射到眼球203的角膜203a上的角膜反射图像205。如图2B所示，通过来自投光器201的光照射，在眼球203的角膜203a上显现角膜反射图像205。视线方向判定装置100利用脸的左右对称性，检测左右眼的角膜反射图像205。也就是说，计算左右眼的角膜反射图像205的位置，判定获得的角膜反射图像位置在左右眼中是否处于线对称的位置。如图3所示，在用左右眼获取投光器201的角膜反射图像205，从对于瞳孔204的反射图像位置205的对称性，检测正在观看投光器201方向的时候。另外，通过验证投光器201的角膜反射图像位置的左右对称性，判定是否正在观看照相机206方向。具体而言，如图4A所示，正在观看照相机206、投光器201方向时，角膜反射图像205的位置为左右对称。另外，如图4B所示，在未观看照相机206、投光器201方向时，角膜反射图像205的位置为左右非对称。接着，说明视线方向判定方法的细节。[算法]1.检测瞳孔和角膜反射图像2.将一方的反射图像投影到对于左右瞳孔的垂直二等分线对称的位置3.检测投影反射图像与另一方反射图像的偏差4.若偏差量在阈值以下，则将此时的视线方向判定为照相机方向图5是说明视线方向判定算法的图，图5A表示脸图像，图5B表示脸图像以及连结了基于脸图像计算出的两眼的瞳孔的线段的垂直二等分线。如图5A所示，从脸图像202检测眼球203，并检测两眼的瞳孔204和两眼的角膜反射图像205。如图5B所示，本算法将单侧的反射图像投影到对于左右瞳孔的垂直二等分线211对称的位置。将投影到一侧的眼球203(参照投影线212)的、另一侧的眼的角膜反射图像205称为角膜投影图像215。这里，右眼的角膜反射图像205被投影到左眼，在左眼上，左眼的角膜反射图像205与所投影的角膜投影图像215接近排列。本算法计算左眼的角膜反射图像205与所投影的角膜投影图像215之间的偏差。若该偏差量在阈值以下，则将此时的视线方向判定为照相机方向。再者，在后面通过图6的视线方向判定处理流程叙述本算法的实现方法。这样，通过验证两眼的角膜反射图像的坐标位置对于垂直二等分线211是否为线对称，能够判定视线方向。图6是表示视线方向判定装置100的视线方向判定处理的流程图。图7是表示输入到视线方向判定装置100的脸图像的图。在图6中，通过开始本程序，图像输入单元110开始拍摄作业。开始拍摄作业，即可以通过人工进行，也可以以外部的某种信号为触发器而由视线方向判定装置100进行。在步骤Sl中，图像输入单元110从每一定期间由同步单元113取得了与照射单元112的同步的摄像单元111，获取图7的脸图像300，并将该脸图像300输出到脸检测单元120。例如，图像输入单元110假设是由具有CMOS图像传感器和透镜的数码相机以及具有近红外线LED的投光器构成的传感器，由此与投光器取得同步地拍摄的PPM(PortablePixMapfileformat；便携式像素图文件格式)格式的图像等被临时存储到存在于图像输入单元110中的图像存储单元中(例如，个人计算机的存储器空间)。然后，该临时存储的图像以PPM格式输入到脸检测单元120。此时，照射单元112是与摄像单元111的曝光时间取得同步而点亮的、同步脉冲驱动近红外线LED投光器。在能够获得为拍摄充足的光量的情况下，也可以不是同步脉冲驱动而是经常点亮。在步骤S2中，脸检测单元120从由图像输入单元110输入的脸图像300，进行脸区域301的检测处理。就脸区域检测来说，例如从输入图像提取构成特征的图像，比较提取出的构成特征的图像与预先准备的表示脸区域的特征图像，对于进行了比较的图像检测相似度较高的图像。就相似度来说，例如对比预先获得到的平均脸的加博尔特征量(Gaborfeature)和扫描输入图像而提取出的加博尔特征量，使用该差的绝对值的倒数。此时，作为脸区域，与预先准备的模板比较，在图7的脸区域301中，从图像中搜索相关最高的区域。另外，也可以通过从图像中或进行肤色区域检测，或进行椭圆检测，或使用统计式10模式识别方法来检测脸区域301。除此之外，只要是能够进行上述脸检测的技术，可以是任何方法。在步骤S3中，脸器官检测单元130以由脸检测单元120输入的脸图像300的脸区域301为搜索区域，进行嘴角、外眼角、内眼角等脸器官组302的检测处理。脸器官检测例如使用分离度滤波器，检测嘴角、外眼角、内眼角等脸器官的端点或鼻孔等的二维坐标。另外，既可以使学习器预先学习多个脸图像与对应于脸图像的脸器官的位置的关系，在将脸图像300输入到学习器时，将似然度最高之处检测为脸器官，也可以使用标准的脸器官的模板从脸图像300内搜索脸器官。在步骤S4中，瞳孔检测单元141从在上述的步骤S3中通过脸器官组检测而检测出的眼区域中，检测图3的瞳孔303的中心坐标。在脸图像中，瞳孔的中心坐标例如对于在上述的步骤S3中通过脸器官组检测而检测出的包含外眼角、内眼角的眼区域，适用圆形分离度滤波器，将亮度的分离度最高的圆的中心的坐标提取为瞳孔的中心坐标。此时，考虑通过使用了索贝尔(Sobel)滤波器的边缘检测、使用了大津的阈值确定方法等的亮度的二值化等检测出的眼脸，仅将夹在上下眼睑中的区域内作为检测对象范围。另外，也可以在包含外眼角、内眼角的区域中，在水平、垂直方向取亮度和，将在垂直方向得到的亮度和在水平方向得到的亮度和为最小的点作为瞳孔中心。另外，检测对象也可以不是瞳孔而是虹膜的中心、角膜的中心。除此之外，只要是能检测上述瞳孔的中心坐标的技术，可以采用任何检测方法。在步骤S5中，角膜反射图像检测单元142从在上述的步骤S3中通过脸器官组检测所检测出的眼区域中，检测图的角膜反射图像304的中心坐标。就角膜反射图像的中心坐标来说，例如对于在上述的步骤S4中检测出的瞳孔的中心的周围区域，计算亮度直方图(brightnesshistogram)，将最大亮度像素的坐标的重心检测为角膜反射图像的中心坐标。另外，也可以获取直方图的高位数％(例如1%)的像素的重心。此时，在最大亮度小于预先确定的阈值时，视为不存在角膜反射图像，中止判定处理，并返回到上述的步骤Si。另外，在最大亮度的像素数大于预先确定的阈值时，视为在角膜反射图像中包含照射单元112之外的物体的反射，中止处理，并返回到上述的步骤Si。在步骤S6中，线对称位置计算单元150计算连结了从图像特征检测单元140输入的瞳孔303的中心坐标与角膜反射图像304的中心坐标的线段的垂直二等分线，计算对于计算出的垂直二等分线的左右一侧的角膜反射图像的线对称位置的中心坐标。图8是表示在视线方向判定装置100中使用的图像特征的例子的图，图8A表示视线朝向照相机206的方向时的图像410，图8B表示视线未朝向照相机206的方向时的图像420。在图8A中，瞳孔411与图7中的瞳孔303相同，角膜反射图像412与图7中的角膜反射图像304相同。在图8中，线对称位置计算单元150根据下式(1)计算连结两眼的瞳孔411的中心坐标的线段的垂直二等分线414。权利要求1.视线方向判定装置，包括摄像单元，拍摄包含两眼的脸图像；照射单元，通过光源照射所述两眼的角膜；瞳孔检测单元，从所述脸图像，检测作为所述两眼中的一侧的眼的瞳孔的中心坐标的第1坐标、以及作为另一侧的眼的瞳孔的中心坐标的第2坐标；角膜反射图像检测单元，从所述脸图像，检测所述一侧的眼的角膜中的作为所述光源的角膜反射图像的中心坐标的第3坐标、以及所述另一侧的眼的角膜中的作为所述光源的角膜反射图像的中心坐标的第4坐标；线对称位置计算单元，计算连结所述第1坐标和所述第2坐标的第1线段的垂直二等分线，并计算作为对于所述垂直二等分线和所述第3坐标线对称的位置坐标的线对称位置坐标；以及视线方向判定单元，计算所述第4坐标和所述线对称位置坐标之间的坐标距离，并基于所述坐标距离与规定的阈值的比较，判定所述两眼的视线方向。2.如权利要求1所述的视线方向判定装置，连结从所述摄像单元到包含所述第1线段的平面的垂线的垂足和从所述照射单元到所述平面的垂线的垂足的第2线段与所述第1线段正交。3.如权利要求1所述的视线方向判定装置，还包括警报装置，所述警报装置接受所述视线方向判定单元的判定结果，对接受了所述视线方向不是特定的方向的判定结果的次数进行计数，在所述计数的数超过规定的次数时发出警告。4.如权利要求3所述的视线方向判定装置，所述警报装置在接受到所述视线方向是所述特定的方向的判定结果时，使所述计数的数为零。5.如权利要求1所述的视线方向判定装置，还包括脸方向计算单元，基于所述脸图像判定脸方向；以及脸视线方向判定单元，在由所述脸方向计算单元判定为所述脸方向是所述特定的方向时，基于所述坐标距离和所述规定的阈值，判定视线方向，所述视线方向判定单元以脸的方向为参数，判定视线方向。6.如权利要求1所述的视线方向判定装置，还包括视线方向计算单元，从由所述摄像单元获取的所述脸图像计算视线方向信息；以及校正单元，基于所述视线方向判定单元的判定结果以及所述视线方向计算信息，计算所述视线方向的偏差值，并基于所述偏差值校正视线方向。7.视线方向判定方法，包括拍摄包含两眼的脸图像；通过光源照射所述两眼的角膜；从所述脸图像，检测作为所述两眼中的一侧的眼的瞳孔的中心坐标的第1坐标、以及作为另一侧的眼的瞳孔的中心坐标的第2坐标；从所述脸图像，检测所述一侧的眼的角膜中的作为所述光源的角膜反射图像的中心坐标的第3坐标、以及所述另一侧的眼的角膜中的作为所述光源的角膜反射图像的中心坐标的第4坐标；计算连结所述第1坐标和所述第2坐标的第1线段的垂直二等分线，并计算作为对于所述垂直二等分线和所述第3坐标线对称的位置坐标的线对称位置坐标；以及计算所述第4坐标与所述线对称位置坐标之间的坐标距离，并基于所述坐标距离与规定的阈值的比较，判定所述两眼的视线方向。全文摘要公开了能够无需注视对象的指示和事先的调整作业而从刚开始测量就进行判定，能够高精度并准确地判定视线方向的视线方向判定装置及视线方向判定方法。视线方向判定装置(100)包括对于左右眼的瞳孔的中心线，判定左眼或右眼的角膜反射图像处于线对称的位置的线对称位置判定单元(150)；以及从线对称位置判定结果判定包含摄像单元(111)或大致相同位置的照射单元(112)的设置位置的特定位置的视线方向的视线方向判定单元(170)，视线方向判定装置判定角膜反射图像的线对称性，从该线对称性判定特定的视线方向。文档编号G06T1/00GK102149325SQ20098013546公开日2011年8月10日申请日期2009年9月25日优先权日2008年9月26日发明者丸谷健介,築泽宗太郎申请人:松下电器产业株式会社