技术领域
本公开涉及对监视对象人的目视确认区域进行推断的视线推断装置。
背景技术：
作为上述目视确认区域推断装置，公知有通过使用摄像头检测监视对象人的眼球的位置来推断监视对象人目视确认的目视确认区域的装置(例如，参照专利文献1)。
然而，在上述目视确认区域推断装置中，在受太阳光、灯饰等光源、眼镜等监视对象人的穿戴物等的影响的拍摄环境中，存在不能检测眼球的位置的情况，在该情况下，存在目视确认区域的推断变困难的问题点。
专利文献1：专利第3785669号公报
技术实现要素：
本公开是鉴于上述点而提出的，是一种对监视对象人的目视确认区域进行推断的目视确认区域推断装置，其目的在于提供一种无论拍摄环境如何均能够更良好地推断目视确认区域的目视确认区域推断装置。
本公开的一形态的目视确认区域推断装置具备拍摄图像取得部、面部方向检测部、方向推断部。拍摄图像取得部根据时间序列取得拍摄有监视对象人的面部的多个拍摄图像，面部方向检测部根据取得的多个拍摄图像对监视对象人的面部的方向以及监视对象人的面部的方向的变化程度进行检测，另外，还对表示变化停止或大致停止的时间的滞留时间进行检测。而且，方向推断部根据包括监视对象人的面部的方向以及滞留时间的参数来推断目视确认区域。
根据这样的目视确认区域推断装置，根据比监视对象人的眼球的位置更容易识别的面部的方向和该滞留时间来推断目视确认区域，因此即便在不能识别眼球的位置的情况下，也能够更稳定地推断目视确认区域。
附图说明
参照附图并根据下述的详细记述，本公开的上述目的以及其他目的、特征、优点变得更加明确。其中：
图1是表示应用本公开的安全确认警报装置的简要结构的框图。
图2是表示本公开的一实施方式的控制部(CPU)所执行的警报处理的流程图。
图3是表示警报处理中的图像识别处理的流程图。
图4(a)与图4(b)是表示识别面部器官、面部方向时的具体例的说明图。
图5是表示警报处理中的目视确认区域推断处理的流程图。
图6是表示目视确认区域的概念的说明图。
具体实施方式
以下参照附图对本公开所涉及的实施方式进行说明。
[本实施方式的结构]
应用本公开的目视确认区域推断装置的安全确认警报装置1例如搭载在轿车等车辆，是对车辆的驾驶员(driver)是否已目视观察反射镜、十字路口的左右等安全确认所需的区域进行监视的装置。在该安全确认警报装置1中，具备如下功能，即若识别到驾驶员位进行目视观察则进行注意唤起来催促驾驶员进行安全确认。
详细地说，如图1所示，安全确认警报装置1具备控制部10、摄像头21、照明部22、车速传感器25、转向灯26、警报部31、座椅振动部32、空调变更部33。
摄像头21在车辆的内部配置于驾驶员的前方，设定为驾驶员的面部在拍摄范围内。
照明部22作为用于摄像头21的辅助光源而发挥功能，朝向驾驶员的面部例如照射红外光。对红外光的照射时机而言，可以常时点亮，也可以构成为发光时机被控制部10控制为与摄像头21的拍摄周期同步。
车速传感器25构成为对搭载有安全确认警报装置1的车辆的速度进行检测的公知的车速传感器。设定为车速传感器25所检测的车速能够被控制部10识别。
转向灯26构成为配置于车辆的左右的多个位置的公知的方向指示器。设定为转向灯26的动作状态能够被控制部10识别。
警报部31是用于通过声音、光来催促驾驶员注意的结构，接收来自控制部10的指令来进行动作。
座椅振动部32构成为被埋入驾驶员的座椅的振动器，接收来自控制部10的指令来进行动作。
空调变更部33具有接收来自控制部10的指令来对车辆中的空调装置的风量、风向或设定温度进行变更的功能。
控制部10构成为具备CPU11、以及ROM、RAM等存储器12的公知的计算机。CPU11根据记录在存储器12的程序来实施后述的各种处理。
[本实施方式的处理]
在这样构成的安全确认警报装置1中，控制部10实施图2所示的警报处理。在警报处理中，对驾驶员目视确认的目视确认区域(以视线方向为基准的驾驶员周围的规定角度范围)进行推断，对驾驶员在需要进行安全确认时是否目视确认了安全确认所需的区域进行判定，在驾驶员未目视确认该区域的情况下进行注意唤起。此外，警报处理例如是若接通安全确认警报装置1的电源则开始的处理。
详细地说，如图2所示，首先，实施图像识别处理(S10)。图像识别处理是根据摄像头21的拍摄图像来识别驾驶员的状态的处理。在该图像识别处理中，如图3所示，首先，取得来自摄像头21的拍摄图像(S110)。
接着，从拍摄图像中提取出面部区域(S115)，进而提取出面部器官(S120)。如图4(a)所示，这些处理通过对拍摄图像进行图像处理来识别像面部形状的区域，并将包括该区域的矩形的区域识别为面部区域。然后，在该面部区域内检测边缘(邻接的像素的亮度差为基准值以上的部位)，通过识别形状来确定面部器官。此外，确定面部器官时的方法可以采用公知的方法，并不限定于该方法。
接着，推断头部姿势(S125)。在该处理中，根据面部器官的位置关系来如图4(b)所示地推断面部的方向。即，求出面部方向相对于本车辆的行驶方向、本车辆正面方向等基准方向的角度。
另外，在推断头部姿势时，利用过去推断出的头部姿势的信息，也对面部方向变化时的角速度、表示面部方向的变化完全停止或大致停止的时间的滞留时间进行运算。这里，大致停止是指向面部方向变化的方向的角速度看作大致停止的规定阈值以下，例如表示之前的角加速度为负值且角速度为0.1rad/s以下的状态。
接下来，推断眼睛张开度(S130)。在该处理中，着眼于面部器官中的眼睛的部分，例如求出眼睑的弯曲部(眼球的上侧的边缘)的曲率半径。此外，该曲率半径越大，判定为眼睛张开度越低。
接着，对眼睛张开度为阈值以上的情况下眼球相对于面部的方向进行推断(S135)。这里，眼睛张开度的阈值是指能够识别眼球(瞳孔的位置)的程度的眼睛张开度，例如设定为25％左右。视线的方向能够根据面部方向、相对于外内眼角位置的眼球位置来进行推断。
接着，将针对面部方向的角度、面部方向的变化的角速度、滞留时间、以及眼球相对于面部的方向的推断结果记录在存储器(S140)。但是，在不能提取出眼球的方向的情况或识别结果的似然度(可靠度)低的情况下，将该主旨记录在存储器12。此外，针对不能提取出眼球的方向的主旨等，可以根据标示(flag)进行管理。
若这样的处理结束则结束图像识别处理。若图像识别处理结束，则返回图2实施目视确认区域推断处理(S15)。目视确认区域推断处理是对驾驶员的目视确认区域进行推断的处理。
在目视确认区域推断处理中，如图5所示，首先，对驾驶员的面部方向是否大致为正面进行判定(S210)。面部方向是否大致为正面，根据面部方向从基准方向开始是否位于阈值(例如10度左右)以内来进行判定。
若面部方向大致为正面(S210：是)，则移至后述的S280的处理。另外，若面部方向不是大致为正面(S210：否)，则对是否满足上次处理中面部方向停滞、或本次处理中面部方向停滞中的任一条件进行判定(S215)。
若不满足上述两方的条件(S215：否)，则停止表示面部方向的变化停止的时间的滞留时间的统计，并且复位(S280)。将与面部方向对应的位置设为注视位置，将其周围(例如3度以内的范围内)设置为目视确认区域(S280)。若该处理结束，则移至后述的S310的处理。
另外，在S215的处理中，若满足上述任一条件(S215：是)，则开始或继续滞留时间的统计(S220)。然后，对面部方向在滞留后是否朝向正面的方向(基准方向)移动了进行判定(S225)。
若面部方向不朝向正面的方向移动(S225：否)，则移至上述的S280的处理。另外，若面部方向朝向正面的方向移动(S225：是)，则取得面部方向的角速度以及滞留时间(S230)，并且取得车速(S235)，对面部方向的修正值进行运算(S260)。
这里，面部方向的修正值例如能够通过下述函数求出。
[式1]
修正值＝f(k1×(面部方向角速度等级+k2×(面部方向滞留时间)+k3×(面部方向角度区域)+k4×(车速)+k5×(移动时间)+k6×(疲劳度))
另外，各项具有以下趋势。
面部方向角速度等级：速度越大修正值越大。
面部方向停滞时间：时间越短修正值越大。
面部方向角度区域：越偏离正面修正值越大。
车速：车速为零时较小，车速越快修正值越大。
移动时间：随着时间经过修正值变大。
疲劳度：若疲劳度增加则修正值变大。
此外，疲劳度可以根据眼睛张开度、眨眼次数(周期)等求出。另外，在上述函数中，k1～k6的系数是根据由实验结果求得的值加权的值，原则上设定为正值。但是，也可以根据状况而设定为负值。
这里，如图6所示，修正值表示从根据面部方向确定的方向呈扇形地扩展的方向。另外，若该修正值变大，则扇形的区域也变宽。
接着，推断目视确认区域(S265)。在该处理中，如图6所示，将与在根据面部方向确定的方向加上面部方向的修正值得到的新的方向对应的位置(扇形的区域)设为注视位置。而且，将包括该位置的区域(例如，该位置的周围3度以内的范围内)推断为目视确认区域。
然后，对是否能够通过参照存储器12来识别眼球方向进行判定(S310)。若不能识别眼球方向(S310：否)，则目视确认区域推断处理结束。
另外，若能够识别眼球方向(S310：是)，则将包括眼球方向的区域设定为目视确认区域(S315)。然后，进行修正目视确认区域时的修正系数的校准(S320)。
在该处理中，将与眼球方向对应的区域(眼球方向的周围的区域)作为正确的目视确认区域，以根据面部方向获得的目视确认区域与根据眼球方向获得的目视确认区域一致的方式改变求修正值时的运算方法。例如，再次设定求修正值时利用的系数(k1～k6)。再次设定时，优选进行与过去值的加权平均化或设置迟滞等，使修正值不会灵敏地变动。
若这样的目视确认区域推断处理结束，则返回图2，对是否进行警报进行判断(S20)。这里，例如，在转向灯26的动作中，对左右任一反射镜所存在的区域与目视确认区域是否一致进行监视，若不一致则判定为进行警报。另外，在转向灯26的动作开始后，只要一次一致就判定为不进行警报。
另外，例如可以从公知的导航装置等取得进入十字路口的信息，并在接收到该信息之后，根据驾驶员是否确认了左右进行警报。例如，可以构成为在接收到进入十字路口的信息之后，在规定时间内对左右的窗所在的区域与目视确认区域是否一致进行判定，若不一致则判定为进行警报，在接收到进入十字路口的信息之后，只要左右的窗所在的区域与目视确认区域一次一致就判定为不进行警报。
若判定为不进行警报(S20：否)，则移至后述的S30的处理。另外，若判定为进行警报(S20：是)，则实施注意唤起，该注意唤起使用警报部31、座椅振动部32、空调变更部33等硬件中的任一个(S25)。
在该处理中，根据警报的持续时间、次数等来变更警报的种类、进行警报的硬件的组合即可。
接着，对下一帧的拍摄条件(投光器与摄像头增益、快门时间等的控制值)进行运算，进行设定以便能够获得下次识别优选的拍摄图像(S30)，返回S10的处理。具体而言，为了使成为拍摄对象的脸面的皮肤部的像素值(亮度)为规定的值，反馈过去图像来变更曝光条件。
[本实施方式的效果]
在上述安全确认警报装置1中，控制部10根据时间序列取得拍摄有监视对象人的脸部的多个拍摄图像，根据取得的多个拍摄图像，对监视对象人的面部的方向、以及表示监视对象人的面部的方向的变化停止或大致停止的时间的滞留时间进行检测。而且，根据包括监视对象人的面部的方向以及滞留时间的参数来推断目视确认区域。
根据这样的安全确认警报装置1，根据比监视对象人的眼球的位置更容易识别的面部的方向和该滞留时间来推断目视确认区域，因此即便在因干扰光等影响而不能识别眼球的位置的情况下，也能够更良好地推断目视确认区域。
另外，在上述安全确认警报装置1中，控制部10对表示与监视对象人的面部的方向对应的方向的暂定方向进行设定，并根据包括滞留时间的参数来对用于修正暂定方向的修正值进行设定。另外，以随着该修正值变大、监视对象人的面部的方向成为更远离预先设定的基准方向的方向的方式修正暂定方向，将与该修正后的暂定方向对应的区域设为目视确认区域。
根据这样的安全确认警报装置1，根据面部的方向来设定暂定方向，并通过修正该方向来求出目视确认区域，因此仅变更修正值就能够进行目视确认区域的位置的微调。因此，能够简化推断目视确认区域的处理。
并且，在上述安全确认警报装置1中，控制部10随着滞留时间变短，将修正值设定为更大的值。
即，利用普通人在滞留时间较短的情况下有使面部的方向停止之后仅移动视线的趋势，将该趋势应用于目视确认区域的推断。
另外，在上述安全确认警报装置1中，控制部10随着监视对象人停止或大致停止面部的方向时的方向远离基准方向，将修正值设定为更大的值。
即，普通人有随着面部的方向的移动量变大而视线的移动量也变大的趋势，因此将该趋势应用于目视确认区域的推断。
并且，在上述安全确认警报装置1中，控制部10取得监视对象人的面部的方向的转动角速度，随着监视对象人停止或大致停止面部的方向之前的转动角速度变大，将修正值设定为更大的值。
即，普通人有随着面部的方向的转动角速度变大而视线的移动量也变大的趋势，因此将该趋势应用于目视确认区域的推断。
此外，在上述安全确认警报装置1中，控制部10取得车辆的行驶速度，对着监视对象人停止或大致停止面部的方向时的行驶速度变大，将修正值设定为更大的值。
即，利用驾驶员有随着行驶速度变大、根据车辆的行驶方向仅移动视线方向而不变更面部的方向来进行安全确认的趋势。
根据上述安全确认警报装置1，根据人的动作的趋势来推断目视确认区域，因此能够高精度地推断目视确认区域。
并且，在上述安全确认警报装置1中，控制部10根据拍摄图像来检测监视对象人的眼球的位置，根据眼球的位置来推断目视确认区域，根据该目视确认区域，来修正对通过面部方向和滞留时间获得的目视确认区域进行推断时利用的设定值。另外，根据驾驶员频繁地目视确认的位置即反射镜、仪表、导航、音频等已知的车辆信息，来修正推断出的目视确认区域。
这里，设定值是指上述的修正值(包括用于求修正值的系数)、上述参数的修正量等。根据这样的安全确认警报装置1，能够在可识别出眼球的位置时对面部方向以及滞留时间与目视确认区域的关系进行校准。因此，能够提高不能识别眼球的位置时的目视确认区域的推断精度。
在上述安全确认警报装置1中，控制部10在能够进行眼球位置的推断的情况下，将根据眼球的位置推断出的目视确认区域作为最终的目视确认区域来采用，在不能进行眼球位置的推断的情况下，将根据面部方向和滞留时间推断出的目视确认区域作为最终的目视确认区域来采用。
根据这样的安全确认警报装置1，能够根据状况而以能够推断为精度更高的方法来推断目视确认区域。
本公开所记载的流程图或流程图的处理由多个区段(或称为步骤)构成，各部分例如表现为S10。并且，各部分能够分割为多个子部分，另一方面，也可以合并多个部分构成一个部分。并且，这样构成的各部分可以称为电路、器件、模块、方法(means)。
另外，对上述的多个部分分别或组合而成的部分而言，不仅(i)与硬件单元(例如，计算机)组合的软件的区段，作为(ii)硬件(例如集成电路、布线逻辑电路)的区段，也能够包括或不包括相关的装置的功能地实现。并且，硬件的区段也可以构成为微机的内部。
[其他实施方式]
在上述实施方式中，对面部方向的变化在远离基准方向的方向上变化时的角速度进行了监视，但也可以对返回基准方向时的角速度进行监视。此时，在求面部方向的修正值的情况下，可以考虑返回基准方向时的角速度。
另外，在求面部方向的修正值时，在考虑返回基准方向时的角速度时，可以在远离基准方向的方向上变化时和返回基准方向时利用其他函数(其他项)进行运算。
上述实施方式中的控制部10相当于在本公开所说的目视确认区域推断装置。另外，在上述实施方式中，在控制部10所实施的处理中，S15的处理相当于在本公开中所说的方向推断部。
并且，上述实施方式的S110的处理相当于在本公开所说的拍摄图像取得部，上述实施方式的S125的处理相当于在本公开所说的面部方向检测部、角速度取得部。另外，上述实施方式的S125、S135的处理相当于在本公开所说的眼球推断部，上述实施方式的S230的处理相当于在本公开所说的暂定方向设定部。
并且，上述实施方式的S235的处理相当于在本公开所说的行驶速度取得部，上述实施方式的S260的处理相当于在本公开所说的修正值设定部。另外，上述实施方式的S265的处理相当于在本公开所说的区域设定部，上述实施方式的S310、S315的处理相当于在本公开所说的采用选择部。
并且，上述实施方式的S320的处理相当于在本公开所说的推断修正部。
此外，为了实现上述目的，可以将计算机作为目视确认区域推断程序，该目视确认区域推断程序用于实现为构成目视确认区域推断装置的上述各部分。
本公开依据实施例进行了记述，但能够理解本公开并不限定于该实施例、构造。本公开也包括各种变形例、等价范围内的变形。此外，各种组合、方式、进而在其中包含仅一个要素、或更多或者更少的其他组合或方式也归入本公开的范畴、思想范围。