驾驶支援装置的制作方法

[0001]
本发明涉及用于支援驾驶者的驾驶的驾驶支援装置。


背景技术：

[0002]
当前提出有如下技术：在能够在自动驾驶和手动驾驶之间进行切换的自动驾驶系统中，检测驾驶者的注意力不集中、清醒度降低、涣散度上升等作为驾驶者检测信号，根据驾驶者检测信号判定驾驶者的清醒度、涣散度、驾驶姿势信息等(例如，参照专利文献1)。
[0003]
现有技术文献
[0004]
专利文献
[0005]
专利文献1：日本特开2017-159885号公报


技术实现要素：

[0006]
上述专利文献1中记载了根据驾驶员的清醒度以及涣散度等，进行关于将驾驶操作从自动驾驶功能移交给驾驶员的信息提示。
[0007]
然而，在自动驾驶中，车辆的驾驶员的意识从驾驶上离开了，所以根据驾驶员的清醒度、涣散度、驾驶姿势等而仅简单地警告驾驶员的话，存在驾驶员对驾驶没有足够的关心的问题。
[0008]
因此，本发明的目的在于提供一种能够使驾驶员关心驾驶的驾驶支援装置。
[0009]
根据一个实施方式，提供一种驾驶支援装置。该驾驶支援装置是能够进行驾驶者从方向盘放手的状态下的放手行驶的车辆的驾驶支援装置，其中，所述驾驶支援装置具有：状态判定部，根据表示所述驾驶员的状态的传感器信息，在所述放手行驶中判定所述驾驶员是否为不适于所述车辆的周边监视的状态；警告控制部，在判定为所述驾驶员为不适于所述周边监视的状态的情况下，经由通知部警告所述驾驶员；以及通知控制部，经由所述通知部对所述驾驶员通知把持所述方向盘的要求。
[0010]
在该驾驶支援装置中，优选在所述警告被解除之后，所述通知控制部对所述驾驶者通知所述要求。
[0011]
另外，在该驾驶支援装置中，优选在所述警告被解除的同时，所述通知控制部对所述驾驶员通知所述要求。
[0012]
另外，在该驾驶支援装置中，优选在从开始所述通知起持续一定期间所述驾驶员保持把持所述方向盘的状态时，所述通知控制部解除所述通知。
[0013]
另外，在该驾驶支援装置中，优选在开始所述通知以后，所述状态判定部仍判定所述驾驶员是否为不适于所述周边监视的状态，在从开始所述通知起持续一定期间所述驾驶员保持适于所述周边监视的状态、且持续所述一定期间所述驾驶员保持把持所述方向盘的状态时，所述通知控制部解除所述通知。
[0014]
另外，在该驾驶支援装置中，优选在从开始所述通知起经过一定期间时，所述通知控制部解除所述通知。
[0015]
另外，在该驾驶支援装置中，优选在被通知在经过预定时间后从自动驾驶控制切换到手动驾驶控制、且判定为所述驾驶员为不适于所述周边监视的状态的情况下，所述通知控制部在所述警告之前先进行所述通知，在所述通知被解除之后，所述警告控制部进行所述警告。
[0016]
本发明的驾驶支援装置起到能够使驾驶员关心驾驶的效果。
附图说明
[0017]
图1是一个实施方式的驾驶支援装置的概略结构图。
[0018]
图2是示出控制部的处理器的功能块的示意图。
[0019]
图3是示出与驾驶支援有关的处理的流程的流程图。
[0020]
图4是示出在驾驶员保持操作部持续一定时间以上、驾驶员是适于驾驶操作的状态这两个情形都持续了一定时间以上的情况下，解除接触要求的处理的流程图。
[0021]
图5是示出在通知接触要求之后，不管驾驶员是否保持操作部，都进行一定时间的期间的通知，之后解除接触要求的处理的流程图。
[0022]
图6是示出在迫切需要提高驾驶员对驾驶的参与度的情况下，在发出警告之前先提出接触要求的处理的流程图。
[0023]
图7是示出用于判定驾驶员是否为不适于驾驶操作的状态的处理的例子的流程图。
[0024]
图8是示出在图7的步骤s302中用于判定影像中是否有貌似脸的影像的方法的示意图。
[0025]
图9是示出在图7的步骤s303、步骤s304中根据脸特征点之间的距离计算脸朝向角度的方法的示意图。
[0026]
图10是示出脸朝向角度的定义的示意图。
[0027]
(符号说明)
[0028]
1：驾驶员监视器照相机；2：触摸传感器；3：扬声器；4：gui；5：操作部；6：方向盘转矩传感器；10：处理器；12：状态判定部；14：警告控制部；16：通知控制部；18：接触判定部；20：存储器；30：通信接口；40：驾驶支援系统；50：影像；51：人脸数据库；100：控制部(ecu)。
具体实施方式
[0029]
以下，参照附图，说明驾驶支援系统40。该驾驶支援系统40例如搭载于能够进行驾驶员从方向盘放手的状态下的行驶(放手行驶)的车辆。作为这样的行驶，例如，设想美国汽车工程师学会(sae)确定的等级2或者等级3左右的行驶。
[0030]
在车辆行驶中，驾驶员有时为不适于驾驶车辆的状态。作为这样的不适于的状态，例如，可以举出驾驶员打瞌睡的状态、驾驶员不注视前方而注意力不集中的状态等。
[0031]
在驾驶员为不适于驾驶车辆的状态的情况下，即使仅简单地警告驾驶员，驾驶员有时对驾驶也没有足够的关心。特别是，在车辆自身一定程度地自主控制驾驶的情况下，驾驶员的意识离开了驾驶，所以即使进行警告，驾驶员有时对驾驶也没有足够的关心。作为其结果，有时在需要驾驶员自身参与驾驶的情况下，由于驾驶员未进行驾驶操作，从而无法彻底地防止事故发生。
[0032]
本实施方式的驾驶支援系统40在驾驶员进行放手行驶时，针对驾驶员瞌睡、注意力不集中等不安全行为，提高驾驶员对驾驶的参与度。
[0033]
图1是基于一个实施方式的驾驶支援系统40的概略结构图。驾驶支援系统40具有驾驶员监视器照相机1、触摸传感器2、扬声器3、gui(graphical user interface，图形用户界面)4、操作部5、方向盘转矩传感器6、控制部(electronic control unit(ecu)，电子控制单元)100。驾驶员监视器照相机1、触摸传感器2、扬声器3、gui4、操作部5、方向盘转矩传感器6、控制部100各自经由依照控制器局域网(controller area network(can))标准的车内网络连接为能够通信。
[0034]
驾驶员监视器照相机1具有：由ccd或者c-mos等对可见光具有灵敏度的光电变换元件的阵列构成的二维检测器；和在该二维检测器上对作为拍摄对象的区域的图像进行成像的成像光学系统。驾驶员监视器照相机1设置于车辆内部的仪表盘或者前玻璃的附近等，对驾驶员的脸进行拍摄。驾驶员监视器照相机1按照预定的拍摄周期(例如1/30秒～1/10秒)对驾驶员进行拍摄，生成映有驾驶员的图像。此外，利用驾驶员监视器照相机1得到的图像优选为彩色图像。驾驶员监视器照相机1每当生成图像时，就经由车内网络将该生成的图像输出到控制部100。
[0035]
触摸传感器2由静电电容式、感压式等的传感器构成，设置于操作部5。触摸传感器2检测驾驶员是否触碰操作部5。操作部5是由驾驶员操作的方向盘、油门踏板、刹车踏板、变速杆等构成要素。在操作部5是方向盘的情况下，触摸传感器2检测驾驶员是否把持着方向盘。
[0036]
同样地，在操作部5是油门踏板或者刹车踏板的情况下，触摸传感器2检测驾驶员的脚是否触碰油门踏板或者刹车踏板。此外，在使用与油门踏板连动工作的电子节流阀的情况下，也可以根据表示电子节流阀的开度的电信号来检测驾驶员的脚是否触碰油门踏板。另外，在操作部5是刹车踏板的情况下，也可以根据刹车灯为点亮(on)的on信号来检测驾驶员的脚触碰刹车踏板。
[0037]
扬声器3是通知部的一个例子，设置于仪表盘的附近等，输出用于对驾驶员发出警告的声音。gui4是通知部的另一例子，设置于仪表板或者仪表盘的附近等，输出用于对驾驶员发出警告的显示。gui4由例如液晶显示装置(lcd)等构成。
[0038]
方向盘转矩传感器6是用于检测方向盘的转矩的传感器。在驾驶员握住方向盘进行操作的情况下，方向盘的转矩(反作用力)根据该操作而变化。因此，能够根据方向盘的转矩的检测值来判定驾驶员是否在操作方向盘。
[0039]
控制部100是对驾驶支援系统40的整体进行控制的构成要素，是驾驶支援装置的一个方式。控制部100具有处理器10、存储器20以及通信接口30。处理器10具有1个或者多个cpu(central processing unit，中央处理单元)及其周边电路。处理器10也可以还具有逻辑运算单元、数值运算单元或者图形处理单元这样的其他运算电路。存储器20是存储部的一个例子，例如，包括易失性的半导体存储器以及非易失性的半导体存储器。通信接口30是通信部的一个例子，具有用于将控制部100连接到车内网络的接口电路。
[0040]
在如以上所述构成的驾驶支援系统40中，根据从驾驶员监视器照相机1得到的表示驾驶员的状态的信息，探测驾驶员是否为不适于驾驶操作的状态。然后，在探测到驾驶员为不适于驾驶操作的状态的情况下，警告驾驶员采取适合驾驶操作的状态。作为不适于驾
驶操作的状态，例如，可以举出驾驶员注意力不集中的状态、瞌睡的状态、离席的状态、姿势扭曲的状态等。换言之，作为驾驶员不适于驾驶操作的状态的一个方式，可以举出不适于监视车辆周边的状态。
[0041]
通过发出这样的警告，期待驾驶员对警告做出反应而采取停止注意力不集中而直视车辆前方、从瞌睡中清醒过来、回到驾驶席、调正姿势等适于驾驶操作的状态。因此，为了使驾驶员采取适于驾驶操作的状态，通过发出警告能够获得一定程度的效果。
[0042]
另一方面，还设想仅简单地发出警告，驾驶员未采取适于驾驶操作的状态的情况。特别是，乘坐于能够进行上述等级2或者等级3左右的放手行驶的车辆的驾驶员，由于在放手行驶中意识离开了驾驶，所以仅通过简单地发出警告，驾驶员有时不会转变为适于驾驶操作的状态。另外，还设想即使通过警告驾驶员临时转变为适于驾驶操作的状态，但之后驾驶员又返回到不适于驾驶操作的状态的情形。
[0043]
例如，在放手行驶中驾驶员发生瞌睡的情况下，即使通过警告驾驶员清醒了，但由于驾驶员感觉到车辆在自主驾驶，所以有时在警告后再次返回到瞌睡状态。同样地，在放手行驶中驾驶员注意力不集中的情况下，即使通过警告使得驾驶员看向车辆前方，但由于驾驶员感觉到车辆在自动驾驶，所以在警告后有时会再次注意力不集中。即，仅通过警告，有时驾驶员对驾驶的参与度依然较低。因此，在进行放手行驶的车辆中，为了使驾驶员转变为适于驾驶操作的状态，仅进行警告并不够。
[0044]
因此，本实施方式的驾驶支援系统40在进行警告之后，要求驾驶员触碰用于进行驾驶操作的操作部5(以下还称为“接触要求”)。通过依次实施用于采取适于驾驶操作的状态的警告和接触要求，能够使驾驶员依次进行驾驶操作所需的2种准备。而且，通过由收到接触要求的驾驶员实际触碰操作部5，驾驶员能够操作操作部5，驾驶员对驾驶的参与度提高。
[0045]
因此，相比于简单地发出警告的情况，通过使驾驶员触碰操作部5，能够进一步提高驾驶员对驾驶的关心。而且，作为其结果，在需要驾驶员自身参与驾驶的情况下，能够使驾驶员进行适当的驾驶操作。由此，对于在放手行驶时对驾驶的参与度低的驾驶员，也能够实现提高对驾驶的参与度。
[0046]
对于即使进行警告但对驾驶的参与度仍较低的驾驶员，为了提高这样的驾驶员对驾驶的参与度而提出了接触要求。因此，原则上，在发出警告之后提出接触要求。接触要求既可以与警告的解除同时进行，也可以在从警告解除起经过一定长度的时间之后进行。
[0047]
另一方面，警告和接触要求并非一定按照该顺序进行，也可以同时提出警告和接触要求，还可以在警告之前提出接触要求。但是，在同时提出警告和接触要求的情况下，驾驶员有时也比较难以同时应对警告和接触要求，所以警告和接触要求优选在时间上错开进行。
[0048]
另外，在从自动驾驶切换到手动驾驶时等迫切需要提高驾驶员对驾驶的参与度的情况下，优选在警告之前先提出接触要求。例如，在放手行驶中探测到车辆前方存在障碍物的情况下，在驾驶员处于不适于驾驶的状态的情况下，通知驾驶员向手动驾驶切换，并且对驾驶员通知接触要求。另外，在需求紧急的行车道变更时，在驾驶员处于不适于驾驶的状态的情况下，对驾驶员通知向手动驾驶切换，并且对驾驶员通知接触要求。由此，在切换到手动驾驶时，先触碰操作部5，从而能够防止在切换到手动驾驶时驾驶员还未触碰操作部5而
无法进行驾驶操作的事态发生。因此，能够可靠地进行从自动驾驶向手动驾驶的转移。
[0049]
在驾驶员触碰操作部5持续一定时间以上的情况下，接触要求被解除。其原因为，如果驾驶员触碰操作部5一定时间以上，则驾驶员对驾驶的参与度足够高，估计即使解除接触要求，驾驶员也能够继续操作操作部5。
[0050]
例如，在操作部5是方向盘的情况下，在从触摸传感器2检测到驾驶员触碰方向盘持续一定时间以上的情况下，接触要求被解除。另外，在操作部5是方向盘的情况下，在根据方向盘转矩传感器6的检测值检测到驾驶员操作方向盘持续一定时间以上的情况下，接触要求被解除。另外，在使用方向盘转矩传感器6的检测的情况下，也可以不等待经过一定时间，而是在哪怕检测到一次由于驾驶员的转向操作引起的反作用力的情况下，解除接触要求。
[0051]
如果驾驶员未触碰操作部5持续一定时间以上，则接触要求不被解除，所以能够使驾驶员继续触碰操作部5。因此，能够可靠地提高驾驶员对驾驶的参与度。
[0052]
另外，也可以在驾驶员触碰操作部5持续一定时间以上、驾驶员是适于驾驶操作的状态这双方都持续一定时间以上的情况下，解除接触要求。在该情况下，由于驾驶员持续地触碰操作部5、且在未采取适于驾驶操作的状态时不解除接触要求，所以能够更可靠地提高驾驶员对驾驶的参与度。
[0053]
另外，也可以在开始通知接触要求之后，不管驾驶员是否触碰操作部5，都继续进行一定时间的期间的接触要求，并在经过一定时间之后解除接触要求。在该情况下，通过持续一定时间要求驾驶员触碰操作部5，从而能够期待驾驶员有意识地触碰操作部5，作为其结果，能够提高驾驶员对驾驶的关心。另外，在开始通知接触要求之后，不需要通过触摸传感器2来检测驾驶员是否触碰操作部5的处理，所以能够简化处理。
[0054]
在尽管提出了接触要求，但经过一定时间以上的期间驾驶员仍未触碰操作部5的情况下，对驾驶员发出放手警告。关于放手警告，例如鸣叫大音量的蜂鸣器等，以强度高于接触要求的警告的方式进行。
[0055]
图2是示出控制部100的处理器10的功能块的示意图。控制部100的处理器10为了进行以上的动作，具有：状态判定部12、警告控制部14、通知控制部16、接触判定部18。处理器10具有的这些各部例如是通过在处理器10上动作的计算机程序实现的功能模块。即，处理器10的功能块由处理器10和用于使其发挥功能的程序(软件)构成，该程序也可以记录于控制部100所具备的存储器20或者从外部连接的记录介质。或者，处理器10具有的这些各部也可以是设置于处理器10的专用的运算电路。
[0056]
状态判定部12根据驾驶员监视器照相机1拍摄到的车辆的驾驶员的图像信息，判定驾驶员是否为不适于车辆的周边监视的状态。在由状态判定部12判定为驾驶员是不适于车辆的周边监视的状态的情况下，警告控制部14进行经由扬声器3、gui4而警告驾驶员的控制，以取得适于周边监视的状态。
[0057]
通知控制部16进行控制，该控制用于经由扬声器3、gui4对驾驶员通知以能够对操作部5进行操作方式进行触碰的要求。接触判定部18判定驾驶员是否持续一定时间接触操作部5。
[0058]
图3是示出与驾驶支援有关的处理的流程的流程图。利用控制部100的处理器10按照预定的控制周期执行图3的处理。首先，从驾驶员监视器照相机1取得对驾驶员进行拍摄
而得到的图像信息(步骤s101)。接下来，状态判定部12根据从驾驶员监视器照相机1得到的图像信息，判定驾驶员是否为不适于驾驶操作的状态(步骤s102)。具体而言，状态判定部12根据从驾驶员监视器照相机1得到的图像，判定驾驶员是否为注意力不集中的状态、瞌睡的状态、离席的状态、姿势扭曲的状态等。
[0059]
接下来，警告控制部14根据步骤s102的判定的结果，如果驾驶员是不适于驾驶操作的状态，则警告驾驶员采取适于驾驶操作的状态(步骤s103)。通过从扬声器3输出声音或者向gui4的显示来发出警告。例如，在驾驶员是注意力不集中状态的情况下，通过在仪表板上显示“看前方！”等文字、并用声音进行同样的输出来发出警告。另外，警告也可以是通过从扬声器3输出警告音来进行的方式，进而，还可以是通过上述显示、声音、警告音中的至少某2个的组合来进行的方式。另外，警告也可以是借助利用触感设备提供的触觉的警告、利用安全带的振动的警告、利用座椅的振动的警告等。此外，根据步骤s102的判定的结果，如果驾驶员并非不适于驾驶操作的状态，则结束处理。
[0060]
接下来，状态判定部12根据从驾驶员监视器照相机1得到的图像信息，判定驾驶员是否为适于驾驶操作的状态(步骤s104)。然后，如果驾驶员是适于驾驶操作的状态，则警告控制部14解除警告(步骤s105)。另一方面，在驾驶员并非适于驾驶操作的状态的情况下，再次迁移到步骤s104，反复进行步骤s104的处理。
[0061]
具体而言，在步骤s104中，根据从驾驶员监视器照相机1得到的图像信息，在驾驶员并非是注意力不集中的状态、瞌睡的状态、离席的状态或者姿势扭曲的状态等的情况下，在步骤s105中，警告控制部14解除警告。
[0062]
接下来，通知控制部16对驾驶员通知以能够操作的方式触碰操作部5的要求(接触要求)(步骤s106)。通过从扬声器3输出声音或者向gui4的显示进行接触要求的通知。例如，通过在仪表板上显示“请保持方向盘！”等通知、并用声音发出同样的通知来进行接触要求的通知。另外，接触要求的通知也可以是借助利用触感设备提供的触觉的通知、利用安全带的振动的通知、利用座椅的振动的通知等。
[0063]
接下来，接触判定部18根据触摸传感器2的检测信号，判定驾驶员是否持续一定时间接触操作部5(步骤s107)。然后，在驾驶员持续一定时间接触操作部5的情况下，通知控制部16解除接触要求的通知(步骤s108)，结束处理。另一方面，在驾驶员未对操作部5持续接触一定时间的情况下，再次迁移到步骤s107，反复进行步骤s107的处理。
[0064]
如以上所述，根据图3的处理，在判定为驾驶员是不适于驾驶操作的状态时，对驾驶员发出警告，在解除警告之后进行接触要求的通知。然后，在进行接触要求的通知之后，在驾驶员持续一定时间触碰操作部5的情况下，解除接触要求的通知。因此，对于即使发出警告但对驾驶的参与度仍低的驾驶员，能够提高其对驾驶的参与度。
[0065]
如上所述，也可以在驾驶员触碰操作部5持续一定时间以上的期间、驾驶员是适于驾驶操作的状态这双方都持续一定时间以上的情况下，通知控制部16解除接触要求。图4是示出这种情况的处理的流程图。
[0066]
在图4中，代替图3的步骤s107的处理而设置有步骤s109的处理。图4的其他处理与图3相同。在步骤s109中，判定驾驶员是否持续一定时间接触操作部5、且驾驶员持续一定时间为适于驾驶操作的状态。然后，在驾驶员持续一定时间接触操作部5、且驾驶员持续一定时间是适于驾驶操作的状态的情况下，通知控制部16解除接触要求的通知(步骤s108)。例
如，在作为不适于驾驶操作的状态，检测到驾驶员为注意力不集中状态的情况下，在驾驶员持续一定时间保持方向盘、且驾驶员持续一定时间注视前方的情况下，接触要求的通知被解除。
[0067]
另一方面，在驾驶员未持续一定时间接触操作部5的情况下、或者在驾驶员持续一定时间是不适于驾驶操作的状态的情况下，再次迁移到步骤s109，反复进行步骤s109的处理。
[0068]
根据图4的处理，在成为驾驶员持续一定时间接触操作部5、且驾驶员持续一定时间为适于驾驶操作的状态之前的期间，对驾驶员通知接触要求，所以能够可靠地提高驾驶员对驾驶的参与度。
[0069]
另外，如上所述，也可以在开始接触要求的通知之后，不管驾驶员是否触碰操作部5，都将接触要求持续进行一定时间的期间，并在经过一定时间之后解除接触要求。图5是示出这种情况的处理的流程图。
[0070]
在图5中，代替图3的步骤s107的处理而设置有步骤s200的处理。图5的其他处理与图3相同。在步骤s200中，判定是否持续一定时间进行接触要求的通知。然后，在持续一定时间进行通知的情况下，通知控制部16解除接触要求的通知(步骤s108)。另一方面，在未持续一定时间进行通知的情况下，再次迁移到步骤s200，反复进行步骤s200的处理。
[0071]
根据图5的处理，不过驾驶员是否触碰操作部5，都将接触要求持续进行一定时间的期间，在经过一定时间之后解除接触要求，所以能够期待驾驶员有意识地触碰操作部5，作为其结果，能够提高驾驶员对驾驶的关心。另外，相比于图3，能够更简单地进行处理。
[0072]
另外，如上所述，在从自动驾驶切换到手动驾驶的情况等迫切需要提高驾驶员对驾驶的参与度的情况下，优选在警告之前先提出接触要求。图6是示出这种情况的处理的流程图。首先，在放手行驶中探测到车辆前方存在障碍物的情况下等，对驾驶员通知在经过预定时间后切换到手动驾驶(步骤s201)。
[0073]
接下来，状态判定部12根据从驾驶员监视器照相机1得到的图像信息，判定驾驶员是否处于不适于驾驶操作的状态(步骤s202)。具体而言，状态判定部12根据从驾驶员监视器照相机1得到的图像，判定驾驶员是否为注意力不集中的状态、瞌睡的状态、离席的状态、姿势扭曲的状态等。
[0074]
接下来，通知控制部16对驾驶员通知以能够进行操作的方式触碰操作部5的要求(接触要求)(步骤s203)。接下来，接触判定部18根据触摸传感器2的检测信号，判定驾驶员是否持续一定时间接触操作部5(步骤s204)。然后，在驾驶员持续一定时间接触操作部5的情况下，通知控制部16解除接触要求的通知(步骤s205)。另一方面，在驾驶员未持续一定时间接触操作部5的情况下，再次迁移到步骤s204，反复进行步骤s204的处理。
[0075]
接下来，警告控制部14警告驾驶员采取适于驾驶操作的状态(步骤s206)。
[0076]
接下来，状态判定部12根据从驾驶员监视器照相机1得到的图像信息，判定驾驶员是否为适于驾驶操作(步骤s207)。然后，如果驾驶员是适于驾驶操作的状态，则警告控制部14解除警告(步骤s208)。另一方面，在驾驶员并非适于驾驶操作的状态的情况下，再次迁移到步骤s207，反复进行步骤s207的处理。
[0077]
根据图6的处理，在切换到手动驾驶时，通过对驾驶员通知以能够进行操作的方式触碰操作部5的要求，能够使驾驶员触碰操作部5。因此，能够在切换到手动驾驶之前，提高
驾驶员对驾驶的参与度，所以能够可靠地进行从自动驾驶向手动驾驶的转移。
[0078]
接下来，根据图7的流程图以及图8～图9，作为判定驾驶员是否为不适于驾驶操作的状态的处理的例子，说明判定驾驶员的注意力不集中的状态的处理。
[0079]
图7是示出判定驾驶员的注意力不集中的状态的处理的流程图。首先，从驾驶员监视器照相机1取得关注的帧的影像(步骤s301)。接下来，判定所取得的影像中是否有貌似脸的影像(步骤s302)。图8是示出在步骤s302中判定影像中是否有貌似脸的影像的方法的示意图。如图8所示，对驾驶员监视器照相机1取得的帧的影像50和人脸数据库51的图像进行比较，判定影像50中是否有貌似脸的影像。此外，能够通过公知的模板匹配等方法进行比较。
[0080]
在影像30中有貌似脸的影像的情况下，根据例如眼角、嘴角、鼻等的模板图像，从影像30中抽出眼角、嘴角、鼻的脸特征点(步骤s303)，根据特征点之间的距离，计算脸朝向角度(步骤s304)。图9是示出在步骤s303、步骤s304中根据脸特征点之间的距离计算脸朝向角度的方法的示意图。如图9所示，在抽出脸特征点p1～p9时，能够根据特征点之间的距离计算脸朝向角度。
[0081]
作为一个例子，以驾驶员朝向正面时的特征点之间的距离为基准，进行脸朝向角度的计算。图10是示出脸朝向角度的定义的示意图。将驾驶员的水平方向的脸朝向角度定义为偏航(yaw)角，将上下方向的脸朝向角度定义为间距(pitch)角。作为驾驶员朝向正面时的特征点之间的距离，能够使用预先存储于控制部100的存储器20的值。例如，以驾驶员朝向正面时的p1-p2之间的距离为基准，在驾驶员朝向任意的方向的情况下，在p1-p2之间的距离变得短于基准的情况下，能够判定出偏航角已变化。能够根据p1-p2之间的距离的变化量求出偏航角的变化量。
[0082]
同样地，以驾驶员朝向正面时的p1-p5之间的距离为基准，在驾驶员朝向任意的方向的情况下，在p1-p5之间的距离变得短于基准的情况下，能够出判定间距角已变化。而且，能够根据p1-p5之间的距离的变化量求出间距角的变化量。此外，关于滚转(roll)角的变化，在注意力不集中的判定中未直接使用，但能够根据各特征点的移动轨迹求出驾驶员的脸(头部)模型的旋转中心，根据各特征点相对旋转中心的旋转角而求出。
[0083]
接下来，判定脸朝向角度是否超过注意力不集中角度阈值(步骤s305)。在脸朝向角度超过注意力不集中角度阈值的情况下，判定注意力不集中继续时间是否经过t秒(步骤s306)。然后，在注意力不集中继续时间经过t秒的情况下，判定为是注意力不集中(步骤s307)。在步骤s305中，在脸朝向角度未超过注意力不集中角度阈值的情况下、或者在步骤s306中注意力不集中继续时间未经过t秒的情况下，返回到步骤s301。
[0084]
例如，在偏航角的变化量超过注意力不集中角度阈值、注意力不集中继续时间经过t秒的情况下，能够判定为驾驶员在水平方向上转动脸而注意力不集中。另外，在间距角的变化量超过预定的阈值、注意力不集中继续时间经过t秒的情况下，能够判定为驾驶员在上下方向上转动脸而注意力不集中。这样，在进入到步骤s307的情况下，判定为驾驶员是注意力不集中状态、是不适于驾驶操作的状态。在步骤s307之后，结束处理。
[0085]
如以上所述，根据图7的处理，能够根据影像中的脸的特征点之间的距离，判定驾驶员是否为注意力不集中状态。
[0086]
在图7中，作为判定驾驶员是否为不适于驾驶操作的状态的处理，例示出判定驾驶
员是否为注意力不集中的状态的处理，但关于不适于驾驶操作的其他状态也能够根据驾驶员监视器照相机1拍摄的图像进行判定。例如，能够根据驾驶员的眼睛的闭眼率，求出驾驶员是否为瞌睡的状态。通过从驾驶员的脸图像捕捉眼的睁闭，计算在预定时间内闭眼的时间的比值，从而求出闭眼率。此时，通过例如模板匹配或者向眼检测用的识别器输入图像，检测驾驶员的眼睛，对眼睛的纵横比设置阈值来判定眼睛的睁闭，计算闭眼率。在闭眼率是预定值以上的情况下，判定为驾驶员是瞌睡状态，判定为驾驶员是不适于驾驶操作的状态。
[0087]
另外，关于驾驶员的离席的状态、姿势扭曲状态等也能够通过对从驾驶员监视器照相机1得到的驾驶员的图像信息和作为基准的模板图像进行比较来检测。关于驾驶员的离席状态，还能够在由驾驶员监视器照相机1拍摄到的图像中不存在驾驶员的脸的情况下判断为离席。
[0088]
进而，在图7中，作为判定驾驶员是否为不适于驾驶操作的状态的处理，例示出根据驾驶员的脸的朝向判定驾驶员是否为注意力不集中状态的处理，但也可以通过公知的方法，探测驾驶员的视线的方向。而且，也可以根据视线的方向，判定驾驶员是否为不适于驾驶操作的状态。
[0089]
如以上说明，根据本实施方式，在判定为驾驶员是不适于驾驶操作的状态时，对驾驶员进行警告，对驾驶员通知接触要求知以使得驾驶员触碰操作部5。因此，通过进行通知以使得触碰接触部5，对于即使进行警告但对驾驶的参与度仍低的驾驶员，能够提高对驾驶的参与度。由此，能够避免驾驶员不关心驾驶的状态，能够实现危险规避等期望的驾驶操作。