面部信息获取装置以及面部信息获取方法与流程

1.本发明涉及获取车辆的驾驶员的面部信息的面部信息获取装置以及面部信息获取方法。


背景技术：

2.已知根据由设置于车辆的车室内的驾驶员监控摄像机获取到的驾驶员的面部图像来推测驾驶员的情绪的技术。车辆的行驶控制装置能够根据推测出的驾驶员的情绪来变更车辆的行为。
3.为了恰当地推测驾驶员的情绪，优选获取将视线朝向预定的方向的驾驶员的面部图像。在专利文献1中，记载有如下面部辨识系统，该面部辨识系统在设置于显示部的外部边缘附近的摄影部的附近对在显示用于引导人物的视线的显示信息的定时由摄影部获取到的图像中摄像到的人物的面部进行辨识。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2014-178920号公报


技术实现要素：

7.为了用设置于车室内的驾驶员监控摄像机获取驾驶员将视线朝向预定的方向的面部图像而在显示器中显示预定的信息而引导视线对于驾驶员而言是繁琐的，是不优选的。
8.本发明的目的在于提供能够以不使车辆的驾驶员感到繁琐的方式获取驾驶员的面部信息的面部信息获取装置。
9.本发明的面部信息获取装置具备：行为获取部，从对车辆的驾驶员的面部进行摄影而得到的多个面部图像的各个面部图像获取表示驾驶员的面部的行为的面部信息；输入画面显示部，使具有从驾驶员受理信息的输入的输入栏的画面显示于搭载于车辆的显示部；以及校正信息获取部，从多个面部图像中的在画面显示于显示部的期间生成的面部图像获取用于校正面部信息的校正信息。
10.在本发明的面部信息获取装置中，优选为输入画面显示部使输入栏配置于显示部的一端以及另一端的画面显示于显示部，校正信息获取部从在配置于显示部的一端的输入栏受理来自驾驶员的信息的输入的期间生成的面部图像获取第1校正信息，从在配置于显示部的另一端的输入栏受理来自驾驶员的信息的输入的期间生成的面部图像获取第2校正信息。
11.在本发明的面部信息获取装置中，优选为面部信息是表示驾驶员的视线方向的信息，校正信息是表示驾驶员的右眼的视线方向与左眼的视线方向的差异的信息。
12.在本发明的面部信息获取装置中，优选为面部信息是表示驾驶员的视线方向的信息，校正信息是表示驾驶员的眼睛的三维位置的信息。
13.在本发明的面部信息获取装置中，优选为面部信息是表示驾驶员的表情的信息，校正信息是表示驾驶员的无表情时的表情的信息。
14.本发明的面部信息获取方法包括：从对车辆的驾驶员的面部进行摄影而得到的多个面部图像的各个面部图像获取表示驾驶员的面部的行为的面部信息，使具有从驾驶员受理信息的输入的输入栏的画面显示于搭载于车辆的显示部，从多个面部图像中的在画面显示于显示部的期间生成的面部图像获取用于校正面部信息的校正信息。
15.根据本发明的面部信息获取装置，能够以不使车辆的驾驶员感到繁琐的方式获取驾驶员的面部信息。
附图说明
16.图1是安装面部信息获取装置的车辆的概略结构图。
17.图2是面部信息获取装置的硬件示意图。
18.图3是面部信息获取装置所具有的处理器的功能框图。
19.图4是示出面部图像的摄影的例子的图。
20.图5是示出显示部中的显示的例子的图。
21.图6是面部信息获取处理的流程图。
22.符号说明
23.1：车辆；5：面部信息获取装置；531：行为获取部；532：输入画面显示部；533：校正信息获取部。
具体实施方式
24.以下，参照附图详细地说明能够以不使车辆的驾驶员感到繁琐的方式获取驾驶员的面部信息的面部信息获取装置。面部信息获取装置从对车辆的驾驶员的面部进行摄影而得到的多个面部图像的各个面部图像获取表示驾驶员的面部的行为的面部图像。另外，面部信息获取装置使具有受理来自驾驶员的信息的输入的输入栏的画面显示于搭载于车辆的显示部。然后，面部信息获取装置从多个面部图像中的在具有输入栏的画面显示于显示部的期间生成的面部图像获取用于校正面部图像的校正信息。
25.图1是安装面部信息获取装置的车辆的概略结构图。
26.车辆1具有驾驶员监控摄像机2、触摸面板显示器3、仪表显示器4以及面部信息获取装置5。驾驶员监控摄像机2以及触摸面板显示器3与面部信息获取装置5经由遵循控制器局域网络这样的标准的车内网络能够通信地连接。
27.驾驶员监控摄像机2是用于获取表示驾驶员的面部的面部图像的传感器的一个例子。驾驶员监控摄像机2具有由ccd或者c－mos等对于红外光具有灵敏度的光电变换元件的阵列构成的2维检测器和使该2维检测器上的作为摄影对象的区域的像成像的成像光学系统。另外，驾驶员监控摄像机2具有发出红外光的光源。驾驶员监控摄像机2例如朝向落座于驾驶座的驾驶员的面部地安装于车室内的前方上部。驾驶员监控摄像机2每隔预定的摄影周期(例如1/30秒～1/10秒)对驾驶员照射红外光，输出拍摄到驾驶员的面部的面部图像。
28.触摸面板显示器3是显示部的一个例子，例如具有液晶显示器或者有机el显示器这样的显示设备，显示从面部信息获取装置5接收到的显示用的数据。另外，触摸面板显示
器3具有重叠于显示设备的例如静电电容式的触摸传感器这样的输入设备，将与驾驶员针对触摸面板显示器3的操作相应的坐标信息发送到面部信息获取装置5。触摸面板显示器3将具有用于受理行驶路径的搜索中的目的地、在当前位置的周边进行的点搜索中的点类别、车室空调的设定条件这样的各种信息的输入的输入栏的画面显示于显示设备。另外，触摸面板显示器3利用输入设备来受理从驾驶员向输入栏的信息的输入。触摸面板显示器3例如设置于车室内的仪表盘中央附近。
29.仪表显示器4例如具有液晶显示器或者有机el显示器这样的显示设备，显示从未图示的车辆控制装置接收到的行驶速度、行驶距离、各种警告这样的行驶关联信息。另外，仪表显示器4也可以显示车辆1的标识等用于引导驾驶员的视线的图像信息。仪表显示器4设置于仪表盘的驾驶员落座的驾驶座的前方。
30.面部信息获取装置5是具有通信接口、存储器以及处理器的ecu(electronic control unit，电子控制单元)。面部信息获取装置5使触摸面板显示器3显示具有输入栏的画面，并且使用驾驶员监控摄像机2摄影到的面部图像来执行面部信息获取处理。
31.图2是面部信息获取装置5的硬件示意图。面部信息获取装置5具备通信接口51、存储器52以及处理器53。
32.通信接口51是通信部的一个例子，具有用于将面部信息获取装置5连接于车内网络的通信接口电路。通信接口51将接收到的数据供给给处理器53。另外，通信接口51将从处理器53供给的数据输出到外部。
33.存储器52具有易失性的半导体存储器以及非易失性的半导体存储器。存储器52保存由处理器53进行的处理中使用的各种数据、例如用于从面部图像获取面部信息以及校正信息的运算参数、表示触摸面板显示器3以及仪表显示器4的三维位置的位置信息等。另外，存储器52保存各种应用程序、例如执行面部信息获取处理的面部信息获取程序等。
34.处理器53是控制部的一个例子，具有1个以上的处理器及其周边电路。处理器53也可以还具有逻辑运算单元、数值运算单元或者图形处理单元这样的其它运算电路。
35.图3是面部信息获取装置5所具有的处理器53的功能框图。
36.面部信息获取装置5的处理器53作为功能块而具有行为获取部531、输入画面显示部532以及校正信息获取部533。处理器53所具有的这些各部分是通过在处理器53上执行的程序来安装的功能模块。或者，处理器53所具有的这些各部分也可以作为独立的集成电路、微型处理器或者固件而安装于面部信息获取装置5。
37.行为获取部531经由通信接口51接收由驾驶员监控摄像机2生成的多个面部图像。行为获取部531从接收到的多个面部图像的各个面部图像获取驾驶员的面部信息。
38.图4是示出面部图像的摄影的例子的图。
39.在车辆1的车室内，驾驶员d将视线朝向配置于前方的触摸面板显示器3。也可以在驾驶员d的视线方向上配置有方向盘sw。驾驶员监控摄像机2拍摄出显示有驾驶员d的面部的面部图像。
40.行为获取部531例如作为表示驾驶员的面部的行为的面部信息而获取表示驾驶员的视线方向的信息。视线方向根据车辆1的行进方向与驾驶员的视线之间的水平方向或者铅垂方向的角度来表示。
41.行为获取部531通过将获取到的面部图像输入到以检测瞳孔以及光源的角膜反射
图像的位置的方式预先学习的识别器，从而确定面部图像所包含的驾驶员的眼睛中的瞳孔以及角膜反射图像的位置。然后，行为获取部531根据瞳孔与角膜反射图像的位置关系，检测视线方向。
42.识别器例如能够设为具有从输入侧向输出侧串联地连接的多个层的卷积神经网络(cnn)。通过预先将包括瞳孔以及角膜反射图像的面部图像用作训练数据而输入到cnn，进行学习，从而cnn作为确定瞳孔以及角膜反射图像的位置的识别器而动作。
43.行为获取部531也可以通过将面部图像输入到识别器，从而确定驾驶员的眼睛中的内眼角以及虹膜的位置，根据内眼角与虹膜的位置关系来检测视线方向。在该情况下，驾驶员监控摄像机2也可以具有高灵敏度可见光传感器，该高灵敏度可见光传感器在夜晚的车室内的环境下也能够适当地输出拍摄到驾驶员的面部的图像。
44.另外，面部信息也可以是表示驾驶员的表情的信息。驾驶员的表情根据从面部图像检测的多个面部动作单位中的面部特征量来表示。行为获取部531通过将面部图像输入到以检测外眼角、嘴角这样的多个面部动作单位的位置的方式预先学习的识别器，从而确定面部图像所包含的面部动作单位的位置。然后，行为获取部531通过比较所确定的面部动作单位的位置和各面部动作单位的预定的基准位置，从而检测面部特征量。基准位置例如可以是标准的面部模型中的各面部动作单位的位置，另外也可以是从驾驶员的面部图像检测到的各面部动作单位的位置的平均值。
45.另外，面部信息也可以是驾驶员的面部朝向。驾驶员的面部朝向根据车室内的三维空间中的驾驶员的头部的俯仰(pitch)、横摆(yaw)以及侧倾(roll)中的1个以上的角度来表示。行为获取部531通过将获取到的面部图像输入到以检测外眼角、内眼角、嘴角点这样的面部的预定部位的位置的方式学习的识别器，从而确定面部图像所包含的预定部位的位置。然后，行为获取部531将从面部图像检测到的预定部位的位置与标准的面部的三维模型进行对比。然后，将各部位的位置与从面部图像检测到的部位的位置最匹配时的三维模型中的面部朝向检测为面部图像中的面部朝向。
46.输入画面显示部532判定是否存在驾驶员的信息输入的请求，在判定为存在请求的情况下，使具有受理驾驶员的信息输入的输入栏的画面显示于触摸面板显示器3。输入画面显示部532在从由处理器53执行的其它程序受理驾驶员的信息输入的请求的情况下，判定为存在信息输入的请求。另外，输入画面显示部532在经由通信接口51从与车内网络连接的其它ecu等信息处理装置(未图示)接收到请求驾驶员输入信息的信号的情况下，判定为存在信息输入的请求。
47.图5是示出触摸面板显示器3中的显示的例子的图。
48.图5示意地示出了从落座于驾驶座的驾驶员看的车室内前方的视界。触摸面板显示器3配置于车室内的左右方向的中央附近(图5中的左侧)。仪表显示器4配置于设置有方向盘sw的驾驶座的正前方(图5中的右侧)。
49.在触摸面板显示器3中显示有具有输入栏3a以及3b的画面。输入栏3a配置于触摸面板显示器3的一端(左上)。输入栏3a例如是显示与驾驶员对触摸面板显示器3的操作相应的字符的栏。另外，输入栏3b配置于触摸面板显示器3的另一端(右下)。输入栏3b例如是受理将显示于输入栏3a的字符确定为输入字符的操作的确定按钮。
50.在仪表显示器4中，显示有用于引导驾驶员的视线的标识4a。此外，触摸面板显示
器3中的输入栏3a、3b以及仪表显示器4中的标识4a无需同时显示，在不同的时刻显示它们中的任意方。另外，也可以存在在触摸面板显示器3或者仪表显示器4中它们中的哪个都不显示的时刻。例如，输入栏3a、3b在判定为存在来自驾驶员的信息输入的请求时被显示。另外，将标识4a显示将车辆1点火之后的预定时间(例如5秒)。
51.校正信息获取部533从自驾驶员监控摄像机2接收到的面部图像中的在具有输入栏的画面显示于触摸面板显示器3的期间摄影到的面部图像获取校正信息。校正信息是用于校正面部信息的信息。
52.校正信息获取部533通过将面部图像输入到以检测瞳孔以及光源的角膜反射图像的位置的方式预先学习的识别器，从而确定面部图像所包含的驾驶员的眼睛中的瞳孔以及角膜反射图像的位置。然后，校正信息获取部533根据左右各自的眼睛中的瞳孔与角膜反射图像的位置关系，检测驾驶员的右眼的视线方向与左眼的视线方向的差异作为校正信息。表示驾驶员的右眼的视线方向与左眼的视线方向的差异的校正信息能够用于校正作为由行为获取部531获取到的驾驶员的视线方向的面部信息。
53.另外，校正信息获取部533也可以确定通过在触摸面板显示器3中显示输入栏3a的位置并在从在输入栏3a显示于触摸面板显示器3的一端时获取到的面部图像检测的视线方向上延伸的直线。此时，校正信息获取部533将通过在触摸面板显示器3中显示输入栏3b的位置并在从在输入栏3b显示于触摸面板显示器3的一端时获取到的面部图像检测的视线方向上延伸的直线一并确定。然后，校正信息获取部533通过求出这些直线的交点，从而检测驾驶员的眼睛的三维位置作为校正信息。表示驾驶员的眼睛的三维位置的校正信息能够用于校正作为由行为获取部531获取到的驾驶员的视线方向的面部信息。
54.另外，校正信息获取部533也可以通过将面部图像输入到以检测外眼角、嘴角这样的多个面部动作单位的位置的方式预先学习的识别器，从而检测面部图像所包含的面部动作单位的位置作为表示无表情时的面部动作单位的位置的校正信息。表示无表情时的面部动作单位的位置的校正信息能够用于校正作为由行为获取部531获取到的面部特征量的面部信息。
55.另外，校正信息获取部533通过将面部图像输入到以检测瞳孔以及光源的角膜反射图像的位置的方式预先学习的识别器，从而确定面部图像所包含的驾驶员的眼睛中的瞳孔以及角膜反射图像的位置。然后，校正信息获取部533也可以根据左右各自的眼睛中的瞳孔与角膜反射图像的位置关系，检测驾驶员的视线方向作为校正信息。表示驾驶员的视线方向的校正信息能够用于校正作为由行为获取部531获取到的驾驶员的面部朝向的面部信息。
56.校正信息获取部533获取的校正信息也可以是表示驾驶员的面部的眼睛、鼻子、嘴巴这样的部位的大小的信息、表示驾驶员的面部的特征点的左右的非对称性的信息、表示驾驶员的左右的瞳孔或者虹膜的三维中心位置的信息。
57.校正信息获取部533也可以从自驾驶员监控摄像机2接收到的面部图像中的在具有输入栏的画面显示于触摸面板显示器3且触摸面板显示器3受理来自驾驶员的输入的期间生成的面部图像获取校正信息。校正信息获取部533也可以从自驾驶员监控摄像机2接收到的面部图像中的在触摸面板显示器3受理从驾驶员向输入栏3a的输入的期间生成的面部图像获取第1校正信息，从在触摸面板显示器3受理从驾驶员向输入栏3b的输入的期间生成
的面部图像获取第2校正信息。
58.另外，校正信息获取部533也可以从在触摸面板显示器3受理从驾驶员向相同的输入栏的输入的期间摄影到的多个面部图像获取校正信息。
59.图6是面部信息获取处理的流程图。面部信息获取装置5的处理器53在车辆1行驶的期间按照预定的周期重复执行面部信息获取处理。
60.首先，行为获取部531从对车辆1的驾驶员的面部进行摄影而得到的多个面部图像的各个面部图像获取表示驾驶员的面部的行为的面部信息(步骤s1)。
61.接下来，输入画面显示部532判定是否存在来自驾驶员的信息输入的请求(步骤s2)。在判定为没有来自驾驶员的信息输入的请求的情况下(步骤s2：否)，处理器53结束面部信息获取处理。
62.在被判定为存在来自驾驶员的信息输入的请求的情况下(步骤s2：是)，输入画面显示部532将具有受理来自驾驶员的信息输入的输入栏的画面显示于触摸面板显示器3(步骤s3)。
63.接着，校正信息获取部533从多个面部图像中的在具有输入栏的画面显示于触摸面板显示器3的期间摄影到的面部图像获取用于校正面部信息的校正信息(步骤s4)，结束面部信息获取处理。
64.应理解的是，本领域技术人员无需不脱离本发明的精神以及范围，就能够对其进行各种变更、置换以及修正。