状态推定装置、状态推定方法和状态推定程序与流程

本发明涉及状态推定装置、状态推定方法和状态推定程序。

背景技术：

近年来不断推进以下装置的开发：通过对拍摄驾驶车辆的驾驶员的图像进行图像处理，推定疲劳驾驶、旁视驾驶和身体状况突然变化等驾驶员的状态，用于防止重大事故的发生。例如，在专利文献1中提出了一种集中程度判定装置，检测车辆的驾驶员的视线，在检测到的视线的停留时间长的情况下，推定为驾驶员的集中程度下降。在专利文献2中提出了一种图像解析装置，对车辆的驾驶员的驾驶证的面部图像和驾驶中的驾驶员的拍摄图像进行比较，判定驾驶员的困倦程度和旁视程度。在专利文献3中提出了一种困倦检测装置，通过检测驾驶员眼睑的动作，并且根据检测后驾驶员的面部的角度有无变化来判定驾驶员的困倦，防止将向下看误检测为困倦。在专利文献4中提出了一种困倦判定装置，基于驾驶员的嘴部周围肌肉的动作，判定驾驶员的困倦等级。在专利文献5中提出了一种面部状况判定装置，检测使拍摄图像尺寸缩小后的图像中的驾驶员的面部，并且进一步提取面部的特定部位(眼、鼻、嘴)，根据各特定部位的动作来判定疲劳等的状态。此外，在专利文献6中提出了一种图像处理装置，周期性地依次对驾驶员的面部朝向的判定和视线的推定等多种处理进行处理。

现有技术文献

专利文献

专利文献1：日本专利特开2014-191474号公报

专利文献2：日本专利特开2012-084068号公报

专利文献3：日本专利特开2011-048531号公报

专利文献4：日本专利特开2010-122897号公报

专利文献5：日本专利特开2008-171108号公报

专利文献6：日本专利特开2008-282153号公报

技术实现要素：

发明要解决的课题

本发明的发明人在推定上述驾驶员状态的以往的方法中发现了以下问题。即，在以往的方法中，仅注目于面部朝向、眼睛开闭和视线变化等在驾驶员的面部发生的局部变化，推定驾驶员的状态。因此，例如，有可能将左右转向时为了确认周边而转动面部、为了目视确认而向后看、为了确认后视镜、仪表和车载装置的显示而改变视线等的驾驶所需要的动作误作为旁视行为或集中程度下降的状态。此外，例如，有可能将边注视前方边饮食或吸烟、边注视前方边用便携电话进行通话等不能集中驾驶的状态误作为正常状态。由此，本发明的发明人发现了以下问题：在以往的方法中，由于仅利用捕捉在面部产生的局部的变化的信息，所以不能反映驾驶员可能处于的多种状态来准确推定驾驶员对驾驶的集中程度。另外，除了驾驶员以外，例如在推定工厂的作业人员等对象人员的状态的情况下，也可能同样发生该问题。

本发明在一方面鉴于这种实际情况，其目的在于提供一种能够适当地推定对象人员可能处于的多种状态的技术。

用于解决课题的手段

本发明的一方面的状态推定装置具备：图像获取部，从配置成拍摄可能存在于规定场所的对象人员的拍摄装置获取拍摄图像；第一解析部，基于所述拍摄图像来解析所述对象人员的面部举动，并且获取与所述对象人员的面部举动相关的第一信息；第二解析部，基于所述拍摄图像来解析所述对象人员的身体动作，并且获取与所述对象人员的身体动作相关的第二信息；以及推定部，基于所述第一信息和所述第二信息来推定所述对象人员的状态。

该构成的状态推定装置获取与对象人员的面部举动相关的第一信息和与身体动作相关的第二信息，并且基于获取到的第一信息和第二信息来推定该对象人员的状态。因此，不仅能够将对象人员的面部举动这种局部信息，还能够将对象人员的身体动作这种全局信息反映在该对象人员的状态的解析中。因此，按照该构成，能够推定对象人员可能处于的多种状态。

在上述一方面的状态推定装置中，所述第一信息和所述第二信息可以分别由一个或多个特征量来表现，所述推定部可以基于各所述特征量的值来推定所述对象人员的状态。按照该构成，通过由特征量来表现各信息，能够容易地设定推定对象人员可能处于的多种状态的计算处理。

上述一方面的状态推定装置可以还具备权重设定部，所述权重设定部对各所述特征量设定确定各所述特征量的优先级的权重，所述推定部可以基于应用了所述权重的各所述特征量的值来推定所述对象人员的状态。按照该构成，通过适当地进行各特征量的权重分配，能够提高对象人员的状态的推定精度。

在上述一方面的状态推定装置中，所述权重设定部可以基于过去推定所述对象人员的状态的结果来确定所述权重值。按照该构成，通过反映过去推定的结果，能够提高对象人员的状态的推定精度。例如，在推定对象人员向后看的状态的情况下，该对象人员可能采取的下一行动设想为向前看。在这种情况下，通过使与向前看关联的特征量的权重分配比其他特征量大，能够提高对象人员的状态的推定精度。

上述一方面的状态推定装置可以还具备使所述拍摄图像的分辨率下降的分辨率转换部，所述第二解析部可以通过对使分辨率下降的所述拍摄图像进行所述身体动作的解析来获取所述第二信息。与面部举动相比，身体动作的举动能够以大幅度表现在拍摄图像内。因此，与从拍摄图像获取与面部举动相关的第一信息时相比，从拍摄图像获取与身体动作相关的第二信息时信息量少，换句话说，能够利用分辨率低的拍摄图像。在此，在该构成中，获取第二信息时，利用使分辨率下降的拍摄图像。由此，能够降低获取第二信息时的运算处理的计算量，能够抑制与推定对象人员的状态关联的处理器的负荷。

在上述一方面的状态推定装置中，所述第二解析部可以获取从使分辨率下降的所述拍摄图像中提取的与边缘位置、边缘强度和局部频率成分中至少一个相关的特征量作为所述第二信息。按照该构成，由于能够从使分辨率下降的拍摄图像中适当地获取与身体动作相关的第二信息，所以能够高精度地推定对象人员的状态。

在上述一方面的状态推定装置中，所述拍摄图像可以由多帧构成，所述第二解析部可以通过对包含在所述拍摄图像中的两帧以上的多帧进行所述身体动作的解析来获取所述第二信息。按照该构成，由于能够提取两帧以上的多帧的身体动作，所以能够提高对象人员的状态的推定精度。

在上述一方面的状态推定装置中，所述第一解析部可以通过对所述拍摄图像进行规定的图像解析，获取与能否检测到所述对象人员的面部、面部位置、面部朝向、面部动作、视线方向、面部器官的位置和眼睛开闭中至少一个相关的信息作为所述第一信息。按照该构成，由于能够适当地获取与面部举动相关的第一信息，所以能够高精度地推定对象人员的状态。

在上述一方面的状态推定装置中，所述拍摄图像可以由多帧构成，所述第一解析部可以通过以一帧为单位对所述拍摄图像进行所述面部举动的解析来获取所述第一信息。按照该构成，通过以一帧为单位获取第一信息，能够检测面部举动的细微变化，能够高精度地推定对象人员的状态。

在上述一方面的状态推定装置中，所述对象人员可以是进行车辆的驾驶的驾驶员，所述图像获取部可以从配置成拍摄坐在所述车辆的驾驶座上的所述驾驶员的所述拍摄装置获取所述拍摄图像，所述推定部可以基于所述第一信息和所述第二信息来推定所述驾驶员的状态。此外，该推定部可以推定所述驾驶员的注视前方、困倦、旁视、服装穿脱、电话操作、倚靠、因同乘人员或宠物产生的驾驶妨碍、疾病发作、向后看、突然低头、饮食、吸烟、头晕、行动异常、车载导航或音响的操作、眼镜或太阳镜的摘戴和照片拍摄中至少一个作为所述驾驶员状态。按照该构成，能够提供一种能够推定驾驶员的多种状态的状态推定装置。

在上述一方面的状态推定装置中，所述对象人员可以是工厂的作业人员，所述图像获取部可以从配置成拍摄可能存在于规定的作业场所的所述作业人员的所述拍摄装置获取所述拍摄图像，所述推定部可以基于所述第一信息和所述第二信息来推定所述作业人员的状态。此外，作为所述作业人员的状态，该推定部推定所述作业人员进行的作业的集中程度或所述作业人员的健康状态。按照该构成，能够提供一种能够推定作业人员的多种状态的状态推定装置。另外，作业人员的健康状态可以由与某种健康相关的指标来表现，例如可以由身体状况、疲劳程度等指标表现。

另外，作为上述各方式的状态推定装置的其他方式，可以是实现以上的各构成的信息处理方法，可以是程序，也可以是记录有这种程序的计算机、其他装置和机械等能够读取的存储介质。在此，计算机等能够读取的记录介质是指利用电、磁、光学、机械或化学作用来存储程序等信息的介质。

例如，本发明的一方面的状态推定方法，其中，计算机执行以下步骤：从配置成拍摄可能存在于规定场所的对象人员的拍摄装置获取拍摄图像；基于所述拍摄图像来解析所述对象人员的面部举动；获取解析所述面部举动的步骤的结果以及与所述对象人员的面部举动相关的第一信息；基于所述拍摄图像来解析所述对象人员的身体动作；获取解析所述身体动作的步骤的结果以及与所述对象人员的身体动作相关的第二信息；以及基于所述第一信息和所述第二信息来推定所述对象人员的状态。

此外，例如本发明的一方面的状态推定程序用于使计算机执行以下步骤：从配置成拍摄可能存在于规定场所的对象人员的拍摄装置获取拍摄图像；基于所述拍摄图像来解析所述对象人员的面部举动；获取解析所述面部举动的步骤的结果以及与所述对象人员的面部举动相关的第一信息；基于所述拍摄图像来解析所述对象人员的身体动作；获取解析所述身体动作的步骤的结果以及与所述对象人员的身体动作相关的第二信息；以及基于所述第一信息和所述第二信息来推定所述对象人员的状态。

按照本发明，能够适当地推定对象人员可能处于的多种状态。

附图说明

图1示意性例示出实施方式的状态推定装置的利用场景的一例。

图2示意性例示出实施方式的状态推定装置的硬件构成的一例。

图3a示意性例示出实施方式的状态推定装置的功能构成的一例。

图3b示意性例示出面部器官状态检测部的功能构成的一例。

图4示意性例示出驾驶员状态和用于推定该驾驶员状态的信息的组合的一例。

图5例示出驾驶员状态的更具体的推定条件。

图6例示出实施方式的状态推定装置的处理步骤的一例。

图7例示出分多个阶段检测驾驶员的面部朝向、视线方向和眼睛开闭程度等的方法的一例。

图8例示出提取与驾驶员的身体动作相关的特征量的处理过程的一例。

图9例示出计算各特征量的过程的一例。

图10例示出基于各特征量来推定驾驶员状态的过程以及基于推定结果来改变各特征量的权重分配的过程。

图11例示出在推定驾驶员向后看之后进行的权重分配处理。

图12例示出驾驶员突然低头时检测的各特征量(时间序列信息)。

图13例示出留意右方向的驾驶员的集中程度下降时检测的各特征量(时间序列信息)。

图14例示出其他方式的对象人员的状态推定方法。

图15例示出其他方式的状态推定装置的构成。

图16例示出其他方式的状态推定装置的构成。

图17例示出其他方式的状态推定装置的利用场景。

具体实施方式

以下，基于附图，对本发明一方面的实施方式(以下也称为“本实施方式”)进行说明。其中，以下说明的本实施方式在所有方面仅是本发明的示例。能够在不脱离本发明范围内进行各种改良和变形。即，在本发明的实施中，可以适当地采用与实施方式对应的具体构成。另外，利用自然语言对在本实施方式中出现的数据进行了说明，但是更具体地说，由计算机能够识别的伪语言、命令、参数和机器语言等来指定。

§1应用例

首先，利用图1，对应用本发明的场景的一例进行说明。图1示意性例示出将一种实施方式的状态推定装置10应用于自动驾驶系统20的例子。

如图1所示，自动驾驶系统20具备：摄像头21(拍摄装置)、状态推定装置10和自动驾驶支援装置22，构成为边监控驾驶车辆c的驾驶员d、边实施该车辆c的自动驾驶。车辆c的种类可以没有特别限定，只要能够搭载自动驾驶系统即可，例如可以是汽车等。

摄像头21相当于本发明的“拍摄装置”，适当地配置成能够拍摄对象人员可能存在的场所。在本实施方式中，坐在车辆c的驾驶座上的驾驶员d相当于本发明的“对象人员”，摄像头21适当地配置成拍摄该驾驶员d。例如，摄像头21设置在车辆c的驾驶座的前方上部，从正面连续拍摄驾驶员d可能存在的驾驶座。由此，能够获取可以包含驾驶员d的大致整体上半身的拍摄图像。并且，摄像头21将由该拍摄得到的拍摄图像向状态推定装置10发送。另外，拍摄图像可以是静止图像，也可以是视频。

状态推定装置10是计算机，从摄像头21获取拍摄图像，并且通过对获取到的拍摄图像进行解析来推定驾驶员d的状态。具体地说，状态推定装置10基于从摄像头21获取到的拍摄图像来解析驾驶员d的面部举动，获取与该驾驶员d的面部举动相关的第一信息(后述的第一信息122)。此外，状态推定装置10基于拍摄图像来解析驾驶员d的身体动作，获取与该驾驶员d的身体动作相关的第二信息(后述的第二信息123)。并且，状态推定装置10基于获取到的第一信息和第二信息来推定驾驶员d的状态。

自动驾驶支援装置22是计算机，通过控制车辆c的驱动系统和控制系统，实施通过驾驶员d的手动来进行驾驶操作的手动驾驶模式和不通过驾驶员d而进行自动驾驶操作的自动驾驶模式。在本实施方式中，自动驾驶支援装置22构成为根据状态推定装置10的推定结果、车载导航装置的设定等，切换手动驾驶模式和自动驾驶模式。

如上所述，在本实施方式中，获取与驾驶员d的面部举动相关的第一信息和与身体动作相关的第二信息，并且基于获取到的第一信息和第二信息来推定该驾驶员d的状态。因此，能够不仅将驾驶员d的面部举动这种局部信息，而且将驾驶员d的身体动作这种全局信息反映在该驾驶员d的状态推定中。因此，按照本实施方式，能够推定驾驶员d可能处于的多种状态。此外，通过将该推定结果用于自动驾驶的控制，能够实现适合于驾驶员d可能处于的多种状态的车辆c的控制。

§2构成例

接着，利用图2，说明本实施方式的状态推定装置10的硬件构成的一例。图2示意性例示出本实施方式的状态推定装置10的硬件构成的一例。

如图2所示，本实施方式的状态推定装置10是与控制部110、存储部120和外部接口130电连接的计算机。另外，图2中将外部接口记载为“外部i/f”。

控制部110包括作为硬件处理器的cpu(centralprocessingunit：中央处理单元)、ram(randomaccessmemory：随机存取存储器)和rom(readonlymemory：只读存储器)等，根据信息处理进行各构成要素的控制。存储部120例如由ram、rom等构成，存储程序121、第一信息122和第二信息123等。存储部120相当于“存储器”。

程序121是以下程序：用于使状态推定装置10执行推定后述的驾驶员d的状态的信息处理(图6)。对由摄像头21得到的拍摄图像执行对驾驶员d的面部举动进行解析的处理，作为执行上述处理的结果得到第一信息122。此外，对由摄像头21得到的拍摄图像执行对驾驶员d的身体动作进行解析的处理，作为执行上述处理的结果得到第二信息123。详细情况如后所述。

外部接口130是用于与外部装置连接的接口，根据连接的外部装置来适当构成。在本实施方式中，外部接口130例如经由can(controllerareanetwork控制器局域网)与摄像头21和自动驾驶支援装置22连接。

如上所述，摄像头21配置成拍摄坐在车辆c的驾驶座上的驾驶员d。例如，在图1的例子中，摄像头21配置在驾驶座的前上方。但是，摄像头21的配置场所可以不限定于这种例子，只要能够拍摄坐在驾驶座上的驾驶员d即可，可以根据实施方式来适当选择。另外，摄像头21可以使用普通的数码相机、摄像机等。

自动驾驶支援装置22与状态推定装置10同样，也能够由与控制部、存储部和外部接口电连接的计算机构成。在这种情况下，在存储部中保存有程序和各种数据，用于切换自动驾驶模式和手动驾驶模式并支援车辆c的驾驶操作。此外，自动驾驶支援装置22经由外部接口与状态推定装置10连接。由此，自动驾驶支援装置22构成为能够利用状态推定装置10的推定结果来控制车辆c自动驾驶的动作。

另外，外部接口130可以与上述以外的外部装置连接。例如，外部接口130可以经由网络与用于进行数据通信的通信模块连接。与外部接口130连接的外部装置可以不限定于上述各装置，可以根据实施方式来适当选择。此外，在图2的例子中，状态推定装置10具备一个外部接口130。但是，外部接口130的数量能够根据实施方式来适当选择。例如，外部接口130可以按连接的每个外部装置而设置。

本实施方式的状态推定装置10具有以上的硬件构成。但是，状态推定装置10的硬件构成可以不限定于上述例子，可以根据实施方式来适当确定。能够根据实施方式，适当地对状态推定装置10具体的硬件构成进行构成要素的省略、置换和追加。例如，控制部110可以包括多个硬件处理器。硬件处理器可以由微处理器、fpga(field-programmablegatearray现场可编程门阵列)等构成。存储部120可以由包含在控制部110中的ram和rom构成。存储部120可以由硬盘驱动器、固态驱动器等辅助存储装置构成。此外，状态推定装置10除了可以使用设计成所提供的服务专用的信息处理装置以外还可以使用通用计算机。

[功能构成]

接着，利用图3a，说明本实施方式的状态推定装置10的功能构成的一例。图3a示意性例示出本实施方式的状态推定装置10的功能构成的一例。

状态推定装置10的控制部110将存储于存储部120的程序121展开在ram中。并且，控制部110利用cpu解释并执行展开在ram中的程序121，控制各构成要素。由此，如图3a所示，本实施方式的状态推定装置10作为计算机发挥功能，该计算机具备：图像获取部11、第一解析部12、分辨率转换部13、第二解析部14、特征向量生成部15、权重设定部16和推定部17。

图像获取部11从配置成拍摄驾驶员d的摄像头21获取拍摄图像(以下也记载为“第一图像”)。并且，图像获取部11将获取到的第一图像向第一解析部12和分辨率转换部13发送。

第一解析部12基于获取到的第一图像来解析驾驶员d的面部举动，获取与该驾驶员d的面部举动相关的第一信息。第一信息可以没有特别限定，只要与面部举动相关即可，可以与实施方式对应来适当确定。第一信息可以构成为表示例如能否检测到驾驶员d(对象人员)的面部、面部位置、面部朝向、面部动作、视线方向、面部器官的位置和眼睛开闭中至少一个。据此，第一解析部12能够以以下方式构成。

图3b示意性例示出本实施方式的第一解析部12的构成。如图3b所示，本实施方式的第一解析部12具备面部检测部31、面部器官点检测部32和面部器官状态检测部33。此外，面部器官状态检测部33具备：眼睛开闭检测部331、视线检测部332和面部朝向检测部333。

面部检测部31通过对第一图像的图像数据进行解析，检测第一图像中的驾驶员d的面部的有无和面部位置。面部器官点检测部32检测在第一图像中检测的驾驶员d的面部所包含的各器官(眼、嘴、鼻、耳等)的位置。此时，面部器官点检测部32可以将面部整体或面部一部分的轮廓辅助性地检测为面部器官。

并且，面部器官状态检测部33推定在第一图像中进行了位置检测的驾驶员d的面部各器官的状态。具体地说，眼睛开闭检测部331检测驾驶员d的眼睛开闭程度。视线检测部332检测驾驶员d的视线方向。面部朝向检测部333检测驾驶员d的面部朝向。

但是，面部器官状态检测部33的构成可以不限定于这种例子。面部器官状态检测部33可以构成为检测与这些以外的面部各器官的状态相关的信息。例如，面部器官状态检测部33也可以检测面部动作。第一解析部12的解析结果作为与面部举动相关的第一信息(局部信息)向特征向量生成部15发送。另外，如图3a所示，第一解析部12的解析结果(第一信息)可以存储于存储部120。

分辨率转换部13通过对第一图像的图像数据应用低分辨率化处理，生成与该第一图像相比使分辨率下降的拍摄图像(以下也记载为“第二图像”)。该第二图像可以暂时保持于存储部120。第二解析部14通过对使分辨率下降的第二图像实施对驾驶员d的身体动作进行解析的处理，获取与驾驶员的身体动作相关的第二信息。

第二信息可以没有特别限定，只要与驾驶员的身体动作相关即可，可以根据实施方式来适当确定。第二信息可以构成为例如表示驾驶员d的身体动作、姿势等。第二解析部14的解析结果作为与驾驶员d的身体动作相关的第二信息(全局信息)向特征向量生成部15发送。另外，第二解析部14的解析结果(第二信息)可以存储于存储部120。

特征向量生成部15接收第一信息和第二信息，生成表示驾驶员d的面部举动和身体动作的特征向量。如后所述，第一信息和第二信息分别由各检测结果得到的特征量表现。可以将构成该第一信息和第二信息的各特征量统称为“动作特征量”。即，动作特征量包含与驾驶员d的面部器官相关的信息和与驾驶员d的身体动作相关的信息两方。特征向量生成部15将各动作特征量作为要素来生成特征向量。

权重设定部16对生成的特征向量的各要素(各特征量)设定确定该各要素的优先级的权重。权重值可以适当确定。本实施方式的权重设定部16利用后述的推定部17，基于过去推定驾驶员d状态的结果，确定各要素的权重值。权重分配的数据适当地保存于存储部120。

推定部17基于第一信息和第二信息来推定驾驶员d的状态。具体地说，推定部17根据通过在特征向量中应用权重而得到的状态向量，推定驾驶员d的状态。作为推定对象的驾驶员d的状态可以根据实施方式来适当确定。作为驾驶员d的状态，推定部17例如推定驾驶员d的注视前方、困倦、旁视、服装穿脱、电话操作、向窗侧或扶手的倚靠、因同乘人员或宠物产生的驾驶妨碍、疾病发作、向后看、突然低头、饮食、吸烟、头晕、行动异常、车载导航或音响的操作、眼镜或太阳镜的摘戴和照片拍摄中至少一个。

图4例示出驾驶员d的状态与用于推定该驾驶员d状态的信息组合的一例。如图4所示，通过组合与面部举动相关的第一信息(局部信息)和与身体动作相关的第二信息(全局信息)，能够适当地推定驾驶员d的多种状态。另外，在图4中，“○”示出用于推定对象的驾驶员(司机)的状态所需要的对象信息。此外，“△”示出用于推定对象的驾驶员(司机)的状态优选使用的对象的信息。

图5例示出推定驾驶员d状态的条件的一例。例如，在驾驶员d处于困倦的情况下，驾驶员d的眼睛可能成为闭眼的状态，并且驾驶员d的身体可能不进行动作。在此，推定部17可以将由第一解析部12检测的眼睛开闭程度用作局部信息，并且将由第二解析部14检测的与驾驶员d的动作相关的信息用作全局信息，判定驾驶员d是否处于困倦的状态。

此外，例如，在驾驶员d正在进行旁视驾驶的情况下，驾驶员d的面部朝向和视线可能偏离前方，并且驾驶员d的身体可能成为朝向前方以外方向的状态。在此，推定部17可以将由第一解析部12检测的面部朝向和视线方向的信息用作局部信息，并且将由第二解析部14检测的与驾驶员d的姿势相关的信息用作全局信息，判定驾驶员d是否正在进行旁视驾驶。

此外，例如，在驾驶员d正在对便携终端进行操作(正在打电话)的情况下，驾驶员d的面部朝向可能偏离前方，伴随于此驾驶员d的姿势可能变形。在此，推定部17可以将由第一解析部12检测的面部朝向的信息用作局部信息，并且将由第二解析部14检测的与驾驶员d的姿势相关的信息用作全局信息，判定驾驶员d是否正在对便携终端进行操作。

此外，例如，在驾驶员d将肘部倚靠在窗(门)侧的情况下，驾驶员d的面部位置可能未处于适合于驾驶的规定的位置，身体可能不进行动作且姿势成为变形的状态。在此，推定部17可以将由第一解析部12检测的面部位置用作局部信息，并且将由第二解析部14检测的与驾驶员d的动作和姿势相关的信息用作全局信息，判定驾驶员d是否倚靠在窗侧。

此外，例如，在驾驶员d被同乘人员或宠物妨碍驾驶的情况下，驾驶员d的面部朝向和视线可能偏离前方，身体可能与妨碍对应进行动作而成为躲避妨碍的姿势。在此，推定部17可以将由第一解析部12检测的面部朝向和视线方向的信息用作局部信息，并且将由第二解析部14检测的与驾驶员d的动作和姿势相关的信息用作全局信息，判定驾驶员d是否受到驾驶妨碍。

此外，例如，在驾驶员d突发疾病(呼吸困难、心脏病发作等)的情况下，面部朝向和视线可能偏离前方，可能成为闭眼的状态且成为压住规定的身体部位的动作和姿势。在此，推定部17可以将由第一解析部12检测的眼睛开闭程度、面部朝向和视线的信息用作局部信息，并且将由第二解析部14检测的与驾驶员d的动作和姿势相关的信息用作全局信息，判定驾驶员d是否突发疾病。

通过后述的动作例对状态推定装置10的各功能进行详细说明。另外，在本实施方式中，说明了状态推定装置10的各功能均由通用cpu实现的例子。但是，以上的功能的一部分或全部可以由一个或多个专用处理器实现。此外，可以根据实施方式，对状态推定装置10的功能构成适当地进行功能的省略、置换和追加。

§3动作例

接着，利用图6对状态推定装置10的动作例进行说明。图6是例示出状态推定装置10的处理步骤的一例的流程图。以下说明的推定驾驶员d的状态的处理步骤相当于本发明的“状态推定方法”。但是，以下说明的处理步骤仅是一例，可以尽可能地改变各处理。此外，能够根据实施方式，对以下说明的处理步骤适当地进行步骤的省略、置换和追加。

(步骤s11)

首先，在步骤s11中，控制部110作为图像获取部11发挥功能，从配置成拍摄坐在车辆c的驾驶座上的驾驶员d的摄像头21获取拍摄图像。拍摄图像可以是动态图像，也可以是静止图像。在本实施方式中，控制部110从摄像头21连续获取拍摄图像的图像数据。由此，获取到的拍摄图像由多帧构成。

(步骤s12～s14)

在下一步骤s12～s14中，控制部110作为第一解析部12发挥功能，通过对获取到的拍摄图像(第一图像)进行规定的图像解析，基于该拍摄图像来解析驾驶员d的面部举动，获取与驾驶员d的面部举动相关的第一信息。

具体地说，首先，在步骤s12中，控制部110作为第一解析部12的面部检测部31发挥功能，检测包含在获取到的拍摄图像中的驾驶员d的面部。面部的检测可以使用公知的图像解析方法。由此，控制部110获取与面部能否检测到和位置相关的信息。

在下一步骤s13中，控制部110判定在步骤s12中是否在拍摄图像中检测到面部。在检测到面部的情况下，控制部110使处理前进至下一步骤s14。另一方面，在未检测到面部的情况下，控制部110跳过步骤s14的处理，使处理前进至下一步骤s15。在这种情况下，控制部110使面部朝向、眼睛开闭程度和视线方向的检测结果为0。

在下一步骤s14中，控制部110作为面部器官点检测部32发挥功能，在检测的面部的图像内，检测包含在驾驶员d的面部中的各器官(眼、嘴、鼻、耳等)。各器官的检测可以使用公知的图像解析方法。由此，控制部110能够获取与面部各器官的位置相关的信息。此外，控制部110作为面部器官状态检测部33发挥功能，通过对检测的各器官的状态进行解析，检测面部朝向、面部动作、眼睛开闭程度和视线方向等。

在此，利用图7，对面部朝向、眼睛开闭程度和视线方向的检测方法的一例进行说明。图7示意性例示出面部朝向、眼睛开闭程度和视线方向的检测方法的一例。如图7所示，控制部110作为面部朝向检测部333发挥功能，在纵向和横向的两轴方向上，以纵向三阶段、横向五阶段的度数，检测拍摄图像内的驾驶员d的面部朝向。此外，控制部110作为视线检测部332发挥功能，与面部朝向同样在纵向和横向的两轴方向上，以纵向三阶段、横向五阶段的度数，检测驾驶员d的视线方向。此外，控制部110作为眼睛开闭检测部331发挥功能，分十阶段对拍摄图像内的驾驶员d的眼睛开闭程度进行检测。

如上所述，控制部110将与能否检测到驾驶员d的面部、面部位置、面部朝向、面部动作、视线方向、面部各器官的位置和眼睛开闭程度相关的信息获取为第一信息。优选对每帧进行该第一信息的获取。即，由于获取到的拍摄图像由多帧构成，所以控制部110可以通过以一帧为单位对拍摄图像进行面部举动的解析来获取第一信息。在这种情况下，控制部110可以对全部的帧进行面部举动的解析，也可以每隔规定数的帧来进行面部举动的解析。由此，能够对每帧详细地检测驾驶员d的面部举动，因此能够获取详细表示该驾驶员d的面部举动的第一信息。另外，在本实施方式的步骤s12～s14的处理中直接利用由摄像头21获取到的拍摄图像(第一图像)。

(步骤s15和s16)

返回图6，在下一步骤s15中，控制部110作为分辨率转换部13发挥功能，使在步骤s11中获取到的拍摄图像的分辨率下降。由此，控制部110以帧为单位形成低分辨率的拍摄图像(第二图像)。低分辨率化的处理方法可以没有特别限定，可以根据实施方式来适当确定。控制部110例如可以通过最近邻法、双线性内插法和双三次插值法等方法，形成低分辨率的拍摄图像。

在下一步骤s16中，控制部110作为第二解析部14发挥功能，通过对使分辨率下降的拍摄图像(第二图像)进行驾驶员d的身体动作的解析，获取与该驾驶员d的身体动作相关的第二信息。第二信息例如可以包含与驾驶员d的姿势、上半身的动作和驾驶员d的有无等相关的信息。

在此，利用图8，说明检测与驾驶员d的身体动作相关的第二信息的方法的一例。图8示意性例示出从低分辨率化的拍摄图像中检测第二信息的过程的一例。在图8的例子中，控制部110从第二图像中将第二信息提取为图像特征量。

具体地说，控制部110基于各像素的亮度值，在第二图像内提取边缘。边缘的提取可以使用预先设计完成的图像过滤器(例如3×3的尺寸)。此外，边缘的提取可以使用利用机器学习而学习了边缘检测的学习器(例如神经网络等)。控制部110通过向图像过滤器或学习器输入第二图像的各像素的亮度值，能够在该第二图像内检测边缘。

接着，控制部110将亮度值和与提取的边缘相关的信息与前帧的第二图像的亮度值和与提取的边缘相关的信息分别进行比较，求出帧间的差。“前帧”是指从当前处理中的帧来看规定数(例如一个)部分之前的帧。作为该比较处理的结果，控制部110能够将当前帧的亮度值信息、表示当前帧边缘的位置的边缘信息、与前帧进行了比较的亮度值差信息、与前帧进行了比较的边缘差信息这样的四种信息获取为图像特征量(第二信息)。亮度值信息和边缘信息主要表示驾驶员d的姿势和驾驶员d的有无。此外，亮度值差信息和边缘差信息主要表示驾驶员d的(上半身的)动作。

控制部110除了如上所述的边缘的位置以外，还可以获取与边缘的强度和图像的局部频率成分相关的图像特征量。边缘的强度是指包含在图像中的边缘位置周边的亮度变化程度。图像的局部频率成分是指例如通过对图像实施了加博滤波器(gaborfilter)、索贝尔过滤器(sobelfilter)、拉普拉斯滤波器(laplacianfilter)、坎尼边缘检测器(cannyedgedetector)和小波滤波器(waveletfilter)等的图像处理而得到图像特征量。此外，图像的局部频率成分并不限定于上述图像处理，也可以是利用由机器学习预先设计的过滤器来实施图像处理而得到的图像特征量。由此，在每个驾驶员d具有体格差的情况下，通过使驾驶座能够滑动，即使在驾驶员d的位置不同的情况下等，也能够获取适当地表示驾驶员d的身体状态的第二信息。

另外，在本实施方式中，由于拍摄图像(第一图像)由多帧构成，所以低分辨率化的拍摄图像(第二图像)也由多帧构成。在此，控制部110通过对包含在第二图像中的两帧以上的多帧进行身体动作的解析，获取上述亮度值差信息和边缘差信息等第二信息。此时，控制部110可以仅将对差值进行计算的帧保存于存储部120或ram。由此，可以不保存不需要的帧，能够有效地利用存储器容量。此外，用于身体动作的解析的多帧可以是时刻相邻的帧，但是由于设想与面部的各器官的变化相比驾驶员d的身体动作的变化较慢，所以身体动作的解析优选利用隔开规定的时间间隔的多帧。

此外，与面部举动相比，驾驶员d的身体动作能够以大幅度表现在拍摄图像内。因此，与由上述步骤s12～s14获取与面部举动相关的第一信息时相比，在本步骤s16中获取与身体动作相关的第二信息时，能够利用分辨率低的拍摄图像。在此，在本实施方式中，通过在实施本步骤s16之前实施步骤s15，控制部110从用于获取与面部举动相关的第一信息的拍摄图像(第一图像)中获取低分辨率化的拍摄图像(第二图像)。并且，控制部110利用低分辨率化的拍摄图像(第二图像)，获取与驾驶员d的身体动作相关的第二信息。由此，能够降低获取第二信息时的运算处理的计算量，能够抑制与本步骤s16的处理关联的控制部110的负荷。

另外，上述步骤s15和s16可以与上述步骤s12～s14并行执行。上述步骤s15和s16可以在上述步骤s12～s14之前执行。上述步骤s15和s16可以在上述步骤s12～s14之间执行。上述步骤s15可以在上述步骤s12～s14中的任一个之前执行，步骤s16可以在上述步骤s12～s14之后执行。即，可以不依赖于上述步骤s12～s14来执行上述步骤s15和s16。

(步骤s17)

返回图6，在下一步骤s17中，控制部110作为特征向量生成部15发挥功能，根据获取到的第一信息和第二信息来生成特征向量。

在此，利用图9，对生成特征向量的过程的一例进行说明。图9示意性例示出计算特征向量的各要素(各特征量)的过程的一例。如图9所示，通过利用摄像头21连续进行拍摄，在上述步骤s11中获取到的拍摄图像(第一图像)由时刻t＝0、1、···、t的多帧构成。

在上述步骤s12～s14中，控制部110作为第一解析部12发挥功能，对获取到的第一图像以一帧为单位来解析面部举动。由此，控制部110将分别表示能否检测到驾驶员d的面部、面部位置、面部朝向、面部动作、视线方向、面部各器官的位置和眼睛开闭程度的特征量(直方图)计算为第一信息。

此外，在上述步骤s15中，控制部110作为分辨率转换部13发挥功能，形成使第一图像低分辨率化的第二图像。并且，在上述步骤s16中，控制部110作为第二解析部14发挥功能，从包含在形成的第二图像中的两帧以上的多帧中将图像特征量提取为第二信息。

控制部110将以上述方式获取为第一信息和第二信息的各特征量设定为特征向量的各要素。由此，控制部110生成表示驾驶员d的面部举动和身体动作的特征向量。

(步骤s18～s20)

返回图6，在下一步骤s18中，控制部110作为权重设定部16发挥功能，对特征向量的各要素(各特征量)设定确定该各要素的优先级的权重。在下一步骤s19中，控制部110基于通过将设定的权重应用于特征向量而得到的状态向量、即应用了权重的各特征量的值，推定驾驶员d的状态。如上述图4和图5所示，作为驾驶员d的状态，控制部110例如能够推定驾驶员的注视前方、困倦、旁视、服装穿脱、电话操作、向窗侧或扶手的倚靠、因同乘人员或宠物产生的驾驶妨碍、疾病发作、向后看、突然低头、饮食、吸烟、头晕、行动异常、车载导航或音响的操作、眼镜或太阳镜的摘戴和照片拍摄中至少一个。

在下一步骤s20中，控制部110根据来自自动驾驶系统20的指令(未图示)，判定是否继续进行驾驶员d状态的推定。在判定为不继续进行驾驶员d状态的推定的情况下，控制部110使本动作例的处理结束。例如，在车辆c停车的情况下，控制部110判定为不继续进行驾驶员d状态的推定，使驾驶员d状态的监控结束。另一方面，在判定为继续进行驾驶员d状态的推定的情况下，控制部110从步骤s11开始反复进行处理。例如，在继续进行车辆c的自动驾驶的情况下，控制部110判定为继续进行驾驶员d状态的推定，通过从步骤s11开始反复进行处理，继续监控驾驶员d的状态。

在反复推定该驾驶员d的状态的过程中，控制部110在上述步骤s18中基于由步骤s19过去推定驾驶员d的状态的结果，对各要素确定权重值。即，控制部110基于驾驶员d的状态的推定结果，在实施该推定的下一周期中推定驾驶员d的状态时以重要的项目(面部器官、身体动作和姿势等)优先的方式对各特征量确定权重。

例如，在某时点推定驾驶员d向后看的情况下，在从该时点起一定的期间获取到的第一图像中几乎未拍摄到驾驶员d面部的眼睛等器官，但是假设拍摄到了该驾驶员d面部的轮廓。在此，在下一周期推定的驾驶员d的状态推测为向前看，控制部110可以通过以下方式进行权重分配：使表示面部的有无的特征量的权重增加，使表示视线方向和眼睛开闭程度的特征量的权重减少。

另外，控制部110可以由步骤s18改变权重分配的值，并且直到驾驶员d的状态的推定结果超过规定的准确率为止，反复执行由步骤s19进行的推定处理。确定推定的准确率的阈值可以预先设定并保存于存储部120，也可以由使用者设定。

在此，利用图10和图11，具体说明基于前一周期的推定结果来改变在下一周期中利用的权重的处理。图10例示出基于各特征量来推定驾驶员状态的过程和基于推定结果来改变各特征量的权重分配的过程。图11例示出在推定驾驶员d向方看后进行的权重分配处理。

如图10所示，控制部110由上述步骤s17获取特征向量x。特征向量x将面部的有无、面部朝向、视线方向和眼睛开闭程度等特征量(第一信息)以及身体动作、姿势等特征量(第二信息)包含为各要素。控制部110通过在该特征向量x的各要素中应用权重、即通过计算特征向量x和权重向量w的积，计算状态向量y(＝wx)。在权重向量w的各要素中设定对应的各特征量的权重。在上述步骤s19中，控制部110基于该状态向量y来推定驾驶员d的状态。

在图10的例子中，控制部110将在状态向量y的各要素中值最大的要素指标(argmax(y(i)))输出为推定结果。在表现为y＝(y(1)、y(2)、y(3))的情况下，argmax(y(i))表示y(i)(i＝1、2、3)中y(i)最大的i。例如，如果状态向量y＝(0.3、0.5、0.1)，则argmax(y(i))＝2。

在该例子中，状态向量y的各要素与驾驶员d的状态相关联。例如，如果第一个要素与“注视前方”相关联、第二个要素与“困倦”相关联、第三个要素与“旁视”相关联，则上述“argmax(y(i))＝2”的输出表示驾驶员d处于“困倦”状态的推定结果。

控制部110基于该推定结果，改变在下一周期中利用的权重向量w的各要素的值。与推定结果对应的权重向量w的各要素的值可以根据实施方式来适当确定。权重向量w的各要素的值例如可以由强化学习等机器学习的方法来确定。另外，在不存在过去的推定结果的情况下，控制部110可以利用预先提供的初始值等来适当地进行权重分配。

例如，某时点的argmax(y(i))的值表示驾驶员d向后看。在这种情况下，驾驶员d的下一动作预测为向前看。因此，直到在拍摄图像中检测到驾驶员d的面部为止，设想在驾驶员d的状态的推定中不需要与面部朝向、视线方向和眼睛开闭程度等与面部器官相关的特征量。

在此，在推定驾驶员d向后看的情况下，如图11所示，控制部110可以在下一周期以后的步骤s18中，使面部朝向、视线方向和眼睛开闭程度等与面部器官相关的各特征量的权重分配逐渐减少。另一方面，控制部110可以使与面部的有无相关的特征量的权重逐渐增加。由此，在下一周期以后，直到推定驾驶员d向前看为止，能够使与面部器官相关的特征量不反映在驾驶员d的状态推定中。另外，在推定驾驶员d向前看之后，在获取到的拍摄图像中能够拍摄到驾驶员d面部的各器官。因此，在推定驾驶员d向前看的情况下，控制部110在下一周期以后的步骤s18中，可以使面部朝向、视线方向和眼睛开闭程度等与面部器官相关的各特征量的权重分配增加。

另外，在权重值为0或阈值较小的情况下，可以使对象的特征量的检测暂时停止。例如，在上述向后方看的例子的情况下，相对于面部朝向、视线方向和眼睛开闭程度等与面部器官相关的各特征量的权重为0时，控制部110可以在上述步骤s14中省略面部朝向、视线方向和眼睛开闭程度的检测。由此，能够降低一系列处理的计算量，能够高速执行驾驶员d的状态的推定处理。

接着，利用图12和图13，说明通过反复进行步骤s11～s20的一系列处理而检测的各特征量和由此推定的驾驶员d的状态的具体例。图12例示出驾驶员d突然低头时检测的各特征量(时间序列信息)。此外，图13例示出留意右方向的驾驶员d的集中程度下降时检测的各特征量(时间序列信息)。

首先，对图12的例子进行说明。驾驶员d突然低头时，设想为以下情况：检测到的面部变得无法被检测到，在身体大幅度动作之后其身体动作停止，并且姿势从通常的驾驶姿势转移至前倾姿势。因此，通过适当地设定权重向量w，控制部110在步骤s19中捕捉这种变化来推定驾驶员d处于突然低头的状态。

在图12的例子中，直到帧no.4为止检测到的驾驶员d的面部从帧no.4到no.5变为看不到(检测不到)。此外，驾驶员d的身体动作从帧no.3到no.5变大，在帧no.6其身体动作停止。此外，从帧no.2到no.3，驾驶员d的姿势从通常的驾驶姿势转移至前倾姿势。控制部110可以通过状态向量y来捕捉该倾向，并且推定为从帧no.3到no.6驾驶员d转移至突然低头状态。

接着，对图13的例子进行说明。图13例示出驾驶员d对驾驶的集中力分散的场景。驾驶员d集中于驾驶时，驾驶员d的身体几乎不动作并注视前方。相对于此，对驾驶的集中力下降时，驾驶员d的面部或视线朝向前方以外的方向或身体大幅度动作。因此，通过适当的设定权重向量w，控制部110可以在步骤s19中基于与驾驶员d的面部朝向、视线方向和身体动作相关的各特征量，将该驾驶员d对驾驶的集中程度推定为驾驶员d的状态。

在图13的例子中，从帧no.3到no.4，驾驶员d的面部朝向从前方改变为右方。此外，在驾驶员d的视线从帧no.2到no.4从前方改变为右方之后，在帧no.6暂时返回前方，在帧no.7以后再次改变为右方。此外，驾驶员d的动作从帧no.4到no.5变大。控制部110可以通过状态向量y来捕捉该倾向并推定为：从no.2开始逐渐留意右方向的物体，姿势逐渐偏向右方，集中程度下降。

控制部110将这种推定结果向自动驾驶支援装置22发送。自动驾驶支援装置22利用该状态推定装置10的推定结果来控制自动驾驶的动作。例如，在推定为驾驶员d急病发作的情况下，自动驾驶支援装置22可以进行以下控制：将车辆c的动作从手动驾驶模式切换为自动驾驶模式，并且在使该车辆c移动至安全场所(例如附近的医院、停车场等)后使该车辆c停止。

[作用、效果]

如上所述，本实施方式的状态推定装置10利用上述步骤s12～s14并基于从设定成拍摄驾驶员d的摄像头21获取到的拍摄图像(第一图像)，获取与驾驶员d的面部举动相关的第一信息。此外，状态推定装置10利用上述步骤s16并基于低分辨率化的拍摄图像(第二图像)，获取与驾驶员d的身体动作相关的第二信息。并且，状态推定装置10利用步骤s19并基于获取到的第一信息和第二信息来推定驾驶员d的状态。

因此，在本实施方式中，不仅将驾驶员d的面部举动这种局部信息(第一信息)，而且将驾驶员d的身体动作这种全局信息(第二信息)反映在在推定该驾驶员d的状态中。因此，按照本实施方式，如上述图4、图5、图12和图13所示，能够推定驾驶员d可能处于的多种状态。

此外，在反复执行步骤s11～s20的处理的过程中，控制部110在步骤s18中基于过去的周期的推定结果，能够以适合于当前周期的推定的方式，改变应用于特征向量x的权重向量w的各要素的值。因此，按照本实施方式，能够高精度地推定驾驶员d的多种状态。

此外，由于与面部举动相比，身体动作能够以大幅度表现在拍摄图像内，所以与用于面部举动的解析的拍摄图像相比，能够利用分辨率低的拍摄图像，充分地进行该身体动作的解析。因此，在本实施方式中，在面部举动的解析中，直接利用从摄像头21获取到的拍摄图像(第一图像)，在身体动作的解析中，利用使从摄像头21获取到的拍摄图像低分辨率化的拍摄图像(第二图像)。由此，不会使推定驾驶员d的状态的精度下降，而能够降低与身体动作的解析关联的计算量，抑制处理器的负荷。因此，按照本实施方式，能够高速、低负荷且高精度地推定驾驶员d的多种状态。

§4变形例

以上，对本发明的实施方式进行了详细说明，但是上述说明在所有方面仅是本发明的示例。能够在不脱离本发明范围内进行各种改良和变形。例如，能够进行以下方式的变更。另外，以下与上述实施方式相同的构成要素采用相同的附图标记，对与上述实施方式相同的方面适当地省略了说明。能够适当地组合以下变形例。

<4.1>

在上述实施方式中，第一信息包含与能否检测到驾驶员d的面部、面部位置、面部朝向、面部动作、视线方向、面部各器官的位置和眼睛开闭程度相关的特征量。此外，第二信息包含与当前帧的亮度值信息、表示当前帧的边缘位置的边缘信息，与前帧进行了比较的亮度值差信息和与前帧进行了比较的边缘差信息相关的特征量。但是，分别包含在第一信息和第二信息中的特征量的数量可以根据实施方式来适当确定。第一信息和第二信息可以分别由一个或多个特征量(动作特征量)来表现。此外，第一信息和第二信息分别的构成可以根据实施方式来适当确定。第一信息可以由与能否检测到驾驶员d的面部、面部位置、面部朝向、面部动作、视线方向、面部各器官的位置和眼睛开闭程度中至少一个相关的信息构成。此外，第二信息可以由与从第二图像提取的边缘位置、边缘强度和图像的局部频率成分中至少一个相关的特征量构成。第一信息和第二信息可以由与上述实施方式不同的特征量、信息等构成。

<4.2>

此外，在上述实施方式中，控制部110利用低分辨率化的第二图像，进行驾驶员d的身体动作的解析(上述步骤s16)。但是，身体动作的解析可以并不限定于这种方式，可以对从摄像头21获取到的第一图像进行。在这种情况下，在上述功能构成中，可以省略分辨率转换部13。此外，在上述处理步骤中，可以省略步骤s15。

<4.3>

在上述步骤s12～14的面部举动的解析、步骤s16的身体动作的解析、步骤s18的权重分配、以及步骤s19的驾驶员d的状态的推定中，可以利用对各处理进行了机器学习的学习完成的学习器(例如神经网络等)。例如，由于在面部举动的解析和身体动作的解析中分别利用拍摄图像，所以在该学习器中优选使用卷积神经网络，该卷积神经网络具有交替连接卷积层和池化层的结构。此外，为了反映过去的推定结果，在学习器中例如优选使用递归神经网络，该递归神经网络以从中间层朝向输入层的路径的方式在内部具有循环。

图14示出利用递归神经网络来构成第二解析部14的例子。构成第二解析部14的递归神经网络是用于所谓的深度学习的多层结构的神经网络。在图14的例子中，控制部110将时刻t＝0、1、···、t-1、t为止的期间获取到的第二图像的各帧输入神经网络的输入层。并且，控制部110从输入侧开始依次进行包含在各层中的各神经元的放电判定。由此，控制部110从神经网络得到表示身体动作的解析结果的输出。

另外，由于该神经网络的设置在输入层和输出层之间的中间层的输出递归为该中间层的输入，所以时刻t1的中间层的输出用于时刻t1+1的中间层的输入。由此，能够在下一解析中利用过去的解析结果，所以能够提高驾驶员d的身体动作的解析精度。

<4.4>

在上述实施方式中，作为推定的驾驶员d的状态例示了以下状态：注视前方、困倦、旁视、服装穿脱、电话操作、向窗侧或扶手的倚靠、因同乘人员或宠物产生的驾驶妨碍、疾病发作、向后看、突然低头、饮食、吸烟、头晕、行动异常、车载导航或音响的操作、眼镜或太阳镜的摘戴和照片拍摄。但是，作为推定对象的驾驶员d的状态可以并不限定于这种例子，可以根据实施方式来适当选择。例如，控制部110可以将疲劳、注视监控器画面等其他状态作为驾驶员d的状态推定的备选。此外，状态推定装置10可以在显示器(未图示)等中提示作为推定对象的状态的备选，并且接受作为推定对象的状态的指定。

<4.5>

在上述实施方式中，控制部110在步骤s12～14中通过检测驾驶员d的面部及其器官，检测该驾驶员d的面部朝向、视线方向(视线变化)和眼睛开闭程度等。但是，作为检测对象的面部举动可以并不限定于这种例子，可以根据实施方式来适当选择。例如，控制部110可以获取驾驶员d的眨眼次数、呼吸速度等上述以外的信息。此外，例如，控制部110除了第一信息和第二信息以外还可以利用脉搏等生物信息来推定驾驶员的状态。

<4.6>

在上述实施方式中，如图1和图3a所示，说明了将状态推定装置10应用于具备进行车辆c的自动驾驶控制的自动驾驶支援装置22的自动驾驶系统20的例子。但是，状态推定装置10的应用范围可以并不限定于这种例子，可以根据实施方式来适当选择。

例如，如图15所示，状态推定装置10可以应用于不具备自动驾驶支援装置22的车辆系统200。图15示意性例示出将状态推定装置10应用于不具备自动驾驶支援装置22的车辆系统200的例子。除了不具备自动驾驶支援装置22的方面以外，本变形例构成为与上述实施方式相同。在这种情况下，本变形例的车辆系统200可以基于驾驶员d的状态的推定结果来适当地进行警告。例如在推定疲劳、危险驾驶等伴随危险的状态的情况下，车辆系统200自动向驾驶员d发出警告。此外，在推定急病发病的情况下，车辆系统200可以进行呼叫救护车的联络。由此，即使是不具备自动驾驶支援装置22的车辆系统200，也能够有效地利用状态推定装置10的推定结果。

<4.7>

在上述实施方式中，如图3a、图9和图10所示，控制部110基于驾驶员d的状态的推定结果，改变应用于特征向量x的权重向量w的各要素的值。但是，可以省略该权重分配的处理。此外，第一信息和第二信息可以由特征量以外的方式表现。

在这种情况下，如图16所示，可以省略状态推定装置10的功能构成中的特征向量生成部15和权重设定部16。图16示意性例示出本变形例的状态推定装置100。状态推定装置100除了不具备特征向量生成部15和权重设定部16的方面以外，构成为与上述实施方式的状态推定装置10相同。

该状态推定装置100基于第一图像来检测与驾驶员d的面部举动相关的第一信息，并且基于使第一图像低分辨率化的第二图像来检测与驾驶员d的身体动作相关的第二信息。并且，状态推定装置100通过结合这些检测结果来推定驾驶员d的状态。由此，与上述实施方式同样，不会使推定驾驶员d的状态的精度下降，能够降低与身体动作的解析关联的计算量，并且能够抑制处理器的负荷。因此，按照本变形例，能够高速、低负荷且高精度地检测驾驶员d的多种状态。

<4.8>

在上述实施方式中，如图1所示，利用由设置于车辆c的一台摄像头21连续拍摄的驾驶员d可能存在的驾驶座的拍摄图像，推定驾驶员d的状态。但是，用于获取拍摄图像的摄像头21的数量可以不限于一台，可以是多台。例如，可以在车辆c中以能够从多个角度拍摄驾驶员d的方式，在驾驶员d的周围适当地设置多台摄像头21。并且，状态推定装置10可以利用从各摄像头21获取到的拍摄图像来推定驾驶员d的状态。由此，由于能够得到由一台摄像头不能拍摄到的角度的拍摄图像，所以能够更高精度地推定驾驶员d的状态。

<4.9>

在上述实施方式中，推定状态的对象人员是车辆c的驾驶员d。在图1中作为该车辆c的种类示出了汽车的例子。但是，车辆c的种类可以并不限定于汽车，可以是卡车、公共汽车、船舶、各种作业车辆、新干线、电车等。此外，推定状态的对象人员可以并不限定于各种车辆的驾驶员，可以根据实施方式来适当选择。例如，推定状态的对象人员可以是在工厂等设施中工作的作业人员、住在护理院的需要护理人员等。在这种情况下，摄像头21只要配置成拍摄可能存在于规定场所的对象人员即可。

图17示意性例示出将状态推定装置101应用于工厂f的作业人员l的状态的场景。状态推定装置101除了推定状态的对象人员是工厂f的作业人员l、推定作业人员l的状态、以及未与自动驾驶支援装置22连接以外，构成为与上述实施方式的状态推定装置10相同。在这种情况下，摄像头21适当地配置成拍摄可以存在于规定的作业场所的作业人员l。

状态推定装置101(控制部110)与上述实施方式同样，基于从摄像头21获取到的拍摄图像(第一图像)，获取与作业人员l的面部举动相关的第一信息。此外，状态推定装置101基于使从摄像头21获取到的拍摄图像低分辨率化的拍摄图像(第二图像)，获取与作业人员l的身体动作相关的第二信息。并且，状态推定装置101基于第一信息和第二信息来推定作业人员l的状态。此时，作为作业人员l的状态，状态推定装置101能够推定作业人员l对进行作业的集中程度、健康状态(例如作业人员的身体状况或疲劳程度)。此外，例如，在应用于住在护理院的需要护理人员的情况下，能够推定该需要护理人员的行动异常等。

<4.10>

此外，在上述实施方式中，拍摄图像由多帧构成，控制部110在步骤s12～s14中以一帧为单位对面部举动进行解析，在步骤s16中，对两帧以上的多帧进行身体动作的解析。但是，拍摄图像和各解析方法可以并不限定于这种例子。例如，控制部110在步骤s16中可以对由一帧构成的拍摄图像进行身体动作的解析。

[工业实用性]

由于本发明的一方面的状态推定装置能够起到与以往相比以更高精度推定各种对象人员的状态的效果，所以能够广泛地应用于推定该对象人员的状态的装置。

(附记1)

一种状态推定装置，具备：硬件处理器；以及存储器，保存由所述硬件处理器执行的程序，所述硬件处理器构成为通过执行所述程序来执行以下步骤：从配置成拍摄可能存在于规定场所的对象人员的拍摄装置获取拍摄图像；基于所述拍摄图像来解析所述对象人员的面部举动，并且获取与所述对象人员的面部举动相关的第一信息；基于所述拍摄图像来解析所述对象人员的身体动作，并且获取与所述对象人员的身体动作相关的第二信息；以及基于所述第一信息和所述第二信息来推定所述对象人员的状态。

(附记2)

一种状态推定方法，具备以下步骤：利用硬件处理器，从配置成拍摄可能存在于规定场所的对象人员的拍摄装置获取拍摄图像；利用硬件处理器，基于所述拍摄图像来解析所述对象人员的面部举动，并且获取与所述对象人员的面部举动相关的第一信息；利用硬件处理器，基于所述拍摄图像来解析所述对象人员的身体动作，并且获取与所述对象人员的身体动作相关的第二信息；以及利用硬件处理器，基于所述第一信息和所述第二信息来推定所述对象人员的状态。

附图标记说明

10…状态推定装置、

11…图像获取部、12…第二解析部、

13…分辨率转换部、14…第二解析部、

15…特征向量生成部、16…权重设定部、

17…推定部、

31…面部检测部、32…面部器官检测部、

33…面部器官状态检测部、

331…眼睛开闭检测部、332…视线检测部、

333…面部朝向检测部、

110…控制部、120…存储部、

130…外部接口、

20…自动驾驶系统、

21…摄像头、22…自动驾驶支援装置。