睡意推断装置的制作方法

本发明涉及对车辆的乘客的睡意进行推断的睡意推断装置的技术领域。

背景技术：

作为此种装置，已知有一种根据车辆的乘客的动作来对睡意(换而言之，清醒程度)进行推断的装置。例如，在专利文献1中，公开了如下这样的技术，即，对驾驶员的脸部图像进行摄像，并基于眼部的动作(半睁眼状态的时间、闭眼时间、睁眼时间等)和嘴部的动作(嘴部半张开、闭紧嘴等)中的至少一种，来对驾驶员的睡意进行判断的技术。在专利文献2中，公开了如下这样的技术，即，基于所取得的两个以上的表情信息(例如，包括左右嘴角的距离、眉头的中点与眼角的中间点的距离、上眼睑与下眼睑之间的距离等)，来对睡意的程度信息判断的技术。在专利文献3中，公开了如下这样的技术，即，根据睁眼时间的偏差和脸部朝向的偏差，来对感觉到睡意之前的恍惚状态进行检测的技术。

此外，作为检测到睡意的情况下的对策，已知有一种对车辆的乘客施加唤醒刺激的装置。例如，在专利文献4中，公开了根据所检测出的睡意的强度来对所提供的唤醒刺激的强度进行调节这样的技术。

在先技术文献

专利文献

专利文献1：日本特开2008-212298号公报

专利文献2：日本特开2009-045418号公报

专利文献3：日本专利第05447657号

专利文献4：日本专利第05228970号

技术实现要素：

发明所要解决的课题

虽然在上述的专利文献1中利用嘴部的动作来对睡意进行判断，但嘴部的动作存在各种各样的种类(例如，因对话而做出的动作、因进食而做出的动作、因睡意而做出的动作等)，仅根据动作有可能无法准确地对睡意进行判断。即，存在如果无法对嘴部的动作具体是因何种主要原因而做出的进行判断，则无法精度良好地对睡意进行推断这一技术问题。

本发明是鉴于例如上述问题点而完成的发明，其课题在于，提供一种能够利用嘴部的动作而精度良好地对睡意进行推断的睡意推断装置。

用于解决课题的方法

在本发明所涉及的睡意推断装置的一个方式中，具备：摄像单元，其对车辆的驾驶员的脸部图像进行摄像；检测单元，其基于所述脸部图像来对所述驾驶员的嘴部的动作的持续时间及周期性的有无进行检测；判断单元，其基于所述持续时间及所述周期性的有无来对所述嘴部的动作的种类进行判断；推断单元，其基于所述嘴部的动作的种类来对所述驾驶员的睡意进行推断。

附图说明

图1为表示第一实施方式所涉及的睡意推断装置的结构的框图。

图2为表示因睡意而做出的嘴部的动作的坐标变化的一个示例的曲线图。

图3为表示因进食而做出的嘴部的动作的坐标变化的一个示例的曲线图。

图4为表示因对话而做出的嘴部的动作的坐标变化的一个示例的曲线图。

图5为表示由第一实施方式所涉及的睡意推断装置实施的嘴部的动作种类判断动作的流程的流程图。

图6为基于嘴部的动作的种类而进行的睡意推断的检验表(其一)。

图7为基于嘴部的动作的种类而进行的睡意推断的检验表(其二)。

图8为表示与嘴部的动作的种类相应的唤醒刺激的选择动作的流程的流程图。

图9为表示第二实施方式所涉及的睡意推断装置的结构的框图。

图10为表示由第二实施方式所涉及的睡意推断装置实施的睡意推断动作的流程的流程图。

图11为基于眼部的动作及嘴部的动作的种类而进行的睡意推断的检验表(其一)。

图12为基于眼部的动作及嘴部的动作的种类而进行的睡意推断的检验表(其二)。

具体实施方式

以下，参照附图来对睡意推断装置的实施方式进行说明。

＜第一实施方式＞

参照图1至图8，对第一实施方式所涉及的睡意推断装置进行说明。

＜装置结构＞

首先，参照图1，对第一实施方式所涉及的睡意推断装置的结构进行说明。图1为表示第一实施方式所涉及的睡意推断装置的结构的框图。

如图1所示，第一实施方式所涉及的睡意推断装置被构成为，具备摄像机100、处理部200、及唤醒刺激部300。

摄像机100例如为车载摄像机，且被配置在能够对车辆的驾驶员的脸部(特别是眼部或嘴部的周围)进行摄像的位置上。并且构成为，由摄像机100所摄像而得的图像数据被输出至处理部200。摄像机100为下文叙述的附记中的“摄像单元”的一个具体例。

处理部200例如作为ecu(electricalcontrolunit：电子控制单元)等的控制器单元而被构成。处理部200具备嘴部动作检测部210、嘴部动作判断部220及睡意推断部230。嘴部动作检测部210为下文叙述的附记中的“检测单元”的一个具体例。嘴部动作判断部220为下文叙述的附记中的“判断单元”的一个具体例。睡意推断部230为下文叙述的附记中的“推断单元”的一个具体例。关于处理部200所具备的各部分的动作，将在下文中详细叙述。处理部200被构成为，能够对车辆的驾驶员的睡意进行推断，并将该推断结果输出至唤醒刺激部300。

唤醒刺激部300被构成为，能够对车辆的驾驶员提供唤醒刺激(即，将唤醒睡意作为目的的刺激)。唤醒刺激部300根据从处理部200所输出的推断结果(即，驾驶员的睡意)而提供不同的多个唤醒刺激。作为唤醒刺激的一个示例，可列举出语音或音乐的播放、利用了空调的送风等。唤醒刺激部300为下文叙述的附记中的“提供单元”的一个具体例。

＜嘴部的动作种类＞

接下来，参照图2至图4，对第一实施方式所涉及的睡意推断装置推断驾驶员的睡意时所使用的“嘴部的动作种类”进行说明。图2为表示因睡意而做出的嘴部的动作的坐标变化的一个示例的曲线图。图3为表示因进食而做出的嘴部的动作的坐标变化的一个示例的曲线图。图4为表示因对话而做出的嘴部的动作的坐标变化的一个示例的曲线图。另外，图2至图4的各数据是以嘴部的1点作为界标，而对其上下方向上的坐标(y坐标)进行制图而得到的数据。

如图2至图4所示，在嘴部的动作中，根据意图做何事而存在不同的特征。例如，图2所示的因睡意而做出的嘴部的动作是暂时的，且动作不具有周期性。具体而言，虽然坐标瞬间大幅度地发生变化，但无动作的时间较多。图3所示的因进食而做出的嘴部的动作的持续时间较长，且动作具有周期性。这是由于咀嚼食物的动作是周期性的缘故。图4所示的因对话而做出的嘴部的动作的持续时间较长，且动作不具有周期性(在图中的第一个周期和第二周期中长度不同)。这是由于进行对话时的嘴部的动作不会重复相同的动作的缘故。

第一实施方式所涉及的睡意推断装置将驾驶员的嘴部的动作分类为上述的因睡意而做出的动作(参照图2)、因进食而做出的动作(参照图3)、因对话而做出的动作(参照图4)中的某一种，从而对驾驶员的睡意进行推断。

＜嘴部的动作种类判断动作＞

接下来，参照图5，对基于第一实施方式所涉及的睡意推断装置而进行的嘴部的动作种类判断动作(即，对驾驶员的嘴部的动作种类进行判断的动作)进行说明。图5为表示由第一实施方式所涉及的睡意推断装置实施的嘴部的动作种类判断动作的流程的流程图。

如图5所示，在进行嘴部的动作种类判断动作时，首先，嘴部动作检测部210从摄像机100的摄像图像中取得驾驶员的嘴部的坐标(步骤s11)。嘴部的坐标既可以将任意的1点作为界标来取得，也可以将多个点作为界标来取得。另外，关于坐标检测的具体的方法，由于可以适当采用已有的技术，因此将此处的详细说明省略。

接下来，嘴部动作检测部210对嘴部的坐标的时间变化进行存储(步骤s12)。具体而言，嘴部动作检测部210依次对t＝1的坐标、t＝2的坐标、t＝3的坐标、…、t＝n的坐标进行存储。而且，嘴部动作检测部210对坐标的时间变化是否在预定值以上进行判断(步骤s13)。另外，此处的预定值为，作为用于判断嘴部是否在进行动作的阈值而被预先设定的值。嘴部动作检测部210例如对t＝n的坐标与t＝n+1的坐标之差是否在预定值以上进行判断。

在坐标的时间变化不在预定值以上的情况下(步骤s13：否)，嘴部动作检测部210判断为不存在嘴部的动作，并省略之后的处理。在这种情况下，也可以在预定期间之后再次从步骤s11开始进行处理。另一方面，在坐标的变化在预定值以上的情况下(步骤s13：是)，嘴部动作检测部210判断为存在嘴部的动作，并对嘴部的动作的持续时间进行计数(步骤s14)。另外，此处的持续时间为，预定值以上的坐标变化连续被检测到的次数。嘴部动作检测部210只需例如每当坐标的变化在预定值以上时增加计数值即可。

接下来，嘴部动作判断部220对嘴部的动作的持续时间是否在预定时间以上进行判断(步骤s15)。此处的预定时间为用于对嘴部的动作是否为因睡意而做出的嘴部的动作进行判断的阈值，其例如根据事先的模拟等而被设定为适当的值。在嘴部的动作的持续时间未在预定时间以上的情况下(步骤s15：否)，嘴部动作判断部220判断为嘴部的动作是因睡意而做出的嘴部的动作(步骤s16)。

另一方面，在嘴部的动作的持续时间在预定时间以上的情况下(步骤s15：是)，嘴部动作判断部220对嘴部的动作是否具有周期性进行判断(步骤s17)。在对周期性的有无进行判断时，例如，在t＝0的坐标与t＝n的坐标一致的情况下，将从t＝0起至t＝n为止的期间设为一个周期的候选。而且，依次对t＝1的坐标与t＝n+1的坐标是否一致、t＝2的坐标与t＝n+2的坐标是否一致、t＝3的坐标与t＝n+3的坐标是否一致等进行判断，并且只需在各自的一致率在预定阈值以上的情况下判断为具有周期性即可。

在嘴部的动作不具有周期性的情况下(步骤s17：否)，嘴部动作判断部220判断为嘴部的动作是因对话而做出的动作(步骤s18)。另一方面，在嘴部的动作具有周期性的情况下(步骤s17：是)，嘴部动作判断部220判断为嘴部的动作是因进食而做出的动作(步骤s19)。

＜睡意推断动作＞

接下来，参照图6及图7，对由第一实施方式所涉及的睡意推断装置实施的睡意推断动作(即，对驾驶员的睡意进行推断的动作)进行说明。图6为基于嘴部的动作的种类而进行的睡意推断的检验表(其一)。图7为基于嘴部的动作的种类的睡意推断的检验表(其二)。

如图6所示，睡意推断部230基于由嘴部动作判断部220所判断出的嘴部的动作种类，来对驾驶员的睡意进行推断。具体而言，睡意推断部230在不存在嘴部的动作的情况下，判断为驾驶员不困倦。在嘴部的动作为因睡意而做出的动作的情况下，判断为驾驶员困倦。在嘴部的动作为因进食而做出的动作的情况下，判断为驾驶员不困倦。在嘴部的动作为因对话而做出的动作的情况下，判断为驾驶员不困倦。

如上文所述，在第一实施方式所涉及的睡意推断装置中，即使在检测到嘴部的动作的情况下，也会在该动作为因睡意而做出的嘴部的动作的情况下被判断为具有睡意，而在该动作为因进食或对话而做出的嘴部的动作的情况下，不会被判断为具有睡意。由此，如果与仅根据嘴部的动作来对睡意进行推断的情况相比，则能够精度良好地对驾驶员的睡意进行推断。

如图7所示，也可以采用如下方式，即，关于因进食而做出的嘴部的动作而实施与持续时间的长度相应的睡意的推断。具体而言，在因进食而做出的嘴部的动作为较长时间的情况下，判断为驾驶员为了唤醒睡意而正在有意图地进食(例如，咀嚼口香糖)，从而可以推断为具有睡意。另一方面，在因进食而做出的嘴部的动作为较短时间的情况下，判断为驾驶员正在进行通常的进食，从而推断为不具有睡意即可。

在考虑因进食而做出的嘴部的动作的持续时间的情况下，也可以采用如下结构，即，例如在嘴部的动作的持续时间较长的情况下，进行“是正在吃口香糖之类的吗？”或“不困倦吗？”等的询问，从而对由驾驶员进食的行为是否为意图唤醒的行为进行确认。

另外，虽然在上述的实施方式中，以驾驶员是否具有睡意这样的二选一的方式而执行推断，但也可以更具体地对睡意的程度进行推断。例如，驾驶员的睡意也可以以不困倦、略微困倦、困倦、相当困倦等的多个等级来进行推断。或者，也可以使驾驶员的睡意数值化。

＜唤醒刺激选择动作＞

接下来，参照图8，对由第一实施方式所涉及的睡意推断装置实施的唤醒刺激选择动作(即，对向驾驶员提供的唤醒刺激进行选择的动作)进行说明。图8为表示与嘴部的动作的种类相应的唤醒刺激的选择动作的流程的流程图。

如图8所示，在对睡意进行了推断的结果(步骤s21)被推断为“无睡意”或“略微困倦”的情况下，唤醒刺激部300不提供唤醒刺激(步骤s22)。此外，在被推断为“相当困倦”的情况下，判断为唤醒刺激部300仅通过唤醒刺激而难以唤醒睡意，并建议休息(即，驾驶的停止)(步骤s23)。

另一方面，在被推断为“困倦”的情况下，唤醒刺激部300利用嘴部的动作种类的判断结果(步骤s24)来提供不同的唤醒刺激。具体而言，唤醒刺激部300在嘴部的动作为因睡意而做出的动作的情况下，执行利用了对话系统的与驾驶员的对话(步骤s25)。在嘴部的动作为因进食而做出的动作的情况下，利用音频系统而播放音乐(步骤s26)。在嘴部的动作为因对话而做出的动作的情况下，对空调进行控制而提供冷风(步骤s27)。

如上文所述，如果根据驾驶员的睡意(换而言之，嘴部的动作种类)而提供不同的唤醒刺激，则能够适当地唤醒驾驶员的睡意。例如，如果在嘴部的动作为因进食而做出的动作的情况下，作为唤醒刺激而提供对话时，则有可能会使驾驶员难以回答而感到烦恼。此外，如果在嘴部的动作为因对话而做出的动作的情况下，作为唤醒刺激而提供对话或音乐播放，则有可能会干扰对话而使驾驶员感到烦恼。然而，由于本实施方式所涉及的睡意推断装置在睡意的推断之前先对嘴部的动作种类进行判断，因此，能够准确地对驾驶员的当前的状况进行判断，从而能够提供适当的唤醒刺激。另外，上述的唤醒刺激为一个示例，也可以根据驾驶员的睡意而提供其他唤醒刺激。此外，也可以根据驾驶员的睡意而提供多个唤醒刺激。

＜第二实施方式＞

接下来，参照图9至图12，对第二实施方式所涉及的睡意推断装置进行说明。另外，在第二实施方式中，只有一部分结构及动作与已说明的第一实施方式不同，关于其他部分则大致相同。因此，在下文中，对与第一实施方式不同的部分进行详细说明，而对其他的重复的部分则适当省略说明。

＜装置结构＞

首先，参照图9，对第二实施方式所涉及的睡意推断装置的结构进行说明。图9为表示第二实施方式所涉及的睡意推断装置的结构的框图。

如图9所示，除了第一实施方式的结构以外，第二实施方式所涉及的睡意推断装置的处理部200b还具备眼部动作检测部240及眼部动作判断部250。换而言之，第二实施方式所涉及的睡意推断装置除了嘴部的动作之外，也能够利用眼部的动作来对睡意进行推断。

＜睡意推断动作＞

接下来，参照图10至图12，对由第二实施方式所涉及的睡意推断装置实施的睡意推断动作进行说明。图10为表示由第二实施方式所涉及的睡意推断装置实施的睡意推断动作的流程的流程图。图11为基于眼部的动作及嘴部的动作的种类而实施的睡意推断的检验表(其一)。图12为基于眼部的动作及嘴部的动作的种类而实施的睡意推断的检验表(其二)。

如图10所示，在第二实施方式所涉及的睡意推断装置的动作时，眼部动作检测部240根据摄像机100的摄像图像来对驾驶员的眼部的动作(例如，眨眼或视线的移动等)进行检测(步骤s31)。另外，关于眼部的动作的具体的检测方法，由于能够适当采用已有的技术，因此将此处的详细说明省略。

接下来，眼部动作判断部250根据检测到的眼部的动作而临时性地对驾驶员的睡意进行判断(步骤s32)。具体而言，眼部动作判断部250根据眨眼的速度、眨眼的频率、视线的移动速度、视线的移动频率等，来对驾驶员的睡意进行判断。关于基于眼部的动作的睡意的判断方法，由于能够适当采用已有的技术，因此将此处的详细说明省略。

另一方面，嘴部动作检测部210及嘴部动作判断部220以与上述的步骤s31及步骤s32的处理并行或相继的方式，而执行嘴部的动作判断处理(步骤s33)。即，如图5的流程图所示的那样，对嘴部的动作的有无及嘴部的动作种类进行判断。而且，睡意推断部230基于眼部的动作的判断结果及嘴部的动作的判断结果来对驾驶员的睡意进行推断(步骤s34)。

如图11所示，睡意推断部230根据基于眼部的动作而获得的睡意的判断结果(以下，适当地称为“基于眼部的睡意判断”)、和嘴部的动作种类，来对最终的睡意进行推断。具体而言，在基于眼部的睡意判断为“不困倦”，且嘴部的动作种类为“无”的情况下，推断为“不困倦”。在基于眼部的睡意判断为“略微困倦”，且嘴部的动作种类为“无”的情况下，推断为“略微困倦”。在基于眼部的睡意判断为“困倦”，且嘴部的动作种类为“无”的情况下，推断为“困倦”。在基于眼部的睡意判断为“相当困倦”，且嘴部的动作种类为“无”的情况下，推断为“相当困倦”。在基于眼部的睡意判断为“不困倦”，且嘴部的动作种类为“因睡意而做出的动作”的情况下，推断为“略微困倦”。在基于眼部的睡意判断为“略微困倦”，且嘴部的动作种类为“因睡意而做出的动作”的情况下，推断为“困倦”。在基于眼部的睡意判断为“困倦”，且嘴部的动作种类为“因睡意而做出的动作”的情况下，推断为“相当困倦”。在基于眼部的睡意判断为“相当困倦”，且嘴部的动作种类为“因睡意而做出的动作”的情况下，推断为“相当困倦”。在基于眼部的睡意判断为“不困倦”，且嘴部的动作种类为“因进食而做出的动作”的情况下，推断为“不困倦”。在基于眼部的睡意判断为“略微困倦”，且嘴部的动作种类为“因进食而做出的动作”的情况下，推断为“略微困倦”。在基于眼部的睡意判断为“困倦”，且嘴部的动作种类为“因进食而做出的动作”的情况下，推断为“困倦”。在基于眼部的睡意判断为“相当困倦”，且嘴部的动作种类为“因进食而做出的动作”的情况下，推断为“相当困倦”。在基于眼部的睡意判断为“不困倦”，且嘴部的动作种类为“因对话而做出的动作”的情况下，推断为“不困倦”。在基于眼部的睡意判断为“略微困倦”，且嘴部的动作种类为“因对话而做出的动作”的情况下，推断为“略微困倦”。在基于眼部的睡意判断为“困倦”，且嘴部的动作种类为“因对话而做出的动作”的情况下，推断为“困倦”。在基于眼部的睡意判断为“相当困倦”，且嘴部的动作种类为“因对话而做出的动作”的情况下，推断为“相当困倦”。

如上文所述，在嘴部的动作种类为“无”、“因进食而做出的动作”或“因对话而做出的动作”的情况下，基于眼部的睡意判断的结果就此被推断为最终的睡意。另一方面，在嘴部的动作种类为“因睡意而做出的动作”的情况下，被推断为与基于眼部的睡意判断的结果相比睡意强了一个等级的睡意。如此，如果利用眼部的动作及嘴部的动作双方来对睡意进行推断，则与仅利用眼部的动作或嘴部的动作来推断睡意的情况相比，能够精度良好地对睡意进行推断。

如图12所示，也可以采用以下方式，即，关于因进食而做出的嘴部的动作而实施与持续时间的长度相应的睡意的推断。具体而言，在因进食而做出的嘴部的动作为较长时间的情况下，判断为驾驶员为了唤醒睡意而有意图地进食，从而可以推断为具有与基于眼部的睡意判断的结果相比强了一个等级的睡意。另一方面，在因进食而做出的嘴部的动作为较短时间的情况下，判断为驾驶员在进行通常的进食，从而只需将基于眼部的睡意判断的结果就此推断为最终的睡意即可。

＜附记＞

以下，对根据以上所说明的实施方式推导出的发明的各种方式进行说明。

(附记1)

附记1所记载的睡意推断装置具备：摄像单元，其对车辆的驾驶员的脸部图像进行摄像；检测单元，其基于所述脸部图像而对所述驾驶员的嘴部的动作的持续时间及周期性的有无进行检测；判断单元，其基于所述持续时间及所述周期性的有无而对所述嘴部的动作的种类进行判断；推断单元，其基于所述嘴部的动作的种类而对所述驾驶员的睡意进行推断。

根据附记1所记载的睡意推断装置，对嘴部的动作的种类(换而言之，嘴部的动作是因何种主要原因而做出的)进行判断，从而推断出驾驶员的睡意。因此，与仅根据嘴部的动作来推断睡意的情况相比，能够精度良好地对睡意进行推断。

(附记2)

在附记2所记载的睡意推断装置中，作为所述嘴部的动作的种类，所述判断单元对为因睡意而做出的嘴部的动作、因进食而做出的嘴部的动作、或因对话而做出的嘴部的动作中的哪一种进行判断。

根据该方式，对嘴部的动作是因睡意而做出的动作、因进食而做出的动作、还是因对话而做出的动作进行判断，从而能够精度良好地对睡意进行推断。

(附记3)

在附记3所记载的睡意推断装置中，所述判断单元(i)在所述持续时间短于第一预定时间的情况下，判断为所述嘴部的动作的种类是所述因睡意而做出的嘴部的动作，(ii)在所述持续时间长于第一预定时间、且具有所述周期性的情况下，判断为所述嘴部的动作的种类是所述因进食而做出的嘴部的动作，(iii)在所述持续时间长于第一预定时间、且不具有所述周期性的情况下，判断为所述嘴部的动作的种类是所述因对话而做出的嘴部的动作。

根据该方式，由于能够基于嘴部的动作的持续时间和周期性的有无而准确地对嘴部的动作的种类进行判断，因此能够精度良好地对睡意进行推断。

(附记4)

在附记4所记载的睡意推断装置中，在被判断为所述嘴部的动作的种类是所述因进食而做出的嘴部的动作的情况下、且在所述持续时间长于第二预定时间的情况下，所述推断单元推断为与所述持续时间短于所述第二预定时间的情况相比而处于所述驾驶员的睡意较强的状态。

根据该方式，由于能够准确地对因进食而做出的嘴部的动作是否为基于欲唤醒睡意的意思而实施的动作进行判断，因此能够精度良好地对睡意进行推断。

(附记5)

在附记5所记载的睡意推断装置中，还具备：提供单元，其能够向所述驾驶员提供多种类型的唤醒刺激；控制单元，其以如下方式对所述提供单元进行控制，即，根据所述嘴部的动作的种类而提供不同种类的唤醒刺激。

根据该方式，由于能够提供与睡意相应的适当的唤醒刺激，因此能够可靠地唤醒驾驶员的睡意。

本发明并不限定于上述的实施方式，能够在不违反从权利要求书以及说明书的整体所理解到的发明的主旨或思想的范围内进行适当变更，并且伴随着这样的变更而得到的睡意推断装置也被包括在本发明的技术范围内。

符号说明

100、摄像机；

200、处理部；

210、嘴部动作检测部；

220、嘴部动作判断部；

230、睡意推断部；

240、眼部动作检测部；

250、眼部动作判断部；

300、唤醒刺激部。