用于确定驾驶者的睡意的装置和方法与流程

本公开涉及用于确定驾驶者的睡意的装置和方法，并且更具体地，涉及获得驾驶者的图像并基于驾驶者的图像来确定驾驶者的睡意的装置和方法。

背景技术：

目前，车辆运输方法包括使人们能够自由行驶的两轮摩托车、火车、船舶、飞机等。然而，在车辆行驶时，可能发生由于睡意驾驶而导致的严重损伤和财产损害。因此，已经研究了用于防止驾驶者的睡意的各种方法。

特别地，当驾驶者的连续眼睑闭合时间大于第一阈值(dth)时，进入早期警告模式，并且保持早期警告直到驾驶者的连续眼睑闭合时间小于1dth(其小于第一阈值(dth))为止，以警告驾驶者睡意驾驶。然而，当基于连续眼睑闭合时间的阈值输出关于睡意驾驶的警告时，阈值被设定得高以防止误检测。因此，发生未检测到睡意驾驶和警告延迟。

此外，当获得驾驶者的眼睛图像时，未观察到的眼睛的瞳孔被确定为闭眼。因此，当检测到闭眼持续一定阈值时间段时，确定驾驶者处于睡意状态。然而，由于环境光的干扰、玻璃的反射等，从通过拍摄驾驶者而获得的红外图像中获得瞳孔图像可能是困难的，并且基于连续眼睑闭合时间来确定睡意可能是困难的。

在本部分中公开的以上信息仅用于增强对本发明的背景的理解，并且因此其可以包含不形成在本国对于本领域的普通技术人员而言已知的现有技术的信息。

技术实现要素：

本公开提供了用于在最小时间间隔内在车辆行驶的状态下确定驾驶者的睡意的装置和方法。此外，本公开的方面提供了用于确定驾驶者的睡意的装置和方法，其能够减少由集仪表群音频视频导航(avn)操作引起的睡意驾驶的误识别。

根据本公开的示例性实施例，一种用于确定驾驶者的睡意的装置可以包括：成像设备，被配置为获得驾驶者的图像(例如，面部或其它识别特征)；和控制器，被配置为：从驾驶者的图像确定驾驶者是否处于疲劳状态、驾驶者是否处于眼睑闭合状态以及驾驶者是否处于觉醒状态，并且被配置为：当在驾驶者的疲劳状态持续经过预定的第一时间间隔之后，在预定的第二时间间隔内交替且重复地发生驾驶者的眼睑闭合状态和觉醒状态时，确定驾驶者处于睡意状态。所述控制器可以被配置为：基于以下中的至少一个来确定驾驶者是否处于疲劳状态：在预定的第三时间间隔期间驾驶者的眼睑闭合的百分比是否超过预设百分比；和在预定的第四时间间隔内驾驶者的面部运动是否在预定的范围内。

该装置可以还包括：车辆行驶状态获得器，被配置为：确定由驾驶者驾驶的车辆的行驶状态，其中，所述控制器可以被配置为：根据车辆的行驶状态，基于以下中的至少一个来确定驾驶者是否处于疲劳状态：车辆是否偏离行驶车道；和车辆是否以z字形方向行驶。所述控制器可以被配置为：基于以下中的至少一个来确定驾驶者是否处于觉醒状态：在预定的第五时间间隔内，是否发生驾驶者的眨眼；和驾驶者的面部运动超过预设程度。

根据本公开的另一示例性实施例，一种用于确定驾驶者的睡意的方法可以包括以下步骤：由成像设备获得驾驶者的图像；由控制器从该图像确定驾驶者是否处于疲劳状态、驾驶者是否处于眼睑闭合状态以及驾驶者是否处于觉醒状态；以及当在驾驶者的疲劳状态持续经过预定的第一时间间隔之后，在预定的第二时间间隔内交替且重复地发生驾驶者的眼睑闭合状态和觉醒状态时，由所述控制器确定驾驶者处于睡意状态。基于以下中的至少一个来确定驾驶者是否处于疲劳状态：驾驶者的眼睑闭合时间是否超过预定的第三时间间隔；和在预定的第四时间间隔期间，驾驶者的面部运动在预定范围内。

该方法可以还包括以下步骤：检测驾驶者驾驶的车辆的行驶状态，其中，可以根据车辆的行驶状态，基于以下中的至少一个来确定驾驶者是否处于疲劳状态：车辆偏离行驶车道；和车辆以z字形方向行驶。可以基于以下中的至少一个来确定驾驶者是否处于觉醒状态：在预定的第五时间间隔内，是否发生驾驶者的眨眼；和驾驶者的面部运动是否超过预设程度。

附图说明

从以下结合附图的详细描述，本公开的以上和其它目的、特征和优点将更加明显。

图1是根据本公开的示例性实施例的确定驾驶者的睡意的装置的示例性框图；

图2是示出根据本公开的示例性实施例的用于确定驾驶者何时处于疲劳状态的驾驶者的面部运动的示例性曲线图；

图3是示出根据本公开的示例性实施例的用于确定驾驶者的睡意的图案的示例性图；

图4是示出根据本公开的示例性实施例的用于确定驾驶者的睡意的方法的示例性流程图；以及

图5是示出根据本公开的示例性实施例的执行用于确定驾驶者的睡意的方法的计算系统的示例性框图。

附图中每个元件的符号

100：成像设备

200：车辆行驶状态获得器

300：控制器

1000：计算系统

1100：处理器

1200：系统总线

1300：存储器

1310：rom

1320：ram

1400：用户接口输入设备

1500：用户接口输出设备

1600：存储

1700：网络接口

具体实施方式

在下文中，将参照说明性附图详细描述本公开的一些示例性实施例。应当注意，在给每个附图的部件赋予参考标记中，相同的部件将由相同的参考标记表示，即使它们在不同的附图中示出。此外，在描述本公开的示例性实施例中，在其中它们可以不必要地模糊本公开的示例性实施例的理解的情况下，将不详细描述公知的结构或功能。

在描述本公开的示例性实施例的部件中，可以使用诸如第一、第二、a、b、(a)、(b)等的术语。这些术语仅用于区分部件与其它部件。因此，对应部件的性质、次序、顺序等不受这些术语的限制。此外，除非另有定义，否则应当理解，在包括技术和科学术语的说明书中使用的所有术语具有与由本公开所属领域的技术人员所理解的那些相同的含义。应该理解，由字典定义的术语与相关技术的上下文中的含义相同，并且除非在本申请中另有明确定义，否则它们不应理想地或过度正式地解释。

此外，在包含由处理器、控制器/控制单元等执行的可执行程序指令的计算机可读介质上，本发明的控制逻辑可以被实施为非临时性计算机可读介质。计算机可读介质的示例包括但不限于rom、ram、光盘(cd)-rom、磁带、软盘、闪存、智能卡和光学数据存储装置。计算机可读记录介质也可以分布在网络联接的计算机系统中，以便计算机可读介质以分布方式例如被远程信息服务器或控制器局域网络(can)来存储和执行。

除非上下文具体陈述或显而易见的，否则如本文所用，术语“大约”理解为在本领域中正常公差的范围内，例如在平均值的2个标准差内。“大约”可以理解为在陈述值的10％、9％、8％、7％、6％、5％、4％、3％、2％、1％、0.5％、0.1％、0.05％或0.01％内。除非上下文另外明确，否则本文所提供的所有数值都由术语“大约”修改。

应该理解，术语“车辆”或“车辆的”或如本文所用的其它类似术语一般包括机动车辆，诸如包括运动型多用途汽车(suv)的乘用车、公共汽车、卡车、各种商业车辆、包括各种船只和船舶的水运工具、飞行器等，并且包括混合动力车辆、电动车辆、燃烧、插入式混合动力电动车辆、氢动力车辆，以及其它代用燃料车辆(例如，得自除石油之外的资源的燃料)。

图1是根据本公开的示例性实施例的用于确定驾驶者的睡意的装置的示例性框图。图2是示出根据本公开的示例性实施例的用于确定驾驶者何时处于疲劳状态的驾驶者的面部运动的示例性曲线图。图3是示出根据本公开的示例性实施例的用于确定驾驶者的睡意的图案(pattern)的示例性图。

首先，参考图1，用于确定驾驶者的睡意的装置可以包括成像设备100(例如，照相机、摄像机等)、车辆行驶状态获得器200和控制器300。控制器可以被配置为操作成像设备100和行驶状态获得器200。然而，图1中所示的部件不是必要部件。因此，用于确定驾驶者的睡意的部件多于或少于图1所示的部件的装置也可以实现。成像设备100可以被配置为获得驾驶者的图像(例如，面部识别)。成像设备100可以是被配置为拍摄车辆内驾驶者的面部(或其一部分)的照相机，并且还可以是被配置为从照相机获得图像的图像接收器。此外，车辆行驶状态获得器200可以被配置为获得驾驶者驾驶的车辆的行驶状态。车辆行驶状态获得器200可以获得包括但不限于以下的信息：车辆的行驶方向、车辆的行驶速度、车辆与前方车辆之间的距离、车辆是否偏离行驶车道(例如，车辆违反道路的车道)等。

此外，控制器300可以被配置为确定驾驶者的睡意状态，可以基于由成像设备100获得的驾驶者的图像和由车辆行驶状态获得器200获得的车辆的行驶状态来确定驾驶者是否处于疲劳状态、驾驶者是否处于眼睑闭合状态以及驾驶者是否处于觉醒状态。因此，控制器可以被配置为基于驾驶者是否处于疲劳状态、驾驶者是否处于眼睑闭合状态以及驾驶者是否处于觉醒状态来确定驾驶者是否处于睡意状态。

为了确定驾驶者是否处于疲劳状态，控制器300可以考虑驾驶者在预定时间期间的眼睛闭合的百分比(perclos)是否超过一定百分比、在预定时间内的驾驶者的面部运动是否处于预定范围内、车辆是否行驶在行驶车道内、车辆是否以z字形图案行驶等。例如，当一定百分比被设定为约10％，并且在60秒期间驾驶者的眼睛闭合的时间例如为约6秒以上时，控制器300可以被配置为确定驾驶者处于疲劳状态。

另外，参考图2，驾驶者的面部运动保持在约1秒以上到约5秒的范围内的区间不存在多达约2秒。然而，在从约2秒到约3秒的区间，驾驶者的面部运动可以保持在约1秒以上到约5秒的范围内。特别地，当驾驶者的面部运动相对于一定时间间隔最小时，控制器300可以被配置为确定驾驶者处于疲劳状态。此外，根据车辆的行驶状态，当车辆行驶连续地改变车道或偏离行驶车道(例如，没有保持在行驶车道内)时，或者当车辆以z字形图案行驶时，控制器300可以被配置为确定驾驶者处于疲劳状态。由控制器300确定驾驶者是否处于疲劳状态的方法可以是所示方法的组合，并且不限于所示方法。

控制器300可以被配置为通过基于驾驶者的图像识别驾驶者的眼睑是否闭合来确定驾驶者是否处于眼睑闭合状态。此外，为了确定驾驶者是否处于觉醒状态，控制器300可以被配置为确定驾驶者的眨眼是否是正常眨眼，或者驾驶者的面部运动是否超过一定程度。例如，正常眨眼可以包括当驾驶者不处于睡意状态时的眨眼，并且可以包括在一定时间间隔内执行的眨眼。特别地，当驾驶者处于睡意状态眨眼时，在一次眨眼内驾驶者的眼睛闭合的时间间隔是比正常眨眼更长的持续时间。

控制器300可以被配置为基于正常眨眼的发生来确定驾驶者处于觉醒状态。另外，驾驶者的面部运动可以包括驾驶者的面部所指向的方向的改变或面部的位置的改变。当驾驶者的面部运动超过一定程度时，控制器300可以被配置为确定驾驶者处于觉醒状态。由控制器300确定驾驶者是否处于觉醒状态的方法可以是所示方法的组合，并且不限于所示方法。

换句话说，基于如上述所确定的驾驶者是否处于疲劳状态、驾驶者是否处于眼睑闭合状态以及驾驶者是否处于觉醒状态，在驾驶者的疲劳状态持续第一时间间隔以上之后，在第二时间范围内交替且重复地发生驾驶者在第三时间范围期间的眼睑闭合状态和觉醒状态的情况下，控制器300可以被配置为确定驾驶者处于睡意状态。

例如，将参照图3所示的控制器300可以被配置为确定驾驶者的睡意状态的图案作为示例描述当第一时间设定为约5秒，第二时间设定为约4秒，并且第三时间范围可以设定为约0.5秒以上到约1.5秒以下时的情况。疲劳状态持续的时间间隔可以是约7秒，持续超过作为第一时间间隔的约5秒。此后，在约1秒期间(其在第三时间间隔内)可以发生驾驶者的眼睑闭合状态。此外，在发生眼睑闭合状态之后，发生觉醒状态，并且再次发生眼睑闭合状态持续约1秒之后，发生觉醒状态。换句话说，眼睑闭合状态和觉醒状态可以交替且重复地发生。特别地，可以在约7秒和约10秒之间交替且重复地发生眼睑闭合状态和觉醒状态，由此在作为第二时间间隔的约4秒内发生。因此，当发生疲劳状态、发生驾驶者的眼睑闭合状态和觉醒状态时，控制器300可以被配置为确定驾驶者处于睡意状态。

在下文中，将基于上述配置参照图4详细描述用于判断驾驶者的睡意的方法。图4是示出根据本公开的示例性实施例的用于确定驾驶者的睡意的方法的示例性流程图。参考图4，根据本公开的示例性实施例的用于确定驾驶者的睡意的方法可以包括获得驾驶者的图像s100，从驾驶者的图像确定驾驶者是否处于疲劳状态、驾驶者是否处于眼睑闭合状态以及驾驶者是否处于觉醒状态s200，并且当在驾驶者的疲劳状态持续预定的第一时间间隔之后，在预定的第二时间间隔内交替且重复地发生驾驶者的眼睑闭合状态和觉醒状态时，确定驾驶者处于睡意状态s300。

成像设备100可以被配置为获得驾驶者的图像(例如，面部图像)s100。成像设备100可以被配置为通过拍摄驾驶者的面部(例如，或其一部分)来获得驾驶者的图像，并且还可以从作为图像接收器的照相机获得图像。此外，根据本公开的示例性实施例的车辆行驶状态获得器200可以被配置为获得由驾驶者驾驶的车辆的行驶状态s200。车辆行驶状态获得器200可以获得包括车辆的行驶方向、车辆的行驶速度、车辆与前方车辆之间的距离、车辆是否违反道路的车道等的信息。可以使用安装在车辆内的各种传感器来检测各种行驶状态信息。

控制器300可以被配置为从驾驶者的图像确定驾驶者是否处于疲劳状态s200、驾驶者是否处于眼睑闭合状态以及驾驶者是否处于觉醒状态。控制器300可以使用与如下情况有关的信息来确定驾驶者是否处于疲劳状态：驾驶者在预定时间期间的眼睛闭合的百分比(perclos)是否超过一定百分比、在预定时间上驾驶者的面部运动是否在预定范围内、车辆是否保持车道、车辆是否以z字形图案行驶等。另外，控制器300可以被配置为通过基于驾驶者的图像识别驾驶者的眼睑是否闭合来确定驾驶者是否处于眼睑闭合状态。特别地，为了确定驾驶者是否处于觉醒状态，控制器300可以考虑驾驶者的眨眼是否是正常眨眼，或者驾驶者的面部运动是否超过一定程度。

在驾驶者的疲劳状态持续第一时间间隔以上之后，在第二时间内，交替且重复地发生驾驶者在第三时间范围内的眼睑闭合状态和觉醒状态s300。控制器300可以被配置为基于如上述所确定的驾驶者的疲劳状态、驾驶者是否处于眼睑闭合状态以及驾驶者是否处于觉醒状态来确定驾驶者处于睡意状态。控制器300还可以被配置为基于图3中所示的图案确定睡意状态，并且由于其详细方法已经在上面参照图3进行了描述，所以将省略。

图5是示出根据本公开的示例性实施例的执行用于确定驾驶者的睡意的方法的计算系统的示例性框图。参考图5，计算系统1000可以包括经由总线1200彼此连接的至少一个处理器1100、存储器(memory)1300、用户接口输入设备1400、用户接口输出设备1500、存储(storage)1600和网络接口1700。处理器1100可以是被配置为执行存储在存储器1300和/或存储1600中的指令的处理的中央处理单元(cpu)或半导体装置。存储器1300和存储1600可以包括各种类型的易失性或非易失性存储介质。例如，存储器1300可以包括只读存储器(rom)和随机存取存储器(ram)。

因此，在本说明书中公开的示例性实施例的上下文中描述的方法或算法中的步骤可以直接在由处理器1100执行的硬件、软件模块或它们的组合中实现。软件模块可以驻留在存储介质(即，存储器1300和/或存储1600)上，诸如随机存取存储器(ram)存储器、闪存、只读存储器(rom)存储器、可擦除可编程只读存储器(eprom)存储器、电可擦除可编程只读存储器(eeprom)存储器、寄存器、硬盘、可移动磁盘或光盘只读存储器(cd-rom)。说明性存储介质可以耦合到处理器1100，并且处理器1100可以从存储介质读取信息并将信息写入存储介质。替换地，存储介质也可以与处理器1100集成。处理器和存储介质也可以驻留在专用集成电路(asic)内。asic也可以驻留在用户终端内。另选地，处理器和存储介质也可以作为单独部件驻留在用户终端内。

在如上所述的确定驾驶者的睡意的装置和方法中，上述示例性实施例的配置和方法不被限制性地应用。换句话说，各个示例性实施例中的全部或一些可以选择性地彼此组合，使得它们可以进行各种修改。如上所述，与当前的睡意确定方法相比，根据本公开的示例性实施例，可以在减少的持续时间内确定可以在车辆的操作期间可能发生的驾驶者的睡意。此外，可以减少当基于仪表群或音频视频导航(avn)操作时可能发生的睡意的误识别。另外，通过本公开获得的效果不限于上述效果。特别地，本公开所属领域的技术人员从以下描述中可以明显地理解未提及的其它效果。

在上文中，虽然本公开已经参照示例性实施例和附图进行了描述，但本公开并不限于此，而是可以由本公开所属领域的技术人员进行各种修改和改变，而不脱离以下权利要求中所要求保护的本公开的精神和范围。