专利名称：用于对闭眼归类的方法
技术领域：
本发明涉及与例如用于自动困倦检测的由车辆实现的方法有关的改进，具体地，涉及用于对闭眼归类的方法和相应系统，以用于改善例如困倦检测方法的可靠性。
背景技术：
交通事故的发生时常是由于例如因困倦导致的司机反常造成的。为了防止由司机反常造成的事故，可能至关重要的是为司机提供警告消息以重新建立司机对周围交通形势的注意，或者在危急情况下建议司机采取刹车或换成车辆的另一司机。近来，在开发困倦检测算法上已取得很大进步，这些算法基于使用监视传感器(例如摄像机等)检测驾驶员的闭眼。这些算法可以用在图像输入单元中，该图像输入单元通过使用监视传感器来检测司机的脸部和眼睛。以此，可检测司机的注视方向，例如车辆司机当前正在看的方向。具有图像输入单元的系统的示例可参见US 2003/039 387。US 2003/039 387的图像输入单元输入包括司机脸部区域的图像，以指明司机的注视或脸部方向。该系统基于接收到的图像输入来生成输入图案，以用于确定司机的注视或脸部方向。此外，提供包括多个存储目标(即司机曾经看过的车辆内部和外部的位置)的字典图案。目标可以例如为侧视镜、后视镜、信息娱乐系统等。此外，该系统生成的输入图案与存储目标进行对比，以确定司机的当前注视或脸部方向。然而，即使用于检测司机眼睛的系统已变得越来越复杂，但是所述系统未考虑到存在可能导致司机减小眼睛睁开大小或目光转向特定方向(例如由于车箱内变化的光照条件)的除困倦之外的其它因素。这还可能例如由外部因素(例如直射的阳光、闪光、夜里来自对向车流的前灯灯光等)导致。此外，如果司机正向下看或斜视，则系统可能将此检测为闭眼。因此存在如下风险:当事实上车辆司机充分意识到当前形势时却为该司机提供针对困倦司机的警告消息。因此，期望提供一种在向司机提供警告消息之前辨别检测到的闭眼的实际因素的方法。
发明内容
根据本发明的一方面，通过一种用于改善来自图像传感器的一部分生理数据的可靠性的方法，以至少部分解决以上问题，其中该图像传感器监视位于车辆驾驶室中的驾驶员，该方法包括:从图像传感器接收生理数据，该生理数据包括与驾驶员的眼睛、脸部、头部、胳膊和身体动作中的至少一个有关的信息；基于生理数据来识别驾驶员的眼皮闭合、眼睛动作或头部动作中的至少一个的迹象；将生理数据和驾驶室内的光照条件中的至少一个与关于当前驾驶员状态的预定规则集合进行比较；并且通过将识别出的眼皮闭合、眼睛动作和/或头部动作与比较结果关联，对眼皮闭合、眼睛动作和/或头部动作的类型进行归类。本发明基于以下理解:通过将生理数据和驾驶室内的光照条件中的至少一个与关于当前驾驶员状态的预定规则集合进行比较，可以提供稳固且可靠的方法，以用于确定例如识别出的眼皮闭合、眼睛动作和/或头部动作是否是被正确识别的，或者是例如由测量数据缺陷所致。例如，如果从图像传感器接收到的信息是物理上不可能的眼睛闪变运动，则与预定规则集合的比较可以确定所接收到的信息由测量数据缺陷导致。这个缺陷可能由例如以下导致:图像传感器此刻无法定位并提供驾驶员眼睛的精确图像。根据另一示例，如果车辆驾驶员突然从其肩部上面看过去以查看是否他正被另一车辆超过，则图像传感器可能失去对例如驾驶员眼睛的跟踪，取而代之的是错误识别成眼皮闭合。而与预定规则集合的比较可以确定所识别出的眼皮闭合实际上是由驾驶员从其肩部上面看过去而导致的，而非真正的眼皮闭合。因此，在这个示例中，比较的结果由于为错误而可以被过滤掉。根据又一示例，如果车辆驾驶员突然由于阳光或夜里对面来车的前灯灯光(即，从外面照进车厢的光)而致眩目，则驾驶员可能转头或者闭上其眼皮，其方式可能由图像传感器识别为例如由困倦导致的眼皮闭合。因此，由于车辆中的光照条件使得驾驶员此时可能已对亮光有反应并进而意识到周围交通环境，所以与预定规则集合的比较此时可过滤掉已记录的眼皮闭
口 O措辞“生理数据”应在以下理解为可以由识别例如驾驶员的眼睛、脸部、身体、以及眼睛注视方向、眼皮闭合等等的基于图像的系统识别出的所有类型的数据。此外，措辞“识别眼皮闭合的迹象”应理解为:基于图像的系统识别出驾驶员正在(快速或慢速)眨眼或闭合其眼睛。此外，向基于图像的系统提供驾驶室内的光照条件可以例如经由单独的光传感器或该基于图像的系统本身进行。单独的光传感器可以例如是红外线传感器(IR)、近红外线传感器(NIR)，具有光敏特性的摄像机等等。此外，将生理数据与关于当前驾驶员状态的预定规则集合进行比较可以包括:识别由生理数据低于预定阈值而构成的置信指标，并且当置信水平低于预定阈值时规定对生理数据的归类错误。因此，如果生理数据表现出的方式或多或少在物理上不可能(即，更可能是图像传感器失去对驾驶员的眼睛、胳膊和/或身体的位置的追踪)，则可以得出归类错误。“物理上不可能”的行为可以例如是生理数据指出头部和/或身体转动等的频率异常高的情况。又进一步地，将生理数据与关于当前驾驶员状态的预定规则集合进行比较可以包括:识别由生理数据高于预定阈值而构成的脸部位置和/或方向的变化，并且如果脸部位置和/或方向的变化高于预定阈值时规定对生理数据的归类错误。例如，如果车辆驾驶员的脸部朝向后视镜之一的方向且图像传感器识别出眼皮闭合，则由于更可能是图像传感器失去对眼睛的追踪并且驾驶员完全意识到交通形势，所以可以规定归类错误。根据又一实施例，将生理数据与关于当前驾驶员状态的预定规则集合进行比较包括:估计在由生理数据构成的眼皮动作、眼睛动作和/或头部动作与预定的眼皮动作、眼睛动作和/或头部动作模板之间的匹配度，并且当匹配度低于预定阈值时规定对生理数据的归类错误。根据又一实施例，其中，将生理数据与关于当前驾驶员状态的预定规则集合进行比较，包括:识别表示驾驶员非困倦状态的眼睛、头部和身体动作中的至少一个，并且如果识别出非困倦状态，则规定对生理数据归类为非困倦。根据又一实施例，将驾驶室内的光照条件与关于当前驾驶员状态的预定规则集合进行比较，包括:识别朝向驾驶员的光照度以及驾驶室内变化的光照条件中的至少一个。根据又一实施例，识别朝向驾驶员的光照度以及驾驶室内变化的光照条件中的至少一个，包括:分析图像数据的对比度、光照度和/或光照度频率中的至少一个，该图像数据由来自图像传感器或来自布置在车辆驾驶室内的光传感器的生理数据构成。根据本发明的另一方面，提供了一种用于改善来自图像传感器的一部分生理数据的可靠性的控制系统，该图像传感器监视位于车辆驾驶室中的驾驶员，该控制装置包括控制单元，该控制单元用于:从图像传感器接收生理数据，该生理数据包括与驾驶员的眼睛、脸部、头部、胳膊和身体动作中的至少一个有关的信息；基于生理数据来识别驾驶员的眼皮闭合、眼睛动作或头部动作中的至少一个的迹象；将生理数据和驾驶室内的光照条件中的至少一个与关于当前驾驶员状态的预定规则集合进行比较；并且通过将识别出的眼皮闭合、眼睛动作和/或头部动作与比较结果关联，对眼皮闭合、眼睛动作和/或头部动作的类型进行归类。本发明该方面提供了如上关于本发明的以上方面论述的类似优点。应当注意到，控制系统优选是用于车辆例如小汽车、公共汽车、卡车的驾驶员辅助系统。以下将关于本发明的具体描述而给出更全面的论述。显然，其它车辆类型也是可以的，并且位于本发明的范围之内。根据本发明又一方面，提供了一种计算机可读介质，其包含用于改善来自图像传感器的一部分生理数据的可靠性的计算机程序产品，该图像传感器监视位于车辆驾驶室中的驾驶员，该计算机程序产品包括代码，该代码在由处理器执行时用于:从图像传感器接收生理数据，该生理数据包括与驾驶员的眼睛、脸部、头部、胳膊和身体动作中的至少一个有关的信息；基于生理数据来识别驾驶员的眼皮闭合、眼睛动作或头部动作中的至少一个的迹象；将生理数据和在驾驶室内的光照条件中的至少一个与关于当前驾驶员状态的预定规则集合进行比较；并且通过将识别出的眼皮闭合、眼睛动作和/或头部动作与比较结果关联，对眼皮闭合、眼睛动作和/或头部动作类型进行归类。同样的，本发明的这个方面提供了如上关于本发明以上方面论述的类似优点。当研究所附权利要求和以下说明时，会明白本发明的进一步特性和优点。技术人员意识到，在不脱离本发明范围的情况下，本发明的不同特征可以结合以创建除了以下描述的那些实施例以外的实施例。
从以下详细描述和附图将容易理解本发明的不同方面，包括本发明的特定特征和优点，在该附图中:图1示出配备有内部传感器的车辆内部的立体图，以及在该车辆内通常驾驶员会注视的多个位置；图2示出车辆驾驶员的脸部的坐标系；并且图3概念性示出根据本发明当前优选实施例的控制系统的逻辑元件。
具体实施例方式现在将参照附图在下文中更加全面地描述本发明，在附图中示出了本发明的示例性实施例。然而，本发明可以以多种不同形式实施，并且不应解释为限于本文中阐述的实施例；相反地，为了彻底性和完整性而提供这些实施例。相同的参考标号在全文中指代相同的元件。以下参照用于改善对车辆驾驶员闭眼进行归类的方法来描述本发明。车辆优选配备有:用于获得车辆驾驶员信息的内部传感器，为了更好理解，现在参考图1，其示出了车辆(此处被示为汽车100)的驾驶室114。在该示出的实施例中，汽车100包括车辆驾驶员(未示出)和内部传感器(此处被示为摄像机系统102)。摄像机系统102被布置用于在车辆行驶期间确定车辆驾驶员的行为。此外，摄像机系统102可以被布置为关注驾驶员脸部、胳膊和身体的预定数量位置。这些位置可以例如为眼睛、眼皮、眉毛、鼻子、嘴、面颊等等。摄像机系统102可以针对正常驾驶汽车100的特定驾驶员202进行预校准，或者在每次驾驶员202进入汽车100驾驶座时进行校准。当摄像机系统102检测到了驾驶员脸部的不同位置时，可以估计脸部行为。摄像机系统102因此可以检测例如头部和眼睛的方向、头部姿态、眼睛扫视、头部-眼睛急动、闭眼、闭眼速度、胳膊动作、身体动作等。通过利用与驾驶员脸部204结合的坐标系202 (如图2中所示)，摄像机系统102还可以检测驾驶员头部是否正向右或向左转(偏转)205、向上或向下转(俯仰)206、或者朝右肩或左肩倾斜(晃动)207。脸部204的坐标系202优选是其原点定位于驾驶员眼睛之间的极坐标系。此外，汽车还包括内部光传感器104，在所述实施例中，该内部光传感器104在汽车100的前进方向上位于内后视镜106背后。当然，内部光传感器104的确切定位可以取决于车辆类型及其具体内部设计。即，在例如卡车中，可能不存在任何后视镜，因此内部光传感器必须位于另一合适位置。内部光传感器104被布置用于检测可能致使车辆驾驶员起反应的、到达驾驶室的迎面而来的光，例如明亮的阳光或夜里来自对向车流的前灯灯光。又进一步而言，车厢中具有车辆驾驶员正常情况下会注意到的一些位置。这些位置是例如外部后视镜108、信息娱乐系统110、速度仪表盘112，在驾驶员旁边的乘客、变速杆等。现在参照图3，示出用于提供根据本发明的方法的系统300的示例性实施例。系统300包括:接收来自摄像机系统102的信息的图像传感器302、内部光传感器304、眼皮闭合识别模块306、比较操作模块308以及困倦检测模块310。然而应注意的是，眼皮闭合模块306以及比较操作模块308可为同一个模块，并且仅为了说明目的而彼此分开。此外，图像传感器302接收车辆驾驶员的生理数据并且将该信息发送给眼皮闭合模块306以及比较操作模块308。比较操作模块还从图像传感器302接收关于例如驾驶员的眼睛、胳膊和身体动作的信息。此外，内部光传感器304接收关于驾驶室114内的光照条件(例如明亮的阳光、夜里来自对向车流前灯的灯光)的信息。内部光传感器304还将接收到的光照条件提供给比较操作模块308。进一步地，当比较操作模块308接收到了关于驾驶室114内的光照条件的信息、以及关于驾驶员的眼睛、胳膊和身体动作的生理数据时，比较操作模块308将该信息相对于预定规则集合进行比较，以评估驾驶员的当前状态。此后，困倦检测模块310从眼皮闭合模块306接收检测到的眼皮闭合，并且从比较操作模块308接收与检测到的眼皮闭合的实际原因有关的归类。根据示例，预定规则集合可以包括如上所述在驾驶室114内的多个位置，以使得系统可基于识别出的眼睛注视方向和/或脸部方向，确定车辆驾驶员当前正注意这些位置中的一个。例如，如果系统识别出驾驶员的眼皮闭合，且同时识别出驾驶员脸部朝着左侧后视镜108方向，则系统可以规定所识别出的眼皮闭合为错误归类，这是因为，更可能是驾驶员充分意识到形势并且最可能由于驾驶员头部的转动(而图像传感器无法正确跟随该转动)引起检测到眼皮闭合。此外，预定规则集合还可以包括物理上可能或不会发生的特定图案。例如，如果图像传感器检测到驾驶员眼睛正以看起来不合情理的方式不规律的上/下或左/右运动，则预定规则可以将检测出的眼睛行为归类为错误。根据另一示例，如果在图像传感器302检测到驾驶员的眼皮闭合的同时内部光传感器304检测到照向车辆驾驶员的亮光，则比较操作模块308可以规定该眼皮闭合为错误归类，这是因为，实际原因更可能是车辆驾驶员的眼睛眯着以躲避眩目光。应当注意到，因为图像传感器302可能例如由于变化的光照条件而失去其校准，所以来自图像传感器302的数据不仅可能在短时期(例如秒)受影响，还可能在更长时间(例如分钟)内受影响。即使已经参考本发明的特定示例性实施例描述了本发明，但是本领域技术技术人员也容易想到很多不同的替选、改进等。通过对附图、公开内容和所附权利要求的研究，技术人员在实施请求保护的本发明时能够理解及实现对所公开实施例的变型。例如，本发明参照一些实施例在上文进行了大体描述。然而，如技术人员容易意识到的那样，除以上公开的实施例以外的其它实施例在所附权利要求限定的本发明范围内是同等可能的。例如，除了以上描述的小汽车以外，本发明还可应用于卡车、公共汽车、翻斗车、轮式装载机、以及其它类型车辆。在权利要求中，词语“包括”不排除其它元件或步骤，并且不定冠词“一”不排除多个。单一计算机或其它单元可以完成在权利要求中记载的若干项目的功能。一些特定措施被记载在相互不同的从属权利要求中，仅仅这一情况并不表示这些措施的组合无法用于获得优势。
权利要求
1.一种用于改善来自图像传感器(302)的一部分生理数据的可靠性的方法，所述图像传感器(302)监视位于车辆(100)的驾驶室(114)中的驾驶员(202)，所述方法包括: -从所述图像传感器(302)接收生理数据，所述生理数据包括与所述驾驶员(202)的眼睛、脸部、头部、胳膊和身体动作中的至少一个有关的信息； -基于所述生理数据来识别所述驾驶员(202)的眼皮闭合、眼睛动作或头部动作中的至少一个的迹象； -将所述生理数据和所述驾驶室内的光照条件中的至少一个与关于当前驾驶员状态的预定规则集合进行比较；并且 -通过将所识别的眼皮闭合、眼睛动作和/或头部动作与所述比较的结果关联，对所述眼皮闭合、眼睛动作和/或头部动作的类型进行归类。
2.根据权利要求1所述的方法，其中，将所述生理数据与关于当前驾驶员状态的所述预定规则集合进行比较包括:识别由所述生理数据低于预定阈值而构成的置信指标，并且当置信水平低于所述预定阈值时规定对所述生理数据的归类错误。
3.根据权利要求1或2所述的方法，其中，将所述生理数据与关于当前驾驶员状态的所述预定规则集合进行比较包括:识别由所述生理数据高于预定阈值而构成的所述脸部的位置和/或方向的变化，并且如果所述脸部的位置和/或方向的变化高于所述预定阈值时规定对所述生理数据的归类错误。
4.根据权利要求1至3中的任一项所述的方法，其中，将所述生理数据与关于当前驾驶员状态的所述预定规则集合进行比较，包括:估计在由所述生理数据构成的眼皮动作、眼睛动作和/或头部动作与预定的眼皮动作、眼睛动作和/或头部动作模板之间的匹配度，并且当所述匹配度低于预定阈 值时规定对所述生理数据的归类错误。
5.根据前述权利要求中的任一项所述的方法，其中，将所述生理数据与关于当前驾驶员状态的所述预定规则集合进行比较，包括:识别表示所述驾驶员(202)的非困倦状态的眼睛、头部和身体动作中的至少一个，并且如果识别出非困倦状态，则规定对所述生理数据归类为非困倦。
6.根据前述权利要求中的任一项所述的方法，其中，将在所述驾驶室(114)内的所述光照条件与关于当前驾驶员状态的所述预定规则集合进行比较，包括:识别朝向所述驾驶员的光照度以及所述驾驶室(114)内变化的光照条件中的至少一个。
7.根据权利要求6所述的方法，其中，识别朝向所述驾驶员的光照度以及所述驾驶室内变化的光照条件中的至少一个，包括:分析图像数据的对比度、光照度和/或光照度频率中的至少一个，所述图像数据由以下构成: -来自所述图像传感器(302)的所述生理数据，或 -来自布置在所述车辆(100)的驾驶室(114)内的光传感器(304)的所述生理数据。
8.一种用于改善来自图像传感器(302)的一部分生理数据的可靠性的控制系统(300)，所述图像传感器(302)监视位于车辆(100)的驾驶室(114)中的驾驶员(202)，所述控制装置包括控制单元，所述控制单元用于: -从所述图像传感器(302)接收生理数据，所述生理数据包括与所述驾驶员(202)的眼睛、脸部、头部、胳膊和身体动作中的至少一个有关的信息； -基于所述生理数据来识别所述驾驶员(202)的眼皮闭合、眼睛动作或头部动作中的至少一个的迹象； -将所述生理数据和所述驾驶室(114)内的光照条件中的至少一个与关于当前驾驶员状态的预定规则集合进行比较；并且 -通过将所识别出的眼皮闭合、眼睛动作和/或头部动作与所述比较的结果关联，对所述眼皮闭合、眼睛动作和/或头部动作类型进行归类。
9.根据权利要求8所述的控制系统(300)，其中，所述控制单元还用于:当将所述生理数据与关于当前驾驶员状态的所述预定规则集合进行比较时，识别由所述生理数据低于预定阈值而构成的置信指标，并且如果置信水平低于所述预定阈值则规定对所述生理数据的归类错误。
10.根据权利要求8或9所述的控制系统(300)，其中，所述控制单元还用于:当将所述生理数据与关于当前驾驶员状态的所述预定规则集合进行比较时，识别由所述生理数据高于预定阈值而构成的所述脸部的位置和/或方向的变化，并且如果所述脸部的位置和/或方向的变化高于所述预定阈值则规定对所述生理数据的归类错误。
11.根据权利要求8至10中的任一项所述的控制系统(300)，其中，所述控制系统(300)是用于车辆 的驾驶员辅助系统。
全文摘要
本发明提供一种用于改善来自图像传感器(302)的一部分生理数据的可靠性的方法，所述图像传感器(302)监视位于车辆(100)的驾驶室(114)中的驾驶员(202)，所述方法包括从图像传感器(302)接收生理数据，该生理数据包括与所述驾驶员(202)的眼睛、脸部、头部、胳膊和身体动作中的至少一个有关的信息；基于所述生理数据来识别所述驾驶员(202)的眼皮闭合、眼睛动作或头部动作中的至少一个的迹象；将生理数据和在驾驶室内的光照条件中的至少一个与关于当前驾驶员状态的预定规则集合进行比较；并且通过将识别出的眼皮闭合、眼睛动作和/或头部动作与比较结果关联，对眼皮闭合、眼睛动作和/或头部动作类型进行归类。
文档编号G06K9/00GK103150545SQ201210299500
公开日2013年6月12日 申请日期2012年8月22日 优先权日2011年9月2日
发明者丹尼尔·莱温, 苏珊娜·莱安德松, 莱娜·韦斯特瓦尔, 彼得·克龙贝里 申请人:沃尔沃汽车公司, 沃尔沃技术公司