本发明涉及按独立权利要求的类型的装置或者方法。本发明的主题还有计算机程序。
背景技术：
在驾驶时出现的瞌睡和微睡经常导致危险的情况或者事故。
车辆的驾驶员的瞌睡能够间接地从其驾驶行为中推测。
在文献中对瞌睡与眨眼事件的特性之间的关联进行了探讨。
wo2014031042a1说明了用预定义的所建模的信号对眼睛张开信号进行拟合的情况，以用于识别眨眼事件并且从中推断出驾驶员的注意力。
技术实现要素：
面临这种背景，利用这里所介绍的方案来介绍按照独立权利要求的、一种用于在使用眼睛张开度的情况下对眨眼事件和仪表察看进行区分的方法、还有一种使用这种方法的装置以及最后还有一种相应的计算机程序。通过在从属权利要求中所列举的措施，能够实现在独立权利要求中所说明的装置的有利的拓展方案和改进方案。
为了在使用眨眼事件的情况下得到关于人的疲倦或者瞌睡的结论，仅仅需要对人的实际上的眨眼事件进行测评。但是，由人有意地执行的导致反射性的眼皮运动的眼睛运动、比如将视线下投到仪表板的仪表上具有眼皮运动的和眨眼事件相类似的开始特征。
因此，在这里所介绍的方案中，在事件的持续时间的基础上在所述眨眼事件与下投的目光之间进行区分，因为眨眼事件应该在短时间之后结束。
介绍一种在使用眼睛张开度的情况下对眨眼事件和仪表察看进行区分的方法，其中所述眼睛张开度代表着眼睛的眼皮之间的、当前所检测到的间距，其中所述方法具有以下步骤：
在使用至少一个眨眼极限值的情况下检测眨眼事件，其中，如果对所述眨眼张开度的数值进行反映的张开度数值小于所述眨眼极限值，则检测到所述眨眼事件；并且
在使用最大眨眼持续时间的情况下确定仪表察看，其中，如果持续地发现所识别的眨眼事件长于所述最大眨眼持续时间，则确定所述仪表察看，尤其其中，如果紧接在所述仪表察看的确定之后所述张开度数值大于张开极限值，则重新执行所述方法的步骤。
“眨眼事件”能够是指以张开的眼睛为出发点经过眼睛的很大程度的闭合直至眼睛的重新张开的眨眼。“仪表察看”能够是指下投到车辆的速度显示器和/或其它显示器上的目光。尤其“仪表察看”能够是指投向能够自由编程的组合仪表的目光。“眼睛张开度”也能够是指眼睛闭合度。比最大眨眼持续时间短的下投的目光被评估为眨眼事件。
在检测的步骤中，如果所述张开度数值小于中度眨眼极限值，则能够检测到中度眨眼事件。此外，如果所述张开度数值小于深度眨眼极限值，则能够检测到深度眨眼事件。如果紧接在对于所述中度眨眼事件的检测之后的张开度数值小于所述深度眨眼极限值，则同样能够检测到深度眨眼事件。作为中度眨眼事件，在此是指具有中度的眼睛张开度的眨眼事件，而深度眨眼事件则是指具有低的眼睛张开度、也就是具有比所述中度的眼睛张开度小的眼睛张开度或者具有闭合的眼睛的眨眼事件。通过中度眨眼事件与深度眨眼事件之间的区分，能够改进对于人的当前的瞌睡的分析。
如果检测到所述中度眨眼事件长于所述最大眨眼持续时间，则能够确定所述仪表察看。作为替代方案或者补充方案，如果检测到所述深度眨眼事件长于所述最大眨眼持续时间，则不能确定仪表察看。通过中度眨眼事件与深度眨眼事件之间的分开，能够简化对于所述仪表察看的区分。
所述方法能够具有保存的步骤，其中如果紧接在对于所述眨眼事件的检测之后所述张开度数值大于所述眨眼极限值，则作为眨眼事件走势来保存张开度数值的时间上的走势。紧接在所述保存的步骤之后，能够重新执行所述方法的步骤。在所述保存的步骤中，能够保存在特定的时间间隔之内的张开度数值。所述保存能够以可追溯的方式来进行。有待保存的时间间隔的开始时刻能够处于所述眨眼事件的开始之前。通过对于所述眨眼事件走势的保存，能够进一步对所述眨眼事件进行测评。
所述方法能够具有内插的步骤，其中将所述眨眼事件走势的张开度数值连接成一条曲线。通过曲线能够不中断地对所述眨眼事件进行测评。
能够在使用预先确定的曲线形状的情况下来对所述曲线进行改进或者近似计算。对于所述曲线的计算能够通过所期望的曲线形状来得到简化。所述曲线形状比如能够反映标准化的眨眼事件，所述标准化的眨眼事件能够在使用一个或者多个眨眼参数的情况下与实际上的眨眼事件相匹配。
在所述内插的步骤中，能够确定所述张开度数值中的至少一个张开度数值与所述曲线的至少一个偏差值。偏差值能够代表与张开度数值相对应的曲线点的数值与所述张开度数值之间的差。所述曲线能够逐步得到优化。在此，能够以在至少大多数的所保存的张开度数值范围内求平均的方式将误差降低到最低限度。
所述方法能够具有核实的步骤，其中如果所述至少一个偏差值或者从中推导的数值、像比如平均值大于偏差极限值，则抛弃所述眨眼事件走势。通过剔除不寻常的眨眼事件这种方式，能够以良好的可能性来确定人的瞌睡。
所述方法能够具有改变的步骤，其中在使用用于所述眼睛张开度的基准水平的情况下对所述眨眼极限值进行调整或者作为替代方案或者补充方案对所述张开极限值进行调整。在此，如果不存在眨眼事件并且作为替代方案或者补充方案不存在仪表察看，所述基准水平就代表着所述眼睛张开度。同样，能够在使用所述基准水平的情况下对中度眨眼极限值和/或深度眨眼极限值进行调整。由此，这里所介绍的方法能够在不取决于下述因素的情况下发挥功能，所述因素对眨眼事件和/或仪表察看之外的眼睛张开度产生影响。
这种方法比如能够以软件或者硬件的形式或者以由软件和硬件构成的混合形式比如在控制器中得到实现。
此外，这里所介绍的方案提供一种装置，该装置构造用于在相应的机构中实施、操控或者实现这里所介绍的方法的变型方案的步骤。通过本发明的这种以装置的形式实现的实施变型方案，也能够快速而有效地解决本发明的任务。
“装置”在此能够是指电设备，该电设备对传感器信号进行处理并且据此输出控制信号和/或数据信号。所述装置能够具有接口，所述接口能够以硬件方式并且/或者以软件方式来构成。在以硬件方式来构成时，所述接口比如能够是所谓的系统asic的一部分，其包括所述装置的极为不同的功能。但是，也可能的是，所述接口是自身的集成电路或者至少部分地由离散的结构元件所构成。在以软件方式来构成时，所述接口能够是软件模块，所述软件模块除了其它的软件模块之外比如也存在于微型控制器上。
也有利的是一种具有程序代码的计算机程序产品或者计算机程序，所述程序代码能够保存在机器可读的载体或者存储介质、像比如半导体存储器、硬盘存储器或者光学存储器上，并且尤其在所述程序产品或者程序在计算机或者装置上被执行时用于实施、实现并且/或者操控按前面所描述的实施方式之一所述的方法的步骤。
附图说明
本发明的实施例在附图中示出并且在以下说明中进行详细解释。附图中：
图1示出了按照一种实施例的、用于对眨眼事件和仪表察看进行区分的装置的方框图；
图2示出了按照一种实施例的、用于对车辆的驾驶员的瞌睡进行监控的总系统的架构的图示；
图3示出了按照一种实施例的、用于对眨眼事件进行识别的状态图表；
图4示出了按照一种实施例的、眨眼事件的眼睛张开曲线的图示；并且
图5示出了按照一种实施例的、用于对眨眼事件和仪表察看进行区分的方法的流程图。
在以下对本发明的有利的实施例所作的描述中，为在不同的附图中所示出的并且类似地起作用的元件使用相同的或者类似的附图标记，其中放弃对于这些元件的重复的描述。
具体实施方式
图1示出了按照本发明的一种实施例的、用于对眨眼事件102和仪表察看104进行区分的装置100的方框图。在此，在使用眼睛张开度106的情况下对所述眨眼事件102和仪表察看104进行区分。在这里，通过探测系统108在车辆的驾驶员的一只眼或者两只眼110上探测所述眼睛张开度106，并且以张开度数值112来反映所述眼睛张开度。所述眼睛张开度106代表着所述眼睛110的眼皮之间的当前的间距。所述张开度数值112由所述装置100在该装置100的输入端处来读入。在所述装置100中，在检测机构114中使用所述张开度数值112，用于在使用至少一个眨眼极限值116的情况下来检测眨眼事件102。在此，如果所述张开度数值112小于所述眨眼极限值116，则检测到眨眼事件。
在确定机构118中，在使用最大眨眼持续时间120的情况下确定仪表察看104。在此，如果发现所识别的眨眼事件102长于所述最大眨眼持续时间120，则确定所述仪表察看104。如果紧接在对于所述仪表察看104的确定之后所述张开度数值112大于张开极限值122，则在所述检测机构114中确定下一次眨眼事件。
在一种实施例中，所述装置100具有改变机构124。在所述改变机构124中在使用用于眼睛张开度106的基准水平126的情况下对所述眨眼极限值116进行调整并且作为替代方案或者作为补充方案对所述张开极限值122进行调整。如果不存在眨眼事件102并且作为替代方案或者补充方案不存在仪表察看104，所述基准水平126代表着所述眼睛张开度104。所述基准水平126由用于提供所述基准水平126的装置128在使用所述张开度数值112的情况下来提供。
在视频摄像头108的数据的基础上能够识别所述眼睛110的瞬时的张开程度106。为此要使用相应的图像处理算法。在此，能够分别为两只眼睛110探测眼睛张开水平126。
从两只眼睛110的眼睛张开程度106中能够计算一个共同的眼睛张开水平126。在使用savitzky-golay滤波器的情况下能够计算所述瞬时的眼睛张开水平126。
通过这里所介绍的方案，能够借助于比如摄像头108的眼皮闭合数据112以分类的方式或者精确地对驾驶员的瞌睡或者瞌睡状态进行评估。由此示范性地提出，将“经过滤波的”曲线用于提高识别质量并且区分前面所探测的眨眼。
图2示出了按照一种实施例的、用于对车辆的驾驶员的瞌睡进行监控的总系统200的架构的图示。这里所介绍的、对眨眼事件和仪表察看进行区分的区分机构202是所述总系统200的组成部分。
所述总系统200具有三个主要组成部分204、206、208。所述第一主要组成部分204被称为瞌睡分类机构。所述第二主要组成部分206被称为微睡识别机构。所述第三主要组成部分208包括由所述瞌睡分类机构204和微睡识别机构206共同使用的模块210。
这里所介绍的区分机构202是所述瞌睡分类机构204的组成部分并且能够被称为眨眼事件探测机构202。
所述模块210能够被称为眼睛闭合预处理机构210。所述眼睛闭合预处理机构210包括对于左右眼睛闭合的探测、对于眼睛闭合的滤波、对于眼睛闭合的速度探测、对于眼睛闭合的处理（acc）、对于所述基准水平的提供以及验证。
所述眼睛闭合预处理机构210输出瞬时的眼睛闭合、眼睛闭合速度和所述基准水平。
在所述瞌睡分类机构204中，将这些数值用在所述眨眼事件探测机构202中并且将眨眼事件传送给眨眼特征计算机构212。
所述眨眼特征计算机构212将眨眼特征输出给个人的眨眼特征识别机构214和用于进行瞌睡分类的模块216。所述模块从所述眨眼特征识别机构214处读入个人的眨眼特性并且输出瞌睡水平。
在所述微睡识别机构206中，将所述数值用在个人的眼睛闭合识别机构218、眼睛闭合识别机构220和用于进行微睡识别的模块222中。
所述个人的眼睛闭合识别机构218输出个人的睁眼水平和个人的闭眼水平。这两种水平由所述眼睛闭合识别机构220用于提供所述模块222的二元的眼睛张开数值。所述模块222输出微睡事件。
这里所介绍的方案代表着在前面经过预滤波的眼睛张开数据的基础上对眨眼特征的识别质量进行的改进。这里所介绍的、所谓的眨眼事件探测（blinkeventdetection，bed）202列入用于对瞌睡和/或微睡进行识别的总系统200中。所述总系统200包括眼睛闭合预处理机构（eyeclosurepreprocessing）204。能够在使用算法的情况下来计算瞬时的眼睛张开水平（eon）。所述总系统200能够包括微睡探测机构206。
图3示出了按照一种实施例的、用于对眨眼事件进行识别的状态图表。在所述状态图表中示出了取决于眼睛张开度的不同的识别状态。以张开状态300为出发点，将瞬时的眼睛张开度与中度眨眼极限值和深度眨眼极限值进行比较。如果所述眼睛张开度小于所述中度眨眼极限值，则识别出中度眨眼状态302。如果所述眼睛张开度小于所述深度眨眼极限值，则识别出深度眨眼状态304。
如果识别出所述中度眨眼状态302并且所述眼睛张开度变得小于所述深度眨眼极限值，则识别出所述深度眨眼状态304。
如果发现所述中度眨眼状态302长于最大眨眼持续时间，则识别出仪表察看状态306。
如果在所述仪表察看状态306之后所述眼睛张开度变得大于张开极限值，则又识别出张开状态300。
如果识别出所述中度眨眼状态302并且所述眼睛张开度变得大于所述张开极限值，则识别出眨眼结束308并且将在所述眨眼事件的期间眼睛张开度的走势保存下来。
同样，如果识别出深度眨眼状态304并且所述眼睛张开度变得大于所述中度眨眼极限值，则识别出所述眨眼结束308。而后同样将在所述眨眼事件的期间眼睛张开度的走势保存下来。
在所述眨眼结束308之后，所述眼睛又具有所述张开状态300。
介绍一种用于稳健地探测眨眼事件并且用于提高传感器信号的质量的系统。
这里所介绍的、用于识别眨眼事件并且用于改进输入参量的质量的算法的一种实施例具有探测的步骤、拟合的步骤和计算的步骤。借助于图3和4对这种实施例进行描述。
在所述探测的步骤中，借助于眼睛张开的预先确定的极限值来探测潜在的眨眼事件。
在此将眨眼事件与仪表察看区分开来。仪表察看与驾驶员的瞌睡没有关系。因此，在进一步的进程中能够将其抛弃。借助于状态机和三个不同的极限值来识别潜在的眨眼事件。在此使用上极限值、中极限值和下极限值。所有三个所使用的极限值（高、中和低）能够被定义为眼睛张开水平（eon）的按百分比计算的量。比如，所述上极限值（高）能够始终为所述眼睛张开水平的100%。所述中极限值（中）能够始终为所述眼睛张开水平的70%。所述下极限值（低）能够始终为所述眼睛张开水平的20%。因此，根据驾驶员的瞬时的眼睛张开，由此使所述绝对的数值适应性地与现实情况相匹配。
在图3中示出了所提出的、用于对具有大幅度和小幅度的眨眼事件以及仪表察看进行识别的状态图表，其中在这里将所述显示仪表、像比如能够自由编程的组合仪表（fpk）称为车速表。按眼睛张开信号（ec）具有何种当前的数值，区分不同的状态300、302、304、306、308。
为了区分具有小幅度的眨眼事件和仪表察看，采用用于状态“中度眨眼”或者中度的眨眼事件的最大持续时间（max_dur）。能够将所述最大持续时间比如调节到0.5s。
一旦达到状态308“保存”，则保存所述眨眼事件的原始数据，以进行进一步处理。为此，将在足够大的窗口（比如围绕着具有最低的眼睛张开程度的点的±2s）中的眼睛张开数据剪出并且加以保存。随后，所述状态机立即返回到状态300“张开”。
图4示出了按照一种实施例的、眨眼事件的眼睛张开曲线400的图示。所述眼睛张开曲线400在图表中示出，该图表已经在其横坐标上提供时间并且在其纵坐标上提供眼皮张开。所述眼睛张开曲线400代表着眼睛张开度或者眼皮张开的各个数值的走势的内插。如在图3中所示出的那样，所述走势在对眨眼事件的结束的识别作出响应的情况下已经以可追溯的方式加以保存。
所述眨眼事件具有闭合阶段402、结束阶段404和张开阶段406。所述结束阶段404也能够被称为平稳水平阶段404。所述闭合阶段402从眨眼开始408一直延伸到平稳水平开始410。所述结束阶段404从所述平稳水平开始410一直延伸到平稳水平结束412。所述张开阶段406从所述平稳水平结束412一直延伸到眨眼结束414。在所述结束阶段404之内，所述眼睛张开曲线400在眨眼事件的期间具有其局部的最小值或者其最大的负的幅度416。
在所述眨眼开始408之前并且在所述眨眼结束414之后，所述眼睛张开曲线400作为最大的数值达到所述眼睛张开度的瞬时的基准水平126，所述瞬时的基准水平比如取决于瞬时的光线情况。
如果所使用的传感器还具有不足的精度或者帧速率，那就能够如在图3中所描述的那样在另一个步骤中对所识别的潜在的眨眼事件进行细化。为此，对所有在第一步骤中所探测的窗口来说用预定义的曲线418来实施拟合（fitting）。这条曲线418模仿了眨眼事件的理想的走势。
在所述拟合的步骤中，用预定义的曲线418对该眨眼事件进行拟合，用于对所使用的图像传感器的低的图像刷新频率进行补偿，这比如像在提高所述传感器的帧速率时一样起作用。
在图4中示出了眨眼事件的理想的走势400。所述曲线418在这里比如在所述眨眼开始408之前具有水平的直线的形状。在所述闭合阶段402中，所述曲线418具有比如五阶的下降的曲线的形状。在所述平稳水平阶段404中，所述曲线418具有水平的直线的形状。在所述张开阶段406中，所述曲线418具有比如五阶的上升的曲线的形状。在所述眨眼结束414之后，所述曲线418比如具有水平的直线的形状。
在此，在边界条件下使所述曲线418与各个数值的走势相匹配，使得所产生的总曲线400以及其第一导数在整个所观察的窗口中具有连续的走势。
所述曲线400的始点和终点在这里从在先前的步骤中所探测的窗口的界限中产生。其它的时刻408、410、412、414则在所述拟合的优化阶段中产生。对于各个时间上的区域来说，因而产生所述曲线部分402、404、406的不同的系数。这些系数能够一方面以分析的方式继续得到处理，但是也能够计算所述曲线418的任意的精确的内插。这里所示出的方法因此通过所述内插能够提高所述传感器信号的采样速率。
在一种实施例中如此对所述拟合进行优化，使得误差函数变得最小。在这里，比如测量值与经过拟合的曲线418的二次幂的偏差的总和是合适的，所述总和应该最小。
在计算的步骤中，计算用于所述拟合的质量的品质尺度。
在先前的步骤中所计算的误差函数能够在另一个可选的步骤中用于：将具有不可信的走势400的、也就是与理想的走势不相符的眨眼事件从进一步的处理中排除出去。为此，能够将所述误差函数的结果与以前所定义的极限值进行比较。如果对于特殊的眨眼事件来说超过这个极限值，则在进一步的计算中不继续将其用于对瞌睡进行分类。
图5示出了按照一种实施例的、用于对眨眼事件和仪表察看进行区分的方法500的流程图。所述方法比如能够在如在图1中所示出的那样的装置上来执行。所述方法500具有检测的步骤502和确定的步骤504。
在所述检测的步骤502中，在使用至少一个眨眼极限值的情况下检测眨眼事件。在此，如果对眼睛张开度的数值进行反映的张开度数值小于眨眼极限值，则检测到眨眼事件。所述眼睛张开度代表着眼睛的眼皮之间的、当前所探测到的间距。
在所述确定的步骤504中，在使用最大眨眼持续时间的情况下确定仪表察看。在此，如果持续地发现所识别的眨眼事件长于所述最大眨眼持续时间，则确定所述仪表察看。
在一种实施例中，如果紧接在所述仪表察看的确定504之后所述张开度数值大于张开极限值，则重新执行所述方法的步骤502、504。
如果一种实施例在第一特征与第二特征之间包括“与/或”联结，则应该如此对此进行解读：所述实施例按照一种实施方式不仅具有所述第一特征而且具有所述第二特征，并且按照另一种实施方式要么仅仅具有所述第一特征要么仅仅具有所述第二特征。