监测车辆驾驶员视线的光学系统和方法与流程

1.本公开涉及监测车辆驾驶员视线(eye gaze)的光学系统和方法。具体地，可以通过拍摄眼睛的图像并在图像中识别驾驶员瞳孔来监测驾驶员视线。与驾驶员视线有关的信息可以由驾驶员监测系统或驾驶辅助系统使用，特别是可以由(半)自主驾驶车辆的驾驶员监测系统或驾驶辅助系统使用。因此，本公开还涉及驾驶辅助系统领域。


背景技术：

2.诸如数字成像设备(具体是数字摄像头)之类的光学系统在汽车应用中被用于监测车辆驾驶员。通过监测驾驶员，可以获得例如与驾驶员对某些交通情况的注意或意识或驾驶员状况有关的信息。例如，目标可以是识别疲劳状况，疲劳状况会导致对交通情况做出反应的能力下降。
3.具体地，可以通过在行驶期间拍摄的图像中识别驾驶员瞳孔来监测车辆驾驶员视线。基于所识别的瞳孔，驾驶员监测系统或支持驾驶员的驾驶辅助系统可以推断和使用如驾驶员所看的方向或疲劳增加的指示的信息。例如，可以向驾驶员指出他未意识到的区域中的潜在危险发展，或者可以在注意到疲劳状况时建议驾驶员休息一下。
4.使用光学系统，驾驶员面部可以被照明源照亮，并且反射光可以通过透镜被聚焦到图像传感器。为了能够辨别图像中的驾驶员瞳孔，光学系统可以被构造为亮瞳孔系统，其中照明源靠近透镜布置，使得发射光在与透镜的光轴成小角度的情况下到达驾驶员眼睛。在这种结构中，由视网膜反射的大量光被引导向透镜，并且瞳孔可以作为亮点(bright spot)而与虹膜区分开，这与利用闪光灯拍摄图片时发生的红眼效应相似。另选地，在暗瞳孔系统中，照明源可以被布置成相对远离透镜，使得从视网膜反射的光不会到达透镜，并且瞳孔显示为暗点(dark spot)。
5.然而，驾驶员瞳孔的辨别力还取决于外部因素，如驾驶员体型、个体眼睛差异或环境光。为考虑这些，在暗瞳孔系统或亮瞳孔系统中需要巨大的安全裕度，以防止将瞳孔捕获为难以区分的浅灰点。然而，特别是在汽车应用所需要的小型封装的摄像头中，设计选项受到有限的构造空间以及照明源与透镜之间可达到的最小距离的强烈限制，从而使可靠的瞳孔辨别恶化。在最坏的情况下，可能会导致无法预防的事故，如果正确提供驾驶员视线数据，则可以预防该事故。
6.因此，需要改进的光学系统和方法来可靠地监测车辆驾驶员视线。


技术实现要素：

7.本公开提供了光学系统、计算机实现方法、计算机系统和非暂时性计算机可读介质。
8.在一个方面，本公开涉及一种监测车辆驾驶员视线的光学系统，该光学系统至少包括：第一照明源和第二照明源，该第一照明源和该第二照明源用于朝向驾驶员眼睛发射光；透镜；以及图像传感器，该图像传感器用于检测图像，其中，透镜被配置为将由驾驶员眼
睛反射的光引导至图像传感器，并且其中，第二照明源与透镜的光轴之间的距离大于第一照明源与光轴之间的距离。
9.因此，在第一照明源和第二照明源位于距光轴或透镜的中心不同距离的意义上，光学系统被非对称地设计。第一照明源可以被配置为在与透镜的光轴成小角度的情况下朝向驾驶员眼睛发射光的同轴照明源，而第二照明源可以被配置为在与光轴成相对大的角度的情况下朝向驾驶员眼睛发射光的离轴照明源。因此，光学系统可以通过激活第一照明源而作为亮瞳孔系统工作，也可以通过激活第二照明源而作为暗瞳孔系统工作，从而能够在亮瞳孔模式与暗瞳孔模式之间灵活切换，以考虑变化的环境状况，并为具有不同生理状况的驾驶员可靠地提供视线数据。
10.为了监测驾驶员视线，可以通过光学系统在预定义的持续时间的连续时间帧内拍摄驾驶员眼睛的图像，在该图像中，可以通过图像评估系统或算法来识别瞳孔。时间帧的持续时间可以非常短(例如16.67ms(十六点六七毫秒))，使得光学系统可以被理解成实质上是在拍摄驾驶员，具体地是拍摄驾驶员面部和驾驶员眼睛，以监测驾驶员视线。
11.例如，如果驾驶员眼睛与光学系统之间的距离相当大使得从第一照明源到驾驶员眼睛的连接线与光轴之间的角度足够小，则该系统可以作为亮瞳孔系统工作，以将瞳孔区分为亮点结果。驾驶员眼睛与光学系统之间的距离可以例如取决于驾驶员体型以及优选驾驶位置或座椅调整。此外，在暗环境光的状况下，亮瞳孔模式可能是有利的。另一方面，如果发现驾驶员眼睛与光学系统之间的距离较小，则导致从第二照明源到驾驶员眼睛的连接线与光轴之间的大角度，并且通过仅激活第二照明源，光学系统可以有利地作为暗瞳孔系统工作。此外，通过同时激活两个照明源，光学系统可以作为混合系统工作。
12.因此，由于照明源的不对称结构，所以光学系统不局限于单一暗瞳孔系统或单一亮瞳孔系统，而是可以根据实际状况灵活地将工作模式切换为优选工作模式。混合工作模式可以为系统增加另外的灵活性，并且可以被用于在亮瞳孔模式和暗瞳孔模式都不能单独提供可靠数据的情况下组合来自暗瞳孔模式和亮瞳孔模式的信息。在这些情况下，混合工作模式可以允许仍然获得可以区分瞳孔的图像。此外，已发现对于大多数情况，可以通过使光学系统工作在暗瞳孔模式或混合工作模式下来实现可靠的瞳孔辨别。因此，可以选择根据实际情况使光学系统在这两种工作模式中的一种工作模式下工作。
13.此外，利用光学系统的非对称设计，可以大大降低亮瞳孔模式和暗瞳孔模式的安全裕度。在亮瞳孔模式或混合工作模式下拍摄的图像中的瞳孔显示为无法区分的灰点的情况下，从第一照明源发射到驾驶员眼睛的光与透镜的光轴之间的角度在提供瞳孔的亮点描绘与瞳孔的暗点描绘之间的边界上。因此，从第二照明源发射到驾驶员眼睛的光与透镜的光轴之间的角度(在结构上，该角度比从第一照明源发射的光的角度大)将在边界上方，以提供瞳孔的暗点描绘。通过使光学系统在暗瞳孔模式下工作，在这种情况下可以实现清晰的瞳孔辨别。反之亦然，如果从第二照明源发射到驾驶员眼睛的光与透镜的光轴之间的角度在产生瞳孔的亮点描绘与暗点描绘之间的边界上，则亮瞳孔和/或混合瞳孔模式提供瞳孔的清晰描绘。
14.因此，在亮瞳孔模式和暗瞳孔模式下出现浅灰色瞳孔描绘是可以接受的，因为光学系统总是提供可以提供清晰的瞳孔辨别的另一工作模式。通过减少必要的安全裕度，光学系统可以特别适合于并被配置为用于汽车应用的小型封装的摄像头系统。具体地，由于
透镜与第二照明源之间的距离不必足够大以保证在每个图像或情况下瞳孔都可以被辨别为暗点，因此光学系统可以设计得足够小，同时确保可靠的驾驶员视线监测。
15.除了混合工作模式、单一暗瞳孔模式和单一亮瞳孔模式之外，光学系统还可以提供反射减少模式，在该反射减少模式下，第一照明源和第二照明源在连续时间帧内交替地被激活。这种反射减少模式能够主动减少到达驾驶员眼睛之前反射的光的影响，从而使图像中的瞳孔识别恶化，特别是在驾驶员佩戴眼镜的情况下。通过在激活第一照明源和激活第二照明源的情况下交替地拍摄图像，即使在这种复杂情况下，也可以减少眼镜上的反射，并且光学系统可以提供具有瞳孔的可区分描绘的图像。
16.因此，光学系统原则上可以在混合工作模式下工作，在该混合工作模式下，在拍摄驾驶员眼睛的图像的时间帧内同时激活两个照明源。此外，光学系统可以在单一工作模式下工作，在该单一工作模式下，在一时间帧内，激活第一照明源或第二照明源，而停用相应其它照明源。单一工作模式可以具体地包括亮瞳孔模式(其中激活第一照明源)和暗瞳孔模式(其中激活第二照明源)。另外地，单一工作模式可以包括反射减少模式，在该反射减少模式下，在连续时间帧内交替地激活第一照明源和第二照明源。在某种意义上，反射减少模式可以理解为暗瞳孔模式和亮瞳孔模式的组合，其中在连续时间帧内交替地使用所述模式。
17.光学系统可以包括控制器，该控制器被配置为针对即将到来的时间帧确定混合工作模式和单一工作模式的优选工作模式，并且在即将到来的时间帧内使光学系统在优选工作模式下工作。具体地，优选工作模式可以是混合工作模式、亮瞳孔模式、暗瞳孔模式和反射减少模式中的一者，而也有可能仅将亮瞳孔模式实现为反射减少模式的一部分。控制器可以被配置为执行本文描述的监测驾驶员视线的方法。具体地，控制器可以包括cpu、微处理器或类似处理单元。
18.在另一方面，照明源可以发射红外区域中的光。具体地，照明源可以是垂直腔表面发射激光器(vcsel)、发光二极管(led)或其它红外光发射源。
19.在另一方面，第一照明源、第二照明源、透镜和图像传感器被布置在共同壳体(common housing)中。因此，光学系统可以形成紧凑对象，并且具体地被配置为用于汽车应用的小型封装的驾驶员监测摄像头。通过将光学系统的部件布置在共同壳体中，可以将光学系统容易地安装在车辆中，而不必将照明源安装在车辆的不同位置。
20.透镜可以布置在第一照明源与第二照明源之间。此外，第一照明源、透镜和第二照明源可以对齐布置。具体地，第一照明源、第二照明源和透镜可以沿着垂直于透镜的光轴的线对齐，从而提供清晰的几何形状。
21.根据另一方面，第二照明源与透镜的中心之间的距离大于第一照明源与透镜的中心之间的距离的三倍，具体地，其中，第一照明源与透镜的中心之间的距离小于等于12mm，并且第二照明源与透镜的中心之间的距离大于等于40mm。
22.通过将第二照明源与透镜的中心之间的距离保持为第一照明源与透镜的中心之间的距离的至少三倍，从第二照明源朝向驾驶员眼睛发射的光与透镜的光轴之间的角度和从第一照明源朝向驾驶员眼睛发射的光与光轴之间的角度的差也可以被确保是相对大的。这可以在所提供的工作模式中的至少一种工作模式下确保可靠的瞳孔辨别。
23.此外，已发现通过将第二照明源布置在距透镜的中心40mm的最小距离处，可以确保从第二照明源发射到驾驶员眼睛的光与光轴之间的角度足够大，以使得能够在暗瞳孔模
式下针对驾驶员眼睛与光学系统之间的典型距离的很大范围辨别瞳孔。随着第二照明源与透镜之间的距离增大，在驾驶员眼睛与光学系统之间的较大距离处也可以实现足够大的角度，从而增加了暗瞳孔模式可靠工作的典型眼睛距离的范围。
24.类似地，已发现在亮瞳孔模式(其中只激活第一照明源)下或在混合工作模式下，特别是对于驾驶员眼睛与光学系统之间的较大距离，第一照明源与透镜的中心之间的最大距离为12mm能够可靠地实现瞳孔辨别。
25.此外，已发现，通过以第二照明源与透镜的中心之间的最小距离40mm以及第一照明源与透镜的中心之间的最大距离12mm来构造光学系统，可以通过使用混合工作模式或暗瞳孔模式来实现可靠的瞳孔辨别。
26.在另一方面，第一照明源与第二照明源之间的距离为至少50mm。已发现这是照明源之间的使得能够在反射减少模式(在反射减少模式下，在连续时间帧内交替地激活照明源)下主动减少反射的最小距离。因此，光学系统可以被配置为小型封装的驾驶员监测系统，该驾驶员监测系统在光学系统的部件对齐的方向上以稍稍延伸(extension)超过50mm来可靠地提供瞳孔辨别。
27.根据另一方面，驾驶员眼睛距离是驾驶员眼睛与透镜的中心之间沿着透镜的光轴的距离，第一照明源、第二照明源和透镜按照使得针对预期的驾驶员眼睛距离的范围满足以下条件中的至少一者的方式布置：
28.从第一照明源到驾驶员眼睛的预期位置的连接线与光轴之间的第一角度小于等于预定义的亮瞳孔角，具体地，其中，亮瞳孔角等于1
°
，和/或
29.从第二照明源到驾驶员眼睛的预期位置的连接线与光轴之间的第二角度大于预定义的暗瞳孔角，具体地，其中，暗瞳孔角等于5
°
，和/或
30.第二角度与第一角度之间的差角大于预定义的灰瞳孔移位角。
31.例如，驾驶员眼睛距离的典型范围可以是400mm至900mm，而实际驾驶员眼睛距离例如取决于驾驶员体型。如果满足第一条件并且第一角度小于亮瞳孔角度，则可以在仅激活第一照明源的亮瞳孔模式下可靠地识别驾驶员瞳孔。具体地，已发现针对小于1
°
的第一角度，亮瞳孔模式可靠地工作。因此，对于大的驾驶员眼睛距离，亮瞳孔模式可以是优选工作模式。
32.在满足第二条件的情况下，可以在仅激活第二照明源的暗瞳孔模式下可靠地识别驾驶员瞳孔。针对小的驾驶员眼睛距离，该工作模式可以尤其是优选工作模式。
33.在既不能满足第一条件又不能满足第二条件的范围内，在亮瞳孔模式或暗瞳孔模式中的至少一种模式下，有可能出现灰瞳孔。例如，在亮瞳孔模式下，如果检测到灰色且无法区分的瞳孔，则第一角度位于允许瞳孔被识别为亮点与允许瞳孔被识别为暗点之间的边界(border)上。然而，由于第二角度是第一角度和差角的总和，因此，只要差角足够大(具体地，大于预定义的灰瞳孔移位角)，第二角度将始终足够大以获得作为暗点的瞳孔的清晰可区分的描述。因此，通过在这种情况下切换到暗瞳孔模式，可以获得清晰可区分的瞳孔。
34.反之亦然，如果光学系统在暗瞳孔模式下工作并且出现了灰瞳孔，则第二角度位于获得暗瞳孔与获得亮瞳孔之间的边界上。在这种情况下，如果差角足够大，则作为第二角度与差角之间的差的第一角度将始终足够小，以可靠地提供作为可区分亮点的瞳孔的描绘。因此，如果满足第三条件并且出现灰瞳孔，则切换工作模式始终且可靠地导致预定义的
瞳孔响应。此外，已发现针对驾驶员眼睛距离的大多数预期范围，暗瞳孔模式和混合工作模式是足够的，使得可以实现在那些工作模式之间进行切换。另外，亮瞳孔模式仍可以作为照明源交替地激活的反射减少模式的一部分使用，如果驾驶员佩戴眼镜，则这可能是优选模式。
35.灰瞳孔移位角可以取决于光学系统(例如，所使用的照明源)的不同性质。通常，1
°
、1.5
°
、2
°
、2.5
°
或3
°
的灰瞳孔移位角最小值可能是足够的。
36.在另一方面，本公开涉及一种计算机实现方法，所述计算机实现方法利用光学系统具体是根据本文公开的方面中的一个方面所述的光学系统来监测车辆驾驶员视线，该光学系统至少包括：朝向驾驶员眼睛发射光的第一照明源和第二照明源，以及将由驾驶员眼睛反射的光引导至图像传感器的透镜，其中，第二照明源与透镜的光轴之间的距离大于第一照明源与光轴之间的距离，并且其中，在连续时间帧内，每时间帧检测到驾驶员眼睛的至少一个图像，其中，所述方法至少包括以下步骤：
37.确定光学系统针对即将到来的时间帧的优选工作模式，所述优选工作模式是至少混合工作模式和单一工作模式中的一者，并且
38.在即将到来的时间帧内，使光学系统根据优选工作模式来工作。
39.例如，所述方法可以由如cpu或微处理器的计算机硬件部件执行。
40.单一工作模式可以包括第二照明源被激活的暗瞳孔模式、第一照明源被激活的亮瞳孔模式，和/或在后续时间帧内第一照明源和第二照明源被交替地激活的反射减少模式。
41.如已提到的，照明源的不对称结构提供了多种不同工作模式，多种不同工作模式中的各种工作模式可以允许在特定条件下获得具有清晰瞳孔辨别的图像。通过确定这些工作模式中的优选工作模式，特别是在给定实际情况下，并使光学系统在该优选工作模式下工作，可以灵活地调整光学系统以确保即使在变化的环境状况下也可以拍摄具有适当瞳孔辨别力的图像。例如，如果驾驶员通过隧道并且环境光突然减少，则光学系统可以从例如暗瞳孔系统切换到亮瞳孔系统，使得亮瞳孔模式是优选工作模式。此外，在识别出驾驶员佩戴眼镜的情况下，如果光学系统没有在反射减少模式下工作，则可以将反射减少模式确定为优选工作模式，并且可以将光学系统切换到反射减少模式。
42.可以在即将到来的时间帧的开始时确定优选工作模式。另选地，可以在先前时间帧的结束时确定优选工作模式，使得可以以已经确定的优选工作模式来开始先前时间帧之后的即将到来的时间帧。通常，可以在第一步骤中确定优选工作模式，并且可以使光学系统在后续步骤中以优选工作模式来工作。此外，可以针对各个即将到来的时间帧(即，针对连续时间帧分别地)确定优选工作模式，或者可以在即将到来的时间帧的预设数量的时间帧之后重复确定优选工作模式，或者可以在系统启动时确定优选工作模式。
43.根据另一方面，优选工作模式是基于至少一个测量参数(gauge parameter)确定的，测量参数是以下项中的至少一项：
44.距离参数，所述距离参数表示驾驶员眼睛与光学系统之间的估计的和/或测量的距离，具体地，表示驾驶员眼睛与透镜的中心之间的沿着光轴的距离；
45.亮度参数，所述亮度参数表示环境光的亮度；
46.反射参数，所述反射参数表示在到达驾驶员眼睛之前被反射的光的量的测量(gauge)和/或量度(measure)；
47.瞳孔大小估计参数，所述瞳孔大小估计参数表示驾驶员瞳孔的估计的和/或测量的大小；以及
48.辨别力参数，所述辨别力参数表示在以当前工作模式工作的至少一个先前时间帧期间在利用图像传感器检测到的至少一个图像中的驾驶员瞳孔的辨别力，所述当前工作模式是混合工作模式和单一工作模式中的一者。
49.通常，测量参数可以是影响光学系统的不同工作模式下的瞳孔辨别力的任何参数或包括参数的任何组合。例如，可以向测量参数的值指派优选工作模式。因此，可以确定测量参数的值，并且可以通过读取存储有这种指派的查找表来确定优选工作模式。随后，可以使光学系统在所确定的优选工作模式下工作。
50.例如，测量参数可以是或可以包括距离参数，该距离参数表示驾驶员眼睛与光学系统之间的估计的和/或测量的距离，具体是驾驶员眼睛与透镜的中心之间沿着光轴的距离。例如，光学系统可以包括光学传感器以测量该距离。
51.针对驾驶员眼睛与光学系统之间的非常小的距离，可能无法实现从第一照明源朝向驾驶员眼睛发射的光与光轴之间的足够小的角度，以将瞳孔检测为图像中的亮点。然而，针对这样的距离，导致从第二照明源发射的光与光轴之间的相对大的角度，使得可以将仅激活第二照明源的暗瞳孔模式确定为优选工作模式。反之亦然，针对驾驶员眼睛与光学系统之间的非常大的距离，可以将仅激活第一照明源的亮瞳孔模式确定为优选工作模式。针对中等距离，例如可以将同时激活两个照明源的混合工作模式确定为优选工作模式。
52.测量参数也可以是或可以包括表示环境光亮度的亮度参数。例如，如果确定了暗环境光状况，则可以将亮瞳孔模式确定为优选工作模式。亮度参数可以具体地表示环境光的亮度的绝对量度。亮度参数还可以指示环境光的亮度变化。
53.此外，测量参数可以是或可以包括反射参数，该反射参数表示到达驾驶员眼睛之前被反射的光的量的估计和/或量度。具体地，当驾驶员佩戴眼镜时，从照明源发射的光可以从眼镜反射，并使驾驶员瞳孔的图像和辨别力失真。为了主动地减少这样的反射，单一工作模式可以包括反射减少模式，在该反射减少模式下，在后续时间帧内交替地激活第一照明源和第二照明源。因此，在例如通过图像评估系统或算法在先前时间帧内拍摄的图像中检测到佩戴眼镜的驾驶员的情况下，可以将反射减少模式确定为优选工作模式。因此，反射参数的值可以指示是否推荐反射减少模式，并且可以基于在先前时间帧内拍摄的至少一个图像通过反射推荐算法来计算反射参数。具体地，反射参数可以是表示是否应使用反射减少模式的二进制决策的布尔参数。
54.此外，测量参数可以是或可以包括表示驾驶员瞳孔的估计的和/或测量的大小的瞳孔大小估计参数。例如，可以通过图像评估系统或算法在先前时间帧内拍摄的图像中确定驾驶员瞳孔大小。驾驶员瞳孔大小可以例如根据环境光的亮度而变化，并且还影响在不同工作模式下拍摄的图像中的瞳孔的辨别力，使得可以针对相应瞳孔大小指派优选工作模式。
55.另选地或另外地，测量参数可以是或可以包括辨别力参数，该辨别力参数表示在以当前工作模式工作的至少一个先前时间帧期间在利用图像传感器检测到的至少一个图像中的驾驶员瞳孔的辨别力，所述当前工作模式是混合工作模式和单一工作模式中的一者。例如，光学系统可能已在当前工作模式下工作达一定数量的连续时间帧，并且辨别力参
数可以是在这些时间帧内具有不正确的瞳孔识别的图像的计数(count)。可以预设阈值，该阈值限定了可接受的具有不正确的瞳孔辨别的图像的最大数量，并且在辨别力参数的值超过阈值的情况下，可以将当前工作模式以外的另一工作模式确定为优选工作模式，而在辨别力参数不超过阈值的情况下将当前工作模式确定为优选工作模式。具体地，当前工作模式可以是混合工作模式和单一工作模式中的一者，并且如果辨别力参数超过阈值，则混合工作模式和单一工作模式中的另一者可以被确定为优选工作模式。另选地，还可以实现基于辨别力参数在亮瞳孔模式与暗瞳孔模式之间进行切换。
56.因此，cpu、微处理器或另一处理设备可以被配置为基于测量参数来确定优选工作模式。可以确定测量参数的值并将其发送到cpu或处理设备，以使得能够在确定优选工作模式时考虑测量参数。
57.根据另一方面，优选工作模式是混合工作模式和单一工作模式中的当前工作模式以及混合工作模式和单一工作模式中的另一工作模式中的一者，其中，确定优选工作模式包括：
58.基于测量参数，确定是否需要从当前工作模式切换到另一工作模式以便获得图像，在即将到来的时间帧内，该图像中的驾驶员瞳孔是能够区分的；并且
59.如果测量参数指示需要切换到另一工作模式，则将另一工作模式确定为优选工作模式。
60.通常，在即将到来的时间帧之前的时间帧内，光学系统可以在当前工作模式下工作。可以通过检查是否需要切换到相应其它工作模式以便获得具有正确的瞳孔辨别力的图像来确定即将到来的时间帧的优选工作模式。例如，基于指示环境光亮度的突然变化的亮度参数或基于示出了在至少一个先前时间帧内无法识别出瞳孔的辨别力参数，可能指示需要切换到另一工作模式，因此可以将另一工作模式确定为优选工作模式。具体地，当前工作模式可以是混合工作模式以及可以被包括在单一工作模式中的暗瞳孔模式中的一者。
61.根据另一方面，测量参数至少包括辨别力参数，其中，辨别力参数的值是在当前工作模式下连续工作的先前时间帧内检测到的具有不正确的瞳孔辨别的图像的计数，其中，如果辨别力参数超过预设的辨别阈值，则将另一工作模式确定为优选工作模式，所述预设的辨别阈值限定了具有不正确的瞳孔辨别的图像的最大数量。
62.反之亦然，在辨别力参数未超过预设的辨别阈值的情况下，可以将当前工作模式确定为优选工作模式。通过跟踪具有不正确的瞳孔辨别的图像，可以检查当前工作模式是否可靠地提供了驾驶员瞳孔是否可区分的图像。在影响当前工作模式下的瞳孔辨别力的任何外部状况发生变化的情况下，辨别力参数可以确保在仅拍摄较小的且可接受数量(阈值)的具有不正确的瞳孔辨别的图像的这些特定情况下切换到优选工作模式。
63.将理解，尽管描述了只要辨别力参数超过当前阈值就将另一工作模式确定为优选工作模式，但是在辨别力参数等于预设阈值的情况下可以选择切换工作模式。在该方法例如涉及软件程序中的在辨别力参数等于某个值时切换工作模式的指令的情况下，该阈值可以理解为辨别力参数的与指令中使用的所述某个值最接近的可能值。
64.根据另一方面，如果在时间帧内检测到具有不正确的瞳孔辨别的图像，并且如果检测到至少一个注视参数将在预定义的适当范围内，则将辨别力参数的值递增一个计数，至少一个注视参数是驾驶员头部偏航、驾驶员眼睑开度和/或驾驶员头部或面部与光学系
统之间的距离中的至少一者。
65.通过确保至少一个注视参数在适当范围内，可以防止将图像错误识别为具有不正确的瞳孔辨别的图像。例如，可以在驾驶员转动其头部的时间帧内拍摄图像，使得驾驶员眼睛不在该时间帧内拍摄的图像上。因此，通过检查驾驶员头部偏航，可以防止这样的图像被认为是当前工作模式不合适并且可能应该被切换的指示。另一方面，如果检测到在驾驶员直视光学系统的图像中无法辨别驾驶员瞳孔，则该图像可以算作具有不正确的瞳孔辨别的图像，以及光学系统的当前工作模式不适合实际情况的指示。
66.具体地，cpu或微处理器可以被配置为执行计算辨别力参数的值的步骤。注视参数例如可以通过由cpu或微处理器执行的图像评估算法来确定。
67.具体地，根据另一方面，如果在时间帧内检测到具有不正确的瞳孔辨别的图像，并且如果至少驾驶员头部偏航和驾驶员眼睑开度在预定义的适当范围内，则将辨别力参数的值递增一个计数。因此，可以确保，如果在驾驶员睁开眼睛直视光学系统时无法识别驾驶员瞳孔，则仅将图像视为应该切换工作模式的指示。
68.此外，根据另一方面，如果在时间帧内检测到具有正确的瞳孔辨别的图像，则将辨别力参数的值递减一个计数。因此，可以补偿例如由于阴影在非常短的时间段内改变环境光而在当前工作模式下随机出现具有不正确的瞳孔辨别的图像，并且可以防止不必要地切换到另一工作模式。
69.根据另一方面，单一工作模式包括暗瞳孔模式，在所述暗瞳孔模式下，在即将到来的时间帧内至少暂时激活第二照明源，而在即将到来的时间帧内停用第一照明源，其中，如果混合工作模式是当前工作模式，并且如果辨别力参数的值超过阈值，则将暗瞳孔模式确定为优选工作模式。
70.已发现，尽管亮瞳孔模式可能是有用的并且为光学系统增加了另外的灵活性，但是通过针对至少大多数情况提供单一暗瞳孔模式和同时激活两个照明源的混合工作模式，可能已经实现了可靠的瞳孔辨别。因此，在当前工作模式(其因此可以是混合工作模式和暗瞳孔模式中的一者)下辨别力的值超过阈值的情况下，光学系统可以在混合工作模式与暗瞳孔模式之间切换。这使得能够容易且快速地将优选工作模式确定为两种工作模式中的一者，而无需需要大量计算资源的复杂且繁琐的算法。
71.根据另一方面，单一工作模式包括反射减少模式，在反射减少模式下，在即将到来的时间帧(f1)，至少暂时激活第一照明源和第二照明源中的一者，而停用第一照明源和第二照明源中的另一者，并且在反射减少模式下，在即将到来的时间帧之后的后续时间帧内，至少暂时激活第一照明源和第二照明源中的所述另一者，而停用第一照明源和第二照明源中的所述一者。
72.因此，在反射减少模式下，在后续时间帧内交替地激活第一照明源和第二照明源。这使得能够在光到达驾驶员眼睛之前主动地减少光的反射，例如当驾驶员佩戴眼镜时。原则上，反射减少模式也可以在较短的时间帧内实现，例如使得反射减少模式下的时间帧的持续时间可以是混合工作模式下或暗瞳孔模式或亮瞳孔模式下的时间帧的持续时间的一半。
73.根据另一方面，优选工作模式是至少基于反射参数确定的，反射参数表示到达驾驶员眼睛之前被反射的光的量的估计和/或量度，其中，如果反射参数指示朝向驾驶员眼睛
发射的大量光在到达驾驶员眼睛之前被反射，则将反射减少模式确定为优选工作模式。具体地，反射参数可以包括在上述测量参数中。具体地，反射参数的值可以指示使用反射减少模式的推荐，并且无论何时推荐反射减少模式，都可以将其确定为优选工作模式。因此，反射参数可以是表示是否推荐反射减少模式的二进制决策的布尔参数。另选地，反射参数的值可以表示反射对在先前时间帧内拍摄的图像的影响，并且如果影响值超过某个阈值，则可以将反射减少模式确定为优选工作模式。
74.反射参数可以例如由cpu或微处理器执行的反射估计软件程序确定。例如，可以执行反射估计软件程序以检测驾驶员在用图像传感器拍摄的图像中是否佩戴眼镜，并相应地将值指派给反射参数。cpu或微处理器可以被配置为基于反射参数来确定优选工作模式。
75.根据另一方面，测量参数可以至少包括反射减少参数和辨别力参数。在这种情况下，基于反射参数的决策可以优于基于辨别力参数的决策。因此，可以在第一步骤中基于反射参数来确定反射减少模式是否是优选工作模式。随后并且仅在不推荐反射减少模式(即，不是优选工作模式)的情况下，才可以将另一工作模式确定为优选工作模式，并且可以遵循基于辨别力参数的决策。可以针对各个即将到来的时间帧相应地确定优选工作模式。具体地，可以通过如cpu或微处理器的计算机硬件部件来执行确定优选工作模式的这些步骤。
76.根据另一方面，在混合工作模式下以及在单一工作模式下，激活第一照明源和/或第二照明源达相应激活时间，其中，混合工作模式下的最大激活时间是光学系统在时间帧内的照射时间(exposure time)的一半，具体地，其中，混合工作模式下的最大激活时间是单一工作模式下的最大激活时间的一半，并且混合工作模式下的最小激活时间是单一工作模式下的最小激活时间的一半。因此，具体地，单一工作模式下的最大激活时间可以等于光学系统的照射时间。
77.由于在混合工作模式下同时激活两个照明源，而在单一工作模式下，仅激活照明源中的一个照明源，因此两种工作模式下的相似激活时间将导致不同信噪比，从而使图像评估恶化。然而，通过将激活时间归一化到活动照明源的数量，可以在两种工作模式下获得相似的信噪比。
78.最大激活时间、照射时间和/或最小激活时间可以是图像传感器特定的，并且可以取决于图像传感器的性能，尤其是图像传感器在红外区域中的效率。然而，单一工作模式下的最大激活时间可以为2ms(两毫秒)或更短。
79.cpu、微处理器或类似计算机硬件部件可以被配置为激活照明源。
80.根据另一方面，根据在指定数量的时间帧内检测到的图像的中间亮度值(medium brightness value)，在所述指定数量的时间帧之后更新激活时间，具体地，其中，中间亮度值表示在所述指定数量的时间帧内检测到的图像上的驾驶员头部的亮度的中间值。
81.例如，可以限定目标亮度，从而为瞳孔辨别提供最佳条件。通过更新照明源的激活时间，可以实现尽可能接近目标亮度的亮度。例如，可以在六个时间帧之后重复地更新激活时间。因此，在确定中间亮度低于目标亮度的情况下，可以增加照明源的激活时间，而如果中间亮度超过目标亮度，则可以减少激活时间。可以将最大激活时间和最小激活时间预设为激活时间的相应边界。更新激活时间的步骤可以由如cpu的计算机硬件部件执行。
82.根据另一方面，更新激活时间包括：计算预设目标亮度值与中间亮度值之间的差，并且基于所计算的差来调整激活时间。因此，可以预定义目标亮度值并且可以基于中间亮
度值与目标亮度之间的差来增加或减少激活时间，其中，该差可以用作激活时间的必要更新的比例因子。
83.具体地，更新激活时间还可以包括根据归一化规则来归一化所计算的差。经归一化的差可以被添加到调整参数。可以将调整参数更新为调整参数的最小值和调整参数的预设最大值。可以将更新后的激活时间计算为预设最小激活时间的最大值以及将预设最大激活时间和当前默认激活时间的最小值乘以调整参数的计算的结果。具体地，默认激活时间可以是最大激活时间的一半。
84.原则上，本文描述的方法步骤中的若干或所有方法步骤可以由一个或多个计算机硬件部件(如cpu、微处理器或类似处理设备)执行。此外，相应计算机硬件部件可以是用于控制光学系统或使光学系统工作的控制器的一部分。
85.在另一方面，本公开涉及一种计算机系统，所述计算机系统被配置为执行本文描述的计算机实现方法的若干或全部步骤。
86.计算机系统可以包括处理设备、至少一个存储器设备和至少一个非暂时性数据存储部。非暂时性数据存储部和/或存储设备可以包括计算机程序，该计算机程序用于指示计算机执行本文描述的计算机实现方法的若干或全部步骤或方面。
87.在另一方面，本公开涉及一种非暂时性计算机可读介质，该非暂时性计算机可读介质包括用于执行本文描述的计算机实现方法的若干或全部步骤或方面的指令。计算机可读介质可以被配置为：光学介质，诸如光盘(cd)或数字通用盘(dvd)；磁性介质，诸如硬盘驱动器(hdd)；固态驱动器(ssd)；只读存储器(rom)，诸如闪存存储器等。此外，计算机可读介质可以被配置为可经由诸如互联网连接的数据连接访问的数据存储部。计算机可读介质可以例如是在线数据存储库或云存储部。
88.本公开还涉及一种计算机程序，该计算机程序用于指示计算机执行本文描述的计算机实现方法的若干或全部步骤或方面。
附图说明
89.本文结合以下附图描述本公开的示例性实施方式和功能，附图示意性示出了：
90.图1a和图1b是用于监测车辆驾驶员视线的、具有第一照明源和第二照明源、透镜和光学传感器的光学系统；
91.图2是光学系统的混合工作模式和单一工作模式的例示图；
92.图3是例示了根据各个方面的利用光学系统监测车辆驾驶员视线的方法的流程图；
93.图4是例示了确定用于确定光学系统的优选工作模式的辨别力参数的值的方法的流程图；
94.图5是例示了更新第一照明源和第二照明源的激活时间的方法的流程图；以及
95.图6是例示了利用光学系统监测车辆驾驶员视线的方法的流程图。
具体实施方式
96.图1a描绘了光学系统11，该光学系统11包括第一照明源13和第二照明源15，第一照明源13和第二照明源15被配置为朝向车辆驾驶员眼睛17(还参见图1b)发射光。此外，设
有透镜21，该透镜21用于将从车辆驾驶员眼睛17反射的光引导至图像传感器19，在该图像传感器19上，可以连续地拍摄驾驶员的面部或眼睛17(也参见图2)的图像。
97.第一照明源13、第二照明源15和透镜21被布置为沿着线59对齐，并且使得第一照明源13与透镜21的光轴a或中心51之间的距离l1小于第二照明源15与透镜21的光轴a或中心51之间的距离l2。照明源13和照明源15以及透镜21和图像传感器19布置在共同壳体49中，使得光学系统11被配置为小型封装的驾驶员监测摄像头。
98.为了利用这种光学系统11监测车辆驾驶员视线，可以在相应时间帧f1和f2(也参见图2)内连续地拍摄驾驶员眼睛17的图像。可以通过在这些图像中识别驾驶员的瞳孔61(特别是需要将该瞳孔61与虹膜63区分开(参见图1b))来推断如驾驶员正在看的方向的信息。
99.为此，可以利用与第一照明源13一样靠近透镜21定位的同轴照明源(on
‑
axis illumination source)照亮驾驶员眼睛17；使得由眼睛17的视网膜反射的光被引导向透镜21，并且瞳孔61可以被区分为图像中的亮点。另一方面，可以通过利用与第二照明源15一样相对地远离透镜21定位的离轴照明源(off
‑
axis illumination source)照亮驾驶员眼睛17实现瞳孔辨别；从而能够在利用图像传感器19检测到的图像中将瞳孔61辨别为暗点。
100.常见的光学系统被配置为具有同轴照明源的亮瞳孔系统或具有离轴照明源的暗瞳孔系统。然而，在这种系统中，瞳孔辨别力除了取决于系统设计之外，还取决于外部参数，如环境光或驾驶员眼睛与光学系统之间的距离。例如，针对驾驶员眼睛17与光学系统11之间的非常小的距离d，第一照明源13与驾驶员眼睛17之间的连接线53与光轴a之间的角度α1可能太大以至于不能将瞳孔61辨别为图像中的亮点(也参见图1b)。另一方面，针对驾驶员眼睛17与光学系统11之间的短距离d，沿着连接线55从第二照明源15朝向驾驶员眼睛17发射的光与光轴a之间的角度α2可能太小以至于不能将瞳孔61检测为亮点。因此，在各种情况下，在单一亮瞳孔系统或单一暗瞳孔系统的常见系统中，瞳孔辨别可能会失败，从而导致如果能够提供可靠的视线数据便可防止的事故。
101.然而，在第一照明源13靠近透镜21定位并且第二照明源15相对远离透镜21定位的结构下，光学系统可以在各种工作模式23、25、27、29和30下工作，以根据变化的环境状况或不同驾驶员来灵活地调整光学系统11。因此，在任何情况下都可以可靠地确保在图像传感器19上的图像中瞳孔61是可区分的。图2例示了光学系统11的可能的工作模式23、25、27、29和30。
102.因此，光学系统11可以在单一工作模式25下工作，在该单一工作模式下，在相应时间帧f1或f2内，仅激活第一照明源13和第二照明源15中的一者，在图2中通过数字65来指示相应照明源13或15的激活状态。时间帧f1是即将到来的时间帧f1，时间帧f2是在时间t上在即将到来的时间帧f1之后的后续时间帧f2。然而，图2仅用作光学系统11的可能工作模式23、25、27、29和30的例示图，而没有按比例绘制。因此，时间帧f1和f2的持续时间可以具体地长于光学系统11的照射时间t2。例如，照射时间t2可以约是2ms(两毫秒)，而时间帧f1和f2的持续时间可以是16.67毫秒(十六点六七毫秒)。
103.单一工作模式25包括亮瞳孔模式30，在该亮瞳孔模式30下，仅激活第一照明源13并且光学系统11作为亮瞳孔系统来工作。此外，单一工作模式25包括暗瞳孔模式27，在该暗瞳孔模式27下，仅激活第二照明源15，光学系统11作为暗瞳孔系统工作。另外，提供反射减
少模式29，在该反射减少模式29下，在即将到来的时间帧f1内激活第一照明源13，而停用第二照明源15，并且在该反射减少模式29下，在即将到来的时间帧f1之后的后续时间帧f2内，激活第二照明源15，而停用第一照明源13。因此，在反射减少模式29下，在后续时间帧f1和f2内照明源13和照明源15被交替地激活。此外，光学系统11可以在混合工作模式23下工作，在该混合工作模式23下，照明源13和照明源15被同时激活。
104.在提供这种多种工作模式23、25、27、29和30的情况下，可以针对与特定情况有关的即将到来的时间帧f1确定相应优选工作模式。因此，光学系统11可以在优选工作模式下工作，以确保可靠的视线监测。例如，在驾驶员眼睛17靠近光学系统11定位的情况下，暗瞳孔模式27可以是优选工作模式，因为角度α2足够大使得瞳孔61在图像中作为可区分的暗点出现。反之亦然，针对驾驶员眼睛17与光学系统11之间的大距离d，亮瞳孔模式30可以是优选工作模式，从而确保角度α1足够小以用于亮瞳孔系统中的瞳孔辨别。虽然针对这种情况原则上可以提供并优选亮瞳孔模式30，但是已发现，针对预期的驾驶员眼睛距离d的大范围，可以通过使用暗瞳孔模式27或混合瞳孔模式23来实现可靠的瞳孔辨别。因此，在光学系统11的一些实施方式中，可以省略单一亮瞳孔模式30。
105.此外，为了在尽可能多的情况下可靠地实现瞳孔辨别，光学系统11被设计成使得针对驾驶员眼睛17与透镜21的中心51之间的距离d的预期范围，至少角度α1小于预定义的亮瞳孔角，角度α2大于预定义的暗瞳孔角和/或角度α2与角度α1之间的差大于预定义的灰瞳孔移位角。在角度α1小于预定义的亮瞳孔角(例如1
°
)的情况下，光学系统11可以在亮瞳孔模式30下或在混合工作模式23下作为亮瞳孔系统安全地工作，其中瞳孔61可被区分为图像中的亮点。另一方面，如果角度α2大于预定义的暗瞳孔角(具体是5
°
)，则在暗瞳孔模式27下拍摄的图像中，瞳孔61可靠地作为可区分的暗点出现。此外，在仅可能在亮瞳孔模式30或混合工作模式23下将瞳孔61分辨为浅灰色的情况下，通过确保α2与α1之间的差大于预定义的灰瞳孔移位角，该瞳孔61将能够在暗瞳孔模式27下被区分为暗点，而在α2对于暗瞳孔模式27下的瞳孔辨别而言太小的情况下，亮瞳孔模式30和/或混合工作模式23将可靠地实现瞳孔辨别。
106.另外，交替地激活照明源13和照明源15的反射减少模式29使得能够主动减少使在图像传感器19上拍摄的图像失真的反射，该反射可能例如在车辆驾驶员佩戴眼镜的情况下发生。因此，在这种恶化状况下，可以使用反射减少模式29来可靠地识别瞳孔61。为了可靠地实现反射减少，第一照明源13与第二照明源l2之间的距离l3可以为至少50mm。
107.在提供各种工作模式23、25、27、29和30的情况下，工作模式23、25、27、29和30中的一者在某些情况下可以是优选的。因此，针对即将到来的时间帧f1，可以确定优选工作模式23、25、27、29或30，以确保在该时间帧f1内，光学系统11在优选工作模式23、25、27、29或30下工作。图6中例示了监测车辆驾驶员视线的计算机实现方法145。在该方法中，在步骤101，确定光学系统11针对即将到来的时间帧f1的优选工作模式，并且在步骤103，在即将到来的时间帧内，光学系统11在优选工作模式下工作。该方法145可以由光学系统11的控制器57执行。控制器57具体地可以被配置为激活或停用照明源13和照明源15。控制器57可以包括用于执行方法145的步骤的cpu或微处理器。
108.此外，图3例示了利用光学系统11监测车辆驾驶员视线的计算机实现方法139，该方法也可以由光学系统11的控制器57或cpu或处理设备来执行，该cpu或处理设备具体地可
以是控制器57的一部分。
109.根据方法139，优选工作模式是基于测量参数31确定的。该测量参数31可以包括表示驾驶员眼睛17与光学系统11之间的距离d的距离参数31、表示环境光亮度的亮度参数35以及表示驾驶员瞳孔61的估计的和/或测量的大小的瞳孔大小估计参数37。例如，可以为这些参数33、35和37的值指派混合工作模式23和单一工作模式25的优选工作模式，并且在确定相应参数33、35和/或37的值之后，可以基于该指派来确定优选工作模式。例如，如果检测到驾驶员眼睛17与光学系统11之间的小距离，则可以基于距离参数33将暗瞳孔模式27确定为优选工作模式。
110.然而，在所示方法139中，测量参数31包括反射参数32，该反射参数32表示朝向驾驶员眼睛17发射的、在到达眼睛17之前被反射的光的量的估计和/或量度。例如，如果驾驶员佩戴眼镜，则在到达驾驶员眼睛17之前将反射大量的光。因此，在第一步骤105，基于反射参数32检查是否推荐光学系统11在反射减少模式29下工作。具体地，反射参数32可以是表示是否将反射减少模式29确定为优选工作模式的二进制决策的布尔参数。
111.如果推荐反射减少模式29，则在步骤107，检查光学系统11当前是否在反射减少模式29下工作。在反射减少模式29为当前工作模式的情况下，不需要切换工作模式，并且在步骤109，指示光学系统11保持在当前工作模式。否则，在步骤111，由控制器57指示光学系统11切换到反射减少模式29。之后，在步骤113，在即将到来的时间帧f1内，光学系统11在反射减少模式29下工作，并因此是在优选工作模式下工作。
112.另一方面，如果在方法步骤105发现不推荐反射减少模式29，则在步骤115检查光学系统11当前是否在反射减少模式29下工作。如果是这种情况，则在步骤117将光学系统11切换到另一工作模式27或23。具体地，在步骤117，可以将混合工作模式23确定为优选工作模式，因为混合工作模式23在大多数情况下都是可以胜任的。
113.然而，如果在步骤115确定光学系统11当前未在反射减少模式29下工作，则获取辨别力参数39，并且在步骤119，检查辨别力参数39的值是否超过预设阈值，从而指示从混合工作模式23和单一工作模式25(具体是暗瞳孔模式27)的当前工作模式切换到另一工作模式25或23。
114.辨别力参数39具体可以是在当前工作模式下连续拍摄的并且其中不能将瞳孔61与虹膜63辨别开来的图像的计数。具体地，可以根据图4所示的计算机实现方法141来确定辨别力参数39的值。方法141的步骤也可以由光学系统的控制器57或计算机硬件部件(如cpu或微处理器)来执行。具体地，控制器57可以包括所述cpu或微处理器。
115.在该方法141的第一步骤129，检查是否可以在已拍摄的图像中辨别瞳孔61。在瞳孔辨别起作用的情况下，可以在步骤131递减辨别力参数39的值。在瞳孔辨别成功的情况下，通过递减辨别力参数39，可以对具有不正确的瞳孔辨别的随机出现的图像进行补偿。
116.另一方面，如果在图像中不能辨别瞳孔61，则在步骤131检查注视参数41是否在预设的适当范围内。例如，注视参数41可以包括驾驶员头部偏航43和眼睑开度45。仅当注视参数41在适当的范围内时，即，具体地，仅当在拍摄图像时驾驶员睁开眼睛相对直视光学系统11时，才将辨别力参数39的值递增一个计数。通过检查注视参数41，可以防止在驾驶员眼睛17例如闭合时拍摄的图像被认为是由于光学系统在不适当的工作模式23或25下工作而导致的不正确的瞳孔辨别的图像。
117.在图3所示的方法139的步骤119，可以继而使用根据方法141计算的辨别力参数39的值，并将该值与预设的辨别阈值进行比较。该辨别阈值可以限定在工作模式23、25应该从当前工作模式切换到混合工作模式23和单一工作模式25中的另一者之前具有不正确的瞳孔辨别的图像的可接受数量。因此，在辨别力参数39的值未超过阈值的情况下，在步骤121，指示光学系统11保持在作为优选工作模式的当前工作模式23或25。否则，在步骤123，由控制器57将光学系统11切换到另一工作模式23或25。此外，在步骤125，由于工作模式23、25的切换，所以辨别力参数39的值被重设为具有不正确的瞳孔辨别的图像的零计数。之后，在步骤127，光学系统11在所确定的优选工作模式23或25下工作。
118.如从图2进一步看出的，在混合工作模式23下以及在单一工作模式25下，在相应激活时间t内激活照明源13和照明源15。混合工作模式23下的最大激活时间t1是单一工作模式25下的最大激活时间t2的一半，其中，单一工作模式25下的最大激活时间t2等于光学系统11在时间帧f1和f2内的照射时间t2。因为在混合工作模式23下同时激活照明源13和照明源15两者，所以较小的最大激活时间t1确保了在工作模式23和25两者下可以实现相似的信噪比。这有助于在工作模式23和25两者下使用图像评估系统或算法来可靠地识别瞳孔61。
119.当光学系统在优选工作模式23或25下工作时，可以在相应最小激活时间t3或t4与相应最大激活时间t1和t2之间的范围内更新时间帧f1、f2内的实际激活时间t。如图4所示，在用于更新激活时间t的方法143中，在步骤135，将驾驶员头部的中间亮度值(medium brightness value)与目标亮度值进行比较。例如，可以基于在六个先前时间帧内拍摄到的图像来计算中间亮度值。根据该比较，具体是根据中间亮度值与目标亮度值之间的差，可以在步骤137更新激活时间t。目标亮度可以是如下亮度：对于该亮度，在混合工作模式23或单一工作模式25下可实现最佳瞳孔辨别，使得从默认亮度开始，可以重复地更新第一照明源13和第二照明源15的激活时间t，以便以尽可能接近目标亮度的亮度拍摄图像。同样，方法143可以由控制器57或如cpu或微处理器的计算机硬件部件执行。
120.因此，光学系统11利用各种工作模式23、25、27、29和30(具体是混合工作模式23和单一工作模式25)提供了极大的灵活性。这使得能够针对各种环境状况可靠地确保利用光学系统11拍摄的图像中的瞳孔辨别。此外，光学系统11可以具体地被配置为作为驾驶辅助系统的基础或一部分的小型封装的驾驶员监测摄像头。
121.如图1a所示，一种监测车辆驾驶员视线的光学系统11至少包括：
122.朝向驾驶员眼睛17发射光的第一照明源13和第二照明源15，
123.透镜21，以及
124.用于检测图像的图像传感器19，
125.其中，透镜21被配置为将由驾驶员眼睛17反射的光引导至图像传感器19，并且
126.其中，第二照明源15与透镜21的光轴a之间的距离l2大于第一照明源13与光轴a之间的距离l1。
127.第一照明源、第二照明源、透镜和图像传感器可以布置在共同的壳体中。
128.透镜可以布置在第一照明源与第二照明源之间。
129.第一照明源、透镜和第二照明源可以对齐布置。
130.第二照明源与透镜的中心之间的距离可以大于第一照明源与透镜的中心之间的距离的三倍。
131.第一照明源与透镜的中心之间的距离可以小于等于12mm，并且第二照明源与透镜的中心之间的距离可以大于等于40mm。
132.第一照明源与第二照明源之间的距离可以至少等于50mm。
133.第一照明源、第二照明源和透镜可以按照使得针对预期的驾驶员眼睛距离的范围至少满足以下项的方式布置，该驾驶员眼睛距离是驾驶员眼睛与透镜的中心之间沿着透镜的光轴的距离：
134.从第一照明源到驾驶员眼睛的预期位置的连接线与光轴之间的第一角度小于等于预定义的亮瞳孔角，具体地，其中，亮瞳孔角等于1
°
(1度)，和/或
135.从第二照明源到驾驶员眼睛的预期位置的连接线与光轴之间的第二角度大于预定义的暗瞳孔角，具体地，其中，暗瞳孔角等于5
°
(5度)，和/或
136.第二角度与第一角度之间的差角大于预定义的灰瞳孔移位角。
137.光学系统可以包括控制器，该控制器被配置为执行本文公开的方法。
138.如图6所示，例示了一种计算机实现方法145，该计算机实现方法利用光学系统11(具体是本文公开的光学系统11)来监测车辆驾驶员视线。如图1a所示，光学系统11至少包括朝向驾驶员眼睛17发射光的第一照明源13和第二照明源15，以及将由驾驶员眼睛17反射的光引导至图像传感器19的透镜21，其中，第二照明源15与透镜21的光轴a之间的距离l2大于第一照明源13与光轴a之间的距离l1，并且其中，在连续时间帧f1、f2内，每时间帧f1、f2检测到驾驶员眼睛17的至少一个图像。在101，确定光学系统11针对即将到来的时间帧f1的优选工作模式23、25，优选工作模式23、25是至少混合工作模式23和单一工作模式25中的一者。在103，在即将到来的时间帧f1、f2内，光学系统11根据优选工作模式23、25工作。在混合工作模式23下，在即将到来的时间帧f1内，同时激活第一照明源13和第二照明源15，并且在单一工作模式25下，在即将到来的时间帧f1内，至少暂时激活第一照明源13和第二照明源15中的一者，而停用第一照明源13和第二照明源15中的另一者，如图2所示。
139.优选工作模式可以是基于至少一个测量参数确定的，测量参数是以下项中的至少一项：
140.距离参数，所述距离参数表示驾驶员眼睛与光学系统之间的估计的和/或测量的距离，具体地，表示驾驶员眼睛与透镜的中心之间沿着光轴的距离；
141.亮度参数，所述亮度参数表示环境光的亮度；
142.反射参数，所述反射参数表示在到达驾驶员眼睛之前被反射的光的量的估计和/或量度；
143.瞳孔大小估计参数，所述瞳孔大小估计参数表示驾驶员瞳孔的估计的和/或测量的大小；以及
144.辨别力参数，所述辨别力参数表示在以当前工作模式工作的至少一个先前时间帧期间，在利用图像传感器检测到的至少一个图像中对驾驶员瞳孔的辨别力，所述当前工作模式是混合工作模式和单一工作模式中的一者。
145.优选工作模式可以是混合工作模式和单一工作模式中的当前工作模式以及混合工作模式和单一工作模式中的另一工作模式中的一者，并且确定优选工作模式可以包括：
146.基于测量参数，确定是否需要从当前工作模式切换到另一工作模式以便获得图像，在即将到来的时间帧内，所述图像中的驾驶员瞳孔是能够区分的；并且
147.如果测量参数指示需要切换到另一工作模式，则将另一工作模式确定为优选工作模式。
148.测量参数至少可以包括辨别力参数，辨别力参数的值是在当前工作模式下连续工作的先前时间帧内检测到的具有不正确的瞳孔辨别的图像的计数，并且如果辨别力参数超过预设的辨别阈值，则可以将另一工作模式确定为优选工作模式，所述预设的辨别阈值限定了具有不正确的瞳孔辨别力的图像的最大数量。
149.如果在时间帧内检测到具有不正确的瞳孔识别的图像，并且如果检测到至少一个注视参数将在预定义的适当范围内，则可以将辨别力参数的值递增一个计数，所述至少一个注视参数是驾驶员头部偏航、驾驶员眼睑开度和/或驾驶员头部与光学系统之间的距离中的至少一者。
150.如果在时间帧内检测到具有不正确的瞳孔识别的图像，并且如果至少驾驶员头部偏航和驾驶员眼睑开度在预定义的适当范围内，则可以将辨别力参数的值递增一个计数。
151.如果在时间帧内检测到具有正确的瞳孔辨别的图像，则可以将辨别力参数的值递减一个计数。
152.单一工作模式可以包括暗瞳孔模式，在所述暗瞳孔模式下，至少在即将到来的时间帧内暂时激活第二照明源，而在即将到来的时间帧内停用第一照明源，其中，如果混合工作模式是当前工作模式，并且如果辨别参数的值超过辨别阈值，则可以将暗瞳孔模式确定为优选工作模式。
153.单一工作模式可以包括反射减少模式，在所述反射减少模式下，在即将到来的时间帧内，至少暂时激活第一照明源和第二照明源中的一者，而停用第一照明源和第二照明源中的另一者；以及在所述反射减少模式下，在即将到来的时间帧之后的后续时间帧内，至少暂时激活第一照明源和第二照明源中的另一者，而停用第一照明源和第二照明源中的一者。
154.优选工作模式可以是至少基于反射参数确定的，所述反射参数表示到达驾驶员眼睛之前被反射的光的量的估计和/或量度，并且如果反射参数指示朝向驾驶员眼睛发射的大量光在到达驾驶员眼睛之前被反射，则可以将反射减少模式确定为优选工作模式。
155.在混合工作模式下以及在单一工作模式下，可以激活第一照明源和/或第二照明源达相应激活时间，其中，混合工作模式下的最大激活时间可以是光学系统在时间帧内的照射时间的一半。
156.混合工作模式下的最大激活时间可以是单一工作模式下的最大激活时间的一半，并且混合工作模式下的最小激活时间可以是单一工作模式下的最小激活时间的一半。
157.可以根据在指定数量的时间帧内检测到的图像的中间亮度值，在指定数量的时间帧之后更新激活时间，具体地，其中，中间亮度值表示在指定数量的时间帧内检测到的图像上的驾驶员头部的亮度的中间值。
158.更新激活时间可以包括：
159.计算预设目标亮度值与中间亮度值之间的差；
160.基于所计算的差来调整激活时间。
161.计算机系统可以被配置为执行本文公开的计算机实现方法。
162.非暂时性计算机可读介质可以包括用于执行本文公开的计算机实现方法的指令。
163.附图标记列表
164.11
ꢀꢀꢀꢀ
光学系统
165.13
ꢀꢀꢀꢀ
第一照明源
166.15
ꢀꢀꢀꢀ
第二照明源
167.17
ꢀꢀꢀꢀ
驾驶员眼睛
168.19
ꢀꢀꢀꢀ
图像传感器
169.21
ꢀꢀꢀꢀ
透镜
170.23
ꢀꢀꢀꢀ
混合工作模式
171.25
ꢀꢀꢀꢀ
单一工作模式
172.27
ꢀꢀꢀꢀ
暗瞳孔模式
173.29
ꢀꢀꢀꢀ
反射减少模式
174.30
ꢀꢀꢀꢀ
反射参数
175.31
ꢀꢀꢀꢀ
切换必需参数
176.33
ꢀꢀꢀꢀ
距离参数
177.35
ꢀꢀꢀꢀ
亮度参数
178.37
ꢀꢀꢀꢀ
瞳孔大小估计参数
179.39
ꢀꢀꢀꢀ
辨别力参数
180.41
ꢀꢀꢀꢀ
注视参数
181.43
ꢀꢀꢀꢀ
头部偏航
182.45
ꢀꢀꢀꢀ
眼睑开度
183.47
ꢀꢀꢀꢀ
中间亮度值
184.49
ꢀꢀꢀꢀ
壳体
185.51
ꢀꢀꢀꢀ
透镜的中心
186.53
ꢀꢀꢀꢀ
第一照明源与驾驶员眼睛之间的连接线
187.55
ꢀꢀꢀꢀ
第二照明源与驾驶员眼睛之间的连接线
188.57
ꢀꢀꢀꢀ
控制器
189.59
ꢀꢀꢀꢀ
线
190.61
ꢀꢀꢀꢀ
瞳孔
191.63
ꢀꢀꢀꢀ
虹膜
192.65
ꢀꢀꢀꢀ
激活状态
193.101
ꢀꢀꢀ
确定优选工作模式
194.103
ꢀꢀꢀ
在优选工作模式下工作
195.105
ꢀꢀꢀ
方法步骤
196.107
ꢀꢀꢀ
方法步骤
197.109
ꢀꢀꢀ
方法步骤
198.111
ꢀꢀꢀ
方法步骤
199.113
ꢀꢀꢀ
方法步骤
200.115
ꢀꢀꢀ
方法步骤
201.117
ꢀꢀꢀ
方法步骤
202.119
ꢀꢀꢀ
方法步骤
203.121
ꢀꢀꢀ
方法步骤
204.123
ꢀꢀꢀ
方法步骤
205.125
ꢀꢀꢀ
方法步骤
206.127
ꢀꢀꢀ
方法步骤
207.129
ꢀꢀꢀ
方法步骤
208.131
ꢀꢀꢀ
方法步骤
209.133
ꢀꢀꢀ
方法步骤
210.135
ꢀꢀꢀ
方法步骤
211.137
ꢀꢀꢀ
方法步骤
212.139
ꢀꢀꢀ
监测车辆驾驶员视线的方法
213.141
ꢀꢀꢀ
监测车辆驾驶员视线的方法
214.143
ꢀꢀꢀ
监测车辆驾驶员视线的方法
215.145
ꢀꢀꢀ
监测车辆驾驶员视线的方法
216.α1ꢀꢀ
第一角度
217.α2ꢀꢀꢀ
第二角度
218.a
ꢀꢀꢀꢀꢀ
光轴
219.f1
ꢀꢀꢀꢀ
即将到来的时间帧
220.f2
ꢀꢀꢀꢀ
后续时间帧
221.l1
ꢀꢀꢀꢀ
第一照明源与光轴之间的距离
222.l2
ꢀꢀꢀꢀ
第二照明源与光轴之间的距离
223.l3
ꢀꢀꢀꢀ
照明源之间的距离
224.t
ꢀꢀꢀꢀꢀ
时间
225.t
ꢀꢀꢀꢀꢀ
激活时间
226.t1
ꢀꢀꢀꢀ
混合工作模式下的最大激活时间
227.t2
ꢀꢀꢀꢀ
单一工作模式下的照射时间、最大激活时间
228.t3
ꢀꢀꢀꢀ
混合工作模式下的最小激活时间
229.t4
ꢀꢀꢀꢀ
单一工作模式下的最小激活时间