用于校准摄像机的方法、车辆用的设备和计算机程序产品的制作方法
【专利摘要】本发明涉及用于校准摄像机的方法、车辆用的设备和计算机程序产品。本发明涉及用于校准用于在车辆中进行视向识别的摄像机的方法、用于具有摄像机和至少一个其他元件的机动车辆的设备和计算机程序产品。在此所述至少一个其他元件与摄像机以固定的几何关系布置。所述方法包括借助于在摄像机（500）的图像中探测至少一个相对的视向改变来校准，其中用户朝向所述其他元件（100、200、300、400）改变其视向。所述方法的特征在于，根据用户的至少一个行动来探测，进行了或者将进行用户的视线改变。于是所述视线改变也即通过双重使用发挥优点：所述视线改变不仅用于校准而且用于用户的行动。
【专利说明】
用于校准摄像机的方法、车辆用的设备和计算机程序产品
技术领域
[0001]本发明涉及用于校准在车辆中的用于视向识别的摄像机的方法、用于具有摄像机和至少一个其他元件的车辆的设备和计算机程序产品。在此，至少一个其他元件与摄像机以固定的几何关系被布置。【背景技术】
[0002]摄像机被使用在车辆和其他应用场景中，所述摄像机被布置为使得所述摄像机可以检测用户、例如车辆的驾驶员的头部和眼睛。摄像机的基本定位在此允许确定用户的视向。然而利用仅一个摄像机对视向的绝对确定要求:所述摄像机和视向识别事先被校准。
[0003]所述摄像机在此例如借助于所谓的带端校准(Bandende-Kalibrierung)被校准， 所述带端校准也被称作E0L校准(end of line Kalibrierung(线端校准))。
[0004]对于视向识别，在DE 102005047160中使用用于确定视向的椭圆识别。从圆形瞳孔的椭圆形映射的精确位置中可以推断出眼睛的位置和从中推断出使用者的视向。
[0005]S.Kohlbecher等人在‘Calibrat1n-Free Eye Tracking by Reconstruct1n of the Pupil Ellipse in 3_D Space, ETRA’08，2008’中描述基于立体的无校准方法。
[0006]校准的另一可能性在于，使用户与其他元件相互作用，例如其方式是:用户必须利用眼睛跟踪屏幕上的标记，所述标记关于摄像机的空间布置是已知的并且原则上是不可变的。
[0007]用户的视向改变随屏幕上标记的每个位置变换而出现，所述视向改变在摄像机图像中至少可以相对地被确定。必要时在使用摄像机的摄像机参数的情况下能够再次由标记的位置改变、屏幕与摄像机的固定的空间几何关系和探测到的相对的视向改变来确定绝对的视向。
[0008]借助于多个绝对视向，因此可以获得视向识别的稳定的校准。
【发明内容】
[0009]发明人已经认识到，如果用户的需要的视向改变可以在用户的行动的范围内进行，其中所述用户本来就实施所述行动，那么所述校准可以通过与其他元件的相互作用被改善。
[0010]按照本发明，按照权利要求1提供用于校准用于在车辆中识别绝对视向的摄像机的方法。至少一个其他元件与摄像机以固定的空间几何关系布置。所述校准借助于在摄像机的图像中探测至少一个相对视向改变进行，其中用户朝向该其他元件改变其视线。所述方法的特征在于，根据用户的至少一个行动来探测，进行了或者将进行用户的相对视向改变。
[0011]于是所述视线改变也即通过双重使用发挥优点:所述视线改变不仅用于校准而且用于用户的行动。
[0012]在一种优选的实施方式中，所述方法可以包括在使用相对的视向改变和固定的空间几何关系的情况下测定绝对视向。
[0013]这改善所述校准。
[0014]为了测定绝对视向，可以考虑来自(aus)带端校准的摄像机的摄像机参数。[0〇15]这进一步改善所述校准。
[0016]多个绝对视向可以被测定，所述绝对视向于是被考虑用于校准视向识别。[0〇17]这更进一步改善所述校准。
[0018]所述校准可以包括确定在由摄像机记录的图像中的头部位置和眼睛位置，和根据确定的头部位置和确定的眼睛位置测定相对的视向改变。[〇〇19 ]因此能够容易地测定相对的视向改变。
[0020]所述其他元件可以例如包括收音机、汽车导航系统和/或空调设备，并且所述行动可以包括对按键、触摸板和/或触摸屏的操作。
[0021]于是可以容易地探测视向改变的进行。
[0022]所述其他元件也可以包括后视镜和/或屏幕，并且所述行动可以包括行驶机动动作。
[0023]所述方法可以包括使摄像机的视频时间戳与所述其他元件的操作事件和/或显示事件同步，所述操作事件和/或显示事件触发所述行动或者通过所述行动被触发。
[0024]这使得在图像中探测相对的视向改变变得简单。
[0025]按照本发明，此外按照权利要求9提出用于具有摄像机和至少一个其他元件的机动车辆的设备。所述其他元件与摄像机以固定的空间几何关系布置，其中所述设备被设立用于，实施按照本发明提出的方法的步骤。
[0026]最后还按照本发明提出按照权利要求10所述的计算机程序产品。所述计算机程序产品包括用于当所述程序在车辆的控制设备上被实施时执行按照本发明的方法的计算机可实施的程序代码，其中所述车辆包括摄像机和与摄像机处于固定空间几何关系的至少一个其他元件。
[0027]本发明的有利的改进方案在从属权利要求中说明并且在说明书中描述。【附图说明】
[0028]本发明的实施例根据附图和以下描述进一步被阐述。其中:图1示出用于校准车辆的内部空间摄像机的示意性和示例性系统总览。【具体实施方式】[0029 ]在图1中示出用于校准车辆的内部空间摄像机的示意性和示例性系统总览。
[0030]所述系统包括操作元件和/或显示元件100、200、300、400、内部空间摄像机500和电子控制设备(electronic control unit(电子控制单元)，ECU)600,其中所述内部空间摄像机500检测车辆的驾驶员的脸。
[0031]所述元件100、200、300、400通过车辆总线系统900、例如04~总线与控制设备600通信。操作元件和/或显示元件100、200、300、400的包括导航系统、汽车音频系统、侧视镜和后视镜、仪表显示器和空调控制面板。[〇〇32] 所述控制设备包括用于图像处理的单元610,所述单元610与内部空间摄像机500连接，并且在摄像机的图像中确定头部位置和眼睛位置，并且根据头部位置和眼睛位置的变化确定相对的视向改变。
[0033] 所述控制设备此外包括用于例如在ACC随动行驶(automatic cruise control(自动巡航控制))的范围中评估车辆总线900上的人机接口活动(他11^11-]\^1〇11；[116-111丨61€3。6-Aktivi tSt (人机接口活动)，HMI活动)的单元620。所述单元620可以例如从行驶机动动作 (例如闪光灯设置、车道转换)推断出:在摄像机图像中探测到的相对的视向改变对应于驾驶员到后视镜中或者到侧视镜之一中的视线。类似地，可以从到车辆的音频系统或者导航系统中的输入推断出:在摄像机图像中探测到的相对的视向改变对应于驾驶员到所属的操作元件或者操作系统的上的视线。[0〇34]由单元630使由单元610确定的视向改变与HMI活动同步，所述HMI活动由单元620确定。[〇〇35]其他数据700由单元640考虑，以便由与HMI活动同步的视向改变计算绝对的视向。 其他数据700例如包括来自摄像机的带端校准的摄像机参数和关于操作元件相对于摄像机的光轴的空间几何布置的数据。后者可以例如来自车辆的CAD模型。[〇〇36] 单元650最后从如由所述单元640确定的两个或多个绝对的视向来测定绝对的视向，并且输出视向的校准参数800。
[0037]所述单元可以是独立的硬件组件或者软件模块或者软件组件。所述控制设备可以履行附加的任务。所述控制设备例如可以是主单元(head unit(主机))或者仪表组、显示设备的部分，所述显示设备用于显示多个参数、例如速度、转速、公里数和油箱液位。[〇〇38]所述软件模块或者软件组件可以存储在存储介质、也即例如⑶、DVD、USB棒或者闪速(Flash)构件或者其他计算机程序产品上。[〇〇39]所述操作元件100、200、300、400可以例如是导航系统、汽车音频系统或者空调设备。如果驾驶员例如操作所述汽车音频系统或者所述导航系统，并且实施标题搜索或者目标搜索，则这按照本发明被认为是关于以下的标志:即所述驾驶员与搜索同时地将其视线对准显示装置，在所述显示装置上显示可选的标题或者导航目标。于是可以使在与操作同步的(一个或多个)图像中的头部位置和(一个或多个)眼睛位置与绝对的视向相关，其中绝对视向由显示装置相对于(im VerhSltnis zu)驾驶员座位和摄像机的光轴的固定的相对空间几何布置得出。
[0040]因此能够实现视向改变识别的在线校准，其使用驾驶员操作和/或与在车辆中或者车辆处的元件的驾驶员相互作用，其中所述元件相对于摄像机处于固定的空间布置。 [〇〇41]在按照本发明的方法的示例性实施方式中，首先执行摄像机的内部参数的预校准。这可以例如包括带端校准。此外使摄像机在车辆为中心的坐标系中的取向和位置生效。 例如根据车辆的CAD模型此外确定操作元件/显示元件相对于摄像机的空间位置，所述操作元件/显示元件可以被考虑用于视向改变的校准。[〇〇42]在预校准后，图像处理装置确定在图像中的头部位置和眼睛位置，并且由此确定相对的视向改变。
[0043]与此并行地分析驾驶员的操作过程和行动、也即例如转向机动动作或者闪光灯激活。
[0044]如果同步地、也即同时地、在操作或者行动之前不久或者之后不久进行相对的视向改变，则可以推断出:相对的视向改变已经将驾驶员的视向对准到所述元件上，所述操作过程在所述元件处进行或者所述操作过程与所述元件关联。与在音频系统或者导航系统中输入同步的相对视向改变大概对准相应的系统。并且与引起车道转换的行动同步的相对视向改变大概朝向后视镜或者侧视镜对准。同样例如可以假设，与显示器上的警报信号同步的相对视向改变对应于驾驶员朝向显示器上的视线改变。
[0045]由所属的元件的相对位置于是可以确定所属的绝对视向，其中在所述元件处实施操作过程。
[0046]多个绝对视向于是可以被使用用于视向识别的总(al lgeme inen)校准。
[0047]虽然本发明详细地通过优选的实施例被进一步阐明和描述，但是本发明不因此通过公开的示例限制，并且可以由专业人员从中导出其他的变体，而不偏离本发明的保护范围。
【主权项】
1.用于校准车辆中的用于识别绝对视向的摄像机(500)的方法，其中至少一个其他元 件(100、200、300、400)与摄像机(500)以固定的空间几何关系被布置，其中所述校准借助于 在摄像机(500)的图像中探测至少一个相对的视向改变进行，其中用户朝向所述其他元件 (100、200、300、400)改变其视线，其特征在于，根据用户的至少一个行动来探测，进行了或 者将进行用户的相对的视向改变。2.按照权利要求1所述的方法，其中所述方法包括在使用相对的视向改变和固定的空 间几何关系的情况下测定绝对视向。3.按照权利要求2所述的方法，其中为了测定绝对视向，考虑来自带端校准的摄像机 (500)的摄像机参数。4.按照权利要求2或3所述的方法，其中多个绝对视向被测定，所述多个绝对视向被考 虑用于校准视向识别。5.按照权利要求2至4之一所述的方法，其中所述校准包括在由摄像机(500)记录的图 像中确定头部位置和眼睛位置，和根据所确定的头部位置和确定的眼睛位置测定相对的视 向改变。6.按照权利要求1至5之一所述的方法，其中所述其他元件(100、200、300、400)包括收 音机、汽车导航系统和/或空调设备，并且所述行动可以包括对按键、触摸板和/或触摸屏的 操作。7.按照权利要求1至5之一所述的方法，其中所述其他元件(100、200、300、400)包括后 视镜和/或屏幕并且所述行动包括行驶机动动作。8.按照权利要求1至7之一所述的方法，其中所述方法包括使摄像机(500)的视频时间 戳与其他元件(1〇〇、200、300、400)的操作事件和/或显示事件同步，所述操作事件和/或显 示事件触发所述行动或者通过所述行动被触发。9.用于具有摄像机(500)和至少一个其他元件(100、200、300、400)的机动车辆的设备 (600 )，所述其他元件(100、200、300、400)与摄像机(500)以固定的空间几何关系被布置，其 中所述设备(600)被设立用于，实施按照上述权利要求之一所述的方法的步骤。10.计算机程序产品，具有用于当所述程序在车辆的控制设备(600)上被实施时执行按 照权利要求1至8之一所述的方法的计算机可实施的程序代码，其中所述车辆包括摄像机和 与摄像机(500)处于固定空间几何关系的至少一个其他元件(100、200、300、400)。
【文档编号】B60R1/00GK105966311SQ201610132113
【公开日】2016年9月28日
【申请日】2016年3月9日
【发明人】W.尼姆
【申请人】罗伯特·博世有限公司