三维室内相机的功能安全性的制作方法

本发明涉及一种根据权利要求1的用于获得距离信息的针对陆用车辆的成像传感器。此外，本发明还涉及一种根据权利要求6的用于获得距离信息的针对陆用车辆的成像系统。此外，本发明还涉及一种根据权利要求10的根据本发明的成像系统在陆用车辆的环境检测系统中的用途。此外，本发明还涉及一种根据权利要求11的针对陆用车辆的环境检测系统。最后，本发明涉及一种根据权利要求13用于对陆用车辆的环境检测系统进行功能保障的方法。

背景技术：

由现有技术公知有针对陆用车辆的室内相机。这种室内相机提供了车辆室内的二维或三维图像和/或这种图像的时间序列。尤其地，室内相机提供了位于陆用车辆的室内中的人员的、尤其是车辆驾驶员、乘客和/或其他乘客的这种图像和/或图像的序列。这种公知类型的室内相机是所谓的飞行时间相机(time-of-flight-kamera)，其基于相机与对象之间的光传播时间来计算对象到相机的距离。

wo2014/195050a1公开了一种具有飞行时间成像传感器的成像系统，其中，该系统被实施成获得场景的图像，其中，该场景用至少两个不同的照射源照射。

在汽车领域中，室内相机必须符合iso26262“道路车辆功能安全(roadvehicles–functionalsafety)”的规范，以防止出现故障。

技术实现要素：

这里开始本发明的说明。本发明的任务是提供一种针对陆用车辆的室内相机，其具有经改进的功能安全性。

该任务利用具有权利要求1的特征的针对陆用车辆的用于获得距离信息的成像传感器来解决。此外，该任务利用具有权利要求6的特征的针对陆用车辆的用于获得距离信息的成像系统来解决。此外，该任务通过根据权利要求10的根据本发明的成像系统的用途来解决。此外，该任务利用具有权利要求11的特征的针对陆用车辆的环境检测系统来解决。此外，该任务通过具有权利要求13的特征的用于对陆用车辆的环境检测系统进行功能保障的方法来解决。

根据本发明的针对陆用车辆的用于获得距离信息的成像传感器被实施成检测第一和第二信号。第一信号是在以第一辐射器的射线脉冲照射的对象上反射的射线脉冲。第二信号是在以第二辐射器的射线图案照射的对象上反射的射线图案。成像传感器具有评估装置。评估装置被实施成依赖于第一信号在第一距离测量中获得对象的第一距离信息。此外，评估装置被实施成依赖于第二信号在第二距离测量中获得对象的第二距离信息。此外，评估装置被实施成依赖于第一和第二距离信息的比较来获得对象的第三距离信息。此外，成像传感器具有输出接口，其实施成依赖于第三距离信息来提供对象的图像。成像传感器被实施成使其通过第一和第二距离测量在这些距离测量中的一个距离测量出现故障时在功能上得到保护。

以下的定义适用于本发明的整个主题。

成像传感器是从到达的信号，优选是射入的光产生图像的传感器。数字相机的成像传感器从射入传感器上的光产生所拍摄的场景的二维影像。

辐射器是提供优选形式为射束的射线、例如光的设备。射束是多个射线，其中，这些射线彼此取向，优选彼此近似平行地延伸。辐射器利用射线照射对象。投影器是辐射器。

射线脉冲是存在于时间上有限的时间段内的射线。该时间段可以优选周期性地重复。依赖于各自的应用，时间段的范围从纳秒量级到阿秒量级。具有时间上的脉冲序的经时间编码的信号是射线脉冲。

射线图案是照射的几何形状，该形状通过产生这些图案的相应的辐射器利用这些射线来实现。图案例如是几何形状，如例如线或圆形。图案也意味着一系列这样的形状。这些图案通过对信号的空间编码来实现。具有射线图案的照明英语称为structuredlighting(结构化照明)。

红外波长范围内的光射线尤其被当作射线。

评估装置是处理到达的信息并输出由该处理形成的结果的设备。尤其地，评估装置是电子电路，如例如中央处理器单元或图形处理器。

第一距离测量是传播时间测量。在第一距离测量中，评估装置检测射线脉冲的为了从第一辐射器到达对象并从对象作为经反射的射线脉冲到达评估装置所需的时间。基于该传播时间，在知道射线脉冲的扩散速度的情况下得到对象到评估装置的距离。

第二距离测量是几何测量，并且优选是第一距离测量的冗余。在第二距离测量中，评估装置检测在对象上反射的射线图案与利用第二辐射器发送的射线图案相比的几何上的变化。依赖于对象的大小和远近，与所发送的射线图案的图案相比，经反射的射线图案的图案看起来失真。例如，所发送的点图案在远处的拱曲的表面上的点相比在近处的平坦的平面上看起来失真。也就是说，依赖于该几何上的变化来确定对象的远近。

接口是至少两个功能单元之间的装置，在其上要么仅单向地要么双向地进行逻辑变量(例如数据)或物理变量(例如电信号)的交换。该交换可以模拟地或数字地进行。该交换可以无线或有线地进行。

由输出接口提供的图像是三维图像，其中，对象以三维示出。在此，各个对象点的距离优选依赖于灰度级示出。

在正常的、也就是说无错的运行中，系统的构件正确地实施与安全相关的功能。功能安全性意味着：在构件发生故障时，系统尤其要么通过转移到被提前限定的安全的状态下要么通过激活接管有故障的构件的功能的另外的构件来被安全掌控。具有功能安全性的系统具有低故障概率。特别是在汽车领域中，根据标准iso26262来区分不同的安全等级，这些安全等级基于所建议的或要求的故障概率来区分。这些等级叫做asil等级，英文是automotivesafetyintegritylevel(汽车安全完整性等级)。asila建议的是：在10⁹个运行小时内发生少于1000次的故障。asilb建议的是：在10⁹个运行小时内发生少于100次的故障。asilc要求的是：在10⁹个运行小时内发生少于100次的故障。asild要求的是，在10⁹个运行小时内发生少于10次的故障。例如，针对如下的实施一个功能的构件要求asild，其中，功能故障导致用户的严重伤害，并且使用户难以生存，其中，功能故障可能会连续地发生，也就是说具有高的出现概率，例如在加速、制动或转向时，并且是难以掌控的。

如果第一距离信息与第二距离信息一致，则第三距离信息等于第一距离信息等于第二距离信息。如果在第一距离信息中出现错误，也就是说第一距离测量的结果是零，而第二测量距离的结果不为零，则第三距离信息等于第二距离信息。如果在第二距离测量中出现了错误，也就是说第二距离信息的结果是0而第一距离信息的结果不是0，则第三距离信息等于第一距离信息。通过这种在距离测量中的冗余，使得成像传感器在功能上受到保护。此外，可以将第一距离测量的结果与第二距离测量的结果进行比较，用以提高结果的准确度。

在本发明的优选的实施方式中，成像传感器是传播时间法传感器，英语称为time-of-flightsensor(飞行时间传感器)。在飞行时间传感器中，传感器的每个像素收集射入的光，并且同时测量光从源头到对象并且从对象返回到像素所花费的传播时间。飞行时间传感器的其中每个像素均将光转换成电流。像素利用多个开关和分别配属于开关的存储元件来工作。在最简单的情况下，每个像素均具有两个开关和两个存储元件。通过发送射线脉冲来驱控开关并且被打开持续了射线脉冲的时间段，也就是或脉冲长度。在此，各个开关的控制信号分别在时间上移位了一个脉冲长度。当反射的射线脉冲延迟地射到像素上时，仅其中一部分射线脉冲到达第一存储元件中，另一部分汇聚在第二存储元件中。因此，根据距离而定，在第一存储元件中汇聚的光与在第二存储元件中汇聚的光的比例发生变化。然后，通过读取像素并确定在第一和第二存储元件中的信号的比例，对对象进行定距。例如，在wo2014/195020a1中公开了飞行时间传感器的工作原理。

在wo2014/195020a1的主题中，利用一个照射源的光仅获得一个距离测量。在那里第二照射源的光仅用于改善分辨率。根据本发明的成像传感器的优点是，利用成像传感器实施两个彼此独立的距离测量，并且结合这些距离测量即使在一个距离测量出现故障时也总是获得合成的距离测量。也就是说，成像传感器在功能上受到保障以防止其中一个距离测量出现故障。

在本发明的改进方案中，评估装置被实施成获得该对象的彩色图像数据，并且依赖于这些彩色图像数据和第三距离信息来获得该对象的三维图像数据，其中，输出接口被实施成提供该彩色图像。为此，尤其提供了飞行时间传感器，其提供了具有距离信息的三维彩色图像。此外，普通的二维成像传感器的二维图像数据可以利用根据本发明的成像传感器的二维数据进行校正，以提供成像传感器的功能安全性。

有利地，评估装置被实施成执行第一和/或第二信号与彩色图像数据的比较。该比较改善了功能安全性。

优选地，成像传感器是陆用车辆的室内相机的成像传感器，并且/或者输出接口是人机接口，英语称为humanmachineinterface(人机接口)，优选形式为陆用车辆的信息娱乐系统的屏幕。尤其是对于依赖于所拍摄的车辆乘客来控制车辆中的另外的安全相关的设备的内部相机来说，根据本发明的成像传感器是有利的。这种室内相机必须同样在功能上得到保障。

根据本发明的用于获得距离信息的针对陆用车辆的成像系统具有第一辐射器。第一辐射器被实施成用射线脉冲照射对象。成像系统还包括第二辐射器。第二辐射器被实施成用射线图案照射对象。此外，成像系统还具有成像传感器。成像传感器被实施成检测第一和第二信号。在此，第一信号是在以射线脉冲照射的对象上反射的射线脉冲。第二信号是在以射线图案照射的对象上反射的射线图案。此外，成像系统具有评估装置。评估装置被实施成依赖于第一距离测量中的第一信号来获得对象的第一距离信息。此外，评估装置被实施成依赖于第二距离测量中的第二信号来获得对象的第二距离信息。此外，评估装置被实施成依赖于第一和第二距离测量的比较来获得对象的第三距离信息。此外，成像系统具有输出接口。输出接口被实施成依赖于第三距离信息来提供该对象的图像。成像系统被实施使其通过第一和第二距离测量在这些距离测量中的一个距离测量出现故障的情况下在功能上得到保护。

利用成像系统提供了完整的用于成像的系统，其具有根据本发明的成像传感器的优点。

优选地，成像系统具有光学装置，该光学装置被实施成使在对象上反射的射线在成像传感器上成像。

光学装置是光学的系统，其将反射的射线汇聚在成像系统的成像传感器的表面上。

优选地，光学装置具有光学带通滤波器，其仅让使照射工作的波长透过。因此消除了大部分的干扰性的背景。

在本发明的范畴内，借助于成像传感器的第一和第二信号也消除了干扰性的背景光。干扰性的背景光出现在第一信号和第二信号中，并且可以容易地减去。

在本发明的优选的设计方案中，成像传感器和/或光学装置通过第一和第二距离测量并且/或者优选通过第一和/或第二信号与对象的彩色图像的比较来在功能得到保障。优选地，该成像系统的故障率小于运行系统每10⁹个运行小时100次故障。因此，针对该成像系统达到了asilb等级。

利用成像系统的光学装置获得彩色图像，为此，成像系统仅具有一个光路，其根据本发明在功能上得到保护。也可以用第二光学装置获得彩色图像。

优选地，成像传感器是根据本发明的成像传感器。

根据本发明，还涉及根据本发明的成像系统在陆用车辆的环境检测系统中的用途，优选是在室内相机中的用途。

环境检测系统是检测车辆的环境并且针对陆用车辆的驾驶员提供检测的系统，尤其是在辅助驾驶任务的范畴内或者在自动化驾驶运行中。环境检测系统例如是室外相机，其具有对汇聚的相机数据的相应合并和对车辆执行器的与之相关的驱控。

有利地，周围环境检测系统的成像传感器是根据本发明的成像传感器，或者周围环境检测系统的成像系统是根据本发明的成像系统。

特别优选地，周围环境检测系统是室内相机。

根据本发明的用于对陆用车辆的环境检测系统进行功能性保障的方法具有以下方法步骤：

·以射线脉冲照射对象并获得在对象上反射的射线脉冲，

·以射线图案照射对象并获得在对象上反射的射线图案，

·在第一距离测量中测量射线脉冲的传播时间并依赖于该传播时间来获得对象的第一距离信息，

·在第二距离测量中测量射线图案的反射图案并依赖于反射图案来获得对象的第二距离信息，

·将第一和第二距离信息进行比较，并且依赖于该比较来获得该对象的第三距离信息，并且

·依赖于第三距离信息来提供对象的图像，其中，环境检测系统通过第一和第二距离测量在这些距离测量中的一个距离测量出现故障的情况下在功能上得到保护。

因此，除了提供用于进行功能保障的设备之外，还有利地提供了相应的方法。

优选地，获得对象的彩色图像，并且将这些彩色图像数据与在对象上反射的射线进行比较，以提高环境检测系统的功能安全性。

特别优选地，为了执行该方法使用根据本发明的成像传感器或根据本发明的成像系统。

根据本发明的计算机程序产品被实施成被加载到计算机的存储器中并且包括软件代码区段，当计算机程序在计算机中运行时，利用该软件代码区段可以实施根据本发明的方法。优选地，将计算机程序产品加载到成像传感器的或成像系统的存储器中。

附图说明

结合以下附图详细描述本发明。其中：

图1示出陆用车辆中的根据本发明的内部相机的实施例，

图2示出根据本发明的成像传感器的实施例，

图3示出根据本发明的成像系统的实施例，以及

图4示出根据本发明的方法的示意图。

在附图中，相同的附图标记标注了相同的参考部分。在相应的图中，分别对重要的参考部分进行编号。

具体实施方式

图1示出了作为陆用车辆1的乘用车辆。在陆用车辆1的室内6中，在驾驶员座椅上安坐有车辆乘客作为对象2。该车辆乘客例如是车辆驾驶员。车辆乘客也可以是副驾驶员。车辆乘客也是在后排座椅上的乘客，例如儿童。

在室内6中，布置有室内相机3作为环境检测系统50。室内相机3以如下方式实施，即，检测整个室内6。优选地，为此，室内相机具有广角物镜作为光学装置23。环境检测系统50可以与另外的驾驶员辅助系统和车辆执行器连接。尤其地，在此将由各个驾驶员辅助系统汇聚的数据彼此合并。室内相机3检测对象2和安全带5的布置。室内相机3尤其与气囊驱控部连接。如果例如室内相机3识别到车辆驾驶员逆着行驶方向坐着，也就是说其脸部和上半身逆着行驶方向朝向后排座椅安坐时，则室内相机3以如下方式驱控针对车辆驾驶员的安全气囊驱控部，即，不激活安全气囊。只有当室内相机3检测到驾驶员沿行驶方向正坐时，室内相机3才将针对车辆驾驶员的安全气囊驱控部切换到激活的状态下。

图2示出了成像传感器10。成像传感器10的像素阵列16获得在对象2上反射的第一信号11和第二信号12。对象2用第一辐射器21的射线脉冲13来照射。此外，用第二辐射器22的射线图案15照射对象2。射线脉冲13的各个射线脉冲具有优选小于50ns的持续时间，尤其是10ns的持续时间。射线图案15是光点阵列。像素阵列16是二维的像素的阵列。成像传感器10具有例如边长为45μm的正方形形状。在此，像素排列16优选具有200×200个像素。

评估装置30在第一距离测量中从利用像素阵列16获得的信号获得被照射的对象2的第一距离信息。第一距离测量是对射线脉冲13的传播时间的测量。在第一距离测量中，对象的距离信息依赖于传播时间来获得。

在第二距离测量中，评估装置获得被照射的对象2的第二距离信息。第二距离测量测量射线图案15的反射图案，并且依赖于反射图案地获得被照射的对象的第二距离信息。附加地，评估装置30将从像素阵列16获得的信号与2d成像传感器4的信号合并。2d成像传感器4是指高分辨率的二维成像传感器。因此，评估装置30将利用像素阵列16获得的信号与2d成像传感器4的彩色图像数据合并起来，并且获得具有颜色信息的高分辨率三维图像。该图像依赖于评估装置30从第一距离信息与第二距离信息的比较获得的第三距离信息地经由输出接口40来提供。

2d成像传感器4优选具有成像系统20的光学装置23，因此其布置在成像传感器10的光路中。替选地，2d成像传感器14具有其自己的光学装置23。

输出接口40是形式为陆用车辆的信息娱乐系统的屏幕的人机接口。

图3示出了成像系统20。成像系统20具有第一辐射器21和第二辐射器22。第一辐射器21以第一信号11照射对象。第一信号11是具有确定的脉冲长度的射线脉冲。第二辐射器22借助于第二信号12以射线图案照射对象2。

成像系统20还具有光学装置23。光学装置23是由光学的汇聚和/或发散透镜构成的系统。

此外，成像系统20具有评估装置30和输出接口40。成像传感器10优选地是根据本发明的成像传感器10。输出接口40依赖于评价装置30从第一距离信息与第二距离信息的比较获得的第三距离信息提供对象2的图像。

图4示出了用于对环境检测系统50进行功能保障的方法。在此，在第一方法步骤v1中，用射线脉冲13照射对象2。获得在对象2上反射的射线脉冲13。在第二方法步骤v2中，以射线图案15照射对象2。获得在对象上反射的射线图案15。方法步骤v1和v2在时间上依次或在时间上并行地进行。在方法步骤v3中，在第一距离测量中测量射线脉冲的传播时间，并且依赖于传播时间来获得对象2的第一距离信息。在方法步骤v4中，在第二距离测量中测量射线图案的反射图案，并且依赖于反射图案来获得对象2的第二距离信息。在方法步骤v5中，将第一和第二距离信息相互比较，并且依赖于该比较来获得对象2的第三距离信息。在方法步骤v6中，依赖于第三距离信息来提供对象2的图像。在方法步骤v7中，与第一和第二距离信息的比较并行地获得对象2的彩色图像。在方法步骤v8中，将该彩色图像与在对象2上反射的射线进行比较。

为了环境检测系统50的功能安全性，将2d成像传感器的数据与成像传感器10的二维图像信息进行比较。成像传感器10优选是飞行时间传感器。

附图标记列表

1陆用车辆

2对象

3室内相机

42d成像传感器

5安全带

6室内

10成像传感器

11第一信号

12第二信号

13射线脉冲

15射线图案

16像素阵列

20成像系统

21第一辐射器

22第二辐射器

23光学装置

30评估装置

40输出接口

50环境检测系统

v1至v8方法步骤