用于估计深度信息的方法和系统与流程

本发明涉及用于借助人工神经网络确定关于车辆的成像传感器所提供的图像信息的深度信息的方法和系统。

背景技术：

1、原则上已知借助成像传感器来三维地检测车辆的周围环境。此外，也可以将立体摄像机用于3d环境检测。为了计算距离信息，将两个摄像头所提供的图像信息相关联并借助三角测量确定图像点距车辆的距离。

2、用于立体摄像系统的摄像头例如集成至车辆的前区中。在此情况下，安装位置通常是挡风玻璃区域或散热格栅。为了在夜间产生足够的亮度以进行图像分析，通常会使用车辆的前照灯。

3、当前3d环境检测的问题在于，立体摄像系统的摄像头所获得的图像信息中的不均匀照亮的图像区域使得深度信息的确定更为困难，因为在这些不均匀照亮的区域中，无法通过立体摄像系统获得距离信息。如果因不同的安装位置而在前照灯与摄像头之间产生由视差而引起的阴影，则特别适用上述情形。

技术实现思路

1、有鉴于此，本发明的目的是提出一种确定关于图像信息的深度信息的方法，所述方法能够有所改进地确定深度信息。

2、本发明用以达成上述目的的解决方案在于具有独立权利要求1的特征的方法。优选的实施方式是从属权利要求的主题。用于确定关于图像信息的深度信息的系统是并列权利要求15的主题。

3、根据第一方面，本发明涉及一种在车辆中借助人工神经网络确定关于图像信息的深度信息的方法。所述神经网络优选地为卷积神经网络(cnn)。

4、所述方法包括以下步骤：

5、首先，提供至少一个发射器以及至少一个第一和第二接收传感器。所述发射器可以适于发射人类可见光谱范围内的电磁辐射。作为替代方案，发射器可以发射红外光谱范围内的频率范围为约24ghz或约77ghz的电磁辐射(发射器为雷达发射器)或激光辐射(发射器为激光雷达发射器)。所述第一和第二接收传感器以彼此间隔开的方式布置。这些接收传感器适配发射器类型，即这些接收传感器适于接收至少一个发射器所发射的电磁辐射的反射分量。这些接收传感器特别是可以适于接收可见光谱范围或红外光谱范围内的频率范围为约24ghz或约77ghz的电磁辐射(雷达接收器)或激光辐射(激光雷达接收器)。

6、随后，通过所述发射器发射电磁辐射并且通过所述第一和第二接收传感器接收所述发射器所发射的电磁辐射的反射分量。基于所接收的反射分量，第一接收传感器生成第一图像信息，第二接收传感器生成第二图像信息。

7、随后，对第一和第二图像信息进行比较，以便确定第一和第二图像信息中的至少一个不均匀照亮的图像区域，所述至少一个不均匀照亮的图像区域基于接收传感器的间隔布局通过视差而产生。如果第一和第二接收传感器并非位于发射器、特别是大灯的投影中心，则不均匀照亮的图像区域也可能通过相应接收传感器与其所对应的发射器之间的视差而产生。因此，换句话说，与在第二图像信息中相比在第一图像信息中更亮或更暗的至少一个图像区域被确定为“不均匀照亮的图像区域”。

8、然后，对所述至少一个不均匀照亮的图像区域的几何信息进行分析并基于所述至少一个不均匀照亮的图像区域的几何信息的分析结果，通过人工神经网络来估计深度信息。即对不均匀照亮的图像区域的大小或延伸度进行分析，因为这样就能借助神经网络得出关于物体的三维设计方案(例如物体的特定区域与车辆的距离小于另一区域)或处于车辆的环境区域中的两个物体之间的距离的结论。

9、所提出的方法的技术优势在于，即使在无法借助三角测量确定深度的不均匀照亮的区域，也可以通过神经网络根据不均匀照亮的图像区域的几何信息得出关于不均匀照亮的图像区域中和/或不均匀照亮的区域周围的一个或多个物体的间距的结论。这样就能更精确且相对于干扰因素更稳健地进行三维环境检测。

10、根据一个实施例，所述不均匀照亮的图像区域产生于第一物体与第二物体之间的过渡区域中，这两个物体距第一和第二接收传感器的距离不同。因此，所估计的深度信息是深度差信息，其包含关于第一和第二物体与车辆之间的距离差的信息。这样就能更好地分离前景物体和背景物体。在此，前景物体是与背景物体相比更靠近车辆的物体。

11、此外，不均匀照亮的图像区域可以与单个物体相关，其中图像区域的不均匀照明基于单个物体的三维设计方案而产生。因此，可以改进对物体三维表面形状的确定。

12、根据一个实施例，所述发射器为发射波长范围在380nm到800nm之间的可见光的至少一个大灯，所述第一和第二接收传感器分别为摄像头。这样就能将位于车辆上的前照灯和在可见光谱范围内工作的摄像头用作检测传感机构。

13、第一和第二接收传感器优选地形成立体摄像系统。在此情况下，将这些接收传感器所提供的图像信息相互关联并根据这些接收传感器的安装位置确定图像信息的各个像点距车辆的距离。这样就能获得关于两个接收传感器所检测的图像区域的深度信息。

14、根据一个实施例，设有至少两个形式为车辆前照灯的发射器，并且接收传感器分别对应于一个前照灯，使得待检测物体与前照灯之间的视线基本上平行于待检测物体与前照灯所对应的接收传感器之间的视线。“基本上平行”在此特别是指角度小于10°。接收传感器特别是可以非常靠近其所对应的大灯的投影中心，例如距离小于20cm。因此，大灯的照明区域与接收传感器的检测区域基本相同，安装情况基本上无视差，从而均匀地照亮接收传感器的检测区域，而不会因接收传感器所对应的大灯而产生的照明阴影。

15、根据一个实施例，所述第一和第二接收传感器集成至车辆的前照灯中。这样一来，大灯的照明区域与接收传感器的检测区域基本相同。由此实现完全或几乎完全无视差的安装情况。

16、根据一个实施例，人工神经网络根据在水平方向上测得的不均匀照亮的图像区域的宽度进行深度估计。神经网络优选地被训练成利用不均匀照亮的图像区域的宽度与图像区域所表示的环境区域的三维形状的相关性来估计深度信息。在此情况下，不均匀照亮的图像区域的水平宽度特别是适于确定不均匀照亮的图像区域的深度差。在此，深度差可能与单个轮廓物体相关，也可能与多个物体相关，其中一个物体(也称为前景物体)位于另一物体(也称为背景物体)的前方。

17、当然，除了在水平方向上测得的不均匀照亮的图像区域的宽度外，还可以确定不均匀照亮的图像区域的其他几何信息和/或尺寸，以便估计深度信息。上述几何信息和/或尺寸特别是可以是在竖直方向上测得的高度或在倾斜方向(横向于水平方向)上测得的尺寸。

18、根据一个实施例，所述人工神经网络基于第一和第二图像信息中的像点与第一和第二接收传感器之间的三角测量，在通过所述第一和第二接收传感器进行检测的图像区域中确定深度信息。优选地通过人工神经网络来借助三角测量确定深度信息，人工神经网络也会根据不均匀照亮的图像区域的几何信息来估计深度信息，即通过三角测量确定深度并通过同一神经网络来分析不均匀照亮的图像区域的几何信息。由于采用多种不同的深度信息确定机制，可以有所改进且更稳健地进行三维环境确定。

19、根据一个实施例，所述神经网络将通过三角测量确定的深度信息与通过分析至少一个不均匀照亮的图像区域的几何信息而获得的估计深度信息相互比较并根据上述比较生成经适配的深度信息。这样就能有利地消除三角测量的误差，从而整体上获得更可靠的深度信息。

20、根据一个实施例，所述人工神经网络根据对至少一个不均匀照亮的图像区域的几何信息的分析，对通过三角测量确定的深度信息进行适配。即根据所估计的深度信息对通过三角测量确定的深度信息进行修改。借此更稳健地进行三维环境确定。

21、根据一个实施例，通过至少一个发射器发射红外辐射、雷达信号或激光辐射。与此相应地，这些接收传感器的至少一部分可以由红外摄像头、雷达接收器或用于激光辐射的接收器构成。特别是根据这些接收传感器所对应的至少一个发射器来选择这些接收传感器。因此，在这些接收传感器对应于红外发射器时，这些接收传感器例如适于接收红外辐射(ir)。特别是可以将不发射可见波长范围内的光的发射器和接收传感器用于检测车辆侧面或车辆后方的环境区域，因为可见波长范围内的光会影响到其他交通参与者。这样就能实现对车辆的环境区域的至少部分的全方位检测。

22、根据一个实施例，为了估计关于表示车辆侧面和/或车辆后方区域的图像信息的深度信息，将一个以上的发射器和两个以上的接收传感器用于确定图像信息，其中设有多个传感器组，所述传感器组分别具有至少一个发射器和至少两个接收传感器，且其中将各个传感器组的图像信息合并成整体图像信息。这样就能实现对车辆的环境区域的至少部分的全方位检测。

23、根据一个实施例，所述传感器组至少部分利用不同频带的电磁辐射。例如可以在车辆的前区中使用立体摄像系统，立体摄像系统使用的发射器发射可见光谱范围内的光，而在车辆的侧面区域中例如可以使用利用红外辐射或雷达辐射的发射器。

24、根据另一个方面，本发明涉及一种用于在车辆中确定关于图像信息的深度信息的系统，所述系统包括执行人工神经网络的计算操作的计算单元、适于发射电磁辐射的至少一个发射器以及至少一个第一和第二接收传感器，所述第一和第二接收传感器以彼此间隔开的方式布置。所述第一和第二接收传感器适于接收所述发射器所发射的电磁辐射的反射分量。第一接收传感器适于根据所接收的反射分量生成第一图像信息，第二接收传感器适于根据所接收的反射分量生成第二图像信息。所述人工神经网络适于：

25、-对第一和第二图像信息进行比较，以确定第一和第二图像信息中的至少一个不均匀照亮的图像区域，其中所述不均匀照亮的图像区域基于接收传感器的间隔布局通过视差而产生；

26、-对所述至少一个不均匀照亮的图像区域的几何信息进行分析并基于所述至少一个不均匀照亮的图像区域的几何信息的分析结果来估计深度信息。

27、如果第一和第二接收传感器并非位于发射器、特别是大灯的投影中心，则不均匀照亮的图像区域也可能通过相应接收传感器与其所对应的发射器之间的视差而产生。

28、在本公开案中，“图像信息”指的是可以对车辆环境进行多维表示的任何信息。特别是成像传感器(如摄像头)、雷达传感器或激光雷达传感器所提供的信息。

29、在本公开案中，“发射器”指的是适于发射电磁辐射的发射单元。其例如是大灯、红外线辐射器、雷达发射单元或激光雷达发射单元。

30、在本发明中，术语“大致”、“基本上”或“大约”指的是与精确值的+/-10％、优选地+/-5％的偏差和/或形式为对于函数而言并不重要的变化的偏差。

31、本发明的改进方案、优点和用途也由实施例的以下描述和附图给出。所描述和/或图示的所有特征原则上都是本发明的主题(作为单项或以任意组合的形式)，无论这些特征在权利要求中如何概述或如何回溯引用。权利要求的内容也是本说明书的组成部分。