借助人工神经网络确定地平面的方法和系统与流程

1.本发明涉及一种确定车辆的环境区域中的道路平面的方法和系统以及一种具有这种系统的车辆。


背景技术：

2.自动驾驶功能需要能够可靠地检测远距离处的较小障碍物的传感器系统。可以使用激光雷达(lidar)系统或立体摄像系统来检测此类障碍物，因为这些系统能够对周围环境进行三维成像。这样就能同时检测障碍物以及自由空间的大小和距离。立体摄像系统的优点在于，其横向分辨率明显高于lidar系统，而lidar系统则能非常精确地确定距离。
3.就自动驾驶功能而言，检测道路上的障碍物尤为重要。重要之处特别是在于例如能够辨别是否道路上仅存在可驶过的较小物体，或者是否其为无法驶过的障碍物且因此必须采取紧急制动或避让策略。
4.为此，重要的是，能够尽可能精确地确定道路上的对象的高度，即使是在距离汽车例如35m或更远的位置处，以便有足够的时间来采取紧急制动或避让策略。
5.使用lidar传感器的问题在于，尽管这些传感器提供了较高的距离分辨率，但从距离车辆约35m之处起，激光束被道路全反射，使得无法再检测道路平面。
6.先前已知的立体摄像系统的问题在于，其具有较高的信噪比，故而只能不充分地确定道路平面或道路平面上的对象。


技术实现要素：

7.有鉴于此，本发明的目的是提出一种确定车辆的环境区域中的道路平面的方法，所述方法能够可靠且高精度地确定道路平面。
8.本发明用以达成上述目的的解决方案在于一种具有独立权利要求1的特征的方法。优选实施方式是从属权利要求的主题。一种用于确定车辆的环境区域中的道路平面的系统是独立权利要求10的主题，一种具有这种系统的车辆是独立权利要求15的主题。
9.根据第一方面，本发明涉及一种确定车辆的环境区域中的道路平面的方法。所述车辆具有用于采集车辆的环境区域的立体图像的立体摄像系统。所述立体摄像系统具有至少两个设置在车辆上的不同位置处的摄像头。为了提高距离确定的精度，这些摄像头优选地彼此间隔大于0.8m、特别是大于1m的距离。这些摄像头优选地集成在挡风玻璃上或者每个摄像头集成至一个前照灯中。此外，所述车辆具有人工神经网络，所述人工神经网络对立体摄像系统所提供的图像信息进行加工。该神经网络接收摄像头的图像信息并确定这些图像信息的视差信息。这些视差信息特别是表明两个摄像头的图像信息的对应像素间的距离。该距离是由该像素所示出的场景区域的不同视角和由此产生的视差而引起的。基于这些视差信息计算距离信息，所述距离信息包含关于图像信息上示出的对象距立体摄像系统或车辆的距离的信息。一般而言，这些距离信息指示所示出的对象相对于车辆所处的深度。该距离或深度可以与不同的参考点有关，例如与立体摄像系统的参考点或车辆的参考点有
关。然后从这些距离信息中提取道路距离信息。这特别是表明，借助信息限制将所有距离信息限制为与道路相关的信息。然而，要注意的是，道路距离信息不必仅包含道路的距离信息，而是还可以包含针对其他对象、特别是非静止对象的距离的信息。
10.最后，基于这些道路距离信息确定道路平面，其中所述确定也可以表示对道路平面的估计。
11.所述方法的技术优势在于，通过使用神经网络估计视差，可以确定低噪声的视差信息，进而确定精确的距离信息，这也使得确定距车辆大于35m的距离范围的距离信息成为可能。通过提取道路距离信息并根据这些道路距离信息确定道路平面，可以更好地识别道路上的障碍物。
12.根据一个示例性实施例，基于通过车辆的驾驶辅助系统的环境模型提供的对象信息从距离信息中提取道路距离信息。车辆的环境模型例如包含通过车载传感器系统进行检测和/或分类和/或由地图提供的对象。这些对象例如可以是车辆、房屋、行人、骑自行车的人等。道路距离信息可以通过从距离信息中去除由环境模型已知的这些对象来提取，使得道路平面的确定不受这些对象的影响。这样就能更精确地确定道路平面。
13.根据一个示例性实施例，从距离信息中提取道路距离信息，具体方式在于，从立体图像或该立体图像中所包含的距离信息中减去和/或除去从车辆的驾驶辅助系统的环境模型中获得的信息。在此情况下，环境模型的信息又可以是车辆环境中的对象，其包含在该环境模型中。这样就又能实现更精确的道路平面确定。
14.根据一个示例性实施例，人工神经网络通过图像信息的非线性相关性来补偿因立体摄像系统的两个摄像头相对于彼此的相对运动而产生的校准误差。人工神经网络优选地被训练以从识别出的视差中识别出立体摄像系统的摄像头的校准并对其进行补偿。在训练期间，将从不同视向记录并适当标记的图像序列输送至神经网络，即针对各个像素存在相应视差信息和/或距离信息。这样就能选择神经网络的加权因子，使得识别出的视差与通过训练数据预设的视差之间的误差或通过神经网络确定的距离信息与训练数据的距离信息之间的误差最小化。
15.根据一个示例性实施例，基于道路平面来检查在车辆的环境区域中的道路上是否存在对象。例如结合道路平面和立体摄像系统所提供的距离信息，确定立体图像中是否存在至少一个相对于道路平面向上突出的区域，进而可以表示对象或障碍物。这样就能基于所检测的道路平面来对道路表面上的对象进行对象识别。
16.根据一个示例性实施例，基于与道路平面相关的信息来检查道路区域中的对象的尺寸和/或高度。例如，可以通过对象相对于所确定的道路平面向上突出至何种程度来检查对象的高度。可以基于所检测的横向宽度和/或深度(即进入图像平面的尺寸)来确定对象的尺寸。通过该对象的尺寸或高度可以确定是否可以驶过该对象，或者是否必须采取避让策略或紧急制动策略。
17.根据一个示例性实施例，基于识别到的对象的高度，即该对象相对于道路平面突出至何种程度的几何信息，对对象进行分类。分类例如可以表明对象类型和/或对象尺寸或者可以将该对象标记为可驶过或无法驶过。基于该分类，驾驶辅助系统可以做出与分类相关的决定。
18.根据一个示例性实施例，基于在车辆行驶期间被记录且标示为与道路相关联的信
息的立体图像的信息对人工神经网络进行再训练。这样就能通过在系统持续工作的过程中获得的信息对神经网络进行再训练，进而改进道路平面的估计。
19.根据一个示例性实施例，人工神经网络提供视差信息并且在独立的计算单元中根据视差信息计算距离信息。借此可以降低神经网络的复杂性。作为替代方案，人工神经网络提供距离信息作为输出信息。借此通过立体摄像系统直接提供距离信息，可以通过驾驶辅助系统直接对这些距离信息进行分析。
20.根据一个示例性实施例，摄像头具有惯性传感器，用于检测相应摄像头的运动变化。惯性传感器例如可以检测摄像头沿笛卡尔坐标系的三个空间方向的平移运动和围绕笛卡尔坐标系的三个空间轴的旋转运动。这样就能识别相应摄像头的绝对位置或定向变化以及两个摄像头相对彼此的相对位置或定向的变化(外部校准参数)。
21.根据一个实施例，将摄像头的惯性传感器的信息用于进行神经网络的初始训练。训练数据优选地具有模拟摄像头的位置或定向的变化的惯性传感器信息。这样就能训练神经网络以识别和补偿校准误差。
22.根据一个示例性实施例，将摄像头的惯性传感器的信息用于在立体摄像系统持续工作的过程中检测摄像头的位置或定向变化，从而补偿立体摄像系统的校准变化。优选地，在在线训练中将摄像头的惯性传感器的信息用于对神经网络的加权因子进行适配，以便使神经网络与校准变化匹配。
23.根据一个实施例，将传感器所提供的信息用于识别和补偿校准变化。例如，可以将温度传感器的信息用于补偿与温度相关的校准变化。
24.根据另一方面，本发明涉及一种用于识别车辆的环境区域中的道路平面的系统。所述系统包括用于采集车辆的环境区域的立体图像的立体摄像系统和用于加工所述立体摄像系统提供的图像信息的人工神经网络。神经网络适于确定车辆的环境区域的视差信息。该神经网络或独立于神经网络而设置的计算单元配置为基于视差信息计算距离信息，所述距离信息包含与图像信息上示出的对象距立体摄像系统或车辆的距离相关的信息。此外，神经网络或与独立于神经网络而设置的计算单元配置为从距离信息中提取道路距离信息并根据道路距离信息确定与道路平面相关的信息。
25.根据一个示例性实施例，所述系统适于接收通过车辆的驾驶辅助系统的环境模型提供的对象信息。此外，所述系统还适于基于所述对象信息从距离信息中提取道路距离信息。车辆的环境模型例如包含通过车载传感器系统进行检测和/或分类以及/或者由地图提供的对象。这些对象例如可以是车辆、房屋、行人、骑自行车的人等。道路距离信息可以通过从距离信息中去除这些由环境模型已知的对象来提取，使得道路平面的确定不受这些对象的影响。这样就能更精确地确定道路平面。
26.根据一个实施例，所述系统配置为从距离信息中提取道路距离信息，具体方式在于，从立体图像或立体图像中所包含的距离信息中减去和/或除去从车辆的驾驶辅助系统的环境模型中获得的信息。在此情况下，环境模型的信息又可以是车辆环境中的对象，其包含在环境模型中。这样就又能实现更精确的道路平面确定。
27.根据一个示例性实施例，所述系统配置为基于与道路平面相关的信息来检查在车辆的环境区域中的道路上是否存在对象。
28.根据一个实施例，所述系统配置为基于与道路平面相关的信息来检查道路区域中
的对象的尺寸和/或高度，其中基于识别到的对象的高度，即该对象相对于道路平面突出至何种程度的几何信息，对该对象进行分类。
29.根据最后一个方面，本发明涉及一种车辆，其包括上述根据示例性实施例中的一个的系统。
30.在本发明中，术语“大致”、“基本上”或“大约”指的是与精确值的+/-10％、优选地+/-5％的偏差和/或形式为对于功能而言并不重要的变化的偏差。
31.本发明的改进方案、优点和用途也由示例性实施例的以下描述和附图给出。所描述和/或图示的所有特征原则上都是本发明的主题，无论是单独还是以任意组合的形式，无论这些特征在权利要求中如何概述或如何回溯引用。权利要求的内容也是本说明书的组成部分。
附图说明
32.下面结合针对示例性实施例的附图对本发明进行详细说明。其中：
33.图1示例性地示出与用于提供立体图像的人工神经网络耦合的立体摄像系统的示意图；
34.图2示例性且示意性地示出用于确定道路平面以及用于基于所确定的道路平面来检测道路上的对象的流程图；以及
35.图3示例性地示出确定或估计道路平面的方法步骤的示意图。
具体实施方式
36.图1示例性地示出用于确定道路平面的系统1的示意性框图。
37.该系统具有立体摄像系统2，其包括至少两个摄像头2.1、2.2。立体摄像系统2记录车辆周围环境、特别是沿正向行驶方向位于车辆前方的区域的图像信息作为图像对，即在相同的时间点分别借助第一摄像头2.1记录一个图像并且借助第二摄像头2.2记录一个图像，这两个图像显示的是相同的场景，但却是从不同的视向显示，因为摄像头2.1、2.2布置在车辆中的不同位置处。
38.摄像头2.1、2.2例如可以安装在车辆的前照灯中。作为替代方案，摄像头2.1、2.2也可以集成至车辆的前部区域或挡风玻璃中。摄像头2.1、2.2彼此之间的距离优选地大于0.5m，以便在尽可能大的基础宽度上实现较高的距离分辨率。
39.此外，该系统还具有人工神经网络3，人工神经网络适于对立体摄像系统2所提供的图像信息进行加工。人工神经网络3例如可以是深度神经网络，特别是卷积神经网络(cnn:convolutional neural network)。
40.神经网络3接收立体摄像系统2所提供的图像信息并估计这些图像信息的视差信息。在此情况下，这些视差信息表明图像对的图像信息的各个像素之间的横向偏移量有多大。该横向偏移量是借助像素示出的场景区域距车辆或立体摄像系统2的距离的度量。
41.神经网络3适于估计视差信息并对因立体摄像系统2的外部参数的变化而产生的校准误差进行补偿。为此，借助已知所有像素与立体摄像系统的距离的训练数据来训练神经网络3并且优化神经网络3以识别视差。
42.神经网络3使用非线性相关器来确定视差信息。神经网络3接收立体摄像系统2所
提供的图像信息并估计这些图像信息的视差信息。在此情况下，这些视差信息表明图像对的图像信息的各个像素之间的横向偏移量有多大。该横向偏移量是借助像素示出的场景区域距车辆或立体摄像系统2的距离的度量。借此可以从这些视差信息中获得距离信息，这些距离信息表明借助像素示出的场景区域距离车辆或立体摄像系统2有多远。这样就能通神经网络3提供立体图像，除了形式为像素相关的色值的二维图像信息之外，这些立体图像还包含每个像素的距离信息。
43.例如可以在立体摄像系统2的控制设备中对神经网络3进行处理。作为替代方案，也可以在独立于立体摄像系统2而设置的控制设备中操作神经网络3。
44.神经网络3可以通过训练数据进行训练，即神经网络3的加权因子通过训练阶段进行适配，使得神经网络3提供针对立体摄像系统2所提供的图像信息的视差信息和/或距离信息。
45.训练数据(也被称为基础事实信息)具有分别借助摄像头2.1、2.2的不同位置和方向示出同一场景的图像对。此外，训练数据还具有针对每个图像像素的距离信息，从而可以基于训练数据确定神经网络3的计算结果与训练数据之间的误差并依次对神经网络3的加权因子进行适配，以便减少误差。
46.如图2所示，神经网络3所提供的视差信息随后被用于计算距离信息。优选地针对图像信息的每个像素计算距离信息，这些距离信息表明借助该像素示出的场景区域距离车辆或立体摄像系统2有多远。
47.立体图像包含关于车辆前方的道路区域的信息。道路区域例如也可以涉及车辆前方超过35m的道路区域，该道路区域无法借助雷达传感器或lidar传感器进行检测，因为从距离车辆约35m之处起，这些传感器所发出的电磁辐射在道路平面上经历全反射。
48.借助立体摄像系统2检测道路区域是有利的，因为可以借助立体图像中所包含的距离信息来确定道路平面。然后可以在确定道路平面之后分析立体图像的特定区域是否突出于道路平面。这类突出的区域可以指示位于道路上的对象或障碍物，以便在识别出该对象或障碍物并视情况对其进行分类之后，可以判断该对象或障碍物是否为可驶过的障碍物或者是否必须采取避让策略。
49.车辆优选地具有提供环境模型的驾驶辅助系统，该环境模型包含车辆环境中的对象。可以通过车辆的任何传感器和/或通过访问地图信息来生成该环境模型。
50.为了确定道路平面，优选地从立体图像中或者至少从立体图像中所包含的距离信息中去除环境模型中存在的对象。换句话说，通过从立体图像或距离信息中排除环境模型中的对象来提取道路距离信息。由此减少立体图像或距离信息的信息含量，从而可以基于在信息含量方面有所减少的立体图像或距离信息更精确地确定道路平面。
51.例如可以通过从立体图像或距离信息中减去环境模型信息来从环境模型中移除对象。
52.道路表面所对应的距离信息优选地涵盖与道路表面相应的区域。
53.例如可以基于立体图像或距离信息来确定或估计道路平面，具体方式在于，将一平面放置到道路所对应的距离信息上，使得假定道路平面与该道路所对应的距离信息之间的总误差最小化。这样就能确定与立体图像中识别出的道路表面近似的道路平面。
54.如果从环境模型或立体图像中可以看出道路具有不同高度(例如车行道和人行
道)或不同倾斜的路段(例如朝相反的方向侧向倾斜的路段)，则也可以基于多个不同的平面进行道路平面估计，即借助一个以上假定道路平面来近似道路表面。
55.在确定道路平面之后，可以确定立体图像的向上突出于道路平面的区域。
56.根据突出区域的尺寸和/或该区域相对于道路平面的高度，可以在分析步骤中确定该区域是否是位于道路上的对象。例如可以预设尺寸或高度阈值，这些阈值规定一个区域必须有多大或多高才会被识别为道路上的对象或障碍物。
57.此外，可以在识别出对象或障碍物之后对其进行分类。
58.在识别出对象并视情况对其进行分类之后，可以将针对该对象的信息(例如位置、几何尺寸、对象分类等)容纳在车辆的环境模型中。在此情况下，可以将针对该对象的信息传输至驾驶辅助系统的提供环境模型的控制设备。
59.从图2中可以看出，可以基于所获得的道路信息通过在线训练对人工神经网络3进行训练。在此情况下，可以连续或间歇地进行在线训练，例如在某些时间点或在某个时间跨度过去之后进行在线训练。
60.可以将借助立体摄像系统2确定的信息用作训练数据，或者可以借助这些信息对现有的训练数据进行丰富或修改。然后可以基于这些修改后的训练数据来训练神经网络，即基于训练数据对神经网络的神经元或加权因子进行适配。换句话说，借助立体摄像系统2确定的信息用作用于对人工神经网络进行再训练的基础事实数据库。这样就能不断改进地平面识别。
61.立体摄像系统2的摄像头2.1、2.2可以分别具有惯性传感器。在此情况下，惯性传感器优选地集成至相应的摄像头中。惯性传感器配置为使得可以借助惯性传感器来检测摄像头2.1、2.2的运动变化。各个摄像头2.1、2.2的惯性传感器例如可以检测沿笛卡尔坐标系的三个轴的平移运动变化和围绕这三个轴的旋转运动变化。这样就能随着时间的推移跟踪各个摄像头2.1、2.2的绝对位置或定向，而且还可以确定或追踪这两个摄像头2.1、2.2的相对位置或定向。
62.基于这些测量数据，可以跟踪立体摄像系统2的外部参数和其他校准参数，例如基础宽度。借此在立体摄像系统2的工作过程中进一步确保高精度的在线校准并且能够与所使用的立体方法无关地计算出高精度的距离信息或密集的深度图。
63.此外，还可以将摄像头2.1、2.2的惯性传感器的测量数据用于训练神经网络3。可以将惯性传感器的测量值提供给神经网络3作为输入信息，以便可以据此对神经网络的加权因子进行适配，进而可以将距离信息的确定与摄像头2.1、2.2的有所改变的定向进行匹配。
64.图3示出说明确定道路平面的方法的步骤的框图。
65.首先，通过立体摄像系统2的摄像头2.1、2.2记录图像信息(s10)。图像信息为图像对，其中图像对的图像在同一时间点记录，确切而言，由第一摄像头2.1记录第一图像，由第二摄像头2.2记录第二图像。
66.随后，神经网络确定车辆的环境区域的视差信息(s11)。这些视差信息特别是表明图像对的图像中的对应像素间的距离，其中该距离因车辆上的摄像头2.1、2.2的不同位置和由此而产生的视差而产生。
67.然后，基于这些视差信息来计算距离信息，距离信息包含关于图像信息上示出的
对象距立体摄像系统2或车辆的距离的信息(s12)。
68.随后从距离信息中提取道路距离信息(s13)。这特别是表明，从立体图像或立体图像的距离信息中排除至少部分信息，其中已知这些信息与道路无关。
69.最后，基于道路距离信息确定道路平面(s14)。这特别是可以通过以下方式实现：寻找一个平面，其在空间中的几何位置选定为使得立体摄像系统2所提供的距离信息具有距该平面的尽可能小的距离。特别地可以通过以下方式确定该平面，根据立体摄像系统2所提供的距离信息与该平面之间的差的总和得出的平均误差最小。
70.上文已通过实施例对本发明进行了说明。当然，在不脱离权利要求所定义的保护范围的情况下，可以进行多种改变和修改。
71.附图标记表
[0072]1ꢀꢀꢀꢀꢀꢀꢀꢀ
系统
[0073]2ꢀꢀꢀꢀꢀꢀꢀꢀ
立体摄像系统
[0074]
2.1、2.2 摄像头
[0075]3ꢀꢀꢀꢀꢀꢀꢀꢀ
人工神经网络