用于显示车辆周围环境的驾驶员辅助系统的制作方法与工艺

本公开涉及用于显示车辆的周围环境的驾驶员辅助系统，更具体地，本公开目的在于从车辆上方的观察点显示车辆的周围环境。

背景技术：
存在有在停车状况期间示出车辆周围环境的鸟瞰图的可用的车辆显示系统。呈现给驾驶员的图像是来自外部相机的重构的图像。例如，相机放置在车辆的前部，侧视镜处和后部。重构图像处理算法通常假定所有物体是平躺在地面上的。这种方法引起地面水平上的图像变形。邻近装备有鸟瞰图或顶视相机系统的车辆的停放的车辆在显示的图像中看起来非常变形。这种变形可能使得驾驶员很难能够清晰地识别显示的图像中的物体。即使他能够认出在图像中的可能的物体，他可能也不能够识别该物体的尺寸，正确距离或该物体的形状。在车辆内使用顶视相机系统的价值和接受度因此受到消极影响。

技术实现要素：
根据本公开，提供了驾驶员辅助系统，其配置成在车辆显示器上显示车辆的对应的周围环境的图像。至少一个相机可以获取车辆的周围环境的图像。驾驶员辅助系统还可以包括观察点转换器，其可配置成执行图像的观察点转换以生成具有从车辆上方向下看的观察的点的观察点转换的图像。至少一个传感器，可配置成测量在车辆周围环境中的至少一个物体的距离和部分形状的形状。图像处理器可以配置成基于从车辆向至少一个物体看的至少一个物体的部分形状和检测到的距离来修改观察点转换的图像。观察点转换的图像的修改可包括在观察点转换的图像中增强至少一个物体的三维外观。结果，驾驶员现在可以能够得到车辆的周围环境的更好的视野。通过增强观察点转换的图像的三维外观，物体的距离和形状信息可以可视地包含在图像中。因此，显示的图像的观看者可以容易地更快地得到对车辆周围的物体的位置的印象。因此，当使用所建议的驾驶员辅助系统时，增强的图像可以改进安全性。附图说明具体实施方式具体地参考附图，其中：图1示出配置成在车辆显示器上显示车辆的对应的周围环境的图像的驾驶员辅助系统的框图。图2示出有关装备有所描述的驾驶员辅助系统的车辆的示意图，示出车辆相机的观察区域。图3示出现有技术中已知的车辆显示器上显示的具体的车辆的示范鸟瞰图的说明。图4示出有关装备有LIDAR的车辆的视图，说明了通过激光雷达测量的对应的点云。图5示出描述的驾驶员辅助系统的鸟瞰图的说明，显示识别的车辆，包括识别的车辆的牌子。图6a至图6c示出了有关网格表示具有低(图6a)、中(图6b)和高(6c)细度的网格的车辆的透视图。图7示出辅助驾驶员在车辆显示器上显示车辆的对应的周围环境的图像的发明方法的流程图。具体实施方式根据本公开，提供了驾驶员辅助系统，并且其配置成在车辆显示器上显示车辆的对应的周围环境的图像。至少一个相机能获取车辆的周围环境的图像。驾驶员辅助系统还可包括观察点转换器，其可配置成执行图像的观察点转换以生成具有从车辆上方向下看的观察的点的观察点转换的图像。至少一个传感器，可配置成测量在车辆周围环境中的至少一个物体的距离和部分形状的形状。图像处理器可以配置成基于从车辆向至少一个物体看的至少一个物体的部分形状和检测到的距离来修改观察点转换的图像。观察点转换的图像的修改可包括在观察点转换的图像中增强至少一个物体的三维外观。结果，驾驶员现在可以能够得到车辆的周围环境的较好视野。通过增强观察点转换的图像的三维外观，物体的距离和形状信息可以可视地包含在图像中。因此，显示的图像的观看者可以容易地更快地得到车辆的周围物体的位置的印象。因此，当使用所建议的驾驶员辅助系统时，增强的图像可以改进安全性。在一个实施例中，该系统配置成，如果检测到的距离在预定义的阈值之下，则加亮检测到的物体。例如，额外的加亮指示驾驶员：特定的物体接近车辆，且取决于他的驾驶路径意图，他需要额外注意该物体。在图像中可能加亮物体的一些示例包括对物体的一部分进行着色标记，对整个检测到的物体进行着色标记，显示或描画出物体的外形，或在物体上或靠近物体显示文字或符号。在停车状况中，驾驶员通常不得不特别注意路缘、沟渠和杆柱。在一个实施例中，因此驾驶员辅助系统配置成检测并加亮路缘、沟渠和杆柱。例如，如果在车辆附近检测到路缘，如果路缘的高度低于预定义的阈值高度值，则彩条显示在路缘位置上或附近。彩条也可以显示为半透明的。如果高度高过这个阈值，则条以不同的颜色显示(例如，以红色)，且如果到路缘的距离低于预定义的距离值，则可以额外地以闪烁或任意吸引注意的模式显示。在另一个实施例中，车辆平行于路缘停放。由于驾驶员辅助系统已经测量到物体的距离或位置和高度(包括路缘)，显示器能够指示车辆车门(如果被操作打开)，可能与在车辆车门打开范围中的路缘或其他任何物体(例如柱子，垃圾桶，车辆等)碰撞。在另一个实施例中，该系统配置成加亮移动物体。对于车辆驾驶员来说这特别有价值，因为他可能没有意识到物体正在移动或靠近他的车辆。例如，如果在倒车停车的状况下，行人正靠近车辆行走，则显示器将在显示的图像上用环绕行人或其外形的彩色圆来加亮移动的行人。在另一个实施例中，只有低于预定义的距离阈值，才加亮移动的物体。驾驶员辅助系统通过基于接收到的传感器数据而生成围绕车辆的至少部分的三维景观以及通过映射观察点转换的图像在生成的三维景观上来增强观察点转换的图像的三维外观。换句话说，该系统首先创建反映车辆周围物体的所测量的距离的表面或虚拟图(map)。然后，在包括更小区域的这个虚拟图的表面上生成网格。该区域的大小通常取决于该表面的曲率。该区域的大小可以相等或不同。表面区域的弯曲地带中的该区域越小，则通过单独区域的整个重构外观和该表面的光滑度越好。通常，网格区域的大小可以取决于通过网格覆盖的对应的表面区域的曲率来动态调整。接下来，所有图像部分可以映射到网格区域中，考虑它们对应的空间方位。将图像部分映射到网格区域中还可以包括调整将要映射的对应的图像部分的观察点。在进一步的实施例中，至少一个传感器包括激光扫描机，雷达传感器，或超声波传感器。此外，能够确定物体相对于车辆的距离任何传感器可以适合用于所建议的驾驶员辅助系统。所有传感器还可在车辆中联合使用。例如，LIDAR(光和雷达传感器的组合)可以与超声波传感器一起在车辆中使用，其中在该示例中超声波传感器可以用来检测更近的物体，而LIDAR可以用来检测较远的物体。在一个实施例中，该系统可以配置成在车辆的对应的周围环境的一张获取的图像中识别车辆，以及识别车辆的牌子或类型。例如，如果驾驶员靠近两辆车(例如大众Touareg和大众Passat)之间的停车空间，前部观察相机辨别对应的车上的大众标识和在后备箱上的车辆类型字母：“Touareg”和“Passat”。该系统现在可在检测到的物体上对应地显示大众标识和对应的“Passat”或“Touareg”。在另一个实施例中，驾驶员辅助系统使用车辆的车载(onboard)或非车载(offboard)图像数据库。如果靠近停车空间时可识别特定车辆，则可以显示对应的图像(也可以是车辆的图形表示)。数据库包含车辆的三维模型，使得在观察点修正图像中可以放置具有正确的尺寸的对应的图像或三维模型。在示例中，驾驶员辅助系统还可检测车辆的颜色并且显示的车辆图像或模型可以与检测的颜色进行颜色匹配。邻近车辆的图像可以存储在驾驶员的车辆中的存储器中。当返回到车辆时，驾驶员辅助系统可以执行似真性检查，靠近车辆停车状况是否已经改变。例如，如果车辆的颜色和特性特征保持相同，则存储图像或部分存储图像可以再次显示。例如，如果车辆一侧的图像中的颜色和存储的车辆图像颜色不匹配，则该系统可以假定新的车辆已经停放在该侧并从该车辆侧获取新的图像。如果在表示邻近的车辆的图像中的车辆颜色和主要特性保持相同，则将显示存储信息，例如，牌子、类型或图形模型等，假定在对应侧处没有不同的车辆已经停放。根据本公开，图1示出驾驶员辅助系统100的框图，其配置成在车辆显示器150上显示车辆101的对应的周围环境的图像。至少一个相机110-114获取车辆101周围环境的图像，其可以提供给图像组合器116。在另一个实施例中，可以使用五个相机110-114，其可以位于例如后部，前部和侧视镜中。由于车辆101中的相机位置，获取的图像可能彼此具有重叠，其可以通过图像组合器116消除。可以检测并删除图像的重叠区域，使图像组合器116能够生成不具有重叠的车辆101的周围环境的图像。该图像可以从相机110-114相对于地面的不同的观察点而获取。例如，位于侧视镜中的相机110、111(图2)具有相对于地面的不同于后部观察相机114或前部相机112、113的观察点。图像处理器130包括能够处理不同图像处理任务的至少一个单元或不同的图像处理单元。观察点转换器117可以配置成，例如，或者变换相机110-114单个获取的图像、组合图像的部分或整个组合的图像。车辆101还可装备至少一个传感器115，提供车辆101周围的物体距离的测量。如果传感器115可以能够测量针对物体的多于一个距离点，则可以检测或近似物体的形状或大致形状。在一个实施例中，LIDAR(光检测和测距)传感器收集车辆101的周围环境的高分辨率信息。可以通过景观生成器118使用不同测量以创建车辆101的周围环境的表面轮廓或虚拟景观。虚拟景观或表面轮廓表示基于检测的距离测量点的表面。随后可以通过景观生成器118用近似如从车辆101看去的表面的网格601-603来覆盖虚拟景观。单独网格区域在可以由图像映射器119确定或辨别的空间内具有方位。图像映射器119将组合的图像的图像区域映射到对应的网格区域。额外的观察点变换操作可以是必要的以将空间内的图像区域方位采用(adopt)于空间内对应的网格区域方位。结果进一步可以被变换到驾驶员的观察点或在车辆或任何物体上往下看的任何鸟瞰观察点。在一个实施例中，观察点可以取决于驾驶或物体状况而动态选择。组合的映射的图像可以然后被处理为显示到车辆显示器150上。通过以所描述的或类似的方法(包括不同的顺序)处理图像，可以为车辆驾驶员提供视野图像，其中可以增强周围环境的三维观察。这增强了驾驶中的安全性，因为通过车辆驾驶员对状况的可视获取(包括物体相关距离的即刻获取)可以更容易更快地完成。在一个实施例中，车辆101靠近自由停车空间，其中一个邻近的车辆停放在左边。驾驶员辅助系统100通过显示自己车辆101在中心外的鸟瞰图中而在车辆显示器150上着重对左边车辆的观察。提供更大的区域用于显示感兴趣的物体：左边的车辆。通过这样做，驾驶员辅助系统101着重于车辆周围的感兴趣空间，其可以是具有检测的物体的空间。如果车辆在停车位置处停止，则显示的图像的观察点可以再次变化，使得车辆101可以在图像的中心显示，驾驶员现在在关闭发动机之前得到他的车辆101周围的物体状况的视野。图2示出有关装备有创发明的驾驶员辅助系统100的车辆101的示意图，示出车辆相机110-114的示意性观察区域210-214。仅仅为了说明目的，没有观察区域210-214重叠。在一个实施例中，车辆相机110-114的至少两个观察区域210-214重叠。图像组合器116组合车辆相机110-114的至少两个获取的图像。图3示出了车辆101的车辆显示器150上的视图，提供如在现有技术中已知的有关车辆101的顶视图。显示的图像包括车辆101周围环境区域。在图像中，邻近车辆101的右侧和左侧显示的是停放车辆301、302。在图像中车辆301、302的对应的车辆轮胎303-306看起来非常变形。取决于变形的物体的外观，对车辆驾驶员可能很难识别在所显示的图像中的对应的物体。当车辆101移进或移出停车空间时，变形可以另外动态变化。这可能额外迷惑车辆驾驶员关于物体的存在和实际尺寸。图4示出有关从车辆101上方角度看装备有LIDAR115的车辆的视图，说明了通过LIDAR传感器115测量的对应的点云。激光雷达115扫描车辆101的周围环境，从而测量车辆101的周围的物体401的距离。因为它的物理本质，LIDAR115的传感器光束可能不能够检测在物体401之后的物体位置。如在图4中所示的点云的可视化中，当从LIDAR传感器115向物体402看时，在物体401之后可能有阴影402。图5示出驾驶员辅助系统110的鸟瞰图的说明，显示识别出的车辆501、502，包括识别的车辆501、502的车辆牌子505、506。在一个实施例中，当车辆101正靠近停车空间时，车辆相机110-114获得停放在邻近停车空间的车辆牌子和车辆的类型，例如类型可以是Touareg、Golf、A4、A8等，并且牌子名称可以是例如大众或奥迪。图像处理器130可以配置成识别获取的图像中的车辆501、502的名称或标识并储存识别的车辆501、502的位置到存储器(未示出)中。如果车辆101进入其停车空间，图像处理器130可以配置成在显示器150上显示邻近的被识别的车辆501、502的类型以及车辆牌子。如果驾驶员辅助系统100包括其中可以存储对应的信息的数据库，则车辆牌子或类型还可以以它们的正确的字母或正确的标识显示。备选地，驾驶员辅助系统100可以配置成连接至提供对数据库进行访问的远程服务器(未示出)。该链接可以借助于无线数据连接提供，驾驶员辅助系统100可以能够从其中请求以及接收车辆或物体信息。驾驶员辅助系统100可以或者发送对车辆或制造商标识505、506的特定的请求，或者在另一个实施例中，发送包含车辆图像，部分示出车辆的图像，车辆标识505、506或车辆类型的获取的图像的至少一个子图像。远程服务器可然后在子图像中识别任何车辆标识505、506和车辆类型并且发送信息回到请求驾驶员辅助系统100。相对于距离和位置信息，驾驶员辅助系统100可以在被识别的车辆501、502上的显示图像中显示车辆类型和车辆牌子标识505、506。在另一个实施例中，被识别车辆501、502的三维图形模型或图像可以通过驾驶员辅助系统100来接收。模型或图像可以然后在显示器150中的正确的位置处显示。此外，路缘510、支柱或沟渠可以在显示器150上加亮。这些物体401具有特性尺寸和形状(高度、延伸、预定义的形状等)，其可以由图像处理器130检测。在图5中显示的图像中，人515可能正在停放车辆101的旁边走动。人515可以作为移动物体511而在图像中加亮。加亮可以例如通过圈出物体511或通过在物体511上放置闪烁图形符号来进行。图6a-c示出了有关从特定观察点看网格表示具有低(图6a)、中(图6b)和高(6c)细度的网格601-603的车辆的透视图。为了增强物体的三维外观，景观生成器118在检测的物体401上创建网格，例如车辆501、502、灯柱、路缘510、垃圾桶等等。首先，物体401的距离和形状可以通过至少一个传感器115来测量。景观生成器118可以随后创建车辆101周围环境的景观，包括任何测量到的物体401。景观生成器118或图像映射器119在景观上创建网格601-603，每个网格段605具有空间方位。利用网格601-603，景观的形状可以由网格段605近似。取决于物体的复杂性，测量分辨率和计算能力，网格601-603的细度可以变化。在一个实施例中，车辆101可以在停车位置停止。物体401的距离可以通过至少一个传感器115测量。图像处理器130可以处理测量值和图像数据以生成如图6a中示出的第一网格601。如上所述，可以生成第一对应的增强的三维尺寸图像。在车辆显示器150上，具有增强的三维尺寸外观的第一观察点转换的图像(包括网格601的第一细度)可以显示。取决于预定义的设置参数，其可以包括表示网格601-603近似景观有多好的值，可以生成(特别是在具有更复杂形状的景观区域中)第二网格602。在第二迭代操作中，可以增强网格601的细度导致第二网格602包括更多的网格段605，如图6b中示出的。图6c示出了具有甚至更高细度的网格601-603的第三网格603。在图6c中，通过网格段605的检测到的物体401的近似是最好的。通过用低网格细度显示第一图像，车辆驾驶员可能能够得到周围环境的第一可视印象。该印象可以增强，可以做出更多的迭代。图7示出辅助驾驶员在车辆显示器上显示车辆的对应的周围环境图像的发明的方法的流程图。在该方法初始化之后，在701，可以测量车辆周围环境中的至少一个物体的距离。各种车辆传感器能有助于这些测量，像超声波传感器，雷达传感器，LIDAR传感器等。在702，周围环境的三维景观可以通过创建可由传感器的不同测量点近似的表面而生成。三维网格可以在703生成，其近似三维景观。图6a-6c的网格601-603，作为示例，可以具有不同的单元类型，像三角形和四边形，并且其可以是结构化的，非结构化的或混合的。在704，可以获取周围环境的至少一个图像。如果多于一个相机获取图像，则可以消除重叠图像区域并且图像组合器组合图像。在706，观察点转换器或在组合前变换单个图像的观察点，或在单个图像组合后变换组合的图像到期望的观察点。在705，组合的图像可以在网格上映射。组合的图像的对应的区域可以映射到网格或单元区域。在707该方法还可以在显示器上显示观察点转换的图像。上面提到的在701-707执行的所有操作可以以不同的顺序或并行处理。例如，在701物体的测量可以与在704获取图像一起被处理。而且，例如，可以执行图像的组合，观察点转换，和在网格601-603上的映射，因为在特定硬件环境中或计算机可执行程序中实现该方法中会是经济的。在一个实施例中，路缘510、沟渠或支柱可以在另外的步骤(未示出)中在显示器150上的观察点转换的图像中加亮。如果移动物体511(像行走的人515)，将在显示的图像中加亮，则其对车辆驾驶员有特别的帮助。加亮提供重要的安全信息以吸引车辆驾驶员的注意。在一个实施例中，驾驶员辅助系统100包括至少一个用户输入装置，例如，触摸屏，鼠标，追踪球，触摸板或可转动和旋转安装的把手等，并且观察点转换器可以配置成基于来自用户输入装置的用户输入来改变观察点和观察方向(包括拍摄全景，倾斜或缩放)。在该实施例中，驾驶员或任何用户可以确定从他感觉舒服的观察点和观察方向安全引导车辆101。例如，他可能想要放大检测到的物体，如支柱和路缘510。在一个驾驶状况中，他可能想要倾斜对路缘510的观察点以在停车空间中更好地停放他的车辆101。在另一个示例中，当倒退出这个角落周围的停车空间时他可能想要选择有关角落的不同的观察点和观察方向。在另外的示例中，驾驶员修改向下看车辆101的后部的观察点和观察方向，使得他可以容易地钩住拖车到车辆101。由用户改变观察点和观察方向的另外的选择进一步改进了驾驶员辅助系统100的接受度和安全性，因为驾驶员可以将显示的图像适用于其单独的驾驶需要。虽然上文中已经详细描述了某些说明性的实施例，但是如本申请中包括的权利要求中描述和定义的，本公开的范围和精神内存在变形和修改。