用于向车辆侧显示单元输出控制信号的方法、控制单元、系统和存储介质与流程

本发明涉及用于向车辆的车辆侧显示单元输出控制信号的一种方法、一种控制单元和一种系统，该车辆至少包括第一和第二摄像机单元，以及涉及一种相应的计算机程序和存储介质。

背景技术：

1、在de 10 2006 027 679 a1公开了一种用于车辆的驾驶辅助系统。在此，系统控制装置将用于通过显示单元进行显示的车道引导的显示颜色设为可与行驶路面的颜色区分开的颜色。

技术实现思路

1、本发明的主题是一种用于向车辆的车辆侧显示单元输出控制信号的方法，该车辆至少包括第一和第二摄像机单元，该方法具有以下步骤：

2、-从该第一摄像机单元接收与车辆周围环境的第一部分区域有关的第一图像数据，并且从该第二摄像机单元接收与车辆周围环境的第二部分区域有关的第二图像数据；

3、-在使用所述第一图像数据和该第二图像数据的情况下求取与该车辆周围环境的颜色特性有关的周围环境颜色信息；

4、-在使用所求取到的周围环境颜色信息情况下求取用于叠加图像的覆层颜色信息；和

5、-将控制信号输出到车辆侧显示单元，以便借助该车辆侧显示单元显示该车辆周围环境的基于所述第一和/或该第二图像数据的并且根据所求取到的覆层颜色信息与叠加图像叠加后的图像。

6、本发明的主题还是一种控制单元，该控制单元用于向车辆的车辆侧显示单元输出控制信号，该车辆至少包括第一和第二摄像机单元，其中，该控制单元设置为用于实施和/或控制上述方法。

7、本发明的主题还是一种用于向车辆的车辆侧显示单元输出控制信号的系统，该车辆系统至少包括第一和第二摄像机单元，该系统包括：

8、-第一摄像机单元，该第一摄像机单元构造为用于检测车辆周围环境的第一部分区域，以便提供与该第一部分区域有关的第一图像数据，

9、-第二摄像机单元，该第二摄像机单元构造为用于检测车辆周围环境的第二部分区域，以便提供与该第二部分区域有关的第二图像数据，和

10、-上述控制单元。

11、本发明的主题还是一种计算机程序和一种计算机可读的存储介质，该计算机程序设置为用于，当该计算机程序在计算机或控制单元上执行时实施和/或控制上述方法的所有步骤，在该存储介质上存储有上述计算机程序。

12、该车辆可以是乘用车或商用车。可以考虑，该车辆是移动式工作机。该车辆可以是用于农业目的、建筑目的、林业目的或物流目的的车辆。该车辆例如可以是地面运输工具——特别是叉车、拖拉机或挖掘机。

13、在该车辆上至少布置有第一摄像机单元和第二摄像机单元。即，第一和第二摄像机单元是车辆侧的摄像机单元。这些摄像机单元可以是车辆的摄像系统的一部分，摄像系统特别是包括两个、四个、六个或多于六个的摄像机单元。这些摄像机单元可以是车辆的多摄像机系统或环视(surroundview)系统的一部分。

14、摄像机单元优选布置在车辆上的不同空间位置，并且特别是在空间上相互间隔开，例如布置在不同的车辆元件上，以便能够实现尽可能完整地探测车辆的周围环境。可以在车身、底盘、车箱(aufbau)、附装设备工作臂、升降单元和/或车辆的拖车处布置有一个或多个摄像机单元。可以考虑，在车辆轮廓上，例如在驾驶室、车顶或者说车顶梁处，在配重、叉牙、前部附装结构如雪铲或割草机处，或例如在升降桅杆的上端部区域处，布置有一个或多个摄像机单元。

15、摄像机单元优选具有不同的空间取向或空间定向，或者说具有在空间上不同地定向的光轴。即换言之，摄像机单元可能具有彼此不同的摄像机姿态。优选地，第一摄像机单元是前部摄像机，该前部摄像机构造和定向为用于检测周围环境的邻接车辆前部的部分区域。优选地，第二摄像机单元是尾部摄像机，该尾部摄像机构造和定向为用于检测周围环境的邻接车辆尾部的部分区域。

16、这些摄像机单元中的各个摄像机单元构造为用于特别是光学地检测车辆周围环境的一个部分区域。在此，车辆周围环境的借助摄像机单元所检测到的部分区域能够相当于对应的摄像机单元的检测区域。由此，摄像机单元构造为用于提供与车辆周围环境的分别检测到的部分区域有关的图像数据。车辆周围环境的这些检测到的部分区域优选直接邻接于该车辆。

17、图像数据优选包括二维图像或二维图像的序列。在一种优选实施方式中，摄像机单元构造和设置为用于同时地或者说在时间上同步地检测周围环境的部分区域。

18、所检测的部分区域可以成对地相互邻接、特别是成对地重叠。所检测的部分区域优选最多是部分重叠。在此，所检测到的部分区域可以在水平和/或垂直方向上重叠。可以考虑，由每两个摄像机单元分别检测到的部分区域的重叠区域小于借助这些摄像机单元所检测的部分区域的不发生重叠的区域的总和。例如，第一和第二部分区域的重叠区域比第一和第二部分区域的不重叠区域小。

19、这些摄像机单元中的每个摄像机单元可以是单目摄像机或立体摄像机。这些摄像机单元中的一个或多个摄像机单元优选是具有鱼眼镜头的摄像机，以便检测车辆周围环境的尽可能大的角度范围。例如，借助这些摄像机单元中的一个摄像机单元可检测的角度范围可以在水平方向上具有在大于或等于150°和小于或等于210°范围内的大小，特别是190°。在垂直方向上，可检测的角度范围可以大于或等于90°。

20、地将第一和第二图像数据从对应的摄像机单元无线或有线地传输到控制单元。图像数据可以从摄像机单元到控制单元的传输例如可以通过以太网或汽车以太网连接进行。图像数据可以经编码或不经编码地被传输。

21、在本发明的范畴内，与车辆周围环境的颜色特性有关的周围环境颜色信息可以理解为代表和/或包括车辆周围环境的一个或多个颜色特性的信息。

22、车辆周围环境的颜色特性是车辆周围环境的颜色的特性。该颜色特性可以是颜色的色调和/或亮度和/或饱和度，和/或颜色的基于色调和/或亮度和/或饱和度的特性。

23、周围环境颜色信息可以包括一个或多个代表一个或多个颜色特性的参量、特别是参数。可以考虑，周围环境颜色信息包括一个或多个代表车辆周围环境的色调的rgb值和/或一个或多个代表车辆周围环境亮度的灰度值。

24、在使用第一图像数据和第二图像数据的情况下求取周围环境颜色信息。即换言之，能够直接或间接地从第一图像数据和第二图像数据中求取周围环境颜色信息。可以考虑，基于被第一和第二图像数据所包括的图像像素来求取周围环境颜色信息。还可以考虑，在使用第一和第二图像数据的情况下首先求取经变换和/或组合和/或裁剪的图像并基于该经变换和/或组合和/或裁剪的图像求取周围环境颜色信息。

25、在本发明的范畴内，用于叠加图像的覆层颜色信息可以理解为代表和/或包括一个或多个要为该叠加图像或者说覆层(overlay)所使用的颜色特性、特别是色调和/或亮度和/或饱和度的信息。

26、覆层颜色信息可以包括一个或多个代表所述一个或多个颜色特性的参量、特别是参数或者说参数值。可以考虑，覆层颜色信息包括一个或多个代表叠加图像的色调的rgb值和/或一个或多个代表叠加图像亮度的灰度值。替代或附加地，覆层信息可以包括对覆层的颜色特性的预给定参数值的集合的参引。

27、此外可以考虑，叠加图像或者说覆层划分为多个部分区域，其中，不同的部分区域配属有相同或不同的颜色特性或代表颜色特性的参量和/或参数或颜色特性的或者参量和/或参数或者说参数的值。

28、在使用所求取到的周围环境颜色信息的情况下求取覆层颜色信息。即换言之，基于所求取到的车辆周围环境颜色特性求取要为该叠加图像所使用的颜色特性。可以考虑，以这样的方式求取覆层颜色信息：在已预给定的或可预给定的颜色空间中处于叠加图像的颜色特性与车辆周围环境的颜色特性之间的已预给定的或可预给定的颜色空间距离超过阈值或达到最大。由此，即使在车辆周围环境经常变化的情况下，也为车辆的驾驶员或者说操作者给出对叠加后的图像上的覆层的良好可见性。

29、根据所求取到的覆层颜色信息将基于第一和/或第二图像数据的图像与叠加图像或者说覆层叠加。即换言之，用叠加图像求取图像，其中，叠加图像的颜色特性基于所求取到的覆层颜色信息。即，将图像与基于覆层颜色信息着色的叠加图像叠加。

30、基于第一和/或第二图像数据的图像表示车辆周围环境的视图、特别是俯视图。叠加图像优选代表一个或多个针对车辆的操作者或者说驾驶员的附加信息。叠加图像例如可以代表车辆的和/或车辆的附装设备的预计轨迹和/或车辆周围环境中的对象。附加或替代地，叠加图像可以包括可摆动的车辆部分(例如挖掘机上部结构或旋转梯)或者附装设备和/或工作设备(例如割草机、扫帚)等的半径。附加或替代地，叠加图像可以包括车辆的数据，例如构造为挖掘机的车辆的悬臂的距离和/或高度和/或纵深。替代或附加地，叠加图像可以包括用于车辆的一个或多个导航参数，例如在车辆构造为农业工作机的情况下包括用于工作过程例如割草、播种、收割等的轨迹引导，和/或对于构造为地面运输工具的车辆包括仓储位置和/或目标位置，和/或对于构造为建筑机械的车辆包括土方作业的深度和/或宽度和/或长度。替代或附加地，在出现危急的车辆参数或工作机参数时，例如在达到或超过挖掘机臂的最大伸出长度或地面运输工具的最大升降高度的情况下，叠加图像能够包括光学的或视觉上的警告，该警告优选包括在相应构件或工作设备上的警告符号和/或彩色叠加。

31、控制单元优选是车辆侧的或布置在车辆上的控制单元。还可以考虑，控制单元布置在车辆以外——例如布置在基础设施元件上，或者是云计算单元或服务器后端的一部分。控制单元借助有线连接例如汽车以太网连接或借助无线连接、特别是无线电连接例如移动无线电连接或wlan连接与摄像机单元和/或显示单元进行电子连接。

32、输出的控制信号可以是无线的或有线的信号，特别是电子信号。控制信号可以参引叠加后的图像。替代或附加地，控制信号可以包括与叠加后的图像有关的图像信息。还可以考虑，控制信号部分或完整地包括叠加后的图像。

33、可以在使用输出的控制信号的情况下或借助输出的控制信号控制显示单元，以便向例如车辆的操作者显示或描述叠加后的图像、特别是所求取到的周围环境俯视图和/或周围环境全景视图。在此，俯视图在显示单元上的输出还可以包括车辆的车型的俯视图的另外的覆层。显示单元可以布置在车辆上，优选布置在车辆的驾驶室处、特别是驾驶室中。显示单元可以具有屏幕、例如信息娱乐系统的显示平面或者显示器或监视器。显示单元可以是已存在于车辆上的显示单元，或者是后期安装到车辆中的显示单元。

34、通过根据本发明的方法和根据本发明的控制单元，能够将更大的车辆周围环境区域考虑用于对周围环境颜色信息的求取，由此，对覆层颜色信息的求取构造得对于例如在单个摄像机单元的图像数据中的由于反射等眩光效应而造成的周围环境颜色的跳跃式变化来说特别稳健。这对于具有在室内区域与室外区域之间的经常转变的调度行驶(rangierfahrten)，或者对于工作机在不断改变的地面、例如工地上的工作过程是特别有利的。用所提出的方法能够使车辆的驾驶员或者说操作者即使在车辆周围环境经常变化的情况下也可靠地被提示与驾驶安全性相关的状况。由此，驾驶员能够及时干预到对车辆的控制中并避免对车辆周围环境的或在车辆周围环境中的以及对车辆的损害。

35、使用至少两个摄像机单元的另外的优点是，能够在车辆侧补偿例如由于阳光照射或外部照明、例如路灯引起的不同照明条件。还可以在不同的车辆侧地面不同的情况下，例如道路边沿(清扫机)、仓库中的货架和行驶路径、农业区上的开垦区域和未开垦区域或不同的道路表层，设定针对覆层的优化的对比度。特别是当不仅在代表(大多是黑暗的)地平面的图像区域上而且还在代表(大多是明亮的)行驶路径或地平线的图像区域上描述覆层时，在使用多个摄像机单元的情况下根据事先的亮度分析进行设定是有意义的。同样可以在车辆在夜间运行时考虑现在明亮的地面和现在黑暗的地平线之间的区别。

36、有利的是，该方法包括在使用第一和第二图像数据的情况下求取组合图像的步骤，其中，基于该组合图像求取周围环境颜色信息。可以考虑，第一和第二部分区域在空间上相互邻接或重叠，并且该组合图像至少代表所述第一和第二部分区域的部分。该组合图像可以是来自第一和第二图像数据的缝合图像。通过该构型，第一和第二图像数据的没有被组合图像考虑的那些子集也不被考虑用于对周围环境颜色信息的求取。由此能够避免例如在求取周围环境颜色信息时将车辆周围环境的第一和第二部分区域的重叠区域考虑两次。

37、在此有利的是，该方法具有：

38、-将所述第一和第二图像数据转换到共同的、特别是车辆固定的坐标系中的步骤，和

39、-将所述第一和第二图像数据、特别是被转换到共同的坐标系中的第一和第二图像数据投影到共同的虚拟投影面上的步骤，

40、以便求取该车辆周围环境的组合图像。在转换第一和第二图像数据时，可以考虑第一和/或第二摄像机单元的一个或多个内在的和/或外在的摄像参数。虚拟投影面可以是车辆周围环境的地平面。虚拟投影面优选是围绕车辆的壳形或锁匙形的投影面。通过该构型，组合图像能够特别清晰和直观地代表对车辆周围环境的表示，从而能够提前识别到危急的驾驶状况。

41、此外有利的是，组合图像代表至少部分地包括车辆周围环境的第一和第二部分区域的俯视图。还可以考虑，组合图像代表至少部分包括车辆周围环境的第一和第二部分区域的全景视图。俯视图和/或全景视图可以基于被转换到共同的坐标系中并投影到虚拟投影面的第一和第二图像数据来求取。工作机的周围环境的俯视图可以包括移动式工作机的工作机型号的俯视图的覆层。通过该构型能够产生驾驶员能特别简单地掌握的图像，由此能够特别快地识别到危急的驾驶状况。

42、还有利的是，基于

43、-第一和第二图像数据，和/或

44、-组合图像的部分图像区域来求取周围环境颜色信息，其中，该部分图像区域代表可借助该车辆驶过的表面。该部分图像区域可以代表地平面或地面或空地。可以考虑，在使用为识别地面或空地所训练的算法、例如人工神经网络的情况下求取该部分图像区域。通过该构型，能够以相对于地面或待驶过的地面或空地以最佳可见性求取例如呈预期的车辆轨迹形式的叠加图像。

45、此外有利的是，在使用基于第一和第二图像数据、特别是组合图像所求取到的直方图的情况下求取周围环境颜色信息。该直方图可以是颜色直方图、例如rgb直方图或灰度直方图。可以考虑，基于已预给定或可预给定的颜色值和/或颜色类的频率密度来求取颜色。由此能够特别高效地求取周围环境的颜色特性。

46、此外有利的是，还基于所求取到的周围环境颜色信息来匹配

47、-叠加后的图像的亮度特性，和/或

48、-车辆侧显示单元的亮度参数。

49、可以考虑，当车辆周围环境的颜色特性位于已预给定或可预给定的范围之内、例如在夜间行驶或车辆在室内区域中运行时，与当颜色特性位于该范围之外、例如在阳光照射下白天行驶或在车辆室外区域中运行时相比，给叠加后的图像和叠加图像配属更高的亮度和/或给显示器单元的照明单元配属更高的强度。

50、有利的是，该方法此外包括对叠加图像或者说覆层进行提供或读取、特别是求取的步骤。可以基于第一和/或第二图像数据和/或特别是布置车辆上的另外的传感器单元——例如雷达或超声波单元——的传感器数据，和/或基于车辆信号、例如行驶方向信号和/或转向角信号，来求取例如包括车辆周围环境中的对象和/或车辆轨迹和/或车辆的附装设备的轨迹的叠加图像。通过该构型能够使叠加图像动态地匹配于驾驶状况或运行状况。

51、有利的是，该系统附加地包括显示单元。该显示单元优选布置在车辆上并且构造为用于响应于借助控制单元输出的控制信号来显示与叠加图像叠加后的图像。

52、还有利的是一种车辆、特别是工作机，其包括：

53、-第一摄像机单元，该第一摄像机单元构造为用于检测车辆周围环境的第一部分区域，以便提供与该第一部分区域有关的第一图像数据，

54、-第二摄像机单元，该第二摄像机单元构造为用于检测车辆周围环境的第二部分区域，以便提供与该第二部分区域有关的第二图像数据，和

55、-上述控制单元，和

56、-优选上述显示单元。

57、还有利的是一种具有程序代码的计算机程序产品或计算机程序，所述计算机程序产品或计算机程序可以存储在机器可读的载体或者存储介质如半导体存储器、硬盘存储器或者光学存储器上，并且用于特别是当在计算机或者设备、例如控制单元上执行所述程序产品或程序时实施、实现和/或操控根据前述实施方式中任一种实施方式所述的方法的步骤。