本发明涉及一种行进工具、一种驾驶员辅助系统以及一种用于将行进工具的连续周围环境区域的局部图像拼接成一个图像的方法。尤其是，本发明涉及避免在拼合线区域中的失真。
背景技术：
为了使行进工具的运行更舒适及更可靠，使用通过传感器接收周围环境信号并且为驾驶员示出周围环境图像的驾驶员辅助系统。例如已知，为了监控位于本体车辆后方的交通空间而设置用于拍摄图像的相机，其图像为驾驶员复现在集成于驾驶舱或中控台中的显示器上。该系统常用于停车辅助。此外已知，该系统集成为用于车辆侧设置的后视镜的替代物。对于驾驶员来说可能的是，代替后视镜，通过示出相机图像来监控后向的交通空间。因此，驾驶员的周围环境可以通过在车辆内部的显示器展示。
de102011079913公开了一种用于驾驶员的视野辅助系统以及一种具有该系统的车辆。
de102010023591公开了使用在用于道路行驶车辆的驾驶员辅助系统范围中的立体相机系统。
us7,139,412公开了一种用于拼接多个图像的方法以及一种用于基于车辆的相机的装置，沿拼合线拼接该相机的图像。
us6,476,855公开了一种用于显示行进工具的周围环境图像的装置。
wo1999/015360a1描述了一种用于车辆的具有相机的视觉装置。在此，至少一个相机设置在车辆的一侧上。该视觉装置通过使用图像拍摄传感器能够实现例如目前车辆中车外后视镜和车内后视镜的替代物，并例如用作停车辅助装置。
尽管相机能记录径向的三维(3d)区域，但在监视器上的展示在平坦的四边形平面中失真。因此，在死角中与物体的距离特别不能轻易估计。在三个视野(反光镜)的聚焦显示中必要的是，通过相应的显示方案实现本体车辆的关联性亦或相对位置。
技术实现要素：
为了使后视镜能够不仅适合客户地而且可允许地被取消，即使且尤其是在经拼接的局部图片的拼合线区域中依然提供无法由现有技术保证的规定图像质量。因此，本发明的目的在于满足上述需要。
按照本发明，上述目的通过一种用于将行进工具的连续周围环境区域的局部图像拼接成一个图像的方法得以实现。因此，在第一步骤中，借助周围环境传感器检测周围环境区域的第一局部区域。周围环境区域可以例如是行进工具的后向区域，其大致是行进工具的前保险杠后面的区域以及车辆左边或右边的区域。第一周围环境传感器可以例如是二维(2d)光学相机。该相机可设置在行进工具的翼子板和/或外后视镜的区域中。附加地，借助第二周围环境传感器检测同一周围环境区域的第二局部区域(该第二局部区域至少不完全与第一局部区域相同)。第二环境传感器同样可以是光学传感器。然而，不同于第一周围环境传感器，第二周围环境传感器可以接收附加的信息，由此第二周围环境传感器例如能够实现第二局部区域的三维图像。在第二步骤中，在第一周围环境传感器的信号的基础上产生周围环境区域的图像的第一局部图像，以及在第二周围环境传感器的信号的基础上产生周围环境区域的图像的第二局部图像。此外，第二局部图像基于多个用于检测第二局部区域的虚拟传感器。多个虚拟传感器也可以看作在该第二局部区域上的多个备选视角，其在借助真实传感器检测的信号的基础上形成(例如被计算出)。以这种方式，在第二局部区域上存在多个视角。按照本发明，虚拟传感器设置在基本上垂直于拼合线的垂直线的位置上，沿所述拼合线拼接第一局部图像和第二局部图像。以这种方式，每个虚拟传感器具有距第一拼合线的不同距离。尤其是，每个虚拟传感器具有特定虚拟传感器距拼合线的基本距离的整数倍，所述特定虚拟传感器相对接近地设置在拼合线上。拼合线通常垂直地设置在两个指向不同方位角的空间区域中的传感器之间，而对于三维图像区域也可以标识出如下拼合面：该拼合面定义在拼接过程中不同周围环境图像的空间边界面。关于这样的拼合面，虚拟传感器也可以设置在大致垂直线上。通过使至少一个虚拟传感器关于第一周围环境传感器的检测角度边界线与关于第二周围环境传感器的检测角度边界线具有类似的视角，提供如下可能性：通过上述虚拟传感器的信号在拼接第一局部图像和第二局部图像时产生较小的失真。尤其是在产生车辆环境的图像过程中产生这样小的失真，使得可以省去例如内后视镜/外后视镜的光学辅助工具。以这种方式减小了行进工具的阻力，这降低了其行进的能量消耗。此外存在如下可能性：利用附加信息扩充合成图像并且将相机设置在更广泛的且因此更够格的车辆周围环境图像所展示的位置上。例如，该第一局部区域可以包含所谓的“死角”，否则行进工具的驾驶员仅可以在舒适性丧失的情况下以及在损失其余周围环境区域景象的情况下检测该死角。
优选地，一个虚拟传感器可以设置在紧邻第一拼合线的附近。其在拼合线的区域上的视角因此几乎与第一周围环境传感器的视角相同。以这种方式，在该区域中的失真可以以至今不可能的水平减小，由此满足有关的标准(例如ece-r46)。
尤其是，各个虚拟传感器水平地彼此间隔开地设置，以便其各核心检测区域复制第二局部区域的紧密并排设置的垂直条带(“区段”)。以这种方式，第二局部区域的极低失真的复现也可以实现：第二局部图像的随后转换(例如从三维数据库到二维数据库)可以低失真地进行。
虚拟传感器的核心检测区域可以用于产生垂直的图像区段，所述图像区段沿第二拼合线彼此拼合地得出该第二局部图像。该第二拼合线例如可以平行于第一拼合线设置。越多地使用虚拟传感器，第二局部图像内的失真越少。如果拼合线或拼合面基本上在直线行驶时对应于借助行进工具驶过的行驶带(或轨迹)的左侧和右侧，则行进工具后方的区域因此由多个区段拼接而成。在该区域中，例如可以使用已知的方法(例如α混合)。另一种方法称为“视线插值”并且在公开物“megastereo:contructinghigh-resolutionstereopanoramas”中详细说明。该插值借助净流量(net-flow)法实现。在该方法中，像素面上的运动(“流量”)在两个视图之间构成。借助于该信息，各中间位置可以插值到两个不同的视图之间。因此这导致在距投影面的距离中具有较大偏差的物体的展示问题显著减少。
第一周围环境传感器例如可以是二维传感器。第一周围环境传感器可以作为(单)外部相机构造在行进工具的翼子板、外后视镜、门的区域中或在顶盖边缘/顶部行李架的区域中。第二周围环境传感器例如可以包括两个光学传感器或构造为立体相机。第二周围环境传感器可以设置在车辆尾部、尤其是相对于车辆宽度中间的区域中。以这种方式检测行进工具的后向区域的多个图像信息，并且将其准备好用于后续处理。对于图像处理，本领域技术人员应理解的是：按照本发明不仅可以使用光学传感器，而且可以使用任何产生或能够实现周围环境的二维或三维图像的传感器。如果第一局部区域与车辆右侧面关联且第二局部区域与行进工具的中央后向周围环境区域关联，有利的是，也为车辆左侧设置周围环境传感器，该周围环境传感器在本发明的范围中称为第三周围环境传感器。该第三周围环境传感器根据以上关于第一周围环境传感器的实施方式用于基本上镜像对称地扩大周围环境区域。换句话说，检测周围环境区域的第三局部区域，随后在第三周围环境传感器的信号的基础上产生第三局部区域的第三局部图像，并且沿直线形的第三拼合线拼接第三局部图像和第二局部图像。在此，第一拼合线和第三拼合线尤其可以构成第二局部图像的彼此对置的边界线。优选地，第一拼合线和第三拼合线在此彼此平行地定向。按照本发明也减小了在第三拼合线的区域中的失真。
为了避免例如在所谓的“α混合”中可能出现的伪像，可以在拼接前沿相应的拼合线剪切局部图像。按照本发明可以省去如对于已知算法在拼接不同图像时所需的大量叠加。按照本发明的拼合方法对于已知算法通常在其边界处出现的图像内容的易受影响性也越小。换句话说，第一局部图像沿第一拼合线、第三局部图像沿第三拼合线且第二局部图像沿第一和第三拼合线可以分别消除位于拼合线对侧的图像部分。如果所使用的传感器的视角在拼合区域中几乎相同，则与图像内容或成像的物体无关的失真明显小于根据现有技术的失真。
优选地，由第一局部图像可以产生第一二维数据集，该第一二维数据集在二维显示单元上呈现二维数据集时提供对于使用者合适的视角。在此，第一局部图像的内容在虚拟的第一投影面上“换算”，以结合周围环境传感器的不同视角。相应地，第二局部图像的各个区段和第三局部图像也可以换算成相应的二维数据集，其方式为将它们置于相应合适的虚拟投影面上。如果第二局部图像至今包含三维数据，则可以首先动态地确定距投影面的视角或合适距离(相对于行进工具的相对位置)。为此，被证实有利的是，包含在拼合线区域中的周围环境物体的当前位置考虑用于定位投影面。尤其是，投影面距行进工具的距离与周围环境物体距行进工具的距离基本上相同。通过这种关系可以再次减少失真。
同样有利于进一步减少失真的是，对与第一虚拟投影面对应的第二虚拟投影面产生作用。换句话说，投影面在拼合线的区域中具有距行进工具相同的距离。
第一虚拟投影面可以具有凹形的圆柱区段形的轮廓，其中，使用者停止在圆柱体内侧上。这对应地适用于第二虚拟投影面以及适用于必要时用于借助第三周围环境传感器形成的二维数据集的第三虚拟投影面。尤其是，各个圆柱区段形的投影面设置在一个共同的圆柱面上，而使用者或行进工具基本上位于圆柱体中心点处。
为了可以借助前述的方法替代内后视镜/外后视镜，需要在行进工具内的显示单元上显示所产生的周围环境区域图像的至少一部分。尤其是，显示单元可以是二维显示单元，该显示单元设置在仪表盘中和/或设置在行进工具的组合仪表中。为了一方面将通过图像监控的区域以及另一方面将图像分辨率彼此置于合适的关系中，要在二维显示单元上展示的空间角度范围证明有利的是在180°至45°的值之间，尤其在120°至60°之间且优选在100°至80°之间。在78°至90°的范围内，消除了对于驾驶员来说的行进工具的死角，由此提高了周围环境区域的按照本发明的成像可接受性并且明显提高了多数的道路交通安全性。
优选地，响应于相应的行驶状况改变图像的显示部分的位置。对于外后视镜已知的是，在对挂入倒挡作出的响应中展示靠近路边石的区域，这按照本发明通过修改图像的显示部分的角度范围也是可能的，在尤其优选的实施方案中提出：激活行驶方向显示器，以便修改地展示图像。例如可以扩大相应在拐弯时重要的侧向区域，其方式为相应的周围环境传感器信号的附加分量保持进入到按照本发明的图像中。
按照本发明的第二方面提出一种驾驶员辅助系统，其包括第一周围环境传感器、第二周围环境传感器、分析单元以及二维显示单元。该分析单元例如可以包括以微控制器或毫微控制器形式的可编程处理器。在汽车领域中，这种分析单元也被称为电子控制器(ecu)。该二维显示单元可以例如作为矩阵显示器设置用于装配在行进工具的仪表盘中和/或在行进工具的组合仪表中。对于第一周围环境传感器、第二周围环境传感器以及可选使用的第三周围环境传感器，结合最先提到的发明方面的描述也对应地适用。以这种方式，该驾驶员辅助系统设计为用于实现对应于最先提到的发明方面的特征、特征组合以及由此产生的优点。
按照本发明的第三方面提出一种行进工具，该行进工具例如可以构造为客车、运输车、载重汽车、水上交通工具和/或空中交通工具。按照本发明，该行进工具具有如前所述的驾驶员辅助系统。通过使行进工具以这种方式实现相同的特征、特征组合以及由此产生的优点，提高了对于使用者的使用舒适性以及对于所有位于行进工具区域中的交通参与者的交通安全性。
附图说明
本发明的其他细节、特征和优点由后面的说明书和附图给出。其中：
图1示出行驶状况的具有伪像的图像；
图2示出按照本发明的行进工具的一种实施例的组件；
图3示出周围环境区域的按照本发明形成的局部图像；
图4示出在图3中示出的局部图像的按照本发明的合成；以及
图5示出按照本发明的方法的一种实施例的说明步骤的流程图。
具体实施方式
图1示出行驶状况的根据现有技术拼接的图像，所述行驶情况例如可以通过本体车辆的后视镜观察到。在道路上在本体车辆后面行驶有一辆外部车辆13作为周围环境物体。此外，房子19围在路边。由于所使用的相机的不同位置，在图像区域18中无可供使用的图像数据。由于所使用的拼合方法出现导致图像内部失真的伪像17。
图2示出按照本发明构成的作为本体行进工具的客车10的一种实施例的行驶状况的示意性俯视图。客车10沿行驶方向p运动。在其右侧翼子板的区域中设置作为第一周围环境传感器的外部相机1，该第一周围环境传感器检测呈65°方位角的角度范围。相应地，在客车10的左侧上，在翼子板区域中设置作为第三周围环境传感器的外部相机9。在车辆尾部的中央设置立体相机2，该立体相机通过一个另外的二维外部相机20补充。全部的相机1、2、9、20与作为分析单元的电子控制装置16按照信息技术连接。此外，屏幕14作为二维显示单元连接到该电子控制装置16上。为了将借助相机1、2、9、20检测的信息低失真地拼接成周围环境iv的图像，由立体相机2和二维外部相机20的图像计算出大量的数据包，其视角对应于多个虚拟传感器3，所述多个虚拟传感器设置在基本上沿客车10的后侧保险杠的一条线上。为了更好地识别而标绘一条垂直线6，该垂直线垂直于拼合线4、5或拼合面(沿垂直于图面的方向)。所述多个虚拟传感器3的各自的圆锥形检测范围由虚线标出。各个检测范围的核心区域7构成多个区段，所述区段沿第二拼合线8拼接成局部区域ii的图像ii’。通过使在最外部置于第一拼合线4和第三拼合线5上的虚拟传感器3的相应视角与外部相机1和9的视角相同，在拼合局部区域i、ii、iii的图像i’、ii’和iii’时实现仅减少的不一致性。为了进一步增强该效果而标绘虚拟投影面11、12，这些投影面设置在一个共同的圆柱形表面上。在此，这样选择距圆柱形投影面12的距离，使得该距离基本上与距作为周围环境物体的外部车辆13的距离一致。周围环境区域iv的在屏幕14上示出的图像iv’根据行驶方向显示器15的运行状态来选择，以便优选示出对于客车10的驾驶员来说特别重要的周围环境区域。因为在外部相机1、9和虚拟传感器3之间的区域中不存在图像数据(本体车辆位于该区域中)，所以这里也可以没有内容地生成图像信号(参见图1中的附图标记18)。
图3示出三个局部图像i’、ii’、iii’，在这些局部图像中作为周围环境物体的外部车辆13设置在第一拼合线4的区域中。外部车辆13的分别位于第一局部图像i’或第二局部图像ii’中的部分基本上彼此对应地构造。因此，可以毫无问题地进行拼接并且预期最小的不一致性。可看出：在局部图像i’、ii’、iii’内目前无数据的区域18提供插入本体行进工具的部分和/或插入对其使用者的附加提示的场所。
图4示出使用在图3中示出的局部图像i’、ii’、iii’按照本发明实施拼合过程的结果。周围环境区域的经拼接的图像iv’具有多个经由虚拟传感器3拍摄的图像区段7，这些图像区段仅可能出现关于图像亮度的轻微变形(在附图中未示出)。在外部车辆13的不同区域上的轮廓和视角都相应彼此明显好于在根据图1的视图中的轮廓和视角。以这种方式提供对于客户来说更可接受的且更符合标准的外后视镜/内后视镜的替代物。
图5示出按照本发明的方法的一种实施例的方法步骤。在此，在步骤100中，相应的周围环境传感器包围行进工具的周围环境区域的第一局部区域、第二局部区域以及第三局部区域。所述周围环境传感器可以例如包括光学相机。尤其是，用于检测第二局部区域的第二周围环境传感器可以包括立体相机或以其他方式设计为用于形成第二局部区域的三维图像。在步骤200中，在周围环境传感器的信号的基础上产生第一局部图像、第二局部图像以及第三局部图像。随后适当剪切局部图像，以便按照本发明在第一和第三拼合线的区域中避免不需要的重叠。在经适当剪切的局部图像的基础上，在步骤400中由局部图像生成第一、第二以及第三二维数据集。为此，使用第一、第二以及第三投影面，这些投影面位于一个共同的圆柱体表面上(也就是同一圆柱体的内侧上)。在此，该圆柱体的半径借助在第二局部区域中包含的周围环境物体规定。在步骤500中，分别沿直线形的拼合线拼接第一和第二局部图像以及第二和第三局部图像，其中所述拼合线彼此平行地设置。在周围环境区域的现在已拼接的图像中，拼合线竖直地定向。在步骤600中，选择图像的一部分用于在二维显示单元上显示，该部分对应于呈81°方位角的角度范围。以这种方式，对于该方法的使用者来说除其行进工具外不再存在死角。在步骤700中，由于企图转弯行驶而操纵行驶方向显示器，在对此情况作出的响应中在周围环境区域的图像内改变该部分的位置，以使将要转弯行驶的弯道内侧更好地在二维显示单元上绘出。为此，显示的角度范围扩大或这样偏转，使得目前示出的在对置的边缘区域上的区域在短时间内不再显示。
按照本发明，所有对于驾驶员来说必要的侧向和(或后向)视野通过经由周围环境传感器生成的全景图像覆盖。由此也遵守如尤其是在ece-r46标准中规定的法定最小视野以及最大允许失真。全景图像通过相机模型的有利定位产生并且优选替代按照本发明构造的行进工具的全部反光镜。
在本发明的一种优选的实施例中，以如下方式剪切由车辆前侧的视角构成的第一和第三局部图像：车辆轮廓不再包含在相应图像的组成部分中。后部相机构造为产生深度地图(视差图)的立体相机。当然，视差图的信息也可能通过附加的(例如非光学的)传感器获得。二维图像信息的原始图像置于三维信息上。现在，在立体相机的检测范围内产生多个虚拟相机，所述虚拟相机非常紧密地仅应检测位于车后的车辆宽度中的相应区域。通过三维信息的剪切造成在本体车辆后的车辆宽度中的“行驶带”(在假想的直线形的行驶方向的情况下)。作为最后的步骤，侧向的相机投影到圆柱形表面上并且无缝地附加到中间行驶带上。
通过按照本发明产生的全景图像可以扩大驾驶员的视野。按照本发明不存在由于车辆部分的视野遮盖。由于按照本发明剪切局部图像，在单独的视野之间也没有多余的图像内容。全景图像能够显著较好地展示用于驾驶员辅助的周围环境信息。全景展示能够实现：在同样绝对的视野中使用单独较小的监视器，这对自身带来成本优势、重量优势以及体积优势，或者给定尺寸的单独监视器展示更大的视野。此外，通过使用呈至少78°的大方位角的视角可能的是，减少或消除死角区域。
附图标记列表
1外部相机
2立体相机
3虚拟传感器
4第一拼合线
5第三拼合线
6拼合线4、5的垂直线
7区段
8第二拼合线
9外部相机
10客车
11、12投影面
13外部车辆
14屏幕
15行驶方向显示器
16电子控制装置(分析单元)
17伪像
18无数据的图像区域
19房子
20二维外部相机
100-700方法步骤
i第一局部区域
i’第一局部图像
ii第二局部区域
ii’第二局部图像
iii第三局部区域
iii’第三局部图像
iv周围环境区域
iv’周围环境区域的图像
p箭头(行驶方向)