具有经调整适配的投影面的全景环视系统的制作方法

本发明涉及一种用于车辆的全景环视系统，一种具有这种全景环视系统的车辆，一种用于调整适配全景环视系统的投影面的方法，一种程序单元以及一种计算机可读介质。

背景技术：

越来越多的车辆配备有驾驶员辅助系统，该系统在执行驾驶操作时为驾驶员提供支持。这些驾驶员辅助系统部分包含可向车辆驾驶员显示车辆周围环境的全景环视系统。这类全景环视系统包括一个或多个车载摄像机，其用于检测车辆周围环境的真实图像，然后通过全景环视系统的数据处理单元合成为车辆周围环境的周围环境图像。然后在显示单元上向驾驶员显示车辆周围环境的图像。

为此，可先将由全景环视系统的摄像机获得的车辆周围环境的真实图像投影到投影面的或车辆周围环境的一虚拟周围环境模型的投影点上。然后，从一虚拟摄像机的角度出发，可得出由此生成的车辆周围环境的合成全景环视图像，并将它作为全景环视图像显示在显示单元上。在此，可让用于计算所显示全景环视图像的虚拟摄像机的位置加以变化，从而根据需要或根据驾驶情况向驾驶员显示车辆周围环境的另一显示。在此，对用于真实图像的投影以及用于生成合成全景环视图像的三维立体周围环境模型的选择对于所显示图像的质量至关重要。

技术实现要素：

本发明的一项任务是改善图像数据的投影。

该任务是通过独立权利要求的主题解决的。实施方式和其他结构形式请参见从属权利要求、本说明书以及附图。

本发明的第一方面涉及一种用于车辆的全景环视系统。该全景环视系统具有检测单元和分析评估单元。检测单元设置成检测周围环境数据。分析评估单元设置成在所检测到的周围环境数据中识别一目标/对象，并确定该目标的3d(三维立体)形状。分析评估单元还设置成将所确定的3d形状添加至用于所检测到的周围环境数据的、全景环视系统的投影面，以形成一经调整适配的投影面。分析评估单元设置成将周围环境数据投影到经调整适配的投影面上。

换句话说，可将被识别的目标的3d(三维立体)形状添加到全景环视系统的投影面，以获得车辆周围的经改进的虚拟周围环境模型。在此，检测单元可检测车辆周围的周围环境数据。该周围环境数据可由分析评估单元进行处理，以便其识别出例如周围环境数据中的目标。此外，可将分析评估单元设置成直接通过计算或分析评估周围环境数据，或者间接通过将被识别的目标与预定义目标进行比较，来确定被识别的目标的3d(三维立体)形状。例如，可识别一车辆，并可使用来自数据库中的车辆的典型3d(三维立体)形状。然后，可将被识别的目标的所确定的3d(三维立体)形状添加到全景环视系统的投影面。由此，所检测到的周围环境数据能尽可能不失真地和尽可能详实细致地投影到经调整适配的投影面上，然后在监视器或显示屏上向驾驶员显示。如果周围环境数据从一特定视角或角度被摄取并且为了对驾驶员的显示而将角度更改为一虚拟角度，换句话说，如果用于显示给驾驶员的虚拟摄像机位于与实际摄像机不同的位置，则尤其会出现这类失真。例如，周围环境数据可通过四台摄像机生成，并通过分析评估单元生成全景环视图像(例如，四个单独的图像被合并在一起)，它显示车辆的虚拟俯视图(从上方俯视)。该俯视图由分析评估单元以基于实际检测到的周围环境数据在车辆上方生成虚拟透视图的方法生成。在这种变换中，尤其是例如其他车辆、柱子或花盆等立起的目标会由于生成周围环境数据时的各相应角度而在随后向驾驶员显示的更改后的虚拟角度中造成失真。

在此，投影面(投影面的基本形状或初始形状)可具有不同形状，例如碗形、盘形或平面形状，但也可具有任何其他形状。此外，投影面可用作车辆的虚拟周围环境模型，用于表示所检测到的周围环境数据。

根据本发明一实施方式，检测单元是摄像机。

作为替代选择或附加措施，检测单元可具有多台摄像机(也可为立体摄像机)和/或例如雷达传感器、激光雷达(lidar)传感器或超声传感器或激光扫描仪等用于测定深度信息的传感器。此外，检测单元也可具有上述传感器的组合。分析评估单元可通过深度信息直接确定被识别的目标的3d(三维立体)形状。

根据本发明一实施方式，被识别的目标的3d(三维立体)形状是预定义的，并且对应于由分析评估单元识别出的目标。

换句话说，可通过与数据库或表格进行的比较来确定被识别的目标的3d(三维立体)形状。分析评估单元可在所检测到的周围环境数据中识别一目标，并将该目标与数据库或表格进行比较，以确定被识别的目标的3d(三维立体)形状。例如，车辆、柱子或花盆的典型3d(三维立体)形状可被存储在数据库中，并且一旦分析评估单元已识别出所述目标，就可从数据库或表格中获取相应的预定义的3d(三维立体)形状并将其添加到投影面。由此可省去检测单元中的3d(三维立体)识别和附加的传感器，并可在分析评估单元中节省计算时间，因为不必确定目标的正确/实际的3d(三维立体)形状，而是已存在并且可选择3d(三维立体)形状并将其添加到投影面中。

根据本发明的另一实施方式，分析评估单元设置成由所检测到的检测单元周围数据确定被识别的目标的3d(三维立体)形状。

被识别的目标的3d(三维立体)形状也可通过检测单元来确定或经由分析评估单元来计算。例如，检测单元可具有用于确定深度的附加传感器(例如雷达传感器、超声波传感器或激光雷达传感器或激光传感器)，附加传感器设置成确定3d(三维立体)形状。作为替代选择或附加措施，如果有例如从不同视角或角度的两个不同摄像机获得的目标周围环境数据，则分析评估单元也可计算或确定一3d(三维立体)形状，由此可借助立体视法来计算或确定被识别的目标的3d(三维立体)形状。

根据本发明一实施方式，分析评估单元设置成在将周围环境数据投影到经调整适配的投影面上时用一预定义的颜色或通过一图案来充填周围环境数据中被所述目标遮盖的区域。

通过将被识别的目标的3d(三维立体)形状添加到投影面，投影面中会出现一个没有周围环境数据的区域，因为该区域被所述目标遮盖住了。换句话说，检测单元看不到所述目标的周围。该被遮盖区域可通过例如黑色等预定义的颜色或通过预定义的图案来充填。换句话说，可在投影时通过预定义的周围环境数据来充填被遮盖区域。

根据本发明另一实施方式，分析评估单元设置成在将周围环境数据投影到经调整适配的投影面上时用周围环境数据的一内插值来充填周围环境数据中被所述目标遮盖的区域。

除了通过一预定义的颜色来充填被遮盖区域外，还可借助内插值来充填被遮盖区域的周围环境数据，从而在与被遮盖区域相邻的区域的周围环境数据之间进行内插，以便为被遮盖区域生成周围环境数据。

根据本发明一实施方式，分析评估单元设置成在将周围环境数据投影到经调整适配的投影面上时用所述目标前面的周围环境数据的镜像值来充填周围环境数据中被所述目标遮盖的区域。

此外，被遮盖区域可通过所述目标前面/前侧的周围环境数据进行镜像，其中，前面/前侧是所述目标的已被检测单元检测到的面/侧。例如，如果所述目标是一柱子，则典型情况下前面和后面采用相同方式进行设计，由此，前面的图像数据也可被投影到其后面。

作为替代选择或附加措施，上述用于生成被遮盖区域周围环境数据的方法也可加以组合。

根据本发明的另一实施方式，分析评估单元设置成从投影面去除周围环境数据中被所述目标遮盖的区域。

除了使用所生成的或预定义的周围环境数据来充填投影面外，也可从投影面中去除被遮盖区域。对于被遮盖区域没有明确的周围环境数据，因此无法对该被遮盖区域做出明确说明。基于此，可对投影面进行调整适配，使得投影面仅包含具有周围环境数据的区域。

本发明的另一方面涉及一种带有上下文中所述的全景环视系统的车辆。

所述车辆例如可以是汽车、巴士或卡车等机动车辆，但也可是轨道车辆、船只或例如直升机或飞机等空中交通工具，或例如是自行车。

本发明的另一方面涉及一种用于对全景环视系统的投影面进行调整适配的方法。该方法具有下列步骤：

-通过检测单元检测周围环境数据；

-在所检测到的周围环境数据中识别一目标；

-确定被识别的目标的3d(三维立体)形状；

-将所确定的3d形状添加至用于所检测到的周围环境数据的、全景环视系统的投影面；以及

-将周围环境数据投影到经调整适配的投影面上。

要注意的是，该方法的步骤也可以以别的顺序执行或同时执行。此外，各单个步骤之间也可有更长的时间间隔。

本发明另一方面涉及一种程序单元，如果在一全景环视系统的分析评估单元上运行该程序单元，则该程序单元指令分析评估单元执行上下文中所述的方法。

本发明的另一方面涉及一种计算机可读介质，在该计算机可读介质上存储有程序单元，如果在一全景环视系统的分析评估单元上运行该程序单元，则该程序单元指令分析评估单元执行上下文中所述的方法。

附图说明

本发明的其他特征、优点和应用可能性可从以下对实施例的描述和附图中得出。

附图皆为示意图，并未按比例绘制。如果在下列附图的描述中使用了相同的附图标记，则说明这些是相同或相似的要素。

图1显示根据本发明一实施方式的全景环视系统的框图。

图2展示用于全景环视系统的投影面的基本形状的等距视图。

图3展示用于全景环视系统的投影面的基本形状的侧视图。

图4展示根据本发明一实施方式的用于全景环视系统的经调整适配的投影面的侧视图。

图5展示根据本发明一实施方式的带有全景环视系统的车辆。

图6展示根据本发明一实施方式的用于调整适配全景环视系统的投影面的方法的流程图。

具体实施方式

图1展示根据本发明一实施方式的用于车辆的全景环视系统1的框图。全景环视系统1具有检测单元20和分析评估单元10。检测单元20可检测车辆的周围环境数据。例如，检测单元20可包括一台或多台摄像机。作为替代选择或附加措施，检测单元20也可包括激光雷达传感器、雷达传感器、超声波传感器、激光扫描仪或上述各者的组合。尤其是，可通过检测单元20检测车辆周围的目标。分析评估单元10可将由检测单元20检测到的周围环境数据合并成一全景环视图像，并例如在一显示单元上将其显示给车辆驾驶员。检测到的周围环境数据可被投影到一投影面上，以向驾驶员展示全景环视图像。该投影面典型情况下可呈碗形或盘形，即紧靠车辆的附近区域可是平坦的，而较远区域可向上弯曲。投影面也可理解为车辆周围的虚拟周围环境模型。如果从不同于检测单元视角的另一视角向驾驶员显示全景环视图像，则投影面可能特别有用。此外，分析评估单元10可识别检测单元20的周围环境数据中的一目标，并确定其3d(三维立体)形状。被识别的目标的3d(三维立体)形状例如可由周围环境数据来确定，方法是例如由立体摄像机提供目标的深度信息，或者例如检测单元20具有传感器(例如雷达传感器、超声波传感器或激光雷达传感器或激光扫描仪等)用于确定深度。作为替代选择或附加措施，目标的3d(三维立体)形状还可通过与预定义的目标进行比较来确定，例如分析评估单元10可在周围环境数据中识别一车辆，并且在数据库中可存储有用于车辆的预定义的典型3d(三维立体)形状。然后，分析评估单元10可使用该预定义的3d(三维立体)形状。此外，分析评估单元10可将一个或多个被识别的目标的所确定的3d(三维立体)形状添加到投影面，从而构成一经调整适配的投影面。换句话说，投影面可通过被识别的目标加以扩展，从而使经调整适配后的投影面更好表示实际情况。由此，可改善所检测到的周围环境数据的投影，从而在改变视角时避免显示中的失真。此外，分析评估单元10还可将周围环境数据投影到经调整适配的投影面上，以便将其显示给车辆驾驶员。

图2和图3展示用于车辆2的全景环视系统的投影面15。该投影面15一方面以等距图(图2)形式、另一方面以侧视图(图3)形式展示。在投影面15的中间相应具有带全景环视系统的车辆2。投影面15具有与碗形或盘形相对应的形状。在此，车辆附近区域是平坦的，而边缘区域向上和向外弯曲，其中，投影面的范围随高度的增加而不断扩大。通过投影面的这种形状，在第一近似中，可针对全景环视系统确保良好地表示周围环境数据。然而，对于实际检测到的车辆附近的立起目标，在投影到该投影面15上时，显示中可能会出现失真。在与实际检测到的周围环境数据相比时，在显示角度发生虚拟变化的情况下尤其会发生这种情况。

图4展示将被识别的目标3的3d(三维立体)形状添加到投影面15上的图示。在图4左侧，展示车辆2和全景环视系统的投影面15。此外，图4左侧还有另一目标3，这里是另一车辆。该另一目标3可通过全景环视系统识别，并且被识别的目标的3d(三维立体)形状可通过全景环视系统确定，例如直接通过传感器确定，或者间接地通过与数据库的比较以及用于所确定目标的预定义3d(三维立体)形状来确定。在图4的右侧，被识别的目标的3d(三维立体)形状已被添加到投影面15上，从而构成一经调整适配的投影面16。由此，所检测到的周围环境数据可更符合实际地投影到投影面上。通过将被识别的目标的3d(三维立体)形状添加到投影面15，在经调整适配的投影面16中会存在一被遮盖区域，由于目标本身遮盖了该区域，因此该区域不存在明确的周围环境数据。该被遮盖区域可以以不同的方式在经调整适配后的投影面16中进行处理。例如，该被遮盖区域可用例如黑色等的预定义的颜色或预定义的图案来充填。此外，该被遮盖区域可通过周围环境数据的内插值进行充填。此外，被识别的目标的前面也可投影到其后面(被遮盖区域)。作为替代选择或附加措施，不仅可将被识别的目标添加到投影面上，而且可从投影面上去除由被识别的目标遮盖的区域，从而使整个经调整适配后的投影面16都具有周围环境数据。

图5展示具有上下文所述的全景环视系统1的车辆2。对车辆2的驾驶员来说，所述全景环视系统可改善所检测到的周围环境数据的成像，其中，根据驾驶员要求可对显示视角进行改变或调整适配。通过使用经调整适配的投影面，可减少或避免由立起目标造成的失真。

图6展示用于对全景环视系统的投影面进行调整适配的方法的流程图。在步骤s1中，通过检测单元检测周围环境数据。在步骤s2中，可在该周围环境数据中识别一目标。在步骤s3中，确定在步骤s2中识别的目标的3d(三维立体)形状。在此，所述目标的3d(三维立体)形状可直接通过检测单元识别，也可通过分析评估单元计算，或者分析评估单元可使用预定义的3d(三维立体)形状，并基于所检测到的周围环境数据选择匹配的3d(三维立体)形状。在步骤s4中，将所述目标的所确定的3d(三维立体)形状添加到全景环视系统的投影面。在步骤s5中，将检测单元的周围环境数据投影到经调整适配的投影面上。