专利名称：标定车辆视觉系统的方法和车辆视觉系统的制作方法
技术领域：
本发明涉及标定车辆视觉系统的方法和车辆视觉系统。本发明尤其涉及可建立组合用不同摄像机捕获的图像所需的摄像机系统参数的这种方法和视觉系统。
背景技术：
在车辆系统中整合图像传感器已得到越来越广泛的应用。这种图像传感器可用作驾驶员辅助系统(其中图像传感器捕获车辆环境的图像)的组件。所捕获的图像可经处理来执行物体识别和/或可能可在处理之后显示给用户。可执行自动警告和辅助功能来警告驾驶员潜在的危险情况，或通过致动刹车或类似物来主动控制车辆操作。图像传感器也可以用作帮助驾驶员停泊车辆或其它关键操作的后视或侧视摄像机。
随着在车辆应用中使用图像传感器变得越来越普遍，可提供多个图像传感器，以便捕获车辆环境的图像，所述图像组合起来提供关于环绕车辆的全360°角度范围的环境的信息。为避免数量过多的图像传感器，希望使用具有较大横向开口角的视场的图像传感器。
当由不同图像传感器捕获的数据将彼此组合时，必须知道摄像机系统的参数。为此，可执行标定以建立每个摄像机的外部和内部参数。摄像机标定的途径包括要求将一个记号定位在车辆参考系中事先已知的高精度位置的技术。由于由记号的不精确定位造成的误差传播，这种途径可能不精确。高精确性结果可能耗时，且实现成本高。摄像机标定的其它途径包括在物体相对于车辆移动时追踪物体。在许多这些途径中，单独针对每个摄像机逐一执行标定。
摄像机系统标定的另外其它途径包括重叠视场(FOV)技术。这些途径的实施也常常要求将一个记号以高精确性定位在相对于车辆的预定义位置上。
在本领域中一直需要一种标定车辆视觉系统的方法和标定无需事先知道记号在车辆参考系中的位置的车辆视觉系统。本领域中也需要容许使用具有较大横向开口角视场的摄像机的这样一种方法和这样一种车辆视觉系统。发明内容
这种需求通过独立权利要求中叙述的方法和车辆视觉系统来解决。附属权利要求描述实施方案。
根据一个方面，提供一种标定车辆视觉系统的方法。所述车辆视觉系统包括分别捕获具有非线性畸变(尤其是鱼眼畸变)的图像的多个图像传感器。图像传感器提供在车辆的不同位置上。方法包括针对一对图像传感器执行捕获、确定和建立步骤，所述图像传感器对包括多个图像传感器中的一个图像传感器和一个额外图像传感器。在所述方法中，使用图像传感器捕获多个物体的图像，以及使用额外图像传感器捕获多个物体的额外图像。多个物体被定位在所述图像传感器的视场和所述额外图像传感器的视场的重叠区域中。图像传感器相对于多个物体的位置和定向基于所捕获的图像来确定，而额外图像传感器相对于多个物体的位置和定向基于所捕获的额外图像来确定。额外图像传感器与图像传感器之间的相对位置和定向基于所述确定步骤的结果来建立。
在所述方法中，图像传感器之间的相对位置和定向基于定位在视场(FOV)的重叠区域中的多个物体的图像来确定。无需事先知道多个物体相对于车辆的位置来确定图像传感器的相对位置。图像传感器和额外图像传感器是不同的图像传感器。
图像传感器经过构造使得其捕获具有非线性畸变的图像。这容许图像传感器构造有容许图像传感器具有宽FOV的光学组件。少量图像传感器(诸如四个图像传感器)足以捕获覆盖环绕车辆的全360°角度范围的环绕视图。图像传感器在横向方向上的FOV开口角可为至少170°或至少175°。
多个物体相对于彼此的位置是已知的。这些预定相对位置可用于确定图像传感器和额外图像传感器相对于多个物体的位置和定向。多个物体可以是专用记号，诸如配置为三面形配置的棋盘图案。
多个物体可配置为至少一个规则配置。多个物体可包括至少一个棋盘图案。这容许从定义所有物体的相对位置的少量参数中确定多个物体之间的相对位置。多个物体可以使得其不全都位于相同平面内。可能存在与由多个物体中的至少三个其它物体定义的平面间隔的至少一个(具体若干个)物体。
根据本领域中的常用术语，本文中使用的术语“图像传感器的位置”指的是图像传感器的特征点的位置。为说明的目的，“图像传感器的位置”可定义为光轴与电光传感器、透镜或任何其它给定光学组件相交的点的位置。本文中使用的术语“图像传感器的定向”指的是可通过三个角度量化的空间中图像传感器坐标系的定向。相应地，两个图像传感器之间的“相对位置”是特征点之间的偏移。“相对定向”描述需要哪些旋转操作来将所述一对中的一个图像传感器的坐标系与额外图像传感器的坐标系对准。存在描述相对位置和相对定向的不同方式。为说明的目的，为了描述图像传感器相对于由多个物体所定义的坐标系的定向，无需明确计算旋转角度。可计算旋转矩阵。类似地，可通过旋转矩阵描述图像传感器与额外图像传感器之间的相对定向。可通过平移矩阵或平移矢量描述相对位置。
可针对具有重叠视场的多对图像传感器分别执行所述捕获、确定和建立步骤。从而可确定具有重叠FOV的所有图像传感器对的相对位置和/或相对定向。
一对图像传感器之间所确定的相对定向可包括或否则表示至少两个角度，以便提供关于需要旋转哪一个以将所述一对中的一个图像传感器的光轴与另一图像传感器的光轴对准的信息。
可针对多对图像传感器分别执行所述捕获、确定和建立步骤，并且可基于此确定关于非邻近图像传感器之间的相对定向的信息。为说明的目的，关于定义无重叠FOV的前侧摄像机与后侧摄像机之间的相对定向的至少两个角度的信息可基于针对至少两对图像传感器执行的所述捕获、确定和建立步骤来确定。关于定义无重叠FOV的前侧摄像机与后侧摄像机之间的相对定向的至少两个角度的信息可通过针对至少四对图像传感器执行所述捕获、确定和建立步骤而以更高的精确性实现。或可或另可通过针对至少两对图像传感器执行所述捕获、确定和建立步骤获得关于车辆的左侧与右侧摄像机之间的相对定向的信息。可通过针对至少四对图像传感器执行所述捕获、确定和建立步骤执行一致性检查，以便以更高的精确性确定非邻近图像传感器的相对定向。
多对中的一对可包括第一图像传感器和中间图像传感器。多对中的另一对可包括中间图像传感器和第二图像传感器。第二图像传感器与第一图像传感器之间的相对位置和定向可基于针对所述一对而获得的建立步骤的结果和针对另一对而获得的建立步骤的结果而建立。从而第一图像传感器与中间图像传感器之间的相对位置和定向以及中间图像传感器与第二图像传感器之间的相对位置和定向可经计算处理以计算第二图像传感器与第一图像传感器之间的相对位置和相对定向。如果第一图像传感器和第二图像传感器无重叠视场，和/或如果没有多个物体定位在这些传感器的FOV的重叠区域中，那么可以执行这种处理。
可分别针对额外多对图像传感器中的每一对执行所述捕获、确定和建立步骤。第二图像传感器与第一图像传感器之间的相对位置和定向也可以基于针对额外多对获得的建立步骤的结果来建立。从而第二图像传感器与第一图像传感器之间的相对位置和定向可通过两种独立方式确定。这容许执行一致性检查。可量化和/或改进标定程序的可靠性。 在所述方法中，定义图像传感器之间的相对定向以及视需要定义相对位置的外部参数值可被反复调整，直到获得定义非邻近图像传感器之间的相对定向的一致参数组。
在所述方法中，第二图像传感器与第一图像传感器之间的相对位置和定向可通过两种不同方式计算，也就是使用针对多对获得的建立步骤的结果，以及针对不同于所述多对的额外多对获得的建立步骤的结果。可将所述结果互相作对比。为说明的目的，车辆的后侧图像传感器相对于车辆的前侧图像传感器的位置和定向可使用左侧图像传感器作为中间图像传感器或使用右侧图像传感器作为中间传感器来确定。可将分别计算出来的值互相作对比。对比可在优化程序中进行，其中对比可用于加强所述优化程序的约束。
第一图像传感器的视场和第二图像传感器的视场可以是不相交的。第一图像传感器和第二图像传感器可提供在车辆的相对侧。
所述方法还可以包括基于针对多对获得的建立步骤的结果来确定多个图像传感器在车辆参考系中的外部参数。为此，图像传感器之一可用作参考，而所有其它图像传感器的定向和位置可相对于所述参考图像传感器确定。或还可或另还可使用参考图像传感器相对于这个车辆参考系的已知位置和定向来确定相对于另一车辆参考系的位置和定向。
确定车辆参考系中的外部参数可包括计算多个物体的重投影。可确定多个物体在图像和额外图像中的图像坐标。当投影到投影表面上时，物体的图像坐标可使用针对图像确定的位置和针对额外图像确定的位置、基于图像传感器和额外图像传感器的外部参数来确定。可将投影表面上的位置互相对比。如果所述位置的差异大于一个阈值，那么可校正外部参数。从而可识别一致的外部参数组。可提高标定程序的稳健性。
车辆视觉系统可为环绕视图系统。
所确定的外部参数可用于基于由多个图像传感器捕获的图像计算环绕视图。使用时，可基于定义用户想要显示的环境区段的用户选择控制显示器。可基于由图像传感器捕获的图像和基于标定中确定的车辆视觉系统的外部参数控制显示器。
多个物体可包括位于第一平面上的至少三个物体和位于第二平面上的至少三个物体。多个物体可包括位于第一平面上的至少六个物体和位于第二平面上的至少六个物体。第一平面和第二平面可相对于彼此按一个角度配置。第一平面和第二平面可相对于彼此按90°角配置。在另一个实施方案中，第一平面和第二平面可相对于彼此按不同于0°且不同于90°的角度配置。多个物体的这种构造不仅容许确定外部参数，而且容许确定内部参数。可基于内部参数校正光学畸变，诸如鱼眼畸变和/或其它畸变。
多个物体还可以包括位于第三平面上的至少三个物体。第一平面、第二平面和第三平面可相互正交。即，多个物体可被构造为三面体，所述物体定位在三个相互正交的平面上。从而可以进一步提高标定的稳健性。当物体位于第一平面、第二平面和第三平面上时， 所述三个平面无需相互正交。
在所述方法中，图像传感器的内部参数可基于图像建立，而额外图像传感器的内部参数可基于额外图像来建立。这容许在标定程序中建立车辆视觉系统的外部参数和内部参数。内部参数可存储以随后用于校正图像畸变。
图像传感器可分别包括鱼眼透镜。从而可使用一个图像传感器覆盖大角度范围。
可在车辆的侧门镜上提供至少两个图像传感器。可减轻几何障碍问题。
根据另一个方面，提供一种车辆视觉系统。所述车辆视觉系统包括多个图像传感器和一个图像处理单元。所述图像传感器分别具有一个光学组件以捕获具有非线性畸变的图像。图像传感器提供在车辆的不同位置上。图像处理单元被构造来处理由多个图像传感器捕获的图像数据。为了标定车辆视觉系统，所述图像处理单元被构造来识别由图像传感器捕获的图像和由额外图像传感器捕获的额外图像中所包括的多个物体。所述图像处理单元被构造来基于所捕获的图像确定图像传感器相对于多个物体的位置和定向，以及基于所捕获的额外图像确定额外图像传感器相对于多个物体的位置和定向。所述图像处理单元被构造来基于所确定的图像传感器相对于多个物体的位置和定向以及基于所确定的额外图像传感器相对于多个物体的位置和定向建立所述额外图像传感器与所述图像传感器之间的相对位置和定向。
车辆视觉系统经过构造使得即使事先未知多个物体相对于车辆的位置，所述图像处理单元还是可以标定视觉系统。
图像处理单元可被构造来针对多对图像传感器执行确定和建立步骤。
图像处理单元可被构造来使用针对分别具有重叠视场的多对图像传感器确定的相对位置和定向通过计算确定具有不相交视场的第一图像传感器和第二图像传感器的相对位置。为说明的目的，所述图像处理单元可被构造来基于第一图像传感器与中间图像传感器之间的相对位置和定向，以及还基于中间图像传感器与第二图像传感器之间的相对位置和定向计算第二图像传感器与第一图像传感器之间的相对位置和相对定向。
车辆视觉系统可被构造来执行任何一个方面或实施方案的方法，图像处理单元被构造来执行由图像传感器捕获的图像之处理。
车辆视觉系统可包括光学输出装置。所述图像处理单元可被构造来当经由光学输出装置输出环绕视图的区段时使用标定期间确定的车辆视觉系统的参数。
车辆视觉系统也可以包括输入界面，所述输入界面容许用户选择将要视觉输出的环绕视图的区段。
根据另一个方面，提供一种具有根据任何一个方面或实施方案的车辆视觉系统的车辆。
实施方案可使用于环绕视图系统中而不限于此。
将参考附图更详细描述实施方案
图I是具有车辆视觉系统的车辆的示意图。
图2是用于标定车辆视觉系统的多个物体的示意图。
图3是图示了标定程序的图I的车辆的示意图。
图4图示了使用图像传感器捕获的图像。
图5图示了使用额外图像传感器捕获的图像。
图6是包括由车辆视觉系统执行的标定方法的方法的流程图。
图7是用于确定图像传感器之间的相对位置和定向的程序的流程图。
图8图示了投影表面。
具体实施方式
在描述中，相同或类似参考数字表示相同或类似组件。虽然一些实施方案将在特定上下文(诸如环绕视图系统)中描述，但是实施方案不限于这些特定上下文。使用在车辆视觉系统的上下文中的诸如“向前”、“前侧”、“向后”、“后侧”或“侧面”的术语涉及车辆参考系。即，“向前”方向是驾驶员可透过挡风玻璃看见的方向，等。
图I是示出车辆I的示意图。车辆I包括车辆视觉系统。车辆视觉系统包括多个图像传感器11至14，和耦合到多个图像传感器11至14的图像处理单元10。
图像传感器11至14可分别被构造为广角图像传感器。图像传感器11至14的视场(FOV)可分别具有至少170°的横向开口角(即，在平行于车辆I的底平面的平面中的开口角)。图像传感器11至14的FOV可具有至少175°的横向开口角。图像传感器11至14 可分别包括鱼眼透镜。图像传感器经过构造使得为了适应宽F0V，其捕获具有非线性畸变的图像。广角特征和所得的非线性畸变通常由图像传感器的光学组件引起。由图像传感器11 至14捕获的图像分别示出非线性径向畸变、非线性桶形畸变和/或非线性鱼眼畸变。图像传感器11至14分别包括电光传感器。图像传感器11至14可分别包括C⑶传感器。图像传感器11至14的电光传感器耦合到车辆视觉系统的图像处理单元(11至14)。
车辆视觉系统可被构造为环绕视图系统。在这种情况下，图像传感器11至14的 FOV 15至18可在平行于车辆底平面的至少一个平面中覆盖绕车辆I的全360°角度范围。 如针对图像传感器11的F0V15的开口角度20所示，在这平面中的FOV 15至18的开口角度可为至少170°或至少175°。
车辆视觉系统可包括至少四个图像传感器11至14。可安装在车辆前侧的图像传感器11可具有面朝向前方向的FOV 15。可安装在车辆后侧的另一个图像传感器12可具有面朝向后方向的FOV 16。可安装在车辆侧面的其它图像传感器13和14可分别具有导向车辆的对应侧面的FOV 16或18。安装在侧面的图像传感器13、14可安装在门镜中。如果门镜具有可移动组件，那么图像传感器13、14可分别安装在门镜的静止区段中。
处理单元10被构造来接收由不同的图像传感器11至14产生的图像数据，并且以产生环绕视图的这样一种方式融合图像数据。处理单元10还被构造来在标定程序中确定图像传感器11至14的外部参数和内部参数。内部参数可包括定义所捕获图像的非线性畸变的对应图像传感器的参数。已知并且使用不同的参数化来描述广角图像传感器的非线性畸变。这些参数化的实施例包括径向畸变的多项式模型、鱼眼畸变的非多项式模型、FOV模型或透视模型。处理单元10可存储标定程序中确定的内部参数。当融合图像时，处理单元 10可检索内部参数以校正所捕获图像中的非线性畸变。
车辆视觉系统的外部参数包括关于所有图像传感器在附至车辆的车辆参考系中的位置和定向的信息。车辆参考系可例如由图像传感器中的一个(诸如图像传感器11)来定义。即，为了确定外部参数，可相对于图像传感器11的位置和定向来确定图像传感器12 至14的位置和定向。外部参数也可以参考附至车辆的任何其它坐标系来确定。在这种情况下，图像传感器12至14的位置和定向可首先相对于图像传感器11的位置和定向确定。 基于图像传感器11在车辆参考系中的已知位置和定向，可确定所有图像传感器11至14在车辆参考系中的位置和定向。
处理单元10被构造来通过评估由具有重叠FOV的图像传感器捕获的图像对确定车辆视觉系统的所有图像传感器11至14的外部参数。未单独针对每个摄像机逐一确定外部参数。执行标定程序以便建立不同图像传感器11至14的一致的外部参数组。这个一致的外部参数组通过组合使用不同图像传感器捕获的图像来确定。
在标定程序中，确定具有重叠FOV的图像传感器与额外图像传感器之间的相对位置和定向。多个物体被定位在图像传感器的FOV的重叠区域中。多个物体相对于彼此的位置是已知的。为说明的目的，多个物体可包括规则配置的记号，诸如棋盘图案，棋盘边角之间的间距是已知的。无需知道多个物体相对于车辆I的位置。
在标定方法中，捕获多个物体的图像的图像传感器的位置和定向可相对于多个物体来确定。为确定图像传感器相对于多个物体的位置和定向，可确定旋转矩阵的矩阵元和平移矢量的矢量元，其定义多个物体的坐标系中的点坐标与由图像传感器捕获的图像的图像坐标之间的映射。类似地，可相对于多个物体确定捕获多个物体的额外图像的额外图像传感器的位置和定向。
基于图像传感器相对于多个物体的位置和定向，以及基于额外图像传感器相对于相同的多个物体的位置和定向，可导出图像传感器与额外图像传感器之间的相对位置和定向。
通过针对具有重叠FOV的多对图像传感器重复这些动作，可确定具有重叠FOV的图像传感器之间的相对位置和定向。这数据可经过处理来确定无重叠FOV的图像传感器之间的相对位置和定向。
图I示意地图示了多个22物体24至26。多个22物体被定位在图像传感器11的 FOV 15与图像传感器13的FOV 17的重叠区域21中。物体24至26配置在至少一个平面 23上。物体24至26可具有可易使用物体识别方案(诸如边缘检测)检测到的构造。为说明的目的，物体24至26可为棋盘图案的矩形的边角。虽然在图I中仅图示了位于平面23 中的三个物体，但是多个22物体可具有三面体构造。多个22物体可包括位于第一平面上的至少三个物体、位于第二平面上的至少三个物体和位于第三平面上的至少三个物体。第一、第二和第三平面可为相互正交的。更多物体可定位在每一平面上以提高标定程序的稳定性。为说明的目的，多个22物体可包括位于第一平面上的至少六个物体、位于第二平面上的至少六个物体和位于第三平面上的至少六个物体。
评估由图像传感器11捕获的多个22物体的图像和使用另一个图像传感器13捕获的多个22物体的额外图像。这些图像在多个22物体位于相对于车辆I的相同位置时捕获。无需事先知道相对于车辆I的位置。处理由图像传感器11捕获的图像和使用另一图像传感器13捕获的另一图像来确定图像传感器11与另一图像传感器13之间的相对位置和定向。此外，可基于由图像传感器11捕获的图像确定图像传感器11的内部参数，并且可基于由额外图像传感器13捕获的额外图像确定额外图像传感器13的内部参数。
类似地，通过捕获定位在图像传感器13的FOV 17与图像传感器12的FOV 16的重叠区域中的多个27物体的图像，可确定图像传感器13与图像传感器12之间的相对位置和定向。可如上文针对图像传感器对11和13的说明执行处理。
类似地，通过捕获定位在图像传感器11的FOV 15与图像传感器14的FOV 18的重叠区域中的多个29物体的图像，可确定图像传感器11与图像传感器14之间的相对位置和定向。通过捕获定位在图像传感器14的FOV 18与图像传感器12的FOV 16的重叠区域中的多个28物体的图像，可确定图像传感器14与图像传感器12之间的相对位置和定向。 针对具有重叠FOV的任意对图像传感器，可通过与上文针对图像传感器对11和13所述相同的方式完成所捕获的图像的处理。
虽然图I中图示了包括图像传感器11和13的一对的FOV的重叠区域中的多个22 物体、包括图像传感器13和12的一对的FOV的重叠区域中的另外多个27物体、包括图像传感器11和14的一对的FOV的重叠区域中的另外多个29物体和包括图像传感器14和12 的一对的FOV的重叠区域中的另外多个28物体，但是用于确定具有重叠FOV的图像传感器之间的相对位置和定向的记号无需同时存在。为说明的目的，同一个三面体可首先被定位在图像传感器11和13的FOV 15和17的重叠区域21中以确定图像传感器11与图像传感器13之间的相对位置和定向。所述三面体接着可被重新定位到其它重叠区域以依序确定具有重叠FOV的图像传感器之间的相对位置和定向。此外，多个物体也可以按时序方式定位在重叠区域21中的不同位置上以增加可用于标定的数据量。
图2是多个31物体的示意展示。用于标定的多个31物体包括提供在三个不同平面32至34上的记号。三个平面32至34可以如图2所示相互正交，或可相对于彼此按不同于0°的另一角度配置。棋盘图案提供在平面32至34中的每一个上。物体可为棋盘的矩形的边角。这些物体的相对位置可由正方形棋盘的一个参数量化，所述参数表示棋盘的一个正方形的边长。可使用常规边缘检测算法检测所捕获图像中的边角。
可使用其它记号和其它数量的物体。在实施方案中，物体可被定位在彼此不同的至少两个平面上。两个平面尤其可相对于彼此按90°的角度配置。在每一个平面上，可提供至少三个物体，尤其至少六个物体。
在另外其它实施中，可使用多个物体，其中所述物体并不是都位于相同平面内。 即，一些物体可经过定位使得它们与多个物体中的至少三个其它物体所处的平面间隔开。
图3是具有车辆视觉系统的车辆I的示意图。
多个22物体的图像(其可为专用记号，诸如棋盘图案)由一对41图像传感器中的图像传感器11和另一个图像传感器13捕获。基于这些图像，可确定图像传感器11与图像传感器13之间的相对位置和定向。此外，可确定图像传感器11和图像传感器13的内部参数。
图像传感器11与图像传感器13之间的相对位置可由图像传感器11的特征点与图像传感器13的特征点之间的平移矢量定义。图像传感器11与图像传感器13之间的相对定向可由将图像传感器11的坐标系与图像传感器13的坐标系彼此对准所需的旋转矩阵来定义。图像传感器11的坐标系的轴35可为图像传感器11的光学系统的特征轴，诸如光轴。类似地，图像传感器13的坐标系的轴37可为图像传感器13的光学系统的特征轴，诸如光轴。
通过处理定位在FOV的重叠区域中的多个27物体的图像，可确定所述一对42中的图像传感器13与12的相对位置和定向。通过处理定位在FOV的重叠区域中的多个29 物体的图像，可确定所述一对43中的图像传感器11与14的相对位置和定向。通过处理定位在FOV的重叠区域中的多个28物体的图像，可确定所述一对44中的图像传感器14与12 的相对位置和定向。
因此所确定的相对位置和定向容许执行一致性检查。为说明的目的，图像传感器 12与图像传感器11之间的相对位置和定向可通过两种不同方式确定。图像传感器12与图像传感器11之间的相对位置和定向可基于针对一对41和针对一对42所获得的结果来计算。图像传感器12与图像传感器11之间的相对位置和定向也可以基于针对一对43和针对一对44所获得的结果来计算。使用分别来自不同图像传感器对的数据而确定的图像传感器12与图像传感器11之间的相对位置和定向可彼此对比。这样一种对比可在优化程序中执行，其中独立于是否使用针对一对41和42而确定的相对位置和定向，或是否使用针对一对43和44而确定的相对位置和定向，所有图像传感器11至14的外部参数可在图像传感器11与图像传感器12之间的相对位置和定向应具有相同值的约束下确定。
图4是使用图像传感器捕获的图像45的示意展示。图5是使用额外图像传感器捕获的图像46的示意展示。使用具有重叠FOV的图像传感器捕获图像45和46。为说明的目的，图像45可为使用图像传感器11捕获的图像。图像46可为使用图像传感器13捕获的图像。
在图像45的右手侧上具有棋盘图案的三面体表示与图像46的左手侧上具有棋盘图案的三面体相同的多个物体。这容许确定捕获图像45和46的图像传感器之间的相对位置和定向。
下文描述可用于确定具有重叠和不重叠FOV的摄像机之间的相对位置和定向的程序。可使用替代程序和/或替代的数字描述。
程序一般包括(A)针对一对图像传感器的每个图像传感器确定图像传感器相对于由多个物体定义的坐标系的位置和定向；(B)使用(A)的结果建立所述一对中的一个图像传感器与所述一对中的另一个图像传感器之间的相对位置和定向；和(C)使用所建立的针对多个不同图像传感器对确定的相对位置和定向来确定具有不相交FOV的图像传感器的相对位置和定向。
(A)确定图像传感器相对于由多个物体所定义的坐标系的位置和定向
齐次坐标可用于定义在多个物体的坐标系中定义的多个物体的坐标与图像传感器的图像平面之间的映射。
齐次坐标可用于将由多个物体定义的坐标空间中的坐标在图像平面上的映射描述为矩阵乘法。在由多个物体定义的坐标系中，物体的坐标可写为4个矢量
权利要求
1.一种标定车辆视觉系统的方法，所述车辆视觉系统包括分别捕获具有非线性畸变，尤其是鱼眼畸变的图像(45、46)并且提供在所述车辆(I)的不同位置上的多个图像传感器(11 至 14)， 所述方法包括针对一对(41至44)图像传感器执行下列步骤，所述图像传感器对包括所述多个图像传感器(11至14)中的一个图像传感器(11)和一个额外图像传感器(12) 使用所述图像传感器(11)捕获多个(22)物体的图像(45)，以及使用所述额外图像传感器(13)捕获所述多个(22)物体的额外图像(46)，所述多个(22)物体定位在所述图像传感器(11)的视场(15)与所述额外图像传感器(13)的视场(17)的重叠区域(21)中； 基于所述捕获的图像(45)确定所述图像传感器(11)相对于所述多个(20)物体的位置和定向，以及基于所述捕获的额外图像(46)确定所述额外图像传感器(13)相对于所述多个(22)物体的位置和定向；和 基于所述确定的结果建立所述额外图像传感器(13)与所述图像传感器(11)之间的相对位置和定向。
2.根据权利要求I所述的方法， 其中针对具有重叠视场(15至18)的多对(41至44)图像传感器(11至14)分别执行所述捕获、确定和建立步骤。
3.根据权利要求2所述的方法，其中所述多对中的一对(41)包括第一图像传感器(11)和中间图像传感器(13)，以及其中所述多对中的另一对(42)包括所述中间图像传感器(13)和第二图像传感器(12)，所述方法还包括 基于针对所述一对(41)获得的所述建立步骤的结果以及针对所述另一对(42)获得的所述建立步骤的结果建立所述第二图像传感器(12)与所述第一图像传感器(11)之间的相对位置和定向。
4.根据权利要求3所述的方法，其中针对额外多对(43、44)图像传感器中的每一对分别执行所述捕获、确定和建立步骤， 其中所述第二图像传感器(12)与所述第一图像传感器(11)之间的所述相对位置和定向是基于针对所述额外多对(43、44)而获得的所述建立步骤的结果而建立。
5.根据权利要求4所述的方法，其还包括 对比 -基于针对所述多对(41、42)获得的所述建立步骤的结果而计算的所述第二图像传感器(12)与所述第一图像传感器(11)之间的所述相对位置和定向，和 -基于针对所述额外多对(43、44)获得的所述建立步骤的结果而计算的所述第二图像传感器(12)与所述第一图像传感器(11)之间的所述相对位置和定向。
6.根据权利要求3至5中任一项所述的方法， 其中所述第一图像传感器(11)的视场(15)和所述第二图像传感器(12)的视场(16)不相交。
7.根据权利要求3至5中任一项所述的方法， 其中所述第一图像传感器(11)和所述第二部图像传感器(12)提供在所述车辆(I)的相对侧上。
8.根据权利要求I至5中任一项所述的方法，其中所述确定所述图像传感器的位置和定向包括确定矢量i ,其 IMI丨 在矢量夏具有固定模数的约束下变为最小值，其中L是具有等于所述矢量M的行数的列数的矩阵，且其中I I I I表示矢量模函数。
9.根据权利要求8所述的方法， 其中所述矢量I 具有作为所述图像传感器的摄像机矩阵元的矩阵元。
10.根据权利要求9所述的方法， 其中所述矢量M定义为
11.根据权利要求8所述的方法， 其中所述矢量潇独立于所述图像传感器的内部参数。
12.根据权利要求11所述的方法， 其中所述矩阵L独立于所述图像传感器的内部参数。
13.根据权利要求I至5中任一项所述的方法，其还包括 基于针对所述多对(41至44)获得的所述建立步骤的结果而确定所述多个图像传感器(11至14)在车辆参考系中的外部参数。
14.根据权利要求13所述的方法， 其中确定所述车辆参考系中的所述外部参数包括计算所述多个物体(22至29 ；31)的投影。
15.根据权利要求13所述的方法， 其中所述车辆视觉系统是环绕视图系统，且所述确定的外部参数用于基于由所述多个图像传感器(11至14)捕获的图像(45、46)而计算环绕视图。
16.根据权利要求I至5中任一项所述的方法， 其中所述多个物体(31)包括位于第一平面(32)上的至少三个物体和位于第二平面(33)上的至少三个物体，所述第一平面(32)和所述第二平面(33)相对于彼此按一个角度配置。
17.根据权利要求16所述的方法， 其中所述多个物体(31)包括位于第三平面(34)上的至少三个物体，其中所述第一平面(32)、所述第二平面(33)和所述第三平面(34)相互正交。
18.根据权利要求I至5中任一项所述的方法，其中所述图像传感器(11)的内部参数基于所述图像(45)建立，且其中所述额外图像传感器(12)的内部参数基于所述额外图像(46)建立。
19.根据权利要求I至5中任一项所述的方法， 其中所述图像传感器(11至14)分别包括鱼眼透镜，且 其中所述图像传感器中的至少两个(13、14)提供在所述车辆(I)的侧门镜上。
20.一种车辆视觉系统，其包括 多个图像传感器(11至14)，其分别具有电光组件以捕获具有非线性畸变的图像(45、46)，所述图像传感器(11至14)提供在所述车辆(I)上的不同位置上；和 图像处理单元(10)，其被构造来处理由所述多个图像传感器(11至14)捕获的图像数据，所述图像处理单元(10)被构造来 识别包括在由图像传感器(11)捕获的图像(45)和由额外图像传感器(12)捕获的额夕卜图像(46)中的多个物体(22)； 基于所述捕获的图像(45)确定所述图像传感器(11)相对于所述多个物体(22)的位置和定向，以及基于所述捕获的额外图像(46)确定所述额外图像传感器(13)相对于所述多个物体(22)的位置和定向；和 基于所述图像传感器(11)相对于所述多个物体(22)的所述确定位置和定向以及所述额外图像传感器(13)相对于所述多个物体(22)的所述确定位置和定向建立所述额外图像传感器(13)与所述图像传感器(11)之间的相对位置和定向。
全文摘要
一种车辆视觉系统包括分别捕获具有非线性畸变的图像的多个图像传感器(11至14)。为了标定所述车辆视觉系统，使用图像传感器(11)捕获多个(22)物体的图像，以及使用额外图像传感器(13)捕获所述多个(22)物体的额外图像。所述图像传感器(11)和所述额外图像传感器(13)具有重叠的视场(15、17)。所述图像传感器(11)相对于所述多个(22)物体的位置和定向基于所述捕获的图像确定。所述额外图像传感器(13)相对于所述多个(22)物体的位置和定向基于所述捕获的额外图像确定。所述额外图像传感器(13)与所述图像传感器(11)之间的相对位置和定向基于所述确定的结果而建立。
文档编号B60R1/00GK102982526SQ20121017983
公开日2013年3月20日 申请日期2012年6月1日 优先权日2011年6月1日
发明者K.纳特罗什威利, K-U.肖勒, J.夸斯特 申请人:哈曼贝克自动系统股份有限公司