静态目标的路过式校准的制作方法

现行规范(present specification)与车载摄像机的校准有关，尤其与使用地面上静态目标进行的摄像机校准有关。

背景技术：

越来越多的客车配备了摄像机。摄像机可为司机提供许多辅助功能，例如车道保持、泊车辅助、障碍物和其它目标检测、紧急制动、事故和其它事件重现、交通状况和天气情况监测、驾驶模式记录、推导车辆的速度和位置、车辆检测和避免碰撞、交通标志检测、照明调整以及夜视等。

这些功能要求图像处理，摄像机中的处理部件或车上的专用处理部件可用于图像处理。处理部件连接到诸如屏幕、指示器、发动机控制单元等其它装置。

技术实现要素：

对于车辆周围事物的精确表达，要求进行摄像机校准。摄像机校准包括例如焦距和透镜畸变等内部参数校准，以及例如摄像机位置和方向等外部参数校准。

尤其是，现行规范披露了根据现行规范进行单摄像机或多摄像机系统外部校准的方法。根据用途的一种校准方法不需要

-车辆的精确定位

-用于校准的专用静态车辆时间

-一家工厂内的大面积区域，尽管如果必要，可提供这些条件。

校准可在工厂内或工厂外进行。例如：可在车间的车库或专门的地方进行校准，但地面上都要有适宜的标志。

根据现行规范的校准方法可提供

-短校准时间

-灵活的驾驶条件要求

-与地面特性无关，只要地面平坦就足够了，同时还提供精确的校准。

根据现行规范，在方法中，驾驶车辆通过地面上的一组预定图案或标记。安装在车辆上的摄像机记录这些图案的影像。一个或多个计算单元计算所有摄像机相应的外部参数。

外部参数将摄像机坐标系统与世界坐标系联系起来。这可通过例如旋转以及换算完成。

图案，也称为“校准目标”或“校准标记”，不一定相互对齐平行。当车辆驶向目标时，捕获的视频序列检测、确认并追踪一个或多个目标。摄像机外部参数的计算基础是捕获的视频序列的多帧。

根据一个主要实施方案，包括围绕车辆坐标系统的x、y和z轴旋转以及车辆坐标系统安装高度的摄像机外部参数被同时优化，并单独地校准各车载摄像机。尤其是，可能会有四台车载摄像机。

根据现行规范，依据下面的列表，校准方法的属性也可总结如下：

-校准图案无需对齐；

-无需诸如速度、转向、全球卫星定位系统(GPS)定位等关于车辆的其它信息；

-未计算内部参数，事实上，它们是所述方法的输入之一。

1.标记形状是预定的，并根据所述方法已经存储。只要求以下输入：

-源于摄像机的输入(图像序列)；

-摄像机内部参数(在摄像机制造时就确定了)；

-估计的摄像机安装位置(放置在车辆上，尤其是，X和Y位置)。

2.使用移动车辆车载摄像机提供的图像序列。

3.图案不是由道路标记提供的，而是由预定的特定图案提供的。

4.提供图案的优选方式是涂刷图案(用于固定使用，例如工厂中)，或将图案预涂刷在可移动的板上(更具灵活性，例如用于车库中)。

计算单元使用已知真实尺寸的图案，其中，尺寸是指图案的外边界。此外，图案可能包括子结构或子图案，例如棋盘状图案。

尤其是，目前的应用揭示了推导至少一台车载摄像机的外部参数的方法。

在平坦地面上，安放一个或多个预先确定的校准标记。对应校准标记的一组预设形状参数存储在车辆的计算机可读存储器中。从更广泛的意义上讲，标记的已存储矢量图形也被视为形状参数。形状参数描述校准标记的特征。例如，半径可描述一个圆形标记的特征，十字对角长度或边长可描述正方形标记的特征。

驾驶车辆碾过一个或多个预设校准标记，一台或多台车载摄像机捕捉到校准标记。根据另一种实施方法，在捕捉图像的同时，车辆保持不动。从至少一台车载摄像机接收到图像数据，在摄像机的一个计算单元和/或车辆的一个计算单元中处理图像数据。与现行方法相关的图像数据包括校准标记图像。标记图像是传感器信号的数字表示，传感器信号对应标记或标记的一部分。

包括校准标记图像的图像数据的一部分也被称为“校准标记图像数据”。“图像数据”、“校准标记图像”以及“校准标记图像数据”的表达可能指传感器的数字化原始图像数据或被处理的数据。其中，图像处理可能包括减少失真、提供自上而下的投影、噪声消减或对传感器原件进行补偿的性能。

计算单元检测图像数据中图像帧的一个或多个校准标记成像器的标记边界，使检测到的标记边界和预设的形状参数相配。计算单元识别一个或多个校准标记。在一实现中，通过识别校准标记的形状来识别标记。将校准标记的表观形状与储存的形状参数进行比较，进而识别标记的形状。

追踪视频序列中已识别的校准标记，同时，至少有一台车载摄像机在移动，并且，使用捕获的视频序列中已识别校准标记的位置，确定至少一台车载摄像机的一个外部参数。

在一具体实施方案中，校准标记配备光学识别符号，该符号识别标记的类型。然后，计算单位对识别符号加以识别，进而识别标记形状。其中，光学识别符号可能存在颜色、数量或布置上的差异。例如，正方形标记可带有一个红点，菱形体标记带有一个蓝点，或带有不同数量和/或位于不同位置的点。或者，除此之外可通过标记外边界，标记图案或其它特有的光学特性识别标记形状。

在一实施方案中，光学识别符号还可用于检测标记是否对齐，例如：通过在标记上显示十字形或箭头状光学识别符号或显示棋盘状图案等内部图案。

具体来说，得出的外部参数包含围绕车辆坐标系第一条水平轴或x轴的旋转角或倾斜角(还被称为俯仰旋转角)、围绕第二条水平轴或y轴的旋转角(还被称为水平旋转角)、围绕垂直轴或z轴的旋转角(还被称为滚动旋转角)以及对应于车辆坐标系的安装高度。

车辆坐标系指固定在车辆上的虚拟矩形坐标系或参照系。水平轴与地平面平行。当垂直轴向上并与水平轴正交时，水平轴沿车辆的主轴对齐。

根据选择的一种车辆坐标系，车辆坐标系的水平面与地平面对齐，x轴与前轴平行，且坐标原点位于前轴的左端。根据另一种选择，坐标原点是质心或几何中心点到地平面的投影。

在一具体实施方案中，所述方法包括在一个或多个预设校准标记的其中一幅图像中，用以确定第一组至少两个平直标记边界以及第二组至少两个平直标记边界。标记边界的选择应确保第二组标记边界不会与第一组标记边界平行。并且第二组标记边界可能对应于同一标记或不同标记的图像。

计算单元得出至少一个车载摄像机从第一组标记边界和第二组标记边界到地平面的方向。

两组平行线集中在地平线上的两个没影点，形成了连接这两个没影点的没影线。这反过来实现了摄像机相对于地平面的倾斜角。所述倾斜角可使摄像机绕车辆坐标系的水平x轴和y轴旋转。

根据另一种实施方案，依据车载摄像机感应器表面标记图像的透视缩短来确定摄像机相对于垂直方向的倾斜角。根据此种实施方案，通过使探测到的标记边界与预设形状参数匹配来得出至少一个标记图像的透视缩短，并根据得出的透视缩短得到至少一个车载摄像机到地平面的方向。

例如，圆形标记的图像显示为椭圆形。椭圆度以及椭圆主轴的方向给出倾斜量以及倾斜方向。对于三角形标记，可将三个角与对应三角形标记的三个角进行比较，这作为形状参数被储存在计算机的可读内存中。因此可得出摄像机的倾斜角。相同或类似的方法同样还适用于确定多边形标记的透视缩短。例如，可将多边形分解成三角形，然后可将三角形的角或外部标记边界的角与所储存的对应校准标记的角进行比较。

为了提高准确度，可对不同校准标记图像和/或图像序列的不同图像帧重复进行此估算，并通过计算单独估算值的加权平均数得出最终估算值。如果认为估算的准确度不足，加权平均数的权重可采用零。

在一种实施方案中，标记边界包含一个或多个预设校准标记的内部图案边界；而在另一种实施方案中，标记边界包含外部边界。

尤其是，一系列平行标记边界或透视缩短可用于根据得出的摄像机相对于地平面的方向确定第一条或第二条水平轴的旋转角。

根据进一步的具体实施方案，所述方法还包括得到至少一个或多个校准标记的图像中形状参数的大小，例如表观边长、表观交叉对角线长度、表面积或主轴长度。将可测量标记的表观尺寸的形状参数大小与所储存的对应形状参数大小进行比较，由此可得出至少一台摄像机的安装高度。

尤其是，形状参数的大小或校准标记图像中标记的表观尺寸可用于确定标记距车载摄像机的距离。已知摄像机相对于垂直方向的倾斜角(α)时，例如使用上述方法或其他方法得到所述倾斜角，可得出摄像机相对于地面的安装高度(Z)为：Z＝d*cos(α)。

根据进一步的具体实施方案，所述方法包括根据第一个车载摄像机的图像数据或图像帧得出一个或多个校准标记图像的形状参数大小。尺寸参数用于指示图像传感器上校准标记图像的尺寸。

通过将尺寸参数与所储存的尺寸参数进行比较，计算单元可得出第一个车载摄像机到对应校准标记之间的距离，其对应于校准标记图像。另外，计算单元根据第二个车载摄像机的图像数据或图像帧可得出校准标记图像的形状参数，其对应于相同的校准标记。通过将尺寸参数与所储存尺寸参数进行比较，可得出第二个车载摄像机到对应校准标记之间的距离。

利用得出的第一个和第二个距离，可得到校准标记在地面上相对于车辆坐标系的位置。

通过推导出的校准标记位置可得到第一个车载摄像机围绕垂直轴的旋转角。而且，通过推导出的校准标记位置可得到第二个车载摄像机围绕垂直轴的旋转角。

根据对方法的进一步修改，所述方法包括通过推导出的对应校准标记位置得到第一个或第二个车载摄像机围绕第一条或第二条水平轴的旋转角。

可通过计算外部参数估算值的加权平均数提高精确度。例如，图像数据可包含两个或更多的校准标志图像。对于两个或更多校准标志图像中的每个图像，计算单元至少导出一台摄像机的摄像机方向，并计算平均摄像机方向，作为至少一台摄像机导出的摄像机方向的加权平均数。

可通过不同的方式提供校准标志。尤其可通过涂漆面或一个或多个活动板加以提供。

另一方面，现行规范公开了执行上述方法的计算机程序产品，该产品可通过存储介质提供诸如光学介质、磁化介质、铁电介质或电可编程序只读存储器(EPROM)上集成电路/专用集成电路(ASIC)的存储器。此外，现行规范包括计算机可读的存储介质，该介质由计算机程序产品组成。

另一方面，现行规范公开了一个计算单元，比如车载摄像机的一个或多个计算单元、用于连接环视摄像机或摄像机组合的集中式计算单元。尤其是车载摄像机可作为环视系统的一部分，提供街道表面自上而下的投影。

计算单元包含电子计算方法，比如微处理器、集成电路(IC)和/或专用集成电路(ASIC)、具有一组预定校准标志预定形状参数的计算机可读存储器、以及从一个或多个车载摄像机接收图像数据的接头。图像数据包含校准标志的图像数据。

通过提供所储存的可执行指令和/或用于数字和/或模拟数据处理的相应电子器件，计算单元能有效检测图像数据中一个或多个校准标志图像的标志边界，并将检测到的标志边界与预定的形状参数相匹配。

当至少有一个车载摄像机运行时，计算单元以视频序列追踪一个或多个所确定的校准标志，并以捕捉到的视频序列，利用一个或多个所确定的校准标志位置导出至少一个车载摄像机的一个外部参数。

其中，可根据围绕第一水平轴的旋转角、围绕第二水平轴的旋转角、围绕垂直坐标系统的垂直轴或Z轴的旋转角、以及车辆坐标系统的安装高度选择外部摄像机参数。

根据另一个具体实施方案，对于地表上相应校准标志的一个方向，计算单元还能有效导出至少一个与校准标志图像相符的车载摄像机相对方向。

此外，现行规范公开了具有计算单元和一个或多个车载摄像机的成套装置，以及安装该成套装置的车辆。一个或多个车载摄像机安装在车辆的预定位置，面向车辆外部。计算单元与一个或多个车载摄像机实施电气连接。

即便这些标志拥有预定的相对方向或布置图案，可用于特征检测和匹配，也不需要在预定方向上或以预定的布置图案对准标志。

由于视角透视收缩，一些标志边界的投影相对其他具有较少的像素，因此不适合导出标志边界的方向。当以随机定向布置标志时，找出标志边界的可能性较高，对车载摄像机而言具有合适的定向。此外，当无需提前确定相对距离和方向时，可便捷地布置图案。该特征有益于车间车库，并有助于汽车机械师节省时间。

当车辆驶过标志时，后续的图像帧会提供该标志的不同视图。这还会增加特殊图像帧给定标志的独特视野，适用于确定摄像机方向或可能的安装高度。

可使用形状不同的标志提升发现适用于图像识别标志边界的可能性。例如，标志会随着笔直的外边界数量、边界长度和表面积变化。一些标志更适用于确定标志尺寸。标志形状包括方形、矩形、菱形、三角形、正三角形、直角三角形和圆形。正多边形或四面以上的多面体也可用作标志形状。

标志边界可用于确定没影线，从而根据地平面使车载摄像机相应倾斜。因为所有标志都布置在地平面上，标志边界的延伸段终止在没影点，大约位于同一条没影线上。

根据另一个具体实施方案，统一提供白色或任何其他颜色的统一标志，图案可由除黑白外的其他颜色组成。可提供21到27号标志作为任何平面或专用校准表面上的预定义标志。尤其可通过喷漆提供21到27号标志，例如对于工厂校准，或预先印好的活动图案板，例如车间车库内的校准。

根据一项具体实施方案，图像估算单元利用信息估计标准尺寸，比如摄像机到地平面的距离、摄像机相对于垂直轴的方向、车辆相对于水平x-y面内的标志方向，以及车辆速度。

如果所述标志被提供为定制标志，可提供标志作为地平面上的物理标志，具体做法是例如使用临时可移动图案或一次性贴纸，或通过例如油漆或具有反射颗粒或反射成分的涂料在道路上绘出这些图案。

附图说明

现在利用以下图形更详细说明当前规范的主题，这些图形分别为

图1

展示具有环视系统的车辆驶过地平面上的第一组标志；

图2

当图1车辆位置在第二个位置时，展示图1内的一组标志；

图3

当图1车辆位置在第三个位置时，展示图1内的一组标志；

图4

展示具有环视系统的车辆驶过第二组标志；

图5

说明到地平面上的投影；

图6

进一步详细说明到到地平面上的投影；

图7

展示利用图1或图4标志确定外部摄像机参数的步骤；

图8

说明确定水平摄像机方向的第一个步骤；

图9

说明确定水平摄像机方向的第二个步骤；

图10

说明确定车辆平移的步骤；

图11

说明根据标志尺寸确定垂直摄像机方向的步骤；

图12

说明根据标志尺寸确定水平和/或垂直摄像机方向的步骤。

具体实施方式

下文详细描述现行规范的体现。对有丰富经验技艺的人士来说，这应该非常明显。但在具体实施方案中可能并不需要此类细节。

图1到图3显示了21—27这一组标记相对于车10的位置，车10碾过这组标记。同时，车的光学识别系统使用车载摄像机12、13、14、15获取视频序列。

图1显示了配备有环视系统11的车辆10。该环视系统11由前视摄像机12、右视摄像机13、左视一台摄摄像机14和后视摄像机15组成。摄像机12—15与控制器的中央处理单元CPU相连，它没在图1中显示。

在图1中，坐标X、Y、Z指示一套世界坐标系，坐标系X'、Y'、Z'指示一套汽车坐标系。汽车坐标系X'、Y'、Z'与汽车对齐并固定到汽车上，比如重心、前轴轴中心或这类点在地面的投影。同样，世界坐标系X、Y、Z被固定到周围环境中的某个点上，比如在t_0时，汽车坐标系的位置和方位。

通过实例来确定坐标系的方位和布置方式，而且可做出不同的选择。比如，Z轴也可如图4所示指向下方。

图1显示了车辆10经过或碾过一组校准目标或标记21到27的情况，校准目标或标记21到27布置在地平面16上。箭头5表示车辆10的前进方向和速度。在图1的具体实施方案中，标记21到27由边界20界定。标记21到25使用统一的黑色填充，标记26和27由黑白图案组成。颜色可由反射粒子组成。

如图1所述，车辆行驶的方向5不需要与标记对齐。即使并不知道车辆相对于标记的方位，仍可确定四个摄像机在水平x-y平面中的相对方位以及摄像机相对于垂直z轴的倾斜度。

图4显示车辆10经过地面16第一个校准图案的情况。与图1标记不同的是，图4的标记由带有棋盘状图案的第一类标记28、29、31、32和带有径向或星形校准图案的第二类标记30组成。

图5和图6展示了俯视投影或在地平面的投影情况。

图5显示了侧视图，在该图中右置摄像机13被用于地平面投影。如果将摄像机放置在距地面高H的位置，扩展角度为θ的投影相当于在地面延伸H*cos(θ)。

图6所示为端口和地平面的视图。图6显示了俯视视野，其中地平面与端口视图平行。一般而言，地平面可倾斜于摄像机传感器，地平面也被称为像平面。图6所示的俯视视野通过推导摄像机相对于纵轴的方位并旋转像平面获取，像平面的旋转可使像平面与地平面平行。

端口视图平面17内的某个点用p＝(u、v)表示，其在地平面16中对应的点用p＝(X、Y)表示。端口视图平面17与投影中心C之间的距离用字母“f”表示。

在图1所示的环视系统中，将单个摄像机的俯视图合并在一起，以获取车辆的环视俯视视野，这类似于安装在车辆上与地平面平行的摄像机生成的俯视视野。

举例来说，单个摄像机的图像合并可通过下述方式进行：使用摄像机已知的视野或通过推导摄像机的方位和/或识别单个摄像机图像的相应特征。

图7显示了通过按照现行规范的要求布置校准标记来对摄像机外部参数进行校准的情况。图1和图4对此类布置提供样例。但是，校准标记的布置不局限于图1和图4的具体实施方案。

摄像机外部参数的自动确定通过按照现行规范的要求布置校准标记将摄像机坐标系和世界坐标系连接起来。

在步骤40中，对从摄像机获取的数据加以处理。在步骤41中，确定标记边界，例如通过使用霍夫变换峰值和/或聚集分布在单位球面(端口视图的点(u、v)投射到该球面上)上的点来实现该目的。将所识别的标记边界与通过按预定义标记所存储的形状参数所确定的标记边界加以比较。

预先确定的标记形状参数被存储在计算机可读存储器中。此外，此类存储器可由车载摄像机提供，以车载摄像机外部存储器或与车载摄像机相连的计算单元存储器的形式提供。

在步骤42中，识别各种标记图案，如果标记仅由一个图案组成，则所识别的图案与预定义图案所存储的形状参数进行比较。如果发现相匹配的预先确定标记，这种标记相当于标记边界，如果存在相当于图案的标记，则图像对应的像素被确定为预先确定的标记像素。

在步骤43中，摄像机的安装高度Z和垂直定向x、y、z由标记以及标记图案预先确定的形状和尺寸确定。

图8至图11对步骤42的实施进行了举例说明，而图12则对步骤43的实施进行了举例说明。

图8中，第一条虚线50表明了前置摄像机12的传感器平面在X-Y水平面上的定向，而第二条虚线51则表明了右置摄像机13的传感器平面在X-Y水平面上的定向。

例如，从图案27左前角连接至前置摄像机12的连接线与前置摄像机传感器平面50所成倾斜角为α₂，而从图案27左前角连接至右侧摄像机13的连接线与右置摄像机13的传感器平面51所成倾斜角为α₁。

根据这一具体实例，传感器平面50和51在水平面上的相对定向可通过计算角α₁和角α₂的差值得出。随后通过使用不同图案的多个参考点计算出平均值可改进该估计情况，也可通过使用多个图像帧的参考点，而不是仅使用一个图像帧的参考点对估计情况进行改进。

根据一项具体实施方案可看出，摄像机12、13、14、15在X-Y水平面上的绝对定向是通过与另一台摄像机相对照而得出的，而参照摄像机的定向已知。该参照摄像机例如在车辆挡风玻璃之后等场合的位置应不会使其受到能改变摄像机定向的冲击。

图9中展示了第二种方法。其中，图案21至27中直线的定向被用于判定摄像机12、13、14、15在X-Y水平面上的定向。这些直线可通过标记边界得到，或可通过标记内部图案的直线获取。

例如，图案25的右前边界线与前置摄像机12的传感器平面50所成倾斜角为γ₂，而图案27的前边界线与前置摄像机12的图像传感器平面所成倾斜角为β₂。

此外，图案27的前边界线还与右置摄像机13的图像传感器平面成倾斜角β₁。在图4的示例中，标记均平行对齐，相互间为预定距离。而这些预定的平行排列和距离能用于导出摄像机的外部参数。在此情况下，各标记的相对定向和/或其相对距离将被存贮在计算单元的可读记忆体中。

图10展示对车辆10平移52的确定方法。例如，图案22的正面延伸至车辆10的第一个位置并与其平面成角度δ，然后延伸至车辆10的第二个位置并与其平面成角度δ'。对从图案22左前角连接至摄像机22的连接线，其在第一个位置的角度为ε，第二个位置的角度为ε'。

如图10所示，车辆10的直线运动形成了图案25、27的边界线，而这些边界线与摄像机12和13的传感器平面50和51所成角度相同。

车辆10的导出运动此时便可用于改善摄像机外部参数估计，尤其能改善对摄像机定向的估计。

图11说明了摄像机与垂直面倾斜角的估算方法。从右置摄像机13观察时，图案26出现角度为ω₂的交叉对角线，而从前置摄像机12观察时，图案25出现角度为ω₁的交叉对角线。使用图案26对角线的表观尺寸，便可得出摄像机13与图案26之间的距离。而通过摄像机13的已知高度Z，则可得出图案与垂直面所成角度即

角度是与图案和摄像机13连接线与摄像机13的传感器平面所成角度进行的比较。由此确定，右置摄像机13的传感器平面在垂直面或水平面上倾斜。可通过采用以下方式对估计进行改进：使用多个标记的边界线；使用多帧；使用标记的多个形状参数(例如同时使用两个交叉对角线)；使用标记的内部图案等。

尤其可通过对图案、形状参数和多个图像帧的图案算出导出倾斜角度的加权平均数，从而得到传感器平面的倾斜度。在一项具体实施方案中，加权平均数的权重是根据估计值的估计精度进行调整的，其中，精度越小，估计值的权重将越低。例如，若一个标记的位置与摄像机相距甚远，而根据该标记对倾斜角进行估计，那么所得估计值的精度通常较低。

图12阐明了基于标记尺寸确定水平和/或垂直摄像机方向的另一种方法。例如，从前置摄像机12观察，标记27的前沿以ω₁角延伸；而从右置摄像机13观察，其以ω₂角延伸。采用角ω₁、角ω₂、所储存实际尺寸和标记形状作为输入值，分别计算标记27与前置摄像机以及右置摄像机的距离d₁和d₂。另外，利用车辆上的已知摄像机位置计算距离d₃。

由此，获知前置摄像机12、标记27和右置摄像机13所形成三角形的所有三个角。此外，还获知前置摄像机12、右置摄像机13和标记27的标高。这反过来可确定三角形的三维立体方向。

使用校准标记的尺寸以及三角形的方向，可推导水平和垂直摄像机方向或各摄像机传感器平面的方向。为了增加准确度，可针对多个标记、多个构图和单独标记的、例如：交叉对角线、前沿和后沿等不同形状参数重复该程序。

参考号列表

10 车辆

11 环视系统

12 前置摄像机

13 右置摄像机

14 左置摄像机

15 后视摄像机

16 地平面

21—27 标记

28—32 标记

40—48 方法步骤

50 传感器平面

51 传感器平面

52 平移