专利名称：确定布置在车辆中的照相机的位置和取向的方法
技术领域：
0001本发明涉及一种用于确定布置在车辆中的照相机的位置
和取向的方法。
背景技术：
0002照相机用在车辆中，例如与巡航控制系统相结合。如果巡航控制系统包括所谓的转向辅助装置，则照相机观察位于车辆前方的视野范围并使转向辅助装置能够识别行车道限制或者甚至次级道路上的不相关路边。因此，利用由照相机记录的图像，可确定车辆距行车道边缘的距离，或者通过车辆速度，可确定直到非有意离开行车道的时长。距行车道边缘的距离或者直到离开行车道的时长一旦不达到某个预定值，转向辅助装置就发出警告(车道偏离警告)以帮助司机。
0003为了能够可靠地发出这样的警告以帮助司机和避免错误的警告，必须尽可能准确地知道照相机相对于由车辆定义的坐标系的位置和取向，因为否则会错误地确定距行车道边缘的距离或者直到离开行车道的时长。
0004已经提出各种方法来确定布置在车辆中的照相机的位置和取向，其中，在所谓的在线和离线校准方法之间通常进行区别。
0005布置在车辆中的照相机的在线校准方法是在车辆运行期间执行的，并且需要对车辆的周围环境作出几何假设，或者需要使用车辆运行的参数，诸如例如转向角或横向加速度。几何假设(大多数情况下不是基于确切的测量)和车辆运行参数的使用(可能为误差所累)，限制了在线校准方法的准确度，使得在确定照相机位置和取向的时候，仅仅使用在线校准方法不能获得所需的准确度。
0006离线校准方法是已经在车辆的制造期间或者是在车辆在车间中维修保养期间执行的。公知的离线校准方法利用通常布置在车辆前方的照相机视野范围内的水平和/或竖直的几何图案。在公知的离线校准方法中，必须精确地知道几何图案的特征点相对于由车辆定义的坐标系的位置。在由照相机记录的图像中，通过照相机的成像特性和/或成像模型，确定对应于几何图案的特征点的特征图像点的位置以确定照相相对于由车辆定义的坐标系的位置和耳又向。
0007为了实施公知的离线校准方法，因此需要确切地知道特征点相对于由车辆定义的坐标系的三个空间坐标，以达到校准所需的准确度。就确定特征点在车辆坐标系中的三个坐标而言，这是不利的，也就是说，测量特征点相对于车辆的位置，在时间和设备方面需要相当大的花费。此外，测量可能包含系统误差并可能为非准确性所累。另外，针对每一种车辆类型必须至少再次确定该特征点的该三个坐标。
发明内容
0008因此，本发明的目的是提供一种方法，采用该方法可以更简单、更快速而又精确地确定布置在车辆中的照相机的位置和取向。
0009该目的通过具有权利要求l的特征的方法而达到，尤其在于，照相机布置在相对于几何图案的第一距离处，使得至少三个不在一条直线上的特征图案点位于照相机的视野范围内，其中，特征点之间的距离是已知的，并由照相机记录几何图案的第一图像。从照相机所记录图像中对应于特征图案点的至少三个特征图像点的位置，来确定照相机相对于由车辆定义的坐标系(这里也称作车辆坐标系)的高度、侧倾角和纵倾角，在这一点上描述照相机成像特性的成像模型是优化的。为了执行该方法，需要具有至少三个特征点的图案，以便它们决定一个平面以确定角度。
0010本发明方法的一个特别优势在于，只需要知道特征图案点之间的距离，而不是这三个点相对于车辆的位置。特征图案点(优选地布置在一个平面内，尤其是在基底(base)上)之间的距离，与这些点相对于车辆的空间位置相比，可以显著地更简单和更精确地确定。此外，例如在机动车车间里，可以将几何图案在基底上标记一次，然后可以按照需要的频度再次使用。
0011由于仅需要开始时测量一次几何图案的特征点之间的距离，然后就可以按照需要的频度执行该方法，而无需更新特征图案点之间距离的测量。从而减小了对误差的敏感性，并且与公知的离线校准方法相比提高了校准的准确度。
0012如果首先知道了特征图案点之间的距离，则不需要进一步的测量以执行该方法。因此，才丸行该方法的时间花费显著地少于7> 知的离线校准方法。根据本发明发生的是用于实施照相机成像模型的 优化算法的 一 次性花费，而不是在已知的离线校准方法中为每次校准 所需的测量花费。
0013本发明的有利设计可从从属权利要求、说明书和附图中看出。
0014描述照相机成像特性的成像模型优选地按如下优化首 先通过成像模型将至少三个对应于特征图案点且位于照相机图像平面 内的特征图像点投影回车辆坐标系统中(即，通过逆成像)，计算出投 影回的点在照相机前方区域中的位置。投影回的点是虛像点。
0015如果成像模型正确描述了照相机的成像特性及其在车辆 中的位置和取向，则投影回的点的位置将与特征图案点的位置重合。 但是，在实践中大多数情况下不优化成像模型这是不能实现的。
0016由于成像模型取决于如下参数，尤其包括照相机相对于 车辆坐标系的高度、侧倾角和纵倾角(这些参数也称为外部参数)，因 此可改变成像模型的参数以优化成像模型，直到使每种情况下两个投 影回的点之间的距离与对应的特征图案点之间的已知距离相 一 致。照 相机的高度、侧倾角和纵倾角从而对应于成像模型的优化外部参数。
0017为了改变成像模型的参数，可使用若干种优化方法。但 是，有利地通过使非线性误差函数最小化来实施成像模型的优化，所 述非线性误差函数将每种情况下两个特征图案点间的距离与对应的投 影回的点的距离之间的偏差的平方作为误差。优选通过优化算法，尤 其是确定性的，例如#4居单纯形(Nelder-Mead Simplex)方法，来实 施非线性误差函数的最小化。因此，有利的是，非线性误差函数的优 化算法独立于照相机的成像模型，使得优化算法和成像模型可以彼此 分开实施和改进。
0018优选地使用针孔照相机模型作为成像模型。 一方面，针 孔照相机模型清楚且具有少量的参数，但另一方面，又精确得足以用 校准所需的准确度来描述照相机的成像特性。
0019照相机图像中特征图像点的位置有利地通过经修改的辐 射对称变换来确定。如果照相机的分辨率足够大，则大多数情况下， 特征图像点在照相机图像中包括若干像素构成的一个区域。例如，可
6通过经修改的辐射对称变换以亚像素范围内的准确度来确定照相机图 像中圓形点的中心，使得成像模型的准确度不受限于照相机的技术特 性，诸如例如像素大小和分辨能力。
0020为了完全决定布置在车辆中的照相机的位置和取向，优 选地额外确定照相机相对于车辆坐标系的4黄摆角。因此，4吏车辆相对 于几何图案直线运动，并且在照相^L相对于几何图案的第二距离处记 录几何图案的至少一张第二图像，其中第二距离不同于第一距离。
0021第 一特征图像点对应于第 一照相机图像中的同 一特征图 案点，且第二特征图像点对应于第二照相机图像中的同 一特征图案点， 通过借助于优化后的成像模型反向投影(back projection)到车辆坐标 系中，计算出对应的第一和第二^:影回的点的位置。如果照相机相对 于车辆行驶方向的横摆角等于零，则第二投影回的点相对于第 一 投影 回的点的位置不变，即，这两个投影回的点重合。另一方面，如果出 现不等于零的横摆角，则从来自不同图像的对应于特征图案点的投影 回的点的位置变化来确定照相机的横摆角。如果车辆沿其纵轴线运动， 则照相机的横摆角的大小对应于投影回的点相对于车辆纵轴线的位置 变化的纵倾角的大小。
0022有利的是，也不需要进一步的测量(例如时间间隔或距 离)以确定照相机的横摆角。尤其是不需要确定车辆或照相机与特征 图案点之间的距离或者该距离的变化。
0023虽然原则上来说，计算出来自第一图像的第一投影回的 点和来自第二图像的第二投影回的点以由此确定第一和第二投影回的 点之间的位置变化，对于确定横摆角而言就足够了，但是计算出来自 第一图像的若干第一投影回的点和对应数量的来自第二图像的第二投 影回的点以由此确定对应数量的位置变化，这对于确定照相机的^f黄摆 角而言是有利的。可替代地或额外地，可以将两张以上的图像用于点 的反向投影。以这种方式，显著提高了确定照相机横摆角时的准确度， 这是因为通过更多数量的测量数据减小了成像或反向投影的统计误 差，并且可以识别和消除千扰或误差测量。
0024
一旦确定了布置在车辆中的照相机的位置和取向，就可 将照相机相对于车辆坐标系的高度、侧倾角、纵倾角和橫摆角作为参 数传输到巡航控制系统的图像评价算法。换言之，使图像评价算法适
7应上述参数，从而适应照相机的位置和取向。这样校准了照相机以用 于特定应用中，例如用于巡航控制系统的转向辅助装置中。
0025为了实施上述方法，提供了具有权利要求ll的特征的装 置。本发明的装置包括尤其是固定的几何图案、布置在车辆中的照相 机和连接于照相机的校准单元。几何图案具有至少三个不在一条直线 上的特征图案点(这些点间的距离已知)，并且布置在车辆前方的照相 机的视野范围内。连接于照相机的校准单元可作为独立模块或作为巡 航控制系统的控制单元的一部分实施。校准单元也被设计成用于实施 描述照相机成像特性的成像模型的优化。通过成像模型的优化，具体 借助于照相机所记录的图像中特征图像点的位置，来确定照相机的高 度、侧倾角和纵倾角。校准单元也被设计成用于从投影回的点的位置 的变化确定照相机的横摆角。
0026下面参照附图利用 一个有利实施例来说明本发明。0027图l示出了用于实施本发明的方法的装置的示意图，0028图2示出的示意图例示了照相机横摆角的确定。
具体实施例方式
0029图l示出了车辆ll和布置在巡航控制系统中的巡航控制系 统的照相才几13,该照相4几13的位置和取向，即高度、侧倾角、《从倾角 和横摆角将相对于车辆坐标系来确定。照相机13可以布置在例如风挡 玻璃的上方区域中或者车辆ll的前方区域中。
0030车辆坐标系的x轴由车辆11的纵轴线定义在行驶的前进方 向上，y轴在驾驶员门的方向上垂直地指向x轴，z轴垂直地指向上方。
0031照相机13具有光轴和限定成像平面的图像传感器(例如 CCD传感器)，其中光轴与成像平面的交点被用作照相机的参考点。车 辆坐标系的原点位于基底上，待确定的照相机的高度由照相机的参考 点在车辆坐标系中的z坐标限定。待确定的侧倾角、纵倾角和4黄摆角表 示图像传感器绕车辆坐标系的x轴、y轴或z轴的旋转角。
0032照相机13连接到未示出的校准单元以确定其位置和取向。
0033还提供了附接到例如基底的几何图案15,用于确定照相机13的位置和取向。在本示例性实施例中，几何图案15具有圓形特征 图案点17的布置，其中，图案的其它设计也是可能的。几何图案必须 具有至少三个特征点17,它们决定车辆前方的一个平面。举例来说， 图1的图案包括6个点以提高该方法的准确度。
0034每种情况下两个特征图案点之间的距离19,例如点17，和 17，，之间的距离是已知的。为了这个目的，可以首先精确地测量图案15， 例如根据它的形状。
0035为了确定照相机13的位置和取向，将车辆ll定位在图案 15的前方，使得图案15位于照相机13的视野范围内，并由照相机13记 录几何图案15的第 一 图像。照相机图像包含对应于特征图案点17的特 征图像点。特征图像点的确切位置(即对应于圆形图案点17的圆或椭 圆的中心)，优选地通过经修改的辐射对称变换来确定。因此，图像点 的位置可用亚像素范围内的分辨率来确定。
0036投影回的点21的位置由校准单元借助于成像模型(尤其 是针孔照相机模型)，然后通过特征图像点的反向投影计算得出。投影 回的点是虚像点，即它们不是通过借助于光学系统成像而产生的。如 果没有正确地考虑照相机13的位置和取向，则投影回的点21之间的距 离(以举例的方式由点21，和21"之间的距离23示出)偏离特征图案点 17 ，和17 "之间的距离19,即成像模型不是优化的。
0037为了优化成像模型，改变针孔照相机模型的参数直到使 投影回的点21'、 21"之间的距离23与特征图案点17'、 17"之间的已知距 离19相 一致。虽然原则上来说知道每种情况下两个特征图案点17之间 的三个距离19并使三个距离23适应对应的投影回的点21对于针孔照相 机模型的优化而言足够了 ，但是进一步将特征图案点17之间的距离19 与对应的投影回的点21之间的距离23相比较并将它们用于针孔照相机 模型的优化是有利的。以这种方式，优化的准确度得到显著的提高。
0038照相机模型的优化通过确定性优化算法来实施，例如单 纯形方法。优化算法基于非线性误差函数的最小化，该函数将每种情 况下两个特征图案点17间的距离19与对应的投影回的点21间的距离23 之间的偏差的平方作为误差。
0039待优化的针孔照相机模型的参数尤其包括，照相机13相 对于由车辆ll定义的坐标系的高度、侧倾角和纵倾角。因此，可通过模型的优化确定照相机13的高度、侧倾角和纵倾角。
0040为了额外地确定照相机的横摆角，^吏车辆11相对于几何 图案15进行直线运动，例如朝着该图案运动。运动方向在图2中由箭头 20标出。在照相机相对于几何图案15的第二距离处记录几何图案15的 至少一张第二图像，其中第二距离不同于第一距离。
0041通过第一照相机图像的第一特征图像点和来自第二照相 机图像的第二特征图像点(它们对应于同一选定特征图案点17a)的反 向投影，借助优化的成像模型计算出对应的第 一和第二投影回的点21 a 或21b的位置。
0042如果照相机13的横摆角不等于零，则第二投影回的点21b (通过第二照相机图像计算而得)相对于第一投影回的点21a (通过第 一照相机图像计算而得)的位置发生了位移。照相机13的横摆角从而 对应于冲是影回的点21a、21b相对于车辆ll的运动方向20发生的位置变化 的负纵倾角a。
0043其它投影回的点21c、 21d等的位置有利地从其它照相机 图像计算得出，其中对于所有图像而言车辆11与几何图案15之间的距 离都不同。在这种情况下，投影回的点21a、 21b、 21c、 21d等的位置变 化的纵倾角a可以通过平衡线25来确定。
0044可替代地或者额外地，可以计算出对应于其它特征图案 点17的第一和第二冲殳影回的点21a或21b。以这种方式，确定照相机才黄 摆角时的准确度得到了显著提高，这是因为通过大量的测量数据减小 了统计误差，并且可以识别和消除干扰或误差测量。
0045然后将所确定的照相机13的位置和取向(即，通过照相 机模型的优化而确定的高度和所确定的照相机13的侧倾角、纵倾角和 横摆角)从校准单元传输到巡航控制系统的图像评价单元，以使图像 评价单元的图像评价算法适应照相机13的位置和取向并校准照相机13 以用于所需的应用中。
10
权利要求
1.一种用于确定布置在车辆(11)中的、尤其用于巡航控制系统中的照相机(13)的位置和取向的方法，其中，该方法包括将照相机(13)布置在相对于布置在基底上的几何图案(15)的第一距离处，使得至少三个不在一条直线上的特征图案点(17)位于照相机(13)的视野范围内，其中，特征图案点(17)之间的距离(19)是已知的；由照相机(13)记录几何图案(15)的第一图像；在由照相机(13)记录的图像中确定对应于特征图案点(17)的特征图像点；通过描述照相机(13)成像特性的成像模型，将特征图像点虚地投影回基底上，并计算出投影回的点(21)在由车辆定义的车辆坐标系中的位置；优化成像模型，使每种情况下两个投影回的点(21)之间的距离(23)与对应的特征图案点(17)之间的已知距离(19)相一致；以及从优化后的成像模型确定照相机(13)相对于车辆坐标系的高度、侧倾角和纵倾角。
2. 如权利要求l所述的方法，其特征在于，按如下实施成像模型 的优化使将两个特征图案点(17)间的距离(19)与对应的投影回 的点(21)间的距离(23)之间的偏差的平方作为误差的非线性误差 函数最小化。
3. 如权利要求2所述的方法，其特征在于，通过优化算法，尤其 是确定性优化算法，例如根据单纯形方法，使非线性误差函数最小化。
4. 如前述权利要求中至少一项所述的方法，其特征在于，成像模 型是针孔照相机模型。
5. 如前述权利要求中至少一项所述的方法，其特征在于，通过经 修改的辐射对称变换来确定照相机图像中的特征图像点的位置。
6. 如前述权利要求中至少一项所述的方法，其特征在于，使车辆 (11 )相对于图案(15)直线运动，并且在照相机(13)相对于几何图案(15)的第二距离处记录几何图案(15)的至少一张第二图像， 其中第二距离不同于第一距离；通过第二图像的特征图像点的反向投影，借助于成像模型计算出投影回的点(21b)的位置；确定源自第二图像的投影回的点(21b)的位置相对于源自第一图像的对应的投影回的点(21a)的位置的变化；以及从所确定的位置的变化，确定照相机(13)相对于由车辆(11)定义的坐标系的横摆角。
7. 如权利要求6所述的方法，其特征在于，从所确定的相对于车辆(ll)的运动方向(20)的位置变化的纵倾角(a)来确定照相机(13)的横摆角。
8. 如权利要求6或7所述的方法，其特征在于，从照相机的每张图像内和/或来自两张以上的图像的一个以上的点的位置变化，来确定照相机(13)的横摆角。
9. 一种对机动车(11 )的巡航控制系统的照相机进行校准的方法，其中，通过如权利要求7至9之一所述的方法，确定照相机(13)相对于由车辆(11)定义的坐标系的高度、侧倾角、纵倾角和横摆角，并使巡航控制系统的用于评价照相机(13)所记录图像的图像评价算法适应照相机(13)的所确定的高度和所确定的侧倾角、纵倾角及横摆角。
10. —种用于执行如前述权利要求中至少一项所述的方法的装置，其中，该装置包括尤其是固定的几何图案(15),其具有至少三个不在一条直线上的特征图案点，这些点彼此之间的距离U9)是已知的；布置在车辆(11)中的照相机U3),尤其用于巡航控制系统中，其相对于几何图案(15)布置成使得图案(15)的至少三个特征点(17)位于照相机(13)的—见野范围内；以及连接于照相机(13)的校准单元，其被设计成通过优化描述照相机(13)的成像特性的成像模型，从照相机所记录的图像中对应于特征图案点(17)的特征图像点的位置，确定照相机(13)相对于由车辆(11)定义的坐标系的高度、侧倾角和纵倾角。
11. 如权利要求10所述的装置，其特征在于，校准单元被设计成从通过特征图像点的反向投影借助于优化后的成像模型而计算出的投影回的点(21)的位置的变化，确定照相机(13)的横摆角。
全文摘要
本发明涉及确定布置在车辆中的照相机的位置和取向的方法。本发明涉及一种用于确定布置在车辆中的、尤其用于巡航控制系统的照相机的位置和取向的方法。照相机布置在相对于几何图案的第一距离处，使得至少三个不在一条直线上的特征图案点位于照相机的视野范围内，其中，特征点之间的距离是已知的。由照相机记录几何图案的第一图像，并通过优化描述照相机成像特性的成像模型，从照相机所记录图像中对应于特征图案点的至少三个特征图像点的位置，来确定照相机相对于由车辆定义的坐标系的高度、侧倾角和纵倾角。
文档编号G01C11/02GK101676686SQ200910173480
公开日2010年3月24日 申请日期2009年9月18日 优先权日2008年9月18日
发明者S·米勒-施奈德斯, S·霍尔德 申请人:德尔菲技术公司