14中所述的系统，进一步包括用于为摄像机的在线校准提供验证、跟踪和求精过程的装置。
19、如上述方案18中所述的系统，其中用于提供验证过程的装置验证用于直线和平稳车辆驾驶的校准估算，以证实来自摄像机的重叠图像中的匹配特征点被对齐。
[0010]本发明的额外特征将结合附图从下列描述及附加权利要求中显见。
【附图说明】
[0011]图1是包括具有多个摄像机的环景摄像机系统的车辆的示图；
[0012]图2是示出了世界坐标、车辆坐标和摄像机坐标的坐标系的车辆等距视图；
[0013]图3是示出了用于提供在线环景摄像机校准的过程的流程图；
[0014]图4是来自用于环景摄像机系统的四个摄像机的四个原始图像的示图，示出了匹配的特征对；
[0015]图5是示出了用于匹配特征点的过程的系统的方块图；
[0016]图6是道路上的车辆的示图并示出了确定车辆姿态的过程；以及
[0017]图7是示出了用于校准验证和求精的过程的流程图。
【具体实施方式】
[0018]针对为车辆上的环景摄像机系统中的摄像机提供在线校准的系统和方法的本发明实施方式的以下论述实际上仅为示例性的，而决不意图限制本发明或其应用或使用。例如，如所述的，系统和方法具有用于提供车辆上的摄像机的在线校准的特定应用。但是，正如本领域技术人员将理解的，系统和方法可以具有用于其他移动平台的应用，诸如在火车、机器上、拖车上、船上、旅行车上等。
[0019]图1是车辆10的俯视图，其包括带有前视摄像机12、后视摄像机14、左侧驾驶员视图摄像机16和右侧乘客视图摄像机18的环景摄像机系统。摄像机12-18可以是适用于本文所述目的的任何摄像机，其多数在汽车领域中是已知的，其能够接收光或其他辐射，并利用例如电荷耦合器件(CCD)，将光能转换为像素格式的电信号。摄像机12-18以特定数据帧速率生成图像数据的帧，其可以被储存用于视频处理模块(VPM) 20中进行后续图像处理。摄像机12-18可以安装于车辆10内或安装在是车辆10的部分的任意适当结构上，诸如保险杠、仪表板、格栅、侧视镜、门板等，如由本领域的技术人员将会很好理解和预期的。在一个非限制性实施方式中，该侧置摄像机16和18安装于侧视镜下方且向下指向。
[0020]摄像机12-18生成部分重叠的车辆10周围特定限制区域的图像。特别是，区域24为用于摄像机12的图像区，区域26为用于摄像机14的图像区，区域28为用于摄像机16的图像区，以及区域30为用于摄像机18的图像区，其中区域32是图像24和28的重叠区，区域34是图像24和30的重叠区，区域36是图像28和26的重叠区，以及区域38是图像30和26的重叠区。来自摄像机12-18的图像数据传送到VPM 20，VPM 20处理所述图像数据并将图像拼接在一起，然后作为车辆10周围的单个自顶向下视图图像在车辆显示器上显不O
[0021]如下文将详述的，本发明提出一种在线校准技术，用于在车辆10运行时校准摄像机12-18。已知软件算法，其采用旋转矩阵R和转换矢量t来定向和重新配置来自相邻摄像机的图像，以使得图像正确重叠。一般而言，提出的校准技术定义三个坐标系，即世界坐标系、车辆坐标系和摄像机坐标系，其每一个以X-Y-Z位置定向限定。图2是包括摄像机52的车辆50的示图，示出了这些坐标系，其中下标V表示车辆坐标，下标W表示世界坐标以及下标C表示摄像机坐标，并且其中i表示环景系统中四个摄像机中的特定摄像机。
[0022]如所论述的，校准技术在用于两个摄像机图像的重叠区32、34、36和38中找到匹配特征点(U，V)，并且基于匹配特征点(U，V)使用转换过程来估算世界坐标中的摄像机参数、世界坐标中的车辆姿态(即方向和偏移)，以及由其的车辆坐标中的摄像机参数。每个特征点(U，v)是用于来自特定坐标系中重叠区内X点的特定摄像机的一个图像中的特定像素位置的表示。然后，校准算法提供反馈验证和跟踪求精。
[0023]对于重叠区内特定点X来说，算法识别世界坐标系中的该点相对于车辆坐标系的关系，并且然后从车辆坐标系到摄像机坐标系，如下列方程式(1)-(3)所示，其中R为3X3旋转矩阵(其中orient:定向)，以识别侧倾角(roll)、俯仰角(pitch)和横摆角(yaw)，并且包括限定坐标系的俯仰角、横摆角和侧倾角的9个数值，并且其中，例如Rvfcl识别摄像机姿态，并且t为1X3个转换矢量，以识别特定坐标系中X、Y、Z的位置。更特别地，方程式(I)示出世界坐标中的点X如何被转换成车辆坐标，以及方程式(2)示出车辆坐标中的点X如何被转换成摄像机坐标。
Xv=DVt' W2V， (I)
Xci — R v2ci*xv+t V2Ci， (2)
=RV2Cl*Rorient*Xw*t' W2Cl.(3)
[0024]图3为流程图60，示出了用于在VPM 20中提供在线摄像机校准的过程，其中在框62提供车辆速度和车辆横摆率的车辆参数。在框64提供来自于全部摄像机12-18的先前图像帧，该框64接收来自框62的车辆参数。这些图像帧被提供给框66，框66识别重叠区32、34、36和38中的匹配特征点(u，v)及图案，如下文所述。
[0025]图4是在停车场中与其他车辆相邻的车辆10的示图80，其中停车线78可用于在两个重叠的摄像机图像中识别匹配特征点(U，V) O匹配特征点(U，V)不必在地面上，而是可以位于地面之上任意适当物体上或其它地方，诸如在车辆车身上。点82和84分别表示由前置摄像机12和左侧摄像机16提供的图像的重叠区32中的相同点。点86和88分别表示来自摄像机12和右侧摄像机18的图像的重叠区34中的相同点。点90和92分别表示左侧摄像机16和后置摄像机14之间像重叠区36中的相同点。点94和96分别表示右侧摄像机18和后置摄像机14之间的重叠区38中的相同点。
[0026]图5是系统100的方块图，示出了在框66处在线校准算法如何识别重叠区32、34、36和38中的匹配特征点(U，V)的过程。在系统100中，框102表示来自前置摄像机12的图像，框104表示来自左侧摄像机16的图像，框106表示来自右侧摄像机18的图像，以及框108表示来取自后置摄像机14的图像。同步框110使得来自摄像机12-18的图像102-108的定时同步，以使得全部图像32、34、36和38在来自校准过程的空间对齐之前先实现时间对准。分别来自摄像机12和16的图像102和104在重叠区32中生成关注区112，分别来自摄像机12和18的图像102和106在重叠区34中生成关注区114，分别来自摄像机16和14的图像104和108在重叠区36中生成关注区116，以及分别来自摄像机14和18的图像106和108在重叠区38中生成关注区118。然后，关注区112、114、116和118被提供给处理器120，处理器120识别关注区112、114、116和118中的若干匹配特征点(u，v)。本领域技术人员将理解，许多计算机视觉和成像系统使用特征点检测和匹配技术及算法，诸如SIFT，SURF, ORB等，其可应用用于本文论述的目的。
[0027]—旦以上匹配特征点(u，v)被识别出来，则算法使用下列方程式(4)，利用相邻图像中的匹配特征点(U，V)，以在图3的框68处估算世界坐标中的摄像机参数，其中使用来自框64的先前图像数据帧，&识别摄像机坐标中特定重叠图像中的像素。重叠区中两个图像中的匹配特征点(u，v)将会在空间上接近，如方程式(5)所示。此外，来自两个摄像机的特定匹配特征点将会与世界坐标中的特定点重合，如下列方程式(6)和(7)所示。
Xc= Rw2C^tr W2C， (4)
(u，v)Ci?(u，V) CJ， (5)
(u，v)Ci—XCi， (6)
(u，v)Cj—XCj， (7)
其中Ci和Cj识别两个特定摄像机。
[0028]算法确定摄像机坐标中用于两个摄像机的匹配特征点(U，V)，其匹配相同的世界像素点Xw，如:
Xci — R w2ci*Xw+t W2C1， (8)
Xcj — R W2Cj*Xw+t W2Cj.(9)
[0029]根据可以延伸以示出全矩阵的方程式⑶和(9)，算法确定N个匹配特征点(U，V) ο当考虑全部四个摄像机时，对于四个摄像机方程式(8)和(9)的解会是在重叠区中可见的N个世界坐标点，其提供了 6X4个未知摄像机校准参数(α，β，γ，χ。，y。，zc)以及3XN个未知的世界坐标点值(Xl，Yl, Z1) ο因为这些N个世界坐标点值位于两个摄像机的重叠区内，所以每个点将会在具有已知像素位置(uj」，V1"1)在两个图像中显示。因此，会有2 X 2 X N个方程式把这些6 X