环景摄像机系统(vpm)在线校准的制作方法
【专利说明】环景摄像机系统(VPM)在线校准
与相关申请的交叉引用
[0001]本申请主张2014年5月16日提交的题目为“环景摄像机系统(VPM)在线校准”的美国临时专利申请号N0.61/994，649的优先权日的权益。
技术领域
[0002]本发明主要涉及一种用于校准车辆上的环景摄像机系统中的摄像机的系统和方法，并且更特别地，涉及用于为车辆上的环景摄像机系统中的摄像机提供在线校准的系统和方法。
【背景技术】
[0003]现代车辆通常包括一个或多个摄像机，该摄像机可提供倒车辅助、拍摄车辆驾驶员的图像以确定驾驶员困倦或注意力、提供车辆行驶时道路图像用于避免碰撞目的、提供结构辨别，诸如道路标记等。其他的车辆视图应用包括车道感测系统，其用于感测车辆行驶车道并在车道中央驾驶车辆。许多上述已知车道感测系统为各种应用检测道路上的车道标识，诸如车道偏离警告(LDW)、车道保持(LK)、车道居中(LC)等，并且通常使用位于车辆前部或位于车辆后部的单一摄像机以提供用于检测车道标识的图像。
[0004]本领域已提出，在车辆上提供环景摄像机系统，其包括前置摄像机、后置摄像机以及左侧和右侧摄像机，其中摄像机系统使用来自摄像机的图像生成车辆及周围区域的自顶向下(top-down)的视图，并且其中图像在车辆角部处相互重叠。自顶向下的视图可以显示给车辆驾驶员，以看到车辆周围的情况用于在倒车、泊车等。未来的车辆可能不使用后视镜，而可以替代地包括由环景摄像机提供的数字图像。
[0005]2013年4月9日授予Zhang(张)等人的题目为“具有环景系统的全速车道感测”的美国专利申请公开号N0.2013/0293717，转让给本申请的受让人，并且通过引用方式并入本文，公开了一种通过检测道路车道标识来在车辆上提供车道感侧的系统和方法，其中该系统采用了提供车辆周围的自顶向下视图图像的环景摄像机系统。该方法包括在自顶向下视图中检测左侧和右侧车道边界线，并且然后确定图像中的车道边界线在该自顶向下视图图像中从一个图像帧至下一个图像帧是否对齐以及在图像与图像之间是否对齐。
[0006]对于许多基于摄像机的车辆应用而言，精确校准摄像机相对于车辆的定位和定向至关重要。摄像机校准通常指估算大量摄像机参数，包括内在参数和外在参数，其中内在参数包括焦距、光心、径向畸变参数等，并且外在参数包括摄像机位置、摄像机定向等。摄像机外在参数校准通常包括确定将摄像机图像坐标与车辆坐标关联的一组参数，反之亦然。一些摄像机参数，诸如摄像机焦距、光心等，是稳定的，而另一些参数，诸如摄像机的定向和位置，是不稳定。例如，摄像机的高度取决于将会不时地变化的车辆的负载。
[0007]在已知的环景摄像机系统中，来自摄像机的图像在车辆的角部处重叠，其中摄像机校准过程将相邻图像“拼接”在一起，使得单独图像中的公共元素直接相互重叠，以提供期望的自顶向下视图。在车辆制造期间，这些摄像机图像被拼接在一起以提供该图像使用任何数量的校准技术，从而使得当车辆初次投入使用时，摄像机被正确地校准。使用的一种校准技术是将车辆定位于具有交替的明的和暗的正方形的测试板图案上，其中正方开的每个点被便当地识别。在显影图像中，使用这些点允许摄像机校准软件修正图像的位置，这样使得在相同位置识别出相邻图像中的重叠点。
[0008]然而，一旦车辆投入使用，则可能发生各种情况，其可能导致摄像机定向和位置变化，其中摄像机的校准包括导致自顶向下图像中产生未对准的误差。这些情况可能包括车辆的负载，其导致摄像机位置(诸如高度)和/或摄像机定向(诸如俯仰角)相对于世界坐标发生改变；对车辆的小撞击，其可能改变摄像机的定位和定向等。但是，处理来自摄像机的图像以生成自顶向下视图的当前视频处理模块(VPM)无法在车辆使用时在线重新校准摄像机。相反，车辆操作者必须将车辆带至有能力以在车辆制造期间所进行的同样方式重新校准摄像机的经销商或其他授权服务中心，这具有显而易见的缺点。
【发明内容】
[0009]本公开描述了一种为车辆上的环景摄像机系统中多个摄像机提供在线校准的系统和方法。所述方法提供来自环景系统中每个摄像机的连续图像，并且识别相邻摄像机的图像重叠区。该方法识别图像的重叠区中的匹配特征点，并且估算用于每个摄像机的世界坐标中的摄像机参数。然后，该方法估算车辆在世界坐标中的车辆姿态，并使用估算的世界坐标中的摄像机参数和估算的车辆姿态计算车辆坐标中的摄像机参数，以提供校准。
本发明包括以下方案:
1、一种为车辆上的环景摄像机系统中的多个摄像机提供在线校准的方法，所述方法包括:
提供来自环景摄像机系统中每个摄像机的连续图像，其中来自前视摄像机的图像与来自右视摄像机的图像重叠，来自前视摄像机的图像与来自左视摄像机的图像重叠，来自后视摄像机的图像与来自右视摄像机的图像重叠，以及来自后视摄像机的图像与来自左视摄像机的图像重叠；
识别来自前视摄像机、左视摄像机、右视摄像机和后视摄像机的图像的重叠区中的匹配特征点；
估算每个摄像机在世界坐标中的摄像机参数；
估算车辆在世界坐标中的车辆姿态；以及
利用估算的世界坐标中的摄像机参数和估算的世界坐标中的车辆姿态来确定车辆坐标中的摄像机外部参数，其中摄像机外部参数限定特定摄像机的在线校准。
2、如上述方案I中所述的方法，其中估算世界坐标中的摄像机参数包括限定用于每个摄像机的旋转矩阵和转换矢量。
3、如上述方案2中所述的方法，其中旋转矩阵限定每个摄像机在世界坐标中的俯仰角、侧倾角和横摆角。
4、如上述方案I中所述的方法，其中估算车辆姿态包括利用车辆速度和车辆横摆率的输入来确定车辆是否在直线驾驶。
5、如上述方案I中所述的方法，其中估算车辆姿态包括追踪在车辆前方并沿侧面或者在车辆后方并沿侧面的显著距离的固定参照物体上的点。 6、如上述方案I中所述的方法，其中估算车辆姿态包括计算相对于车辆前方或后方的消失点的图像的光流。
7、如上述方案I中所述的方法，其中估算车辆姿态包括监测车辆上的车辆车身参照点。
8、如上述方案I中所述的方法，进一步包括为摄像机的在线校准提供验证、跟踪和求精过程。
9、如上述方案8中所述的方法，其中验证过程验证用于直线和平稳车辆驾驶的校准估算，以证实来自摄像机的重叠图像中的匹配特征点被对齐。
10、一种提供安装在移动平台上的多个摄像机的在线校准的方法，所述方法包括:
提供来自于每个摄像机的连续图像，其中来自相邻摄像机的图像重叠以限定重叠区；
识别重叠区中的匹配特征点；
估算每个摄像机在世界坐标中的摄像机参数；
估算平台在世界坐标中的姿态；以及
利用估算的世界坐标中的摄像机参数和估算的平台在世界坐标中的姿态来确定平台坐标中的摄像机外部参数，其中摄像机外部参数限定特定摄像机的在线校准。
11、如上述方案10中所述的方法，其中估算世界坐标中的摄像机参数包括限定用于每个摄像机的旋转矩阵和转换矢量。
12、如上述方案11中所述的方法，其中旋转矩阵限定每个摄像机在世界坐标中的俯仰角、侧倾角和横摆角。
13、如上述方案10中所述的方法，其中估算结构姿态包括利用平台速度和平台横摆率的输入来确定平台是否在直线移动。
14、一种提供车辆上的环景摄像机系统中的多个摄像机的在线校准的系统，所述系统包括:
用于提供来自环景摄像机系统中每个摄像机的连续图像的装置，其中来自前视摄像机的图像与来自右视摄像机的图像重叠，来自前视摄像机的图像与来自左视摄像机的图像重叠，来自后视摄像机的图像与来自右视摄像机的图像重叠，以及来自后视摄像机的图像与来自左视摄像机的图像重叠；
用于识别来自前视摄像机、左视摄像机、右视摄像机和后视摄像机的图像的重叠区中的匹配特征点的装置；
用于估算每个摄像机在世界坐标中的摄像机参数的装置；
用于估算车辆在世界坐标中的车辆姿态的装置；以及
用于利用估算的世界坐标中的摄像机参数和估算的世界坐标中的车辆姿态来确定车辆坐标中的摄像机外部参数的装置，其中摄像机外部参数限定特定摄像机的在线校准。
15、如上述方案14中所述的系统，其中用于估算世界坐标中的摄像机参数的装置限定用于每个摄像机的旋转矩阵和转换矢量。
16、如上述方案15中所述的系统，其中旋转矩阵限定每个摄像机在世界坐标中的俯仰角、侧倾角和横摆角。
17、如上述方案14中所述的系统，其中用于估算车辆姿态的装置包括利用车辆速度和车辆横摆率的输入来确定车辆是否在直线驾驶。 18、如上述方案