专利名称：环景显示系统摄像机仅对外参数的自动标定的制作方法
技术领域：
本发明涉及标定(calibrate)摄像机系统的方法，该摄像机系统包括具有预定内标定(intrinsic calibration)的多个摄像机,这些摄像机设置在诸如车辆的对象上，并且覆盖该对象周围环绕区域。
背景技术：
在现代化的对象(诸如车辆)中，对于获取紧邻该对象的周围环境的信息存在日益增长的需求。例如，关于车辆，驾驶员经常期望获得超出用于控制停车距离的传感器的信息。在不熟悉的、狭窄的或受约束的空间中，或者在其它情况迫使司机或乘客(如果存在)下车以协助驾驶员的时候，这样的信息可能尤其有用。在这样的情况下，通常期望在控制显示器上呈现基本全面的影像，示出从鸟瞰的角度观察到的车辆和其周围环境。这样的影像通常不能通过经常用于感测和控制停车距离的超声波传感器获得。取而代之的是，经常使用 摄像机来获得这样的影像。所获得的图像通常可以数字方式呈现在某种控制显示器上，该种控制显示器对于控制该车辆的驾驶员或人是很容易看到的。于是，这种清楚的概览视图使得驾驶员即使在受约束的空间中也能够准确地操纵该车辆或对象，甚至无需转他/她的头部。这样的信息即使在诸如公路以外的路这样的崎岖地形下也可以呈现厘米级的准确度，避开大石、树木、树桩和其它障碍物。而且，在驾驶拖车时，这样的信息可能也是尤其有用的。可因此基本上避免与花盆、墙，等物刮蹭。该系统在白天和夜晚均可使用，即使是在车辆正以低速移动的时候也可使用，并且，可在狭窄的驾驶环境下避免与其它车辆或者与非移动物体碰触。对于部分或甚至完全在遥控下的对象，这样的信息也可能是有用的。典型地，为了获得基本接近360度圆周的周围环境的视图，需要至少两个摄像机。这样的摄像机可设置在车辆的侧视镜上。从这些摄像机获取的关于汽车和其周围环境的数据可由中央计算机处理。另外的摄像机可在对象的其它位置处被集成到摄像机系统中，因此，例如，起到监视与该车辆交叉移动的交通的作用。重要的问题是，要避免盲点/黑点，也就是，在车辆环绕区域中未被该系统的任何摄像机覆盖的点。用于提供这样的概览影像的摄像机系统的一个重要方面，是该系统的标定。—种用于摄像机标定的简单模型是应用于小孔摄像机的Tsai模型或类似的立体投影的小孔模型，可起到解释某些基础参数的作用。Tsai摄像机模型是基于立体投影的小孔模型的。给定在3D世界(3D world)坐标系中一点的位置，该模型预测该点的图像在2D像素坐标系中的位置。Tsai模型具有11个参数，包括五个内部参数(也称为内参数(intrinsic parameter)的或内在参数)，和六个外部参数。内部参数包括，表示小孔摄像机的有效焦距的f，表示一阶径向透镜失真系数的&，表示径向透镜失真中心的坐标Cx，Cy,以及该摄像机坐标系的Z轴在摄像机传感器平面上的穿透点，SX表示比例因子,用于解释归因于巾贞捕获器(framegrabber)横向扫描线重新取样的任意不确定因素。外部的参数(也称为外参数或外在参数)包括Rx、Ry、Rz，其表示用于世界与摄像机坐标系之间的转换的旋转角(欧拉(Euler)角)，并且Tx、Ty, Tz表示翻译分量，用于在世界与摄像机坐标系之间的转换。指数X、y和ζ可等同地表示为1、2和3。内部参数描述了摄像机是如何形成图像的，而外部参数描述了在世界坐标系中摄像机的位置和定向。用于该模型的标定数据由特征点的3D (X，y, Z)世界坐标(通常以mm的单位给定)，以及在图像中该特征点的相应2D坐标(Xf，Yf)(典型地以像素为单位给定)组成。两种形式的标定可能是在共面标定的情况下，标定点位于3D世界的单个平面上，而，在非共面的情况下，标定点则占据了一定的3D体积。例如在1986年在Miami Beach, FL召开的 IEEE Conference on Computer Vision and Pattern Recognition 的会议录的第364至374页，由 Roger Y. Tsai 所著的“An Efficient and Accurate Camera CalibrationTechnique for 3D Machine Vision” 中，以及在 1987 年 8 月，IEEE Journal of Robotics and Automation, Vol. RA-3, No. 4,第 323 至 344 页，由 Roger Y. Tsai 所著的“A versatileCamera Calibration Technique for High-Accuracy 3D Machine Vision MetrologyUsing Off-the-Shelf TV Cameras and Lenses” 中，给出了对基本标定算法的解释。在2000 年，IEEE Transact ion on Pattern Analysis and MachineIntelligence, Vol. 22, No. 11,第 1330 至 1334 页，由 Z. Zhang 所著的 “A flexible newtechnique for camera calibration”中讨论了标定摄像机的不同方法。摄像机系统经常是通过使用设置在固定位置处的标记进行标定的。为了这种标定，应该使诸如车辆的对象停在固定的位置。该车辆应进一步具有固定的定向。这两个要求都是相当困难且耗时的任务。这种标定方法也是相当难于以装置外演绎的方式执行的，在此情况下，整个标定设置必须被准确地转移或复制/再现。在任何情况下，标记的位置和它们与对象的相对位置都应该保持尽量准确。
发明内容
本发明针对以上提及的标定摄像机系统的问题提供了解决方案。尤其是，依据本解决方案，用于标定摄像机系统的方法通过提供该摄像机系统的所有摄像机的外参数(extrinsic parameter),使得标定非常灵活、机动,且易于完成。本发明提供了一种用于标定摄像机系统的方法，该摄像机系统包括具有预定内标定的多个摄像机，这些摄像机设置在诸如车辆的对象上，并且覆盖了该对象的周围环绕区域，该方法的步骤包括(a)在该对象的周围区域中且在摄像机的视野中，设置以已知尺寸间隔开并且位于的单个平面上的一组标记；然后(b)根据用于该摄像机的相应的标记组，计算该摄像机的外参数；并且然后(C)对多个摄像机中的其它摄像机中的每一个，重复以上步骤(a)和(b)。将通过一种已知的方法提供的已知内标定考虑在内，依据本发明的方法集中在外参数上。通过以上步骤，可通过使用诸如棋盘板的一组标记，可典型地标定所有的多个摄像机，假设该棋盘提供了处于单个平面上的，也就是共面的点。这些板可典型地为四方形的，并且这些板可以是基本上平坦的。
由于根据内标定，每个摄像机的摄像机内参数是已知的，这提供了用于确定诸如旋转和平移参数(translation parameter)的外参数的基础。由于该组标记典型地提供了许多个点，在确定外参数所使用的任意线性方程的系统(或线性系统)中，这些点的个数都远大于未知点的个数，所以，任意线性系统的设置都将是超定的，使得优化可能应用。在如上所描述的方法中，每一个摄像机的视野与其相邻摄像机中的至少一个可至少部分地重叠。在该摄像机系统中，所使用的摄像机的视野重叠提供了能够提供以下有益效果，以该摄像机系统中的不同的，即，独立的摄像机看到对应的图像点。由于该组标记在该单个面之内的尺寸和范围通常是已知的，所以这种重叠进一步有助于减少标定的误差，SP，有助于精确确定摄像机参数。在如上所描述的方法中，在相邻摄像机视野的重叠区域中，选择该组标记。一般在相邻摄像机的重叠区域中，选择该组标记。例如，对于在一个平面内的摄像机来说，则这涉及的是每个摄像机的左右邻居，如果可能为每个摄像机提供对应的点。
在如上所描述的方法中，针对多个摄像机中的至少一个，相应的一组标记可包括原点，使得各个摄像机的外参数可参考该原点。因此可引入世界坐标系(world coordinatesystem)中的原点作为参考点。如以上所描述的方法可进一步包括以下步骤(d)相对于在步骤(C)中获取的其它摄像机的外参数，针对多个摄像机中的每个摄像机计算第二组外参数。通过这些额外的步骤，可相对于相邻摄像机，对这些摄像机的标定进行测试。也就是说，摄像机的外参数可相对于其相邻摄像机来表达，但是，这些参数也可相对于所述摄像机的另一个相邻摄像机来提供。然后，该步骤可针对所有摄像机相继地进行，以获得一组适宜于进一步优化的方程。如以上所描述的方法可进一步包括以下步骤(e)相对于原点，针对其它摄像机中的每一个估计第三组外参数。正如以上已作为参考点所指出的，该原点提供了表达其它摄像机中任意摄像机的外参数的可能性，正如从一个摄像机关于该原点所看到的那样，从而为能在后续优化中使用的进一步信息提供了可能性。如以上所描述的方法可进一步包括以下步骤(f )优化所述组外参数。如果所测量的值没有噪声，则以上所估计的外参数将是精确的。但是，由于每一次测量通常都带有例如源于噪声的一些不确定因素，所以需要优化的步骤。典型地，最小化问题可使用最小二乘法来最小化这些参数的估计。这样的方法可通过使用Levenberg-Marquardt算法实现,该算法包括牛顿高斯(Newton-Gauss)与梯度下降(gradient descent)法。在如以上所描述的方法中，该优化一般使重投影的错误最小化，这使用了步骤(e)的估计结果。也就是说，所选的该组记号的再投影通常应该产生最小的误差。在以上所描述的方法中，该优化通常使步骤(d)的结果之间的差异最小化。这可被用作对如以上所描述的最小化方法的进一步约束，因此减少了在最小化问题中自由参数的个数，并且改进了该方法的收敛性。在如以上所描述的方法中，可通使用过在每个摄像头前方已知的位置处的附加的一组标记进一步约束该优化。这些是提供最小化问题的参数的边界的附加信息，以进一步改进该问题的收敛性。进一步地，还可以针对该优化问题使用最大似然法，以替代最小二乘法。
在以上所描述的方法中，垂直于摄像机的投影面的失真通常是通过多项式来近似的。因此这些摄像机的失真可通过多项式近似来近似，即，使用函数快速地近似。在这方面，可以通过不同的函数(例如样条函数)来近似这些失真。在以上所描述的方法中，这些摄像机可以是鱼眼摄像机。通常地，具有可为120度或更大的大开度角的直线性摄像机使用起来非常复杂，并且价格昂贵。使用鱼眼摄像机通常提供了能够提供鲁棒性的可能性，且处理摄像机组足够简单。通常地，所述摄像机的水平开度角不少于175度。因此，这样的摄像机还可提供至少部分地观察相邻摄像机的可能性，这提供了用于标定外参数的进一步的冗余信息。在以上所描述的方法中，可相对于对象的至少一个对称轴对称地放置这些摄像机。在对象中，尤其是关于车辆的对象中，可在该车辆的左和右镜上提供这样的摄像机。而且，可在该车辆的前部和/或后部提供至少一个摄像机。对于较大的对象，针对所选摄像机可具有额外的或其它位置，诸如该对象的顶缘。在以上所描述的方法中，摄像机的个数可以是四个，这是对可在诸如环景显示 系统(Surround-View system)的系统中使用的摄像机选择的，目前该环景显示系统被某些车辆制造商所采用。依据本发明，进一步提供了一种计算机程序产品，包括至少一个计算机可读介质，该计算机可读介质具有计算机可执行指令，用于在计算机上运行时，执行前面所述方法中的一个方法的步骤。也就是说，依据如以上所描述的方法，本发明可提供适用于标定摄像机系统的计算机程序产品或设备。所述设备可包括依据以上所描述的方法，用于标定以上所描述的摄像机系统的器件。
根据以下结合附图所作出的详细描述，本发明的以上的和其它的方面、特征和优点将变得更加显而易见，其中图I是可依据本发明进行标定的摄像机系统的配置；图2是可依据本发明进行标定的摄像机系统的摄像机的采集；图3是用于依据本发明标定摄像机系统的外参数的方法的示意性表达；图4是包括用于观察车辆周围环绕区域的最多六个摄像机的摄像机系统的示例。
具体实施例方式在下面讨论了具有四个摄像机的摄像机系统。摄像机的个数不应被理解为具有限制性，而仅是为了说明的目的选择的，并且，依据摄像机系统的特定应用，针对不同系统和不同对象，摄像机的个数可能改变。图I描绘了具有摄像机系统的对象1，该摄像机系统包括四个摄像机。这些摄像机被表示为，指示前部摄像机的2F、指示后部/背面摄像机的2B、指示左侧摄像机的2L，和指示右侧摄像机的2R。对象I被图示成基本上为长方体。摄像机2F、2B、2L和2R被图示成黑点，这些黑点相对于代表对象I (例如车辆)的长方体的长轴AL和短轴AR对称地放置。在图I中，摄像机2F、2B、2L和2R被定位成，使得它们基本上在同一高度上，或者在代表图I中的垂直轴ζ的相同位置上。图I以毫米为单位，分别图示了从-8000mm到8000mm的x轴，以及从-5000mm到5000mm的y轴。ζ轴以毫米为单位示出了从O到5000mm的范围。应该理解，这些范围仅为了说明性的目的被选择，而其它的范围也可使用。摄像机系统的摄像机2F、2B、2L和2R具有大开度角，例如超广角摄像机(extrawide angle camera)。这些摄像机2F、2B、2L和2R的开度角可以例如大于120度。这些摄像机的水平开度角可以上至175度且有可能更大。这些摄像机可备选地关于对象I的周边被对称地定位，以尽可能地覆盖该对象的整个周围环绕区域。在图I中用虚线图示了等高线CL。归因于对象I (例如车辆)的结构状况，在该对象I的侧面提供这些摄像机观察侧方向可能是更麻烦的。因此，可在该对象I最外侧的左右点，诸如车辆的镜子(未示出)处，提供摄像机2F、2B、2L和2R，以提供该对象I侧方的足够的视野和覆盖范围。在图I中指示了摄像机2F、2B、2L和2R的投影空间，其中，在图I中距离被示为以毫米为单位。该对象I的碗形投影表面的底部是平坦的，使得在该底部上的点基本上仅在一个平面上给出。图2示出了如用四个诸如鱼眼摄像机的摄像机所观察到的棋盘型测试板4的示 例，其中，通过这些摄像机观察到的视图被表示为3F (前)、3B (后/背)、3L (左)和3R (右)。产生图2的视图的这些摄像机可与图I中所示出的摄像机2F、2B、2L和2R相对应。图2的摄像机中的每一个示出了例如棋盘型测试板，该棋盘形测试板位于这些摄像机中至少两个摄像机的视图平面中。关于图I的摄像机，例如摄像机2F (前)和2R (后)观察到了测试板(例如棋盘板4)，正如图3中视图3F和3R所示出的。也就是说，通过至少两个摄像机分别观察到了同一块板4。针对在图I和图2中描绘的设置，随后描述了一种标定的方法。应该再一次强调，在本示例中摄像机的个数为四个，但是，摄像机的个数可以改变，并且可选择更少个或更多个摄像机。在下面，该标定的方法涉及如图I中描绘的具有四个摄像机2F、2B、2L和2R的摄像机系统，正如以上所描述的。这些摄像机2F、2B、2L和2R可如关于图2所讨论的那样产生视图3F、3B、3L和3R。假设针对该摄像机系统的每一个摄像机，在此为2F、2B、2L和2R，的内标定是已知的，并且已经通过适宜的标定方法实现，对外参数的确定被假设为与对内参数的标定互无影响。现在，可根据示出一组测试标记的单个平面(诸如棋盘板4)推导出这些外参数，这些外参数是旋转性和翻译性的参数，见例如图2，对测试标记的唯一要求是，它们的尺寸应该是已知的。也就是说，该组测试标记的外尺寸应该是已知的，并且测试标记之间的距离应该是已知的。一般这些测试标记被放置在基本平坦的平面上。对于棋盘板4，其尺寸应该是已知的，并且板上的黑白方块或长方块的尺寸应该是已知的。一般地，鱼眼状摄像机(诸如图2中的摄像机2F、2B、2L和2R)具有不同的映射机制。要取得描述每一个摄像机摄像属性的特定摄像响应函数可能较困难。因此，可通过可适当的近似函数(诸如多项式或样条)对失真进行近似。在下面，平移矩阵T描述了用于将图案/ 一组标记平移给摄像机的外参数，且进一步地，旋转矩阵R描述了旋转外参数，诸如欧拉角。在外部图案坐标体系中，一点被描述成X= [X, Y, Z，l]’。贯穿以下说明，具有多个分量的矢量的记法可例如被表示成[x，y，ζ]。转置矢量可被表示成[x，y，z]’或[x，y，z]T。如通过这些鱼眼摄像机中的一个的图像观察到的点x=[x，Y，z，I]，的投影被描述成x=[x，y，ζ] ’。这里，如以上所讨论的，Z可通过近似(例如，对各个摄像机的失真进行多项式近似)被给定成ζ=Bc^a1 d+a2 d2 …+andn,其中d表示该投影点相对于图像中心的距离，η表示为该近似所选择的多项式次数。在下面，H表示投影矩阵，对于该投影矩阵，重要的是注意H与X的向量积(crossproduct)为零,这是因为H和X是共线的。H由下式给出H =............(I )
0 0 I
下面，假设Ζ=0，也就是说，相应的点被置于外部图案坐标系的XY平面上。根据这种假设，可获得以下等式
X Rll9Rl2iTl Xj X R2a,U2 Y = O(2)
β31 為2，T3_ J' _根据等式(2)，我们推导出了以下线性系统，其考虑了对于ζ的失真的近似Yi (R3IXi+R32Yi+T3) - (a0+. . . +andn) (R2IXj+R22Yi^) = O(a0+. . . +andn) (R11XfR12YfT1)-Xi (R31XfR32Yi+!^) = 0 (3)Xi(R21XfR22YdT2)-Yi(R11XdR12YdT1) =0开始时对于位于该测试板上的所有点，仅考虑后两个等式，从中可得到L · M=O(4)使用以下定义M= [R11, R12, R21, R22, T1, T2] ’ 以及
J丨欠丨’ ,A-,Xl^yiYl,-Xi，V,L= -)2Α·2，一.Y2F2，j2X2, J2K2，一.\2，_v2I 5 )
1__%>■ _V- -k* '"Sf__ ‘I*
Lλ3 ^ 3 _由于来自该组标记(诸如棋盘板)中的点的个数通常比未知的个数大得多，因此能够通过最小二乘准则(least square criteria)对该线性系统求解,例如min| |L · M| I 条件是 I |M| |2=1。而且，应该注意到，旋转矩阵R的列是正交的。因此，唯一地确定出了该旋转矩阵R的剩余分量。在该系统中，因此通过与T3做除法，确定了外部的旋转和平移参数。下面，将以上针对旋转和平移参数R和T所获得的表达式考虑在内，使用等式(3 )中的前两个等式对T3求解，于是获得了以下表达式
权利要求
1.一种用于标定摄像机系统的方法，该摄像机系统包括多个具有预定内标定的摄像机，这些摄像机被设置在诸如车辆的对象上，并覆盖该对象的周围环绕区域，该方法包括以下步骤 (a)在所述对象的周围区域中并且在摄像机的视野中，设置一组以已知尺寸间隔开并且位于单个平面上的标记；然后 (b)根据该摄像机的所述相应标记组，计算所述摄像机的外参数； (C)对所述多个摄像机中其它摄像机中的每一个，重复步骤(a)和(b)。
2.如权利要求I所述的方法，其中，所述每个摄像机的视野与其相邻摄像机中至少一个摄像机的视野至少部分重叠。
3.如权利要求2所述的方法，其中，在相邻摄像机所述视野的所述重叠区域中，选择所述标记组。
4.如权利要求I至3中任一项所述的方法，其中，对于所述多个摄像机中的至少一个摄像机，所述相应标记组包括原点，使得所述相应摄像机的所述外参数参考该原点。
5.如权利要求4所述的方法，进一步包括步骤(d):相对于在步骤(c)中获得的所述其它摄像机的所述外参数，针对所述多个摄像机中的每个摄像机，计算第二组外参数。
6.如权利要求4或5所述的方法，进一步包括步骤(e):相对于所述原点，针对所述其它摄像机中的每个摄像机，估计第三组外参数。
7.如权利要求6所述的方法，进一步包括步骤(f):优化所述外参数组。
8.如权利要求7所述的方法，其中，所述优化使使用步骤(e)的所述估计结果的所述标记组的再投影的误差最小化。
9.如权利要求7或8所述的方法，其中，所述优化使步骤(d)的所述结果之间的差异最小化。
10.如权利要求7至9中的任一项所述的方法，其中，通过使用在每个摄像机前方已知位置处的另外的标记组，进一步限制所述优化。
11.如权利要求I至10中的任一项所述的方法，其中，通过多项式来近似与摄像机的投影平面正交的失真。
12.如权利要求I至11中的任一项所述的方法，其中，所述摄像机为鱼眼摄像机。
13.如权利要求I至12中的任一项所述的方法，其中，所述摄像机相对于该对象的至少一个对称轴对称地放置。
14.如权利要求I至13中的任一项所述的方法，其中，所述摄像机的个数为四个。
15.一种计算机程序产品，包括至少一个计算机可读介质，具有计算机可执行指令，当在计算机上运行时，用于执行如权利要求I至14中的任一项所述的方法的所述步骤。
全文摘要
一种用于标定摄像机系统的方法，该摄像机系统包括具有预定内标定的多个摄像机，这些摄像机设置在诸如车辆的对象上，并覆盖该对象的周围环绕区域，该方法包括以下步骤在对象周围区域中并且在摄像机视野中，设置一组以已知尺寸间隔开并位于单个平面上的标记；然后根据该摄像机的相应的标记组，计算该摄像机的外参数；并且针对该多个摄像机中其它摄像机中的每一个重复这些步骤。
文档编号G06T7/00GK102842127SQ201210144299
公开日2012年12月26日 申请日期2012年5月10日 优先权日2011年5月10日
发明者K.纳特罗什维利, B.加斯曼 申请人:哈曼贝克自动系统股份有限公司