专利名称：一种基于任意三面体的雷达-相机系统外部参数标定方法
技术领域：
本发明涉及雷达-相机系统外部參数标定的方法，具体来说是ー种基于任意三面体的雷达-相机系统外部參数标定方法。
背景技术：
对地形环境的实时构建是移动机器人领域的ー个基础问题，为了实现这一目的，通常采用双目相机系统或者一个雷达传感器来提供三維信息。但是双目相机系统由于需要进行致密的立体匹配来进行三维重建，耗时较大，容易受外部环境影响，所以无法满足实时性和准确性的要求；雷达传感器虽然可以提供实时三維信息，精度较高，但是缺少环境的颜色信息。因此，越来越多研究者将雷达和单目相机结合在一起构成ー个雷达-相机系统来实时的提供具有顔色和三維信息的环境地图。近年来，许多研究者也提供了一些雷达-相机系统外部參数标定的方法。又献 I (Zhang, Q. ;P_Less, R, “Extrinsic calioration of a camera and laserrange finder (improvecamera calibration)，，，IEEE International Conferenceon Intelligent Robots and Systems, IR0S, 2004, pp. 2301-2306.)和文献 2(Unnikrishnan, R. ;Hebert, M. , “Fast extrinsic calibration ofa laser rangefinderto a camera”，Technical report,Carnegie Mellon University, RotboticsInstitute, 2005)利用棋盘格标定板来计算系统外部參数，棋盘格上的角点要在相机图像上手动提取，而且需要采集多幅图像，该方法很大程度上依赖于角点的提取准确程度，对光照也有一定要求。文献 3 (Rodriguez F，S. ;Fremont, V. ;Bonnifait, P, “Extrinsiccalibration between a mult1-layer lidar and a camera，.，IEEE InternationalConferenceonMultisensor Fusion andIntegrationforIntelIigentSystems, 2008, pp. 214 - 219.)和文献4 ( Li, G. ; Liu, Y. ; Dong, L. ; Cai, X. ; Zhou, D, “An algorithm forextrinsic parameters calibration of acamera and a laser range under usingline features”，IR0S，2007，pp. 3854-3859.)为了减小角点提取的误差，利用了特殊形状的标定物体，在雷达数据和图像数据中同时提取标定物的对应角点位置，但雷达数据本身的非致密性决定了该方法的准确性不会太高。近来，文献5 (Pandey,G. ;McBride1J.R. ;Savarese, S. ;Eustice, R. M. ,^Automatictargetless extrinsic calibration of a^dlidar and camera by maximizing mutual information^, Proceedings oi the AAAINational Conference on Artificial Intelligence, 2012.)不依赖于任何的场景,仅利用雷达提供的三维点反射強度和相机图像的互信息来优化雷达-相机系统的外部參数，但是并不是所有的雷达都可以提供物体的反射強度，而且不同材质物体的反射強度并不相同。
发明内容
为了将雷达-相机数据有效的结合在一起，本发明的目的在于提供一种基于任意三面体的雷达-相机系统外部參数标定方法，即求解雷达系统和相机系统的位置转换关系；利用自然场景中常见的任意三面体，不依赖手工输入信息的准确性，而且仅需要两帧数据即可快速的进行外部參数求解。本发明采用的技术方案的步骤如下( I)利用雷达-相机系统，对存在任意三面体的标定场景采集两帧数据，井根据三面体定义世界坐标系Ow-XwYwZw,采集的两帧数据间存在相对运动，且每帧数据中有对应的雷达采集的三维点云和相机采集的彩色图像；(2)求解雷达系统參数在三维点云中标注三面体三个面上的点，表示为P1 = {P/'k J = 1,2,j = 1,2,3, k = n'、J其中下标I代表这些点在雷达坐标系O1-X1Y1Z1下，i代表第i帧数据，j代表第j个面，k代表第k个点，每个面上点的个数为<，同一平面上的点用參数{”，<涞表示N^pJ =O其中为每个面的法向量，W为到坐标系原点的距离；然后根据三面体在雷达两帧数据中点的共面性，对两帧共6个面的进行非线性优化；通过{べメハ得到两帧数据中世界坐标系到雷达坐标系的旋转矩阵和平移向量
= 2，并由此得到雷达-相机系统在雷达坐标系下两帧之间的运动參数，即第一中贞相对于第二巾贞的旋转矩阵和平移向量' ^hh .
(3)求解相机系统參数利用SIFT算法在相机采集的前后两帧图像中三面体三个面的对应区域提取前后帧匹配的特征点，表示为Pe = \P/'L J = 1,2 プ=1,2,3, A- =其中下标c代表这些点在相机坐标系Oe-XcTc^下，i代表第i帧数据，j代表第j个面，k代表第k个特征点，前后两帧对应面的匹配特征点数目相等为< ；根据P。计算出两帧运动的本质矩阵E，并进一歩得到雷达-相机系统在相机坐标系下两帧之间的运动參数，其中1*_为相机坐标系下第一帧相对于第二帧的旋转矩阵ス为平移向量ル、归ー化的结果
_8] tCiCi = r,,； ,Wl 机.:1h利用 ゆも’Thh，初始化相机坐标系下的參数丨Wベ),Rm,Tvt此处{/VK丨为三面体各个平面在相机坐标系下的參数；根据提取的特征点的对应投影关系,MIN^1进行优化；通过ひ得到两帧数据中世界坐标系到相机坐标系的转换关系，即旋转矩阵和平移向星枚.<,> i = 1，2 ;(4)求解外部參数利用Rwc, Twc, Rw1jTw1得到雷达坐标系到相机坐标系的转换关系，即旋转矩阵も。和平移向量Tle ;利用雷达坐标系和相机坐标系下三面体上点的共面性，对Rlc, Tlc进行非线性优化，得到优化后的转换关系も。，Tlc0所述的步骤(2)求解雷达系统參数的具体方法为利用线性最小ニ乘优化目标函数F1，对第i帧数据第j个面上的点<进行平面拟
权利要求
1.一种基于任意三面体的雷达-相机系统外部参数标定方法，其特征在于该方法包括以下步骤 (1)利用雷达-相机系统，对存在任意三面体的标定场景采集两帧数据，并根据三面体定义世界坐标系Ow-XwYwZw,采集的两帧数据间存在相对运动， 且每帧数据中有对应的雷达采集的三维点云和相机采集的彩色图像； (2)求解雷达系统参数在三维点云中标注三面体三个面上的点,表示为
2.根据权利要求1所述的一种基于任意三面体的雷达-相机系统外部参数标定方法，其特征在于所述的步骤(2)求解雷达系统参数的具体方法为利用线性最小二乘优化目标函数F1，对第i帧数据第j个面上的点/V进行平面拟合参数{n,dd}:
3.根据权利要求1所述的一种基于任意三面体的雷达-相机系统外部参数标定方法，其特征在于所述的步骤(3)求解相机系统参数的具体方法为 图像上二维点P。和相机坐标系下球面点Ps,。的转换关系为 Pc = G (Ps, c) 此处G( )为对应的投影函数，由已知的相机类型和内参确定； 根据前后帧对应点的极线几何约束关系，得到
4.根据权利要求1所述的一种基于任意三面体的雷达-相机系统外部参数标定方法，其特征在于所述的步骤(4)求解外部参数的具体方法为 通过j....1., -1 = 1,2中的任意一组数据，求解雷达和相机坐标系之间的转换关系 Ri。，Tlc
全文摘要
本发明公开一种基于任意三面体的雷达-相机系统外部参数标定方法。利用自然环境中的三面体场景，仅需两帧数据即求解系统的外部参数。首先利用三面体规定世界坐标系，在雷达系统中对观察到的三面体进行平面拟合，得到各个平面的参数，并求得世界坐标系和雷达坐标系的转换关系以及雷达坐标系下两帧数据间的相对运动；在相机系统中，利用前后两帧提取的匹配特征点求解本质矩阵，然后分解出在相机坐标系下的相对运动，并利用雷达坐标系下的参数对相机坐标系下的平面参数进行求解，最后求解雷达-相机的外部参数，并利用两个坐标系下对应平面上点的共面性进行最终优化。本发明所要求的场景比较简单，兼具抗干扰性强、实验设备简单、灵活性较强的特点。
文档编号G06T7/00GK103049912SQ20121056369
公开日2013年4月17日 申请日期2012年12月21日 优先权日2012年12月21日
发明者龚小谨, 林颖, 刘济林 申请人:浙江大学